Innovation:
racial discrimination in algorithms and artificial intelligence in Brazil
DOI:
https://doi.org/10.69881/rcaap.v28i2.49200Abstract
The use of artificial intelligence (AI) technologies is on the rise. It is possible to observe a significant increase in the delegation of decision-making processes, data processing and targeting users of digital platforms through algorithmic systems. However, it is imperative to recognize that the longed-for algorithmic neutrality does not match reality. The internet and the data it contains reproduce the practices of racialization and violence routinely directed at blacks in Brazil. This article seeks to demonstrate that the structure of racism is embedded in AI mechanisms, and that is why it is necessary to regulate the development, operationalization and monitoring of such technologies in line with the legal system. To this end, the article explores concrete cases of prejudice propagated by AI, and discuss the concept of AI, algorithms, algorithmic discrimination and algorithm racial discrimination.
Downloads
References
ACEMOGLU, Daron. Harms of AI. Nber, [S.L.], p. 1-57, set. 2021. National Bureau of Economic Research. http://dx.doi.org/10.3386/w29247.
ALMEIDA, Silvio Luiz de. O que é racismo estrutural? Belo Horizonte: Letramento, 2018.
ALMEIDA, Silvio. Racismo estrutural. São Paulo: Pólen Produção Editorial LTDA, 2019.
ANGWIN; Julia; TOBIN, Ariana; Varner, Madeleine. Facebook (still) letting housing advertisers exclude users by race. ProPublica, online, 21 nov. 2017. Disponível em: www.propublica.org/article/facebook-advertising-discrimination-housing-race-sexnational-origin. Acesso em: 8 dez. 2023.
BENJAMIN, Ruha. Retomando nosso fôlego: estudos de ciência e tecnologia, teoria racial crítica e imaginação carcerária. In: SILVA, Tarcísio (org.). Comunidades, algoritmos e ativismos digitais: Olhares Afrodiaspóricos. São Paulo: LiteraRUA, 2020.
BERTONCINI, Mateus Eduardo Siqueira Nunes; TONETTI, Felipe Laurini. Convenção internacional sobre a eliminação de todas as formas de discriminação racial, constituição e responsabilidade social das empresas. Revista de direito brasileira, Florianópolis, n. 3, v. 5, mai./ago. 2013.
BIONI, Bruno Ricardo. Proteção de dados pessoais. A função e os limites do consentimento. 3. ed. Rio de Janeiro: Forense, 2021.
BIRHANE, Abeba. Colonização algorítmica da África. In: SILVA, Tarcísio (org.). Comunidades, algoritmos e ativismos digitais: Olhares Afrodiaspóricos. São Paulo: LiteraRUA, 2020.
BOEHM, Camila. Discursos de ódio e pornografia infantil são principais desafios da internet. EBC - Empresa Brasil de Comunicação, Brasília, 6 fev. 2028. Disponível em: http://agenciabrasil.ebc.com.br/pesquisa-e-inovacao/noticia/2018-02/discursos-deodio-e-pornografia-infantil-sao-principais-desafios. Acesso em: 8 dez. 2023.
BRASIL. Congresso Nacional. Secretaria de Acompanhamento Econômico. Da Comissão Mista da Medida Provisória nº 869, de 2018, que Altera a Lei nº 13.709, de 14 de agosto de 2018, para dispor sobre a proteção de dados pessoais e para criar a Autoridade Nacional de Proteção de Dados, e dá outras providências. Brasília, DF: 7 jan. 2019.
BUFULIN, Augusto Passamani; PIRES, Mariah Ferrari. A sujeição às decisões automatizadas a partir da Lei Geral de Proteção de Dados. Revista do Curso de Direito do UNIFOR, Fortaleza, v. 11, n. 11, 2020.
CASADO, María (coord.). Sobre la dignidad y los principios: análisis de la Declaración Universal sobre Bioética y Derechos Humanos UNESCO. Madrid: Civitas, 2009.
CARVALHO, Salo de. O encarceramento seletivo da juventude negra brasileira. Rev. Fac. Direito UFMG, Belo Horizonte, n. 67, jul./dez. 2015.
DA SILVA, Sivaldo Pereira et al. Inteligência Artificial, moderação de conteúdos no YouTube e a proteção de direitos: características, problemas e impactos políticos. Liinc em Revista, Rio de Janeiro, v. 18, n. 2, 2022.
DE AZEVEDO, Célia Maria Marinho. Abolicionismo: Estados Unidos e Brasil, uma história comparada: século XIX. São Paulo: Annablume, 2003.
DE OLIVEIRA, Adriel Seródio; DE CARVALHO, Acelino Rodrigues. A Desigualdade Racial do Brasil: o racismo estrutural e o determinismo social. Revista Jurídica Direito, Sociedade e Justiça, v. 4, n. 5, 2017.
DO VALE, Fábio et al. Pensamento decolonial na área de inteligência artificial. Revista Latino-Americana de Estudos Científicos, online, p. 114-121, 2021.
EL PAÍS. Aplicativo FaceApp ‘branqueia’ os usuários para torná-los “mais sexy”. 25 abr. 2017. Disponível em: https://brasil.elpais.com/brasil/2017/04/25/tecnologia/1493122888_029183.html. Acesso em: 10 dez. 2023.
FRAZÃO, Ana. Discriminação algorítmica: compreendendo a “datificação” e a estruturação da sociedade da classificação. JOTA, 2021. Disponível em: https://www.jota.info/opiniao-e-analise/colunas constituicao-empresa-e-mercado/discriminacao-algoritmica-2-23062021. Acesso em: 14 dez. 2023.
FRAZÃO, Ana. Discriminação algorítmica: mapeando algumas das principais discriminações algorítmicas já identificadas. JOTA, 2021. Disponível em: https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/discriminacao-algoritmica-por-que-algoritmos-preocupam-quando-acertam-e-erram-04082021. Acesso em: 14 dez. 2023.
FREITAS, Cinthia Obladen de A. A obscuridade dos algoritmos e a LGPD. O Estado de São Paulo, 4 ago. 2020. Disponível em: https:// politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/. Acesso em: 10 dez. 2020.
FREITAS, Raquel. Avó de 82 anos viraliza ao colocar Alexa que ganhou de presente para rezar. G1 Minas, Belo Horizonte. 27 dez. 2021. Disponível em: https://g1.globo.com/mg/minas-gerais/noticia/2021/12/27/avo-de-82-anos-viraliza-ao-colocar-alexa-que-ganhou-de-presente-para-rezar-video.ghtml. Acesso em: 10 dez. 2023.
GONZALES, Lelia HASALBALG, Carlos. Lugar de Negro. Rio de Janeiro: Marco Zero, 1982.
GONZALEZ, Lélia. Por um Feminismo Afro-Latino-Americano (1988). Primavera para as rosas negras: Lélia Gonzalez em primeira pessoa. UCPA. São Paulo: Diáspora Africana, 2018.
G1. Twitter diz que irá analisar algoritmo de prévia de imagens após queixas de racismo por usuários. São Paulo, 21 set. 2020. Disponível em: https://g1.globo.com/economia/tecnologia/noticia/2020/09/21/executivos-do-twitter-dizem-que-irao-analisar-possivel-vies-discriminatorio-em-algoritmo-de-previa-de-imagens.ghtml. Acesso em: 12 de dez. 2023.
SANTOS, Gislene Aparecida dos. Nem crime, nem castigo: o racismo na percepção do judiciário e das vítimas de atos de discriminação. Revista do Instituto de Estudos Brasileiros, [S. l.], n. 62, p. 184-207, 2015.
HERRERA FLORES, Joaquín. A reinvenção dos direitos humanos. Florianópolis: Fundação Boiteux, 2009.
IBGE. Diretoria de pesquisas, coordenação de pesquisas por amostra de domicílios, pesquisa nacional por amostra de domicílios contínua. 2012/2022. Disponível em: https://educa.ibge.gov.br/jovens/conheca-o-brasil/populacao/18319-cor-ou raca.html#:~:text=O%20IBGE%20pesquisa%20a%20cor,10%2C6%25%20como%20pretos. Acesso em: 8 dez. 2023.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. Censo da Educação Superior: Microdados do Censo da Educação Superior, [online], 15 mar. 2022. Disponível em: https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/censo-da-educacao-superior. Acesso em: 23 mar 24.
JUNIOR, Airto Chaves Junior; GUASQUE, Bárbara; PÁDUA, Thiago Santos Aguar de. Segregação racial e vieses algorítmicos: máquinas racistas no âmbito do controle penal. Revista Brasileira de Direito, Passo Fundo, vol. 19, n. 2, mai./ago. 2023.
KASPERKEVIC, Jana. Google says sorry for racist auto-tag in photo app. The Guardian, [online], 1 jul. 2015. Disponível em: https://www.theguardian.com/technology/2015/jul/01/google-sorry-racist-auto-tag-photo-app. Acesso em: 8 de dez. 2023.
LADEIRA, João Damasceno Martins. O algoritmo e o fluxo: Netflix, aprendizado de máquina e algoritmos de recomendações. Intexto, Porto Alegre, n. 47, ago. 2019.
LIMA, Bruna Dias Fernandes. Racismo algorítmico: o enviesamento tecnológico e o impacto aos direitos fundamentais no Brasil. 2022. 127 f. Dissertação (Mestrado em Direito) – Universidade Federal de Sergipe, São Cristóvão, SE, 2022.
MELTWATER. We are social - Global Overview Report: The essential guide to the world´s conennected behaviours, online, 12 fev. 2023. Disponível em: https://wearesocial.com/wp-content/uploads/2023/03/Digital-2023-Global-Overview-Report.pdf. Acesso em: 8 dez. 2023.
MENDONÇA JUNIOR, Carlos do Nascimento; NUNES, Dierle. José Coelho. Desafios e oportunidades para a regulação da inteligência artificial: a necessidade de compreensão e mitigação dos riscos da IA. Revista Contemporânea, s l., v. 3, n. 7, 2023.
NASCIMENTO, Abdias do. O genocídio do negro brasileiro: processo de um racismo mascarado. São Paulo: Editora Perspectiva, 2016.
NAVARRO, Susana Navas. Derecho e Inteligencia Artificial desde el Diseño. In: NAVARRO, Susana Navas et al. Inteligencia Artificial: Tecnología, Derecho. Valencia: Tirant Lo Blanch, 2017.
NUNES, Pablo. O Algoritmo e o Racismo nosso de cada dia. Revista Piauí, 2 jan. 2021. Disponível em: https:// piaui.folha.uol.com.br/o-algoritmo-e-racismo-nosso-de-cada-dia/. Acesso em: 8 dez. 2023.
O´NEIL. Cathy. Algoritmos de Destruição em Massa: como o Big Data aumenta a desigualdade e ameaça à democracia. Tradução de Rafael Abraham. 1. ed. Santo André: Rua do Sabão, 2020.
PACETE, Luiz Gustavo. Brasil é o terceiro maior consumidor de redes sociais em todo o mundo. Forbes Tech, online, 9 mar. 2023. Disponível em: https://forbes.com.br/forbes-tech/2023/03/brasil-e-o-terceiro-pais-que-mais-consome-redes-sociais-em-todo-o-mundo/. Acesso em: 8 dez. 2023.
PINTO, Paulo Mota. O Direito ao Livre Desenvolvimento da Personalidade. Boletim da Faculdade de Direito de Coimbra, Portugal-Brasil: Coimbra, 2000.
REDE DE OBSERVATÓRIOS DA SEGURANÇA. Retratos da Violência: cinco meses de monitoramento, análises e descobertas. Disponível em: http://observatorioseguranca.com.br/wp- content uploads/2019/11/1relatoriorede.pdf. Acesso em: 8 dez. 2023.
REQUIÃO, Maurício; COSTA, Diego Carneiro. Discriminação algorítmica: ações afirmarivas como estratégia de combate. Civilistica.com, online, v. 11, n. 3, p. 1-24, 2022.
SAFERNET. Crimes de ódio têm crescimento de até 650% no primeiro semestre de 2022. Disponível em: https://new.safernet.org.br/content/crimes-de-odio-tem-crescimento-de-ate-650-no-primeiro-semestre-de-2022#:~:text=Somadas%20as%20den%C3%BAncias%20dos%20sete,de%20misoginia%2C
%20com%207096%20casos. Acesso em: 8 dez. 2023.
SAMUEL, Sigal. A new study finds a potential risk with self-friving cars: failure to detect dark-skinned pedestrians. 6 mar. 2019. Disponível em: https://www.vox.com/future-perfect/2019/3/5/18251924/self-driving-car-racial-bias-study-autonomous-vehicle-dark-skin. Acesso em: 14 dez. 2023.
SANDVIG, Christian et al. When the Algorithm Itself Is a Racist: Diagnosing Ethical Harm in the Basic Components of Software. International Journal of Communication, v. 10, 2016.
SANTOS, Ronnie de Souza; DE LIMA, Luiz Fernando; MAGALHAES, Cleyton. The Perspective of Software Professionals on Algorithmic Racism. arXi, online, v.1, jun. 2023. Disponível em: https://arxiv.org abs/2306.15133/. Acesso em: 13 dez. 2023.
SCHREIBER, Anderson. Direitos da Personalidade, 3ª ed. São Paulo: Atlas, 2014.
SELLITTO, Carlos, et al. The AI Index 2021 Annual Report. AI Index Steering Committee, Human Centered AI Institute, Stanford University, Stanford, mar. 2021.
SILVA, Gabriela Bins Gomes da. Decolonizando o emprego: por um olhar outro sobre as margens. Belo Horizonte: Dialética, 2023.
SILVA, Tarcísio. Necropolítica algorítmica. Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais [online], 6 ago. 2022 Aug 6. Disponível em: https://racismo-algoritmico.pubpub.org/pub/necropolitica-algoritmica. Acesso em: 13 dez. 2023.
SILVA, Tarcízio. Teoria Racial Crítica e Comunicação Digital: conexões contra a dupla opacidade. In: Anais do 42º Congresso Brasileiro de Ciências da Comunicação. Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. Belém, Pará, 2019.
SPOTIFY. Paciente 63 - T1E6: Prova de História. ALVES, Mel Lisboa et al. Jul. 2021. Disponível em: https://open.spotify.com/episode/2jAOhbJvBgEZSjwW1PwCTZ. Acesso em: 12 dez. 2023.
SUPREMO TRIBUNAL FEDERAL. Injúria racial é crime imprescritível, decide STF: Para a maioria do Plenário, a injúria configura um dos tipos de racismo. 20 out. 2021. Disponível em: http://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=475646&ori=1. Acesso em: 10 dez. 2023.
TAVARES, Thiago. Indicadores Safernet Brasil. Dia da Internet Segura. São Paulo, SP, 6 fev. 2018. Disponível em: https://www.youtube.com/watch?v=ofE2cU0avqA. Acesso em: 8 dez. 2023.
TRINDADE, Luiz Valério de Paula. Mídias sociais e a naturalização de discursos racistas no Brasil. In: SILVA, Tarcísio (org.). Comunidades, algoritmos e ativismos digitais: Olhares Afrodiaspóricos. São Paulo: LiteraRUA, 2020.
VITORIO, Tamires. A desigualdade em números: brancos ainda são maioria nas big techs. Exame, [online], 20 nov. 2020. Disponível em: https://exame.com/tecnologia/a-desigualdade-em-numeros-brancos-ainda-sao-maioria-nas-big-techs/. Acesso em: 13 jan. 2024.
ZORZO, Avelino Francisco et al. Referenciais de Formação para os Cursos de Graduação em Computação. Porto Alegre: Sociedade Brasileira de Computação (SBC), 2017.
ZUBOFF, Shoshana. Big other: surveillance capitalism and the prospects of an information civilization. Journal of Information Technology, v. 30, 2015.
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Isabela Maria Soares Silva, Letícia Mendes Barbosa
This work is licensed under a Creative Commons Attribution 4.0 International License.
