Discriminação algorítmica e a dignidade humana
o impacto ao respeito, à autonomia e à autodeterminação
Palavras-chave:
Autonomia, Ética tecnológica, Instrumentalização do indivíduo, Inteligência ArtificialResumo
A Inteligência Artificial (IA) e os algoritmos compõem uma tecnologia de aprendizado avançado que participa cada vez mais do cotidiano das pessoas, seja nos espaços digitais, no uso de aplicativos, no gerenciamento de e-mails ou em serviços online. Sua popularidade baseia-se na promessa de tornar a execução de tarefas e a resolução de problemas mais rápidas, baratas e eficientes. Contudo, sua atuação na vida das pessoas motivou uma preocupação não somente sobre como os dados são coletados, mas também quais são as consequências ocasionadas aos indivíduos que são submetidos à sua análise. Em destaque, a discriminação no algoritmo. Destarte, o presente artigo possui o escopo de analisar as ocorrências desse fenômeno e como ele afeta o princípio da dignidade da pessoa humana, em especial aos seus elementos constitutivos: respeito, autonomia e autodeterminação. Para isso, adota-se uma pesquisa qualitativa, de caráter exploratório-dedutivo, que utiliza reportagens que abordam casos exemplificativos relevantes ao tema, legislação, livros e artigos científicos interdisciplinares como fontes bibliográficas. Identificou-se que a tecnologia não possui neutralidade e que a prática da generalização no tratamento das informações pode implicar resultados indignos, sujeitando humanos à condição de objetos. Sua capa lógica alimenta uma imagem equivocada de inquestionabilidade que incentiva a abdicação da autonomia individual. E, em meio às representações danosas, negativas de oportunidades, exclusões de serviços e obstáculos ao acesso à justiça concreta, a autodeterminação é ferida. Assim, torna-se indispensável a consideração da dignidade humana na idealização e desenvolvimento de soluções de IA, a ser aplicada por instituições privadas, públicas e profissionais de tecnologia.
Downloads
Referências
AHMED, Maryam. UK passport photo checker shows bias against dark-skinned women. BBC News. [S. l.], 7 out. 2020. News. Disponível em: https://www.bbc.com/news/technology-54349538. Acesso em: 13 jul. 2025.
ALENICHEV, Arsenii; KINGORI, Patricia; GRIETENS, Koen Peeters. Reflections before the storm: the AI reproduction of biased imagery in global health visuals. The Lancet Global Health, [S.l.], v. 11, n. 10, p. 1496-1498, 2023. Disponível em: https://www.thelancet.com/journals/langlo/article/PIIS2214-109X(23)00329-7/fulltext?ref=axbom.com. Acesso em: 09 jun. 2025.
AMERICAN CIVIL LIBERTIES UNION. Williams v. City of Detroit: Face Recognition False Arrest. Court Cases, [S.l.], 29 jan. 2024. Privacy & Technology. Disponível em: https://www.aclu.org/cases/williams-v-city-of-detroit-face-recognition-false-arrest. Acesso em: 8 jun. 2025.
ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, [S. l.], 23 maio 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 7 jun. 2025.
ARÓSTEGUI, Lorena Alemán. El uso de RISCANVI en la toma de decisiones penitenciarias. Estudios Penales y Criminológicos, [S. l.], v. 44, n. Ext., p. 1-43, 10 nov. 2023. Disponível em: https://doi.org/10.15304/epc.44.8884. Acesso em: 12 ago. 2025.
ASSIS, Juliana de; MOURA, Maria Aparecida. Semioses algorítmicas e viés racial: um estudo de imagens criadas pela IA generativa. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, Brasil, v. 30, p. 1–24, 2025. Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/103495. Acesso em: 11 jul. 2025.
BARROSO, Luís Roberto. Curso de Direito Constitucional Contemporâneo: os conceitos fundamentais e a construção do novo modelo. 10. ed. São Paulo: SaraivaJur, 2022.
BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF, 1988. Disponível em: https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 06 de ago. 2025.
CALLEJÓN, Francisco Balaguer. La Constitución del Algoritmo. 2.ed. Zaragoza: Fundación Manuel Giménez Abad, 2023. E-book. Disponível em: https://www.fundacionmgimenezabad.es/sites/default/files/Publicar/publicaciones/documentos/e9_2ed_constitucion_algoritmo_seg.pdf. Acesso em: 05 jul. 2025.
CARRERA, Fernanda. Racismo e sexismo em bancos de imagens digitais: Análise de resultados de busca e atribuição de relevância na dimensão financeira/profissional. In: SILVA, Tarcízio (org.). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA, 2020. p. 139-155.
CARVALHO, Kildare Gonçalves. Direito Constitucional: Direito Constitucional Positivo. 22. ed. Belo Horizonte: Del Rey, 2017.
CLAYTON, James. 'I was misidentified as shoplifter by facial recognition tech'. BBC Newsnight, [S.l.], 25 mai. 2024. Disponível em: https://www.bbc.com/news/technology-69055945. Acesso em: 10 jun. 2025.
DASTIN, Jeffrey. Insight - Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, San Francisco, 10 out. 2018. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G/. Acesso em: 7 jun. 2025.
DÍAZ, Ujué Agudo; LIBERAL, Karlos G. El algoritmo paternalista: Cuando mande la inteligencia artificial. Iruñea-Pamplona: Katakrak Liburuak, 2024. E-book.
D'ALMEIDA, Nicole. Com IA viciada, LinkedIn criou algoritmo para corrigir algoritmo: entenda. Uol Tilt, São Paulo, 1 nov. 2021. Inteligência Artificial. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2021/11/01/linkedin-inteligencia-artificial-tendenciosa.htm. Acesso em: 7 jun. 2025.
EYSENCK, Michael; EYSENCK, Christine. Inteligência Artificial X Humanos: O que a ciência cognitiva nos ensina ao colocar frente a frente a mente humana e a IA. Tradução de Gisele Klein. 1 ed. Porto Alegre: Artmed, 2023.
FORMOSA, Paul. Kantian ethics, dignity, and perfection. New York: Cambridge University Press, 2017.
FRERMANN, Lea; NJOTO, Sheilla; CHEONG, Marc; RUPPANNER, Leah. When it comes to jobs, AI does not like parents: New research finds that AI doesn’t just discriminate against women in the workforce – but also has a problem with parents. Pursuit – University of Melbourne, [S.l.], 23 jul. 2023. Sciences & Technology. Disponível em: https://pursuit.unimelb.edu.au/articles/when-it-comes-to-jobs-ai-does-not-like-parents. Acesso em: 7 jun. 2025.
GNIPPER, Patricia. Polêmica: aplicativo que altera as feições do usuário é acusado de racismo. O FaceApp conta com uma inteligência artificial para melhorar um sorriso, envelhecer rostos e deixá-los mais bonitos; o problema é que esse filtro também clareia o tom de pele das pessoas. Techmundo. [S. l.], 25 abr. 2017. Software. Disponível em: https://www.tecmundo.com.br/apps/116069-polemica-aplicativo-altera-feicoes-usuario-acusado-racismo.htm. Acesso em: 10 jun. 2025.
GODOY, Johnny; REYES, Camilo Carvajal; URRUTIA, Felipe. Es la ética un límite para la IA?. Cuadernos de Beauchef, Chile, v. 8, n. 1, p. 9-19, 2024. Disponível em: https://revistasdex.uchile.cl/index.php/cdb/article/view/15213/15245. Acesso em: 02 ago. 2025.
HARARI, Yuval Noah. Nexus: Uma breve história das redes de informação, da Idade da Pedra à inteligência artificial. Tradução de Berilo Vargas e Denise Bottmann. São Paulo: Schwarcz S.A., 2024.
LARSON, Jeff; ANGWIN, Júlia. Technical Response to Northpointe: Northpointe asserts that a software program it sells that predicts the likelihood a person will commit future crimes is equally fair to black and white defendants. We re-examined the data, considered the company’s criticisms, and stand by our conclusions. ProPublica, [S. l.], 2016. Machine Bias. Disponível em: https://www.propublica.org/article/technical-response-to-northpointe. Acesso em: 7 jun. 2025.
MCCORMICK, Erin. What happened when a ‘wildly irrational’ algorithm made crucial healthcare decisions: Advocates say having computer programs decide how much help vulnerable people can get is often arbitrary – and in some cases downright cruel. The Guardian. [S. l.], 2 jul. 2021. US News. Disponível em: https://www.theguardian.com/us-news/2021/jul/02/algorithm-crucial-healthcare-decisions. Acesso em: 30 jul. 2025.
MORAES, Alexandre de. Direito Constitucional. 39. ed. Barueri: Atlas, 2023.
MOURA, Carlos Manoel Silva; BRAGA, Tiago Emmanuel Nunes. A Inteligência Artificial e a criação de conteúdo: os vieses que habitam entre nós. Anais do Workshop de Informação, Dados e Tecnologia - WIDaT, [S. l.], v. 6, 2023. Disponível em: https://labcotec.ibict.br/widat/index.php/widat2023/article/view/11. Acesso em: 9 jul. 2025.
NOBLE, Safiya Umoja. Algorithms of Oppression: How Search Engines Reiforce Racism. New York: New York University Press, 2018.
ODLE, Brooke; FINLEY, Katherine; LONGFIELD, Victoria; SERRÃO, Rodrigo. Going Beyonde The Technical: Exploring Ethical and Societal Implications of Machine. In: BERRY, Carlotta A.; MARSHALL, Brandeis Hill (ed.). Mitigating Bias in Machine Learning. New York: McGraw Hill LLC, 2025. p. 17-31.
O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução de Rafael Abraham. Santo André, SP: Editora Rua do Sabão, 2020.
PAUL, Karin. Healthcare algorithm used across America has dramatic racial biases: System sold by Optum estimates health needs based on medical costs, which are much less than for white patients, report finds. The Guardian. [S. l.], 25 out. 2019. Health. Disponível em: https://www.theguardian.com/society/2019/oct/25/healthcare-algorithm-racial-biases-optum#:~:text=Less%20money%20is%20spent%20on,the%20same%20level%20of%20illness. Acesso em: 11 jul. 2025.
PEDROSO, João; SANTOS, Andreia. Inteligência Artificial e Justiça Criminal: Riscos e Desafios. Revista Sociologia Online, Lisboa, n. 35, p. 134-155, ago. 2024. Disponível em: https://doi.org/10.30553/sociologiaonline.2024.35.6. Acesso em: 12 ago. 2025.
PIOVESAN, Flávia. Direitos humanos e o direito constitucional internacional.19. ed. São Paulo: Saraiva Educação, 2021.
REIS, Ana Rosa. Campanha celebra os 75 anos da Declaração Universal dos Direitos Humanos. Centro de Informação das Nações Unidas para o Brasil (UNIC Rio): Rio de Janeiro, 30 ago. 2023. Notícias. Disponível: https://brasil.un.org/pt-br/244006-campanha-celebra-os-75-anos-da-declara%C3%A7%C3%A3o-universal-dos-direitos-humanos. Acesso em: 23 mai. 2025.
RIVERA, Laura G. de. Esclavos del algoritmo: Manual de resistencia em la era de la inteligência artificial. Barcelona: Penguin Random House Grupo Editorial, 2025.
ROCHA, Cármen Lúcia Antunes. O princípio da dignidade da pessoa humana e a exclusão social. Jurisprudência Catarinense, Florianópolis, Brasil, v. 35, n. 117, p. 71-107, abr./jun. 2009. Disponível em: https://bdjur.stj.jus.br/server/api/core/bitstreams/6bc3ff89-a160-459f-8475-22ed060d4373/content. Acesso em: 04 ago. 2025.
SANTIAGO, Abinoan. ‘Me urinei de medo ao ser levada no camburão da PM por erro de IA’. Uol Tilt, Florianópolis, 15 nov. 2023. Inteligência Artificial. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2023/11/15/erro-camera-reconhecimento-facial.htm. Acesso em: 10 jun. 2025.
SARLET, Ingo Wolfgang. Dignidade da pessoa humana e direitos fundamentais na Constituição Federal de 1988. 9. ed. rev. atual. Porto Alegre: Livraria do Advogado Editora, 2011.
SARLIN, Jon. EUA: Polícia prende inocente a partir de sistema de reconhecimento facial: Embora a tecnologia de reconhecimento facial tenha se tornado mais precisa, pesquisa mostrou que ela é suscetível a erros com pessoas de pele mais escura. CNN Brasil, [S.l.], 03 mai. 2021. Internacional. Disponível em: https://www.cnnbrasil.com.br/internacional/sistema-de-reconhecimento-facial-enviou-este-homem-inocente-para-a-prisao/. Acesso em: 10 jun. 2025.
SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes sociais. São Paulo: Edições Sesc São Paulo, 2022.
TAULLI, Tom. Introdução à Inteligência Artificial: Uma abordagem não técnica. São Paulo: Apress Novatec, 2020.
UNESCO (2024). Challenging systematic prejudices: an Investigation into Gender Bias in Large Language Models. Paris: UNESCO, 2024. E-book. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000388971. Acesso em: 10 jul. 2025.
ZWART, Hans de. Racist technology in Action: AI detection of emotion rates Black basketball players as ‘angrier’ than their White counterparts. Racism and Technology Center, [S.l.], 21 jul. 2024. Newsletter 46. Disponível em: https://racismandtechnology.center/2024/07/21/racist-technology-in-action-ai-detection-of-emotion-rates-black-basketball-players-as-angrier-than-their-white-counterparts/. Acesso em: 30 jul. 2025.
Publicado
Edição
Seção
Licença
Copyright (c) 2026 Priscila Sauthier

Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.