Discriminação algorítmica e a dignidade humana

o impacto ao respeito, à autonomia e à autodeterminação

Autores

Palavras-chave:

Autonomia, Ética tecnológica, Instrumentalização do indivíduo, Inteligência Artificial

Resumo

A Inteligência Artificial (IA) e os algoritmos compõem uma tecnologia de aprendizado avançado que participa cada vez mais do cotidiano das pessoas, seja nos espaços digitais, no uso de aplicativos, no gerenciamento de e-mails ou em serviços online. Sua popularidade baseia-se na promessa de tornar a execução de tarefas e a resolução de problemas mais rápidas, baratas e eficientes. Contudo, sua atuação na vida das pessoas motivou uma preocupação não somente sobre como os dados são coletados, mas também quais são as consequências ocasionadas aos indivíduos que são submetidos à sua análise. Em destaque, a discriminação no algoritmo. Destarte, o presente artigo possui o escopo de analisar as ocorrências desse fenômeno e como ele afeta o princípio da dignidade da pessoa humana, em especial aos seus elementos constitutivos: respeito, autonomia e autodeterminação. Para isso, adota-se uma pesquisa qualitativa, de caráter exploratório-dedutivo, que utiliza reportagens que abordam casos exemplificativos relevantes ao tema, legislação, livros e artigos científicos interdisciplinares como fontes bibliográficas. Identificou-se que a tecnologia não possui neutralidade e que a prática da generalização no tratamento das informações pode implicar resultados indignos, sujeitando humanos à condição de objetos. Sua capa lógica alimenta uma imagem equivocada de inquestionabilidade que incentiva a abdicação da autonomia individual. E, em meio às representações danosas, negativas de oportunidades, exclusões de serviços e obstáculos ao acesso à justiça concreta, a autodeterminação é ferida. Assim, torna-se indispensável a consideração da dignidade humana na idealização e desenvolvimento de soluções de IA, a ser aplicada por instituições privadas, públicas e profissionais de tecnologia.

Downloads

Os dados de download ainda não estão disponíveis.

Biografia do Autor

  • Priscila Sauthier, Universidade Federal da Paraíba

    Especialista em Direito Público (Constitucional, Administrativo e Tributário) e em Direito Penal e Processual Penal pela Universidade Estácio de Sá. Especializanda em Ética em Inteligência Artificial pela Universidade Federal da Paraíba. Bacharela em Direito pela Universidade Presidente Antônio Carlos (UNIPAC).

Referências

AHMED, Maryam. UK passport photo checker shows bias against dark-skinned women. BBC News. [S. l.], 7 out. 2020. News. Disponível em: https://www.bbc.com/news/technology-54349538. Acesso em: 13 jul. 2025.

ALENICHEV, Arsenii; KINGORI, Patricia; GRIETENS, Koen Peeters. Reflections before the storm: the AI reproduction of biased imagery in global health visuals. The Lancet Global Health, [S.l.], v. 11, n. 10, p. 1496-1498, 2023. Disponível em: https://www.thelancet.com/journals/langlo/article/PIIS2214-109X(23)00329-7/fulltext?ref=axbom.com. Acesso em: 09 jun. 2025.

AMERICAN CIVIL LIBERTIES UNION. Williams v. City of Detroit: Face Recognition False Arrest. Court Cases, [S.l.], 29 jan. 2024. Privacy & Technology. Disponível em: https://www.aclu.org/cases/williams-v-city-of-detroit-face-recognition-false-arrest. Acesso em: 8 jun. 2025.

ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, [S. l.], 23 maio 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 7 jun. 2025.

ARÓSTEGUI, Lorena Alemán. El uso de RISCANVI en la toma de decisiones penitenciarias. Estudios Penales y Criminológicos, [S. l.], v. 44, n. Ext., p. 1-43, 10 nov. 2023. Disponível em: https://doi.org/10.15304/epc.44.8884. Acesso em: 12 ago. 2025.

ASSIS, Juliana de; MOURA, Maria Aparecida. Semioses algorítmicas e viés racial: um estudo de imagens criadas pela IA generativa. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, Brasil, v. 30, p. 1–24, 2025. Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/103495. Acesso em: 11 jul. 2025.

BARROSO, Luís Roberto. Curso de Direito Constitucional Contemporâneo: os conceitos fundamentais e a construção do novo modelo. 10. ed. São Paulo: SaraivaJur, 2022.

BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF, 1988. Disponível em: https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 06 de ago. 2025.

CALLEJÓN, Francisco Balaguer. La Constitución del Algoritmo. 2.ed. Zaragoza: Fundación Manuel Giménez Abad, 2023. E-book. Disponível em: https://www.fundacionmgimenezabad.es/sites/default/files/Publicar/publicaciones/documentos/e9_2ed_constitucion_algoritmo_seg.pdf. Acesso em: 05 jul. 2025.

CARRERA, Fernanda. Racismo e sexismo em bancos de imagens digitais: Análise de resultados de busca e atribuição de relevância na dimensão financeira/profissional. In: SILVA, Tarcízio (org.). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA, 2020. p. 139-155.

CARVALHO, Kildare Gonçalves. Direito Constitucional: Direito Constitucional Positivo. 22. ed. Belo Horizonte: Del Rey, 2017.

CLAYTON, James. 'I was misidentified as shoplifter by facial recognition tech'. BBC Newsnight, [S.l.], 25 mai. 2024. Disponível em: https://www.bbc.com/news/technology-69055945. Acesso em: 10 jun. 2025.

DASTIN, Jeffrey. Insight - Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, San Francisco, 10 out. 2018. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G/. Acesso em: 7 jun. 2025.

DÍAZ, Ujué Agudo; LIBERAL, Karlos G. El algoritmo paternalista: Cuando mande la inteligencia artificial. Iruñea-Pamplona: Katakrak Liburuak, 2024. E-book.

D'ALMEIDA, Nicole. Com IA viciada, LinkedIn criou algoritmo para corrigir algoritmo: entenda. Uol Tilt, São Paulo, 1 nov. 2021. Inteligência Artificial. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2021/11/01/linkedin-inteligencia-artificial-tendenciosa.htm. Acesso em: 7 jun. 2025.

EYSENCK, Michael; EYSENCK, Christine. Inteligência Artificial X Humanos: O que a ciência cognitiva nos ensina ao colocar frente a frente a mente humana e a IA. Tradução de Gisele Klein. 1 ed. Porto Alegre: Artmed, 2023.

FORMOSA, Paul. Kantian ethics, dignity, and perfection. New York: Cambridge University Press, 2017.

FRERMANN, Lea; NJOTO, Sheilla; CHEONG, Marc; RUPPANNER, Leah. When it comes to jobs, AI does not like parents: New research finds that AI doesn’t just discriminate against women in the workforce – but also has a problem with parents. Pursuit – University of Melbourne, [S.l.], 23 jul. 2023. Sciences & Technology. Disponível em: https://pursuit.unimelb.edu.au/articles/when-it-comes-to-jobs-ai-does-not-like-parents. Acesso em: 7 jun. 2025.

GNIPPER, Patricia. Polêmica: aplicativo que altera as feições do usuário é acusado de racismo. O FaceApp conta com uma inteligência artificial para melhorar um sorriso, envelhecer rostos e deixá-los mais bonitos; o problema é que esse filtro também clareia o tom de pele das pessoas. Techmundo. [S. l.], 25 abr. 2017. Software. Disponível em: https://www.tecmundo.com.br/apps/116069-polemica-aplicativo-altera-feicoes-usuario-acusado-racismo.htm. Acesso em: 10 jun. 2025.

GODOY, Johnny; REYES, Camilo Carvajal; URRUTIA, Felipe. Es la ética un límite para la IA?. Cuadernos de Beauchef, Chile, v. 8, n. 1, p. 9-19, 2024. Disponível em: https://revistasdex.uchile.cl/index.php/cdb/article/view/15213/15245. Acesso em: 02 ago. 2025.

HARARI, Yuval Noah. Nexus: Uma breve história das redes de informação, da Idade da Pedra à inteligência artificial. Tradução de Berilo Vargas e Denise Bottmann. São Paulo: Schwarcz S.A., 2024.

LARSON, Jeff; ANGWIN, Júlia. Technical Response to Northpointe: Northpointe asserts that a software program it sells that predicts the likelihood a person will commit future crimes is equally fair to black and white defendants. We re-examined the data, considered the company’s criticisms, and stand by our conclusions. ProPublica, [S. l.], 2016. Machine Bias. Disponível em: https://www.propublica.org/article/technical-response-to-northpointe. Acesso em: 7 jun. 2025.

MCCORMICK, Erin. What happened when a ‘wildly irrational’ algorithm made crucial healthcare decisions: Advocates say having computer programs decide how much help vulnerable people can get is often arbitrary – and in some cases downright cruel. The Guardian. [S. l.], 2 jul. 2021. US News. Disponível em: https://www.theguardian.com/us-news/2021/jul/02/algorithm-crucial-healthcare-decisions. Acesso em: 30 jul. 2025.

MORAES, Alexandre de. Direito Constitucional. 39. ed. Barueri: Atlas, 2023.

MOURA, Carlos Manoel Silva; BRAGA, Tiago Emmanuel Nunes. A Inteligência Artificial e a criação de conteúdo: os vieses que habitam entre nós. Anais do Workshop de Informação, Dados e Tecnologia - WIDaT, [S. l.], v. 6, 2023. Disponível em: https://labcotec.ibict.br/widat/index.php/widat2023/article/view/11. Acesso em: 9 jul. 2025.

NOBLE, Safiya Umoja. Algorithms of Oppression: How Search Engines Reiforce Racism. New York: New York University Press, 2018.

ODLE, Brooke; FINLEY, Katherine; LONGFIELD, Victoria; SERRÃO, Rodrigo. Going Beyonde The Technical: Exploring Ethical and Societal Implications of Machine. In: BERRY, Carlotta A.; MARSHALL, Brandeis Hill (ed.). Mitigating Bias in Machine Learning. New York: McGraw Hill LLC, 2025. p. 17-31.

O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução de Rafael Abraham. Santo André, SP: Editora Rua do Sabão, 2020.

PAUL, Karin. Healthcare algorithm used across America has dramatic racial biases: System sold by Optum estimates health needs based on medical costs, which are much less than for white patients, report finds. The Guardian. [S. l.], 25 out. 2019. Health. Disponível em: https://www.theguardian.com/society/2019/oct/25/healthcare-algorithm-racial-biases-optum#:~:text=Less%20money%20is%20spent%20on,the%20same%20level%20of%20illness. Acesso em: 11 jul. 2025.

PEDROSO, João; SANTOS, Andreia. Inteligência Artificial e Justiça Criminal: Riscos e Desafios. Revista Sociologia Online, Lisboa, n. 35, p. 134-155, ago. 2024. Disponível em: https://doi.org/10.30553/sociologiaonline.2024.35.6. Acesso em: 12 ago. 2025.

PIOVESAN, Flávia. Direitos humanos e o direito constitucional internacional.19. ed. São Paulo: Saraiva Educação, 2021.

REIS, Ana Rosa. Campanha celebra os 75 anos da Declaração Universal dos Direitos Humanos. Centro de Informação das Nações Unidas para o Brasil (UNIC Rio): Rio de Janeiro, 30 ago. 2023. Notícias. Disponível: https://brasil.un.org/pt-br/244006-campanha-celebra-os-75-anos-da-declara%C3%A7%C3%A3o-universal-dos-direitos-humanos. Acesso em: 23 mai. 2025.

RIVERA, Laura G. de. Esclavos del algoritmo: Manual de resistencia em la era de la inteligência artificial. Barcelona: Penguin Random House Grupo Editorial, 2025.

ROCHA, Cármen Lúcia Antunes. O princípio da dignidade da pessoa humana e a exclusão social. Jurisprudência Catarinense, Florianópolis, Brasil, v. 35, n. 117, p. 71-107, abr./jun. 2009. Disponível em: https://bdjur.stj.jus.br/server/api/core/bitstreams/6bc3ff89-a160-459f-8475-22ed060d4373/content. Acesso em: 04 ago. 2025.

SANTIAGO, Abinoan. ‘Me urinei de medo ao ser levada no camburão da PM por erro de IA’. Uol Tilt, Florianópolis, 15 nov. 2023. Inteligência Artificial. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2023/11/15/erro-camera-reconhecimento-facial.htm. Acesso em: 10 jun. 2025.

SARLET, Ingo Wolfgang. Dignidade da pessoa humana e direitos fundamentais na Constituição Federal de 1988. 9. ed. rev. atual. Porto Alegre: Livraria do Advogado Editora, 2011.

SARLIN, Jon. EUA: Polícia prende inocente a partir de sistema de reconhecimento facial: Embora a tecnologia de reconhecimento facial tenha se tornado mais precisa, pesquisa mostrou que ela é suscetível a erros com pessoas de pele mais escura. CNN Brasil, [S.l.], 03 mai. 2021. Internacional. Disponível em: https://www.cnnbrasil.com.br/internacional/sistema-de-reconhecimento-facial-enviou-este-homem-inocente-para-a-prisao/. Acesso em: 10 jun. 2025.

SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes sociais. São Paulo: Edições Sesc São Paulo, 2022.

TAULLI, Tom. Introdução à Inteligência Artificial: Uma abordagem não técnica. São Paulo: Apress Novatec, 2020.

UNESCO (2024). Challenging systematic prejudices: an Investigation into Gender Bias in Large Language Models. Paris: UNESCO, 2024. E-book. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000388971. Acesso em: 10 jul. 2025.

ZWART, Hans de. Racist technology in Action: AI detection of emotion rates Black basketball players as ‘angrier’ than their White counterparts. Racism and Technology Center, [S.l.], 21 jul. 2024. Newsletter 46. Disponível em: https://racismandtechnology.center/2024/07/21/racist-technology-in-action-ai-detection-of-emotion-rates-black-basketball-players-as-angrier-than-their-white-counterparts/. Acesso em: 30 jul. 2025.

Downloads

Publicado

2026-01-30

Edição

Seção

Artigos

Como Citar

Discriminação algorítmica e a dignidade humana: o impacto ao respeito, à autonomia e à autodeterminação. (2026). Algoritmos & Sociedade, 2, 1-21. https://periodicos.ufmg.br/index.php/algoritmosesociedade/article/view/61140

Share