Algorithmic discrimination and human dignity

the impact on respect, autonomy and self-determination

Authors

Keywords:

Artificial Intelligence, Autonomy, Instrumentalization of the individual, Technology ethics

Abstract

Artificial Intelligence (AI) and algorithms constitute an advanced learning technology that is increasingly integrated into daily life, whether in digital Spaces, through the use of applications, e-mail management, or online services. Its popularity is rooted in the promise of making task execution and problem-solving faster, more cost-effective and efficient. However, its influence on people’s lives has raised concerns regarding not only how data is collected but also the consequences for individuals subjected to its analysis. Of particular note is the occurrence of algorithmic discrimination. Therefore, this article aims to analyze the occurrences of this phenomenon and how it affects the principle of human dignity, specifically its constitutive elements: respect, autonomy and self-determination. To this end, a qualitative research approach is adopted, characterized as exploratory-deductive, utilizing reports of exemplary cases relevant to the topic, legislation, books, and interdisciplinary scientific articles as bibliographic sources. It was identified that technology is not neutral, and the practice of generalization in information processing can result in indignities, reducing humans to the status of objects. Its logical facade fuels a misguided image of unquestionability that encourages the abdication of individual autonomy. Also, amidst harmful representations, the denial of opportunities, exclusion from services and barriers to substantive justice, human self-determination is undermined. Consequently, the consideration of human dignity becomes indispensable in the design and development of AI-driven solutions, to be applied by private and public institutions, as well as technology professionals. 

Downloads

Download data is not yet available.

Author Biography

  • Priscila Sauthier, Federal University of Paraíba

    Specialist in Public Law (Constitutional, Administrative, and Tax Law) and in Criminal Law and Criminal Procedure from Universidade Estácio de Sá. Currently pursuing a postgraduate specialization in Ethics in Artificial Intelligence at the Federal University of Paraíba. Bachelor of Laws (LL.B.) from Universidade Presidente Antônio Carlos (UNIPAC).

References

AHMED, Maryam. UK passport photo checker shows bias against dark-skinned women. BBC News. [S. l.], 7 out. 2020. News. Disponível em: https://www.bbc.com/news/technology-54349538. Acesso em: 13 jul. 2025.

ALENICHEV, Arsenii; KINGORI, Patricia; GRIETENS, Koen Peeters. Reflections before the storm: the AI reproduction of biased imagery in global health visuals. The Lancet Global Health, [S.l.], v. 11, n. 10, p. 1496-1498, 2023. Disponível em: https://www.thelancet.com/journals/langlo/article/PIIS2214-109X(23)00329-7/fulltext?ref=axbom.com. Acesso em: 09 jun. 2025.

AMERICAN CIVIL LIBERTIES UNION. Williams v. City of Detroit: Face Recognition False Arrest. Court Cases, [S.l.], 29 jan. 2024. Privacy & Technology. Disponível em: https://www.aclu.org/cases/williams-v-city-of-detroit-face-recognition-false-arrest. Acesso em: 8 jun. 2025.

ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, [S. l.], 23 maio 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 7 jun. 2025.

ARÓSTEGUI, Lorena Alemán. El uso de RISCANVI en la toma de decisiones penitenciarias. Estudios Penales y Criminológicos, [S. l.], v. 44, n. Ext., p. 1-43, 10 nov. 2023. Disponível em: https://doi.org/10.15304/epc.44.8884. Acesso em: 12 ago. 2025.

ASSIS, Juliana de; MOURA, Maria Aparecida. Semioses algorítmicas e viés racial: um estudo de imagens criadas pela IA generativa. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, Brasil, v. 30, p. 1–24, 2025. Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/103495. Acesso em: 11 jul. 2025.

BARROSO, Luís Roberto. Curso de Direito Constitucional Contemporâneo: os conceitos fundamentais e a construção do novo modelo. 10. ed. São Paulo: SaraivaJur, 2022.

BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF, 1988. Disponível em: https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 06 de ago. 2025.

CALLEJÓN, Francisco Balaguer. La Constitución del Algoritmo. 2.ed. Zaragoza: Fundación Manuel Giménez Abad, 2023. E-book. Disponível em: https://www.fundacionmgimenezabad.es/sites/default/files/Publicar/publicaciones/documentos/e9_2ed_constitucion_algoritmo_seg.pdf. Acesso em: 05 jul. 2025.

CARRERA, Fernanda. Racismo e sexismo em bancos de imagens digitais: Análise de resultados de busca e atribuição de relevância na dimensão financeira/profissional. In: SILVA, Tarcízio (org.). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA, 2020. p. 139-155.

CARVALHO, Kildare Gonçalves. Direito Constitucional: Direito Constitucional Positivo. 22. ed. Belo Horizonte: Del Rey, 2017.

CLAYTON, James. 'I was misidentified as shoplifter by facial recognition tech'. BBC Newsnight, [S.l.], 25 mai. 2024. Disponível em: https://www.bbc.com/news/technology-69055945. Acesso em: 10 jun. 2025.

DASTIN, Jeffrey. Insight - Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, San Francisco, 10 out. 2018. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G/. Acesso em: 7 jun. 2025.

DÍAZ, Ujué Agudo; LIBERAL, Karlos G. El algoritmo paternalista: Cuando mande la inteligencia artificial. Iruñea-Pamplona: Katakrak Liburuak, 2024. E-book.

D'ALMEIDA, Nicole. Com IA viciada, LinkedIn criou algoritmo para corrigir algoritmo: entenda. Uol Tilt, São Paulo, 1 nov. 2021. Inteligência Artificial. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2021/11/01/linkedin-inteligencia-artificial-tendenciosa.htm. Acesso em: 7 jun. 2025.

EYSENCK, Michael; EYSENCK, Christine. Inteligência Artificial X Humanos: O que a ciência cognitiva nos ensina ao colocar frente a frente a mente humana e a IA. Tradução de Gisele Klein. 1 ed. Porto Alegre: Artmed, 2023.

FORMOSA, Paul. Kantian ethics, dignity, and perfection. New York: Cambridge University Press, 2017.

FRERMANN, Lea; NJOTO, Sheilla; CHEONG, Marc; RUPPANNER, Leah. When it comes to jobs, AI does not like parents: New research finds that AI doesn’t just discriminate against women in the workforce – but also has a problem with parents. Pursuit – University of Melbourne, [S.l.], 23 jul. 2023. Sciences & Technology. Disponível em: https://pursuit.unimelb.edu.au/articles/when-it-comes-to-jobs-ai-does-not-like-parents. Acesso em: 7 jun. 2025.

GNIPPER, Patricia. Polêmica: aplicativo que altera as feições do usuário é acusado de racismo. O FaceApp conta com uma inteligência artificial para melhorar um sorriso, envelhecer rostos e deixá-los mais bonitos; o problema é que esse filtro também clareia o tom de pele das pessoas. Techmundo. [S. l.], 25 abr. 2017. Software. Disponível em: https://www.tecmundo.com.br/apps/116069-polemica-aplicativo-altera-feicoes-usuario-acusado-racismo.htm. Acesso em: 10 jun. 2025.

GODOY, Johnny; REYES, Camilo Carvajal; URRUTIA, Felipe. Es la ética un límite para la IA?. Cuadernos de Beauchef, Chile, v. 8, n. 1, p. 9-19, 2024. Disponível em: https://revistasdex.uchile.cl/index.php/cdb/article/view/15213/15245. Acesso em: 02 ago. 2025.

HARARI, Yuval Noah. Nexus: Uma breve história das redes de informação, da Idade da Pedra à inteligência artificial. Tradução de Berilo Vargas e Denise Bottmann. São Paulo: Schwarcz S.A., 2024.

LARSON, Jeff; ANGWIN, Júlia. Technical Response to Northpointe: Northpointe asserts that a software program it sells that predicts the likelihood a person will commit future crimes is equally fair to black and white defendants. We re-examined the data, considered the company’s criticisms, and stand by our conclusions. ProPublica, [S. l.], 2016. Machine Bias. Disponível em: https://www.propublica.org/article/technical-response-to-northpointe. Acesso em: 7 jun. 2025.

MCCORMICK, Erin. What happened when a ‘wildly irrational’ algorithm made crucial healthcare decisions: Advocates say having computer programs decide how much help vulnerable people can get is often arbitrary – and in some cases downright cruel. The Guardian. [S. l.], 2 jul. 2021. US News. Disponível em: https://www.theguardian.com/us-news/2021/jul/02/algorithm-crucial-healthcare-decisions. Acesso em: 30 jul. 2025.

MORAES, Alexandre de. Direito Constitucional. 39. ed. Barueri: Atlas, 2023.

MOURA, Carlos Manoel Silva; BRAGA, Tiago Emmanuel Nunes. A Inteligência Artificial e a criação de conteúdo: os vieses que habitam entre nós. Anais do Workshop de Informação, Dados e Tecnologia - WIDaT, [S. l.], v. 6, 2023. Disponível em: https://labcotec.ibict.br/widat/index.php/widat2023/article/view/11. Acesso em: 9 jul. 2025.

NOBLE, Safiya Umoja. Algorithms of Oppression: How Search Engines Reiforce Racism. New York: New York University Press, 2018.

ODLE, Brooke; FINLEY, Katherine; LONGFIELD, Victoria; SERRÃO, Rodrigo. Going Beyonde The Technical: Exploring Ethical and Societal Implications of Machine. In: BERRY, Carlotta A.; MARSHALL, Brandeis Hill (ed.). Mitigating Bias in Machine Learning. New York: McGraw Hill LLC, 2025. p. 17-31.

O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução de Rafael Abraham. Santo André, SP: Editora Rua do Sabão, 2020.

PAUL, Karin. Healthcare algorithm used across America has dramatic racial biases: System sold by Optum estimates health needs based on medical costs, which are much less than for white patients, report finds. The Guardian. [S. l.], 25 out. 2019. Health. Disponível em: https://www.theguardian.com/society/2019/oct/25/healthcare-algorithm-racial-biases-optum#:~:text=Less%20money%20is%20spent%20on,the%20same%20level%20of%20illness. Acesso em: 11 jul. 2025.

PEDROSO, João; SANTOS, Andreia. Inteligência Artificial e Justiça Criminal: Riscos e Desafios. Revista Sociologia Online, Lisboa, n. 35, p. 134-155, ago. 2024. Disponível em: https://doi.org/10.30553/sociologiaonline.2024.35.6. Acesso em: 12 ago. 2025.

PIOVESAN, Flávia. Direitos humanos e o direito constitucional internacional.19. ed. São Paulo: Saraiva Educação, 2021.

REIS, Ana Rosa. Campanha celebra os 75 anos da Declaração Universal dos Direitos Humanos. Centro de Informação das Nações Unidas para o Brasil (UNIC Rio): Rio de Janeiro, 30 ago. 2023. Notícias. Disponível: https://brasil.un.org/pt-br/244006-campanha-celebra-os-75-anos-da-declara%C3%A7%C3%A3o-universal-dos-direitos-humanos. Acesso em: 23 mai. 2025.

RIVERA, Laura G. de. Esclavos del algoritmo: Manual de resistencia em la era de la inteligência artificial. Barcelona: Penguin Random House Grupo Editorial, 2025.

ROCHA, Cármen Lúcia Antunes. O princípio da dignidade da pessoa humana e a exclusão social. Jurisprudência Catarinense, Florianópolis, Brasil, v. 35, n. 117, p. 71-107, abr./jun. 2009. Disponível em: https://bdjur.stj.jus.br/server/api/core/bitstreams/6bc3ff89-a160-459f-8475-22ed060d4373/content. Acesso em: 04 ago. 2025.

SANTIAGO, Abinoan. ‘Me urinei de medo ao ser levada no camburão da PM por erro de IA’. Uol Tilt, Florianópolis, 15 nov. 2023. Inteligência Artificial. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2023/11/15/erro-camera-reconhecimento-facial.htm. Acesso em: 10 jun. 2025.

SARLET, Ingo Wolfgang. Dignidade da pessoa humana e direitos fundamentais na Constituição Federal de 1988. 9. ed. rev. atual. Porto Alegre: Livraria do Advogado Editora, 2011.

SARLIN, Jon. EUA: Polícia prende inocente a partir de sistema de reconhecimento facial: Embora a tecnologia de reconhecimento facial tenha se tornado mais precisa, pesquisa mostrou que ela é suscetível a erros com pessoas de pele mais escura. CNN Brasil, [S.l.], 03 mai. 2021. Internacional. Disponível em: https://www.cnnbrasil.com.br/internacional/sistema-de-reconhecimento-facial-enviou-este-homem-inocente-para-a-prisao/. Acesso em: 10 jun. 2025.

SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes sociais. São Paulo: Edições Sesc São Paulo, 2022.

TAULLI, Tom. Introdução à Inteligência Artificial: Uma abordagem não técnica. São Paulo: Apress Novatec, 2020.

UNESCO (2024). Challenging systematic prejudices: an Investigation into Gender Bias in Large Language Models. Paris: UNESCO, 2024. E-book. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000388971. Acesso em: 10 jul. 2025.

ZWART, Hans de. Racist technology in Action: AI detection of emotion rates Black basketball players as ‘angrier’ than their White counterparts. Racism and Technology Center, [S.l.], 21 jul. 2024. Newsletter 46. Disponível em: https://racismandtechnology.center/2024/07/21/racist-technology-in-action-ai-detection-of-emotion-rates-black-basketball-players-as-angrier-than-their-white-counterparts/. Acesso em: 30 jul. 2025.

Published

2026-01-30

How to Cite

Algorithmic discrimination and human dignity: the impact on respect, autonomy and self-determination. (2026). Algoritmos & Sociedade, 2, 1-21. https://periodicos.ufmg.br/index.php/algoritmosesociedade/article/view/61140

Share