The dominance of utilitarianism and the weakening of criticism: generative artificial intelligence and the values at stake in science
PRIMAZIA DA DIMENSÃO UTILITÁRIA E RECUO CRÍTICO:INTELIGÊNCIA ARTIFICIAL GENERATIVA E OS VALORES EMDISPUTA NA CIÊNCIA
DOI:
https://doi.org/10.1590/Keywords:
science education, scientific ethics, scientific integrity, risk, technologyAbstract
This editorial aims to share the formative path taken by the editorial board of the journal Ensaio: Research in Science Education on generative artificial intelligence (GenAI). In addition, by highlighting the foundations adopted, the questions raised, and the contradictions observed, we invite the community to an open and critical dialogue about GenAI and scientific practice. We mobilize discourses, positions, and controversies presented nationally and internationally, and, based on critical theories, we seek to expose the contradictions inherent in the production process, appropriation, distribution, and the uses and discourses associated with this technology. We emphasize the risks associated with the use of GenAI, including illegality, non-compliance, illegitimacy, implausibility, and uncriticality. In taking a critical stance towards the use of GenAI for academic production, we acknowledge its complex and intricate nature, as well as the limited research in the area of science education. This perspective aims to encourage the creation of communities and educational contexts in the science education field that promote the in-depth study, production, and critical analysis relevant to emerging technologies, such as GenIA.
References
Adorno, T. W. (1996). Teoria da Semicultura. Educação e Sociedade, XVII (56), pp. 388-411.
Azevedo, N.H.; Mendonça, P.C.C. (2024). Dados abertos na pesquisa em educação em ciências: perspectivas, desafios e possibilidades. Ensaio Pesquisa em Educação em Ciências, 26, e51515. https://doi.org/10.1590/1983-21172022240172
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the dangers of stochastic parrots: Can language models be too big?. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623). https://doi.org/10.1145/3442188.3445922
Benjamin, W. (2012a). A obra de arte na era de sua reprodutibilidade técnica. In Benjamin, W. Magia e técnica, arte e política: ensaios sobre literatura e história da cultura. (8a. ed., pp. 179-212). São Paulo, SP: Brasiliense.
Benjamin, W. (2012b). Experiência e pobreza. In Benjamin, W. Magia e técnica, arte e política: ensaios sobre literatura e história da cultura. (8a. ed., pp. 123-128). São Paulo, SP: Brasiliense.
Birhane, A., & Guest, O. (2021). Towards decolonising computational sciences. Women, Gender & Research. https://pure.mpg.de/rest/items/item_3287104_1/component/file_3287105/content
Bizerra, A. F., & Sá, L. P. (2022). Vamos conversar sobre autoria?. Ensaio Pesquisa em Educação em Ciências, 24, e39592. https://doi.org/10.1590/1983-21172022240112
Brasil. (2018). Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União: seção 1, Brasília, DF, 156(157), p. 1. (Atualizada pela Lei nº 13.853, de 8 de julho de 2019). https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm
Brevini, B. (2020). Black boxes, not green: Mythologizing artificial intelligence and omitting the environment. Big Data & Society, 7(2), 2053951720935141. https://journals.sagepub.com/doi/full/10.1177/2053951720935141
Brevini, B. (2023). Myths, Techno Solutionism and Artificial Intelligence: Reclaiming AI materiality and its massive environmental costs. in S Lindgren (ed.), Handbook of Critical Studies of Artificial Intelligence, Edward Elgar Publishing.
Cecchini, V.K. Ferrari, P. A tecno diversidade nos movimentos sociais populares: articulando inovação social na resistência à extração e controle capitalista da terra, do alimento e dos saberes. In: S. Iasulaitis & S.; Amadeu da Silveira(orgs.). Estudos sociopolíticos da Inteligência Artificial. Campina Grande: EDUEPB, 2025. p. 387-413.
Chen, Z. (2023). Ethics and discrimination in artificial intelligence-enabled recruitment practices. Humanities and Social Sciences Communications, 10(1), 1-12. https://doi.org/10.1057/s41599-023-02079-x
Dagnino, R. (2014). Tecnologia Social: contribuições conceituais e metodológicas. Campina Grande; Florianópolis: EDUEP; INSULAR.
DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., ... & He, Y. (2025). Deepseek-r1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv preprint arXiv:2501.12948. https://arxiv.org/abs/2501.12948
Dias, T., & Schurig, S. (2024, 5 de Junho). Moderadores subterrâneos: Meta paga centavos por checagem sobre enchentes no RS, violência e política para treinar inteligência artificial. Intercept Brasil. Disponível em: https://www.intercept.com.br/2024/06/05/meta-paga-centavos-por-checagem-sobre-enchentes-no-rs-violencia-e-politica-para-treinar-inteligencia-artificial/. Acesso em: 11 maio 2025.
Dias, T., & Schurig, S. (2024, 22 julho). Proletários de plataforma: Como a indústria de inteligência artificial lucra criando uma nova classe trabalhadora sem direitos no Brasil. Intercept Brasil. Disponível em: https://www.intercept.com.br/2024/07/22/inteligencia-artificial-classe-trabalhadora-sem-direitos-no-brasil/. Acesso em: 11 maio 2025.
Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin's Press.
Feenberg, A. (1990). Post-industrial discourses. Theory and Society, 19, pp. 709-737. https://doi.org/10.1007/BF00191895
Flanagin, A., Kendall-Taylor, J., & Bibbins-Domingo, K. (2023). Guidance for authors, peer reviewers, and editors on use of AI, language models, and chatbots. Jama, 330(8), 702-703. https://jamanetwork.com/journals/jama/fullarticle/2807956
França, T. F., & Monserrat, J. M. (2024). The artificial intelligence revolution... in unethical publishing: Will AI worsen our dysfunctional publishing system?. Journal of General Physiology, 156(11), e202413654. https://doi.org/10.1085/jgp.202413654
Freire, P; & Shor, I. (1986). Medo e Ousadia: o cotidiano do professor. Rio de Janeiro, RJ: Paz e Terra.
Fromm, E. (2024). Ter ou ser?. São Paulo, SP: Editora Planeta.
Ganjavi, C., Eppler, M. B., Pekcan, A., Biedermann, B., Abreu, A., Collins, G. S., ... & Cacciamani, G. E. (2024). Publishers’ and journals’ instructions to authors on use of generative artificial intelligence in academic and scientific publishing: bibliometric analysis. The bmj, 384. https://doi.org/10.1136/bmj-2023-077192
Giroux, H. A. (1997). Os professores como intelectuais: Rumo a uma pedagogia crítica da aprendizagem. Porto Alegre, RS: Artes Médicas.
Haraway, D. J. (2009) Manifesto ciborgue: ciência, tecnologia e feminismo-socialista no final do século XX. In: Tadeu, T. (Org). Antropologia do ciborgue: as vertigens do pós-humano. (2nd ed. pp. 33-118). Belo Horizonte, MG: Autêntica Editora.
Hobsbawn, E. J. (1952). The Machine Breakers. Past & Present, 1, pp. 57-70.
Holmes, W., & Miao, F. (2024). Guia para a IA generativa na educação e na pesquisa. UNESCO Publishing. https://unesdoc.unesco.org/ark:/48223/pf0000390241
Legg, S.; Hutter, M. (2007). A collection of definitions of intelligence. In B. Goertzel & P. Wang (Eds.), Artificial General Intelligence: Concepts, Architectures and Algorithm. . (pp. 17-24). IOS Press Ebooks: Amsterdam, The Netherlands.
Leung, T. I., de Azevedo Cardoso, T., Mavragani, A., & Eysenbach, G. (2023). Best practices for using AI tools as an author, peer reviewer, or editor. Journal of Medical Internet Research, 25, e51584. https://www.jmir.org/2023/1/e51584
Makridakis, S., & Polemitis, A. (2023). Human Intelligence (HI) Versus Artificial Intelligence (AI) and Intelligence Augmentation (IA). In Forecasting with Artificial Intelligence: Theory and Applications (pp. 3-29). Cham: Springer Nature Switzerland.
Marx, K. (2011). Grundrisse: manuscritos econômicos de 1857-1858: esboços da crítica da economia política. São Paulo, SP; Rio de Janeiro, RJ: Boitempo; Ed. UFRJ.
Massi, L., & Silva, R.L.F. (2024). O papel das revistas científicas na ética em pesquisa. Ensaio Pesquisa em Educação em Ciências, 26, e55294. https://doi.org/10.1590/1983-21172022240198
McAfee, A.(2024). Generally Faster: The Economic Impact of Generative AI [online]. The MIT Initiative on the Digital Economy (IDE). Available from: https://ide.mit.edu/wp-content/uploads/2024/04/Davos-Report-Draft-XFN-Copy-01112024-Print-Version.pdf?x76181
Mendonça, P. C. C., Franco, L. G., Massi, L., & Coelho, G. R. (2023). Experiências da revista Ensaio Pesquisa em Educação em Ciências com avaliação por pares aberta. Ensaio Pesquisa em Educação em Ciências, 25, e42617. https://doi.org/10.1590/1983-21172022240137
Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627(8002), 49-58. https://doi.org/10.1038/s41586-024-07146-0 4.
Ministério da Ciência, Tecnologia e Inovação (MCTI). (2024). IA para o Bem de Todos: Proposta de Plano Brasileiro de Inteligência Artificial 2024-2028. Apresentação na Reunião do Pleno do Conselho Nacional de Ciência e Tecnologia. 29 de Julho de 2024. Brasília, DF: MCTI.
Naddaf, M. (2025). AI is transforming peer review—and many scientists are worried. Nature, 639(8056), 852-854. https://doi.org/10.1038/d41586-025-00894-7
Peñalvo, F. J. G., & Ingelmo, A. V. (2023). What do we mean by GenAI? A systematic mapping of the evolution, trends, and techniques involved in Generative AI. International Journal of Interactive Multimedia and Artificial Intelligence, 8(4), 7-16.
Sampaio, R.C., Sabbatini, M., & Limongi, R. (2024). Diretrizes para o uso ético e responsável da Inteligência Artificial Generativa: um guia prático para pesquisadores. São Paulo: Editora Intercom. https://prpg.unicamp.br/wp-content/uploads/sites/10/2025/01/livro-diretrizes-ia-1.pdf
Schmidt, S. (2024, agosto). Universidades brasileiras discutem regras de uso de inteligência artificial: Diante de incertezas por parte de estudantes e pesquisadores, instituições debatem quais seriam os limites éticos do uso dessas ferramentas na escrita e na pesquisa científica. Revista Pesquisa FAPESP. 342. Disponível em: https://revistapesquisa.fapesp.br/universidades-brasileiras-discutem-regras-de-uso-de-inteligencia-artificial/. Acesso em: 11 maio 2025.
SciELO. (2023). Guia de uso de ferramentas e recursos de Inteligência Artificial na comunicação de pesquisas na Rede SciELO. 2023. Disponível em: https://wp.scielo.org/wp-content/uploads/Guia-de-uso-de-ferramentas-e-recursos-de-IA-20230914.pdf. Acesso em 06 março -03-2025.
SciELO. (2024). Critérios, política e procedimentos para a admissão e a permanência de periódicos na Coleção SciELO Brasil. Disponível em: https://www.scielo.br/media/files/20240900-Criterios-SciELO-Brasil.pdf. Acesso em 06 março 2025.
Spinak, E. (2023). ¿Puede la IA hacer arbitrajes confiables de artículos científicos? . SciELO en Perspectiva. Disponível em: https://blog.scielo.org/es/2023/12/06/puede-la-ia-hacer-arbitrajes-confiables-de-articulos-cientificos/. Acesso em 23 abril 2025.
Stengers, I. (2018). Another science is possible: a manifesto for slow science. Cambridge, UK: Polity Press.
Thirunavukarasu, A. J., Ting, D. S. J., Elangovan, K., Gutierrez, L., Tan, T. F., & Ting, D. S. W. (2023). Large language models in medicine. Nature Medicine, 29(8), 1930-1940. https://doi.org/10.1038/s41591-023-02448-8
Van Noorden, R., & Webb, R. (2023). ChatGPT and science: the AI system was a force in 2023-for good and bad. Nature, 624(7992), 509.
Vasconcelos, S., & MARUŠIĆ, A. Research Integrity and Human Agency in Research Intertwined with Generative AI [online]. SciELO in Perspective, 2025. Available from: https://blog.scielo.org/en/2025/05/07/research-integrity-and-human-agency-in-research-gen-ai/
Vieira Pinto, A. (2005a). O conceito de tecnologia. v. 1. Rio de Janeiro: Contraponto, 2005.
Vieira Pinto, A. (2005b). O conceito de tecnologia. v. 2. Rio de Janeiro: Contraponto, 2005.
Yu, H. (2023). Reflection on whether Chat GPT should be banned by academia from the perspective of education and teaching. Frontiers in Psychology, 14: 1181712. https://doi.org/10.3389/fpsyg.2023.1181712
Zuboff, S. (2018). The age of surveillance capitalism: the fight for a human future at the new frontier of power. New York: PublicAffairs.
