Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs)

Lavínia Moraes; Irene Cristina Silvério; Rafael Alexandre Sousa Marques; Bianca de Castro Anaia; Dandara Freitas de Paula; Maria Carolina Schincariol de Faria; Iury Cleveston; Alana de Santana Correia; Raquel Meister Ko Freitag

doi:10.1590/1983-3652.2025.53181

Authors

Lavínia Moraes Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0002-4934-8505
Irene Cristina Silvério Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0002-7737-7469
Rafael Alexandre Sousa Marques Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0003-2807-037X
Bianca de Castro Anaia Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0001-9330-0288
Dandara Freitas de Paula Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0002-4995-1582
Maria Carolina Schincariol de Faria Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0003-0849-7237
Iury Cleveston Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0002-6010-4624
Alana de Santana Correia Attenty Sistemas de Software, Análise de dados, Campinas, SP, Brasil https://orcid.org/0000-0002-7417-3727
Raquel Meister Ko Freitag Universidade Federal de Sergipe, Departamento de Letras Vernáculas, Sergipe, SE, Brasil https://orcid.org/0000-0002-4972-4320

DOI:

https://doi.org/10.1590/1983-3652.2025.53181

Keywords:

Ambiguity, Language model, ChatGPT, Gemini

Abstract

Linguistic ambiguity continues to represent a significant challenge for natural language processing (NLP) systems, notwithstanding the advancements in architectures such as Transformers and BERT. Inspired by the recent success of instructional models like ChatGPT and Gemini (named Bard in 2023), this study aims to analyze and discuss linguistic ambiguity within these models, focusing on three types prevalent in Brazilian Portuguese: semantic, syntactic, and lexical ambiguity. We created a corpus comprising 120 sentences, both ambiguous and unambiguous, for classification, explanation, and disambiguation. The models’ capability to generate ambiguous sentences was also explored by soliciting sets of sentences for each type of ambiguity. The results underwent qualitative analysis, drawing on recognized linguistic references, and quantitative assessment based on the accuracy of the responses obtained. It was evidenced that even the most sophisticated models, such as ChatGPT and Gemini, exhibit errors and deficiencies in their responses, often providing inconsistent explanations. Furthermore, the accuracy peaked at 49.58%, indicating the need for descriptive studies for supervised learning.

Downloads

Download data is not yet available.

References

AGIRRE, Eneko; RIGAU, German. A proposal for word sense disambiguation using conceptual distance. Amsterdam Studies In The Theory And History Of Linguistic Science Series 4, John Benjamins Bv, p. 161–172, 1997.

AHMED, Imtiaz; KAJOL, Mashrafi; HASAN, Uzma; DATTA, Partha Protim; ROY, Ayon; REZA, Md Rokonuzzaman. ChatGPT vs. Bard: A Comparative Study. UMBC Student Collection, 2023.

BRITO BEZERRA, Gitanna; MARTINS LEITÃO, Márcio. O processamento de argumentos e adjuntos em construções sem ambiguidade estrutural. Revista Veredas, v. 17, n. 2, 2013.

BRUSCATO, Amanda Maraschin; BAPTISTA, Jorge. Resolução de ambiguidade anafórica em português, inglês e espanhol (estudo-piloto). Alfa: Revista de Linguística (São José do Rio Preto), SciELO Brasil, v. 65, e13626, 2021.

CAI, Zhenguang G; HASLETT, David A; DUAN, Xufeng; WANG, Shuqi; PICKERING, Martin J. Does ChatGPT resemble humans in language use? arXiv preprint arXiv:2303.08014, 2023.

CANÇADO, Márcia. Manual de semântica. Belo Horizonte: Editora UFMG, 2005.

CHAPLOT, Devendra; BHATTACHARYYA, Pushpak; PARANJAPE, Ashwin. Unsupervised word sense disambiguation using markov random field and dependency parser. In: 1. P OCEEDINGS of the AAAI Conference on Artificial Intelligence. [S. l.: s. n.], 2015. v. 29.

CHOMSKY, Noam. Lectures on Government and Binding: The Pisa Lectures. Berlin, New York: Mouton de Gruyter, 1981. (Studies in Generative Grammar).

CHURCH, Kenneth W.; PATIL, Ramesh. Coping with Syntactic Ambiguity or How to Put the Block in the Box on the Table. In: PROCEEDINGS of the 20th Annual Meeting on Association for Computational Linguistics. [S. l.]: Association for Computational Linguistics, 1982. p. 139–146. DOI: 10.3115/981311.981336.

DEVLIN, Jacob; CHANG, Ming-Wei; LEE, Kenton; TOUTANOVA, Kristina. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

FINGER, Marcelo. Inteligência Artificial e os rumos do processamento do português brasileiro. Estudos Avançados, SciELO Brasil, v. 35, p. 51–72, 2021.

FREITAG, Raquel; TEJADA, Julian; PINHEIRO, Bruno; CARDOSO, Paloma. Função na língua, generalização e reprodutibilidade. Revista da ABRALIN, p. 1–27, 2021.

FREITAG, Raquel Meister Ko. Preconceito linguístico para humanizar as máquinas. Cadernos de Linguística, v. 2, n. 4, e495–e495, 2021.

FREITAG, Raquel Meister Ko. Sociolinguistic repositories as asset: challenges and difficulties in Brazil. The Electronic Library, Emerald Publishing Limited, v. 40, n. 5, p. 607–622, 2022.

FREITAG, Raquel Meister Ko; CARDOSO, Paloma Batista; TEJADA, Julian. Linguistic and paralinguistic constraints on the function of (eu) acho que as DM in Brazilian Portuguese: A multilevel approach. Pragmatics & Cognition, John Benjamins Publishing Company Amsterdam/Philadelphia, v. 29, n. 2, p. 324–346, 2022.

FREITAG, Raquel Meister Ko; CRUZ, Regina Célia Fernandes; CUNHA NASCIMENTO, Thiago da. A gramática no corpo: dos recursos corporificados na construção e negociação dos sentidos. Cadernos de Linguística, v. 2, n. 1, e354–e354, 2021.

GODOY, Mahayana; CARVALHO, Renata Sabrinne Souza de. Efeitos sintáticos e temáticos na resolução de pronomes ambíguos em Português Brasileiro. Revista do GELNE, v. 22, n. 2, p. 131–142, 2020.

GOEL, Anmol. Beyond the Surface: A Computational Exploration of Linguistic Ambiguity. 2023. Tese (Doutorado) – International Institute of Information Technology Hyderabad.

HABER, Janosch; POESIO, Massimo. Patterns of lexical ambiguity in contextualised language models. arXiv preprint arXiv:2109.13032, 2021.

ILARI, Rodrigues; GERALDI, João. Semântica: Implicaturas e Ambigüidade Situacional. São Paulo: Editora da Unicamp, 1987.

ITANKAR, Prashant Y; RAZA, Nikhat. Ambiguity resolution: An analytical study. International Journal of Scientific Research in Computer Science, Engineering and Information Technology, v. 6, n. 2, p. 471–479, 2020.

JURAFSKY, Daniel; MARTIN, James H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. 1st. Upper Saddle River, NJ: Prentice Hall, 2000.

KOLLER, Alexander; ALEVEN, Vincent E.; PIETQUIN, Olivier; RIEZLER, Stefan J. Learning to Parse for Belief Update. In: PROCEEDINGS of the 22nd International Conference on Computational Linguistics (Coling 2008). Manchester, UK: Coling 2008 Organizing Committee, 2008. p. 569–576. DOI: 10.5555/1599081.1599145.

LAPORTE, Éric. Resolução de ambiguidades. Tratamento das Línguas por Computador. Uma introdução à Linguística Computacional e suas aplicações, Caminho, p. 49–89, 2001.

LIMA SILVA, Henrique Miguel de; MELO, Rita de Cássia Freire de; FRANÇA, Rayane Bezerra de. Interpretação Preferencial de Pronomes Nulos em Frases Ambíguas no Português Brasileiro por Falantes Monolíngues Universitários do Curso de Letras: Um Estudo Off-Line. ID on line. Revista de psicologia, v. 17, n. 67, p. 145–152, 2023.

LIU, Alisa; WU, Zhaofeng; MICHAEL, Julian; SUHR, Alane; WEST, Peter; KOLLER, Alexander; SWAYAMDIPTA, Swabha; SMITH, Noah A; CHOI, Yejin. We’re afraid language models aren’t modeling ambiguity. arXiv preprint arXiv:2304.14399, 2023.

LYONS, John. Semantics. 1. [S. l.]: Cambridge University Press, 1977.

MACHADO, Maria Paula de Oliveira. Sintaxe dos advérbios de modo em Português. Porto:[Edição do Autor], 1996.

MAIA, Marcus. Dimensões do Processamento Sintático. MOTA, MB; NAME, C.(org.)MAIA, Marcus; COSTA, Armanda; FERNÁNDEZ, Eva; LOURENÇO-GOMES, Maria do Carmo. A compreensão de orações relativas ambíguas em Português Brasileiro e Europeu: Um estudo comparativo. Revista ABRALIN, v. 3, n. 1, p. 2, 2004.

MAIA, Marcus Antonio Rezende; ALCANTARA, Shelen Nascimento de; BUARQUE, Simone Peres; SOUZA FARIA, Fernanda de. O processamento de concatenações sintáticas em três tipos de estruturas frasais ambíguas em português. Fórum Linguístico, v. 3, n. 1, p. 13–53, 2003.

MARCUS, Gary; LEIVADA, Evelina; MURPHY, Elliot. A sentence is worth a thousand pictures: Can large language models understand human language? arXiv preprint arXiv:2308.00109, 2023.

NASER, MZ; ALAVI, Amir H. Error metrics and performance fitness indicators for artificial intelligence and machine learning in engineering and sciences. Architecture, Structures and Construction, Springer, p. 1–19, 2021.

NOGUEIRA TEIXEIRA, Elisângela; MICELLI FONSECA, Maria Cristina; SOARES, Maria Elias. Resolução do pronome nulo em Português Brasileiro: Evidência de movimentação ocular. Revista Veredas, v. 18, n. 1, 2014.

OPENAI. GPT-4 Technical Report. [S. l.: s. n.], 2023. arXiv: 2303.08774 [cs.CL].

ORTEGA-MARTÍN, Miguel; GARCÍA-SIERRA, Óscar; ARDOIZ, Alfonso; ÁLVAREZ, Jorge; ARMENTEROS, Juan Carlos; ALONSO, Adrián. Linguistic ambiguity analysis in ChatGPT. arXiv preprint arXiv:2302.06426, 2023.

OUYANG, Long; WU, Jeffrey; JIANG, Xu; ALMEIDA, Diogo; WAINWRIGHT, Carroll; MISHKIN, Pamela; ZHANG, Chong; AGARWAL, Sandhini; SLAMA, Katarina; RAY, Alex et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, v. 35, p. 27730–27744, 2022.

PADOVANI, Djalma. Um método adaptativo para análise sintática do Português Brasileiro. 2022. Tese (Doutorado) – Universidade de São Paulo.

PIANTADOSI, Steven. Modern language models refute Chomsky’s approach to language. Lingbuzz Preprint, lingbuzz, v. 7180, 2023.

POESIO, Massimo; ARTSTEIN, Ron. The Reliability of Anaphoric Annotation, Reconsidered: Taking Ambiguity into Account. In: PROCEEDINGS of the Workshop on Frontiers in Corpus Annotations II: Pie in the Sky. [S. l.]: Association for Computational Linguistics, 2005. p. 76–83. DOI: 10.3115/1608890.1608900.

SINGH, Satyendr; SIDDIQUI, Tanveer J. Role of karaka relations in Hindi word sense disambiguation. Journal of Information Technology Research (JITR), IGI Global, v. 8, n. 3, p. 21–42, 2015.

VASWANI, Ashish; SHAZEER, Noam; PARMAR, Niki; USZKOREIT, Jakob; JONES, Llion; GOMEZ, Aidan N; KAISER, Łukasz; POLOSUKHIN, Illia. Attention is all you need. Advances in neural information processing systems, v. 30, 2017.

WEI, Jason; WANG, Xuezhi; SCHUURMANS, Dale; BOSMA, Maarten; ICHTER, Brian; XIA, Fei; CHI, Ed; LE, Quoc; ZHOU, Denny. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. [S. l.: s. n.], 2023. arXiv: 2201.11903 [cs.CL].

ZAVAGLIA, Claudia. Ambigüidade gerada pela homonímia: revisitação teórica, linhas limítrofes com a polissemia e proposta de critérios distintivos. DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada, SciELO Brasil, v. 19, p. 237–266, 2003.