Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs) - Moraes, Lavínia; Silvério, Irene Cristina; Marques, Rafael Alexandre Sousa; Anaia, Bianca de Castro; Paula, Dandara Freitas de; Faria, Maria Carolina Schincariol de; Cleveston, Iury; Correia, Alana de Santana; Freitag, Raquel Meister Ko (Texto Livre, 2024)
A ambiguidade linguística ainda é um grande desafio para sistemas de processamento de linguagem natural (NLP) apesar dos avanços em arquiteturas como Transformers e BERT. Inspirado pelo êxito recente dos modelos instrucionais ChatGPT (versão 3.5) e Gemini (denominado Bard até 2023), este trabalho visa analisar e discutir a ambiguidade linguística nesses modelos a partir de três tipos de ambiguidade no Português Brasileiro: semântica, sintática e lexical. Para isso, foi desenvolvido um corpus com 120 frases ambíguas e não ambíguas, submetidas aos modelos para tipificação, explicação e desambiguação. Também foi explorada a capacidade de geração de frases ambíguas, solicitando a geração de conjuntos de frases para cada tipo de ambiguidade. Os resultados foram analisados qualitativamente, com base em referenciais linguísticos reconhecidos, e quantitativamente pela acurácia das respostas obtidas. Evidenciamos que equívocos e deficiências nas respostas permanecem mesmo em modelos mais sofisticados, como ChatGPT e Gemini, com explicações frequentemente inconsistentes. A acurácia foi de no máximo 49,58%, apontando a necessidade de estudos descritivos para o aprendizado supervisionado.