A coerência na predição de verbos dicendi em resumos

comparação entre capacidades humanas e de atuais modelos de linguagem

Resumo

A relação entre a tecnologia e a linguagem humana é tema de debate crescente, especialmente com o surgimento de modelos de linguagem de grande escala (LLMs) e sua capacidade de produção textual. Essa pesquisa justifica-se pela importância de verificar a proximidade entre as produções linguísticas dos LLMs e as humanas, partindo do pressuposto de que a linguagem humana é moldada pelo conhecimento epilinguístico. Para isso, conduziu-se um estudo comparativo em que se pediu a estudantes e a LLMs que sugerissem verbos (dicendi) para completar coerentemente lacunas em um resumo de um texto-base. A escolha de um resumo escolar foi motivada pela necessidade de profunda compreensão do texto original e coerência textual, o que representa um desafio tanto para humanos quanto para LLMs. A metodologia incluiu a comparação das sugestões dos alunos e 5 LLMs via chat, buscando avaliar a coerência com o texto-fonte. Os resultados mostram que tanto LLMs quanto humanos apresentaram boas sugestões nas lacunas. No entanto, os resultados contrariam a hipótese inicial de que os humanos apresentariam uma maior diversidade lexical. Por outro lado, os resultados indicam também que LLMs têm um desempenho melhor quanto às coerências local e global. Estes fatos sugerem que os LLMs podem ser uma ferramenta de apoio para os estudos relacionados à intersecção entre linguagem e tecnologia, inclusive para o ensino.