Avaliação da qualidade da escrita em ensaios argumentativos

comparação entre Modelos Linguísticos Amplos (LLM) e avaliações humanas baseadas em uma rubrica

Resumo

A avaliação automatizada da escrita manual consolidou-se como uma alternativa promissora para otimizar e aprimorar o feedback no aprendizado, graças ao desenvolvimento da Inteligência Artificial Generativa (IAG) com Grandes Modelos de Linguagem (MLLs), como o ChatGPT da OpenAI. Dessa forma, o feedback formativo fornecido pelas IAs tem o potencial de influenciar a autorregulação e a melhoria contínua do desempenho acadêmico dos alunos. De acordo com este contexto, o objetivo deste trabalho é determinar o grau de confiabilidade interjuízes na avaliação de ensaios argumentativos realizada por modelos de linguagem (GPTo3-mini-high e GPT-4), comparando-a com a avaliação de um especialista humano por meio da rubrica analítica RUBRIAR. Utilizou-se uma abordagem quantitativa para determinar o grau de concordância entre as avaliações realizadas pelo especialista e as realizadas pelos modelos ChatGPT personalizados em 46 ensaios argumentativos escritos por estudantes universitários do primeiro ano. Os resultados revelam que a avaliação feita pelos LLM é semelhante à do especialista humano, especialmente na dimensão de ajuste ao gênero na subdimensão de propósito comunicativo. No entanto, há uma baixa precisão nas relações de coesão e coerência, bem como no ajuste às normas da língua. Conclui-se que é essencial incorporar uma abordagem pedagógica que promova o uso intencional, reflexivo e ético das ferramentas de IA, particularmente durante os primeiros anos do ensino superior, quando os alunos estão construindo as bases de suas competências acadêmicas.