Evaluación de la calidad de escritura en ensayos argumentativos

comparación entre Grandes Modelos de Lenguaje (LLM) y revisiones humanas basadas en una rúbrica

Resumen

La evaluación automática de la escritura se ha consolidado como una alternativa prometedora para agilizar y mejorar la retroalimentación en el aprendizaje a causa del desarrollo de la Inteligencia Artificial Generativa (IAG) con los Grandes Modelos de Lenguaje (LLM) como ChatGPT de OpenAI. De este modo, la retroalimentación formativa que proporcionan las IAs tienen el potencial de influir en la autorregulación y la mejora continua del desempeño académico del estudiantado. De acuerdo con este contexto, el objetivo de este trabajo es determinar el grado de fiabilidad interjueces en la evaluación de ensayos argumentativos realizada por modelos de lenguaje (GPTo3-mini-high y GPT-4), comparándola con la evaluación de un experto humano mediante la rúbrica analítica RUBRIAR. Se utilizó un enfoque cuantitativo para determinar el grado de concordancia entre las evaluaciones realizadas por el experto y las realizadas por los modelos ChatGPT personalizados en 46 ensayos argumentativos escritos por estudiantes universitarios de primer año. Los hallazgos revelan que la evaluación efectuada por los LLM es similar a la del humano experto, especialmente en la dimensión de ajuste al género en la subdimensión de propósito comunicativo. Sin embargo, hay una baja precisión en las relaciones de cohesión y coherencia, así como con el ajuste a las normas de la lengua. Se concluye que es fundamental incorporar un enfoque pedagógico que promueva un uso intencionado, reflexivo y ético de herramientas de IA, particularmente durante los primeros años de la educación superior, cuando los estudiantes están construyendo las bases de sus competencias académicas.