Herramienta tecnológica de evaluación de la comprensión de un texto argumentativo de español lengua materna

Rosa Ana Martín Vegas; Marta Seseña Gómez

doi:10.1590/1983-3652.2023.46444

Autores

Rosa Ana Martín Vegas Universidad de Salamanca, Salamanca, España https://orcid.org/0000-0002-7573-9243
Marta Seseña Gómez Universidad de Salamanca, Salamanca, España https://orcid.org/0000-0001-6431-1148

DOI:

https://doi.org/10.1590/1983-3652.2023.46444

Palavras-chave:

Avaliação, Compreensão, Língua materna, Procedimento cloze, Argumentação

Resumo

O procedimento cloze, comumente utilizado como ferramenta tecnológica para avaliar a compreensão de leitura em segundas línguas, raramente é utilizado com línguas maternas. As razões para descartar esse instrumento com falantes nativos baseiam-se no fato de que ele apenas detecta o reconhecimento de informações e habilidades linguísticas microestruturais, e não mede a compreensão global ou inferencial do texto. Nesta pesquisa, essa ideia é questionada e, para elucidar o valor processual, uma ferramenta de teste baseada no modelo de exame DELE (nível B2) foi criada e aplicada a estudantes universitários espanhóis (N=125) com dois objetivos: 1 ) medir a compreensão de leitura de um texto argumentativo; 2) avaliar a compreensão da coerência e coesão discursiva a partir do uso de conectores. A ferramenta foi projetada no Moodle e executada presencialmente. A taxa de acertos e erros de cada sentença e conector foi medida estatisticamente e o teste de homogeneidade Qui-quadrado e o teste de Cochran foram aplicados para avaliar a significância da confusão entre conectores e noções de enredo. Os resultados mostram argumentos e conectores mais transparentes e padrões de confusão de argumentos. Mostra-se que essa ferramenta baseada em cloze mede a compreensão de textos argumentativos na língua materna e pode ser um instrumento tecnológico replicável.

Biografia do Autor

Rosa Ana Martín Vegas, Universidad de Salamanca, Salamanca, España

Rosa Ana Martín Vegas es profesora titular de Didáctica de la Lengua y la Literatura en la Universidad de Salamanca, coordinadora de la especialidad de Lengua Española y Literatura de dos másteres de formación del profesorado (MUPES y MUFPP) y directora del grupo de investigación ADLEMA, “Adquisición, desarrollo y didáctica de lenguas maternas”. Doctora en Filología con una tesis sobre morfofonología histórica del española, ha desarrollado dos vías principales de investigación: estudios lingüísticos de morfología y lexicología del español y estudios didácticos que presentan modelos, estrategias y actividades para la enseñanza y el aprendizaje de la lengua española. Es autora de nueve libros y más de cincuenta artículos y capítulos de libro publicados en editoriales como Síntesis, Biblioteca Nueva, Comares, Peter Lang, Dikynson… y revistas como Porta Linguarum, Tejuelo, Rilce. Revista de Filología Hispánica, Revista Española de Pedagogía, Onomázein, Zeitschrift für romanische Philologie… Ha impartido ponencias y cursos de morfología del español en instituciones como el Instituto Cervantes de Lyon, la Universidad de La Rioja, el Centro Internacional de Investigación de la Lengua Española (CILENGUA), la Universidad de Alcalá, la UNIR, la Universidad de La Manouba (Túnez), etc. Fue la directora del XVII Encuentro de Morfológos celebrado en Salamanca en 2021. Actualmente es IP del proyecto “LEXIMOR Estudio del aprendizaje léxico basado en el conocimiento de la morfología del alumnado de Educación Secundaria Obligatoria. Modelo piloto de intervención didáctica” (ref. PID2020-116110GB-I00).

Referências

ALDERSON, J. Charles. Native and nonnative speaker performance on cloze tests. en. Language Learning. A Journal of Research in Language Studies, v. 30, n. 1, p. 59-76, jun. 1980. DOI: 10.1111/j.1467-1770.1980.tb00151.x. Disponible en: https://onlinelibrary.wiley.com/doi/10.1111/j.1467-1770.1980.tb00151.x. Acceso en: 9 ago. 2023.

ÁLVAREZ, Guadalupe y GARCÍA, Mónica Beatriz. Dificultades de estudiantes universitarios en la comprensión de textos argumentativos. Educación y Humanismo, v. 19, n. 32, p. 18-30, ene. 2017. DOI: 10.17081/eduhum.19.32.2529. Disponible en: https://revistas.unisimon.edu.co/index.php/educacion/article/view/2529.

CABRERA-POMMIEZ, Marcela; LARA-INOSTROZA, Francia y PUGA-LARRAÍN, Juana. Evaluación de la lectura académica en estudiantes que ingresan a la Educación Superior. Ocnos. Revista de estudios sobre lectura, v. 20, n. 3, p. 1-18, nov. 2021. DOI: 10.18239/ocnos_2021.20.3.2614. Disponible en: https://www.revistaocnos.com/index.php/ocnos/article/view/196.

CANQUIZ-RINCÓN, Liliana; MAYORGA-SULBARÁN, Denis y SANDOVAL-FONTALVO, Cynthia. Planeación didáctica para el desarrollo de la comprensión lectora. Ocnos. Revista de estudios sobre lectura, v. 20, n. 2, p. 96-106, jun. 2021. ISSN 2254-9099, 1885-446X. DOI: 10.18239/ocnos_2021.20.2.2404. Disponible en: https://www.revistaocnos.com/index.php/ocnos/article/view/183.

CARACAS SÁNCHEZ, Bianca P. y ORNELAS HERNÁNDEZ, Moisés. La evaluación de la comprensión lectora en México: El caso de las pruebas EXCALE, PLANEA y PISA. Perfiles Educativos, v. 41, n. 164, p. 8-27, abr. 2019. DOI: 10.22201/iisue.24486167e.2019.164.59087. Disponible en: http://servicioseditoriales.unam.mx/perfiles%5C_ojs3308/index.php/perfiles/article/view/59087.

CERVANTES, Instituto. Plan curricular del Instituto Cervantes: Niveles de referencia para el español. Madrid: Biblioteca Nueva, 2006.

CERVANTES, Instituto. Guía del examen DELE B2. Madrid: Instituto Cervantes, 2014.

CISNEROS-ESTUPIÑÁN, Mireya; OLAVE-ARIAS, Giohanny y ROJAS-GARCÍA, Ilene. Cómo mejorar la capacidad inferencial en estudiantes universitarios. Educación y Educadores, v. 15, n. 1, p. 45-61, abr. 2012. DOI: 10.5294/edu.2012.15.1.3. Disponible en: http://educacionyeducadores.unisabana.edu.co/index.php/eye/article/view/2130/2713.

CONSEJO DE EUROPA. Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Centro Virtual Cervantes, MCDE y Anaya, Madrid, 2002.

DOLZ, Joaquim. Writing argumentative texts to improve their comprehension. Comunicación, Lenguaje y Educación, v. 7, n. 2, p. 65-77, ene. 1995. DOI: 10.1174/021470395321340448. Disponible en: https://www.tandfonline.com/doi/full/10.1174/021470395321340448.

DRESSLER, Wolfgang U. Morphonology, the dynamics of derivation. Ann Arbor: Karoma Publishers Inc, 1985.

DUCHE, A. y col. Comprensión lectora inferencial en estudiantes universitarios. Revista de Ciencias Sociales, v. XXVIII, p. 181-198, sep. 2022. DOI: 10.31876/rcs.v28i.38831. Disponible en: https://produccioncientificaluz.org/index.php/rcs/article/view/38831.

ECHEVARRÍA MARTÍNEZ, María Ángeles. ¿Enseñar a leer en la Universidad? Una intervención para mejorar la comprensión de textos complejos al comienzo de la educación superior. Revista de Psicodidáctica, Universidad del País Vasco/Euskal Herriko Unibertsitatea, v. 11, n. 2, p. 169-188, 2006.

ESCOBAR-PÉREZ, Jazmine y CUERVO-MARTÍNEZ, Ángela. Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, v. 6, n. 1, p. 27-36, 2008.

FELICE, M y col. CEPOC: The Cambridge Exams Publishing Open Cloze dataset. In: CALZOLARI, Nicoletta y col. (Ed.). Proceedings of the Thirteenth Language Resources and Evaluation Conference. [S.l.: s.n.], 2022. p. 4285-4290.

FELIPE MORALES, Andrea y VILLANUEVA ROA, Juan De Dios. Diseño y validación de una prueba piloto para la evaluación de la competencia lectora de estudiantes universitarios. Investigaciones Sobre Lectura, n. 10, p. 95-117, 2018. DOI: 10.37132/isl.v0i10.258. Disponible en: http://www.comprensionlectora.es/revistaisl/index.php/revistaISL/article/view/258.

GÁRATE, Milagros y col. Written argumentative abilities of 4th grade students of Compulsory Secondary Education: An integrated educational intervention. Journal for the Study of Education, v. 30, n. 4, p. 589-602, ene. 2007. DOI: 10.1174/021037007782334346. Disponible en: https://www.tandfonline.com/doi/full/10.1174/021037007782334346.

GARCÍA-MARTÍN, Judit y GARCÍA-SÁNCHEZ, Jesús-Nicasio. Metodologías utilizadas por los profesores universitarios en la docencia y evaluación de la comprensión lectora. Ocnos. Revista de estudios sobre lectura, v. 19, n. 3, p. 55-71, nov. 2020. ISSN 2254-9099, 1885-446X. DOI: 10.18239/ocnos_2020.19.3.2378. Disponible en: https://www.revistaocnos.com/index.php/ocnos/article/view/170.

GATTI, Alberto; TAGLIANI, Silvia y MONASTERIO, Irma. Comprensión lectora y estructura textual. Alfabetización académica y lectura crítica. Revista de Psicología y Psicopedagogía, v. 5, p. 3-16, 2020.

GRUNDIN, Hans U. y col. Cloze procedure and comprehension: an exploratory study across three languages. Journal of Research in Reading, v. 4, n. 2, p. 104-122, sep. 1981. DOI: 10.1111/j.1467-9817.1981.tb00226.x. Disponible en: https://onlinelibrary.wiley.com/doi/10.1111/j.1467-9817.1981.tb00226.x.

GUERRA-GARCÍA, Jorge y BENÍTEZ, Yolanda Guevara. Validación de un instrumento para medir comprensión lectora en alumnos universitarios mexicanos. Enseñanza e investigación en Psicologia, Consejo Nacional para la Enseñanza en Investigación en Psicología AC, v. 18, n. 2, p. 277-291, 2013.

GUERRA-GARCÍA, Jorge; DÍAZ-RUBIO, Zaira Itzel y col. Evaluación de la comprensión lectora en alumnos universitarios mexicanos de matemáticas aplicadas y computación: Assessment of Reading Comprehension in Mexican University Students’ of Applied Mathematics and Computing. PAPELES, v. 14, n. 28, 2022.

GUERRA-GARCÍA, Jorge y GUEVARA BENÍTEZ, Carmen Yolanda. Variables académicas, comprensión lectora, estrategias y motivación en estudiantes universitarios. Revista Electrónica de Investigación Educativa, v. 19, n. 2, p. 78-90, abr. 2017. DOI: 10.24320/redie.2017.19.2.1125. Disponible en: https://redie.uabc.mx/redie/article/view/1125.

JONZ, Jon. Cloze item types and second language comprehension. Language Testing, v. 8, n. 1, p. 1-22, jun. 1991. DOI: 10.1177/026553229100800102. Disponible en: http://journals.sagepub.com/doi/10.1177/026553229100800102.

KRESS, Gunther; LEEUWEN, Theo van y GARCÍA, Regina Leite. Semiótica discursiva. In: VAN DIJK, T. A. EL discurso como estructura y proceso. Barcelona: Gedisa, 2000. p. 373-416.

LARRAÑAGA, Elisa y YUBERO, Santiago. Evaluación de las estrategias metacognitivas de comprensión de textos narrativos. Ocnos. Revista de estudios sobre lectura, n. 14, p. 18-27, nov. 2015. DOI: 10.18239/ocnos_2015.14.02. Disponible en: https://www.revistaocnos.com/index.php/ocnos/article/view/ocnos%5C_2015.14.02.

LOPEZ-ESCRIBANO, Carmen y col. A predictive study of reading comprehension in third-grade Spanish students. Psicothema, n. 25, p. 199-205, feb. 2013. DOI: 10.7334/psicothema2012.175. Disponible en: https://doi.org/10.7334/psicothema2012.175.

MADARIAGA-ORBEA, José María y VILLABEITIA, Estibaliz Martínez. The teaching of reading comprehension and metacomprehension strategies. A program implemented by teaching staff. A program implemented by teaching staff. Anales de Psicología, v. 26, n. 1, p. 112-122, 2010.

MARCHANTE-CHUECA, M. P. Contribución al estudio de los conectores discursivos contraargumentativos en español, y de su aplicación metodológica en ELE. (Con referencia a los signos en cambio, por el contrario; sin embargo, no obstante; ahora bien, con todo y eso sí, y con aplicación al método Nuevo Prisma). 2021. Tesis (Doctorado) – Universidad de Zaragoza. Disponible en: https://zaguan.unizar.es/record/106278#. Acceso en: 22 ago. 2023.

MARTÍN ZORRAQUINO, M. A. y PORTOLÉS LÁZARO, J. Los marcadores del discurso. In: BOSQUE, I. y DEMONTE, V. (Ed.). Gramat́ica descriptiva del espanõl, 3, Entre oracioń y discurso. Morfologiá. Madrid: Espasa-Calpe, 1999. p. 4051-4213.

MARTÍN-MACHO-HARRISON, Ana y FAYA-CERQUEIRO, Fátima. Uso de conectores en la redacción de textos argumentativos: Comparación entre L1 y L2. Ocnos. Revista de estudios sobre lectura, v. 21, n. 2, jul. 2022. DOI: 10.18239/ocnos_2022.21.2.2882. Disponible en: https://www.revistaocnos.com/index.php/ocnos/article/view/223.

MARTÍN-RUIZ, Isaías y GONZÁLEZ-VALENZUELA, María-José. Análisis de la comprensión lectora y sus dificultades en adolescentes. Anales de Psicología, v. 38, n. 2, p. 251-258, abr. 2022. DOI: 10.6018/analesps.419111. Disponible en: https://revistas.um.es/analesps/article/view/419111.

MARTÍNEZ-SÁNCHEZ, Roser. Conectores textuales argumentativos: Guía y actividades didácticas para su uso eficaz en ELE. Barcelona: Octaedro, 2011.

MINISTERIO DE EDUCACIÓN Y FORMACIÓN PROFESIONAL. Pisa 2018. Resultados de lectura en España. Madrid: Secretaría General Técnica. Subdirección General de Atención al Ciudadano, Documentación y Publicaciones, 2020.

MINISTERIO DE EDUCACIÓN, CULTURA Y DEPORTE. Programa para la Evaluación Internacional de las Competencias de los Adultos (PIAAC). Madrid: Secretaría General Técnica. España: Subdirección General de Documentación y Publicaciones, 2013.

MÜHLEN, Sarah von der y col. How to improve argumentation comprehension in university students: experimental test of a training approach. Instructional Science, v. 47, n. 2, p. 215-237, abr. 2019. DOI: 10.1007/s11251-018-9471-3. Disponible en: http://link.springer.com/10.1007/s11251-018-9471-3.

OLLER, John W. Cloze tests of second language proficiency and what they measure. Language Learning. A Journal of Research in Language Studies, v. 23, n. 1, p. 105-118, jun. 1973. DOI: 10.1111/j.1467-1770.1973.tb00100.x. Disponible en: https://onlinelibrary.wiley.com/doi/10.1111/j.1467-1770.1973.tb00100.x.

REAL ACADEMIA ESPAÑOLA. Banco de datos (CREA). Corpus de Referencia del Español Actual. 2021. Disponible en: https://corpus.rae.es/creanet.html. Acceso en: 15 sep. 2022.

ROBLEDO RAMÓN, Patricia; FIDALGO REDONDO, Raquel y MÓNICA MÉNDEZ DEL RÍO, Mónica. Evaluación de la comprensión lectora a partir del análisis de la práctica del Profesorado y la Interacción Docente-Estudiante. Revista de Educación, v. 384, n. 2, p. 97-120, 2019. DOI: 10.4438/1988-592X-RE-2019-384-414. Disponible en: https://doi.org/10.4438/1988-592X-RE-2019-384-414.

SADEGHI, Karim. Assessing second language reading: Insights from cloze tests. New York: Springer, 2021.

SCOTT, Chyllis E. y col. The what, when, and how of preservice teachers and literacy across the disciplines: A systematic literature review of nearly 50 years of research. Teaching and Teacher Education, v. 73, p. 1-13, jul. 2018. DOI: 10.1016/j.tate.2018.03.010. Disponible en: https://linkinghub.elsevier.com/retrieve/pii/S0742051X17310855.

SOLÉ, Isabel. Competencia lectora y aprendizaje. Revista Iberoamericana de Educación, v. 59, p. 43-61, mayo 2012. DOI: 10.35362/rie590456. Disponible en: https://rieoei.org/RIE/article/view/456.

SORIANO-FERRER, Manuel y col. Instrucción en estrategias de comprensión lectora mediante enseñanza recíproca: Efectos del agrupamiento de los estudiantes. Anales de Psicología / Annals of Psychology, v. 29, n. 3, p. 848-854, sep. 2013. DOI: 10.6018/analesps.29.3.158401. Disponible en: https://revistas.um.es/analesps/article/view/analesps.29.3.158401.

TRACE, Jonathan. Clozing the gap: How far do cloze items measure? Language Testing, v. 37, n. 2, p. 235-253, abr. 2020. DOI: 10.1177/0265532219888617. Disponible en: http://journals.sagepub.com/doi/10.1177/0265532219888617.

VIDAL-ABARCA, E y col. Test de Estrategias de Comprensión (TEC). Madrid: Instituto Calasanz de Ciencias de la Educación, 2007.