Validade de conteúdo por avaliação de especialistas para medir as competências digitais de estudantes de mestrado em Educação Especial

Ana Claudia Loureiro; Pilar Ibáñez-Cubillas; Maribel Miranda-Pinto

doi:10.1590/1983-3652.2024.52564

Authors

Ana Claudia Loureiro Instituto Politécnico de Viseu, Escola Superior de Educação, Departamento de Comunicação e Arte, Viseu, Portugal https://orcid.org/0000-0001-7919-6891
Pilar Ibáñez-Cubillas Universidade de Málaga, Departamento de Didáctica y Organización Escolar, Málaga, Espanha https://orcid.org/0000-0001-7117-5746
Maribel Miranda-Pinto Universidade Aberta, Departamento de Educação e Ensino a Distância, Lisboa, Portugal https://orcid.org/0000-0003-0813-1497

DOI:

https://doi.org/10.1590/1983-3652.2024.52564

Keywords:

Instrument validation, Educational robotics, Programming, Inclusive education

Abstract

This study looks at the use of expert judgement as a strategy for validating a research tool in the field of education. Our aim was to validate a questionnaire on the use of robotics and programming in inclusive contexts. The relevance of the study is based on the need to have a validated instrument that measures the knowledge and development of digital competences in students on master’s programmes in Special Education in Portugal. The methodology adopted was a psychometric study of content validity through expert judgement. The experts were selected using the ‘Expert Competence Coefficient’ (K Coefficient) technique. Data collection and analysis took place in the second half of 2023. A total of twelve experts from Portugal in the field of inclusive education, robotics and educational programming were counted. The results show that the panel of experts that validated the questionnaire has a highly influential K Coefficient (0.84) in expertise. The overall evaluation of the questionnaire showed an Aiken’s V value of 0.79. With this study, it was possible to ascertain that the questionnaire has sufficient evidence of content validity in terms of coherence, relevance and pertinence, making it a reliable instrument for finding out how training provision in Inclusive Education promotes the development of digital competences in future teachers in this area in Portugal.

Downloads

Download data is not yet available.

References

ADAMS, K.; ALVAREZ, L.; RIOS, A.; ENCARNAÇÃO, P.; COOK, A. Big lessons from small users: What Robots Reveal about Development in Children with Disabilities. [S. l.]: University of Alberta Libraries, 2012. DOI: 10.7939/r33x83z6t. Disponível em: https://era.library.ualberta.ca/items/995b5d05-d4a6-4ada-a91b-c332dd5143c6. Acesso em: 9 out. 2024.

AIKEN, Lewis R. Content Validity and Reliability of Single Items or Questionnaires. Educational and Psychological Measurement, v. 40, n. 4, p. 955–959, dez. 1980. ISSN 0013-1644, 1552-3888. DOI: 10.1177/001316448004000419. Disponível em: https://journals.sagepub.com/doi/10.1177/001316448004000419. Acesso em: 9 out. 2024.

AIKEN, Lewis R. Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, v. 45, n. 1, p. 131–142, 1985. ISSN 1552-3888. DOI: 10.1177/0013164485451012.

BERS, Marina U.; GONZÁLEZ-GONZÁLEZ, Carina; ARMAS–TORRES, Mª Belén. Coding as a playground: Promoting positive learning experiences in childhood classrooms. Computers & Education, v. 138, p. 130–145, set. 2019. ISSN 0360-1315. DOI: 10.1016/j.compedu.2019.04.013. Disponível em: https://www.sciencedirect.com/science/article/pii/S0360131519300995. Acesso em: 9 out. 2024.

BERS, Marina Umaschi. Blocks to robots: learning with technology in the early childhood classroom. New York: Teachers College Press, 2008.

BERS, Marina Umaschi. Coding as a Playground: Programming and Computational Thinking in the Early Childhood Classroom. New York, NY: Routledge, 2017.

BERS, Marina Umaschi. Coding and Computational Thinking in Early Childhood: The Impact of ScratchJr in Europe. European Journal of STEM Education, v. 3, n. 3, p. 08, set. 2018. ISSN 2468-4368. DOI: 10.20897/ejsteme/3868. Disponível em: https://www.lectitopublishing.nl/Article/Detail/coding-and-computational-thinking-in-early-childhood-the-impact-of-scratchjr-in-europe-3868. Acesso em: 9 out. 2024.

BETANCURTH LOAIZA, Diana Paola; VÉLEZ ÁLVAREZ, Consuelo; JURADO VARGAS, Liliana. Validation and adaptation of the Fantastico questionnaire by Delphi technique. Revista Salud Uninorte, v. 31, n. 2, p. 214–227, maio 2015. ISSN 0120-5552. Disponível em: http://www.scielo.org.co/scielo.php?script=sci_abstract&pid=S0120-55522015000200003&lng=en&nrm=iso&tlng=es. Acesso em: 9 out. 2024.

CABERO ALMENARA, Julio; BARROSO OSUNA, Julio. La utilización del juicio de experto para la evaluación de TIC: el Coeficiente de competencia experta. Bordón. Revista de Pedagogía, v. 65, n. 2, p. 25–38, jul. 2013. ISSN 2340-6577. Disponível em: https://recyt.fecyt.es/index.php/BORDON/article/view/brp.2013.65202. Acesso em: 9 out. 2024.

CASACA, Cláudia Sofia Roque Mendes. “Crescer a Brincar” A Robótica no desenvolvimento Motor. 2018. Dissertação para obtenção do grau de Mestre em Educação Especial, Domínio Cognitivo e Motor – Instituto Superior de Ciências Educativas, Odivelas. Disponível em: http://hdl.handle.net/10400.26/39496. Acesso em: 9 out. 2024.

CICCHETTI, Domenic V. Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychological Assessment, v. 6, n. 4, p. 284–290, dez. 1994. ISSN 1939-134x, 1040-3590. DOI: 10.1037/1040-3590.6.4.284.

CONCHINHA, Cristina; OSORIO, Patricia; DE FREITAS, Joao Correia. Playful learning: Educational robotics applied to students with learning disabilities. In: 2015 International Symposium on Computers in Education (SIIE). Setubal: Ieee, nov. 2015. p. 167–171. ISBN 9781509014354. DOI: 10.1109/siie.2015.7451669. Disponível em: http://ieeexplore.ieee.org/document/7451669/. Acesso em: 9 out. 2024.

ESCURRA MAYAUTE, Luis Miguel. Cuantificación de la validez de contenido por criterio de jueces. Revista de Psicología, v. 6, n. 1-2, p. 103–111, 1988. ISSN 2223-3733. DOI: 10.18800/psico.198801-02.008. Disponível em: https://revistas.pucp.edu.pe/index.php/psicologia/article/view/4555. Acesso em: 9 out. 2024.

FERM, Ulrika M.; CLAESSON, Britt K.; OTTESJÖ, Cajsa; ERICSSON, Stina. Participation and Enjoyment in Play with a Robot between Children with Cerebral Palsy who use AAC and their Peers. Augmentative and Alternative Communication, v. 31, n. 2, p. 108–123, abr. 2015. ISSN 0743-4618, 1477-3848. DOI: 10.3109/07434618.2015.1029141. Disponível em: http://www.tandfonline.com/doi/full/10.3109/07434618.2015.1029141. Acesso em: 9 out. 2024.

GARCÍA, Luis; FERNÁNDEZ, Sergio J. Procedimiento de aplicación del trabajo creativo en grupo de expertos. Ingeniería Energética, v. XXIX, n. 2, p. 46–50, 2008. ISSN , 1815-5901. Disponível em: https://www.redalyc.org/articulo.oa?id=329127758006. Acesso em: 9 out. 2024.

GONZÁLEZ GONZÁLEZ, Carina Soledad. Estrategias para la enseñanza del pensamiento computacional y uso efectivo de tecnologías en educación infantil: una propuesta inclusiva: Strategies for teaching computational thinking and effective use of technologies in childhood education: an inclusive proposal. Revista Interuniversitaria de Investigación en Tecnología Educativa, n. 7, dez. 2019. ISSN 2529-9638. DOI: 10.6018/riite.405171. Disponível em: https://revistas.um.es/riite/article/view/405171. Acesso em: 9 out. 2024.

KAFAI, Yasmin B. From computational thinking to computational participation in K–12 education. Commun. ACM, v. 59, n. 8, p. 26–27, jul. 2016. ISSN 0001-0782. DOI: 10.1145/2955114. Disponível em: https://dl.acm.org/doi/10.1145/2955114. Acesso em: 9 out. 2024.

KAFAI, Yasmin B.; BURKE, Quinn. Computational Participation: Teaching Kids to Create and Connect Through Code. In: RICH, Peter J.; HODGES, Charles B. (ed.). Emerging Research, Practice, and Policy on Computational Thinking. Cham: Springer International Publishing, 2017. p. 393–405. ISBN 9783319526911. DOI: 10.1007/978-3-319-52691-1_24. Disponível em: https://doi.org/10.1007/978-3-319-52691-1_24. Acesso em: 9 out. 2024.

LANDETA, Jon. El método Delphi: una técnica de previsión del futuro. Barcelona: Ariel, 1999.

LÓPEZ GUTIÉRREZ, Carlos J.; STUART RIVERO, Alexis J.; GRANADO MEJÍAS, Anairis. Establecimiento de conceptos básicos para una Educación Física saludable a través del Método Experto. Revista electrónica de investigación educativa, v. 13, n. 2, p. 22–40, jan. 2011. ISSN 1607-4041. Disponível em: http://www.scielo.org.mx/scielo.php?script=sci_abstract&pid=S1607-40412011000200002&lng=es&nrm=iso&tlng=es. Acesso em: 9 out. 2024.

LOUREIRO, Ana Claudia; MEIRINHO, Manuel; OSÓRIO, Antonio José; VALENTE TEIXEIRA, Antonio Luis. El pensamiento computacional en los marcos de competencia digital docente. Prisma Social: revista de investigación social, n. 38, p. 77–93, 2022. ISSN 1989-3469.

LOUREIRO, Ana Claudia; MEIRINHOS, Manuel. Educational robotics and programming in inclusive educational settings: a scoping review. In: 2023 International Symposium on Computers in Education (SIIE). [S. l.: s. n.], nov. 2023. p. 1–5. Issn: 2476-2172. DOI: 10.1109/siie59826.2023.10423697. Disponível em: https://ieeexplore.ieee.org/document/10423697/. Acesso em: 9 out. 2024.

LOUREIRO, Ana Claudia; MIRANDA-PINTO, Maribel. Robótica educativa e codificación en contextos de inclusión: un estudio exploratório. In: LIBRO de Actas Edutec 2022. Palma de Mallorca: [s. n.], 2022. p. 688–690.

LOURENÇO, Elisabete Mesquitela dos Santos. A utilização das TIC como meio de aprendizagem da matemática com alunos com Necessidades Especiais. Jul. 2019. Trabalho de Projeto em Educação Especial do curso de Mestrado em Educação Especial – Escola Superior de Educação do Instituto Politécnico de Viseu, Portugal. Disponível em: https://repositorio.ipv.pt/handle/10400.19/6060. Acesso em: 9 out. 2024.

LUÍS, Cátia; ABRANTES, Ana; OLIVEIRA, Catarina; ALVES, Marisa; MARTINS, Jorge Humberto. Desenvolvimento e validação de conteúdo de um Programa de Intervenção em Processamento Auditivo para crianças em idade escolar. CoDAS, v. 35, e20210146, out. 2023. ISSN 2317-1782. DOI: 10.1590/2317-1782/20212021146pt. Disponível em: https://www.scielo.br/j/codas/a/GJBnFcpHhgjhfZMfqdwnwjR/?lang=pt. Acesso em: 9 out. 2024.

MARCÃO, Cristina Isabel Conchinha. Robots & Necessidades Educativas Especiais: O desenho de uma oficina de formação para a aplicação da robótica educativa em contexto inclusivo. Set. 2017. Tese (Doutoramento em Ciências da Educação) – Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa, Lisboa. Disponível em: https://run.unl.pt/handle/10362/24221. Acesso em: 9 out. 2024.

MERINO-SOTO, Cesar. Coeficientes V de Aiken: diferencias en los juicios de validez de contenido. MHSalud: Revista en Ciencias del Movimiento Humano y Salud, v. 20, n. 1, p. 1–10, jan. 2023. ISSN 1659-097x. DOI: 10.15359/mhs.20-1.3. Disponível em: https://www.revistas.una.ac.cr/index.php/mhsalud/article/view/15070. Acesso em: 9 out. 2024.

NORA, Carlise Rigon Dalla; ZOBOLI, Elma; VIEIRA, Margarida M. Validação por peritos: importância na tradução e adaptação de instrumentos. Revista Gaúcha de Enfermagem, v. 38, abr. 2018. ISSN 0102-6933, 1983-1447. DOI: 10.1590/1983-1447.2017.03.64851. Disponível em: https://www.scielo.br/j/rgenf/a/ZLbbJxnZy9kBNpHFTmBPpKK/?lang=pt. Acesso em: 9 out. 2024.

PAPERT, Seymour. Mindstorms: Children, Computers, and Powerful Ideas. New York: Basic Books, 1993.

PENFIELD, Randall D.; GIACOBBI JR., Peter R. Applying a Score Confidence Interval to Aiken’s Item Content-Relevance Index. Measurement in Physical Education and Exercise Science, v. 8, n. 4, p. 213–225, dez. 2004. ISSN 1091-367x, 1532-7841. DOI: 10.1207/s15327841mpee0804_3. Disponível em: http://www.tandfonline.com/doi/abs/10.1207/s15327841mpee0804_3. Acesso em: 9 out. 2024.

PEREIRA, Fillipe Rodrigues Santos; SÁ, Lucas Guimarães Cardoso de; SILVA, Mariana do Nascimento; SANTOS, Alice Parentes da Silva. Escala de Estratégias de Enfrentamento para Pacientes Oncológicos: Desenvolvimento de uma Medida. Psico-USF, v. 28, p. 783–797, jan. 2023. ISSN 1413-8271, 2175-3563. DOI: 10.1590/1413-82712023280410. Disponível em: https://www.scielo.br/j/pusf/a/nJKBnvtN4LS38RjkN74npsk/?lang=pt. Acesso em: 9 out. 2024.

PORTUGAL. Decreto-lei nº 54, de 6 de julho de 2018. Diário da República n.º 129/2018, Série I de 2018-07-06. [S. l.: s. n.], 2018.

RAMOS, José Luís Pires; ESPADEIRO, Rui Gonçalo; MONGINHO, Ricardo. Introdução à programação, robótica e ao pensamento computacional na Educação Pré-escolar e 1.o Ciclo do Ensino Básico. Necessidades de Formação de Educadores e Professores. [S. l.]: Centro de Investigação em Educação e Psicologia da Universidade de Évora (CIEP-UE), 2022.

RESNICK, Mitchel; RUSK, Natalie. Coding at a crossroads. Commun. ACM, v. 63, n. 11, p. 120–127, out. 2020. ISSN 0001-0782. DOI: 10.1145/3375546. Disponível em: https://dl.acm.org/doi/10.1145/3375546. Acesso em: 9 out. 2024.

SHEEHY, Kieron; GREEN, Ashley A. Beaming Children where they cannot go: Telepresence Robots and Inclusive Education: An Exploratory Study. Ubiquitous Learning: An International Journal, v. 3, n. 1, p. 135–146, 2011. ISSN 1835-9795. DOI: 10.18848/1835-9795/CGP/v03i01/40261. Disponível em: https://cgscholar.com/bookstore/works/beaming-children-where-they-cannot-go. Acesso em: 9 out. 2024.

SOUZA, Ana Cláudia De; ALEXANDRE, Neusa Maria Costa; GUIRARDELLO, Edinêis De Brito; SOUZA, Ana Cláudia De; ALEXANDRE, Neusa Maria Costa; GUIRARDELLO, Edinêis De Brito. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Serviços de Saúde, v. 26, n. 3, p. 649–659, jul. 2017. ISSN 1679-4974. DOI: 10.5123/s1679-49742017000300022. Disponível em: http://revista.iec.gov.br/template_doi_ess.php?doi=10.5123/S1679-49742017000300649&scielo=S2237-96222017000300649. Acesso em: 9 out. 2024.

VALENTE, José Armando. Pensamento Computacional, Letramento Computacional ou Competência Digital? Novos desafios da educação. Revista Educação e Cultura Contemporânea, v. 16, n. 43, p. 147–168, fev. 2019. ISSN 2238-1279. Disponível em: https://mestradoedoutoradoestacio.periodicoscientificos.com.br/index.php/reeduc/article/view/5852. Acesso em: 9 out. 2024.

VENTURA-SILVA, João Miguel Almeida; SILVA MARTINS, Maria Manuela Ferreira Pereira da; TRINDADE, Letícia de Lima; FARIA, Ana da Conceição Alves; BARROS, Sónia Cristina da Costa; MELO, Ricardo Manuel da Costa; FORTE, Elaine Cristina Novatzki; RIBEIRO, Olga Maria Pimenta Lopes. Escala de avaliação dos métodos de trabalho dos enfermeiros: um estudo de validação de conteúdo. Revista Brasileira de Enfermagem, v. 76, e20220396, fev. 2023. ISSN 0034-7167, 1984-0446. DOI: 10.1590/0034-7167-2022-0396pt. Disponível em: https://www.scielo.br/j/reben/a/Vcyx63YNbNb8VHwvVg8mGNM/?lang=pt. Acesso em: 9 out. 2024.

WILSON, Edwin B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, v. 22, n. 158, p. 209–212, jun. 1927. ISSN 0162-1459, 1537-274x. DOI: 10.1080/01621459.1927.10502953. Disponível em: http://www.tandfonline.com/doi/abs/10.1080/01621459.1927.10502953. Acesso em: 9 out. 2024.

WING, Jeannette M. Computational thinking. Commun. ACM, v. 49, n. 3, p. 33–35, mar. 2006. ISSN 0001-0782. DOI: 10.1145/1118178.1118215.