Uma abordagem da FrameNet Brasil para anotação de frames pragmáticos evocados por gestos deorganização de turno

Auteurs

DOI :

https://doi.org/10.35699/2317-2096.2025.57543

Mots-clés :

frames pragmáticos, organização de turno conversacional, multimodalidade

Résumé

Este artigo apresenta como a FrameNet Brasil desenvolveu a anotação de frames pragmáticos, com foco nos que são evocados por gestos interativos usados ​​na organização de turnos durante conversas face a face. Como corpus, escolhemos as entrevistas mostradas nos episódios da primeira temporada da série de televisão brasileira Pedro Pelo Mundo. Utilizamos a Webtool 4.0, a versão mais nova dessa ferramenta, para anotação de um total de 47 gestos interativos. Como resultado, fomos capazes de demonstrar que esses gestos interativos evocam frames pragmáticos específicos – passagem de turno, confirmação de turno e tomada de turno – e são ferramentas que tornam a conversa um meio multimodal de comunicação. Nossa pesquisa mostra que a anotação de frames pragmáticos não é apenas possível, mas também útil para investigações pragmáticas e para expandir a análise multimodal da FrameNet.

Références

BAVELAS, J. B. Face-to-Face Dialogue: Theory, Research, and Applications. Oxford: Oxford University Press, 2022.

BAVELAS, J. B.; CHOVIL, N.; COATES, L.; ROE, L. Gestures Specialized for Dialogue. Personality and Social Psychology Bulletin, v. 21, n. 4, p. 394-405, 1995.

BAVELAS, J. B.; CHOVIL, N.; LAWRIE, D. A.; WADE, A. Interactive Gestures. Discourse Processes, v. 15, n. 4, p. 469-489, 1992.

BAVELAS, J. Pragmatics of Human Communication 50 Years Later. Journal of Systemic Therapies, v. 40, n. 2, p. 3-25, 2021. DOI: 10.1521/jsyt.2021.40.2.3.

BELCAVELLO, F. et al. Frame2: A FrameNet-Based Multimodal Dataset for Tackling Text-image Interactions in Video. In: JOINT INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS, LANGUAGE RESOURCES AND EVALUATION (LREC-COLING 2024), 2024, Torino. Proceedings […]. Torino: European Language Resources Association (ELRA)/ ICCL, 2024. p. 7429-7437.

BELCAVELLO, F.; VIRIDIANO, M.; COSTA, A. D. da; MATOS, E. E.; TORRENT, T. T. Frame-Based Annotation of Multimodal Corpora: Tracking (A)Synchronies in Meaning Construction. In: LREC INTERNATIONAL FRAMENET WORKSHOP, 2020, Marseille. Proceedings […]. Marseille: ELRA, 2020. p. 23-30.

BELCAVELLO, F.; VIRIDIANO, M.; MATOS, E.; TORRENT, T. T. Charon: A FrameNet Annotation Tool for Multimodal Corpora. In: LINGUISTIC ANNOTATION WORKSHOP (LAW), 16., 2022, Marseille. Proceedings […]. Workshop presented at LREC 2022. Marseille: ELRA, 2022. p. 91-96.

BOAS, H. C.; ZIEM, A. Constructing a Constructicon for German. In: LYNGFELT, B.; BORIN, L.; OHARA, K.; TORRENT, T. (ed.). Constructicography: Constructicon Development Across Languages. Amsterdam: John Benjamins Publishing Company, 2018. p. 183-228.

CZULO, O.; TORRENT, T. T.; MATOS, E.; COSTA, A. D. da; KAR, D. Designing a Frame-Semantic Machine Translation Evaluation Metric. In: WORKSHOP ON HUMAN-INFORMED TRANSLATION AND INTERPRETING TECHNOLOGY (HiT-IT), 2., 2019, Varna. Proceedings […]. Varna: Incoma, 2019. p. 28-35.

CZULO, O.; ZIEM, A.; TORRENT, T. T. Beyond Lexical Semantics: Notes on Pragmatic Frames. In: LREC INTERNATIONAL FRAMENET WORKSHOP, 2020, Marseille. Proceedings […]. Marseille: ELRA, 2020. p. 1-7.

DORNELAS, L.; GAMONAL, M. A.; PAGANO, A. S. Análise semântica de audiodescrição em curta-metragem: uma abordagem multimodal a partir da Semântica de Frames. Domínios de Lingu@gem, Uberlândia, v. 18, e1866, 2024.

FILLMORE, C. J. An Alternative to Checklist Theories of Meaning. In: COGEN, C. THOMPSON; H. THURNGOOD, G.; WHISTLER, K. (ed.). Proceedings of the Berkeley Linguistic Society. Berkeley: Berkeley Linguistics Society, 1975. p. 123-131.

FILLMORE, C. J. Frame Semantics. In: LINGUISTIC SOCIETY OF KOREA (ed.). Linguistics in the Morning Calm. Seoul: Hanshin Publishing, 1982. p. 111-137.

FILLMORE, C. J. Frames and the Semantics of Understanding. Quaderni di Semantica, v. 6, p. 222-254, 1985.

FILLMORE, C. J. The Merging of Frames. In: FAVRETTI, R. R. (ed.). Frames, Corpora, and Knowledge Representation. Bologna: Bononia University Press, 2008. p. 1-12.

FILLMORE, C. J.; BAKER, C. A Frames Approach to Semantic Analysis. In: HEINE, B. et al. (ed.). The Oxford Handbook of Linguistic Analysis. Oxford: Oxford University Press, 2009. p. 791-816.

FILLMORE, C. J.; JOHNSON, C. R.; PETRUCK, M. R. L. Background to FrameNet. International Journal of Lexicography, v. 16, n. 3, p. 235-250, 2003a.

FILLMORE, C. J.; LEE-GOLDMAN, R.; RHOMIEUX, R. A. FrameNet in Action: The Case of Attaching. International Journal of Lexicography, v. 16, n. 3, p. 297-332, 2003b.

FRAMENET BRASIL LAB. Annotated Object Information. [S. l.], c2014-2025a. Available at: https://webtool.frame.net.br/annotation/dynamicMode/1519. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Bounding Box Creation. [S. l.], c2014-2025b. Available at: https://webtool.frame.net.br/annotation/dynamicMode/1519. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Completing Information. [S. l.], c2014-2025c. Available at: https://webtool.frame.net.br/annotation/dynamicMode/1519. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Greeting. [S. l.], c2014-2025d. Available at: https://webtool.frame.net.br/report/frame/1557. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Organization_of_conversation. [S. l.], c2014-2025e. Available at: https://webtool.frame.net.br/report/frame/1561. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Turn Passing Gesture. [S. l.], c2014-2025f. Available at: https://webtool.frame.net.br/annotation/dynamicMode/1516. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Video Speed. [S. l.], c2014-2025g. Available at: https://webtool.frame.net.br/annotation/dynamicMode/1515. Accessed on: 10 Jan. 2025.

FRAMENET BRASIL LAB. Whole Screen. [S. l.], c2014-2025h. Available at: https://webtool.frame.net.br/annotation/dynamicMode/1519. Accessed on: 10 Jan. 2025.

GRUZITIS, N.; NESPORE-BERZKALNE, G.; SAULITE, B. Creation of Latvian FrameNet Based on Universal Dependencies. In: INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC), 11., 2018, Miyazaki. Proceedings […]. Edited by T. T. Torrent, L. Borin and C. F. Baker. Miyazaki: ELRA, 2018. p. 23-27.

HAHM, Y.; NOH, Y.; HAN, J. Y.; OH, T. H.; CHOE, H.; KIM, H.; CHOI, K. S. Crowdsourcing in the Development of a Multilingual FrameNet: A Case Study of Korean FrameNet. In: LANGUAGE RESOURCES AND EVALUATION CONFERENCE (LREC), 12., 2020, Marseille. Proceedings […]. Marseille: ELRA, 2020. p. 236-244.

LUZ, A. C. L.; BRAZ, G.; RUIZ, L. P.; PINTO, M. C.; BELCAVELLO, F.; SIGILIANO, N. S.; TORRENT, T. T. Anotação do Dataset Multimodal da ReINVenTA. In: SIMPÓSIO BRASILEIRO DE TECNOLOGIA DA INFORMAÇÃO E DA LINGUAGEM HUMANA (STIL), 14., 2023, Porto Alegre. Anais […]. Porto Alegre: SBC, 2023. p. 360-364.

OHARA, K.; KAWAHARA, D.; SEKINE, S.; INUI, K. Linking Japanese FrameNet with Kyoto University Case Frames Using Crowdsourcing. In: INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC), 11., 2018, Miyazaki. Proceedings […]. Edited by T. T. Torrent, L. Borin and C. F. Baker. Miyazaki: ELRA, 2018. p. 56-61.

SACKS, H.; SCHEGLOFF, E.; JEFFERSON, G. A Simplest Systematics for the Organization of Turn Taking for Conversation. Language, v. 50, n. 4, p. 696-735, 1974.

SUBIRATS-RÜGGEBERG, C.; PETRUCK, M. R. Surprise: Spanish FrameNet! In: WORKSHOP ON FRAME SEMANTICS, 2003, Prague. Workshop presented at the XVII International Congress of Linguists (CIL). Proceedings […]. Edited by E. Hajivcová, A. Kotévsovcová, and J. Mirovsky. Prague: Matfyzpress, 2003.

TORRENT, T. T. et al. A Flexible Tool for a Qualia-Enriched FrameNet: The FrameNet Brasil WebTool. Lang Resources & Evaluation, 2024. DOI: https://doi.org/10.1007/s10579-023-09714-8.

TORRENT, T. T.; ELLSWORTH, M. Behind the Labels: Criteria for Defining Analytical Categories in FrameNet Brasil. Veredas, v. 17, n. 1, p. 44-65, 2013.

VIRIDIANO, M. et al. Framed Multi30K: A Frame-Based Multimodal-Multilingual Dataset. In: JOINT INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS, LANGUAGE RESOURCES AND EVALUATION (LREC-COLING), 2024, Torino. Proceedings […]. Torino: ELRA/ICCL, 2024. p. 7438-7449.

VIRIDIANO, M.; TORRENT, T. T.; CZULO, O.; LORENZI, A.; MATOS, E.; BELCAVELLO, F. The Case for Perspective in Multimodal Datasets. In: WORKSHOP ON PERSPECTIVIST APPROACHES TO NLP, 1., 2022, Marseille. Proceedings […]. Workshop presented at LREC 2022. Marseille: ELRA, 2022. p. 108-116.

YOU, L.; LIU, K. Building Chinese FrameNet Database. In: INTERNATIONAL CONFERENCE ON NATURAL LANGUAGE PROCESSING AND KNOWLEDGE ENGINEERING, 2005, Wuhan. Proceedings […]. Wuhan: IEEE, 2005. p. 301-306.

ZIEM, A.; WILLICH, A.; TRIESCH, S: Expanding the German FrameNet: Pragmatic Frames Across Lexicon and Grammar. In: INTERNATIONAL COGNITIVE LINGUISTICS CONFERENCE, 16., 2023, Düsseldorf. Proceedings […]. Düsseldorf: ICLC, 2023. Available at: https://iclc16.github.io/abstracts/ICLC16_BoA.pdf. Accessed on: 13 Feb. 2025.

Téléchargements

Publiée

2025-04-30

Numéro

Rubrique

Multimodalidade: abordagens cognitivas e representações computacionais

Comment citer

Uma abordagem da FrameNet Brasil para anotação de frames pragmáticos evocados por gestos deorganização de turno. (2025). Caligrama: Revista De Estudos Românicos, 30(1), 94-109. https://doi.org/10.35699/2317-2096.2025.57543