Semantic Permanence between Original Audio and Subtitles
A Study on Multimodal Semantic Annotation in Audiovisual Work
DOI:
https://doi.org/10.35699/2317-2096.2025.57566Keywords:
Subtitle, multimodal semantic annotation, Frame SemanticsAbstract
Based on Frame Semantics (Fillmore, 1982) and the Frame Primacy Model (Czulo, 2013), this study performs a multimodal analysis of the sentences transcribed from the Portuguese original audio, the English subtitles and the images corresponding to the first six minutes of the Brazilian short film Eu não quero voltar sozinho (“I Don’t Want to Go Home by Myself”), by Daniel Ribeiro. This research aims to investigate the semantic similarity between the frames evoked in their equivalent sentences, evaluate the translation choices and analyze the semantic relations established between text and image. It adopts the FrameNet Brasil methodology for multimodal semantic annotations on the Webtool platform, and the semantic similarity between frames is calculated using the spread activation algorithm and the soft cosine similarity metric. The measures organize the sentences in null, partial or total similarity, as proposed by Samagaio (2023). The subtitling translation strategies are analyzed according to Díaz-Cintas and Remael (2021) and evaluated in terms of the semantic relations between text and image. Our results show that the translation strategies employed alter the evocation of frames in the languages analyzed, impacting the semantic similarity between sentences. This study contributes to the field of audiovisual translation and to Frame Semantics, by exploring the construction of meaning in multimodal objects and demonstrating how translation strategies influence the relationship between text, image and evoked frames.
References
BATEMAN, J.; WILDFEUER, J.; HIIPPALA, T. Multimodality: Foundations, Research and Analysis - A Problem-oriented Introduction. Walter de Gruyter GmbH & Co KG. 2017. DOI https://doi.org/10.1515/9783110479898. Disponível em: https://www.degruyterbrill.com/document/doi/10.1515/9783110479898/html. Acesso em: 10 jan. 2025.
BERTOLDI, A. Semântica de Frames e tradução: um estudo da equivalência de tradução de termos culturalmente marcados. Letras & Letras. 2016, v.32. 149. 10.14393/LL63-v32n1a2016-8. Disponível em: https://seer.ufu.br/index.php/letraseletras/article/view/33045. Acesso em: 10 jan. 2025.
BOAS, H. C. Frame semantics and translation. In: ROJO, A; IBARRETXEANTUNANO, I. Cognitive Linguistics and Translation: Advances in Some Theoretical Models and Applications. Berlin/Boston: De Gruyter Mouton, 2013. p. 125-158. Disponível em: https://www.degruyterbrill.com/document/doi/10.1515/9783110302943/html. Acesso em: 10 jan. 2025.
CINTAS, J. D.; REMAEL, A. Translation Practices Explained. Oxfordshire: Routledge, 2007.
CINTAS, J. D.; REMAEL, A. Subtitling: Concepts and Practices. Oxfordshire: Routledge, 2021. (Translation Practices Explained).
CZULO, O. Aspects of a Primacy of Frame Model of Translation. In: HANSEN-SCHIRRA, S.; CZULO, O.; HOFMANN, S. (ed.). Empirical Modelling of Translation and Interpreting. Berlin, Germany: Language Science Press, 2017. p. 465.
DORNELAS, L. D., GAMONAL, M. A., PAGANO, A. S. Análise semântica de audiodescrição em curta metragem: uma abordagem multimodal a partir da Semântica de Frames. Domínios de Linguagem, Uberlândia, v. 1866, p. 2-30, 2024. DOI: https://doi.org/10.34019/1808-9461.2022.v23.38564. Disponível em: https://seer.ufu.br/index.php/dominiosdelinguagem/article/view/75272. Acesso em: 10 jan. 2025.
FILLMORE, C. Frame Semantics. In: THE LINGUISTIC SOCIETY OF KOREA (ed.). Linguistics in the Morning Calm. Seoul: Hanshin Publishing Co, 1982. p. 111-137.
FILLMORE, C. J. Semântica de Frames. Cadernos de Tradução. Porto Alegre, n. 25, jul-dez, 2009.
FREITAS, K. C. G. A tradução audiovisual sob a perspectiva da semântica de frames: Uma análise dos significados evocados pelo texto do áudio original e sua legenda em L2. 2022. Trabalho de Conclusão de Curso. Faculdade de Letras, Universidade Federal de Minas Gerais (UFMG). Belo Horizonte, 2022.
HOLMES, J. S. The Name and Nature of Translation Studies. Translation Section of the Third International Congress of Applied Linguistics, Copenhagen, p. 66-80, ago. 1972. Disponível em: https://archive.org/details/Holmes1972TheNameAndNatureOfTranslationStudies/mode/2up. Acesso em: 10 jan. 2025.
PAGANO, A. S.; TEIXEIRA, A. L. R.; MAYER, F. A. Accessible Audiovisual Translation. In: JI, M.; LAVIOSA, S. (ed.). The Oxford Handbook of Translation and Social Practices. Oxford: Oxford University Press, 202. p. 66-82. DOI: https://doi.org/10.1093/oxfordhb/9780190067205.013.4.
ROJO, A. Applying Frame Semantics to Translation: a practical example. Meta: Translators’ Journal, 47(3), p. 312-350. 2002. DOI: https://doi.org/10.7202/008018ar.
ROJO, A.; IBARRETXE-ANTUÑANO, I. Cognitive linguistics and translation studies: Past, present and future. Cognitive Linguistics and Translation, Berlin, p. 3-30, 2013. Disponível em: https://www.degruyterbrill.com/document/doi/10.1515/9783110302943/html. Acesso em: 10 jan. 2025.
SAMAGAIO, M. M. A permanência semântica na tradução audiovisual: uma análise da legendagem pela ótica da Semântica de Frames. 2023. 184p. Dissertação (Mestrado em Linguística) – Universidade Federal de Juiz de Fora, Juiz de Fora, Minas Gerais.
SOUZA, D., GAMONAL, M. A., PAGANO, A. S. A audiodescrição sob a perspectiva da Semântica de Frames: um estudo exploratório. Revista Gatilho, Juiz de Fora, v. 23, p. 101-125, 2022. DOI: https://doi.org/10.34019/1808-9461.2022.v23.38564. Disponível em: https://periodicos.ufjf.br/index.php/gatilho/article/view/38564. Acesso em: 10 jan. 2025.
TORRENT, T. T., MATOS, E. BELCAVELLO, F., VIRIDIANO, M., GAMONAL, M. A., COSTA, A.D. & MARIM, M. C. Representing Context in FrameNet: A Multidimensional, Multimodal Approach. Frontiers in Psychology, v. 13, 1-20, 2022. DOI: https://doi.org/10.3389/fpsyg.2022.838441. Disponível em: https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2022.838441/full. Acesso em: 10 jan 2025.
TORRENT, T. T.; HOFFMANN, T.; ALMEIDA, A. L.; TURNER, M. Copilots for Linguists: AI, Constructions, and Frames. Cambridge, Reino Unido: Cambridge University Press, 2024.
WEBTOOL 4.02. Definição e FE nucleares do frame Chegar. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/report/frame/1455. Acesso em: 10 jan. 2025.
WEBTOOL 4.02. Anotação Semântica da LU enroladinho.a. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/annotation/fe/sentence/534439. Acesso em:
10 jan. 2025.
WEBTOOL 4.02. Anotação semântica da LU curly.a. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em https://webtool.frame.net.br/annotation/dynamicMode/1078. Acesso em: 10 jan. 2025.
WEBTOOL 4.02. Anotação de imagem dinâmica do objeto visual cabelo.n. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/annotation/dynamicMode/10785. Acesso em: 10 jan. 2025.
WEBTOOL 4.02. Anotação semântica de imagem dinâmica da sentença id 628267. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/annotation/dynamicMode/573. Acesso em: 10 jan. 2025.
WEBTOOL 4.02. Cena sem demarcação de objeto visual na sentença de id 628313. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/annotation/dynamicMode/573. Acesso em: 10 jan. 2025.
WEBTOOL 4.02. Cena da descida até a casa de Leonardo. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/annotation/dynamicMode/573.
Acesso em: 10 jan. 2025.
WEBTOOL 4.02. Marcação de objeto visual não correspondente entre áudio e legenda. In: WEBTOOL 4.02. Banco de dados. [S. l.]: [s. n.]. Disponível em: https://webtool.frame.net.br/annotation/dynamicMode/573. Acesso em: 10 jan. 2025.
Downloads
Published
Issue
Section
License
Copyright (c) 2025 Mariana Mota Silva Souza, Maucha Andrade Gamonal, Adriana Silvina Pagano
This work is licensed under a Creative Commons Attribution 4.0 International License.
