The Notion of Semiotic Mode in Kress’s Theory and Its Role in Proposing an Analytical Model for Multi-semiotic Texts

The Case of the Educational Motion Graphic

Authors

Keywords:

mode, educational motion graphic, multi-semiotic analysis

Abstract

The notion of mode proposed by Kress is extremely productive for the analysis of multi-semiotic texts, as it is possible to observe the way in which the different modes are organized for meaning making. Based on this notion, this text aims to present elements for the proposal of an analytical model for the analysis of educational motion graphics, a semiotic artifact typical of emerging social practices and quite common in the hypermedia culture. Adopting a quali-quantitative and interdisciplinary methodological approach in the field of Applied Linguistics for the analysis and discussion of the data, the results indicate that the modes need to be considered based on their potential in the context in which they are produced and disseminated. We conclude that the verbal oral mode predominates over the others in the educational motion graphic analyzed, as it is from it that the other modes become part of a multi-semiotic artifact in meaning making.

Indexing

Downloads

Download data is not yet available.

Author Biography

Orlando Vian Junior, Universidade Federal de São Paulo (UNIFESP), São Paulo, São Paulo / Brasil

Professor Associado no Deparamento de Letras/Inglês e no Programa de Pós-graduação em Letras. Pesquisador CNPq.

References

ANTHONY, L. AntConc 3.5.8 [Computer Software]. Tokyo, Japan: WasedaUniversity. 2022. Disponível em: <https://www.laurenceanthony.net/software/antconc/>. Acesso em: 15 set. 2022.

AUMONT, J.; MARIE, M. Dicionário teórico e crítico de cinema. 2a. ed. Campinas: Papirus, 2006.

BAUMGRATZ-GONÇALVES, L. Motion graphic educativo: Uma análise multimodal e interdisciplinar de uma nova prática de comunicação social. 2022. 210 p. Dissertação (Mestrado em Letras) — Escola de Filosofia, Letras e Ciências Humanas, Universidade Federal de São Paulo, 2022. Disponível em: https://repositorio.unifesp.br/handle/11600/63783. Acesso em 15 set. 2022.

BERNARDET, J-C. O que é cinema. São Paulo: Brasiliense, 1980.

BEZEMER, J. 2019. Gunther Kress: a short biography. Disponível em: https://www.academia.edu/40281630/Gunther_Kress_A_Short_Biography, 2019. Acesso em 15 set. 2023.

BEZEMER, J.; KRESS, G. Multimodality, learning and communication: a social semiotic frame. London: Routledge, 2016.

BEZEMER, J.; JEWITT, C.; VAN LEEUWEN, T. Tribute to Gunther Kress (1940–2019): reflecting on visuals that shaped his work. Visual Communication, vol 19, n. (1) 3–11, 2020.

CARDOSO, A. H. O. Motion design no Brasil: uma proposta de metodologia. 2021. 249 p. Dissertação (Mestrado em Design). Universidade do Estado de Minas Gerais, Belo Horizonte, 2021.

DONDIS, D. A. Sintaxe da linguagem visual. Tradução: Jefherson Luiz Camargo. São Paulo: Martins Fontes, 2003.

EISENSTEIN, S. O sentido do filme. Rio de Janeiro: Jorge Zahar, 2002.

FIELD, S. Manual do Roteiro: Os fundamentos do texto cinematográfico. 14. ed. Rio de Janeiro: Objetiva, 2001.

GUALBERTO, C. L.; SANTOS, Z. B. dos. Multimodalidade no contexto brasileiro: um estado de arte. DELTA, São Paulo, v. 35, n. 3, p. 1-30, 2019. DOI: http://dx.doi.org/10.1590/1678-460X2019350205.

HALLIDAY, M. A. K. An introduction to functional grammar. London: Edward Arnold, 1985.

HALLIDAY, M. A. K.; MATTHIESSEN, Christian M. I. M. Halliday’s introduction to functional grammar. Fourth edition. London/New York: Routledge, 2014.

HODGE, R.; KRESS, G. Social semiotics. Ithaca: Cornell University Press, 1988.

JEWITT, C.; BEZEMER, J.; O’HALLORAN, K. Introducing multimodality. London/New York: Routledge, 2016.

JEWITT, C. (ed.). The Routledge handbook of multimodal analysis. 2nd edition. London/New York: Routledge, 2016.

JOURNOT, M-T. Vocabulário de Cinema, Lisboa: Edições 70, 2005

KRASNER, J. Motion graphic design: applied history and aesthetics. New York and London: Focal Press, 2008.

KRESS, G. Linguistic processes in sociocultural practice. Oxford: Oxford University Press, 1985.

KRESS, G. Literacy in the new media age. London/New York: Routledge, 2003.

KRESS, G. Multimodality: a social semiotic approach to contemporary communication. London/New York: Routledge, 2010.

KRESS, G. What is mode? In: JEWITT, Carey (org.). The Routledge Handbook of Multimodal Analysis. 2. ed. Abingdon: Routledge, 2017. p. 60-75.

KRESS, G.; VAN LEEUWEN, T. Reading images: the grammar of visual design. London: Routledge, 1996.

KRESS, G.; VAN LEEUWEN, T. Reading images: the grammar of visual design. 2. ed. London: Routledge, 2006.

KRESS, G.; VAN LEEUWEN, T. Reading images: the grammar of visual design. Third edition. London: Routledge, 2021.

KRESS, G.; VAN LEEUWEN, T. Multimodal discourse: the modes and media of contemporary communication. London: Hodder Arnold, 2001.

MANOVICH, L. The language of mew media. Cambridge: The MIT Press, 2001.

MCKEE, R. Story: substância, estrutura, estilo e os princípios da escrita de. 1. ed. Curitiba: Arte & Letra Editora, 2006.

MOITA LOPES, L. P. da. Fotografias da linguística aplicada no campo de línguas estrangeiras no Brasil. D.E.L.T.A, São Paulo, v. 15, n. especial, p. 419-435, 1999. DOI: https://doi.org/10.1590/S0102-44501999000300016

NASCIMENTO, R. G. do; BEZERRA, F. A. S.; HEBERLE, V. M. Multiletramentos: iniciação à análise de imagens. Revista Linguagem & Ensino, Pelotas, v. 14, n. 2, p. 529-552, 2011. DOI: https://doi.org/10.15210/rle.v14i2.15403

O’HALLORAN, K. L. Multimodal analysis and digital technology. In: BALDRY, A.; MONTAGNA, E. (eds). Interdisciplinary perspectives on multimodality: theory and practice. Campobasso: Paladino, 2009.

O’HALLORAN, K. L.; SMITH, B. A. Multimodal studies. In: O’HALLORAN, K. L.; SMITH, B. A. (eds). Multimodal studies: exploring issues and domains. New York/London: Routledge, 2011.

SANTAELLA, L. Leitura de imagens. São Paulo: Melhoramentos, 2012.

SERAFINI, F. Reading the visual: an introduction to teaching multimodal literacy. New York/London: Teachers College Press, 2014.

VAN LEEUWEN, T. Speech, music, sound. 1. ed. London: Macmillan Press, 1999.

VELHO, J. Motion graphics: linguagem e tecnologia – Anotações para uma metodologia de análise. Dissertação (Mestrado em Design) — Escola Superior de Desenho Industrial, Universidade Estadual do Rio de Janeiro, 2008. Disponível em: https://www.bdtd.uerj.br:8443/bitstream/1/9141/1/Arquivo.pdf. Acesso em 15 set. 2023.

VIAN JR., O.; ROJO, R. H. R. Letramento multimodal e ensino de línguas: a Linguística Aplicada e suas epistemologias na cultura das mídias. Raído, Dourados, v.14, p. 216-232, 2020. DOI: https://doi.org/10.30612/raido.v14i36.12045

WISNIK, J. M. O som e o sentido: uma outra história das músicas. São Paulo: Companhia das Letras/Círculo do Livro, 1999.

Published

2024-10-11

Issue

Section

Thematic issue 31:4 (2023): Multimodality through the lenses of Kress’ Social Semiotics