Towards a social-semiotic approach to visual analysis of two-dimensional games: a toolkit

André de Oliveira Matumoto; Paulo Roberto Gonçalves-Segundo

doi:10.35699/1983-3652.2022.39398

Authors

André de Oliveira Matumoto Universidade de São Paulo, Faculdade de Filosofia, Letras e Ciências Humanas, Departamento de Letras Clássicas e Vernáculas, SP Brasil https://orcid.org/0000-0003-3544-3576
Paulo Roberto Gonçalves-Segundo Universidade de São Paulo, Faculdade de Filosofia, Letras e Ciências Humanas, Departamento de Letras Clássicas e Vernáculas, SP Brasil https://orcid.org/0000-0002-5592-8098

DOI:

https://doi.org/10.35699/1983-3652.2022.39398

Keywords:

Social semiotics, Video game studies, Visual analysis, Two-dimensional games, Amazon forest

Abstract

Nowadays, video games are one of the most influential media from an economic and sociocultural point of view. Therefore, it is important to have tools to analyze such texts and the meanings and discourses they potentially convey. Based on the social-semiotic approach, this paper proposes a set of analytical categories to study the visual construction of 2D (two-dimensional) games. Although the 2D paradigm is no longer prevalent in video games — 3D (three-dimensional) games became gradually common as early as 1995 with the introduction of the Sony PlayStation — it is still used in several current titles. Furthermore, social-semiotic studies on video games are still not numerous; therefore, a focused study that systematizes methodological categories for the analysis of video games is a relevant step towards understanding the semiotic constitution of these artifacts. The present study focuses on Marvel Super Heroes in War of the Gems for the Super Nintendo (CAPCOM, 1996). By applying the categories presented here on the Brazilian stage of the game, this article suggests ways to analyze the visual mode of video games, taking into account their multimodal nature and discursive potential.

Downloads

Download data is not yet available.

Author Biographies

André de Oliveira Matumoto, Universidade de São Paulo, Faculdade de Filosofia, Letras e Ciências Humanas, Departamento de Letras Clássicas e Vernáculas, SP Brasil

Graduado em Letras pela Faculdade de Filosofia Letras e Ciências Humanas da Universidade de São Paulo (FFLCH-USP) (2017-2022), habilitação linguística/português. Realizou a iniciação científica "A construção multimodal do Brasil nos videogames: diálogos entre a sociossemiótica e a ludologia" sob orientação do Prof. Dr. Paulo Roberto Gonçalves Segundo, do Departamento de Letras Clássicas e Vernáculas (DLCV-USP), e com fomento da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) (processo nº 2020/13090-1). Tem como principais interesses de pesquisa o estudo de jogos eletrônicos, de multimodalidade e de discurso. É membro do Grupo de Mídias Digitais, Discurso e Interação (Midigita) (FFLCH-USP) e do Núcleo de Estudos em Análise Crítica do Discurso da USP (NEAC-USP). É membro da equipe editorial da revista Linha D'Água (FFLCH-USP).

Paulo Roberto Gonçalves-Segundo, Universidade de São Paulo, Faculdade de Filosofia, Letras e Ciências Humanas, Departamento de Letras Clássicas e Vernáculas, SP Brasil

Doutor em Letras (2011) pelo programa de Filologia e Língua Portuguesa, do Departamento de Letras Clássicas e Vernáculas, da Faculdade de Filosofia, Letras e Ciências Humanas da Universidade de São Paulo (USP). Possui graduação em Letras pela mesma universidade (2005). Tem experiência na área de Linguística, com pesquisas orientadas à articulação entre linguagem, cognição e discurso. Atua, principalmente, no campo da Análise Crítica do Discurso, na interface com a Linguística Sistêmico-Funcional, com a Linguística Cognitiva e com a Teoria da Argumentação; e na área de Linguística Aplicada, pensando na articulação entre gramática e textualidade, por meio de um olhar amparado pelas perspectivas cognitivo-funcional e discursivo-textual. Atualmente, participa como pesquisador dos projetos temáticos "História do Português Paulista" e "História do Português Brasileiro", é o primeiro líder do "Núcleo de Estudos em Análise Crítica do Discurso da USP" (NEAC-USP) e membro dos grupos de pesquisa "Estudos de Linguagem, Argumentação e Discurso" (ELAD) e "Grupo de Estudos do Discurso da USP" (GEDUSP), além de ser um dos editores da Revista Eletrônica de Estudos Integrados em Discurso e Argumentação (EID&A) e da Revista Linha D'Água. Integra também o Grupo de Trabalho da ANPOLL sobre "Argumentação". Paulo Roberto Gonçalves Segundo é professor doutor adjunto em Filologia e Língua Portuguesa, com dedicação exclusiva, na Faculdade de Filosofia, Letras e Ciências Humanas da USP.

References

AGUILAR-MORENO, M. Handbook to life in the Aztec world. New York: Facts on File, 2006. (Facts on File library of world history).

BATEMAN, J.; WILDFEUER, J.; HIIPPALA, T. Multimodality: Foundations, Research and Analysis – A Problem-Oriented Introduction. [S.l.]: De Gruyter Mouton, Apr. 2017. Available from: https://www.degruyter.com/document/doi/10.1515/9783110479898/html. Visited on: 12 Sept. 2022.

BOGOST, I. Persuasive Games: The Expressive Power of Videogames. Cambridge, Mass.: Mit Press, 2007.

BURN, A. Literature, videogames and learning. Abingdon, Oxon: Routledge, 2022.

BURN, A.; KRESS, G. Multimodality, Style and the Aesthetic: the Case of the Digital Werewolf. In: TØNNESSEN, E.; FORSGREN, F. (Eds.). Multimodality and Aesthetics. London: Routledge, 2018. p. 15–36.

CAPCOM. Street Fighter II: the World Warriors. Osaka, JP: Capcom Co., Ltd., 1991.

CAPCOM. Marvel Super Heroes in War of the Gems. Osaka, JP: Capcom Co., Ltd., 1996.

CAPCOM. Street Fighter III: the New Generation. Osaka, JP: Capcom Co., Ltd., 1997.

CAPCOM. Mega Man X6. Osaka, JP: Capcom Co., Ltd., 2001.

DE PAULA, B. Exploring game grammars: a sociosemiotic account of young people’s game-making practices. Visual Communication, p. 147035722110272, Sept. 2021. DOI: 10.1177/14703572211027214. Available from: http://journals.sagepub.com/doi/10.1177/14703572211027214. Visited on: 12 Sept. 2022.

EGENFELDT-NIELSEN, S.; SMITH, J. H.; TOSCA, S. P. Understanding Video Games: The Essential Introduction. 4rd ed. edição. New York ; London: Routledge, 2020 [2013].

EVANS, S. T. Ancient Mexico and Central America: Archaeology and Culture History. 2rd ed. edição. London: Thames & Hudson, 2008.

FERNÁNDEZ-VARA, C. Introduction to Game Analysis. 2ª edição. New York, NY: Routledge, Jan. 2019.

HALL, S. The Spectacle of the Other. In: REPRESENTATION: Cultural representations and signifying practices. London: SAGE, 1997. p. 223–291.

HALLIDAY, M. A. K. Language as a Social Semiotic: Social Interpretation of Language and Meaning. London: Hodder & Stoughton Educational, 1978.

HAWRELIAK, J. Multimodal semiotics and rhetoric in videogames. New York: Routledge, 2018. (Routledge studies in multimodality).

HODGE, R.; KRESS, G. Social Semiotics. 1ª edição. Ithaca, N.Y: Cornell University Press, 1988.

JEWITT, C.; BEZEMER, J.; O’HALLORAN, K. Introducing Multimodality. Illustrated edição. London ; New York: Routledge, 2016.

KRESS, G. Multimodality: A Social Semiotic Approach to Contemporary Communication. Illustrated edição. London ; New York: Routledge, 2010.

KRESS, G.; VAN LEEUWEN, T. Multimodal Discourse - The Modes And Media Of Contemporary Communication. London : New York: Arnold, Jan. 2001.

KRESS, G.; VAN LEEUWEN, T. Reading Images: The Grammar of Visual Design. 3ª edição. London: Routledge, 2020 [1996].

LEDIN, P.; MACHIN, D. Introduction to Multimodal Analysis. London: Hodder Arnold, 2007.

MACHIN, D.; LEEUWEN, T. van. Computer games as political discourse: The case of Black Hawk Down. Journal of Language and Politics, v. 4, n. 1, p. 119–141, June 2005. ISSN 1569-2159, 1569-986. DOI: 10.1075/jlp.4.1.06mac. Available from: http://www.jbe-platform.com/content/journals/10.1075/jlp.4.1.06mac. Visited on: 12 Sept. 2022.

MACHIN, D.; MAYR, A. How to Do Critical Discourse Analysis: A Multimodal Introduction. Los Angeles, London, Nova Delhi: Sage Publications, 2012.

MACHIN, D.; SULEIMAN, U. Arab and American computer war games: The influence of a global technology on discourse. Critical Discourse Studies, v. 3, n. 1, p. 1–22, Apr. 2006. DOI: 10.1080/17405900600591362. Available from: https://doi.org/10.1080/17405900600591362. Visited on: 12 Sept. 2022.

MÄYRÄ, F. An Introduction to Game Studies. 1ª edição. London: Sage Publications Ltd, Mar. 2008.

NINTENDO. Donkey Kong. Kyoto, JP: Nintendo Co., Ltd., 1981.

PÉREZ-LATORRE, O.; OLIVA, M.; BESALÚ, R. Videogame analysis: a social-semiotic approach. Social Semiotics, v. 27, n. 5, p. 586–603, Oct. 2016. DOI: 10.1080/10350330.2016.1191146. Available from: https://doi.org/10.1080/10350330.2016.1191146. Visited on: 12 Sept. 2022.

PROSKOURIAKOFF, T. An album of Maya architecture. Mineola, New York: Dover Publications, 2003.

RHYNE, T.-M. Applying color theory to digital media and visualization. Boca Raton: CRC Press, Taylor & Francis Group, 2017.

SNK. Real Bout Fatal Fury Special. Osaka, JP: SNK, 1997.

SOUZA, F. A. de. The world could always use more heroes: a social semiotic analysis of The Game Overwatch. 2021. Tese (Doutorado em Inglês: Estudos Linguísticos e Literários) – Universidade Federal de Santa Catarina, Santa Catarina.

TOH, W. A multimodal approach to video games and the player experience. New York: Routledge, Taylor & Francis Group, 2018. (Routledge studies in multimodality, 26).

VAN LEEUWEN, T. Introducing social semiotics. London ; New York: Routledge, 2005.

VAN LEEUWEN, T. Discourse and practice: new tools for critical discourse analysis. Oxford ; New York: Oxford University Press, 2008. (Oxford studies in sociolinguistics).

WITKOWSKI, W. Videogames are a bigger industry than movies and North American sports combined, thanks to the pandemic. EN-US. [S.l.: s.n.], Jan. 2021. Available from: https://www.marketwatch.com/story/videogames-are-a-bigger-industry-than-sports-and-movies-combined-thanks-to-the-pandemic-11608654990. Visited on: 12 Sept. 2022.

WOLF, M. J. P. (Ed.). The video game explosion: a history from PONG to Playstation and beyond. Westport, Conn: Greenwood Press, 2008.

WOLF, M. J. P. (Ed.). Encyclopedia of video games: the culture, technology, and art of gaming. 2ª edição. Santa Barbara, Calif: Greenwood, 2021.