DOI: 10.35699/2317-6377.2021.20035

eISSN 2317-6377

Resumo: O presente artigo tem como objetivo definir o desenvolvimento da música eletroacústica audiovisual para

realidade virtual (VR) como uma manifestação artística emergente. Revisitando conceitos e terminologias de diversos

autores (Gibbs, 2007; Leite, 2004; Lima, 2011; Fry, 1920) com relação às mais diversas manifestações audiovisuais,

consolidamos a definição de Hill (2010) e a expandimos para um sistema de reprodução específico, o VR, como a mais

apropriada para o nosso objeto de estudos. A manutenção do que denominamos de espaço extrínseco (Henriksen,

an emerging artistic expression. Revisiting concepts and terminologies by several authors (Gibbs, 2007; Leite, 2004;

Lima, 2011; Fry, 1920) in relation to the most diverse audiovisual manifestations, we consolidated Hill's definition

(2010) and expanded it to a specific reproduction system, VR, as the most appropriate for our object of study. The

maintenance of what we call extrinsic space (Henriksen, 2002) in this type of manifestation makes it possible to

consolidate it as a musical parameter. First studies in audiovisual electroacoustic music for VR are presented as

result of doctoral work.

Keywords: Audiovisual electroacoustic music; Virtual reality in art; Musical composition.

Música Eletroacústica Audiovisual para VR

Fabio Wanderley Janhan Sousa, Federal University of Minas Gerais, fabiojanhan@gmail.com

Como ressaltado por Bethônico (2001), o uso simultâneo da imagem e do som tem pautado os meios de

comunicação contemporâneos. Esse uso simultâneo de signos sonoros e visuais tem sido a principal

seu modo diverso – com uma perspectiva própria – de contar a história do homem no século XX” (Bethônico

2001, 20).

O novo milênio, principalmente essa segunda década, se iniciou com uma explosão de material audiovisual

distribuído pela internet. Além da possibilidade de se transmitir ao vivo não somente áudio, mas também

vídeo, observamos o fato de a manipulação dos mesmos ter se tornado mais simples e acessível a usuários

com pouca experiência, prometendo resultados impressionantes. Com isso, diversas portas se abriram,

entre elas, a da distribuição de música com imagem em movimento pelos profissionais da área de

entretenimento e comunicação. Não falamos aqui somente de videoclipes, palestras e vídeo-aulas, mas

também de obras eletroacústicas com material visual, antes acessíveis somente em concertos

especializados. O surgimento de novos gêneros musicais / audiovisuais se intensificou e o que denominamos

2

desenvolvimento de procedimentos técnicos em recursos estéticos, que se encontram as mídias audiovisuais

1

Conceito definido por Andrew Hill para descrever “obras de música eletroacústica audiovisual que

exploram as possibilidades que a combinação de suas duas mídias baseadas em tempo (som e imagem em

movimento) permitem.” (Hill 2010, 37). Original: “Electroacoustic audio-visual music works explore the

possibilities that the combination of their two time-based media (sound and moving image) allow”.

2

Original: “Visual Music can be defined as time-based visual imagery that establishes a temporal architecture

bibliográfica preliminar como a que se segue.

Bethônico adota o conceito de audiovisual como sendo uma “mensagem constituída da combinação de som

e imagem” (Ferreira 1986, 199 apud Bethônico 1995, 105) e discute diferentes usos do termo com suas

conotações negativas e positivas. Independente de se apresentar de forma durável ou efêmera, folclórica

ou infográfica, dominante ou dominada, explorando próteses tecnológicas ou não, o audiovisual (termo

adotado com essa grafia específica) pressupõe um termo descritivo originado de uma montagem que se

apresente como maior do que suas partes constitutivas. Essa possibilidade de duas coisas que se somam, se

tornarem algo maior do que a soma das partes, é desenvolvida também em estudos relacionados a

hibridização e interatividade, como em Kwastek (2013, viii), que afirma que “a característica essencial da

Rumori

Varèse, se apresentam como o que seria chamado por Trevor Whishart em 1996 de arte sonora, uma forma

distinta de música que explora as ideias apresentadas por John Cage de que o som por si mesmo poderia ser

capaz de comunicar: "(...) Cage efetivamente criou a ideia de que o som em si mesmo poderia comunicar e,

talvez o mais importante (para nós pelo menos), que ele poderia ser a base para uma forma de arte distinta"

(Gibbs 2007, 34)

6

.

O termo “arte” sempre foi historicamente utilizado para designar trabalhos relacionados a pinturas ou até

mesmo a esculturas (Gibbs 2007, 43). Em meados do século XX, quando a tecnologia possibilitou que o som

adapta ao direcionamento do olhar do espectador, transformando tanto o campo sonoro quanto o visual a

partir da movimentação da cabeça do mesmo, possível através do VR (realidade virtual), impulsionado pela

indústria dos jogos digitais e desenvolvimento de smartphones com giroscópios e acelerômetros embutidos.

4

Original: “The essential characteristic of the hybridization of the arts is that the hybrid form cannot be

broken down into its individual components: the whole is more than the sum of its parts.”

5

Trad.: A arte dos ruídos

6

Original: “(…) Cage effectively created the idea that sound by itself could communicate and, perhaps more

7

No que diz respeito à adoção desse termo em específico, arte sonora, observamos claramente na literatura

algumas discordâncias conceituais entre autores, principalmente se o expandirmos para o contexto atual.

Nas palavras de Bernd Schulz (1999, 25), o “inexato termo de arte sonora”, é “uma forma híbrida que se

desenvolveu nas fronteiras entre música e artes visuais”. Observamos na literatura também, uma descrição

de Emmerson com uma visão um pouco mais ampla quando ele afirma: “acredito que a música seja um

as diversas manifestações artísticas sonoras humanas, dessa forma, esculturas que produzem sons

(denominadas também de esculturas sonoras)

9

estariam lado a lado com a música pop, a eletroacústica, a

música instrumental e a denominada paisagem sonora do compositor canadense Murray Schafer. Arte

sonora seria então o nome dado ao que engloba tudo isso. A definição apresentada por Schultz, portanto,

nos é favorita principalmente por ser mais utilizada no meio artístico e ser mais condizente com as produções

contemporâneas que se auto denominam artes sonoras, se situando entre a música e as artes visuais.

Para além da tradicional composição instrumental, e para além do processo de produção fonográfica, os

processos de manipulação sonora foram aos poucos se incorporando aos diversos processos de composição

musical de vanguarda. Diferenças surgem então entre as abordagens de alguns compositores, derivadas

Original: “So I think that music is a subset of sonic art and sonic art is a subset of soundscape and

soundscape is really the world around us, virtually complete.”

9

Como exemplos de “Esculturas Sonoras” podemos citar os trabalhos de Zimoun (www.zimoun.net/),

Michele Spanghero (www.michelespanghero.com), Jack Pavlik e suas “esculturas sonoras cinéticas”

(https://www.youtube.com/watch?v=C6hOKQL5SDA), Tonkin Liu com sua obra “Singing Ringing Tree”

(http://www.tonkinliu.co.uk/project/singing-ringing-tree), ou até mesmo Martin Molin e sua “Marble

Machine” (https://www.youtube.com/watch?v=IvUU8joBb1Q). Tais trabalhos se confundem em definição

instrumental), desenvolvimento de hiper-instrumentos, entre outras.

No que diz respeito ao processo de espacialização sonora, importante para o desenvolvimento da música

eletroacústica audiovisual para VR

, historicamente, podemos citar como primeiro concerto público a

podemos citar Pfingstoratorium: Spiritus Intelligentiae Sanctus de Ernest Krenek (1955), para um sistema

estereofônico, Gesang der Jünglinge de Stockhausen (1955-1956), para cinco grupos de alto-falantes

dispostos em torno do público (Menezes 1998, 22), e Poeme Életronique (1958) de Edgard Varèse. Esta

última foi, provavelmente não só a composição mais icônica, mas uma experiência multissensorial completa,

por explorar um sistema de áudio multicanal associado a efeitos de iluminação e projeções de slides (Gibbs

2007, 30) em um espaço arquitetônico, o Pavilhão Philips. Tanto o processo de espacialização de áudio,

De uma forma semelhante à consideração de que o fonógrafo deu origem a música eletroacústica,

para reprodução especificamente através de um smartphone acoplado a óculos de realidade virtual e fones

de ouvido para a escuta binaural. Tal mídia pode ser reproduzida também através de um computador, no

entanto, elimina a proposta de imersão possibilitada pelas condições de escuta e visualização propostas

inicialmente.

11

12

Ainda nessa busca de compreender o território audiovisual e sua relação conceitual com a arte sonora,

recorremos a Leite (2004) e à sua classificação de modalidades e modelos do audiovisual. Apesar de

existirem outras classificações na literatura, escolhemos iniciar por essa autora pelo fato de suas

caracterizações estarem estreitamente relacionadas com a música eletroacústica, o que se mostrará

no processo de composição onde a imagem e a música interagem entre si e são concebidos simultaneamente

ou (5) quando a imagem ilustra uma música previamente composta. Dos processos apresentados pela

autora, o que mais nos interessa seria o (4), onde as composições da imagem e da música são concomitantes,

e vemos nele uma possibilidade de elevação da produção do audiovisual para realidade virtual ao nível

artístico, ao invés de restrito a produção em massa de conteúdo

da proximidade pela tradução, se apresentam como duas coisas completamente diferentes, sendo a Music

Video melhor traduzida para o que conhecemos como videoclipes, direcionado a música de massa, e a

música vídeo, com uma relação mais estreita com a música eletroacústica.

Segundo Leite (2004) ainda, a música vídeo se apresenta como um gênero que engloba diversas modalidades

13

um cliente e que muitas vezes não têm a visão do todo, sendo o trabalho baseado em padrões e clichês já

testados e aprovados comercialmente.

15

ferramentas para análise de um produto audiovisual. Apesar de estarem sendo utilizadas para análise de

videoclipes no trabalho apresentado por Borém, se vislumbra a utilização de tais ferramentas também para

obras eletroacústicas visuais, de forma semelhante ao processo sugerido por Tagg (1982) para a análise e

estruturação de obras puramente instrumentais por leigos.

Segundo o autor, o denominado vídeo música seria uma “modalidade de produção audiovisual em que as

imagens visuais e sonoras se articulam em um processo contínuo e integrado, hibridizando-se em uma obra

na qual a experiência perceptiva é trans-sensorial” (Lima, 2011, 8). Ele caracteriza a vídeo música pela forte

Malcolm Le Grice, Michael Snow, Ken Jacobs e Abigail Child. Muitos desses autores são mencionados

também em outros trabalhos, no entanto possuem seus trabalhos classificados como Visual Music ou Seeing

Sound, uma outra categoria encontrada na literatura que possui características importantes na definição do

nosso objeto de estudos:

Normalmente é não narrativo e não representacional (embora não seja necessário). A

música visual pode ser acompanhada de som, mas também pode ser silenciosa.

(Evans

2005, 11)

(…) Eles não procuram imitar a forma, mas criar forma; não para imitar a vida, mas para

tentativa de abandonar toda semelhança com a forma natural e criar uma linguagem de

architecture in a way similar to absolute music. It is typically non narrative and non-representational

(although it need not be either). Visual music can be accompanied by sound but can also be silent.”

No desenvolvimento da denominada Visual Music, ao longo da história, diversos artistas e cientistas

investiram em experimentos que fizessem algum tipo de associação entre som e imagem, objetivando a

criação de um dispositivo que funcionasse em tempo real, direcionado à performance, alguns deles gerando

simultaneamente som e imagem, outros gerando somente a imagem. Provavelmente os mais conhecidos

foram os que resultaram no Clavecin Ocularie de Louis Bertrand Castel (1728), no Clavilux de Thomas Wilfred

tecnológico dos computadores. Dessa forma, ele situa também, tanto a performance de VJs

assim como o desenvolvimento de algoritmos para a visualização do espectro sonoro em uma mesma

categoria. Em sua tentativa de classificar melhor seu objeto, assim como pretendemos fazer com o nosso,

Hill desmembra as manifestações audiovisuais relacionadas com a Visual Music

que não contém som em si.

B. Composições visuais sobre uma música pré-existente como as primeiras obras de Orkar Fischinger, as

interpretações artísticas de Fantasia de Walt Disney, ou videoclipes como os apresentados pela MTV.

generativo.” Original: “VJing is the manipulation or selection of visuals, the same way DJing is a selection and

manipulation of audio. One of the key elements in the practice of VJing is the realtime mix of content from

a “library of media.” In addition to the selection of media, VJing mostly implies realtime processing of the

visual material. The term is also used to describe the performative use of generative software.” (375

Wikipedians 2010, 17f)

21

videomusique, e audiovisual music em gêneros que objetivam a exploração a estruturação de material visual

Assim como em Hill, nosso maior interesse está na categoria C, onde os artistas / compositores têm, através

de aparatos tecnológicos digitais, a possibilidade de criar ambas as partes visual e sonora de suas obras

audiovisuais concomitantemente, através de um processo criativo que transite entre os dois suportes, ao

B. Material audiovisual final gerado a partir da manipulação, pelo compositor, de materiais primários

gravados ou sintetizados, através de recursos tecnológicos, na maioria das vezes com o auxílio de um

computador;

C. Produto final fixado em uma mídia, possibilitando o maior controle do compositor do material

apresentado ao ouvinte.

Music são nomenclaturas válidas. Apesar disso, adotaremos o termo música eletroacústica audiovisual

para definir e expandir o nosso objeto de estudos, pelo simples fato de este ser um termo mais descritivo e

claro. Tanto o termo música vídeo quanto o vídeo música podem ser confundidos pelos videoclipes se

tecnológicas, questione a coerência do que lhe é apresentado. Seguindo o proposto por Schaeffer (2010),

na representação.

22

realidade virtual, objeto principal do nosso trabalho de doutorado, que engloba aplicações inclusive além da