Timbre e Emoção: estratégias de análise de sonoridades orquestrais utilizando descritores de áudio

• Processo: 15/25160-6
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Vigência (Início): 01 de abril de 2016
• Vigência (Término): 31 de março de 2018
• Área do conhecimento: Linguística, Letras e Artes - Artes - Música
• Pesquisador responsável: Marcelo Gomes de Queiroz
• Beneficiário: Ivan Eiji Yamauchi Simurra
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Assunto(s): Análise musical
• Palavra(s)-Chave do Pesquisador: Análise Musical | Descritores de Áudio | música | Música e Emoção | timbre | Análise Sonora

Resumo

O presente projeto propõe um estudo analítico sobre os correlatos dos estados afetivos das emoções com as características timbrísticas de misturas sonoras de instrumentos de orquestra. Trata-se de uma pesquisa de pós-doutorado que se fundamenta em nossos estudos doutorais e os amplia, através da elaboração e implementação de uma ferramenta computacional para analisar as sonoridades orquestrais do ponto de vista de respostas fisiológicas associadas aos estados afetivos da emoção. A pesquisa apoia-se, principalmente, em três aspectos fundamentais: a) o estudo de descritores de áudio como ferramentas de análise de sonoridades; b) a realização de experimentos para coletar dados objetivos das sonoridades e respostas fisiológicas de ouvintes; e c) a análise dos dados coletados pelos experimentos que servirão de referência para o desenvolvimento de modelos associados ao reconhecimento e à indução de respostas emocionais correlacionadas com o timbre musical. Em particular, a nossa pesquisa desenvolverá um total de dois experimentos: no primeiro coletaremos os dados objetivos das sonoridades a partir de um ambiente computacional, já desenvolvido em nossa pesquisa de doutorado, que utiliza descritores de áudio. Este ambiente permite a construção de configurações orquestrais a partir de um banco de dados com registros sonoros de diversas técnicas de execução instrumental. No segundo experimento relacionaremos os resultados obtidos pelo primeiro experimento com os correlatos verbais da percepção do timbre. Mapearemos as características timbrísticas, via descritores de áudio, a partir da percepção das qualidades semânticas já definidas pela literatura especializada na área, através de adjetivos como `brilhante', `vazio', `áspero', `metálico', `rugoso', `denso', `macio', dentre outros. Paralelamente, coletaremos as respostas fisiológicas dos participantes desta etapa por intermédio da utilização de equipamentos como a eletroencefalografia (EEG), a variabilidade de frequência cardíaca (VFC) e a resposta galvânica da condutância da pele (GSR). Nesta etapa associaremos os correlatos semânticos da percepção do timbre com as respostas afetivas de ativação de atenção e valência hedônica, a partir do modelo circumplexo dos estados afetivos da emoção, proposto por James Russell, a fim de buscar correlações estatísticas a partir da análise dos dados coletados nos dois experimentos. Esta proposta de pesquisa possui caráter interdisciplinar e será desenvolvida junto ao NuSom -- Núcleo de Pesquisas em Sonologia da USP, sendo sediado em uma de suas instituições participantes, o Instituto de Matemática e Estatística da Universidade de São Paulo.