Novos desenvolvimentos tecnológicos em sistemas de musica eletroacústica interativos

• Processo: 16/15484-1
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Pós-Doutorado
• Vigência (Início): 01 de janeiro de 2017
• Vigência (Término): 31 de dezembro de 2017
• Área do conhecimento: Linguística, Letras e Artes - Artes - Música
• Pesquisador responsável: Silvio Ferraz Mello Filho
• Beneficiário: Sergio Kafejian Cardoso Franco
• Supervisor: Robert Rowe
• Instituição Sede: Escola de Comunicações e Artes (ECA). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Local de pesquisa: New York University, Estados Unidos
• Vinculado à bolsa: 15/20236-4 - As técnicas estendidas e os novos paradigmas de agenciamento do material sonoro, BP.PD
• Assunto(s): Dispositivos eletrônicos Aprendizado computacional Cognição musical Interatividade
• Palavra(s)-Chave do Pesquisador: cognição musical | Dispositivos eletrônicos | eletrônica em tempo real | Interatividade | machine learning | musical information retrieval | composição e tecnologia digital

Resumo

O principal objetivo deste estágio de pesquisa - a ser realizado na Steinhardt NYU (New York University) - consiste em investigar os novos modelos de interação entre instrumentos acústicos e manipulações fazendo uso de eletrônica em tempo real. Consequentemente, serão investigadas as mudanças surgidas na relação entre compositor, intérprete, performance e público. No escopo desta pesquisa serão levantadas as seguintes questões: Quais as novas ferramentas que o desenvolvimento de novas tecnologias está oferecendo aos compositores e performers? Como as novas tecnologias estão transformando os paradigmas estéticos da criação musical? Como as novas tecnologia estão transformando as modalidades de performance? Que novos paradigmas têm surgido em decorrência dos recentes desenvolvimentos tecnológicos? Os resultados esperados consistem em composições, performances, artigos acadêmicos e um aplicativo desenvolvido em MAX/MSP a ser usado em composições e performances envolvendo eletrônica em tempo real. O aplicativo será concebido a partir das pesquisas desenvolvidas na Steinhardt University. Os fundamentos teóricos serão baseados nas propostas de Robert Rowe, Norbert Schnell e Marc Battier. Para Schell e Battier, o desenvolvimento de sistemas digitais para a composição e performance devem considerar as seguintes colocações: (1) O sistema computacional deve ser concebido como um instrumento composto e deve compreender funções que permitam tanto a exploração pessoal e original por um compositor/intérprete quanto a realização de complexos cálculos algorítmicos; (2) O sistema computacional deve ser visto como módulos de processamento passando informações entre si e seus processamentos podem ser divididos em quatro categorias: de transformação, de análise, de síntese e de memorização; (3) A gama de interação entre intérprete e sistema deve ir desde o disparo de material musical previamente preparado até material musical sendo criado e controlado pelo em tempo real pelo intérprete. Na mesma linha de pensamento, o pesquisador Robert Rowe propõe que os sistemas interativos podem ser classificados em três categorias. A primeira categoria é dividida entre sistemas conduzidos pela performance e sistemas conduzidos por partitura. A segunda categoria diz respeito aos métodos usados para gerar material sonoro e é dividida em sistemas que usam métodos: transformativos, generativos ou sequenciais. A terceira categoria diz respeito ao paradigma de funcionamento dos sistemas, que podem ser concebidos ora como instrumentos estendidos ora como instrumentistas artificias. Ainda de Robert Rowe iremos considerar seu modelo tripartite de constituição dos sistemas interativos. Para Rowe, os sistemas interativos envolvem três estágios de processamento: estágio sensível, estágio de processamento e estágio de resposta. Considerando que esta investigação envolve pesquisas advindas de áreas do conhecimento como Music Information Retrieval (MIR), Machine Listening, Interação Homem Máquina, Processamento de Som, Difusão Sonora e Cognição Musical, a pesquisa irá contar com a colaboração dos seguintes grupos de pesquisa sediados na Steinhardt NYU: (a) Música Computacional e Sistemas Interativos de Performance, em especial suas pesquisas acerca de sistemas interativos de relações ecossistêmicas que fazem uso dos conceitos de Finite State Machine (FST), Finite State Automata (FSA) and Finite State Transducer (FST); (b) Áudio Imersivo, em especial suas pesquisas em sistemas multi-sensíveis para controle de gestos em tempo real e pesquisas relacionadas a center-surrounded listening; (c) Música e Informática, em especial suas pesquisas sobre processamento sonoro. O segundo objetivo desta pesquisa consiste em desenvolver composições e performances fazendo uso do aplicativo. As composições serão desenvolvidas em colaboração com o NYU New Music Ensemble, coordenado pela Prof.a Dr.a Esther Lamneck. A pesquisa será realizada sob sob a supervisão do Prof.Dr. Robert Rowe.