Processamento Audiovisual de Voz por Aprendizagem de Máquina

Resumo

Este plano de pesquisa explora uma base comum a várias áreas de processamento de sinais como análise de voz, codificação de voz e de áudio, reconhecimento da fala e de outras características de sinais de voz e de áudio e separação de sinais com regularizações para permitir ajustes mais adequados à finalidade desejada. Tradicionalmente, a análise de voz, além de seu interesse específico, propicia as representações do sinal e os parâmetros dos modelos necessários às outras áreas. Esta função tem sido questionada com os desenvolvimentos mais recentes em aprendizagem profunda, pretendendo-se estabelecer paralelos entre as duas abordagens para aumentar a compreensão. Além das formas de decomposição e modificação tempo-frequencial e de análise autorregressiva usuais, novas técnicas baseadas no aprendizado de máquina e na aprendizagem profunda serão propostas para realce, separação e síntese de sinais de voz e de áudio, avançando sobre as bases da análise tradicional. Serão pesquisadas máquinas com capacidade gerativa também para sinais de vídeo e séries temporais. Adicionalmente, os parâmetros e representações do sinal de voz também serão utilizados para a modelagem e elaboração de métricas não-intrusivas da qualidade do sinal de voz; para tal propósito, o sinal de voz é degradado utilizando diferentes parâmetros de um sistema de comunicação. (AU)