Aprendizado de máquina em processamento de sinais aplicado ao áudio espacial

• Processo: 14/14630-9
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de dezembro de 2014
• Data de Término da vigência: 31 de julho de 2018
• Área de conhecimento: Engenharias - Engenharia Elétrica
• Acordo de Cooperação: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)
• Pesquisador responsável: Luiz César Martini
• Beneficiário: Felipe Leonel Grijalva Arévalo
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Assunto(s): Aprendizado computacional Realidade aumentada
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Áudio Espacial | Audio 3D | Hrtf | Realidade Aumentada | Áudio Espacial

Resumo

Conforme as aplicações de realidade aumentada tornam-se mais relevantes, há um crescente esforço na pesquisa do áudio espacial. O termo áudio espacial refere-se ao conjunto de técnicas que modelam a anatomia de uma pessoa por meio de filtros digitais. Ao filtrar uma fonte de áudio através desses filtros, o ouvinte é capaz de perceber um som como se ele fosse reproduzido em um local específico no espaço. No domínio da frequência, esses filtros são conhecidos como Funções de Transferência Relacionadas à Cabeça (Head-Related Transfer Functions, HRTF). Um problema significativo no áudio espacial é o fato de as características espectrais das HRTFs variarem entre indivíduos. Se um indivíduo usar as HRTFs de uma outra pessoa, existe uma degradação na percepção auditiva. Portanto, é necessário personalizar as HRTFs. A HRTF de um indivíduo pode ser medida experimentalmente. No entanto, como essa medição é uma tarefa complexa, demorada e não escalável, várias técnicas de aprendizado de máquina têm sido aplicadas para personalizar as HRTFs. O problema das técnicas atuais é que elas não levam em conta o conhecimento prévio das características das HRTFs (e.g. simetria). Assim, o objetivo geral desta proposta é aplicar técnicas de aprendizado de máquina na personalização das HRTFs visando incorporar o conhecimento prévio tanto espacial quanto em frequência das HRTFs. Nesse intuito, representaremos as HRTFs usando técnicas de redução de dimensionalidade não linear (e.g. Isomap) em conjunto com técnicas de banco de filtros (e.g. wavelets) que levem em conta esse conhecimento prévio. Posteriormente, como existem poucas HRTFs medidas devido à dificuldade de obtê-las, visamos fazer a fusão de várias bases de dados de HRTFs usando transferência de aprendizado (transfer learning). Finalmente, usando a base de dados de HRTFs obtida dessa fusão, utilizaremos técnicas de aprendizado profundo (deep learning) para predizer as HRTFs de um indivíduo a partir de suas características anatômicas. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

NETO, LAURINDO BRITTO; GRIJALVA, FELIPE; MARGARETH LIMA MAIKE, VANESSA REGINA; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; CALANI BARANAUSKAS, MARIA CECILIA; ROCHA, ANDERSON; GOLDENSTEIN, SIOME. A Kinect-Based Wearable Face Recognition System to Aid Visually Impaired Users. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, v. 47, n. 1, p. 52-64, FEB 2017. (12/50468-6, 15/19222-9, 13/21349-1, 14/14630-9)

GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; GOLDENSTEIN, SIOME. Interpolation of Head-Related Transfer Functions Using Manifold Learning. IEEE SIGNAL PROCESSING LETTERS, v. 24, n. 2, p. 221-225, FEB 2017. (12/50468-6, 13/21349-1, 14/14630-9)

GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; MASIERO, BRUNO; GOLDENSTEIN, SIOME. A Recommender System for Improving Median Plane Sound Localization Performance Based on a Nonlinear Representation of HRTFs. IEEE ACCESS, v. 6, p. 24829-24836, 2018. (12/50468-6, 14/14630-9, 13/21349-1)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

ARÉVALO, Felipe Leonel Grijalva. Manifold learning for spatial audio rendering. 2018. Tese de Doutorado - Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação Campinas, SP.