Busca avançada
Ano de início
Entree

Aprendizado de máquina em processamento de sinais aplicado ao áudio espacial

Processo: 14/14630-9
Linha de fomento:Bolsas no Brasil - Doutorado
Vigência (Início): 01 de dezembro de 2014
Vigência (Término): 31 de julho de 2018
Área do conhecimento:Engenharias - Engenharia Elétrica
Convênio/Acordo: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)
Pesquisador responsável:Luiz César Martini
Beneficiário:Felipe Leonel Grijalva Arévalo
Instituição-sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
Assunto(s):Aprendizado computacional   Realidade aumentada

Resumo

Conforme as aplicações de realidade aumentada tornam-se mais relevantes, há um crescente esforço na pesquisa do áudio espacial. O termo áudio espacial refere-se ao conjunto de técnicas que modelam a anatomia de uma pessoa por meio de filtros digitais. Ao filtrar uma fonte de áudio através desses filtros, o ouvinte é capaz de perceber um som como se ele fosse reproduzido em um local específico no espaço. No domínio da frequência, esses filtros são conhecidos como Funções de Transferência Relacionadas à Cabeça (Head-Related Transfer Functions, HRTF). Um problema significativo no áudio espacial é o fato de as características espectrais das HRTFs variarem entre indivíduos. Se um indivíduo usar as HRTFs de uma outra pessoa, existe uma degradação na percepção auditiva. Portanto, é necessário personalizar as HRTFs. A HRTF de um indivíduo pode ser medida experimentalmente. No entanto, como essa medição é uma tarefa complexa, demorada e não escalável, várias técnicas de aprendizado de máquina têm sido aplicadas para personalizar as HRTFs. O problema das técnicas atuais é que elas não levam em conta o conhecimento prévio das características das HRTFs (e.g. simetria). Assim, o objetivo geral desta proposta é aplicar técnicas de aprendizado de máquina na personalização das HRTFs visando incorporar o conhecimento prévio tanto espacial quanto em frequência das HRTFs. Nesse intuito, representaremos as HRTFs usando técnicas de redução de dimensionalidade não linear (e.g. Isomap) em conjunto com técnicas de banco de filtros (e.g. wavelets) que levem em conta esse conhecimento prévio. Posteriormente, como existem poucas HRTFs medidas devido à dificuldade de obtê-las, visamos fazer a fusão de várias bases de dados de HRTFs usando transferência de aprendizado (transfer learning). Finalmente, usando a base de dados de HRTFs obtida dessa fusão, utilizaremos técnicas de aprendizado profundo (deep learning) para predizer as HRTFs de um indivíduo a partir de suas características anatômicas. (AU)

Publicações científicas
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; MASIERO, BRUNO; GOLDENSTEIN, SIOME. A Recommender System for Improving Median Plane Sound Localization Performance Based on a Nonlinear Representation of HRTFs. IEEE ACCESS, v. 6, p. 24829-24836, 2018. Citações Web of Science: 0.
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; GOLDENSTEIN, SIOME. Interpolation of Head-Related Transfer Functions Using Manifold Learning. IEEE SIGNAL PROCESSING LETTERS, v. 24, n. 2, p. 221-225, FEB 2017. Citações Web of Science: 7.
NETO, LAURINDO BRITTO; GRIJALVA, FELIPE; MARGARETH LIMA MAIKE, VANESSA REGINA; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; CALANI BARANAUSKAS, MARIA CECILIA; ROCHA, ANDERSON; GOLDENSTEIN, SIOME. A Kinect-Based Wearable Face Recognition System to Aid Visually Impaired Users. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, v. 47, n. 1, p. 52-64, FEB 2017. Citações Web of Science: 22.
Publicações acadêmicas
(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)
ARÉVALO, Felipe Leonel Grijalva. Manifold learning for spatial audio rendering. 2018. Tese de Doutorado - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação.

Por favor, reporte erros na lista de publicações científicas escrevendo para: cdi@fapesp.br.