Busca avançada
Ano de início
Entree

Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio

Processo: 13/21349-1
Modalidade de apoio:Bolsas no Brasil - Mestrado
Vigência (Início): 01 de novembro de 2013
Vigência (Término): 31 de julho de 2014
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
Acordo de Cooperação: Microsoft Research
Pesquisador responsável:Luiz César Martini
Beneficiário:Felipe Leonel Grijalva Arévalo
Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
Empresa Sede:Universidade Estadual de Campinas (UNICAMP). Instituto de Computação (IC)
Vinculado ao auxílio:12/50468-6 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, AP.PITE
Assunto(s):Metodologia e técnicas de computação   Pessoas com deficiência visual   Realidade aumentada   Visão computacional   Som surround
Palavra(s)-Chave do Pesquisador:Acessibilidade | Audio 3D | Deficientes visuais | Realidade Aumentada | Visão Computacional | Metodologia e técnicas de Computação

Resumo

O objetivo deste projeto é a construção e avaliação de um sistema completo, prova de conceito, para auxílio do cego. O sistema é baseado na tradução de informações visuais em informações sonoras. A chave do problema da tradução da informação visual é a quantidade de informação - vídeo tem ordens de magnitude mais informação do que áudio. Neste projeto utilizaremos visão computacional para extrair informações de alto nível, e utilizaremos áudio 3D para representar esta informação com noção espacial. O hardware deste sistema utilizará o Microsoft Kinect para coletar dados com cor e profundidade, uma euclidean board, que tem giroscópio, acelerômetro e bússola, um headfone de alta qualidade e um microcomputador portátil, porém com alto poder de processamento (para processar os algoritmos em tempo real). O software será extensível e modular. O sistema terá vários modos de operação, para providenciar funções especializadas como navegação, localização de pessoas, tradução de informação a partir de texto (e.g identificação de notas bancárias, identificação de símbolos). Cada um de estes modos tem diferentes requerimentos no âmbito da visão computacional para extrair a informação de alto nível do ambiente e no âmbito do áudio 3D para comunicar de maneira adequada a informação desejada. Um sistema funcional apresenta uma série de desafios técnicos e científicos, que incluem desenvolvimento e integração de algoritmos de visão computacional, e o projeto e avaliação de interfaces auditivas. (AU)

Matéria(s) publicada(s) na Agência FAPESP sobre a bolsa:
Matéria(s) publicada(s) em Outras Mídias (0 total):
Mais itensMenos itens
VEICULO: TITULO (DATA)
VEICULO: TITULO (DATA)

Publicações científicas
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; MASIERO, BRUNO; GOLDENSTEIN, SIOME. A Recommender System for Improving Median Plane Sound Localization Performance Based on a Nonlinear Representation of HRTFs. IEEE ACCESS, v. 6, p. 24829-24836, . (12/50468-6, 14/14630-9, 13/21349-1)
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; GOLDENSTEIN, SIOME. Interpolation of Head-Related Transfer Functions Using Manifold Learning. IEEE SIGNAL PROCESSING LETTERS, v. 24, n. 2, p. 221-225, . (12/50468-6, 13/21349-1, 14/14630-9)
NETO, LAURINDO BRITTO; GRIJALVA, FELIPE; MARGARETH LIMA MAIKE, VANESSA REGINA; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; CALANI BARANAUSKAS, MARIA CECILIA; ROCHA, ANDERSON; GOLDENSTEIN, SIOME. A Kinect-Based Wearable Face Recognition System to Aid Visually Impaired Users. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, v. 47, n. 1, p. 52-64, . (12/50468-6, 15/19222-9, 13/21349-1, 14/14630-9)
Publicações acadêmicas
(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)
ARÉVALO, Felipe Leonel Grijalva. Redução de dimensionalidade usando Isomap aplicada ao áudio espacial. 2014. Dissertação de Mestrado - Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação Campinas, SP.

Por favor, reporte erros na lista de publicações científicas escrevendo para: cdi@fapesp.br.