Busca avançada
Ano de início
Entree
Conteúdo relacionado

Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio

Processo: 12/50468-6
Modalidade de apoio:Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
Data de Início da vigência: 01 de agosto de 2012
Data de Término da vigência: 31 de julho de 2014
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
Acordo de Cooperação: Microsoft Research
Pesquisador responsável:Siome Klein Goldenstein
Beneficiário:Siome Klein Goldenstein
Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
Município: Campinas
Instituição parceira: Microsoft
Bolsa(s) vinculada(s):13/21349-1 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, BP.MS
13/17037-4 - Detecção de objetos em dispositivo assistivo para deficientes visuais, BP.IC
12/22653-3 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, BP.MS
Assunto(s):Visão computacional  Acessibilidade  Áudio digital  Pessoas com deficiência visual 
Palavra(s)-Chave do Pesquisador:Accessibility | Augmented Reality | Computer Vision | 3D Audio

Resumo

O objetivo deste projeto é a construção e avaliação de um sistema completo, prova de conceito, para auxílio do cego. O sistema é baseado na tradução de informações visuais em informações sonoras. A chave do problema da tradução da informação visual é a quantidade de informação - vídeo tem ordens de magnitude mais informação do que áudio. Neste projeto utilizaremos visão computacional para extrair Informações de alto nível, e utilizaremos áudio 3D para representar esta informação com noção espacial. O Hardware deste sistema utilizara o Microsoft Kinect para coletar dados com cor e profundidade, uma Euclidean board, que tem giroscópio, acelerômetro e bússola, um headfone de alta qualidade e um microcomputador portátil porém com alto poder de processamento (para processar os algoritmos em tempo real). O software será extensível e modular. Um sistema funcional apresenta uma série de desafios técnicos e científicos, que incluem desenvolvimento e integração de algoritmos de visão computacional, e o projeto e avaliação de interfaces auditivas. (AU)

Matéria(s) publicada(s) na Agência FAPESP sobre o auxílio:
Mais itensMenos itens
Matéria(s) publicada(s) em Outras Mídias ( ):
Mais itensMenos itens
VEICULO: TITULO (DATA)
VEICULO: TITULO (DATA)

Publicações científicas (6)
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
ANDALO, FERNANDA A.; TAUBIN, GABRIEL; GOLDENSTEIN, SIOME. Efficient height measurements in single images based on the detection of vanishing points. COMPUTER VISION AND IMAGE UNDERSTANDING, v. 138, p. 51-60, . (12/50468-6)
NETO, LAURINDO BRITTO; GRIJALVA, FELIPE; MARGARETH LIMA MAIKE, VANESSA REGINA; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; CALANI BARANAUSKAS, MARIA CECILIA; ROCHA, ANDERSON; GOLDENSTEIN, SIOME. A Kinect-Based Wearable Face Recognition System to Aid Visually Impaired Users. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, v. 47, n. 1, p. 52-64, . (12/50468-6, 15/19222-9, 13/21349-1, 14/14630-9)
ANDALO, FERNANDA A.; TAUBIN, GABRIEL; GOLDENSTEIN, SIOME. PSQP: Puzzle Solving by Quadratic Programming. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, v. 39, n. 2, p. 385-396, . (12/50468-6)
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; GOLDENSTEIN, SIOME. Interpolation of Head-Related Transfer Functions Using Manifold Learning. IEEE SIGNAL PROCESSING LETTERS, v. 24, n. 2, p. 221-225, . (12/50468-6, 13/21349-1, 14/14630-9)
SILVA, FERNANDA B.; WERNECK, RAFAEL DE O.; GOLDENSTEIN, SIOME; TABBONE, SALVATORE; TORRES, RICARDO DA S.. Graph-based bag-of-words for classification. PATTERN RECOGNITION, v. 74, p. 266-285, . (16/18429-1, 12/50468-6, 13/11378-4, 13/50155-0, 14/12236-1, 12/16172-2, 13/50169-1)
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; MASIERO, BRUNO; GOLDENSTEIN, SIOME. A Recommender System for Improving Median Plane Sound Localization Performance Based on a Nonlinear Representation of HRTFs. IEEE ACCESS, v. 6, p. 24829-24836, . (12/50468-6, 14/14630-9, 13/21349-1)