Busca avançada
Ano de início
Entree

Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio

Processo: 12/50468-6
Linha de fomento:Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
Vigência: 01 de agosto de 2012 - 31 de julho de 2014
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
Convênio/Acordo: Microsoft Research
Pesquisador responsável:Siome Klein Goldenstein
Beneficiário:Siome Klein Goldenstein
Instituição-sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas, SP, Brasil
Empresa: Microsoft
Bolsa(s) vinculada(s):13/21349-1 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, BP.MS
13/17037-4 - Detecção de objetos em dispositivo assistivo para deficientes visuais, BP.IC
12/22653-3 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, BP.MS
Assunto(s):Visão computacional  Acessibilidade  Áudio digital  Pessoas com deficiência visual 

Resumo

O objetivo deste projeto é a construção e avaliação de um sistema completo, prova de conceito, para auxílio do cego. O sistema é baseado na tradução de informações visuais em informações sonoras. A chave do problema da tradução da informação visual é a quantidade de informação - vídeo tem ordens de magnitude mais informação do que áudio. Neste projeto utilizaremos visão computacional para extrair Informações de alto nível, e utilizaremos áudio 3D para representar esta informação com noção espacial. O Hardware deste sistema utilizara o Microsoft Kinect para coletar dados com cor e profundidade, uma Euclidean board, que tem giroscópio, acelerômetro e bússola, um headfone de alta qualidade e um microcomputador portátil porém com alto poder de processamento (para processar os algoritmos em tempo real). O software será extensível e modular. Um sistema funcional apresenta uma série de desafios técnicos e científicos, que incluem desenvolvimento e integração de algoritmos de visão computacional, e o projeto e avaliação de interfaces auditivas. (AU)

Publicações científicas (6)
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
SILVA, FERNANDA B.; WERNECK, RAFAEL DE O.; GOLDENSTEIN, SIOME; TABBONE, SALVATORE; TORRES, RICARDO DA S. Graph-based bag-of-words for classification. PATTERN RECOGNITION, v. 74, p. 266-285, FEB 2018. Citações Web of Science: 6.
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; MASIERO, BRUNO; GOLDENSTEIN, SIOME. A Recommender System for Improving Median Plane Sound Localization Performance Based on a Nonlinear Representation of HRTFs. IEEE ACCESS, v. 6, p. 24829-24836, 2018. Citações Web of Science: 0.
ANDALO, FERNANDA A.; TAUBIN, GABRIEL; GOLDENSTEIN, SIOME. PSQP: Puzzle Solving by Quadratic Programming. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, v. 39, n. 2, p. 385-396, FEB 2017. Citações Web of Science: 7.
GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; GOLDENSTEIN, SIOME. Interpolation of Head-Related Transfer Functions Using Manifold Learning. IEEE SIGNAL PROCESSING LETTERS, v. 24, n. 2, p. 221-225, FEB 2017. Citações Web of Science: 5.
NETO, LAURINDO BRITTO; GRIJALVA, FELIPE; MARGARETH LIMA MAIKE, VANESSA REGINA; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; CALANI BARANAUSKAS, MARIA CECILIA; ROCHA, ANDERSON; GOLDENSTEIN, SIOME. A Kinect-Based Wearable Face Recognition System to Aid Visually Impaired Users. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, v. 47, n. 1, p. 52-64, FEB 2017. Citações Web of Science: 13.
ANDALO, FERNANDA A.; TAUBIN, GABRIEL; GOLDENSTEIN, SIOME. Efficient height measurements in single images based on the detection of vanishing points. COMPUTER VISION AND IMAGE UNDERSTANDING, v. 138, p. 51-60, SEP 2015. Citações Web of Science: 5.

Por favor, reporte erros na lista de publicações científicas escrevendo para: cdi@fapesp.br.
Mapa da distribuição dos acessos desta página
Para ver o sumário de acessos desta página, clique aqui.