Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio

• Processo: 12/50468-6
• Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Data de Início da vigência: 01 de agosto de 2012
• Data de Término da vigência: 31 de julho de 2014
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Acordo de Cooperação: Microsoft Research
• Pesquisador responsável: Siome Klein Goldenstein
• Beneficiário: Siome Klein Goldenstein
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Município: Campinas
• Instituição parceira: Microsoft
• Bolsa(s) vinculada(s): 13/21349-1 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, BP.MS; 13/17037-4 - Detecção de objetos em dispositivo assistivo para deficientes visuais, BP.IC; 12/22653-3 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, BP.MS
• Assunto(s): Visão computacional Acessibilidade Áudio digital Pessoas com deficiência visual
• Palavra(s)-Chave do Pesquisador: Accessibility | Augmented Reality | Computer Vision | 3D Audio

Resumo

O objetivo deste projeto é a construção e avaliação de um sistema completo, prova de conceito, para auxílio do cego. O sistema é baseado na tradução de informações visuais em informações sonoras. A chave do problema da tradução da informação visual é a quantidade de informação - vídeo tem ordens de magnitude mais informação do que áudio. Neste projeto utilizaremos visão computacional para extrair Informações de alto nível, e utilizaremos áudio 3D para representar esta informação com noção espacial. O Hardware deste sistema utilizara o Microsoft Kinect para coletar dados com cor e profundidade, uma Euclidean board, que tem giroscópio, acelerômetro e bússola, um headfone de alta qualidade e um microcomputador portátil porém com alto poder de processamento (para processar os algoritmos em tempo real). O software será extensível e modular. Um sistema funcional apresenta uma série de desafios técnicos e científicos, que incluem desenvolvimento e integração de algoritmos de visão computacional, e o projeto e avaliação de interfaces auditivas. (AU)

Publicações científicas

(6)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

ANDALO, FERNANDA A.; TAUBIN, GABRIEL; GOLDENSTEIN, SIOME. Efficient height measurements in single images based on the detection of vanishing points. COMPUTER VISION AND IMAGE UNDERSTANDING, v. 138, p. 51-60, SEP 2015. (12/50468-6)

NETO, LAURINDO BRITTO; GRIJALVA, FELIPE; MARGARETH LIMA MAIKE, VANESSA REGINA; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; CALANI BARANAUSKAS, MARIA CECILIA; ROCHA, ANDERSON; GOLDENSTEIN, SIOME. A Kinect-Based Wearable Face Recognition System to Aid Visually Impaired Users. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, v. 47, n. 1, p. 52-64, FEB 2017. (12/50468-6, 15/19222-9, 13/21349-1, 14/14630-9)

ANDALO, FERNANDA A.; TAUBIN, GABRIEL; GOLDENSTEIN, SIOME. PSQP: Puzzle Solving by Quadratic Programming. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, v. 39, n. 2, p. 385-396, FEB 2017. (12/50468-6)

GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; FLORENCIO, DINEI; GOLDENSTEIN, SIOME. Interpolation of Head-Related Transfer Functions Using Manifold Learning. IEEE SIGNAL PROCESSING LETTERS, v. 24, n. 2, p. 221-225, FEB 2017. (12/50468-6, 13/21349-1, 14/14630-9)

SILVA, FERNANDA B.; WERNECK, RAFAEL DE O.; GOLDENSTEIN, SIOME; TABBONE, SALVATORE; TORRES, RICARDO DA S.. Graph-based bag-of-words for classification. PATTERN RECOGNITION, v. 74, p. 266-285, FEB 2018. (16/18429-1, 12/50468-6, 13/11378-4, 13/50155-0, 14/12236-1, 12/16172-2, 13/50169-1)

GRIJALVA, FELIPE; MARTINI, LUIZ CESAR; MASIERO, BRUNO; GOLDENSTEIN, SIOME. A Recommender System for Improving Median Plane Sound Localization Performance Based on a Nonlinear Representation of HRTFs. IEEE ACCESS, v. 6, p. 24829-24836, 2018. (12/50468-6, 14/14630-9, 13/21349-1)