Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio

Resumo

O objetivo deste projeto é a construção e avaliação de um sistema completo, prova de conceito, para auxílio do cego. O sistema é baseado na tradução de informações visuais em informações sonoras. A chave do problema da tradução da informação visual é a quantidade de informação - vídeo tem ordens de magnitude mais informação do que áudio. Neste projeto utilizaremos visão computacional para extrair informações de alto nível, e utilizaremos áudio 3D para representar esta informação com noção espacial. O hardware deste sistema utilizará o Microsoft Kinect para coletar dados com cor e profundidade, uma euclidean board, que tem giroscópio, acelerômetro e bússola, um headfone de alta qualidade e um microcomputador portátil, porém com alto poder de processamento (para processar os algoritmos em tempo real). O software será extensível e modular. O sistema terá vários modos de operação, para providenciar funções especializadas como navegação, localização de pessoas, tradução de informação a partir de texto (e.g identificação de notas bancárias, identificação de símbolos). Cada um de estes modos tem diferentes requerimentos no âmbito da visão computacional para extrair a informação de alto nível do ambiente e no âmbito do áudio 3D para comunicar de maneira adequada a informação desejada. Um sistema funcional apresenta uma série de desafios técnicos e científicos, que incluem desenvolvimento e integração de algoritmos de visão computacional, e o projeto e avaliação de interfaces auditivas. (AU)