Detecção de objetos em dispositivo assistivo para deficientes visuais

• Processo: 13/17037-4
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de setembro de 2013
• Data de Término da vigência: 31 de julho de 2014
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Acordo de Cooperação: Microsoft Research
• Pesquisador responsável: Siome Klein Goldenstein
• Beneficiário: Augusto dos Santos Morgan
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Empresa: Universidade Estadual de Campinas (UNICAMP). Instituto de Computação (IC)
• Vinculado ao auxílio: 12/50468-6 - Visão para o cego: traduzindo conceitos visuais 3D em informações de 3D de áudio, AP.PITE
• Assunto(s): Visão computacional
• Palavra(s)-Chave do Pesquisador: Detecção de objetos | tecnologia assistiva | Visão Computacional | Visão Computacional

Resumo

Esta proposta tem por objetivo implementar um módulo de detecção de objetos para o dispositivo assistivo para deficientes visuais descrito na proposta que esta integra Vision for the Blind: Translating 3D Visual Concepts into 3D Auditory Clues. O sistema contará com uma câmera de profundidade (Microsoft Kinect) que deverá ser acoplada à cabeça do usuário, um giroscópio/acelerômetro, fone de ouvido estéreo, para utilização de áudio 3D e um computador portátil responsável pelo processamento. O sistema irá utilizar visão computacional para simplificar as informações obtidas pela câmera e então transformar tais informações em áudio, utilizando o 3D para aproveitar a capacidade inerente do sistema auditivo da pessoa. O componente de software será modular e extensível, contando com modo de navegação, leitura de texto além de detecção de objetos. Esta proposta tem como foco esse último módulo do sistema. Assim, no decorrer do projeto serão implementados algoritmos de detecção de objetos disponíveis na literatura, utilizando a imagem colorida fornecida pelo kinect. Através da imagem de profundidade será, então, possível dar a localização no mundo real do objeto encontrado sob a forma de áudio. Ao final o sistema deverá ser capaz de identificar uma quantidade razoável de objetos. Isso constitui a primeira etapa da proposta. Após isso serão feitos estudos e experimentos sobre como a informação de profundidade do kinect pode ser utilizada também na etapa de detecção (e não apenas localização no mundo real), e serão discutidas maneiras de integrar esse dado aos algoritmos implementados na primeira etapa. (AU)