Aprendizado de representações ricas em contexto para visão computacional

Resumo

Métodos de Visão Computacional são empregados para extração de informações de imagens e vídeos, mas nem sempre os elementos contextuais presentes neles são suficientes para a extração de informações corretas e precisas. Nesses casos, conteúdos de outras fontes e modalidades de dados, como áudio e texto, ou ainda outras informações externas aos dados, como conhecimentos a priori, podem ser utilizados para complementar e enriquecer o contexto da informação de interesse. Adicionalmente, o contexto de aplicação pode impor restrições diversas tais como limitações de hardware, necessidade de garantia de privacidade, entre outros. Portanto, métodos de Visão Computacional modernos precisam ser capazes de integrar automaticamente os elementos contextuais da informação de interesse e também aqueles relacionados à aplicação em questão. O objetivo deste projeto é o desenvolvimento de modelos e métodos de visão computacional que sejam capazes de gerar representações ricas em contexto. O projeto será organizado em três eixos principais integrados: (i) Uso ótimo de dados não-supervisionados; (ii) Alinhamento de domínios multi-modais; (iii) Propriedades de representações. De especial interesse são aplicações de visão computacional envolvendo dispositivos de borda (edge computing) e dispositivos móveis (como smartphones e mini-computadores). Para desenvolver, testar e validar os métodos, pretendemos construir um setup experimental consistindo de múltiplas câmeras e sensores que permitirão a construção de conjuntos de dados supervisionados a serem explorados pelo grupo. (AU)