Reconhecimento de eventos em vídeos utilizando deep learning

• Processo: 16/10703-7
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Doutorado
• Data de Início da vigência: 01 de outubro de 2016
• Data de Término da vigência: 30 de setembro de 2017
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Agma Juci Machado Traina
• Beneficiário: Letrícia Pereira Soares Avalhais
• Supervisor: Larry Davis
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Instituição Anfitriã: University of Maryland, College Park, Estados Unidos
• Vinculado à bolsa: 13/27101-1 - Uma abordagem para segmentação semântica explorando a multimodalidade e temporalidade de características de vídeos digitais, BP.DR
• Assunto(s): Visão computacional Sistemas multimídia Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Deep Learning | Event recognition | fusion | multimodality | Computer vision

Resumo

A enorme quantidade de vídeos disponibilizada on-line todos os dias tem criado uma demanda por ferramentas inteligentes para apoiar necessidades básicas de sistemas multimídia, como indexação, recuperação e rotulação automática. Estratégias robustas de reconhecimento de eventos podem auxiliar diretamente tais necessidades. Uma abordagem comum para esta tarefa é extrair características de baixo nível dos vídeos e usar técnicas clássicas de aprendizado de máquina para modelar padrões encontrados nos dados. Outras abordagens utilizam características multimodais combinadas em uma única representação. Extrair características de alto nível obtidas por técnicas de deep learning é uma tendência recente neste problema, de onde vem sendo reportados resultados promissores. Neste projeto, propõe-se desenvolver técnicas para integrar informações extraídas de baixo nível com características de alto nível aprendidas automaticamente em uma representação multimodal visando melhorar a efetividade de tarefas de reconhecimento evento. O projeto de estágio será realizado na Universidade de Maryland, EUA, sob a supervisão do Professor Larry Davis. (AU)