Modelos de atenção visual baseados em técnicas de análises de vídeos no domínio comprimido

• Processo: 21/02739-0
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de abril de 2021
• Data de Término da vigência: 31 de janeiro de 2023
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Acordo de Cooperação: Microsoft Research
• Pesquisador responsável: João Paulo Papa
• Beneficiário: Pedro Lamkowski dos Santos
• Instituição Sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Empresa: Universidade Estadual Paulista (UNESP). Campus de Rio Claro. Instituto de Geociências e Ciências Exatas (IGCE)
• Vinculado ao auxílio: 17/25908-6 - Aprendizado fracamente supervisionado para análise de vídeos no domínio comprimido em tarefas de recuperação e classificação para alertas visuais, AP.PITE
• Assunto(s): Aprendizado computacional Processamento de sinais de vídeo Redes neurais (computação) Atenção visual
• Palavra(s)-Chave do Pesquisador: processamento de vídeos | Aprendizado de Máquina

Resumo

Modelos de atenção visual têm como principal inspiração o funcionamento do olho humano, isto é, conseguimos adquirir uma visão ampla da cena que estamos olhando, mas temos a tendência em focar em uma região de interesse em particular. Usualmente, tal região é aquela que, por algum motivo, chama a nossa atenção. Quando trabalhamos com imagens comprimidas, isto é, JPG, PNG e GIF, precisamos primeiro decodificá-las antes de usá-las como entrada para as Redes Neurais Convolucionais, do Inglês Convolutional Neural Networks (CNNs), para extração de características. Certamente, esta operação demanda custos computacionais adicionais. Entretanto, o projeto de CNNs capazes de aprender diretamente do domínio comprimido é bastante desejável. Nesta proposta, objetivamos combinar modelos de atenção com redes profundas para trabalhar no domínio comprimido, cujos resultados serão avaliados no contexto de classificação fraca de vídeos. Esperamos, assim, que os modelos propostos sejam mais eficientes do que os trabalhos a serem comparados. (AU)