Aprendizado de características espaço-temporais em vídeos

• Processo: 15/05310-3
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de julho de 2015
• Data de Término da vigência: 31 de janeiro de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Acordo de Cooperação: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)
• Pesquisador responsável: Moacir Antonelli Ponti
• Beneficiário: Gabriel de Barros Paranhos da Costa
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 11/22749-8 - Desafios em visualização exploratória de dados multidimensionais: novos paradigmas, escalabilidade e aplicações, AP.TEM
• Bolsa(s) vinculada(s): 17/00728-5 - Aprendizado de características espaço-temporais e zero-shot learning utilizando fatoração de tensores, BE.EP.DR
• Assunto(s): Reconhecimento de padrões Análise espaço-temporal
• Palavra(s)-Chave do Pesquisador: Aprendizado de características | Características espaço-temporais | Deep Learning | Extração de características | Reconhecimento de Padrões

Resumo

Atualmente, o método considerado como estado da arte para realizar a extração de características espaço-temporais a partir de vídeos baseia-se em pontos de interesse e trajetórias densas para aplicar extratores de características clássicos, como SIFT e HOG. Com a melhora na capacidade de processamento de CPUs e GPUs, combinada com o aumento da disponibilidade de bases de dados de imagens e vídeos, métodos de aprendizado de características, em especial de \textit{deep learning}, têm alcançado o estado da arte em diversas áreas de inteligência artificial e processamento de sinais. Apesar disso, esses métodos foram pouco explorados com relação à extração de características espaço-temporais a partir de vídeos. As pesquisas realizadas nessa área têm obtido resultados promissores, entretanto, elas tendem focar em uma aplicação específica, restringindo a utilização das características obtidas àquela aplicação. Além disso, diversos conceitos usados para projetar manualmente extratores de características ainda não foram testados em conjunto com algoritmos de aprendizado de características. Neste projeto, propõe-se o desenvolvimento de algoritmos de aprendizado de características espaço-temporais em vídeos. Espera-se que esses métodos consigam extrair representações capazes de descrever eventos que não são capturados a partir da análise de um único quadro, mas sim na evolução da cena. Pretende-se que essas características formem uma série temporal multidimensional, na qual a informação espacial esteja codificada. Para avaliar a qualidade da representação desenvolvida, técnicas de visualização e projeção serão utilizadas de forma a possibilitar a análise do espaço de parâmetros obtido. Além disso, buscar-se-á por métodos que permitam visualizar as características obtidas, de forma a facilitar sua relação com os eventos ocorridos nos vídeos. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

PONTI, MOACIR A.; DA COSTA, GABRIEL B. PARANHOS; SANTOS, FERNANDO P.; SILVEIRA, KAUE U.. Supervised and unsupervised relevance sampling in handcrafted and deep learning features obtained from image collections. APPLIED SOFT COMPUTING, v. 80, p. 414-424, JUL 2019. (16/16111-4, 13/07375-0, 15/05310-3)

CONTATO, WELINTON A.; NAZARE, TIAGO S.; PARANHOS DA COSTA, GABRIEL B.; PONTI, MOACIR; BATISTA NETO, JOAO E. S.; IEEE. Improving Non-Local Video Denoising with Local Binary Patterns and Image Quantization. 2016 29TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI), v. N/A, p. 8-pg., 2016-01-01. (15/05310-3, 14/21888-2, 15/04883-0)

NAZARE, TIAGO S.; PARANHOS DA COSTA, GABRIEL B.; DE MELLO, RODRIGO F.; PONTI, MOACIR A.; IEEE. Color quantization in transfer learning and noisy scenarios: an empirical analysis using convolutional networks. PROCEEDINGS 2018 31ST SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI), v. N/A, p. 7-pg., 2018-01-01. (15/05310-3, 17/16548-6, 13/07375-0, 15/04883-0, 16/16111-4)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

COSTA, Gabriel de Barros Paranhos da. Aprendizado de características espaço-temporais em vídeos. 2019. Tese de Doutorado - Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB) São Carlos.