Máquinas de Boltzmann em profundidade para reconhecimento de eventos em vídeos

• Processo: 19/07825-1
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de maio de 2019
• Data de Término da vigência: 28 de fevereiro de 2021
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Acordo de Cooperação: Microsoft Research
• Pesquisador responsável: João Paulo Papa
• Beneficiário: Mateus Roder
• Instituição Sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Empresa: Universidade Estadual Paulista (UNESP). Campus de Rio Claro. Instituto de Geociências e Ciências Exatas (IGCE)
• Vinculado ao auxílio: 17/25908-6 - Aprendizado fracamente supervisionado para análise de vídeos no domínio comprimido em tarefas de recuperação e classificação para alertas visuais, AP.PITE
• Assunto(s): Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Aprendizado em Profundidade | Processamento de Vídeo | Aprendizado de máquina

Resumo

O presente projeto de pesquisa leva em consideração o problema de reconhecimento de eventos em vídeos. Este, abrange vários domínios, como vigilância e segurança, medicina, indústria de alta performance e casas inteligentes. Usualmente, alguns desses domínios são tratados com técnicas de aprendizado de máquina, com destaque para a utilização do aprendizado profundo, capaz de gerar respostas suficientemente acertivas a partir de um grande conjunto de dados rotulados, ou seja, utilizam o paradigma de aprendizado supervisionado. Isto posto, a comunidade científica tem uma parte de seus esforços voltados para técnicas que empregam o paradigma de aprendizado não supervisionado, ou seja, dados sem rótulos utilizados para extração de padrões e características profundas, nos variados problemas. Porém, em alguns destes, geralmente tem-se ao menos uma pequena quantia de dados rotulados, sendo a utilização destes uma "ferramenta" que impulsiona positivamente todo o processo de aprendizado. Neste projeto, pretendemos investigar a análise, recuperação e classificação de vídeos no domínio comprimido utilizando pequenos conjuntos de dados para treinamento. O objetivo principal do projeto consiste em investigar Máquinas de Boltzmann Profundas (DBM, do inglês Deep Boltzmann Machines), capazes de analisar sequências de vídeo comprimido e extrair características para suprir classificadores supervisionados. O desafio da pesquisa consiste em fazer uso de DBMs para analisar, representar e classificar vídeos usando dados rotulados restritos. A abordagem proposta visa explorar o máximo de informação disponível, de forma a tornar a abordagem adequada para operar com pequenos conjuntos de dados de treinamento. Pretendemos explorar: (I) Representações de aprendizado profundo; (II) Medidas contextuais não supervisionadas e; (III) Técnicas de fusão, para ampliar os conjuntos rotulados iniciais. O primeiro desafio diz respeito à analise e representação de vídeos no domínio comprimido, usando técnicas de aprendizado profundo. Com base nessas representações, pretendemos investigar estratégias para expandir os conjuntos de treinamento usando medidas contextuais não supervisionadas. Dados os conjuntos rotulados obtidos, as estratégias de fusão serão usadas para combinar diversos métodos de classificação. Embora os métodos que serão investigados possam ser utilizados em vários domínios, pretendemos selecionar domínios para validar as abordagens propostas, considerando a existência de conjuntos de dados disponíveis para realizar avaliações experimentais.

Publicações científicas

(6)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

GONCALVES DO SANTOS, CLAUDIO FILIPI; COLOMBO, DANILO; RODER, MATEUS; PAPA, JOAO PAULO; IEEE COMP SOC. MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values. 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), v. N/A, p. 6-pg., 2021-01-01. (14/12236-1, 19/07825-1, 13/07375-0, 17/25908-6)

LOPES, LEONARDO TADEU; VALEM, LUCAS PASCOTTI; GUIMARAES PEDRONETTE, DANIEL CARLOS; GUILHERME, IVAN RIZZO; PAPA, JOAO PAULO; SILVA SANTANA, MARCOS CLEISON; COLOMBO, DANILO; FARINELLA, GM; RADEVA, P; BRAZ, J. Manifold Learning-based Clustering Approach Applied to Anomaly Detection in Surveillance Videos. VISAPP: PROCEEDINGS OF THE 15TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS, VOL 4: VISAPP, v. N/A, p. 9-pg., 2020-01-01. (18/15597-6, 14/12236-1, 13/07375-0, 17/25908-6, 19/07825-1, 18/21934-5)

RODER, MATEUS; PASSOS, LEANDRO APARECIDO; DE ROSA, GUSTAVO H.; DE ALBUQUERQUE, VICTOR HUGO C.; PAPA, JOAO PAULO. Reinforcing learning in Deep Belief Networks through nature-inspired optimization. APPLIED SOFT COMPUTING, v. 108, SEP 2021. (19/07825-1, 18/21934-5, 17/25908-6, 19/07665-4, 19/02205-5, 13/07375-0, 14/12236-1)

RODER, MATEUS; ALMEIDA, JURANDY; DE ROSA, GUSTAVO H.; PASSOS, LEANDRO A.; ROSSI, ANDRE L. D.; PAPA, JOAO P.; IEEE. From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks. 2021 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE (IEEE SSCI 2021), v. N/A, p. 8-pg., 2021-01-01. (13/07375-0, 19/07825-1, 17/25908-6, 19/07665-4)

RODER, MATEUS; DE ROSA, GUSTAVO HENRIQUE; PAPA, JOAO PAULO; BREVE, FABRICIO APARECIDO; IEEE. Fine-Tuning Temperatures in Restricted Boltzmann Machines Using Meta-Heuristic Optimization. 2020 IEEE CONGRESS ON EVOLUTIONARY COMPUTATION (CEC), v. N/A, p. 8-pg., 2020-01-01. (19/02205-5, 17/25908-6, 19/07825-1, 13/07375-0, 14/12236-1)

RODER, MATEUS; DE ROSA, GUSTAVO HENRIQUE; PASSOS, LEANDRO APARECIDO; PAPA, JOAO PAULO; DEBIASO ROSSI, ANDRE LUIS; IEEE. Harnessing Particle Swarm Optimization Through Relativistic Velocity. 2020 IEEE CONGRESS ON EVOLUTIONARY COMPUTATION (CEC), v. N/A, p. 8-pg., 2020-01-01. (19/02205-5, 17/25908-6, 19/07825-1, 13/07375-0, 19/07665-4, 14/12236-1)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

RODER, Mateus. Máquinas de Boltzmann em profundidade para reconhecimento de eventos em vídeos. 2021. Dissertação de Mestrado - Universidade Estadual Paulista (Unesp). Faculdade de Ciências. Bauru Bauru.