Segmentação Semântica Usando um Modelo de Aprendizagem Hourglass

• Processo: 19/18678-0
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Doutorado
• Data de Início da vigência: 01 de novembro de 2019
• Data de Término da vigência: 31 de outubro de 2020
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Gerberth Adín Ramírez Rivera
• Beneficiário: Darwin Danilo Saire Pilco
• Supervisor: Tabbone Salvatore Antoine
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Instituição Anfitriã: Université de Lorraine (UL), França
• Vinculado à bolsa: 17/16597-7 - Segmentação Semântica em Vídeos, BP.DR
• Assunto(s): Aprendizado computacional Reconhecimento de padrões Processamento de imagens Aprendizagem profunda
• Palavra(s)-Chave do Pesquisador: Deep Learning | Image processing | machine learning | Pattern Recognition | Machine Learning, Deep Learning

Resumo

Tarefa de segmentação semântica visa criar uma classificação densa, rotulando a nível de pixel cada objeto presente em imagens ou vídeos. Abordagens de Convolution Neural Network (CNN) têm se mostrado úteis, exibindo os melhores resultados nesta tarefa. Porem, alguns desafios permanecem, como a baixa resolução de mapas de características e a perda de precisão espacial, ambos produzidos nas CNNs por vizinhanças locais limitadas, isto é, filtros com tamanho pequeno e de forma regular. Como resolver esses problemas e obter resultados consistentes ainda é um problema em aberto: Assim, torna a segmentação semântica um problema bastante difícil, mesmo usando modelos de aprendizagem profunda. Por outro lado, a abordagem Graph Neural Networks (GNNs) demonstra a capacidade de refletir propriedades locais e globais em dados não estruturados, bem como levar em conta as conexões irregulares. Neste projeto de pesquisa, para resolver esses problemas, nos propomos a criação de uma arquitetura de aprendizagem profunda que combina extração de características locais de CNNs com a extração de características globais de GNNs e suas conexões irregulares entre pixels para abordar a tarefa de segmentação semântica em imagens. Nossa arquitetura proposta é treinável de ponta a ponta e extrai informações locais e globais para discriminar entre várias classes de objetos presentes nas imagens. Desta forma, o resultado final da nossa arquitetura proposta é a geração de imagens densamente rotuladas.

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

SAIRE, DARWIN; TABBONE, SALVATORE; IEEE COMP SOC. Documents Counterfeit Detection Through a Deep Learning Approach. 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), v. N/A, p. 8-pg., 2021-01-01. (19/18678-0)

SAIRE, DARWIN; RIVERA, ADIN RAMIREZ. Empirical Study of Multi-Task Hourglass Model for Semantic Segmentation Task. IEEE ACCESS, v. 9, p. 80654-80670, 2021. (19/18678-0, 19/07257-3, 17/16597-7)

SAIRE, DARWIN; RIVERA, ADIN RAMIREZ. Global and Local Features Through Gaussian Mixture Models on Image Semantic Segmentation. IEEE ACCESS, v. 10, p. 14-pg., 2022-01-01. (19/07257-3, 17/16597-7, 19/18678-0)