Estimação de poses humanas tridimensionais baseada em imagens monoculares auxiliada por adaptação de domínio

• Processo: 21/02028-6
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Vigência (Início): 01 de junho de 2021
• Vigência (Término): 31 de agosto de 2023
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Aparecido Nilceu Marana
• Beneficiário: João Renato Ribeiro Manesco
• Instituição Sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Bolsa(s) vinculada(s): 22/07055-4 - Estimação de poses humanas tridimensionais baseada em imagens monoculares auxiliada por adaptação de domínio, BE.EP.MS
• Assunto(s): Visão computacional Aprendizagem profunda Análise de imagens Imagem tridimensional
• Palavra(s)-Chave do Pesquisador: Adaptação de Domínio | Estimação de Poses 3D | Redes Neurais Adversárias | vídeo | Processamento Gráfico

Resumo

A estimação de poses humanas em imagens é um importante e desafiador problema de Visão Computacional. Atualmente, métodos que empregam técnicas de aprendizado em profundidade destacam-se na tarefa de estimação de poses humanas 2D. Poses 2D podem ser utilizadas em um conjunto diverso e amplo de aplicações, de grande relevância para a sociedade. Entretanto, a utilização de poses 3D pode trazer resultados ainda mais precisos e robustos. O objetivo deste projeto de pesquisa é aprimorar as abordagens sendo empregadas para estimar poses 3D em imagens RGB monoculares. Para tanto, pretende-se utilizar, na fase de treinamento dos métodos, conjuntos de dados de poses humanas 3D devidamente rotuladas, geradas sinteticamente, e utilizar técnicas de adaptação de domínio que permitam transferir informações do domínio das imagens sintéticas para os domínios das imagens obtidas de ambientes reais. Até o momento, não foram encontrados na literatura outros trabalhos que tivessem investigado o uso de métodos de adaptação de domínio em profundidade para auxiliar na estimação de poses 3D em imagens monoculares RGB obtidas em cenários reais, a partir de poses 2D obtidas em cenários sintéticos, utilizando-se redes neurais adversárias. Espera-se poder desenvolver um método, baseado em redes neurais profundas adversárias para esta finalidade. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

MANESCO, JOAO RENATO RIBEIRO; BERRETTI, STEFANO; MARANA, APARECIDO NILCEU. DUA: A Domain-Unified Approach for Cross-Dataset 3D Human Pose Estimation. SENSORS, v. 23, n. 17, p. 19-pg., 2023-09-01. (22/07055-4, 21/02028-6)

RIBEIRO MANESCO, JOAO RENATO; MARANA, APARECIDO NILCEU; XAVIER-JUNIOR, JC; RIOS, RA. A Survey of Recent Advances on Two-Step 3D Human Pose Estimation. INTELLIGENT SYSTEMS, PT II, v. 13654, p. 16-pg., 2022-01-01. (21/02028-6)