Estimação de poses humanas tridimensionais baseada em imagens monoculares auxiliada por adaptação de domínio

• Processo: 22/07055-4
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Mestrado
• Vigência (Início): 30 de setembro de 2022
• Vigência (Término): 28 de fevereiro de 2023
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Aparecido Nilceu Marana
• Beneficiário: João Renato Ribeiro Manesco
• Supervisor: Stefano Berretti
• Instituição Sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Local de pesquisa: Università degli Studi di Firenze, Itália
• Vinculado à bolsa: 21/02028-6 - Estimação de poses humanas tridimensionais baseada em imagens monoculares auxiliada por adaptação de domínio, BP.MS
• Assunto(s): Visão computacional Processamento de sinais de vídeo
• Palavra(s)-Chave do Pesquisador: Adaptação de Domínio | Estimação de Poses 3D | Processamento de Vídeo | Processamento Gráfico

Resumo

Estimação de poses humanas monocular em imagens é um importante e desafiador problema de Visão Computacional cujo objetivo é obter a forma do corpo de um indivíduo baseando-se em uma única imagem. Atualmente, métodos que empregam técnicas de aprendizado em profundidade destacam-se na tarefa de estimação de poses humanas 2D. Poses 2D podem ser utilizadas em um conjunto diverso e amplo de aplicações, de grande relevância para a sociedade. Entretanto, a utilização de poses 3D pode trazer resultados ainda mais precisos e robustos. Como rótulos referentes à poses 3D são difíceis de ser adquiridos e sua aquisição só pode ser realizada em locais restritos, métodos totalmente convolucionais apresentaram desempenho insatisfatório para a tarefa. A solução foi utilizar técnicas que utilizam a maturidade dos estimadores de poses 2D para estimar poses 3D em duas etapas, a partir da pose 2D já adquirida. Devido à restrições na aquisição das bases de dados, esta melhora de performance só pode ser observada em ambientes controlados, desta forma, técnicas de adaptação de domínio podem ser aplicadas com o objetivo de melhorar a capacidade de generalização dos métodos através da inserção de novos ângulos de câmera e ações, advindos de domínios sintéticos. Desta forma, este projeto propõe a criação de um framework de adaptação de domínio capaz de lidar com a estimação de poses 3D baseadas em poses 2D, capaz de facilitar o uso de datasets sintéticos durante o treino, com o objetivo de melhorar a capacidade de generalização das redes, bem como seu desempenho em tarefas reais. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

MANESCO, JOAO RENATO RIBEIRO; BERRETTI, STEFANO; MARANA, APARECIDO NILCEU. DUA: A Domain-Unified Approach for Cross-Dataset 3D Human Pose Estimation. SENSORS, v. 23, n. 17, p. 19-pg., 2023-09-01. (22/07055-4, 21/02028-6)