Estimativa de pose de mão e análise de movimento no contexto de terapia ocupacional

Autor(es)

Luciano Walenty Xavier Cejnog

• Tipo de documento: Tese de Doutorado
• Imprenta: São Paulo.
• Instituição: Universidade de São Paulo (USP). Instituto de Matemática e Estatística (IME/SBI)
• Data de defesa: 2021-12-14

Membros da banca

Roberto Marcondes Cesar Junior; Janko Calic; Valéria Meirelles Carril Elui; Fátima Nelsizeuma Sombra de Medeiros; Paulo Andre Vechiatto de Miranda

• Orientador: Roberto Marcondes Cesar Junior; Teófilo Emidio de Campos

Resumo

Estimativa de pose de mão é um problema considerado complexo dentro da área de visão computacional com uma vasta gama de aplicações, especialmente na área de interface humano- computador. Com a evolução do estado-da-arte em técnicas de aprendizado profundo e com a popularização de sensores 3 de baixo custo, o estado-da-arte atual do problema vem se atualizando continuamente e muitos métodos novos têm sido propostos nos últimos anos. Esses métodos em sua maioria são baseados no uso de grandes volumes de dados para treinamento, e alcançam resultados cada vez melhores nas bases de dados padronizadas, como NYU, ICVL e HANDS17. Uma das aplicações que se beneficiaria do uso de visão computacional é a terapia ocupacional de mão. Por exemplo, em doenças crônicas como a artrite reumatoide (AR), a avaliação do estado funcional do paciente é fundamental para o tratamento bem como para a prevenção de deformidade dos dedos. Um dos procedimentos para o diagnóstico das deformidades dos dedos é a medição dos ângulos de movimento, por exemplo a flexão/extensão e abdução/adução dos dedos, feita por um goniômetro em um processo simples, mas que pode ser invasivo e demorado para o paciente. Esta tese busca preencher uma lacuna do estado-da- arte ao propor e avaliar a viabilidade da utilização de um arcabouço composto de um sensor 3D de baixo custo e uma técnica estado-da-arte em estimativa de pose de mão 3D para aquisição automática dos ângulos da mão em pacientes de artrite reumatoide. O algoritmo proposto é aplicado em um conjunto de imagens de profundidade, retornando a posição das juntas da mão estimadas a partir de uma rede neural convolucional profunda. O algoritmo utilizado pode ser executado em tempo real, permitindo a visualização dos esqueletos resultantes ao mesmo tempo em que as imagens são adquiridas. A partir dessa estimativa, os ângulos de flexão/extensão e de abdução/adução da mão são calculados aplicando operações de geometria computacional. A dificuldade em se encontrar bases de dados relativas a pessoas com AR torna a estimativa de poses de mão dos pacientes um desafio ainda maior para os métodos de visão computacional baseados em dados. Dessa forma, foi proposto um protocolo de aquisição de dados para grupos de pacientes e controle. Foram feitos experimentos de comparação com os dados do goniômetro dos acometidos pela AR. Os resultados mostram que é possível distinguir automaticamente os conjuntos de acometidos e controle usando descritores de Fourier. Os ângulos mensurados pelo sensor podem ser usados como indicativo das capacidades de movimento dos pacientes. O procedimento é simples, não invasivo e mais amigável para os acometidos pela AR, reduzindo o tempo de avaliação além de oferecer dados em tempo real do movimento dinâmico. (AU)

• Processo FAPESP: 16/13791-4 - Um arcabouço para análise e rastreamento de gestos de mão: casos com formas e movimentos não usuais
• Beneficiário: Luciano Walenty Xavier Cejnog
• Modalidade de apoio: Bolsas no Brasil - Doutorado