Desenvolvimento de arquiteturas de redes neurais Recurrente Convolucional para o reconhecimento de expressões faciais

• Processo: 16/19947-6
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Vigência: 01 de fevereiro de 2017 - 28 de fevereiro de 2019
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Gerberth Adín Ramírez Rivera
• Beneficiário: Gerberth Adín Ramírez Rivera
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Pesquisadores associados: Anderson de Rezende Rocha ; Hélio Pedrini ; Ricardo da Silva Torres
• Assunto(s): Redes neurais (computação) Expressão facial Arquitetura e organização de computadores Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Convolutional Neural Networks | Deep Learning | Facial Expression Recognition | Recurrent Neural Networks | Computer Vision

Resumo

O número de dispositivos inteligentes e equipamentos eletrônicos pessoais que possuímos e interagimos têm aumentado diariamente. Considerando que expressões faciais e corporais são os sinais mais relacionados com nossas emoções, é natural incorporar a capacidade de reconhecimento destes sinais nestes dispositivos para melhorar suas funcionalidades. Além disso, o reconhecimento de expressões humanas possibilita uma interação mais eficiente entre as pessoas. Neste contexto, o reconhecimento de expressões faciais é uma solução atrativa na solução de problemas de inclusão e acesso universal, tais como facilidade de uso de equipamentos e eliminação de barreiras às oportunidades oferecidas pela sociedade moderna.Um primeiro passo nesta direção é o reconhecimento e classificação das expressões faciais humanas, servindo como base para inferir estados emocionais mais complexos. Neste sentido, nós precisamos de algoritmos robustos para a análise automática de faces dentro destes dispositivos inteligentes. Por sua vez, o reconhecimento automático de expressões faciais requer uma descrição robusta de cada expressão ou, de maneira mais geral, um descritor de imagem ou face robusto. Esta descrição deve ser genérica o suficiente para acomodar as diferentes formas na qual uma expressão pode ocorrer e, ao mesmo tempo, manter o fator discriminatório de cada expressão.Além disso, existem outros desafios que um descritor deve superar. Por exemplo, dispositivos de uso diário devem ser capazes de lidar com situações diferentes de iluminação, rotação, mudanças de fundo e outros fatores que podem influenciar a captura de imagens. Assim, o desafio de criar um descritor de imagem está em superar estas mudanças de ambiente e possíveis variações das classes de expressões. Este projeto busca desenvolver e analisar diversas arquiteturas de redes neurais profundas para criar descritores de face robustos que são muito discriminativos entre as diferentes classes de expressões e, ainda assim, capazes de identificar estas variações de fatores de ambiente. Paralelamente, a solução proposta também irá considerar a informação temporal de vídeos para melhorar a classificação e reduzir taxas de erros. O nosso objetivo geral é desenvolver uma nova arquitetura de rede baseada em Redes Neurais Convolucionais e Redes Neurais Recorrentes, capazes de descrever e reconhecer expressões faciais considerando informações temporais. Este objetivo inclui o projeto e análise desta nova arquitetura, o qual utilizará diferentes técnicas de aprendizado, descrição e extração da informação. Também iremos avaliar esta nova arquitetura através da utilização de datasets de benchmark padrão de expressões humanas aceitos pela comunidade. (AU)

Publicações científicas

(7)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

SANTANDER, MIGUEL RODRIGUEZ; ALBARRACIN, JUAN HERNANDEZ; RIVERA, ADIN RAMIREZ. On the pitfalls of learning with limited data: A facial expression recognition case study. EXPERT SYSTEMS WITH APPLICATIONS, v. 183, NOV 30 2021. (19/07257-3, 16/19947-6, 17/16144-2)

BIN IQBAL, MD TAUHID; RYU, BYUNGYONG; RIVERA, ADIN RAMIREZ; MAKHMUDKHUJAEV, FARKHOD; CHAE, OKSAM; BAE, SUNG-HO. Facial Expression Recognition with Active Local Shape Pattern and Learned-Size Block Representations. IEEE TRANSACTIONS ON AFFECTIVE COMPUTING, v. 13, n. 3, p. 15-pg., 2022-07-01. (16/19947-6)

TTITO, DARWIN; QUISPE, RODOLFO; RIVERA, ADIN RAMFREZ; PEDRINI, HELIO; RIMACDRLJE, S; ZAGAR, D; GALIC, I; MARTINOVIC, G; VRANJES, D; HABIJAN, M. Where are the People? A Multi-Stream Convolutional Neural Network for Crowd Counting via Density Map from Complex Images. PROCEEDINGS OF 2019 INTERNATIONAL CONFERENCE ON SYSTEMS, SIGNALS AND IMAGE PROCESSING (IWSSIP 2019), v. N/A, p. 6-pg., 2019-01-01. (16/19947-6, 14/12236-1)

QUISPE, RODOLFO; TTITO, DARWIN; RIVERA, ADIN; PEDRINI, HELIO. Multi-Stream Networks and Ground Truth Generation for Crowd Counting. INTERNATIONAL JOURNAL OF ELECTRICAL AND COMPUTER ENGINEERING SYSTEMS, v. 11, n. 1, p. 33-41, 2020. (14/12236-1, 16/19947-6)

FIGUEROA, JHOSIMAR ARIAS; RIVERA, ADIN RAMIREZ; IEEE. Learning to Cluster with Auxiliary Tasks: A Semi-Supervised Approach. 2017 30TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI), v. N/A, p. 8-pg., 2017-01-01. (16/19947-6)

ZHDANOV, PAVEL; KHAN, ADIL; RIVERA, ADIN RAMIREZ; KHATTAK, ASAD MASOOD; IEEE. Improving Human Action Recognition through Hierarchical Neural Network Classifiers. 2018 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), v. N/A, p. 7-pg., 2018-01-01. (16/19947-6)

RAMIREZ CORNEJO, JADISHA YARIF; PEDRINI, HELIO; BATTIATO, S; GALLO, G; SCHETTINI, R; STANCO, F. Emotion Recognition Based on Occluded Facial Expressions. IMAGE ANALYSIS AND PROCESSING,(ICIAP 2017), PT I, v. 10484, p. 11-pg., 2017-01-01. (14/12236-1, 16/19947-6)