Estudos de Vision Transformers como extratores de características de textura

• Processo: 25/01057-3
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de abril de 2025
• Data de Término da vigência: 31 de dezembro de 2025
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Lucas Correia Ribas
• Beneficiário: Luan Bonizi Guerra
• Instituição Sede: Instituto de Biociências, Letras e Ciências Exatas (IBILCE). Universidade Estadual Paulista (UNESP). Campus de São José do Rio Preto. São José do Rio Preto , SP, Brasil
• Assunto(s): Análise de imagens Reconhecimento de padrões Redes neurais (computação) Visão computacional
• Palavra(s)-Chave do Pesquisador: Análise de imagens | Reconhecimento de Padrões | Redes Neurais Artificiais | Visão Computacional

Resumo

Texturas são atributos essenciais no reconhecimento de padrões em imagens e possuem aplicações práticas em áreas como medicina, ciência dos materiais e botânica. Embora algumas texturas apresentem padrões visuais simples, texturas reais, como as encontradas na natureza, geralmente envolvem processos não lineares em sua formação, o que aumenta a complexidade e dificulta a análise. Além disso, muitos problemas do mundo real não dispõem de grandes quantidades de dados para treinar modelos especializados e de grande porte.Atualmente, modelos baseados em Vision Transformers (ViTs) têm alcançado resultados promissores em diversas tarefas de visão computacional. No entanto, eles demandam altos custos de treinamento e grandes quantidades de dados para atingir esse desempenho.Este projeto tem como objetivo estudar e implementar Vision Transformers pré-treinados e aleatórios para a extração de características em imagens, integrando essas técnicas a métodos de fusão de características, com o intuito de aprimorar a análise e classificação de texturas. Em Redes Neurais Convolucionais Profundas (CNNs), é amplamente conhecido que as camadas iniciais são melhores para a extração de texturas. Por outro lado, pouco se sabe sobre o comportamento das diferentes camadas dos ViTs nesse tipo de tarefa.Estudar ViTs pré-treinados como extratores de características apresenta a vantagem de não exigir treinamento adicional, sendo necessário identificar quais camadas e operações são mais apropriadas para a análise de texturas. Por outro lado, estudar ViTs aleatórios é uma alternativa para buscar boa performance em tarefas visuais sem altos custos computacionais ou longos tempos de treinamento, além de serem importantes para compreender melhor o impacto da arquitetura na extração de características.Assim, espera-se que este projeto contribua para um melhor entendimento das melhores estratégias para empregar ViTs na extração e análise de texturas em imagens, com foco especial em imagens de materiais.