Agregação e aprendizado de características de textura com Vision Transformers e suas aplicações em imagens biológicas e médicas

• Processo: 24/00530-4
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Pós-Doutorado
• Data de Início da vigência: 01 de abril de 2024
• Data de Término da vigência: 30 de junho de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Odemir Martinez Bruno
• Beneficiário: Leonardo Felipe dos Santos Scabini
• Supervisor: Kevin Smith
• Instituição Sede: Instituto de Física de São Carlos (IFSC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Instituição Anfitriã: KTH Royal Institute of Technology, Suécia
• Vinculado à bolsa: 23/10442-2 - Aprendizado profundo para reconhecimento de padrões em dados multissensores e multidimensionais, BP.PD
• Assunto(s): Visão computacional Aprendizagem profunda
• Palavra(s)-Chave do Pesquisador: Applied Computer Vision | Computer Vision | Vision Transformers | Deep Learning

Resumo

Sensores e biossensores desempenham um papel crucial em vários campos, como diagnóstico precoce de câncer, detecção de vírus, contaminação de alimentos, água, etc. Com a intenção de desenvolver estratégias de detecção e diagnóstico econômicas e precisas, os pesquisadores exploraram o uso de aprendizado de máquina e técnicas de visão computacional. As imagens obtidas dessas fontes possuem propriedades texturais únicas, e pesquisas anteriores indicam que os métodos de análise de textura são muito promissores para caracterizá-las. Enquanto isso, o aprendizado profundo e a visão computacional fizeram avanços notáveis recentemente, com técnicas como Vision Transformers (ViTs) surgindo rapidamente e entregando resultados impressionantes. No entanto, os modelos ViT ainda não foram minuciosamente analisados para análise de textura. Portanto, este projeto BEPE propõe novos métodos para agregação e extração de características de ViTs. Nossa proposta envolve um modelo de autoencoder aleatório para extrair características multi-profundidade de um ViT pré-treinado, enfatizando a caracterização de texturas. Os métodos desenvolvidos também serão analisados em dados de imagens de diferentes fontes, como microscopia, sensores e biossensores, e outras aplicações multidisciplinares a partir de colaborações na universidade anfitriã. A estadia num centro de pesquisa internacional de excelência também fortalecerá a rede de colaboração do nosso grupo de pesquisa.