Agregação e aprendizado de características de textura com Vision Transformers e suas aplicações em imagens biológicas e médicas

Resumo

Sensores e biossensores desempenham um papel crucial em vários campos, como diagnóstico precoce de câncer, detecção de vírus, contaminação de alimentos, água, etc. Com a intenção de desenvolver estratégias de detecção e diagnóstico econômicas e precisas, os pesquisadores exploraram o uso de aprendizado de máquina e técnicas de visão computacional. As imagens obtidas dessas fontes possuem propriedades texturais únicas, e pesquisas anteriores indicam que os métodos de análise de textura são muito promissores para caracterizá-las. Enquanto isso, o aprendizado profundo e a visão computacional fizeram avanços notáveis recentemente, com técnicas como Vision Transformers (ViTs) surgindo rapidamente e entregando resultados impressionantes. No entanto, os modelos ViT ainda não foram minuciosamente analisados para análise de textura. Portanto, este projeto BEPE propõe novos métodos para agregação e extração de características de ViTs. Nossa proposta envolve um modelo de autoencoder aleatório para extrair características multi-profundidade de um ViT pré-treinado, enfatizando a caracterização de texturas. Os métodos desenvolvidos também serão analisados em dados de imagens de diferentes fontes, como microscopia, sensores e biossensores, e outras aplicações multidisciplinares a partir de colaborações na universidade anfitriã. A estadia num centro de pesquisa internacional de excelência também fortalecerá a rede de colaboração do nosso grupo de pesquisa.