| Texto completo | |
| Autor(es): |
Scabini, Leonardo
;
Sacilotti, Andre
;
Zielinski, Kallil M.
;
Ribas, Lucas C.
;
De Baets, Bernard
;
Bruno, Odemir M.
Número total de Autores: 6
|
| Tipo de documento: | Artigo Científico |
| Fonte: | JOURNAL OF IMAGING; v. 11, n. 9, p. 26-pg., 2025-09-05. |
| Resumo | |
Texture, a significant visual attribute in images, plays an important role in many pattern recognition tasks. While Convolutional Neural Networks (CNNs) have been among the most effective methods for texture analysis, alternative architectures such as Vision Transformers (ViTs) have recently demonstrated superior performance on a range of visual recognition problems. However, the suitability of ViTs for texture recognition remains underexplored. In this work, we investigate the capabilities and limitations of ViTs for texture recognition by analyzing 25 different ViT variants as feature extractors and comparing them to CNN-based and hand-engineered approaches. Our evaluation encompasses both accuracy and efficiency, aiming to assess the trade-offs involved in applying ViTs to texture analysis. Our results indicate that ViTs generally outperform CNN-based and hand-engineered models, particularly when using strong pre-training and in-the-wild texture datasets. Notably, BeiTv2-B/16 achieves the highest average accuracy (85.7%), followed by ViT-B/16-DINO (84.1%) and Swin-B (80.8%), outperforming the ResNet50 baseline (75.5%) and the hand-engineered baseline (73.4%). As a lightweight alternative, EfficientFormer-L3 attains a competitive average accuracy of 78.9%. In terms of efficiency, although ViT-B and BeiT(v2) have a higher number of GFLOPs and parameters, they achieve significantly faster feature extraction on GPUs compared to ResNet50. These findings highlight the potential of ViTs as a powerful tool for texture analysis while also pointing to areas for future exploration, such as efficiency improvements and domain-specific adaptations. (AU) | |
| Processo FAPESP: | 23/10442-2 - Aprendizado profundo para reconhecimento de padrões em dados multissensores e multidimensionais |
| Beneficiário: | Leonardo Felipe dos Santos Scabini |
| Modalidade de apoio: | Bolsas no Brasil - Pós-Doutorado |
| Processo FAPESP: | 18/22214-6 - Rumo à convergência de tecnologias: de sensores e biossensores à visualização de informação e aprendizado de máquina para análise de dados em diagnóstico clínico |
| Beneficiário: | Osvaldo Novais de Oliveira Junior |
| Modalidade de apoio: | Auxílio à Pesquisa - Temático |
| Processo FAPESP: | 23/04583-2 - Reconhecimento de padrões em imagens baseado em redes neurais artificiais e sistemas complexos: da extração de descritores manuais ao aprendizado automático |
| Beneficiário: | Lucas Correia Ribas |
| Modalidade de apoio: | Auxílio à Pesquisa - Regular |
| Processo FAPESP: | 22/03668-1 - Análise do Comportamento Dinâmico de Sistemas Complexos e Redes Neurais Artificiais em Visão Computacional e Inteligência Artificial |
| Beneficiário: | Kallil Miguel Caparroz Zielinski |
| Modalidade de apoio: | Bolsas no Brasil - Doutorado |
| Processo FAPESP: | 21/08325-2 - Análise de autômato de rede (network automata) como modelo para processos naturais e biológicos |
| Beneficiário: | Odemir Martinez Bruno |
| Modalidade de apoio: | Auxílio à Pesquisa - Regular |
| Processo FAPESP: | 24/00530-4 - Agregação e aprendizado de características de textura com Vision Transformers e suas aplicações em imagens biológicas e médicas |
| Beneficiário: | Leonardo Felipe dos Santos Scabini |
| Modalidade de apoio: | Bolsas no Exterior - Estágio de Pesquisa - Pós-Doutorado |