StructFuse: Fusão Semântica Multimodal Estruturada para Recuperação de Documentos Científicos Agronômicos no Ecossistema Smart Boletim 100

• Processo: 26/18019-0
• Modalidade de apoio: Auxílio à Pesquisa - Inovação Tecnológica - AIR
• Data de Início da vigência: 01 de outubro de 2026
• Data de Término da vigência: 31 de março de 2028
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Teoria da Computação
• Pesquisador responsável: Braz Izaias da Silva Junior
• Beneficiário: Braz Izaias da Silva Junior
• Instituição Sede: FAC TECNOLOGIA COTIA/CEETPS
• Pesquisadores associados: Alexandre Xavier Falcão
• Assunto(s): Agricultura digital Inteligência artificial Processamento digital de imagens Redes neurais
• Palavra(s)-Chave do Pesquisador: Agricultura digital | Inteligência artificial | Large Language Models | processamento digital de imagens | Redes neurais | Vetorização de arquivos | processamento digital de imagens

Resumo

A inteligência artificial generativa exige ingestão adequada de dados multimodais para que respostas de grandes modelos de linguagem sejam coerentes com as bases de conhecimento. A vetorização de conteúdos, que transforma textos e imagens em embeddings, é indispensável para recuperação semântica. Embora o processamento de texto e tabelas esteja consolidado, o tratamento de gráficos científicos permanece problema aberto, pois estes codificam informação por canais visuais que precisam ser integrados ao contexto textual do artigo.Este projeto vincula-se ao Centro Avançado de Pesquisa Smart B100 (CCD-SB100), coordenado pelo Instituto Agronômico (IAC), que moderniza o programa de manejo da fertilidade do solo do Governo do Estado de São Paulo ao converter a publicação Boletim 100 na plataforma Smart Boletim 100 (SB100), apoiada por grandes modelos de linguagem e validada para cana-de-açúcar e citros. O núcleo metodológico depende da curadoria e vetorização de artigos científicos de repositórios como Periódicos CAPES, Scopus e Web of Science, cujos conteúdos heterogêneos (gráficos de resposta de culturas, mapas de solo, diagramas fenológicos) alimentam buscas semânticas. A eficiência da plataforma vincula-se à capacidade de processar elementos visuais com acurácia e custo computacional controlado.O problema central é a ausência de método validado de fusão semântica entre embeddings textuais e visuais no domínio agronômico. Abordagens como a concatenação ingênua tratam as modalidades como canais independentes, desperdiçando informação cruzada entre gráfico, legenda e parágrafos adjacentes. Modelos recentes de recuperação multimodal como ColPali (Faysse et al., 2025) avançam em late fusion, mas foram validados em corpora genéricos, sem exposição à linguagem visual das ciências agrárias.O objetivo geral é desenvolver e validar um método de fusão semântica texto-imagem que incorpore sinais estruturais do artigo científico, apoiado por benchmark com anotação especializada e avaliação comparativa de arquiteturas baseline. Desdobram-se três objetivos específicos: (i) construir o AgriDoc-Bench, benchmark de 100 artigos com anotação manual especializada de pares figura-legenda, bounding boxes e ground truth para 20 consultas multimodais, estratificado por tipo de gráfico e cultura; (ii) avaliar duas arquiteturas baseline (CLIP-ViT-L/14 e ColPali) em duas GPUs (NVIDIA A100 40GB e L40S 48GB) com métricas de acurácia (Recall@K, mAP, nDCG) e custo computacional (latência, memória GPU); (iii) desenvolver o StructFuse, método de fusão tardia com dois sinais estruturais do artigo científico: proximidade espacial entre figura e parágrafos adjacentes, e hierarquia de seções do documento, comparando-o contra dois baselines de fusão (concatenação simples e ColPali end-to-end) em testes de ablação. Dois bolsistas de iniciação científica conduzirão a construção do benchmark e a avaliação de baselines; o método de fusão será desenvolvido pelo orientador. A integração ao SB100 como microsserviço e a validação com especialistas constituem trabalho futuro, adequado a projeto de mestrado.Espera-se demonstrar ganho de Recall@5 do StructFuse sobre os baselines de fusão, validando a hipótese de que sinais estruturais recuperam informação cruzada que abordagens convencionais descartam. A contribuição é dupla: metodologicamente, propõe-se método de fusão que explora a estrutura retórica do documento científico; em infraestrutura, entrega-se o AgriDoc-Bench como primeiro recurso público para avaliação de recuperação multimodal no domínio agronômico. (AU)