Explicação de Embeddings Produzidos por Modelos de Linguagens

• Processo: 25/10383-1
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de julho de 2025
• Data de Término da vigência: 30 de junho de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Luis Gustavo Nonato
• Beneficiário: Lucas Greff Meneses
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 22/09091-8 - Criminalidade, insegurança e legitimidade: uma abordagem transdisciplinar, AP.ESCIENCE.TEM
• Assunto(s): Inteligência artificial
• Palavra(s)-Chave do Pesquisador: IA Explicável (XAI) | Inteligência Artificial | interpretabilidade | Modelos de linguagem | IA Explicável (XAI)

Resumo

Modelos de linguagem de larga escala (LLMs) tornaram-se centrais como ferramentas de inteligência artificial graças à capacidade de produzir textos coesos, responder questões com precisão e executar tarefas complexas com desempenho quase humano. Essas conquistas decorrem dos embeddings de alta dimensionalidade que codificam informações semânticas, sintáticas e contextuais, mas cuja interpretação permanece difícil.A fim de abordar tal questão, o presente projeto investigará como as transformações internas dos blocos Transformers podem ser aproximadas localmente por matrizes Jacobianas, técnica já testada pelo proponente e seu orientador para fins de explicação de técnicas de redução de dimensionalidade. Ao aplicar essa abordagem aos embeddings de diferentes camadas, pretende-se gerar explicações quantitativas que destaquem as dimensões mais relevantes e revelem relações internas, oferecendo ferramentas interpretáveis para análises futuras e uso ético dos LLMs. (AU)