Desenvolvimento de Grandes Modelos de Língua para Aplicações no Domínio Jurídico

• Processo: 23/10100-4
• Modalidade de apoio: Auxílio à Pesquisa - Pesquisa em Políticas Públicas
• Data de Início da vigência: 01 de maio de 2024
• Data de Término da vigência: 30 de abril de 2028
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Ricardo Marcondes Marcacini
• Beneficiário: Ricardo Marcondes Marcacini
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Pesquisadores associados: Diego Furtado Silva ; Diego Raphael Amancio ; Fábio Manoel França Lobato ; Nils Ever Murrugarra Llerena ; Osvaldo Novais de Oliveira Junior ; Silvio Levcovitz ; Solange Oliveira Rezende ; Thiago de Paulo Faleiros
• Bolsa(s) vinculada(s): 24/18041-0 - Ajuste Fino de LLM com Instruction Fine-Tuning e Avaliação de Zero-Shot Learning no Domínio Jurídico, BP.TT
• Assunto(s): Aprendizado computacional Inteligência artificial
• Palavra(s)-Chave do Pesquisador: Aplicações em Processamento de Linguagem Natural | Aprendizado de Máquina | Classificação de Processos | Modelos de linguagem | PLN para Domínio Jurídico | Inteligência Artificial

Resumo

O projeto proposto no âmbito do Programa de Pesquisa em Políticas Públicas (PPPP FAPESP) visa melhorar a gestão pública da Procuradoria-Geral da Fazenda Nacional (PGFN) por meio de inteligência artificial (IA) em suas atividades jurídicas, em particular, com uso de grandes modelos de língua para análise de processos. A PGFN é responsável por representar a União em questões fiscais, realizar cobranças judiciais e administrativas de créditos tributários e fornecer assessoria ao Ministério da Fazenda. Uma das principais dificuldades atuais é a classificação manual das matérias presentes nas petições iniciais dos processos, um processo demorado e propenso a erros. Outro desafio é a medição do êxito dos processos em diferentes instâncias judiciais. Atualmente, os procuradores da PGFN enfrentam dificuldades em identificar de forma sistemática as chances de sucesso em cada etapa do processo, o que dificulta o planejamento estratégico e a alocação adequada de recursos. Além disso, o projeto busca criar um identificador automatizado de processos com matérias novas ainda não listadas. A PGFN enfrenta o desafio de acompanhar e reagir de forma ágil a estratégias coordenadas por grandes escritórios de advocacia, que testam novas teses tributárias em diferentes estados do Brasil. A detecção manual dessas teses é extremamente difícil devido ao volume de processos ingressantes. A criação de um identificador automatizado permitiria uma atuação proativa da PGFN, possibilitando a elaboração centralizada e urgente de modelos de contra-argumentos para combater eficazmente essas teses desde o seu surgimento, evitando perdas financeiras significativas para a União.Para alcançar esses objetivos, é realizada uma parceria com o Instituto de Ciências Matemáticas e de Computação (ICMC) da Universidade de São Paulo (USP) em São Carlos. A ideia geral é avançar no desenvolvimento de grandes modelos de língua (LLM, do inglês Large Language Models), que sejam abertos e permissivos. A colaboração com a academia permite utilizar conhecimento técnico-científico para estender as LLMs abertas e personalizar os modelos conforme as necessidades da PGFN no cenário jurídico, impulsionando significativamente a eficácia e eficiência do sistema, além de possibilitar a colaboração contínua e o desenvolvimento de inovações no domínio jurídico.Os resultados esperados do projeto são divididos em curto, médio e longo prazo. A curto prazo, já se prevê uma avaliação comparativa dos grandes modelos de língua pré-treinados em relação à classificação de matérias tributárias, previsão do êxito de processos judiciais e desenvolvimento de um peticionador automatizado de contestações e recursos. Isso será viabilizado através do desenvolvimento de um módulo de engenharia de prompt, permitindo que os modelos pré-treinados sejam rapidamente condicionados para realizar tarefas específicas da PGFN com poucos exemplos rotulados. A médio prazo, será desenvolvido o ajuste de vocabulário de uma LLM usando córpus textuais históricos da PGFN, visando aumentar o desempenho de tarefas de classificação de processos e apoio à medição de êxito e identificação precoce de novas teses tributárias.A longo prazo, o projeto visa o desenvolvimento de uma LLM própria para PGFN, a partir de ajuste fino de uma LLM pré-treinada, tornando-a mais robusta para o domínio jurídico. Esta LLM será capaz de lidar com tarefas por meio de zero-shot prompt learning, que permitem seu uso em novas tarefas na ausência de dados de treinamento. Para realizar tal ajuste fino de uma LLM, está prevista a criação de uma base de dados treinamento com instruções de alta qualidade, com acompanhamento da área técnica da PGFN, sendo este também um resultado científico relevante, possibilitando a continuidade e a expansão das pesquisas na área jurídica e auxiliando a PGFN em suas atividades futuras. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

GOLO, MARCOS PAULO SILVA; DE MEDEIROS JR, JOSE GILBERTO BARBOSA DE MEDEIROS; SILVA, DIEGO FURTADO; MARCACINI, RICARDO MARCONDES. One-class graph autoencoder: A new end-to-end, low-dimensional, and interpretable approach for node classification. INFORMATION SCIENCES, v. 708, p. 17-pg., 2025-03-06. (22/09091-8, 23/10100-4, 23/02680-0, 13/07375-0, 19/07665-4)

OLIVEIRA, VITOR; NOGUEIRA, GABRIEL; FALEIROS, THIAGO; MARCACINI, RICARDO. Combining prompt-based language models and weak supervision for labeling named entity recognition on legal documents. ARTIFICIAL INTELLIGENCE AND LAW, v. N/A, p. 21-pg., 2024-02-15. (23/10100-4)