Desenvolvimento de Grandes Modelos de Língua para Aplicações no Domínio Jurídico

Resumo

O projeto proposto no âmbito do Programa de Pesquisa em Políticas Públicas (PPPP FAPESP) visa melhorar a gestão pública da Procuradoria-Geral da Fazenda Nacional (PGFN) por meio de inteligência artificial (IA) em suas atividades jurídicas, em particular, com uso de grandes modelos de língua para análise de processos. A PGFN é responsável por representar a União em questões fiscais, realizar cobranças judiciais e administrativas de créditos tributários e fornecer assessoria ao Ministério da Fazenda. Uma das principais dificuldades atuais é a classificação manual das matérias presentes nas petições iniciais dos processos, um processo demorado e propenso a erros. Outro desafio é a medição do êxito dos processos em diferentes instâncias judiciais. Atualmente, os procuradores da PGFN enfrentam dificuldades em identificar de forma sistemática as chances de sucesso em cada etapa do processo, o que dificulta o planejamento estratégico e a alocação adequada de recursos. Além disso, o projeto busca criar um identificador automatizado de processos com matérias novas ainda não listadas. A PGFN enfrenta o desafio de acompanhar e reagir de forma ágil a estratégias coordenadas por grandes escritórios de advocacia, que testam novas teses tributárias em diferentes estados do Brasil. A detecção manual dessas teses é extremamente difícil devido ao volume de processos ingressantes. A criação de um identificador automatizado permitiria uma atuação proativa da PGFN, possibilitando a elaboração centralizada e urgente de modelos de contra-argumentos para combater eficazmente essas teses desde o seu surgimento, evitando perdas financeiras significativas para a União.Para alcançar esses objetivos, é realizada uma parceria com o Instituto de Ciências Matemáticas e de Computação (ICMC) da Universidade de São Paulo (USP) em São Carlos. A ideia geral é avançar no desenvolvimento de grandes modelos de língua (LLM, do inglês Large Language Models), que sejam abertos e permissivos. A colaboração com a academia permite utilizar conhecimento técnico-científico para estender as LLMs abertas e personalizar os modelos conforme as necessidades da PGFN no cenário jurídico, impulsionando significativamente a eficácia e eficiência do sistema, além de possibilitar a colaboração contínua e o desenvolvimento de inovações no domínio jurídico.Os resultados esperados do projeto são divididos em curto, médio e longo prazo. A curto prazo, já se prevê uma avaliação comparativa dos grandes modelos de língua pré-treinados em relação à classificação de matérias tributárias, previsão do êxito de processos judiciais e desenvolvimento de um peticionador automatizado de contestações e recursos. Isso será viabilizado através do desenvolvimento de um módulo de engenharia de prompt, permitindo que os modelos pré-treinados sejam rapidamente condicionados para realizar tarefas específicas da PGFN com poucos exemplos rotulados. A médio prazo, será desenvolvido o ajuste de vocabulário de uma LLM usando córpus textuais históricos da PGFN, visando aumentar o desempenho de tarefas de classificação de processos e apoio à medição de êxito e identificação precoce de novas teses tributárias.A longo prazo, o projeto visa o desenvolvimento de uma LLM própria para PGFN, a partir de ajuste fino de uma LLM pré-treinada, tornando-a mais robusta para o domínio jurídico. Esta LLM será capaz de lidar com tarefas por meio de zero-shot prompt learning, que permitem seu uso em novas tarefas na ausência de dados de treinamento. Para realizar tal ajuste fino de uma LLM, está prevista a criação de uma base de dados treinamento com instruções de alta qualidade, com acompanhamento da área técnica da PGFN, sendo este também um resultado científico relevante, possibilitando a continuidade e a expansão das pesquisas na área jurídica e auxiliando a PGFN em suas atividades futuras. (AU)