QUEST - sistema de busca e agregação de informações baseado em técnicas Zero-Shot

Resumo

Na fase 1 do projeto PIPE, desenvolvemos um sistema para a análise de jurisprudência, baseado em modelos de aprendizado profundo (Deep Learning), que se mostrou significativamente superior a modelos clássicos, como o BM25. Apesar de sua qualidade, este sistema de busca se limita, assim como sistemas concorrentes, a mostrar a resposta na forma de uma lista com "10 links azuis". Isso exige do usuário a leitura e consolidação de textos vindos de fontes distintas, comumente descorrelatas, ou até mesmo contraditórias. Assim, uma demanda frequente de mercado são sistemas que consolidem e elaborem respostas complexas para diversos tópicos, de forma concisa. Neste projeto, propomos o desenvolvimento de um sistema de busca e consolidação de informações usando modelos de aprendizado profundo baseados no paradigma zero-shot. Mais especificamente, dado um tópico (i.e., query/pergunta) provido pelo usuário, o sistema proposto executa três estágios: 1) busca e retorno de grande quantidade de documentos possivelmente relevantes para o tópico; 2) descoberta de subtópicos; 3) e mapeamento de documentos representativos para cada subtópico. Ao final, o sistema mostra ao usuário um documento em formato semelhante a um artigo da Wikipédia, com múltiplas seções e links para documentos representativos para cada uma delas. Temos sólida experiência no desenvolvimento do primeiro e terceiro estágios: além dos resultados positivos obtidos na fase 1 do projeto PIPE, nosso time ganhou mais de seis competições internacionais de buscas e relevância de documentos entre 2020 e 2021 (Nogueira et al., 2020; Pradeep et al. 2021), todas usando o mesmo sistema com pequenas adaptações. O segundo estágio é responsável por agrupar e resumir as informações. Ele detectará os subtópicos mais comuns abordados pelos documentos retornados no primeiro estágio. Os documentos mais representativos de cada subtópico serão selecionados e mostrados ao usuário. Este estágio fará uso do Corpus2Question (Surita et al. 2020), que é um modelo desenvolvido em parceria com alunos que orientamos na UNICAMP para detecção de tópicos e tendências, com qualidade superior a de modelos clássicos como o Latent Dirichlet Allocation (LDA). Um dos principais desafios no desenvolvimento deste sistema é ter uma metodologia de avaliação objetiva da qualidade dos resultados. Para tanto, criaremos, com a ajuda de especialistas, um conjunto de dados de validação que contenha exemplos de: 1) tópicos (queries/perguntas) de interesse; 2) seus respectivos subtópicos; 3) e documentos relevantes a cada subtópico. Outro desafio é a falta de dados de treinamento. Nossa estratégia para tanto é a utilização de modelos zero-shot, ou seja, modelos treinados em dados de domínios (ou idiomas) diferentes daqueles que serão usados em tempo de inferência. Como dispensam treinamento no domínio específico, podem ser prontamente utilizados em novos documentos. Resultados recentes da literatura científica e nossos próprios experimentos na fase 1 do projeto PIPE mostram que esses modelos têm desempenho superior ao de modelos treinados para a tarefa final. (AU)