PetroBERT: A Domain Adaptation Language Model for Oil and Gas Applications in Portuguese

Autor(es):Mostrar menos -

Rodrigues, Rafael B. M. ; Privatto, Pedro I. M. ; de Sousa, Gustavo Jose ; Murari, Rafael P. ; Afonso, Luis C. S. ; Papa, Joao P. ; Pedronette, Daniel C. G. ; Guilherme, Ivan R. ; Perrout, Stephan R. ; Riente, Aliel F. ; Pinheiro, V ; Gamallo, P ; Amaro, R ; Scarton, C ; Batista, F ; Silva, D ; Magro, C ; Pinto, H

• Tipo de documento: Artigo Científico
• Fonte: COMPUTATIONAL PROCESSING OF THE PORTUGUESE LANGUAGE, PROPOR 2022; v. 13208, p. 9-pg., 2022-01-01.

Resumo

This work proposes the PetroBERT, which is a BERT-based model adapted to the oil and gas exploration domain in Portuguese. PetroBERT was pre-trained using the Petroles corpus and a private daily drilling report corpus over BERT multilingual and BERTimbau. The proposed model was evaluated in the NER and sentence classification tasks and achieved interesting results, which shows its potential for such a domain. To the best of our knowledge, this is the first BERT-based model to the oil and gas context. (AU)

• Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
• Beneficiário: Alexandre Xavier Falcão
• Modalidade de apoio: Auxílio à Pesquisa - Temático
• Processo FAPESP: 18/15597-6 - Aplicação e investigação de métodos de aprendizado não-supervisionado em tarefas de recuperação e classificação
• Beneficiário: Daniel Carlos Guimarães Pedronette
• Modalidade de apoio: Auxílio à Pesquisa - Jovens Pesquisadores - Fase 2
• Processo FAPESP: 19/07665-4 - Centro de Inteligência Artificial
• Beneficiário: Fabio Gagliardi Cozman
• Modalidade de apoio: Auxílio à Pesquisa - Programa eScience e Data Science - Centros de Pesquisa em Engenharia
• Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
• Beneficiário: Francisco Louzada Neto
• Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs