Busca avançada
Ano de início
Entree


Impact of Quantization on Large Language Models for Portuguese Classification Tasks

Texto completo
Autor(es):
Jodas, Danilo Samuel ; Garcia, Gabriel Lino ; Paiola, Pedro Henrique ; Ribeiro Manesco, Joao Renato ; Papa, Joao Paulo
Número total de Autores: 5
Tipo de documento: Artigo Científico
Fonte: PROGRESS IN PATTERN RECOGNITION, IMAGE ANALYSIS, COMPUTER VISION, AND APPLICATIONS, CIARP 2024, PT I; v. 15368, p. 15-pg., 2025-01-01.
Resumo

Large Language Models have emerged as transformative agents in the frequently evolving landscape of artificial intelligence, reshaping the world towards a disruptive and modern technological era. This paradigm stresses their crucial role in extending the generative capabilities in the context of natural language processing. Generative Artificial Intelligence, an innovative and cutting-edge research topic, is critical to unlocking remarkable opportunities in our era of unparalleled technological progress. Despite the remarkable progress made in language model architectures, their exponential growth still raises pertinent concerns regarding their deployment and the associated costs for retraining efforts tailored to specific tasks. We present a study achieving a detailed analysis of the impact resulting from the application of diverse quantization methodologies on an open-source large language model tailored for Portuguese classification tasks, aka Bode. Our research thoroughly evaluates the performance nuances introduced by various quantization strategies, thus providing valuable insights into the constant concerns surrounding the optimization of large language models, aiming for enhanced efficiency and effectiveness in growing applications for the Portuguese community. (AU)

Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
Beneficiário:Francisco Louzada Neto
Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
Processo FAPESP: 23/14427-8 - Ciência de Dados para a Indústria Inteligente (CDII)
Beneficiário:José Alberto Cuminato
Modalidade de apoio: Auxílio à Pesquisa - Programa Centros de Pesquisa Aplicada
Processo FAPESP: 19/07665-4 - Centro de Inteligência Artificial
Beneficiário:Fabio Gagliardi Cozman
Modalidade de apoio: Auxílio à Pesquisa - Programa eScience e Data Science - Centros de Pesquisa Aplicada
Processo FAPESP: 23/01374-3 - Estudo e desenvolvimento de modelos computacionais inteligentes biologicamente plausíveis
Beneficiário:João Paulo Papa
Modalidade de apoio: Auxílio à Pesquisa - Regular
Processo FAPESP: 23/03726-4 - Estudo e Desenvolvimento de Algoritmos Multimétodo Multiobjetivos
Beneficiário:Douglas Rodrigues
Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
Processo FAPESP: 23/10823-6 - Estudo e Desenvolvimento de Modelos Computacionais Inteligentes Biologicamente Plausíveis
Beneficiário:Leandro Aparecido Passos Junior
Modalidade de apoio: Bolsas no Brasil - Programa Fixação de Jovens Doutores
Processo FAPESP: 24/00789-8 - Detecção Invariante à Domínio de Aparatos Médicos em Imagens de Radiografias Simples do Tórax
Beneficiário:João Renato Ribeiro Manesco
Modalidade de apoio: Bolsas no Brasil - Doutorado