Processamento de sentenças exclamativas e interrogativas para o Reconhecimento Automático de Fala no português brasileiro

• Processo: 24/00536-2
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de setembro de 2024
• Data de Término da vigência: 31 de agosto de 2026
• Área de conhecimento: Linguística, Letras e Artes - Linguística - Teoria e Análise Lingüística
• Pesquisador responsável: Flaviane Romani Fernandes Svartman
• Beneficiário: Rian Pereira Fernandes
• Instituição Sede: Faculdade de Filosofia, Letras e Ciências Humanas (FFLCH). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Empresa: Universidade de São Paulo (USP). Centro de Inovação da USP (INOVA)
• Vinculado ao auxílio: 19/07665-4 - Centro de Inteligência Artificial, AP.eScience.CPE
• Assunto(s): Português do Brasil Prosódia Reconhecimento automático de fala Linguística computacional
• Palavra(s)-Chave do Pesquisador: pontuação | Português brasileiro | prosódia | Reconhecimento Automático de Fala | Linguística Computacional

Resumo

Esta pesquisa, que está vinculada ao projeto TaRSila, do Center for Artificial Intelligence (C4AI), colaborac'ao IBM/FAPESP/USP (processo FAPESP 2019/07665-4) (COZMAN, 2019 - atual), da Universidade de São Paulo, tem como objetivos principais: (i) a identificação e análise descritiva dos dados com erros que foram gerados pelo modelo Whisper (RADFORD et al., 2022) no que tange à pontuação de sentenças exclamativas e interrogativas no português brasileiro (doravante, PB); e (ii) a construção de um modelo de Reconhecimento Automático de Fala (doravante, ASR) que apresente bom desempenho na utilização dessas pontuações. Em vista de atingir esses objetivos, este projeto busca: (a) a compreensão do comportamento prosódico das sentenças exclamativas e interrogativas no PB, com base no estudo da entoação desses tipos frásicos, à luz do quadro teórico da Fonologia Entoacional (cf. 8), em corpus de fala para o qual é gerada pontuação automática; (b) a verificação dos erros provenientes do modelo computacional, seguida de uma comparação com o estudo mencionado em (a), a fim de compreender a motivação de tais erros ; e (c) um estudo sobre o funcionamento do modelo wav2vec 2.0 (BAEVSKI, et al., 2020), para a posterior construção de um modelo eficiente para a pontuação de sentenças exclamativas e interrogativas no PB.Toma-se por hipótese desta pesquisa que a ocorrência dos erros de pontuação do ASR esteja relacionada, entre outros fatores, à dificuldade do modelo computacional lidar com a prosódia dos tipos frásicos interrogativos e exclamativos. Nosso objetivo é confirmar ou refutar essa hipótese, com base na análise de erros das transcrições automáticas, e, visando à melhoria dessas transcrições, construir um modelo computacional que apresente melhor desempenho na tarefa em questão.