Busca avançada
Ano de início
Entree


Canonical cortical graph neural networks and its application for speech enhancement in audio-visual hearing aids

Texto completo
Autor(es):
Passos, Leandro A. ; Papa, Joao Paulo ; Hussain, Amir ; Adeel, Ahsan
Número total de Autores: 4
Tipo de documento: Artigo Científico
Fonte: Neurocomputing; v. 527, p. 8-pg., 2023-01-20.
Resumo

Despite the recent success of machine learning algorithms, most models face drawbacks when consider-ing more complex tasks requiring interaction between different sources, such as multimodal input data and logical time sequences. On the other hand, the biological brain is highly sharpened in this sense, empowered to automatically manage and integrate such streams of information. In this context, this work draws inspiration from recent discoveries in brain cortical circuits to propose a more biologically plausible self-supervised machine learning approach. This combines multimodal information using intra-layer modulations together with Canonical Correlation Analysis, and a memory mechanism to keep track of temporal data, the overall approach termed Canonical Cortical Graph Neural networks. This is shown to outperform recent state-of-the-art models in terms of clean audio reconstruction and energy efficiency for a benchmark audio-visual speech dataset. The enhanced performance is demonstrated through a reduced and smother neuron firing rate distribution. suggesting that the proposed model is amenable for speech enhancement in future audio-visual hearing aid devices.(c) 2022 The Author(s). Published by Elsevier B.V. This is an open access article under the CC BY license (http://creativecommons.org/licenses/by/4.0/). (AU)

Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
Beneficiário:Alexandre Xavier Falcão
Modalidade de apoio: Auxílio à Pesquisa - Temático
Processo FAPESP: 19/07665-4 - Centro de Inteligência Artificial
Beneficiário:Fabio Gagliardi Cozman
Modalidade de apoio: Auxílio à Pesquisa - Programa eScience e Data Science - Centros de Pesquisa em Engenharia
Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
Beneficiário:Francisco Louzada Neto
Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
Processo FAPESP: 17/02286-0 - Modelos probabilísticos para detecção de perdas comerciais
Beneficiário:André Nunes de Souza
Modalidade de apoio: Auxílio à Pesquisa - Regular
Processo FAPESP: 19/18287-0 - Gestão de Florestas Urbanas em Tempo Real Utilizando Aprendizado de Máquina
Beneficiário:Danilo Samuel Jodas
Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
Processo FAPESP: 18/21934-5 - Estatística de redes: teoria, métodos e aplicações
Beneficiário:André Fujita
Modalidade de apoio: Auxílio à Pesquisa - Temático