Investigando o problema de desacordo em métodos de explicação locais

• Processo: 23/05783-5
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Doutorado
• Data de Início da vigência: 01 de setembro de 2023
• Data de Término da vigência: 31 de agosto de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Luis Gustavo Nonato
• Beneficiário: Priscylla Maria da Silva Sousa
• Supervisor: José Claudio Teixeira e Silva Junior
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Instituição Anfitriã: New York University, Estados Unidos
• Vinculado à bolsa: 22/03941-0 - Um modelo de predição de crimes interpretável usando Redes Neurais para Grafos, BP.DR
• Assunto(s): Aprendizado computacional Redes neurais (computação) Inteligência artificial
• Palavra(s)-Chave do Pesquisador: explainable machine learning | Explanation Quality | Feature Importance | Interpretable machine learning | Local Explanation Methods | neural networks | Aprendizagem de Máquina

Resumo

IA responsável é um tema altamente discutido hoje em dia. Uma das questões relacionadas a este tópico é a necessidade de entender as previsões feitas por modelos preditivos. Em particular, os modelos usados no campo da saúde e criminal precisam ser confiáveis. Em outras palavras, a precisão do modelo não é a única coisa importante a ser considerada, mas também é essencial entender o comportamento do modelo em relação aos dados de entrada. Para resolver este problema, muitos métodos de explicação foram propostos para modelos de explicações globais e locais (específicos para cada instância). O surgimento de métodos distintos de explicação dentro do contexto de aprendizado de máquina alavancou várias novas questões a serem investigadas. O problema de desacordo é um desses problemas, pois pode haver cenários em que os resultados de diferentes métodos de explicação discordam uns dos outros. Essa questão é preocupante, especialmente em áreas onde as explicações podem ter alto impacto, como saúde e segurança. Embora compreender com que frequência, quando e onde os métodos de explicação concordam ou discordam seja essencial para aumentar a confiança nas explicações, poucos trabalhos têm se dedicado a investigar o problema da discordância. Este projeto tem como foco a análise do problema de desacordo para métodos de explicação locais, visando entender em quais cenários ocorrem desacordos. Uma ferramenta de visualização será implementada para apoiar o processo analítico, permitindo recursos interativos para escrutinar o problema de desacordo e sua relação com outras entidades, como precisão do modelo e qualidade da explicação. (AU)