Segurança e privacidade em modelos de aprendizagem de máquina para imagens médicas contra ataques adversários

• Processo: 21/08982-3
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de março de 2022
• Data de Término da vigência: 28 de fevereiro de 2027
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Agma Juci Machado Traina
• Beneficiário: Erikson Júlio de Aguiar
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Bolsa(s) vinculada(s): 23/14759-0 - Preservação da privacidade e defesa de backdoors: rumo à aprendizagem federada em contextos médicos, BE.EP.DR
• Assunto(s): Aprendizado computacional Aprendizagem profunda Processamento de imagens Segurança da informação Gestão da segurança em sistemas computacionais Ataques a computadores Confidencialidade Informática médica
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina Adversário | Aprendizado profundo | Images Médicas | Processamento de imagens | Segurança & Privacidade | Aprendizado de Máquina

Resumo

Com o advento do big data, dados passaram a ser produzidos e gerados em larga escala, utilizados por modelos de Aprendizado de Máquina (AM) para gerar novos conhecimentos. Diversas áreas tem se beneficiado com o big data e AM, umas delas é a área da saúde, que pode empregar dados complexos como imagens para auxiliarem os especialistas médicos na tomada de decisão. Embora esses conceitos sejam valiosos para área da saúde, podem ocasionar problemas relativos à segurança e privacidade do paciente. Vazamentos de informação em sistemas de saúde podem acontecer mais frequentemente do que se imagina. Por exemplo, no ano de 2020 foram expostos dados de 200 mil pacientes dos sistemas de saúde pública no Brasil. Outro desafio está associado aos modelos de AM empregados, em que estão suscetíveis a ataques que envenenam os dados de entrada, o próprio modelo e causam problemas nos dados de teste. Além disso, podem apresentar backdoors conhecidos e desconhecidos. A área de estudo que propõe estratégias de defesa e ataque contra modelos de AM, é a de aprendizado de máquina adversário, que visa reduzir a confiabilidade do modelo e causar a classificação incorreta dos dados pelo modelo. Portanto, este projeto tem o objetivo de elaborar um arcabouço formado por modelos de defesa, de exploração de vulnerabilidades e de ataques, para compreender e combater as violações contra a segurança e privacidade em modelos de reconhecimento de padrões em imagens médicas. Imagens médicas são utilizadas como entrada de modelos de AM para reconhecer padrões e apoiarem a decisão médica. No entanto, essas imagens, tal como os modelos que as classificam podem sofrer ataques para invalidar sua robustez ou comprometer a privacidade do paciente envolvido. Com este projeto espera-se: (I) desenvolver algoritmos defensivos contra exemplos com perturbações adversárias; (II) elaborar métodos para preservar a privacidade dos pacientes; (III) encontrar novas vulnerabilidades e backdoors que os modelos de AM podem apresentar; (IV) propor estratégias de ataques e suas respectivas defesas, para comunicar a outros pesquisadores os caminhos possíveis que um atacante pode seguir. (AU)

Publicações científicas

(6)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

COSTA, MARCUS V. L.; DE AGUIAR, ERIKSON J.; RODRIGUES, LUCAS S.; RAMOS, JONATHAN S.; TRAINA, CAETANO, JR.; TRAINA, AGMA J. M.; ALMEIDA, JR; SPILIOPOULOU, M; ANDRADES, JAB; PLACIDI, G; et al. A Deep Learning-based Radiomics Approach for COVID-19 Detection from CXR Images using Ensemble Learning Model. 2023 IEEE 36TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS, CBMS, v. N/A, p. 6-pg., 2023-01-01. (16/17078-0, 20/07200-9, 21/08982-3)

DE AGUIAR, ERIKSON J.; TRAINA, CAETANO, JR.; TRAINA, AGMA J. M.. RADAR-MIX: How to Uncover Adversarial Attacks in Medical Image Analysis through Explainability. 2024 IEEE 37TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS, CBMS 2024, v. N/A, p. 6-pg., 2024-01-01. (16/17078-0, 21/08982-3, 20/07200-9, 23/14759-0)

ELEUTERIO, IGOR ALBERTE R.; DE OLIVEIRA, WILLIAN D.; TEIXEIRA, LARISSA R.; VESPA, THIAGO G.; SILVA, WILLIAM Z.; TRAINA, AGMA JUCI M.; TRAINA JR, CAETANO. Cosim-Gres: Towards Similarity Queries Optimization Inside RDBMS. SOFTWARE-PRACTICE & EXPERIENCE, v. N/A, p. 15-pg., 2025-01-23. (21/08982-3, 20/07200-9, 16/17078-0)

DE AGUIAR, ERIKSON J.; TRAINA, AGMA J. M.; HELAL, SUMI. SentinelAdvMedical: toward adversarial attacks detection on medical image classification via Out-Of-Distribution strategies. MEDICAL IMAGING 2025: COMPUTER-AIDED DIAGNOSIS, v. 13407, p. 7-pg., 2025-01-01. (21/08982-3, 23/18026-8, 16/17078-0, 23/14759-0, 24/13328-9)

RAMOS, JONATHAN S.; DE AGUIAR, ERIKSON J.; BELIZARIO, IVAR, V; COSTA, MARCUS V. L.; MACIEL, JAMILLY G.; CAZZOLATO, MIRELA T.; TRAINA, CAETANO, JR.; NOGUEIRA-BARBOSA, MARCELLO H.; TRAINA, AGMA J. M.; SHEN, L; et al. Analysis of vertebrae without fracture on spine MRI to assess bone fragility: A Comparison of Traditional Machine Learning and Deep Learning. 2022 IEEE 35TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS (CBMS), v. N/A, p. 6-pg., 2022-01-01. (21/02412-0, 20/11258-2, 16/17078-0, 21/11403-5, 21/00360-3, 21/08982-3, 18/04266-9)

DE AGUIAR, ERIKSON J.; COSTA, MARCUS V. L.; TRAINA-, CAETANO, JR.; TRAINA, AGORA J. M.; ALMEIDA, JR; SPILIOPOULOU, M; ANDRADES, JAB; PLACIDI, G; GONZALEZ, AR; SICILIA, R; et al. Assessing Vulnerabilities of Deep Learning Explainability in Medical Image Analysis Under Adversarial Settings. 2023 IEEE 36TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS, CBMS, v. N/A, p. 4-pg., 2023-01-01. (16/17078-0, 20/07200-9, 21/08982-3)