Busca avançada
Ano de início
Entree


Neglected Risks: The Disturbing Reality of Children's Images in Datasets and the Urgent Call for Accountability

Texto completo
Autor(es):
Caetano, Carlos ; dos Santos, Gabriel O. ; Petrucci, Caio ; Barros, Artur ; Laranjeira, Camila ; Ferraz Ribeiro, Leo Sampaio ; de Mendonca, Julia Fernandes ; dos Santos, Jefersson A. ; Avila, Sandra
Número total de Autores: 9
Tipo de documento: Artigo Científico
Fonte: PROCEEDINGS OF THE 2025 ACM CONFERENCE ON FAIRNESS, ACCOUNTABILITY, AND TRANSPARENCY, ACM FACCT 2025; v. N/A, p. 12-pg., 2025-01-01.
Resumo

Including children's images in datasets has raised ethical concerns, particularly regarding privacy, consent, data protection, and accountability. These datasets, often built by scraping publicly available images from the Internet, can expose children to risks such as exploitation, profiling, and tracking. Despite the growing recognition of these issues, approaches for addressing them remain limited. We explore the ethical implications of using children's images in AI datasets and propose a pipeline to detect and remove such images. As a use case, we built the pipeline on a Vision-Language Model under the Visual Question Answering task and tested it on the #PraCegoVer dataset. We also evaluate the pipeline on a subset of 100,000 images from the Open Images V7 dataset to assess its effectiveness in detecting and removing images of children. The pipeline serves as a baseline for future research, providing a starting point for more comprehensive tools and methodologies. While we leverage existing models trained on potentially problematic data, our goal is to expose and address this issue. We do not advocate for training or deploying such models, but instead call for urgent community reflection and action to protect children's rights. Ultimately, we aim to encourage the research community to exercise - more than an additional - care in creating new datasets and to inspire the development of tools to protect the fundamental rights of vulnerable groups, particularly children. (AU)

Processo FAPESP: 22/14690-8 - Reconhecimento de Cenas Few-Shot, uma Nova Tarefa Proxy para Detecção de Material de Abuso Sexual Infantil
Beneficiário:Leo Sampaio Ferraz Ribeiro
Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
Processo FAPESP: 24/01210-3 - Modelos de reconhecimento de materiais de abuso sexual infantil baseados em tarefas de proxy
Beneficiário:Carlos Antônio Caetano Júnior
Modalidade de apoio: Bolsas no Brasil - Programa Capacitação - Treinamento Técnico
Processo FAPESP: 13/08293-7 - CECC - Centro de Engenharia e Ciências Computacionais
Beneficiário:Munir Salomao Skaf
Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
Processo FAPESP: 20/09838-0 - BI0S - Brazilian Institute of Data Science
Beneficiário:João Marcos Travassos Romano
Modalidade de apoio: Auxílio à Pesquisa - Programa Centros de Pesquisa Aplicada
Processo FAPESP: 23/12086-9 - Araceli: Inteligência Artificial no Combate ao Abuso Sexual Infantil
Beneficiário:Sandra Eliza Fontes de Avila
Modalidade de apoio: Auxílio à Pesquisa - Regular
Processo FAPESP: 24/09375-1 - Estimativa de Idade Zero-Shot para Material de Abuso Sexual Infantil
Beneficiário:Caio Petrucci dos Santos Rosa
Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
Processo FAPESP: 24/07969-1 - Brasil em foco: um grande modelo de linguagem multimodal focado no contexto brasileiro para geração de texto
Beneficiário:Gabriel Oliveira dos Santos
Modalidade de apoio: Bolsas no Brasil - Doutorado Direto
Processo FAPESP: 24/09372-2 - Geração de Gráfico de Cena como Tarefa Proxy para Detecção de Material de Abuso Sexual Infantil
Beneficiário:Artur Alves Cavalcante de Barros
Modalidade de apoio: Bolsas no Brasil - Iniciação Científica