Teste de software baseado em mutação com alta eficácia e baixa dívida técnica: processo automatizado e protótipo de ambiente de apoio livres

• Processo: 19/23160-0
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de fevereiro de 2022
• Data de Término da vigência: 31 de janeiro de 2025
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Auri Marcelo Rizzo Vincenzi
• Beneficiário: Auri Marcelo Rizzo Vincenzi
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Pesquisadores associados: Ana Cristina Ramada Paiva ; Anderson Belgamo ; Delano Medeiros Beder ; Fabiano Cutigi Ferrari ; Jose Carlos Maldonado ; Márcio Eduardo Delamaro ; Rodrigo Elias Bianchi ; Rodrigo Funabashi Jorge
• Bolsa(s) vinculada(s): 23/08409-7 - Estudo, implementação e validação do ambiente de teste, BP.TT
• Assunto(s): Engenharia de software Teste e avaliação de software Automação de teste Teste de mutação Análise dinâmica
• Palavra(s)-Chave do Pesquisador: análise dinâmica | Análise estática | Automatização de Teste | Engenharia de Software | Teste de Mutação | Teste de Software | Teste de Software

Resumo

Considerando a relevância da automatização das atividades de teste para a indústria de produção de software e a relevância do teste baseado em mutação a partir de evidências científicas, neste projeto tem-se por objetivo definir um processo de teste baseado em mutação que possa ser executado de forma 100% automatizado por meio de um ambiente de teste de apoio, ambiente este que será especificado, implementado e validado com aplicações industriais e open-source. Métodos: Investigar e automatizar três problemas clássicos do teste de mutação: 1) geração de mutantes; 2)execução dos mutantes; e a 3) análise dos mutantes vivos e equivalentes no processo de teste. Na geração, pretende-se utilizar análise estática e informações de fluxo de controle e de dados para selecionar os pontos em que as mutações serão realizadas, além de selecionar tipos específicos de operadores a serem utilizados em função das características do produto em teste. Na execução dos mutantes, é importante que seja feita uma seleção de bons casos de teste com alta probabilidade de matar mutantes não equivalentes. Para isso, entende-se que devem ser combinados diferentes geradores automáticos de dados de teste e, possivelmente, desenvolvidos novos algoritmos de geração para matar mutantes gerados por operadores de mutação específicos. Na análise dos mutantes vivos e equivalentes serão definidas e avaliadas estratégias, de forma automatizada, para a determinação de mutantes equivalentes, utilizando-se heurísticas, aprendizado Bayesiano, e a frequência de execução dos mutantes pelos casos de teste. Resultados esperados: serão gerados um processo de teste e um ambiente de apoio gratuito, além de dados de experimentação que permitirão a geração de benchmarks de teste para C, Java e Python, viabilizando o desenvolvimento de novas pesquisas relacionadas ao teste de mutação, principalmente no contexto dessas linguagens de programação. Processo e Ambiente serão aplicados e avaliados em parceiros industriais os quais manifestaram apoio e interesse no uso do processo resultante deste projeto de pesquisa. Débito técnico no contexto desta proposta caracteriza os riscos associados à produção e à liberação de produtos de software, tendo como base o critério deteste baseado em mutação. Conclusões: Pretende-se viabilizar a aplicação do teste de mutação como um importante mecanismo de garantia da qualidade de produtos de software de forma totalmente automatizada, favorecendo a transferência tecnológica e aplicação do teste de mutação para a indústria, com a consequente evolução da capacidade de produção de software da indústria brasileira. (AU)

Publicações científicas

(6)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

KUROISHI, PEDRO HENRIQUE; PAIVA, ANA CRISTINA RAMADA; MALDONADO, JOSE CARLOS; VINCENZI, AURI MARCELO RIZZO. Testing infrastructures to support mobile application testing: A systematic mapping study. INFORMATION AND SOFTWARE TECHNOLOGY, v. 177, p. 19-pg., 2024-09-13. (23/00001-9, 19/23160-0)

GUERINO, LUCCA R.; VINCENZI, AURI M. R.. An Experimental Study Evaluating Cost, Adequacy, and Effectiveness of Pynguin's Test Sets. PROCEEDINGS OF THE 8TH BRAZILIAN SYMPOSIUM ON SYSTEMATIC AND AUTOMATED SOFT-WARE TESTING, SAST 2023, v. N/A, p. 10-pg., 2023-01-01. (19/23160-0)

GUILHERME, VITOR H.; VINCENZI, AURI M. R.. An initial investigation of ChatGPT unit test generation capability. PROCEEDINGS OF THE 8TH BRAZILIAN SYMPOSIUM ON SYSTEMATIC AND AUTOMATED SOFT-WARE TESTING, SAST 2023, v. N/A, p. 10-pg., 2023-01-01. (19/23160-0)

COSTA MEIRELES, MARIA ALCIMAR; ROCHA, SABRINA; MALDONADO, JOSE CARLOS; CONTE, TAYANA. An experience report on the use of Active Learning in Empirical Software Engineering Education: Understanding the pros and cons from the student's perspective. 2024 ACM/IEEE 44TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING: SOFTWARE ENGINEERING EDUCATION AND TRAINING, ICSE-SEET 2024, v. N/A, p. 11-pg., 2024-01-01. (20/05191-2, 19/23160-0)

KUROISHI, PEDRO HENRIQUE; MALDONADO, JOSE CARLOS; VINCENZI, AURI MARCELO RIZZO. Towards the definition of a research agenda on mobile application testing based on a tertiary study. INFORMATION AND SOFTWARE TECHNOLOGY, v. 167, p. 22-pg., 2023-12-06. (23/00001-9, 19/23160-0)

FERNANDES, LEO; RIBEIRO, MARCIO; GHEYI, ROHIT; DELAMARO, MARCIO; GUIMARAES, MARCIO; SANTOS, ANDRE. Put Your Hands In The Air! Reducing Manual Effort in Mutation Testing. 36TH BRAZILIAN SYMPOSIUM ON SOFTWARE ENGINEERING, SBES 2022, v. N/A, p. 10-pg., 2022-01-01. (20/09560-2, 19/23160-0)