Adaptações ao método de Avaliação Heurística (AH) para avaliadores novatos

Autor(es)

André de Lima Salgado

• Tipo de documento: Dissertação de Mestrado
• Imprenta: São Carlos.
• Instituição: Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB)
• Data de defesa: 2017-08-02

Membros da banca

Renata Pontin de Mattos Fortes; Lucia Vilela Leite Filgueiras; André Pimenta Freire; Rudinei Goularte

• Orientador: Renata Pontin de Mattos Fortes

Resumo

A Avaliação Heurística (AH) é um método popular de inspeção de usabilidade. Entretanto, seus resultados são dependentes da experiência dos avaliadores. Este estudo explorou e descreveu a diferença na qualidade de resultados (relatórios) de AH colaborativa conduzida por grupos de avaliadores de composição distinta, considerando diferentes quantidades de avaliadores experientes em cada grupo. Vinte e sete (27) avaliadores contribuíram voluntariamente com este estudo, nove (9) experientes e 18 novatos. Assim, foram organizados sete (7) grupos de AH, de acordo com quatro (4) níveis diferentes do fator presença de avaliador experiente, variando de nenhum experiente até três (3) avaliadores experientes no mesmo grupo. Cada grupo de avaliadores concordou em entregar seus relatórios de AH para este estudo. A partir de tais relatórios, foi conduzida uma análise comparativa baseada em métodos específicos da área, e também baseado em uma análise de agrupamento com base em medidas de similaridade. Como resultado, descreveu-se as medidas F (F-measure) referentes ao relatório de cada grupo respeitando critérios estritos e relaxados de comparação. Além disto, foram descritos os dendrogramas resultados das análises de agrupamento. Os resultados mostraram que a qualidade de relatórios de AH colaborativas conduzidas por avaliadores experientes e novatos juntos pode ser mais similar à qualidade de relatórios de AH tradicional conduzida por múltiplos avaliadores experientes (Grupo Benchmark) do que à qualidade de relatórios de AH colaborativa conduzida por grupos formados apenas por avaliadores novatos (Grupo Baseline). Finalmente, discutiu-se resultados adicionais e implicações para pesquisas futuras na área. (AU)

• Processo FAPESP: 15/09493-5 - Adaptações ao método de Avaliação Heurística (AH) para avaliadores novatos
• Beneficiário: André de Lima Salgado
• Modalidade de apoio: Bolsas no Brasil - Mestrado