2000: Segundo Jakob Nielsen, um teste de usabilidade com 5 usuários seria o suficiente para detectar aproximadamente 80% dos problemas de usabilidade de uma interface.

The magic number 5

The magic number 5

2001: Jared Spool e Will Schroeder realizaram testes de usabilidade no Hotmail com 9 equipes independentes, Nenhuma das equipes encontrou o mesmo conjunto de problemas.

Dos 300 problemas encontrados,75% foram oriundos de uma única equipe.

The magic number 5

O desafio aumenta quando testes com usuários comprando CDs, conduzidos por Jared Spool, detectaram 247 problemas identificados por 18 usuários diferentes, com a maioria das novas descobertas sendo identificadas por cada novo usuário.

The magic number 5

Kessner descobriu que 6 laboratórios profissionais analisando a mesma interface tiveram poucos resultados parecidos.

Molich, Spool e Schroeder concluíram que um teste de interface requer muito mais que 5 usuários para obter resultados confiáveis.

The magic number 5

Woolrych and Cockton dizem que a fórmula de Nielsen faz afirmações sem garantias concretas de eficácia na detecção de problemas na interface. Sendo falha até quando aplicada em casos pouco complexos.

The magic number 5

Carol Barnum considera que 5 usuários é um número suficiente para testes quando:

• Os resultados do teste são entendidos e claramente comunicados;• Há estreita cooperação entre o cliente e o time de testes;• Os resultados são usados para fins de diagnóstico e de aprendizado em equipe;• O resultado esperado é insights, e não validação.

The magic number 5

Dennis Wixon Determinar quantidade de usuários é o problema errado a ser estudado: no mundo comercial, o objetivo é chegar ao melhor produto, projetado no menor tempo e com menores riscos e custo possíveis.

RITE (Rapid Iterative Testing and Evaluation)● Equipes de design e usabilidade corrigem problemas de

interface o mais rapidamente possível;● Continuam testando e consertando até que o tempo do

projeto se esgote ou que as métricas de usabilidade sejam alcançadas.

The magic number 5

Gilbert Cockton● Em alguns casos, 5 usuários pode ser o suficiente

(casos extremamente raros);

● A idéia de que 5 usuários é suficiente sempre foi ingênua. Seus argumentos estatísticos sempre foram mal informados;

● É impossível predizer quantos usuários são necesários. Nem os riscos de se testar com 5, 10 ou 15 usuários;

● É possível apenas entender as variáveis que influenciam um problema (diversidade de amostra de usuários, complexidade do projeto, qualidade do design, etc).

The magic number 5

Usabilidade contempla gestão de risco, e eles diminuem quando aumentamos o número de usuários realizando testes.

O equilíbrio vai de acordo com o produto. Em alguns casos 1 usuário será suficiente, em outros, 100 serão poucos.