Capítulo 11: Analisar os dados e observaçõesDiego BritoFelipe BarretoPaulo Leonardo

Objetivo

Identificar os principais problemas e melhorias a serem desenvolvidas.

Tipos de Análise

2 tipos de análise.. Preliminar Rápida e focada nos piores problemas encontrados.

. Compreensiva Relatório completo com todos os dados levantados;

Etapas

As 4 diretrizes:1. Compilar e resumir os dados

2. Analisar os dados

3. Desenvolver recomendações

4. Produzir o relatório final

Compilação de dados

Realizar compilação durante os testes.. Acelera o processo de análise. Evita que detalhes sejam perdidos. Fornece ideia geral do que foi descoberto. Uso de transcrições, tabelas, listas, etc.

Resumo de dados de desempenho

Retratar o que ocorreu nos testes.. Nessa etapa, o pesquisador começa a obter os dados organizados de forma a auxiliá-lo na identificação do grau de sucesso do teste (se ele alcançou os objetivos esperados e se ele respondeu as perguntas do plano de teste).

. Para tal, são utilizadas duas técnica de categorização de dados:

1. Por precisão na tarefa 2. Por tempo de execução

Resumo de dados de desempenho

Contabilizar e categorizar erros por tipo.. Erros por tarefa. Erros por omissão (executar tarefas incompletas). Erros por comissão (executar tarefas fazendo coisas desnecessárias). Participantes que realizaram tarefas com sucesso (dentro do tempo esperado). Participantes que precisaram de auxílio para concluir tarefas

1. Por precisão na tarefa

Resumo de dados de desempenho

Detectar o tempo necessário por tarefa.. Média: A soma de todos os tempos dividido pelo número geral de participantes.. Mediana: O tempo do meio na tabela. . Faixa: Leva em consideração os valores extremos da tabela.. Desvio padrão: É a indicação de variação em relação à média - obtida por fórmula matemática.

2. Por tempo de execução

Resumo de dados de preferência

Resumir diferentes tipos de resposta dos usuários.Formas de coleta de dados de preferência:

. Questionários fechados: Contabilizar respostas.

. Questionários abertos: Listar e agrupar respostas.:

. Entrevistas e debriefing: Destacar comentários de transcrições.

Outras medidas de resumo de dados

Diagnosticar problemas e direcionar objetivos.Contabilizar:

. Retorno à navegação principal sem necessidade.

. Quantidade e tipos de dicas e solicitações.

. Acesso ao mapa do site.

. Pontos de hesitação e por quanto tempo.

Resumo por grupo e versões de produto

Resumir dados por grupos e versões específicas.. Comparar erros e problemas, percebendo as diferenças de desempenho entre diferentes grupos e versões de um mesmo produto.

. Cuidado com o uso de porcentagem em pequenos grupos (de 8 a 10 pessoas), pois o resultado se mostrar exagerado.

Análise de dados

Entender o todo.. Calcular a taxa de sucesso (regra dos 70%)

. Identificação de tarefas “difíceis” ou “problemáticas”

. Mapear a causa de todos os problemas encontrados

. Definir o grau de prioridade para resolução de um problema (gravidade + frequência)

Priorizar problemas.. Níveis de gravidade:1. Irritante2. Moderado3. Severo4. Inutilizável

. Níveis de frequência:1. ocorre < 10% das vezes2. ocorre 11% a 50% das vezes3. ocorre 51% a 89% das vezes4. ocorre > 90% das vezes

Dica para ajudar na identificação:

Pode-se utilizar de perguntas para os usuários no intuito de identificar problemas mais graves - debriefing

Qual foi o problema mais grave que você encontrou durante o teste?

Análise de dados

Comparar por grupos e por versões de um produto.. Perceber quais tarefas não foram concluídas com "sucesso", para saber se as causas dos problemas ainda persistem.

. É importante comparar as "vantagens" e "desvantagens" encontradas em cada versão também.

Análise de grupos ou versões de um produto

Ir além da amostra.. Inferir em uma parcela maior da população (além do grupo testado).

. Os resultados obtidas são estatisticamente relevantes, ou seja, a estatística deve ser gerada utilizando a técnica mais apropriada e os testes dever ser feitos com um número expressivo de participantes (no mínimo 10/12).

. As condições de realização dos testes devem ser as mesmas para ambos os testes também, evitando resultados induzidos/ adulterados.

Estatística Inferencial

Obrigado :)

Diego BritoFelipe BarretoPaulo Leonardo