introdução à avaliação de interfaces -...
TRANSCRIPT
1
Introdução à Avaliação de Interfaces
Interação Humano Computador
Prof. Jorge Cavalcanti
www.twitter.com/jorgecav
Universidade Federal do Vale do São Francisco Universidade Federal do Vale do São Francisco -- UNIVASFUNIVASF
Colegiado de Engenharia de ComputaçãoColegiado de Engenharia de Computação
Interação Humano Computador
Avaliação de Interfaces
• Processo sistemático de coleta de dados responsável por nos informar o modo como um determinado usuário ou grupo de usuários deve utilizar um produto em uma determinada tarefa;
• Faz parte do ciclo de desenvolvimento: design – avaliação –redesign;
• O design de interação exige que se saiba avaliar tipos diferentes de sistemas em estágios diferentes de desenvolvimento;
• Desenvolver sistemas neste processo acaba sendo mais barato do que consertar problemas depois do sistema entregue.
2
Interação Humano Computador
Avaliação de Interfaces
• O projeto e o design de sistemas são inerentemente criativos e imprevisíveis:
– São processos, não-hierárquicos, transformacionais e envolvem a descoberta de novos objetivos.
• … mas em todo domínio criativo pode haver disciplina, técnicas refinadas, métodos corretos e medidas de sucesso
• Os projetos de desenvolvimento também envolvem métodos de avaliação e usabilidade
• Neste sentido, engenheiros de usabilidade e arquitetos de interface do estão ganhando experiência em gerenciar as mudanças organizacionais, o que repercute em $.
Interação Humano Computador
Avaliação de Interfaces
• Usuários preferem sistemas que sejam fáceis de aprender e utilizar, assim com eficientes, eficazes e seguros (Preece et. al., 2007);
• Saber o que avaliar, a sua importância e quando avaliar são, portanto, tarefas fundamentais para designers de interação.
O Quê? Por q ue? Quando?
3
Interação Humano Computador
O quê, por que e quando?
• Grande variedade de produtos interativos com muitas características que necessitam ser avaliadas;
• Forte tendência a se observar e avaliar como as pessoas interagem com o sistema no trabalho, no lar e outros ambientes, embora a avaliação em laboratório seja bastante satisfatória;
• A avaliação é necessária para a certificação de que os usuários podem vir a utilizar o produto e apreciá-lo;
• Os usuários procuram cada vez mais produtos usáveis (NN Group);
Interação Humano Computador
O quê, por que e quando?
• Tognazinni, outro bem sucedido consultor de usabilidade, afima:– “ O design interativo, com seu ciclo repetitivo de design e teste, é a
única metodologia validada existente que produzirá resultados bem-sucedidos com consistência. (www.asktog.com).
• Ele aponta 05 razões para se investir em testes com usuários:1. Problemas são consertados antes do produto ser lançado;
2. A equipe pode se concentrar em problemas reais e não imaginários;
3. Os engenheiros codificam, em vez de debater;
4. O tempo para que o produto entre no mercado é menor;
5. Após a entrega da primeira versão, o produto terá um design consistente, que poderá ser vendido sem que se tenha de se esperar a versão 1.1. ou 2.0.
4
Interação Humano Computador
O quê, por que e quando?
• Correções em projetos em desenvolvimento;
• Revisões em produtos acabados;
• Definir a aceitação ou não, de projetos encomendados;
• Comparar o desempenho de softwares interativos.
• Constatar, observar e registrar problemas;
• Calcular métricas objetivas para eficácia, eficiência e produtividade;
• Diagnosticar as falhas do projeto que provavelmente atrapalhem a interação;
• Prever dificuldades de aprendizado na operação do sistema;
• Prever os tempos de execução de tarefas;
• Conhecer a opinião do usuário;
• Sugerir as ações de re-projeto.
Interação Humano Computador
O quê, por que e quando?
• O produto que está sendo desenvolvido pode consistir em algo totalmente novo ou em uma atualização de algo já existente;
• Em caso de produto novo, as pesquisas de mercado são necessárias e os designers podem fornecer suporte a esse processo, a partir de maquetes dos produtos, para extrair reações dos usuários em potencial;
• Muitas das técnicas de elicitação de requisitos são usadas na coleta de opiniões sobre os produtos ( prototipação, entrevistas etc.);– O objetivo é saber se o design preenche as necessidades dos
usuários e se estes o apreciam.
5
Interação Humano Computador
Avaliação de usabilidade
• Porque a avaliação da usabilidade é tão importante?– Intuições de designers e desenvolvedores não estão sempre corretas
– Terminologia de designers e desenvolvedores nem sempre significa a mesma do usuário
– Pessoas diferem e não há um usuário médio
– Princípios de usabilidade e guidelines não são suficientes
– Feedback informal é inadequado para avaliações do produto
– Tempo, dinheiro e recursos gastos nas avaliações de usabilidade valem a pena
– Produtos construídos em pedaços sempre têm inconsistências de alto nível
– Problemas encontrados mais tarde no software são mais difíceis e caros de consertar
– Problemas consertados no processo de desenvolvimento reduzem os custos mais tarde
– Avaliações de usabilidade podem dar vantagens sobre produtos competitivos
Interação Humano Computador
Avaliação de usabilidade
• A ISO define usabilidade como “a efetividade, eficiência e
satisfação com a qual um conjunto específico de usuários
pode alcançar um conjunto específico de tarefas em um
ambiente particular”
• Os métodos de avaliação da interface e os testes de
usabilidade são muitos e seguem orientações teóricas
diversas
• Quando se deve parar de fazer um teste?
• Se a sessão não produziu feedback do usuário em novos
problemas.
6
Interação Humano Computador
Atividades
• Pense em exemplos dos seguintes sistemas e escreva as características que sejam importantes para cada um deles:
1. Um processador de textos
2. Um telefone celular
3. Um website que vende roupas
• Faça a leitura do estudo de caso do HutchWorld(10.3, a partir da pag 344 do Livro Texto) e anote os principais tópicos do processo de avaliação da interface.
Interação Humano Computador
O Caso HutchWorld
• HutchWord é uma
comunidade virtual que
permite a pacientes com
câncer,auxiliares, familiares
e amigos conversem sobre
as doenças, experiências,
histórias etc.
• Ambiente deveria ser: útil,
envolvente, fácil de usar,
emocionalmente satisfatório
e, de um certo modo,
privado.
7
Interação Humano Computador
O Caso HutchWorld
• Início da avaliação:– Estudos informais e estudo de campo.
– Entendimento do funcionamento do hospital e das formas de
tratamento.
– Uso de entrevistas com os stakeholders.
– Observação das atividades diárias.
• Primeiros resultados:– Definição do ambiente distribuído
– Validaram o projeto (verificação por meio de estudos do núcleo do
problema)
– Design parecido com o Hall de entrada do local (conclusão usando
metáforas).
– Definição de comunicação síncrona (metáfora)
– Uso de avatares 3D.
– Ambiente interativo e parecido com um ‘jogo’.
Interação Humano Computador
O Caso HutchWorld
• Como foram realizados os testes?
• Dois conjuntos de testes– Teste 1: realizado no próprio ambiente do Hospital Fred
Hutchinson Center
– Teste 2: realizado nos laboratórios de usabilidade da
Microsoft
8
Interação Humano Computador
O Caso HutchWorld
• Teste 1– Uso de um protótipo nos computadores do hospital
– Treinamento e realização de fóruns.
– Observação do uso do sistema durante o dia.
• Resultados Teste 1– Testes com o chat do sistema mostrou déficit no número
de participantes, redefinição para uso de comunicação
assíncrona.
– Usuário costumavam ‘jogar’ e pesquisar sobre a doença,
funções não disponíveis originalmente.
– Re-projeto do sistema com nova forma de comunicação,
áreas de entretenimento e informação.
Interação Humano Computador
O Caso HutchWorld
9
Interação Humano Computador
O Caso HutchWorld
• Teste 2 (Teste de usabilidade)– Feito nos laboratórios de usabilidade da Microsoft
– Número de participantes pequeno, inicialmente com uso
livre do sistema.
– Depois do uso livre, execução de tarefas estruturadas.
– Preenchimento de questionários.
• Resultados do Teste 2– Problemas com a página de login (uso incorreto de palavras)
– Avaliação das tarefas estruturadas por meio de notas.
– Construção da “tabela de erros”.
Interação Humano Computador
O Caso HutchWorld
• Novo teste:
– Uso de múltiplos usuários
– Mais detalhados e com foco direcionado
• Finalização
– Testes com pacientes reais frente ao produto final
10
Interação Humano Computador
Questões Práticas na avaliação
• Questões abordadas pelos avaliadores:
– O que fazer quando não há muitos usuários?
– Como observar os usuários em seus ambientes naturais?
– Preciso ter equipamentos próprios?
– Como lidar com orçamentos e prazos pequenos?
– Como coletar dados “úteis”?
Interação Humano Computador
Definições importantes
• Avaliações quantitativas – Envolvem somente medidas;
• Avaliações qualitativas – Envolvem descrições e relatos;
• Avaliações objetivas – São baseadas em técnicas que utilizam medições quantitativas, em vez das opiniões dos usuários ou especialistas;
• Avaliações subjetivas – São baseadas em opiniões e relatos;
• Estudos de Laboratório – Ocorrem em ambientes controlados e preparados;
• Estudos de campo ou naturais – Estão situados no contexto do mundo real, no qual o sistema é ou será utilizado.
11
Interação Humano Computador
Paradigmas de avaliação
• Avaliação “rápida e suja” – obtenção de feedback
informal dos usuários e consultores, para
confirmar que as idéias dos designers estão de
acordo com as necessidades.
– Podem ser realizadas em qualquer estágio do projeto,
com ênfase na contribuição rápida e não em
descobertas documentadas;
– O termo rápida e suja é em razão de ter de ser realizada
em curto espaço de tempo;
– Bastante usada no web design.
Interação Humano Computador
Paradigmas de avaliação
• Testes de usabilidade – envolvem avaliar o desempenho dos usuários típicos na realização de tarefas cuidadosamente preparadas.
– O desempenho é avaliado no que diz respeito ao número de erros e ao tempo para completar a tarefa;
– Enquanto realizam as tarefas, os usuários são observados e filmados e suas interações são registradas por meio de softwares (cálculo do tempo e esclarecimentos posteriores);
– Questionários e entrevistas também são usados para elicitar opiniões dos usuários;
– Os testes são controlados pelo avaliador. Não há comunicação com terceiros. Todas as ações são registradas.
12
Interação Humano Computador
Paradigmas de avaliação
• Estudos de Campo – Realizados em ambientes
reais com o objetivo de aumentar o entendimento
do que os usuários fazem naturalmente e de como
a tecnologia causa impacto nessas atividades;
– Usados para (1) ajudar a identificar oportunidades de
uso de novas tecnologias, (2) determinar requisitos para
o design, (3) facilitar a introdução de um tecnologia e (4)
avaliar a tecnologia;
– Empregam técnicas qualitativas como entrevistas,
observação participativa e etnografia.
Interação Humano Computador
Paradigmas de avaliação
• Avaliação preditiva – Os especialistas
aplicam seu conhecimento a respeito de
usuários típicos, guiados por heurísticas,
visando prever problemas de usabilidade.
– Os usuários não precisam estar presentes, o que
torna o processo atrativo e barato;
– Novas heurísticas são necessárias para
avaliarem diferentes classes de produtos
interativos;
13
Interação Humano Computador
Características dos diferentes paradigmas de
avaliaçãoParadigma Rápida e suja Testes
UsabilidadeEstudos de
campoAvaliação preditiva
Papel dos usuários
Comportamento natural
Realizar um conjunto de tarefas
Comportamento natural
Não são envolvidos
Quem controla
Avaliadores (mínimo)
Avaliadores (máximo)
Avaliadores e usuários
Avaliadores experientes
Local Ambiente natural/laborat.
Laboratório Ambiente natural
Orientada a Laboratório, mas nas instal. Usuários
Quando é usado
A qualquer momento
Com um protótipo ou produto
Início do design, verificar necess.
Revisões especialistas, a qualquer momento
Tipos de dados
Geralmente qualitativos e informais
Quantitativos Qualitativos, com esboços, cenários etc.
Lista de problemas, dados quantitativos
Retorno para o design
Esboços, citações, relatórios
Relatório de desempenhos, de erros etc.
Descrições, citações, logs.
Problemas e sugestões, métricas
Filosofia Abordagem centrada no usuário, prática.
Abordagem aplicada, eng. Usabilidade.
Observação objetiva ou etnográfica
Heurísticas práticas e experiências dos profissionais
Interação Humano Computador
Técnicas de avaliação
• Existem diversas técnicas de avaliação e que podem ser classificadas de várias maneiras. Vamos examinar as seguintes:
– Observação de usuários
– Opinião de usuários
– Opinião de especialistas
– Teste de desempenho dos usuários
– Modelagem do desempenho das tarefas dos usuários, para prever a eficácia de uma interface.
14
Interação Humano Computador
Técnicas de avaliação - Observação de usuários
• Ajudam a identificar necessidades, levando
a novos tipos de produtos a avaliar
protótipos;
• Anotações, áudio, vídeo e logs de interação
são formas usuais da técnica;
• Desafios: como observar sem atrapalhar as
pessoas e como analisar o grande volume de
dados coletados;
Interação Humano Computador
Técnicas de avaliação – Opinião dos usuários
• Perguntar o que os usuários pensam a
respeito do produto – se realiza o que
querem; se apreciam; se é atraente; se
enfrentaram problemas ao utilizá-lo;
• Entrevistas e questionários são as principais
técnicas para fazê-la;
• Atingem diferentes faixas de público.
15
Interação Humano Computador
Técnicas de avaliação – Opinião dos
especialistas
• Inspiradas nas inspeções e revisões de software;
• Guiadas por heurísticas (conhecimentos ou
definições prévias), onde os especialistas
desempenham tarefas como se fossem usuários
típicos, identificando problemas;
• Abordagem mais rápida e relativamente mais
barata;
• Os especialistas sugerem soluções para os
problemas;
Interação Humano Computador
Técnicas de avaliação – Testes com usuários
• Ambientes controlados para que o
desempenho possa ser analisado;
• Tarefas típicas e bem definidas;
• Mede-se o tempo para realizar uma tarefa,
o número de erros cometidos e o caminho
mais comum na navegação do uso do
produto.
16
Interação Humano Computador
Técnicas de avaliação – Modelagem do
desempenho das tarefas
• Sem construir protótipos elaborados, tenta-se
prever a eficiência e os problemas associados ao
design, ainda em estágio preliminar;
• Bem aplicadas a sistemas com funcionalidades
limitadas;
• Modelos mais usados:• KLM (Keystroke Level Model)
– Predizer o tempo de interações físicas
• GOMS (Goals, Operators, Methods & Selection rules)
– Predizer o tempo total da interação (física e cognitiva) para
atingir objetivos.
Interação Humano Computador
Relação entre paradigmas e técnicas de
avaliaçãoParadigma
Técnica
Rápida e suja Testes Usabilidade Estudos de campo
Avaliação preditiva
Observar os usuários
Observar o comportamento do usuário nos ambientes naturais
Logs de vídeo e interação, para idt erros, rotas de uso ou calcular tempo de desempenho
Imprescindível para o estudo de campo
N/A
Perguntar aos usuários
Discussão individuais ou em grupo de foco.
Questionários de satisfação de usuários para coletar opiniões
O avaliador pode entrevistar ou discutir o que vê com os part.
N/A
Perguntar aos especialistas
Fornecer críticas da usabilidade de um protótipo
N/A N/A Os espec. usam heurísticas logo no início do design, para prever eficácia da interface.
Testes com usuários
N/A Testar usuários típicos na realização de tarefas típicas, em laboratório.
N/A N/A
Modelar o desempenho das tarefas
N/A N/A N/A Modelos utilizados para prever a eficácia ou comparar tempos.
17
Interação Humano Computador
Preparando a avaliação
• Avaliações bem planejadas são dirigidas por metas claras e perguntas adequadas.
• Check list para auxílio de avaliadores:
1. Determinar as metas que a avaliação irá abordar.
2. Explorar as questões específicas a serem respondidas.
3. Escolher o paradigma de avaliação e as técnicas de respostas para as perguntas.
4. Identificar questões práticas que devem ser abordadas, como a seleção dos participantes.
5. Decidir como lidar com questões éticas.
6. Avaliar, interpretar e apresentar os dados.