experiencias en investigación con usuarios. aprender de los errores
DESCRIPTION
Charla dada en UXSpain 2013 (Valladolid)TRANSCRIPT
Os voy a contar lo que nunca se cuentaEspero que os sirva
Experiencias en investigación
con usuariosAprender de los errores
Mari-Carmen Marcos
Universitat Pompeu Fabra
mcmarcos.com
@mcmarcos
¡Ah, eres investigadora ¿Y qué investigas?
Estudio el comportamiento de las personas con la tecnología con el fin de proponer mejoras en sus interfaces.
¿En serio? ¿Eso se estudia?
Interacción Persona-Ordenador (HCI)
Arquitectura de la información
Usabilidad
…
Mejorar la Experiencia de Usuario
¡Claro! Forma parte de la disciplina llamada HCI, y hay muchos profesionales que se dedican a ello
¿Y cómo se puede saber cómo se comportan las personas
Hay distintas técnicas:
• Observacionales: sin manipulación de las
variables
Ej. Estudios etnográficos
• Experimentales: controlamos todas las
variables
Ej. Tests entornos médicos
• Quasi-experimentales: controlamos las
variables dependientes pero no todas las
independientes
Ej. Estudios de usabilidad
¿Y hay que saber muchas matemáticas para hacer esos estudios?
Depende del tipo de datos que recojas y de lo que pretendas hacer con ellos
Cualitativos
• No implican cálculos estadísticos
• Requieren tiempo
• A menudo son exploratorios, como
base de un estudio cuantitativo
Cuantitativos
• Responden a preguntas muy concretas
• Aplican cálculos estadísticos
• Requieren un alto control en el diseño
del experimento
No sé si lo he entendido…
Cualitativos Cuantitativos
HeurísticaRec. Cognit.
Encuesta
Test de usuarios
Analítica (Logs)
EntrevistaFocus groupObserv. Etnogr.
Mejor te hago un esquema
¿Y cuál es tu técnica preferida?
Cualitativos Cuantitativos
HeurísticaRec. Cognit.
Encuesta
Test de usuarios
Analítica (Logs)
EntrevistaFocus groupObserv. Etnogr.
+ Eye tracking
No sé si preferida, pero la que más he utilizado es el test de usuarios.
Y de eso voy a hablar
Bueno… yo me he equivocado muchas veces… de hecho eso es lo que hoy os voy a contar.
¿Y hacer estos tests con usuarios es difícil?
¡Buenos días!
Experiencias en investigación
con usuarios
Aprender de los errores
Fases de investigación
• Planificación
• Preparación
• Ejecución
• Análisis
• Publicación
• Presentación
Las posibilidades de equivocarnos están en cada paso de la investigación
Planificar bien el estudio es básico.
Lo que ahora se haga mal, repercutirá en los resultados
Planificación
Planificación
1. Centrarse en el foco, simplificar el
estudio
Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona-Dubai
1. Cultura de los
usuarios
2. Tipos de resultados
3. Tipos de snippets
4. Posición
5. Relevancia
6. Temática
7. Éxito
Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona/Dubai
Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona/Dubai
¿Hacían falta tantas
variables?
Planificación
2. Objetos de estudio comparables
Planificación
2. Objetos de estudio comparables
Test Google Barcelona-Dubai
Idioma de la interfaz
¡Testear en inglés en Barcelona!
Planificación
3. Muestra comparable
Test Google Barcelona-Dubai
Planificación
3. Muestra comparable
Test Google Barcelona-Dubai
Hombres / Mujeres
¡Ampliar la muestra de
hombres en Dubai!
Planificación
4. Aleatoriedad y/o rotación
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad
Texto Inicio Texto Final
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad
Texto Inicio Texto Final
Rotar las tareas
¡La atención decae!
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad y layout
Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad y layout
Orden de variables en cada
página
¡Repetir los tests!
Planificación
5. Redacción de las tareas
Planificación
5. Redacción de las tareas
Planificación
6. Recursos técnicos necesarios
Test TV Conectada
La planificación del test requiere un gran control de todo en el laboratorio
No podemos arriesgarnos a perder usuarios
Planificación
6. Recursos técnicos necesarios
Test TV Conectada
El campus no tiene antenaTV
¡Comprar antena exterior!
Planificación
7. Imprevistos en la tecnología
Test TV Conectada
Planificación
7. Imprevistos en la tecnología
Test TV Conectada
Infrarrojos interfieren
¡Aislar los rayos!
Planificación
8. Usuarios que nos dejan plantados
Usuarios en reserva
Tareas: revisar, pasar a limpio,
backup…
AnálisisEl análisis de los datos recogidos es un momento clave que requiere rigurosidad y meticulosidad para que los resultados sean válidos científicamente.
Análisis
1. Requerimientos técnicos
Test TV Conectada
- Tarjeta gráfica
- Disco duro
- RAM
Análisis
2. Calcular el tiempo
Test TV Conectada
Ficheros pesados Marcado
manual
…
Análisis
3. Escoger el test estadístico apropiado
Análisis
3. Escoger el test estadístico apropiado
¿Cómo son los datos? Frecuencias o valores
- Frecuencias: ej. tasa de éxito en resolver una
tarea (eficacia)
- Valores: tiempo invertido para terminar la
tarea (eficiencia)
Análisis
3. Escoger el test estadístico apropiado
¿Cuántas variables manejas? 1, 2 o más
Análisis
3. Escoger el test estadístico apropiado
¿Qué diseño has aplicado? Correlacional o
Experimental
- Correlacional: cuando una variable aumenta
la otra también o al revés, ej. Tiempo en
SERP y ratio de éxito
- Experimental: testear dos condiciones, ej.
iOS y Android
Análisis
3. Escoger el test estadístico apropiado
¿Los datos siguen una distribución normal?
Paramétricos o no
Análisis
3. Escoger el test estadístico apropiado
¿Los mismos usuarios están sometidos a dos
entornos? Medidas repetidas o independientes
- Repetidas: el mismo usuario hace el test en
PC y en móvil
- Independientes: unos usuarios hacen el test
con PC y otros con móvil
Análisis
3. Escoger el test estadístico apropiado
Jeff Sauro
- http://www.measuringusability.com/
- A Practical Guide to Measuring Usability
(2010)
- Calculadora Excel
Jeff Sauro y Jim Lewis
- Quantifying the User Experience: Practical
Statistics for User Research (2012)
Publicación y presentación
Finalmente, la forma de presentar el estudio debe ser adecuada al público al que se dirige
Publicación y presentación
1. Estilo adecuado al medio y al público
Test TV Conectada
- Workshop sobre Eye tracking
- Workshop sobre UX y TV
- Seminario UPF metodologías
- Artículo de revista
- Blog
Presentación y difusión
2. Escritura adaptada
Test TV Conectada
Presentación y difusión
2. Escritura adaptada
Y estos son los errores que me han hecho aprender…
Equivocarse es de sabios ¿no? Incluso los grandes se equivocan
Y estos son los errores que me han hecho aprender…
Equivocarse es de sabios ¿no? Incluso los grandes se equivocan
¿Y puedo leer algunos de estos estudios?
Sí, claro, te paso los últimos, de 2010 a 2013. Casi todos están en mi web
MULTICULTURALIDAD• Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify Cultural
Differences in Information Seeking Behavior. Workshop “Many People, Many Eyes”. CHI'13, April 27-May 2, 2013, Paris, France.
LEGIBILIDAD• Rello, Luz; Marcos, Mari-Carmen. An Eye Tracking Study on Text Customization for User Performance and Preference.
LA-Web 2012 (Cartagena, Colombia, October 2012).
TV CONECTADA• Marcos, Mari-Carmen; Mansilla, Verónica. Video on Demand: Usability Challenges for Connected TV. Workshop Living
Room Experience: Exploring and Enhancing the User Experience for Television. CHI'13, April 27-May 2, 2013, Paris, France.
• Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 - Tobii Eye Tracking Conference on User Experience (Barcelona, 25-26 April 2012).
• Mansilla, Verónica; Marcos, Mari-Carmen. User experience en Televisión Conectada: un estudio con usuarios. El Profesional de la Información, 22:2, marzo-abril 2013.
BUSCADORES• Marcos, Mari-Carmen; Nettleton, David; Sáez, Diego. Evaluation of User Search Behaviour using a Web Search Log and
Eye Tracking data. Proceedings of the BCS HCI 2012, People & Computers XXVI (Birmingham, UK), 262-267.• Marcos, Mari-Carmen. An Eye Tracking Study on Interaction in Search Engines. EyeTrackUX 2011 - Tobii Eye Tracking
Conference on User Experience (Londres, 9-10 Julio 2011). Abstract (full paper non-published)• González-Caro, Cristina; Marcos, Mari-Carmen. Different Users and Intents: An Eye-tracking Analysis of Web Search. In:
King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining(Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011. (Disponible online en la web de Yahoo! Research)
• Marcos, Mari-Carmen; González-Caro, Cristina. El comportamiento de los usuarios en la página de resultados de los buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, julio-agosto 2010, 348-358.
¿Preguntas?
¡Muchas gracias!
Mari-Carmen Marcos
Universitat Pompeu Fabramcmarcos.com
@mcmarcos