experiencias en investigación con usuarios. aprender de los errores

Os voy a contar lo que nunca se cuentaEspero que os sirva

Experiencias en investigación

con usuariosAprender de los errores

Mari-Carmen Marcos

Universitat Pompeu Fabra

mcmarcos.com

@mcmarcos

¡Ah, eres investigadora ¿Y qué investigas?

Estudio el comportamiento de las personas con la tecnología con el fin de proponer mejoras en sus interfaces.

¿En serio? ¿Eso se estudia?

Interacción Persona-Ordenador (HCI)

Arquitectura de la información

Usabilidad

…

Mejorar la Experiencia de Usuario

¡Claro! Forma parte de la disciplina llamada HCI, y hay muchos profesionales que se dedican a ello

¿Y cómo se puede saber cómo se comportan las personas

Hay distintas técnicas:

• Observacionales: sin manipulación de las

variables

Ej. Estudios etnográficos

• Experimentales: controlamos todas las

variables

Ej. Tests entornos médicos

• Quasi-experimentales: controlamos las

variables dependientes pero no todas las

independientes

Ej. Estudios de usabilidad

¿Y hay que saber muchas matemáticas para hacer esos estudios?

Depende del tipo de datos que recojas y de lo que pretendas hacer con ellos

Cualitativos

• No implican cálculos estadísticos

• Requieren tiempo

• A menudo son exploratorios, como

base de un estudio cuantitativo

Cuantitativos

• Responden a preguntas muy concretas

• Aplican cálculos estadísticos

• Requieren un alto control en el diseño

del experimento

No sé si lo he entendido…

Cualitativos Cuantitativos

HeurísticaRec. Cognit.

Encuesta

Test de usuarios

Analítica (Logs)

EntrevistaFocus groupObserv. Etnogr.

Mejor te hago un esquema

¿Y cuál es tu técnica preferida?

Cualitativos Cuantitativos

HeurísticaRec. Cognit.

Encuesta

Test de usuarios

Analítica (Logs)

EntrevistaFocus groupObserv. Etnogr.

+ Eye tracking

No sé si preferida, pero la que más he utilizado es el test de usuarios.

Y de eso voy a hablar

Bueno… yo me he equivocado muchas veces… de hecho eso es lo que hoy os voy a contar.

¿Y hacer estos tests con usuarios es difícil?

¡Buenos días!

Experiencias en investigación

con usuarios

Aprender de los errores

Fases de investigación

• Planificación

• Preparación

• Ejecución

• Análisis

• Publicación

• Presentación

Las posibilidades de equivocarnos están en cada paso de la investigación

Planificar bien el estudio es básico.

Lo que ahora se haga mal, repercutirá en los resultados

Planificación

Planificación

1. Centrarse en el foco, simplificar el

estudio

Planificación

1. Centrarse en el foco, simplificar el

estudio

Test Google Barcelona-Dubai

1. Cultura de los

usuarios

2. Tipos de resultados

3. Tipos de snippets

4. Posición

5. Relevancia

6. Temática

7. Éxito

Planificación

1. Centrarse en el foco, simplificar el

estudio

Test Google Barcelona/Dubai

Planificación

1. Centrarse en el foco, simplificar el

estudio

Test Google Barcelona/Dubai

¿Hacían falta tantas

variables?

Planificación

2. Objetos de estudio comparables

Planificación

2. Objetos de estudio comparables

Test Google Barcelona-Dubai

Idioma de la interfaz

¡Testear en inglés en Barcelona!

Planificación

3. Muestra comparable

Test Google Barcelona-Dubai

Planificación

3. Muestra comparable

Test Google Barcelona-Dubai

Hombres / Mujeres

¡Ampliar la muestra de

hombres en Dubai!

Planificación

4. Aleatoriedad y/o rotación

Planificación

4. Aleatoriedad y/o rotación

Test Legibilidad

Texto Inicio Texto Final

Planificación

4. Aleatoriedad y/o rotación

Test Legibilidad

Texto Inicio Texto Final

Rotar las tareas

¡La atención decae!

Planificación

4. Aleatoriedad y/o rotación

Test Legibilidad y layout

Planificación

4. Aleatoriedad y/o rotación

Test Legibilidad y layout

Orden de variables en cada

página

¡Repetir los tests!

Planificación

5. Redacción de las tareas

Planificación

5. Redacción de las tareas

Planificación

6. Recursos técnicos necesarios

Test TV Conectada

La planificación del test requiere un gran control de todo en el laboratorio

No podemos arriesgarnos a perder usuarios

Planificación

6. Recursos técnicos necesarios

Test TV Conectada

El campus no tiene antenaTV

¡Comprar antena exterior!

Planificación

7. Imprevistos en la tecnología

Test TV Conectada

Planificación

7. Imprevistos en la tecnología

Test TV Conectada

Infrarrojos interfieren

¡Aislar los rayos!

Planificación

8. Usuarios que nos dejan plantados

Usuarios en reserva

Tareas: revisar, pasar a limpio,

backup…

AnálisisEl análisis de los datos recogidos es un momento clave que requiere rigurosidad y meticulosidad para que los resultados sean válidos científicamente.

Análisis

1. Requerimientos técnicos

Test TV Conectada

- Tarjeta gráfica

- Disco duro

- RAM

Análisis

2. Calcular el tiempo

Test TV Conectada

Ficheros pesados Marcado

manual

…

Análisis

3. Escoger el test estadístico apropiado

Análisis

3. Escoger el test estadístico apropiado

¿Cómo son los datos? Frecuencias o valores

- Frecuencias: ej. tasa de éxito en resolver una

tarea (eficacia)

- Valores: tiempo invertido para terminar la

tarea (eficiencia)

Análisis

3. Escoger el test estadístico apropiado

¿Cuántas variables manejas? 1, 2 o más

Análisis

3. Escoger el test estadístico apropiado

¿Qué diseño has aplicado? Correlacional o

Experimental

- Correlacional: cuando una variable aumenta

la otra también o al revés, ej. Tiempo en

SERP y ratio de éxito

- Experimental: testear dos condiciones, ej.

iOS y Android

Análisis

3. Escoger el test estadístico apropiado

¿Los datos siguen una distribución normal?

Paramétricos o no

Análisis

3. Escoger el test estadístico apropiado

¿Los mismos usuarios están sometidos a dos

entornos? Medidas repetidas o independientes

- Repetidas: el mismo usuario hace el test en

PC y en móvil

- Independientes: unos usuarios hacen el test

con PC y otros con móvil

Análisis

3. Escoger el test estadístico apropiado

Jeff Sauro

- http://www.measuringusability.com/

- A Practical Guide to Measuring Usability

(2010)

- Calculadora Excel

Jeff Sauro y Jim Lewis

- Quantifying the User Experience: Practical

Statistics for User Research (2012)

Publicación y presentación

Finalmente, la forma de presentar el estudio debe ser adecuada al público al que se dirige

Publicación y presentación

1. Estilo adecuado al medio y al público

Test TV Conectada

- Workshop sobre Eye tracking

- Workshop sobre UX y TV

- Seminario UPF metodologías

- Artículo de revista

- Blog

Presentación y difusión

2. Escritura adaptada

Test TV Conectada

Presentación y difusión

2. Escritura adaptada

Y estos son los errores que me han hecho aprender…

Equivocarse es de sabios ¿no? Incluso los grandes se equivocan

Y estos son los errores que me han hecho aprender…

Equivocarse es de sabios ¿no? Incluso los grandes se equivocan

¿Y puedo leer algunos de estos estudios?

Sí, claro, te paso los últimos, de 2010 a 2013. Casi todos están en mi web

MULTICULTURALIDAD• Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify Cultural

Differences in Information Seeking Behavior. Workshop “Many People, Many Eyes”. CHI'13, April 27-May 2, 2013, Paris, France.

LEGIBILIDAD• Rello, Luz; Marcos, Mari-Carmen. An Eye Tracking Study on Text Customization for User Performance and Preference.

LA-Web 2012 (Cartagena, Colombia, October 2012).

TV CONECTADA• Marcos, Mari-Carmen; Mansilla, Verónica. Video on Demand: Usability Challenges for Connected TV. Workshop Living

Room Experience: Exploring and Enhancing the User Experience for Television. CHI'13, April 27-May 2, 2013, Paris, France.

• Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 - Tobii Eye Tracking Conference on User Experience (Barcelona, 25-26 April 2012).

• Mansilla, Verónica; Marcos, Mari-Carmen. User experience en Televisión Conectada: un estudio con usuarios. El Profesional de la Información, 22:2, marzo-abril 2013.

BUSCADORES• Marcos, Mari-Carmen; Nettleton, David; Sáez, Diego. Evaluation of User Search Behaviour using a Web Search Log and

Eye Tracking data. Proceedings of the BCS HCI 2012, People & Computers XXVI (Birmingham, UK), 262-267.• Marcos, Mari-Carmen. An Eye Tracking Study on Interaction in Search Engines. EyeTrackUX 2011 - Tobii Eye Tracking

Conference on User Experience (Londres, 9-10 Julio 2011). Abstract (full paper non-published)• González-Caro, Cristina; Marcos, Mari-Carmen. Different Users and Intents: An Eye-tracking Analysis of Web Search. In:

King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining(Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011. (Disponible online en la web de Yahoo! Research)

• Marcos, Mari-Carmen; González-Caro, Cristina. El comportamiento de los usuarios en la página de resultados de los buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, julio-agosto 2010, 348-358.

¿Preguntas?

¡Muchas gracias!

Mari-Carmen Marcos

Universitat Pompeu Fabramcmarcos.com

@mcmarcos