presentación de powerpoint - hci...

Red Colaborativa para soportar los

procesos de enseñanza-aprendizaje

en el área de Interacción Humano -

Computador a nivel Iberoamericano

2º AÑO DE WEBINARS SOBRE HCI EN ESPAÑOL

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software

Dr. Freddy Alberto Paz EspinozaProfesor Asociado – Tiempo CompletoSección de Informática – Departamento de IngenieríaFacultad de Ciencias e IngenieríaPontificia Universidad Católica del PerúTeléfono: (01) 6262000 – Anexo: 5187Email: [email protected]

mailto:[email protected]

Introducción

• La usabilidad es actualmente un atributo de calidad importante para el éxito de las aplicaciones de software.

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

2

Métodos de Evaluación de Usabilidad


3

MÉTODOS DE INSPECCIÓN

MÉTODOS DE PRUEBA

EVALUACIÓN HEURÍSTICA

RECORRIDO COGNITIVO

LISTAS DE VERIFICACIÓN

PRUEBA DE LAPIZ Y PAPEL

PENSAMIENTO EN VOZ ALTA

TÉCNICAS DE INDAGACIÓN

MÉTODOS DE EVALUACIÓN DE

USABILIDAD

A. Holzinger, "Usability engineering methods for softwaredevelopers," Commun. ACM, vol. 48, pp. 71-74, 2005.

Cuantificar la Usabilidad


4

• Existen pocas técnicas que permiten cuantificar el nivel de usabilidad de las aplicaciones de software.

– Métricas de software.

– Cuestionarios.

– Propuestas independientes.

¿Por qué cuantificar la usabilidad?


5

El obtener un valor numérico sobre el nivel de usabilidad de un software …

• … permite realizar comparaciones de diferentes propuestas de diseño y determinar aquella interfaz que posee un mayor grado de usabilidad.

• … permite que una empresa pueda compararse con sus principales competidores.

Métricas de Software


6

• ISO/IEC 9126:1991 - Software enginnering — Product quality

Imagen extraída de: Al-Qutaish, R. (2009). An Investigation of the Weaknesses of the ISO 9126 International Standard. 2009 Second International Conference on Computer and Electrical Engineering, 1, 275-279.



7

• ISO/IEC 9126:1991 - Software enginnering — Product quality

Imagen extraída de: Al-Qutaish, R. (2009). An Investigation of the Weaknesses of the ISO 9126 International Standard. 2009 Second International Conference on Computer and Electrical Engineering, 1, 275-279.



8

• ISO/IEC 25000:2005 – Software Engineering –Software ProductQuality Requirements and Evaluation (SQuaRE) – Guide toSQUARE

• ISO/IEC 25010:2011 – Systems and Software Engineering –Systems and Software Quality Requirements and Evaluation(SQuaRE) – System and Software Quality Models



9

Imagen extraída de: http://estandarescalidadsoftware.blogspot.com/2013/09/iso-9126_13.html



10

• ISO/IEC 25023:2016 – Systems and software engineering – Systems and software QualityRequirements and Evaluation (SQuaRE) -Measurement of system and software productquality.

• ISO/IEC 25022:2016 – Systems and software engineering – Systems and software QualityRequirements and Evaluation (SQuaRE) –Measurement of quality in use

¿Qué es una métrica?


11

• Es una medida o conjunto de medidas destinadas a conocer o estimar el tamaño u otra característica de un software o un sistema de información, generalmente para realizar comparativas o para la planificación de proyectos de desarrollo.

Definición obtenida de: Fenton, N., & Bieman, J. (2014). Software metrics: a rigorous and practical approach. CRC press.

Ejemplo de métrica


12

ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

• Usability

–Understandability

• Tutorial Accessibility

• Tutorial Effectiveness


13

Metric name Tutorial accessibility

Purpose of the metric What portion of the tutorials can the user access?

Method of application Conduct a user test and observe user behavior.Count the number of functions that are adequately demonstrable in a tutorial and compare with the total number of functions that requires of a tutorial.

Measurement, formula and data element computations

X = A / BA = Number of functions operated successfully.B = Number of tutorials accessed.

Interpretation of measured value

0 <= X <= 1The closer to 1.0 is the better.

Metric scale type Absolute

Measure type A = CountB = CountX = Count / Count

Extraido de: ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

Tutorial Accessibility (1)


14


Metric name Tutorial accessibility

Input to measurement

User manualOperation (test) report

ISO/IEC 12207 SLCP Reference

5.3. Qualification testing5.4. Operation

Target audience User

Tutorial Accessibility (2)


15

Metric name Tutorial effectiveness

Purpose of the metric What portion of functions can the user operate successfully after a tutorial?

Method of application Observe the behavior of the user who is trying to see a tutorial. Observation may employ human cognitive action monitoring approach with video camera.

Measurement, formula and data element computations

X = A / BA = Number of functions operated successfully.B = Number of tutorials accessed.

Interpretation of measured value

0 <= X <= 1The closer to 1.0 is the better.

Metric scale type Absolute

Measure type A = CountB = CountX = Count / Count


Tutorial Effectiveness (1)


16


Metric name Tutorial effectiveness

Input to measurement

User manualOperation (test) report

ISO/IEC 12207 SLCP Reference

5.3. Qualification testing5.4. Operation

Target audience User

Tutorial Effectiveness (2)

¿Cuántas métricas proporciona la ISO?


17

Atributo Sub-atributo

Cantidad de métricas

ISO/IEC 9126-2(External metrics)

ISO/IEC 9126-3(Internal metrics)

Usability

Understandability 8 4

Learnability 6 1

Operability 13 10

Attractiveness 2 2

Usability compliance 1 1

TOTAL 30 18



18

Atributo


ISO/IEC 9126-4(Quality in use metrics)

Satisfaction 3



19



ISO/IEC 25023:2016(Measurement of

system and software product

quality)

Usability

Appropriateness recognizability 3

Learnability 4

Operability 9

User error protection 3

User interface aesthetics 1

Accessibility 2

TOTAL 22



20

Definición obtenida de: Fenton, N., & Bieman, J. (2014). Software metrics: a rigorous and practical approach. CRC press.



ISO/IEC 25022:2016(SQUARE

measurement)

Satisfaction

Usefulness 6

Trust 1

Pleasure 1

Comfort 1

TOTAL 9

Cuestionarios


21

• Un cuestionario es una forma de obtener información de las personas. Los ítems en un cuestionario pueden ser preguntas abiertas, pero es más frecuente que sean de opción múltiple, con la posibilidad de seleccionar de un conjunto de alternativas o puntos en una escala de calificación.

Extraído de: Sauro, J., & Lewis, J. R. (2016). Quantifying the user experience: Practical statistics for user research. Morgan Kaufmann.

Cuestionarios de Usabilidad


22

• Actualmente, los cuestionarios estandarizados de usabilidad ampliamente más utilizados para la evaluación de la percepción de usabilidad que pueden ser aplicados al final de un estudio (es decir, después de completar un conjunto de escenarios) son:– The Questionnaire for User Interaction Satisfaction (QUIS).

(Chin et al., 1988).

– The Software Usability Measurement Inventory (SUMI). (Kirakowski and Corbett, 1993).

– The Post-Study System Usability Questionnaire (PSSUQ).

(Lewis, 1990).

– The System Usability Scale (SUS). (Brooke, 1996).



23

• Asimismo, existen cuestionarios que han sido diseñados para una administración inmediata seguido de la realización de una tarea o escenario de prueba que es parte de un estudio más largo:

– The After-Scenario Questionnaire (ASQ) (Lewis, 1990).

– Expectation Ratings (ER) (Albert and Dixon, 2003).

– Usability Magnitude Estimation (UME) (McGee, 2003).

– The Single Ease Question (SEQ) (Sauro, 2010).

– The Subjective Mental Effort Question (SMEQ) (Sauro and Dumas, 2009).



24

• Después de que la Web comenzó a alcanzar su popularidad como un media para transmitir información y conducir comercio, fueron diseñados cuestionarios más específicos para la evaluación de sitios web:

– Website Analysis and Measurement Inventory (WAMMI) (Kirakowski and Cierlik, 1998).

– Standarized User Experience Percentile Rank Questionnaire(SUPR-Q) (Sauro, 2011).

System Usability Scale (SUS)


25

• Fue desarrollado en 1986 por John Brooke.

• Es un cuestionario con 10 ítems, cada uno con una escala de cinco. Los ítems impares tienen un tono positivo, mientras que el tono de los ítems pares es negativo.

• De acuerdo con Brooke, los participantes deben completar el SUS después de haber utilizado el sistema bajo evaluación, y antes de cualquier interrogación o discusión.



26

Imagen extraída de: Sauro, J., & Lewis, J. R. (2016). Quantifying the user experience: Practical statistics for user research. Morgan Kaufmann.



27

• Para el cálculo del puntaje final del nivel de usabilidad se requiere que los participantes proporcionen una respuesta a todos los 10 ítems.

• El primer paso es determinar el puntaje obtenido en cada ítem, que variará desde 0 a 4.

• Para los ítems escritos de forma positiva (impares), el puntaje es la posición de la escala menos 1

• Para los ítems escritos de forma negativa (pares), el puntaje es 5 menos la posición de la escala

• Para obtener el puntaje final, se multiplica la suma de los puntajes obtenidos en cada ítem por 2.5. De esta manera, el puntaje total variará desde 0 hasta 100.

( )1ix −

( )5 ix−

Otros cuestionarios de interés


28

• Computer System Usability Questionnaire (CSUQ).

• Usefulness, Satisfaction, and Ease-of-Use (USE).

• Hedonic Quality (HQ).

• Emotional Metric Outcomes (EMO).

• American Satisfaction Index (ACSI).

• Net Promoter Score (NPS).

• Forrester Customer Experience Index (CxPI).

• Technology Acceptance Model (TAM).

Pruebas de Usabilidad


29

• A través de las pruebas de usabilidad también es posible obtener datos cuantitativos.

Otros propuestas de cuantificación


30

• Granollers, T. (2016). Validación experimental de un conjunto heurístico para evaluaciones de UX de sitios web de comercio-e. In 2016 IEEE 11th ColombianComputing Conference (CCC) (pp. 1-8). IEEE.

Referencias


31

• Chin. J.P., Diehl, V.A., Norman, K.L., 1988. Development of an instrumentmeasuring user satisfaction of the human-computer interface. In: Proceedings of the CHI 1988, ACM, Washington, DC, pp. 213-218.

• Kirakowski, J., Corbett, M., 1993. SUMI: the Software Usability MeasurementInventory. Br. J. Educ. Technol. 24, 210-212.

• Lewis, J.R. 1990. Psychometric evaluation of a post-study system usabilityquestionnaire: The PSSUQ (Tech. Report 54.535), International Business Machines Corp, Boca Raton, FL.

• Brooke, J. 1996. SUS: A 'quick and dirty’ usability scale. In: Jordan, P., Thomas, B., Weerdmeester, B. (Eds.), Usability Evaluation in Industry. Taylor & Francis, London, UK, pp. 189-194.

• Lewis, J.R. 1990. Psychometric evaluation of an after-scenario questionnairefor computer usability studies: the ASQ (Tech. Report 54.541). International Business Machines Corp., Boca Raton, FL.

Referencias


32

• Albert, W., Dixon, E., 2003. Is this what you expected? The use of expectationmeasures in usability testing. Paper presented at the Usability ProfessionalsAssociation Annual Conference, UPA, Scottdale, AZ.

• McGee, M., 2003. Usability magnitude estimation. In: Proccedings of theHuman Factors and Ergonomics Society 47th Annual Meeting, HFES, Santa Monica, CA, pp. 691-695.

• Sauro, J., 2010. If you could only ask one question, use this one. Availablefrom: www.measuringu.com/blog/extreme-items.php.

• Sauro, J., Dumas, J.S., 2009. Comparison of three one-question, post-taskusability metrics: evidence for the construct of usability. In: Proceedings ofCHI 2009, ACM, Boston, MA, pp. 1599-1608.

Grupo de Investigación - PUCP

• HCI – DUXAIT (https://investigacion.pucp.edu.pe/grupos/hci-duxait/)

– Grupo de investigación en HCI, Diseño, Experiencia de Usuario, Accesibilidad e Innovación Tecnológica.


33

Pontificia Universidad Católica del Perú

https://investigacion.pucp.edu.pe/grupos/hci-duxait/

presentación de powerpoint - hci...

Documents