muligheder for samspil mellem usability-evaluering og interaktionsdesign af jan stage, aau
TRANSCRIPT
Muligheder for samspil mellemusability-evaluering og interaktionsdesign
Jan Stage
Professor, PhD
Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI)
Aalborg Universitet, Institut for Datalogi, HCI-Lab
2Institut for Datalogi2
• Introduktion
• Feedbackformer
• Usabilityrapporten
• Andre feedbackformer
• Opsummering
Oversigt
3Institut for Datalogi3
• Introduktion
• Aktiviteter i en usability-evaluering
• Samspil i systemudvikling
• Organisering i praksis
• Feedbackformer
• Usabilityrapporten
• Andre feedbackformer
• Opsummering
Oversigt
4Institut for Datalogi
Aktiviteter i en usability-evaluering
• Form: formative/summative• I udviklingsprocessen:
• Eksplorativ• Vurdering• Validering• Sammenligning
• Deltagere og roller• Sted og udstyr
• Genskabelse af kontekst• Informering af deltagerne• Fordel roller i teamet• Klargør udstyr• Opgaveudarbejdelse• Fremstilling af materialer
• Tidsforbrug• Videoanalyse• Transskribering af logfiler• Identifikation af problemer• Kategorisering af problemer
Testplan:• Formål• Hovedspørgsmål• Brugerprofil• Deltagere og roller• Testmetoder• Opgaver• Kontekst og udstyr• Dataindsamling• Formidlingsform
For hver deltager:• Introduktion• Opgaveløsning• Dataindsamling• Logning• Debriefing
• Rapport (komplet)• Rapport (fokuseret)• Redesignforslag• Redesign workshop• Observation • Multimedia præsentation
Opgavedefinering
Planlægning
Forberedelse
Udførelse
Fortolkning
Formidling
5Institut for Datalogi
Samspil i systemudvikling
Commission statement
Design products
User interaction design Development
management
Evaluation products
Usability evaluation Recommendations
6Institut for Datalogi
Organisering i praksis
• The evaluators are integrated in the development teams and conduct evaluations as part of the work in the team
• The evaluators form a separate organizational unit within the development organization, and they conduct evaluations as a service to development teams
• The evaluators are employed by a different organization, and evaluations are outsourced from the development organization to this organization
• Increased detachment requires more formalized feedback
7Institut for Datalogi7
• Introduktion
• Feedbackformer
• Oversigt
• Usabilityrapporten
• Andre feedbackformer
• Opsummering
Oversigt
8Institut for Datalogi
Feedbackformer: oversigt
• Usability-rapport
• Fokuseret rapport
• Multimedie-præsentation med problemer
• Workshops med evaluatorer og udviklere
• Udviklere observerer tests
• Forslag til redesign
9Institut for Datalogi9
• Introduktion
• Feedbackformer
• Usabilityrapporten
• Typisk rapport
• Erfaringer
• Andre feedbackformer
• Opsummering
Oversigt
10Institut for Datalogi
Usability-rapportrapport: Typisk indhold
• Definitionen af usability• Efficiency: task completion time• Effectiveness: tasks completed• Satisfaction: efterinterview
• Usability-problemer• Grundlag for at ændre systemet
13Institut for Datalogi
Erfaringer med usability-rapporter
• Ofte den eneste form for feedback
• Har den nogen effekt på udviklerne og/eller projektet?
• Vi lavede et studium af dette for nogle år siden:
Høegh, R. T., Nielsen, C. M., Overgaard, M., Pedersen, M. B. and Stage, J. (2006) The Impact of Usability Reports and User Test Observations on Developers’ Understanding of Usability Data: An Exploratory Study. International Journal of Human-Computer Interaction, 21(2):173-196.
14Institut for Datalogi
Conclusion
The developers were “forced” to read the reports
The reports were useful for the developers• in understanding the usability evaluation• as a basis for redesign and further development• as a means to prioritize redesign and development
For the developers the usability reports• did not alter their initial belief of the system's advantages to a great
extent• did expand their list and made them consider other topics• did clearly influence their conception of the weaknesses of the system
The reports enriched the developers with insight into how users interact with their product and what the strengths and weaknesses were
Information on test setup, users, tasks, and test users’ subjective opinions was important to the developers, but these are also the point of critique, when developers explain, why they find problems more or less real.
15Institut for Datalogi
Observations
How the developers were using the reports:
• A problem list (overview + detailed descriptions) is important to have and essential for the designers when trying to understand a problem
• Results on task completion time and NASA-TLX, that are not explained and put in context, are difficult for the designers to relate to
• Log-files of user interaction, based on video recordings combined with system-logs, are used and considered important by the developers to understand specific details of the usability problems
• General assessments and evaluations have limited usefulness for the developers
16Institut for Datalogi16
• Traditionelt betragtes evalueringsrapporten med en problemliste som den eneste form for feedback
• Der skelnes ikke mellem summativ og formativ evaluering – rapporten bruges i begge tilfælde og i samme form
• Rapporten afleveres, og så har evaluatorerne gjort deres arbejde
• Ryger typisk op på hylden og bliver ikke brugt ...
Usability-rapporten: andre erfaringer
17Institut for Datalogi17
• Introduktion
• Feedbackformer
• Usabilityrapporten
• Andre feedbackformer
• Fokusering
• Samarbejde
• Redesign
• Opsummering
Oversigt
18Institut for Datalogi18
• Udviklerne kan ofte kun nå at rette nogle af problemerne
• Derfor skal man prioritere og fokusere på de vigtigste problemer
• For eksempel kun de 10 vigtigste problemer
• Erfaring:• Giver mindre ”dårlig stemning” mellem evaluatorer og udviklere
• Multimedie-præsentation af deteljerede problemer
• Erfaring:• Tidskrævende at lave• Bruges ikke så meget
Fokusering
19Institut for Datalogi
Samarbejde
• Evaluatorer og udviklere arbejder sammen om at forstå og prioritere de fundne usability-problemer
• Udføres ofte som en workshop
• Erfaring:• Udviklerne har sværere ved at ignorere problemerne• Skaber god tillid
20Institut for Datalogi
Forslag til redesign
• Empirisk studium (USE-projektet)
• Sammenligning af problemlister og forslag til redesign
• Evaluatorerne genererede problemlister
• De lavede også forslag til redesign for de mest kritiske usability-problemer
• Problemer og redesignforslag blev vurderet af udviklerne
21Institut for Datalogi
Resultater
• Forslag til redesign er signifikant mere nyttige end de tilsvarende problembeskrivelser er alene
• For 77% af problemerne er redesignet mere nyttigt end problembeskrivelsen – for kun 15% er det modsat
• Giver bedre forståelse af usability-problemer og inpiration til nye løsninger
22Institut for Datalogi22
• Introduktion
• Feedbackformer
• Usabilityrapporten
• Andre feedbackformer
• Opsummering
Oversigt