retail reinvented college week 5, 14 okt fons van kesteren
DESCRIPTION
Retail Reinvented college week 5, 14 okt Fons van Kesteren. Testen. Testen. Drie oude chinezen. Zhuang Zi Han Fei Confucius. HVA=University of Applied Sciences. testverslag. - PowerPoint PPT PresentationTRANSCRIPT
Retail Reinventedcollege week 5, 14 okt
Fons van Kesteren
Testen
Testen
Drie oude chinezen
Zhuang Zi Han Fei Confucius
HVA=University of Applied Sciences
testverslag
• %$(**^$^%@*%$^%$#()^%##%!%$#W%^$^%&^#%#^%$@#^%$#^%$*$^%%^#%$&^%(^%#%^%$@!)(&^$^$#)&^@(_*&$#$#!^%%@&(*^*^%#&^_)(&(*%^#W%$#@&)_*(%$%@#*&+_()*^&%^#@^&_)(*^*^%@^%#%^$&)&^^&$%@*&)_)(*%@%$*&$%$^@^%$*^%$&#^%@%$!^$^%)*(^_(*&(^$#@&%^$(*&^(&%&$%@&)&%)(*&)*%%@^%*&_(&(*%%$@%$#@*^(*^&$@%$$&*%#^%$#%$(*&^(_^%$%@^%^_*^&$#^&(&)&^)(*&%#^$$%#@^(&%&$%#*^%)^
testverslag
Redenen voor het schrijven van een testverslag
• De resultaten en conclusies overdraagbaar naar anderen
collega’s, opdrachtgever, docenten
• Structuur in je eigen denkproces
Hst 1: Inleiding
• Waarom ? Om de lezer en jezelf inzicht te verschaffen in het doel van de test en de vragen die je wilt beantwoorden.
Hst 1: Inleiding §1 Aanleiding
Briefing/Debriefing, user requirements list, concept resentatie:
Wensen en eisen met betrekking tot je product.
• Experience goals
• End goals
• Live goals
Opdracht: schrijf op: drie eisen mbt jou product
• “Alleen de allerslimsten en de allerdomsten veranderen nooit van mening.”
Hst 1: Inleiding §2 Testvragen/testdoelen
• Wensen en eisen met betrekking tot je product In vraagvorm:
1. Is mijn applicatie ‘leuk’ om te gebruiken?
2. Is mijn applicatie gebruiksvriendelijk?
3.Past mijn applicatie bij de doelgroep ‘jongeren 20-30’?
4.Geeft mijn adviesmodule een goed wijn advies?
Hst 2: methode
• Om duidelijk te maken hoe je de vragen gaat beantwoorden.
Hst 2: Methode
Hst 2: Methode
§1 keuze testmethode en technieken
§2 beschrijving van het prototype
§3 hoe het resultaat gemeten wordt
§4 gewenste resultaten/voorspellingen
§5 selectie van testpersonen
§6 testprocedure
Hst 2: Methode§1 keuze testmethode en technieken
Kwalitatief:
• Key-path scenario test
• Video/audio opname
• Hardop denken
• Eye tracking
• Interview
• Expert review
• …
Kwantitatief:
• A/B tests
• Google analytics
• Enquetes
• …
Hst 2: Methode§1 keuze testmethode en technieken
Test vragen:
1. Is mijn applicatie ‘’stimulerend’
om te gebruiken? (verhoogt het
conversie)
2. Is mijn applicatie
gebruiksvriendelijk?
3. Past mijn applicatie bij de
doelgroep ‘jongeren 20-30’?
4. Geeft mijn adviesmodule een
goed wijn advies?
Test Technieken
1. A/B test
Video observatie
2. Key-path scenario test
video observatie
interview
3. Snelle enquete onder
doelgroep
4. Domein expert review
Hst 2: Methode§2 beschrijving van het prototype
Wetenschappelijk: “operationalisatie van onafhankelijke variabelen”
Waar moet het prototype aan voldoen?
- Papieren prototype?
- Wireframes?
- Met of zonder vormgeving?
- Echt werkend of een simulatie?
=>
Wat wil je testen?
Hst 2: Methode§2 beschrijving van het prototype
Test vragen:
1. Is mijn applicatie ‘leuk’ om
te gebruiken?
2. Is mijn applicatie
gebruiksvriendelijk?
3. Past mijn applicatie bij de
doelgroep ‘jongeren 20-30’?
4. Geeft mijn adviesmodule
een goed wijn advies?
Kernmerken prototype
1. Werkend prototype
Vormgegeven
2. Wireframes, papieren
prototype,
werkend prototype zonder
vormgeving
3. Alleen vormgeving,
uitstraling
4. Papieren prototype
Beslisboo
NB: voor volledige documentatie of
prototype
verwijs naar bijlage
Hst 2: Methode§3 hoe het resultaat gemeten wordt
Wetenschappelijk: “operationalisatie van afhankelijke varabelen”
• Emotie -> beoordeling van gezichtuitdrukking
• Gebruiksvriendelijkheid -> aantal kliks, snelheid
• Inhoudelijke correctheid ->expert beoordeling, cijfer
Hst 2: Methode§3 hoe het resultaat gemeten wordt
Test vragen:
1. Is mijn applicatie ‘leuk’ om
te gebruiken?
2. Is mijn applicatie
gebruiksvriendelijk?
3. Past mijn applicatie bij de
doelgroep ‘jongeren 20-30’?
4. Geeft mijn adviesmodule
een goed wijn advies?
Operationalisatie
1. - Subjectieve beoordeling
video
door twee personen
- analytics van A/B test
2. - Het aantal keer dat
gebruiker van pad afwijkt,
en tijd tot einde van taak
- beoordeling
gezichtuitdrukking
3. Snelle enquetevraag: “voor
welke leeftijdsgroep denk je
dat dit is?”
4. Experts beoordelen de
kwaliteit van de adviezen
en geven een cijfer.
Hst 2: Methode§3 hoe het resultaat gemeten wordt
Kwaliteit van de meting:
• Validiteit
• Betrouwbaarheid
Hst 2: Methode[ §4 gewenste resultaten/voorspellingen ]
Niet noodzakelijk bij eerste tests
• Emotie -> beoordeling van gezichtuitdrukking -> postieve emoties af te lezen
• Gebruiksvriendelijkheid -> aantal kliks, snelheid-> maximaal drie kliks bij iedere taak
• Inhoudelijke correctheid ->expert beoordeling, cijfer-> minimaal een 8
Hst 2: Methode§5 selectie van testpersonen
Aantal testpersonen:
Kwalitatieve test : (keypathscenario/expertinterview/videoopbservatie)richtlijn: 2 - 5 testpersonen
Kwantitatieve test: ( A/B test, enquete)richtlijn 20+ ( van veel afhankelijk, statistiek )
Hst 2: Methode§5 selectie van testpersonen
!!!!!!!!!!!!!! De manier van selecteren doet er toe !!!!!!!!!!!!!
• Vrienden hebben vaak overeenkomstige meningen
• Studenten zijn hoog opgeleid
• Op zaterdag tref je vaker fun shoppers
Hst 2: Methode§6 testprocedure
• Waar wordt de test gedaan?
• Wanneer wordt de test gedaan?
• Welke vragen stel je de gebruiker?
• Hoe lang gaat de test duren?
• ….
Alles wat van invloed kan zijn op de interpretatie van de resultaten.
Hst 2: Methode
Alles wordt systematisch overdacht:
§1 keuze testmethode en technieken
§2 beschrijving van het prototype
§3 hoe het resultaat gemeten wordt
§4 gewenste resultaten/voorspellingen
§5 selectie van testpersonen
§6 testprocedure
Hst 2: Methode
• Wetenschappelijke methode?
• Nooit van gehoord.
Hst 3: Resultaten
Samenvatting van de feitelijke resultaten
Per onderszoeksmethode
Geen meningen of interpretaties
Zijn de voorspellingen uitgekomen
Kwalitatieve resultaten: belangrijke fragmenten, stills
Kwantitatieve resultaten: grafieken en tabellen
Hst 4: Resultaten
• Kwalitatieve resultaten: belangrijke fragmenten, stills
Is de app leuk
om te gebruiken?
Hst 4: Resultaten
• Kwantitatieve resultaten: grafieken en statistieken
[ Hst 4: Discussie ]*
[ Hst 4: Discussie ]*
• Verschillende interpretaties van de gevonden resultaten.
• “Waar mensen discussiëren,wordt iets over het hoofd gezien.”
Hst 5: Conclusies
Geef antwoord op de in de inleiding gestelde vragen !
o Eén voor één per vraag
Suggesties voor verder onderzoek
Consequenties voor ontwerp van het product
Han Fei ( 250 BC )
• Uitvinder van bureaucratie
• Iedereen is voor de wet gelijk
• Transparantie van bestuur
• Besturen door te straffen
en te belonen
Daarom
1.heeft het verslag de standaard hoofdstuk indeling?(inleiding, methode, resultaten, [discussie,] conclusie)
2.Worden er in de inleiding relevante vragen gesteld?
3.Worden in de conclusies de gestelde vragen beantwoord?(voor zover mogelijk)
==================================
Beloning: het testverslag kan inhoudelijk besproken worden.