aga bojko - neuroux: smoke and mirrors or the future of ux research

smoke and mirrorsor the future ofuser experience research?

@agabojkoneuroUX

Aga Bojko, GfK User Centric

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

“you should talk about the future of UX”

Imag

e S

ourc

e: h

ttp://

talip

sism

an.d

evia

ntar

t.com

/art/

Futu

re-C

ity-1

8267

5382

neljapäev, 29. november 12

yeah OK, let me just get my crystal ball…

neljapäev, 29. november 12

emerging UX research methods

neljapäev, 29. november 12

what about old-school research methods?

neljapäev, 29. november 12

observing what people do

neljapäev, 29. november 12

listening to what people say

neljapäev, 29. november 12

user testing = foundation of UX research

neljapäev, 29. november 12

but the UX field is maturing…

neljapäev, 29. november 12

people have many options

neljapäev, 29. november 12

people have many options

neljapäev, 29. november 12

people have many options

neljapäev, 29. november 12

same product, different brands

neljapäev, 29. november 12

usability is not enough to win the race

neljapäev, 29. november 12

experiences must exceed expectations

neljapäev, 29. november 12

but how do we measure that?

neljapäev, 29. november 12

what do users think? how do they feel?

neljapäev, 29. november 12

UX researchers are digging deeper

neljapäev, 29. november 12

starting to use sophisticated instruments

neljapäev, 29. november 12

to understand biological reactions

neljapäev, 29. november 12

recognizing facial expressions

neljapäev, 29. november 12

measuring brain activity

neljapäev, 29. november 12

tracking users’ eye movements

neljapäev, 29. november 12

to better understand the user experience

neljapäev, 29. november 12

recognizing

facialexpressions

neljapäev, 29. november 12

why care about facial expressions?

neljapäev, 29. november 12

facial expressions indicate emotions

neljapäev, 29. november 12

facial expressions indicate emotions

neljapäev, 29. november 12

facial expressions indicate emotions

neljapäev, 29. november 12

from Charles Darwin to Paul Ekman

neljapäev, 29. november 12

facial action coding system (FACS)

neljapäev, 29. november 12

FACS affect interpretation dictionary

Anger: 4+5+7+23Disgust: 9+15+16Fear: 1+2+4+5+20+26Happiness: 6+12Sadness: 1+4+15Surprise: 1+2+5B+26Contempt: R12A+R14A

neljapäev, 29. november 12

facial electromyography (fEMG)

Imag

e S

ourc

e: h

ttp://

ww

w.e

mg-

eeg.

com

/tag/

beyi

n-da

mar

-ultr

ason

u

neljapäev, 29. november 12

video-based solutions are less intrusive

neljapäev, 29. november 12

EmoVision dashboard

Imag

e S

ourc

e: h

ttp://

third

sigh

t.co/

prod

ucts

/em

ovis

ion/

neljapäev, 29. november 12

FaceReader dashboard

Imag

e S

ourc

e: h

ttp://

ww

w.n

oldu

s.co

m/h

uman

-beh

avio

r-re

sear

ch/p

rodu

cts/

face

read

er

neljapäev, 29. november 12

neljapäev, 29. november 12

requires stable head (no talking!)

neljapäev, 29. november 12

no face touching

neljapäev, 29. november 12

doesn’t work well with glasses

neljapäev, 29. november 12

facial hair can be a problem

neljapäev, 29. november 12

needs more lighting than usual

neljapäev, 29. november 12

recognizes simple & strong expressions

neljapäev, 29. november 12

recognizes simple & strong expressions

neljapäev, 29. november 12

…but participants’ expressions are subtle

neljapäev, 29. november 12

measuring

brainactivity

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

brain parts map to cognitive functions

neljapäev, 29. november 12

fMRI = functional magnetic resonance imaging

neljapäev, 29. november 12

fMRI machine = giant donut magnet

neljapäev, 29. november 12

loud and you can’t move

neljapäev, 29. november 12

the control room

Imag

e S

ourc

e: h

ttp://

ww

w.n

ews.

wis

c.ed

u/ne

wsp

hoto

s/da

vids

on08

.htm

l

neljapäev, 29. november 12

the control room

Imag

e S

ourc

e: h

ttp://

ww

w.n

ews.

wis

c.ed

u/ne

wsp

hoto

s/da

vids

on08

.htm

l

neljapäev, 29. november 12

the brain is always on

neljapäev, 29. november 12

to learn anything, we must subtract

Imag

e S

ourc

e: h

ttp://

ww

w.b

aars

-gag

e.co

m/

neljapäev, 29. november 12

if we want to see where emotions live…

neljapäev, 29. november 12

Image S

ource: http://ww

w.baars-gage.com

/

neljapäev, 29. november 12

neljapäev, 29. november 12

coke vs. pepsi fMRI study

Imag

e S

ourc

e: h

ttp://

ww

w.m

oder

ncan

certr

eatm

ents

.com

/hea

rt-he

alth

/

neljapäev, 29. november 12

published in “neuron” in 2004

Article Source: http://www.sciencedirect.com/science/article/pii/S0896627304006129

neljapäev, 29. november 12

Image Source: http://www.yalescientific.org/2011/05/your-brain-on-food

what participants saw and tasted

neljapäev, 29. november 12

how did the brain react?

?

neljapäev, 29. november 12

how did the brain react?

brand-cued brain activity

hippocampus DLPFC

light-cued brain activity-[ [ [[ =

neljapäev, 29. november 12

pepsi = taste coke = taste + brand

neljapäev, 29. november 12

who uses fMRI to understand users?

neljapäev, 29. november 12

who uses fMRI to understand users?

neljapäev, 29. november 12

who uses fMRI to understand users?

neljapäev, 29. november 12

who uses fMRI to understand users?

neljapäev, 29. november 12

low temporal resolution (slow)

neljapäev, 29. november 12

subjects can’t move

Image Source: http://www.newswise.com/articles/intervention-helps-children-with-sickle-cell-disease-complete-mri-tests-without-sedation

neljapäev, 29. november 12

costs $1 to 5 million

neljapäev, 29. november 12

weighs 5 – 10 tons

Imag

e S

ourc

e: h

ttp://

prac

tical

fmri.

blog

spot

.com

/201

2/05

/3-t-

gets

-new

-hom

e.ht

ml

neljapäev, 29. november 12

not very portable

Imag

e S

ourc

e: h

ttp://

prac

tical

fmri.

blog

spot

.com

/201

2/05

/3-t-

gets

-new

-hom

e.ht

ml

neljapäev, 29. november 12

not very portable

Imag

e S

ourc

e: h

ttp://

prac

tical

fmri.

blog

spot

.com

/201

2/05

/3-t-

gets

-new

-hom

e.ht

ml

neljapäev, 29. november 12

EEG = electroencephalography

Imag

e S

ourc

e: h

ttp://

stop

czyn

ski.c

om/c

ateg

ory/

unca

tego

rized

/

neljapäev, 29. november 12

electrical activity of the brain (raw data)

neljapäev, 29. november 12

“doesn’t show valence”

neljapäev, 29. november 12

but showing valence seems to be possible

neljapäev, 29. november 12

cheaper and more portable than fMRI

neljapäev, 29. november 12

better temporal resolution (real-time)

neljapäev, 29. november 12

conductive gel but no hair gel

Imag

e S

ourc

e: h

ttps:

//sha

re.s

andi

a.go

v/ne

ws/

reso

urce

s/ne

ws_

rele

ases

/bra

in_s

tudy

/

neljapäev, 29. november 12

emotiv headset (dry EEG)

Imag

e S

ourc

e: h

ttp://

ww

w.fu

elyo

urpr

oduc

tdes

ign.

com

/min

d-co

ntro

l-is-

the-

next

-use

r-in

terfa

ce/

neljapäev, 29. november 12

poor spatial resolution (best for surface)

neljapäev, 29. november 12

we must bridge the gap

neljapäev, 29. november 12

eyetracking

neljapäev, 29. november 12

neljapäev, 29. november 12

neljapäev, 29. november 12

way back when

neljapäev, 29. november 12

NOW: misleadingly easy a lot of misuse

neljapäev, 29. november 12

why do the eyes move?

neljapäev, 29. november 12

it’s all about the fovea

neljapäev, 29. november 12

eyes move to bring things into focus

neljapäev, 29. november 12

looking (foveating) ≈ paying attention

neljapäev, 29. november 12

Tobii T60 (remote eye tracker)

neljapäev, 29. november 12

Tobii X60 + mobile stand

neljapäev, 29. november 12

Tobii eye tracking glasses

neljapäev, 29. november 12

SMI eye tracking glasses

Imag

e S

ourc

e: h

ttp://

ww

w.e

yetra

ckin

g-gl

asse

s.co

m/g

alle

ry/

neljapäev, 29. november 12

SMI eye tracking glasses

neljapäev, 29. november 12

faceLAB from Seeing Machines

Imag

e S

ourc

e: h

ttp://

ww

w.s

eein

gmac

hine

s.co

m/p

dfs/

broc

hure

s/fa

ceLA

B-5

.pdf

neljapäev, 29. november 12

pupil vs. corneal reflection

neljapäev, 29. november 12

heatmaps are not for analysis

neljapäev, 29. november 12

gaze plots are for qualitative analysis

neljapäev, 29. november 12

neljapäev, 29. november 12

gaze plots are for qualitative analysis

neljapäev, 29. november 12

gaze plots are for qualitative analysis

neljapäev, 29. november 12

gaze plots are for qualitative analysis

neljapäev, 29. november 12

measures are for quantitative analysis

neljapäev, 29. november 12

Eye tracking

MEASURES OF

Area noticeabilit

Percentage of participants who noticed an AOINumber of

Area interest

Number of fixations on an AOITotal dwell time

Emotional arousal

Pupil diameter

MEASURES OF

Mental workload

Pupil diameter

Cognitive processing

Average fixation duration

Target findability

Time to 1st fixation on the targetNumber of

Target recognizabi

Time from 1st fixation on target to clickNumber of visits

practical classification of measures

neljapäev, 29. november 12

time to 1st fixation = noticeability measure

neljapäev, 29. november 12

120

pupil size = emotional arousal measure

neljapäev, 29. november 12

121

pupil size = emotional arousal measure

neljapäev, 29. november 12

2 3

6

8

10 9

1

5

4

7

11

ave fixation length = processing measure

neljapäev, 29. november 12

ave fixation length = processing measure

neljapäev, 29. november 12

mascara can be confused with the pupil

neljapäev, 29. november 12

droopy eyelids can cover the pupil

neljapäev, 29. november 12

glasses extra reflections & shadows

neljapäev, 29. november 12

air bubbles can cause multiple reflections

neljapäev, 29. november 12

dynamic content long analysis

Imag

e S

ourc

e: h

ttp://

ww

w.fl

ickr

.com

/pho

tos/

smie

yetra

ckin

g/68

6909

4229

/in/p

hoto

stre

am

neljapäev, 29. november 12

mobile devices can be hard to track

Imag

e S

ourc

e: h

ttp://

ww

w.w

ebus

abili

ty.c

o.uk

/wha

t-we-

do/m

obile

-test

ing/

neljapäev, 29. november 12

EEG + eye tracking

neljapäev, 29. november 12

EEG + eye tracking

neljapäev, 29. november 12

what doesit all mean for us?

neljapäev, 29. november 12

be careful…

neljapäev, 29. november 12

…but inquisitive and unafraid

neljapäev, 29. november 12

let’s cautiously embrace it

@agabojkoneuroUX

Questions?abojko@usercentric.com

neljapäev, 29. november 12