Päivi Majaranta esittelee:

Stampe, D. M., & Reingold, E. M. (1995),

Selection by looking: A novel computer interface and its application to psychological research.

J. M. Findlay, R. Walker, & R. W. Kentridge (Toim.), Eye movement research: Mechanisms, processes and applications (s. 467-478). Amsterdam: Elsevier Science Publishers.

Silmän käyttäytymisen tutkimus ja sovellukset

3.10.2000

2

Esityksen sisältö

• Johdanto: Motivointia (s. 3)

• Toteutusteknisiä asioita (s. 4)

• Testilaitteisto ja koeasetelma (s. 5)

• T1: Haku ja valinta (s. 6–8)

• T2: Katseella kirjoittaminen (s. 9-12)

• T3: Sanastollinen valintatehtävä (s. 13-17)

• Yleistä pohdintaa (s. 18)

• Päivin kommentit (s. 19)

3

Johdanto: Motivointia

• Katse syöttövälineenä -- tutkittavaa riittää

• vain vähän tutkimusta on tehty katseen käytöstä reaaliajassa– (psykologiset) testit ja tutkimus on keskittynyt katsedatan jälkianalysointiin

• vielä vähemmän tutkittu katseohjauksen psykologisia ja kognitiivisia vaikutuksia

• Stampe ja Reingold käsittelevät reaaliaikaisen katseenseurannan käytännöllisiä puolia, kuten

• kalibroinnin ajoaikainen korjaaminen (dynamic recentering)

• katse versus painikkeen painallus syötteenä

• katsesyötteen hyödyt tutkimuksessa

4

Toteutusteknisiä asioita

• Katse-vasteen rekisteröinti

• Viive laukaisijana (”dwell time”):– luonnollista – käyttäjä vain keskittyy kohteeseen, kunnes se tulee valituksi

– helppoa – yleensä opitaan ilman suurempaa harjoittelua

– 700ms riittää yksinkertaisiin tehtäviin, 1000ms useimpiin

• Katseen ajelehtimisen korjaaminen dynaamisesti

• ”Drift correction” ja ”Dynamic recentering”

• Oletetaan, että käyttäjä katsoo valittavan kohteen keskelle

• Tyypillisesti katseen ajelehtiminen (”drifting”) kasvaa hitaasti. Voidaan laskea oletetun virheen keskiarvo useista fiksaatiosta.

– Pienet variaatiot sallitaan.

• Katseen ajautuminen voidaan korjata dynaamisesti, käyttäjän huomaamatta

5

Testilaitteisto ja koeasetelma

• SR Research Ltd katseenseurantalaite videoteknologiaan perustuva, seuraa pupillia ja sarveiskalvoheijastetta

• Päähän puettava optiikka

• 21” monitori 75cm etäisyydellä käyttäjästä

• 12 koehenkilöä: 5 miestä, 7 naista, keski-ikä 25v

• 60 min sessio

• Testit samassa järjestyksessä kaikilla

• Kalibrointi ennen kutakin testiä

6

T1: Haku ja valinta

Testattiin

• fiksaatioiden tarkkuutta

• valinnassa tapahtuvia virheitä

• dynaamisen uudelleenkeskityksen toimivuutta

7

T1: Metodi

• Käyttäjien piti löytää kohdekirjain T, joka oli piilotettu O-kirjainten joukkoon

• kaikki kirjaimet olivat katseella valittavissa

• 3 asetelmaa

• neliön muotoinen ruudukko

• vaakarivi

• pystyrivi

• 124 testiä per koehenkilö

• Testien välillä ”yhden pisteen pikakalibrointi”

• Testin aikana dynaaminen keskitys

• Kohde valittiin 1000ms viiveellä

• 200ms tyhjä ruutu testien välillä

8

T1: Löydökset

• Dynaaminen korjaus käytössä

• kera: – fiksaatiovirhe: 0.38°– kirjoitusvirhe: 2.4%

• ilman: – fiksaatiovirhe: 0.51°– kirjoitusvirhe: 6.6%

• Asetelmissa eroja• vaakarivissä vähiten virheitä vaakatasossa mahdollista tiheämpi

asettelu kuin pystytasossa

• Fiksaatioiden määrä suurempi 2°:lla

9

T2: Katseella kirjoittaminen

Testattiin

• käyttäjien vaikutelmia

• virhetyyppejä

10

T2: Metodi

• 7x4 ruudukko, 1.2° kirjaimet 4° välein

• Ruudukon yläpuolella lähdeteksti ja sen alla käyttäjän kirjoittama rivi

• 750ms viipyminen valitsi kirjaimen

• kaikki fiksaatiot 4° etäisyydellä otettiin mukaan

• dynaamista korjausta käytettiin joka valinnan yhteydessä

• musta piste valinnan päällä 300ms ajan valinnan jälkeen– jos fiksaatio jatkui, sama kirjain tulostui uudelleen

• 3 testiä per koehenkilö

• mitä tahansa, esim. oman nimen kirjoittaminen

• 48 ja 44 merkkiä sisältävät annetut lauseet

• Kirjoitetut merkit ja peruutus (backspace) talletettiin

11

T2: Testinäyttö

F-kirjain on valittu, musta ympyrä antaa palautteen katseen kohteesta.

12

T2: Löydökset

• Käyttäjät pitivät katsekirjoittamisesta, mutta kokivat sen hitaammaksi kuin konekirjoituksen

• Suurin osa ajasta meni kirjaimen etsimiseen (60%)

• 40% varsinaiseen valitsemiseen (mukaan lukien 750ms kiinnitys)

• aika kirjainta kohden keskimäärin 1870ms

oletettavasti nopeutuu oppimisen myötä

• Virheet

• 0.36% valintavirheitä (fiksaatio osuu väärin)

• 0.29% kirjoitusvirheitä

• Valinta- eli fiksaatiovirheet vertikaalisesti, tuli valituksi väärä merkki halutun merkin ylä- tai alapuolelta

13

T3: Sanastollinen valintatehtävä

• Demonstroi katseella valitsemisen potentiaalista hyötyä psykologisissa tutkimuksissa

• Mittasi • reaktioaikoja• virheettömyyttä

katseella valitseminen vs. painikkeen painallus

14

T3: Metodi

• 5-kirjaimisia sanoja ja epäsanoja (words & nonwords)

• 144 sanaa, 144 epäsanaa, järjestys satunnainen

• epäsanat muodostettiin satunnaisesti oikeiden sanojen kirjaimista

• Katsevalinnassa näkyvissä sana + kaksi painiketta (WD ja NWD)

• Manuaalisessa valinnassa käytössä 3 fyysistä painiketta

• ylin: sana (WD)

• keskimmäinen: ”Start”, jota käytettiin myös katsevalinnan aloittamiseen

• alin: epäsana (NWD)

• Proseduuri:

• näytetään fiksaatiopistettä 300ms ajan

• näytetään sana tai epäsana

• jolloin koehenkilö valitsee WD tai NWD joko painiketta painamalla tai katseella (850ms kiinnitysaika)

15

T3: Testinäyttö

16

T3: Löydökset1

• Katsevalinnassa vähemmän virheitä pitkä kiinnitysaika salli käyttäjien korjata virheensä• Fiksaatioanalyysi osoittaa peruutuksen tapahtuneen 11.5% kokeista

• tyypillisesti 100ms

• peruutus voidaan havaita vain katsevalinnasta!

• Reaktioaika (RT) painike vs. katse ei poikkea merkitsevästi

• Epäsanaa (stimuluksena) katsottiin pidempään• Mahdollista mitata nimenomaan katsevalinnan yhteydessä!

Button Response Gaze Response

Condition Accuracy RT (ms) Accuracy RT (m) Time on Stimulus (ms)

Overall 97.9% 621 99.4% 660 476

Word 97.5% 603 99.4% 572 423

Nonword 98.3% 639 99.4% 750 531

17

T3: Löydökset2

• Katsevaste pystyy erottelemaan painikevalintaa paremmin erot sanan ja epäsanan valintaan käytetyissä reaktioajoissa

• epäsanan valinta vie enemmän aikaa

• Jälkimmäinen huippu 900ms kohdalla voidaan yhdistää itseoikaisu ilmiöön

18

Yleistä pohdintaa

• Testit osoittavat katsevalinnan olevan riittävän intuitiivinen ja luotettava psykologisissa testeissä että tietokoneohjelmissa käytettäväksi

• Koehenkilöt läpäisivät testit ilman harjoittelua ja olivat innostuneita katseen käyttämisestä

• nopeus ja virheettömyys tukivat positiivista, subjektiivista palautetta

• Ei vaikeuksia pitkien (1000ms) kiinnitysaikojen suhteen

• vrt. Jacob (’91): yli 700ms vaikea – kyseessä yksi pitkä fiksaatio!

• Nimenomaan katseen ajelehtiminen aiheuttaa virheitä

• voidaan korjata dynaamisesti, T1:ssä vähensi virheitä 64%– Jos kalibrointi heittää pahasti, dynaaminen korjaus saattaa toimia väärin!

toimii parhaiten systeemeissä, joissa ajelehtiminen hidasta ja vähäistä

• virheitä voidaan vähentää myös kasvattamalla kohteen kokoa ja etäisyyttä

19

Päivin kommentit

• Turhan paljon asiaa yhteen paperiin – kutakin kohtaa (T1-T3) olisi voinut käsitellä syvällisemminkin

• T1: Dynaaminen katseen ajautumisen korjaaminen hyvä juttu, algoritmia olisi kuitenkin hyvä testata useammilla laitteilla

• Kuten kirjoittajat myöntävät – ei välttämättä toimi, jos esim. pään liike aiheuttaa suuremman hypyn

• Testit lyhyehköjä – kuinka kauan pelkkä dynaaminen korjaaminen riittää?

• T2: Oppiminen voi nopeuttaa katseella kirjoittamista – yllätys! • Pidempi testi, siten että käyttäjä itse määrää mitä kirjoittaa saattaa olennaisesti

poiketa siitä, että vain toistaa annetun lauseen. Tällöin kirjoittamiseen liittyy myös pohdintaa – valintoja tahtomatta? (Onko tätä testattu?)

• Toinen olennainen tulos sama kuin T1:ssä – ”drifting errors”

• T3: Voisiko painikevalinnankin peruuttaa?• Entä jos molemmilla käsillä oma painike (joutuiko kättä liikuttamaan?)• Motorisen valinnan vaatima aika yleensä vs. katsevalinta? (viiveen osuus)

• (”preliminary” – args!)