Katedra aplikovanej informatiky

Fakulta Matematiky, Fyziky a Informatiky

Univerzita Komenského v Bratislava

Autoreferát dizerta£nej práce

Optical Tracking:

Structured Light Approach

Mgr. Ján �iºka

na získanie akademického titulu philosophiae doctor

v odbore doktorandského ²túdia: 9.2.1 Informatika

Bratislava 2012

Dizerta£ná práca bola vypracovaná v dennej forme doktorandského ²túdia na Katedre

aplikovanej informatiky Fakulty matematiky, fyziky a informatiky Univerzity Komenského

v Bratislave.

Predkladate©: Mgr. Ján �iºka

Katedra aplikovanej informatiky

Fakulta matematiky, fyziky a informatiky

Univerzita Komenského

Mlynská dolina

842 48 Bratislava

�kolite©: doc. RNDr. �udovít Niepel, CSc.

Department of Mathematics and Computer Science

Kuwait University

Predseda odborovej komisie: Prof. RNDr. Branislav Rovan, PhD.

Fakulta matematiky, fyziky a informatiky

Univerzita Komenského

Mlynská dolina

842 48 Bratislava

Oponenti: ..................................................................

..................................................................

..................................................................

..................................................................

Obhajoba dizerta£nej práce sa koná ............................... o .................... pred komisiou

pre obhajobu dizerta£nej práce v odbore doktorandského ²túdia vymenovanou predsedom

odborovej komisie 9.2.1 Informatika na ..........................................................................

1 Úvod a motivácia

S rozvojom informatiky, elektroniky a samotnej spolo£nosti, ktorá akceptuje a víta

výpo£ty v kaºdom aspekte ºivota, sa pribliºujeme z vízii v²adeprítomného po£íta-

nia ([8]), kde nevidite©ná integrácia mnoºstva výpo£tových, snímacích a zobrazova-

cích jednotiek vytvára infra²truktúru inteligentného prostredia. Analýza 3D scény,

snímanie pozície a pohybu majú fundamentálny význam pre interakciu £loveka s

po£íta£om, pre robotiku a automatizáciu.

Meranie a analýza scény Rozpoznávanie a pochopenie 3D scény, ako základné,

ale extréme náro£né machine vision problémy, v budúcnosti umoºnia v²adeprítom-

nej automatizácii a robotike podrobne analyzova´ okolité prostredie a v mnohých

oh©adoch prekonajú schopnosti £loveka.

Interakcia £loveka s po£íta£om Koncept virtuálnych a roz²írených prostredí

([1]) vyºaduje presné a rýchle snímanie polohy na zabezpe£enie korektného a priro-

dzeného vnemu a interakcie pouºívate©a s virtuálnym obsahom. Neexistencia doko-

nalého sníma£a polohy brzdí ohromný potenciál týchto konceptov.

Výkonové parametre a fundamentálne limity Výkon zariadenia sledujúceho

polohu zna£ky v priestore popisuje presnos´ a opakovate©nos´ merania, ve©kos´ pra-

covného priestoru, po£et meraní za sekundu, latencia a mnoºstvo menej významných

parametrov. Nás samozrejme zaujímajú extrémne hodnoty.

Fyzikálne zákony a princípy, na ktorých stavajú rôzne meracie systémy, zárove¬

ur£ujú principiálne teoretické a praktické limity týchto zariadení. Preto je dosiahnu-

tie extrémneho výpo£tového a snímacieho výkonu podmienené efektívnym vyuºíva-

ním dostupných zdrojov - fotónov, fotodetektorov, tranzistorov a £asu.

3

2 Ciele práce

• Hlavným cie©om práce je preukáza´ vhodnos´ techniky ²truktúrovaného svetla

pre náro£né aplikácie sledovania pohybu.

• Preskúma´ inovatívne prístupy rie²iace limitácie tradi£ných techník.

• H©ada´ moºné a nádejné aplikácie vyvinutých rie²ení.

3 Výsledky práce

3.1 Optický tracking pomocou ²trukturovaného svetla

Pod pojmom tracking rozumieme sledovanie polohy, orientácie a pohybu prirodzenej

alebo umelo vytvorenej zna£ky v priestore. Podrobný rozbor témy nájdeme napr.

v [9]. �truktúrované svetlo vzniká ako projekcia intenzitou modulovaného svetla v

priestore (pripadne aj £ase).

Obr. 1: V©avo: Zdroj svetla (£ervený) projektuje binárnu masku do priestoru ateda moduláciou intenzity ozna£uje (kóduje) jeho £asti. Poloha kamery (modrá) bezoptiky zodpovedá nameraným hodnotám - unikátnej podpostuposti ²peciálnej sek-vencie De Bruin [3]. Vpravo: Unikátna sekvencia, ozna£ená zelenou v obraze kamery,ur£uje orientáciu zna£ky okolo zelenej osi [5].

Motiváciou tejto kapitoly nebolo napísa´ jeden z ¤al²ích preh©adov tejto ob-

lasti, ale poskytnú´ nový, netradi£ný a zjednocujúci poh©ad na mnoºstvo súvisiacich

4

prác. Vytvorenie tejto abstrakcie a pouºitie jednotného metra na rôzne metódy nám

umoºní analyzova´ a porovnáva´ ich výkon a spotrebované zdroje.

Zavádzame v²eobecnú de�níciu projektora ²trukturovaného svetla a tieº,

ako vôbec prvý, kamery ²trukturovaného svetla, de�nujeme £asové a priestorové

zloºitosti týchto zariadení vyplývajúce z pouºitej techniky kódovania masky, ktorá

generuje ²trukturované svetlo.

Spojením projektora a kamery ²trukturovaného svetla (kamera sleduje projektor)

sme schopný mera´ uhlovú polohu (bearing angle) a orientáciu projektora sú£asne.

Pre zaujímavos´, toto neposkytuje ºiadny komer£ný systém sledovania polohy, pre

zistenie orientácie sa pouºíva viacero vzdialených zna£iek.

Tento prístup pokrýva v²etky nám známe konkrétne rie²enia postavené na prin-

cípe ²trukturovaného svetla, dokonca ukazujeme, ze hrani£né prípady zodpovedajú

napríklad beºnej kamere ([6, 10]) alebo laserovému projektoru ([2]). Konzistentne

zapadajú aj zloºité rie²enia, napr. rýchly £asovo modulovaný tracking systém [7]

alebo malý projektor sledovaný rozostrenou kamerou [5].

Plytvanie pixelmi Ako v práci ukazujeme, problém sledovania polohy jednej

zna£ky je rie²ite©ný efektívne, dokonca optimálne, nieko©kými spôsobmi. Na druhej

strane, v sú£asnosti najbeºnej²ia technika pouºíva tradi£nú 2D kameru a svetelný

zdroj, kedy nasnímame n2 pixelov, aj ked ºelaný výstup má zjavne 2 log n bitov.

Toto sa negatívne prejaví na výkone zariadenia, napríklad zv䣲a dosiahneme iba

∼ 30 obrázkov za sekundu a ve©kú spotrebu energie.

V práci navrhujeme aj ¤al²ie efektívne rie²enie - SpeckleSense, ktoré opä´ pouºíva

²trukturovaného svetlo a je postavené na my²lienke integrácie meranej rýchlosti cez

£as. Rýchle diferenciálne meranie vyºaduje minimum meraní (rozumej pixelov) a

jeho presnos´ nezávisí na ve©kosti pracovného priestoru.

3.2 SpeckleSense

Vyvinuli sme inovatívnu metódu snímania pohybu, ktorá vyuºíva ²peciálny typ pro-

jekcie, koherentného ²truktúrovaného svetla, ktorej rozlí²enie prekonáva limity do-

5

siahnute©né beºným postupom.

Speckle: vyuºitie koherentného svetla pre rýchly a presný tracking Ke¤

osvetlíme difúzny objekt koherentným svetlom, výsledná interferencia v¨n odraze-

ných od rôznych £astí povrchu sformuje speckle vzor [4] (obraz, vi¤ Obr. 2). Pohyb

obrazového senzora v takomto poli záchytných bodov môºeme aproximova´ ako sumu

£iastkových vektorov posunu vypo£ítaných z dvoch po sebe nasledujúcich obrazov.

Na pomerne presný odhad vektora posunu nám posta£uje aj obrazový senzor s ve©mi

malým rozlí²ením, £o umoº¬uje sníma´ rádovo tisíce obrázkov za sekundu. �al²ou

ve©kou výhodou je extrémna jednoduchos´ kon²trukcie na strane projektora.

Obr. 2: Laser s difúzorom vytvoria hustý 3D speckle vzor. Ke¤ do¬ vloºíme sen-zor bez optiky kon²truktívna a de²truktívna interferencia vytvoria speckle obraz(vpravo). Posun/rotácia Speckle projektora alebo posun senzora v tomto poli spô-sobia posun snímaného obrazu.

To, ºe je SpeckleSense skuto£ne unikátna technika sledovania pohybu, dokazujú na-

sledovné vlastnosti:

• Vzorkovacia frekvencia. V¤aka malému po£tu pixelov senzor dosahuje 10, 000 Hz

a ve©mi malú latenciu.

• Citlivos´. Princíp metódy a hustý speckle obraz umoº¬ujú rozlí²i´ pohyb ve©kosti

jedného pixela (∼ 50µm).

• Kompaktnos´ a spotreba. Speckle projektor a senzor môºeme po©ahky uplatni´ v

mobilných zariadeniach. Efektivita snímania zabezpe£uje nízku spotrebu.

• Flexibilita projek£ného a snímacieho uhla. Pouºitím rôznych difúznych materiá-

lov dosiahneme rôzne projek£né uhly. Ke¤ºe senzor nepouºíva ºiadnu optiku,

disponuje aº 180◦ snímacím uhlom.

6

Kon�gurácie Navrhli sme ²tyri principiálne rôzne kon�gurácie Speckle projek-

tor/sensor, £o dokazuje v²estrannos´ navrhnutej techniky snímania. Kaºdá z kon�-

gurácii je unikátna svojim pomerom výkon:komplexita, pretoºe dosiahnutie podob-

ných parametrov iným prístupom, napríklad 2D kamerou, by vyºadovalo zna£né

mnoºstvo zdrojov (priestoru, pixelov, výpo£tového £asu).

Speckle Projektor (A) - Digitálne ukazovadlo

Speckle projektor, teda integrovaný laser a difúzer, sa pohybuje alebo rotuje v

priestore. V¤aka emitovanému ²trukturovanému svetlu vzdialený senzor rozpoznáva

zmeny orientácie projektora £iste optickým kanálom. Zariadenie je extrémne citlivé

na rotáciu, £o je vhodné napr. aj na meranie vibrácii.

Speckle Senzor v ruke (B) - Pohyb vo vzduchu

Zariadenie meria transláciu senzora v priestore nezávisle na jeho rotácii, na po-

uºívate©a pôsobí ve©mi stabilne a predikovatelne.

Samostatné zariadenie (C) - Pohyb nad povrchom

V tomto prípade slúºi povrch okolia ako generátor speckle projekcie. Ve©kou

výhodou je úplná nezávislos´ zariadenia, posta£uje ©ubovo©ný nepriesvitný povrch.

V práci rozoberáme aj moºnos´ snímania vzdialenosti a vyvinuli sme tieº zariadenie

snímajúce 3D pohyb.

Speckle sledovanie rúk (D) - Odraz od ruky

Spekle projekciu generujeme odrazom lasera od ruky pouºívate©a, £ím umoº¬u-

jeme interakciu bez prídavného zariadenia pomocou prirodzených giest, £o je vítaný

spôsob interakcie na verejných miestach (napr. automaty).

7

Implementované prototypy Aby sme preukázali praktické schopnosti a funk£-

nos´ navrhnutých metód implementovali sme mnoºstvo prototypov hlavne v oblasti

uºívate©ského rozhrania. Otestovali sme aj nieko©ko prototypov ur£ených na bezdo-

tykové meranie rýchlosti, napríklad dopravníkového pásu. Reálne nasadenie techno-

lógie bolo diskutované so Samsung Dallas R&D Center, USA; Logitech, Lausanne,

Switzerland a tieº Micro Epsilon Optronic, Dresden, Germany. Stru£ný popis kon-

krétnych prototypov nájdeme v popisoch príslu²ných obrázkov. Celkovo sme posta-

vili 13 funk£ných prototypov a naprogramovali vy²e 20 testovacích a demon²tra£ných

aplikácii.

Obr. 3: Prototyp Kamera Pixelink (Kon�gurácia B). Vôbec prvé zariadenie pou-ºité na výskum metód a správania sa speckle obrazu. Rýchla kamera bez optiky jepripojená k PC cez Firewire rozhranie, beºí v rozlí²ení 160 a vracia 300 snímkovza sekundu. Implementovali sme jednoduchý algoritmus odhadu vektora pohybu.Aplikácia integruje namerané dáta a vystre©uje aproximáciu polohy.

Obr. 4: Prototyp 3D prehliada£ (Kon�gurácia B). Predstavuje spojenie 2D snímaniapohybu s multidotykovým povrchom my²i. Tieto osi vo©nosti sa ve©mi prirodzenemapujú na pohyb 3D objektu v prehliada£i. Multidotykové gestá zodpovedajú rotáciia ²kálovaniu objektu. Ke¤ºe sme do my²i integrovali aj vlastný laser, je moºné s ¬oupracova´ aj priamo na povrchu, ako beºnú my², pouºitím toho istého senzora.

8

Obr. 5: Prototyp Mobilný prehliada£ (Kon�gurácia C). Na mobilný telefón s opera£-ným systémom Android sme pripevnili laser a 2 senzory, £ím sme dokázali sledova´3D pohyb nad ©ubovo©ným povrchom. Tento pohyb zodpovedá pohybu vo volumet-rickom CT snímku.

Obr. 6: Prototyp Sledovanie ruky - Fotogaléria (Kon�gurácia D). Prototyp pozostávaz LCD monitora umiestneného za sklom, Speckle projektora a senzora. Pouºívate©pohybom ruky pred senzorom riadi prezeranie sady fotogra�i.

3.3 SpeckleBoard

Vyvinuli sme praktický dizajn a implementáciu výkonnej SpeckleSense technológie,

ktorá vyºaduje len minimálne hardvérové nároky. Poskytujeme open source hardvé-

rový dizajn dosky plo²ných spojov, návod na úpravu senzora my²i a tieº softvérový

balík spolu s kniºnicami na sledovanie 2D pohybu a rozpoznávanie giest. Algoritmy

su schopné beºa´ na jednoduchých, av²ak populárnych, procesoroch platformy Ar-

duino. Cie©om je podpori´ roz²írenie vyvinutej technológie aj do jednoú£elových

zariadení a tým odbúra´ priepas´, ktorú tvoria zloºité kamerové systémy.

9

Obr. 7: SpeckleBoard. Speckle obraz vytvorený laserom sleduje upravený senzormy²i, ktorý komunikuje cez MouseShield s jednoduchým 8 bitovym procesorom.Týmto umoºníme interakciu pomocou giest integrova´ aj do jednoú£elových zaria-dení.

Literatúra

[1] O. Bimber and R. Raskar. Spatial augmented reality: merging real and virtual

worlds. Ak Peters Series. A K Peters, 2005.

[2] Álvaro Cassinelli, Stéphane Perrin, and Masatoshi Ishikawa. Smart laser-

scanner for 3d human-machine interface. In CHI '05 extended abstracts on

Human factors in computing systems, CHI EA '05, pages 1138�1139, New York,

NY, USA, 2005. ACM.

[3] N.G. de Bruijn. A combinatorial problem. Koninklijke Nederlandse Akademie

Wetenschappen. page 758�764, 1946.

[4] J. W. Goodman. Speckle phenomena in optics: theory and applications. Roberts

and Company, Englewood, 2007.

[5] Ankit Mohan, Grace Woo, Shinsaku Hiura, Quinn Smithwick, and Ramesh

Raskar. Bokode: imperceptible visual tags for camera based interaction from a

distance. In ACM SIGGRAPH 2009 papers, SIGGRAPH '09, pages 98:1�98:8,

New York, NY, USA, 2009. ACM.

10

[6] Sony PlayStation Move. us.playstation.com/ps3/playstation-move/. [On-

line; accessed March 2011].

[7] Ramesh Raskar, Hideaki Nii, Bert deDecker, Yuki Hashimoto, Jay Summet,

Dylan Moore, Yong Zhao, Jonathan Westhues, Paul Dietz, John Barnwell, Sh-

ree Nayar, Masahiko Inami, Philippe Bekaert, Michael Noland, Vlad Branzoi,

and Erich Bruns. Prakash: lighting aware motion capture using photosensing

markers and multiplexed illuminators. ACM Trans. Graph., 26(3), July 2007.

[8] Mark Weiser. The computer for the 21st century. SIGMOBILE Mob. Comput.

Commun. Rev., 3(3):3�11, July 1999.

[9] Greg Welch and Eric Foxlin. Motion tracking: No silver bullet, but a respectable

arsenal. IEEE Comput. Graph. Appl., 22(6):24�38, November 2002.

[10] Nintendo Wii. www.nintendo.com/wii. [Online; accessed March 2011].

11

Príloha £.1: Súhrn v cudzom jazyku

Summary

Position and motion sensing is of fundamental importance for Human-Computer

Interaction, robotics and automation. In applications, where optical sensing is pre-

ferred, traditional camera-based approaches can be prohibitive due to limited reso-

lution, low frame rates and the required computational power for image processing.

We provide a new perspective and a unifying paradigm for a broad spectrum of

work related to structured light approach.

We introduce a novel set of motion-sensing con�gurations based on laser speckle

sensing that are particularly suitable for human-computer interaction. The underly-

ing principles allow these con�gurations to be fast, precise, extremely compact and

low cost.

We provide an overview and design guidelines for laser speckle sensing for user

interaction and introduce four general speckle projector/sensor con�gurations. We

describe a set of prototypes and applications that demonstrate the versatility and

performance of our laser speckle sensing techniques.

Keywords: Optical Tracking, Motion Tracking, Motion Sensing, Structured Light,

Laser Speckle, Human-Computer Interaction, Input Devices, Embedded Systems

12

Príloha £.2: Zoznam publikácii autora

CATRA: interactive measuring and modeling of cataracts.

Vitor F. Pamplona, Erick B. Passos, Jan Zizka, Manuel M. Oliveira, Everett

Lawson, Esteban Clua, and Ramesh Raskar. 2011. ACM Trans. Graph. 30, 4,

Article 47 (August 2011), 8 pages.

Vitor F. Pamplona, Erick B. Passos, Jan Zizka, Manuel M. Oliveira, Everett

Lawson, Esteban Clua, and Ramesh Raskar. 2011. In ACM SIGGRAPH 2011

papers (SIGGRAPH '11), Hugues Hoppe (Ed.). ACM, New York, NY, USA, ,

Article 47 , 8 pages.

Second skin: motion capture with actuated feedback for motor learning.

Kenichiro Fukushi, Jan Zizka, and Ramesh Raskar. 2011. In ACM SIGGRAPH

2011 Posters (SIGGRAPH '11). ACM, New York, NY, USA, , Article 51 , 1

pages.

SpeckleSense: fast, precise, low-cost and compact motion sensing using

laser speckle.

Jan Zizka, Alex Olwal, and Ramesh Raskar. 2011. In Proceedings of the 24th

annual ACM symposium on User interface software and technology (UIST '11).

ACM, New York, NY, USA, 489-498.

Construction of 3D Map.

Ján �iºka. 2007. In Posters of the 23nd Spring conference on Computer graphics.

Comenius University, Bratislava.

Poh©adovo závislé stereovidenie.

Ján �iºka, Peter Borovský, Tomá² Kova£ovský. 2012. In Virtuálny svet 2012:

My²lienky, kontext, tvorivé dielne a postery pre vedeckú výstavu (DVD). Kniº-

ni£né a edi£né centrum, Bratislava, S. 69.

13

Spoznajte svoje virtuálne Ja: skuto£né 3D zobrazenie modelu nasníma-

ného systémom SMISS.

Ján �iºka, Tomá² Kova£ovský. 2012. In Virtuálny svet 2012: My²lienky, kontext,

tvorivé dielne a postery pre vedeckú výstavu (DVD). Kniºni£né a edi£né centrum,

Bratislava, S. 68.

SpeckleBoard: A Platform for Enabling Gestural Interaction with Em-

bedded Devices

Alex Olwal, Andy Bardagjy, Jan Zizka and Ramesh Raskar. 2012. To appear in

Proceedings of the 2012 annual conference extended abstracts on Human factors

in computing systems (CHI EA '12). ACM, New York, NY, USA

14

Vedenie závere£ných prác:

Bakalárske práce (3D scanning):

• Scalable Multifunctional Indoor Scanning System, Tomá² Kova£ovský (2010)

Ví´az £esko-slovenského kola �VO� v kategórii Aplikovaná informatika

• Metódy 3D rekon²trukcie, Martin Mi²kov (2009)

Diplomové práce (3D scanning, Tracking, User Interface, Computer Vision):

• Problém sledovania pouºívate©a pre ú£ely poh©adovo závislého zobrazovania,

Andrea Kostrová (2013)

• Scalable Multifunctional Indoor Scanning System, Tomá² Kova£ovský (2012)

2nd Best paper award, Best presentation na konferencii CESCG 2012

• Nízkonákladové metódy snímania ulice, Barbora Jan£eková (2012)

• Prirodzená interakcia s 3D prostredím pomocou pohybu a dotyku, Peter Pech

(2010)

• Extrakcia textových a gra�ckých údajov z dokladov, Peter Gal£ík (2010)

Ú£as´ na konferenciách: CESCG 2006, SCCG 2006, CESCG 2007, SCCG 2007,

Vision 2010 (Stuttgart DE), ICCP 2011 (Pittsburgh USA), Siggraph 2011 (Vancou-

ver CA), UIST 2011 (Santa Barbra USA)

Projekty a granty:

• Virtualizer: 3D Scanner for Complete Reconstruction, E-Talent - Nadácia

Tatra banky, 2012

• Snímanie Pohybu, Interakcia a Kooperácia �udí a Avatarov v 3D Roz²írenej

a virtuálnej realite (SPINKLAR-3D), Project VEGA, 2011 � 2013

• Hybridný triangula£no-optický systém prevádzkovej kontroly kvality pneuma-

tík, APVV, 2011

• �tudenti do sveta, Nadácia Tatra banky, 2011

• Eliminácia vplyvu okolitého svetla na snímanie a rozpoznávanie scény, Grant

UK, 2010

15