prima parte - formazione delle immagini

Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli

Parte 1/3: Formazione delle immaginiA.A. 2008-2009 - Corso di Computer Vision

Eugenio [email protected]

D.M.I. - Universita di Catania

Modificato: 20 marzo 2009

Eugenio Rustico [email protected] IPlab - Universita di Catania

Formazione delle immagini


5-6 lezioni su

Formazione dell’immagine

Calibrazione della camera

Stereovisione e ricostruzione

Web:http://www.dmi.unict.it/~battiato/CVision0809/CVision0809.htm

http://www.dmi.unict.it/~rustico



http://www.dmi.unict.it/~battiato/CVision0809/CVision0809.htm

http://www.dmi.unict.it/~rustico


In caso di dubbi/difficolta (in ordine di importanza):

1 Interagire a lezione, interrompere e domandare in qualsiasimomento

2 Consultare appunti, libri di testo, Wikipedia...

3 Ricevimento (preferibilmente mercoledı)

4 Email: [email protected]



[email protected]


La risoluzione di molte problematiche di Computer Vision partedall’analisi del processo di formazione dell’immagine di una scena.

Alcune tecniche di calibrazione e ricostruzione seguono una sorta direverse engineering di questo processo.

Come si forma l’immagine di una scena?




La scena

Abbiamo una fonte di luce, degli oggetti non completamentetrasparenti e una superficie sensibile ai raggi di luce (pellicola,sensore digitale, retina, etc.).

I raggi di luce vengono rifratti dagli oggetti in modo “caotico”




La scena

Ogni punto della scena “influisce” su diversi punti del pianoimmagine...




La scena

...e ogni punto del piano immagine e colpito da raggi provenientida punti differenti




La scena

Come facciamo a fare in modo che ogni punto della scena influiscasu di un solo punto del piano immagine?

Una possibilita e quella di costringere tutti i raggi a passare per unforo molto piccolo...




Camera pinhole

La “scatola” dove si forma l’immagine e una camera pinhole.Eugenio Rustico [email protected] IPlab - Universita di Catania



Camera pinhole

Ma la camera pinhole...

Richiede una superficie con un range di sensibilita enorme

Non e molto pratica (zoomare?)




Le lenti sottili sono un dispositivo ottico piu complesso e piuflessibile per mettere a fuoco l’immagine di una scena.

Possiamo immaginarle come un sottile disco di vetro di unmateriale trasparente in cui sono definiti un asse ottico e duefuochi, ovvero due punti particolari dell’asse ottico esterni allalente stessa.




Deviazione della luce

Le lenti sono in grado di deviare la luce seguendo due regole:Ogni raggio di luce che entra da un lato della lenteparallelamente all’asse ottico viene deviato verso il fuoco chesi trova dall’altro lato;

Ogni raggio di luce che entra da un lato della lente passandoper il fuoco esce dall’altro lato parallelamente all’asse ottico.




Deviazione della luce




Equazione fondamentale

Tramite considerazioni geometriche sulle coppie di triangoli simili△

PQFl ,△

SOFl e△

ROFr ,△

TpFr , otteniamo la relazione

1

Z+

1

z=

1

f

che e l’equazione fondamentale delle lenti sottili.Eugenio Rustico [email protected] IPlab - Universita di Catania



Equazione fondamentale

1

Z+

1

z=

1

f

Questa relazione ha una conseguenza importante: affinchel’immagine sia a fuoco, a parita di lunghezza focale (i.e. distanzadel fuoco dal centro) i punti devono trovarsi alla stessa distanzadalla lente.

In altre parole, una lente e in grado di mettere a fuoco solo unasezione della scena parallela al piano immagine.

...ma cosa vuol dire mettere a fuoco, ad esempio, in una macchinadigitale?




Modello semplice

Che il nostro sistema ottico sia un pinhole o una lente sottile,l’immagine che si forma e una proiezione della scenatridimensionale attraverso il piano di immagine π:




Modello semplice

Procediamo nuovamente per triangoli simili:△

pQO e simile a△

PRO,da cui deriviamo:

pQ : PR = OQ : OR




Modello semplice

ovvero:

x = fX

Z

y = fY

Z

che chiamiamo equazioni fondamentali della camera prospettica.




Modello debole

Le equazioni fondamentali della camera prospettica non sonolineari; possiamo pero renderle lineari al prezzo di una piccolaapprossimazione.

Se i punti della scena sono abbastanza distanti dalla camera e ledifferenze di coordinata Z tra punti differenti sono trascurabili,possiamo approssimare i valori delle Z con una costante Z . Leequazioni fondamentali allora diventano:

x = fX

Z

y = fY

Z

Indicativamente, tale approssimazione e fattibile quando ledifferenze δZ tra i punti della scena sono inferiori ad 1/20 delladistanza media da O.




Parametri estrinseci

Le coordinate dei punti, finora, le abbiamo considerate nel sistemadi riferimento della camera stessa. Il piu delle volte, pero, i puntivengono forniti nel sistema di riferimento del mondo, la cuirelazione col sistema della camera e spesso sconosciuta.

Per passare da un sistema di riferimento ad un altro ci serve unarototraslazione nello spazio. Possiamo identificarla con due vettori:T racchiude gli offset di traslazione (3 valori), R la rotazione (3gradi di liberta):

Pc = R(Pw − T )

I sei parametri che definiscono questa trasformazione, specifica perogni camera, sono i parametri estrinseci della camera.




Parametri intrinseci

Servono altri parametri, oltre ai sei estrinseci, per definirecompletamente la proiezione cui ogni punto e sottoposto:

Conosciamo gia la lunghezza focale f , che nelle camere reali ecorrelata allo zoom otticoIl piano immagine ha un sistema di riferimento proprio, disolito in pixel. Ci serve conoscere l’origine del sistema: glioffset ox e oy rappresentano le coordinate in pixel del centrootticoL’unita di misura del mondo 3D e la stessa del pianoimmagine? Definiamo sx ed sy come le dimensioni orizzontalee verticale di un pixel del sensore (a volte bastera il lororapporto α = sx/sy )Le lenti reali introducono nell’immagine una distorsione

radiale, parametrizzabile con due parametri k1 e k2

I sette parametri f , ox , oy , sx , sy , k1 e k2 sono detti intrinseci eriguardano il modo con cui i punti del piano immagine (in




Parametri intrinseci

ox , oy , sx ed sy ci permettono di descrivere direttamente larelazione il sistema di riferimento della camera e quello del piano diimmagine. Se indichiamo con (xim, yim) le coordinate in pixel delpunto (x , y), la relazione e:

x = −(xim − ox)sx

y = −(yim − oy )sy

La relazione e un po’ piu complessa per la distione radiale,modellata da k1 e k2. Se (xd , yd ) sono le coordinate distorte delpunto (x , y), possiamo scrivere:

x = xd(1 + k1r2 + k2r

4)

y = yd(1 + k1r2 + k2r

4)

dove r2 = xd2 + yd

2.Eugenio Rustico [email protected] IPlab - Universita di Catania



Adesso, con i parametri estrinseci della camera, siamo in grado ditradurre il sistema di riferimento del mondo in quello della camera.

Per proiettare un punto della scena Pw sul piano immagine di unacamera arbitrariamente orientata e calibrata non dovremo far altroche:

1 Tradurre le coordinate di Pw nel sistema di riferimento dellacamera(Pc = R(Pw − T ))

2 Proiettare Pc con le equazioni fondamentali della cameraprospettica

3 Tradurre le coordinate del punto proiettato in pixel tramite iparametri intriseci




Versione lineare

x = fX

Z

y = fY

Z

−(xim − ox)sx = fX

Z

−(yim − oy )sy = fY

Z

−(xim − ox)sx = fR1(Pw − T )T

R3(Pw − T )T

−(yim − oy )sy = fR2(Pw − T )T

R3(Pw − T )T

Versione lineare delle equazioni fondamentali di proiezioneprospetticaEugenio Rustico [email protected] IPlab - Universita di Catania



Versione matriciale

Vediamo di scrivere le equazioni lineari con una notazione piucompatta:

Mint =

−f /sx 0 ox

0 −f /sy oy

0 0 1

Mext =

r11 r12 r13 −R1TT

r21 r22 r23 −R2TT

r31 r32 r33 −R3TT

x1

x2

x3

= MintMext

Xw

Yw

Zw

1

Versione matriciale delle equazioni fondamentali di proiezioneprospettica




A volte si compattano Mint ed Mext in una sola matriceM = MintMext .

Con alcune assunzioni, M assume una forma non troppocomplessa. Ad esempio, se poniamo ox = oy = 0 e sx = sy = 0(ovvero, “fingiamo” sia la camera che il mondo abbiano la stessaunita di misura) la matrice unica M diventa:

M =

−fr11 −fr12 −fr13 fR1TT

−fr21 −fr22 −fr23 fR2TT

r31 r32 r33 −R3TT

In assenza di ulteriori vincoli, M e chiamata genericamente matrice

di proiezione.



prima parte - formazione delle immagini

Education