calibrare - extragerea automată a punctelor - februarie, 200 3
DESCRIPTION
Calibrare - Extragerea automată a punctelor - Februarie, 200 3. Vilmos Zsombori ( [email protected] ). cuprins. Parametrii de calibrare modelul camerei matricea de proiecţie distorsiuni Algoritmi de calibrare Zhang Bouget Automatizarea extragerii punctelor de control - PowerPoint PPT PresentationTRANSCRIPT
![Page 2: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/2.jpg)
cuprins
° Parametrii de calibrare• modelul camerei
• matricea de proiecţie
• distorsiuni
° Algoritmi de calibrare• Zhang
• Bouget
° Automatizarea extragerii punctelor de control• pouncte de control AICON
• tabela de şah
° Referinţe
![Page 3: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/3.jpg)
param. de calibrare – modelul camerei
° Model simplu: Pinhole
° Plan Imagine Z=1 (f=1)
° Proiecţie:
° Reprezentare prin coordonate omogene:
![Page 4: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/4.jpg)
param. de calibrare – matricea de proiecţie
intrinseci K proiecţie extrinseci
P: matrice 3x4, matricea de proiecţie
• intrinseci: 5 (fx, fy, cx, cy, s)• extrinseci: 6 (R, T)• simplificări la iniţializare:
• (cx, cy) centru• s 0 (pixeli rectangulari)
![Page 5: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/5.jpg)
param. de calibrare – distorsiuni
r
K1,K2 – schimbare în funcţie de distanţa focală:
![Page 6: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/6.jpg)
algoritmi de calibrare – Zhang
° algoritmul lui Zhang:
• listăm un şablon pe care fixăm pe o suprafaţă plană
• facem câteva poze despre modelul plan, având orientări diferite, mişcând sau camera sau şablonul
• detectăm puntele de control pe imagini
• estimăm cei cinci param. intrinseci şi param. extrinseci, urmat de o optimizare neliniară
• estimarea coeficienţilor de distorsiune radială
• fecem o optimizare a tuturor parametrilor prin minimizare neliniară
![Page 7: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/7.jpg)
algoritmi de calibrare – Zhang – homography
° corespondenţă: <->
° Z = 0:
° homography: ,
° R – matrice de rotaţie (ortogonal):
![Page 8: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/8.jpg)
algoritmi de calibrare – Zhang ctd.
° soluţie iniţială:
• fie:
• cu restricţii:
• sistem supradeterminat 2n x 6; avem soluţie unică pentru n mai mare sau egal de 3
• pseudosuluţie în sensul celor mai mici pătrate
![Page 9: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/9.jpg)
algoritmi de calibrare – Zhang ctd.
° optimizare maximum-likelihood:• reproiectare – punctul Mj – imaginea i
• minimizarea funcţionalei se face prin metoda Levenberg-Marquardt, fiind o minimizare neliniară
° estimarea distorsiunilor radiale:
• având n imagini cu câte m puncte – sistem cu 2mn ecuaţii
• se rezolvă în sencul celor mai mici pătrate:
° optimizare globală neliniară
![Page 10: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/10.jpg)
algoritmi de calibrare – Zhang ctd.
° caz degenerat:• o imagine se obţine din celălalt numai prin translaţie
• nu adaugă constrângeri la sistemul iniţial, constrângerile fiind bazate pe propr. matricii de rotaţie
° alte probleme care se mai pun:• estimarea iniţială a matricii H (homography)
- minimizare neliniară
• extragerea parametrilor intrinseci din matricea B
• aproximarea lui R printr-o matrice de rotaţie
- datorită erorilor, matricea R obţinut prin calcule nu va fi o matrice de rotaţie
- aproximarea se face în sensul celei mai mici norme Frobenius a difetenţei
- soluţie: singular value decomposition
![Page 11: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/11.jpg)
algoritmi de calibrare – Bouget
° algoritmul lui Bouget:• detectarea punctelor de control pe imaginile de calibrare (punctele
de control fiind colţurile unei tabele de şah)
• calcularea matricilor H (homohraphy) pentru fiecare imagine folosind algoritmul Levenberg-Marquardt pentru minimizare
• estimarea param. extrinseci (neglijând distorsiunile)
• optimizarea param. intrinseci
• recalcularea param. extrinseci pentru fiecare imagine
• optimizare globală luând în considerare şi distorsiunile
![Page 12: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/12.jpg)
automatizarea extragerii punctelor de control
° puncte de control tip AICON:• avantaj:
- posibilitatea de identificare unică prin histogramă radială
• dezavantaj:
- proiecţie – elipse
- ellipse detection/fitting – costisitor
° tabela de şah:• avantaj:
- mai uşor de detectat prin funcţii de potenţial şi operatori diferenţiali
• dezavantaj:
- corespondenţă
![Page 13: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/13.jpg)
puncte de control AICON ctd.
° algoritm stabil (numeric) de ellipse-fitting:
• ecuaţia: ,
• puncte, restricţii:
• sistemul de ecuaţii: ,
• ideea: se separă termenii pătratici de cele liniari
![Page 14: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/14.jpg)
tabela de şah
° puncte de control – colţuri
![Page 15: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/15.jpg)
tabela de şah
° detectarea colţurilor, eliminarea regiunii irelevante
• câmp de forţe:
• energie de potenţial:
• proprietate:
• implementare: nucleu de convoluţie
![Page 16: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/16.jpg)
tabela de şah
° obs.: • potenţial (intensităţi) –> câmp scalar
• energie –> câmp scalar
• câmpul de forţe –> câmp vectorial
• un punct iniţializat, care se mişcă numai sub influenţa câmpului, satisface sistemul simetric
jyxQiyxPyxF ),(),(),(
00 )( xyy
Q
dy
P
dx
![Page 17: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/17.jpg)
tabela de şah
° proprietăţi relevante în cazul nostru:• magnitudinea câmpului se anulează în colţuri şi sunt
izolate complet de magnitudini mari
• zonele cu intensităţi relativ apropiate dispar
• aceste proprietăţi sunt independente de orientarea şablonului
° probleme care apar:• magnitudinea poate să se anuleze şi în alte puncte (ex.
mijlocul unei zone circulare)
• imagini saturate
![Page 18: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/18.jpg)
tabela de şah
• operatori diferenţiali:
Fx FyFx
2 Fy2
|grad(Fx)| FxxFyy|grad(Fy)|
Fx2Fyy – 2FxFyFxy + Fy
2Fxx Fx2Fyy – 2FxFyFyx + Fy
2Fxx
![Page 19: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/19.jpg)
tabela de şah
![Page 20: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/20.jpg)
tabela de şah
° soluţie• determinăm alinierea punctelor
• eliminăm pe cele care nu respectă alinierea
• interpolăm pe cele care n-a prins câmpul
° iarăşi probleme:• dreptele se proiectează ca şi drepte, deci alinierea pe diagonală se
păstrează
• colţurile nu se aliniază exact din cauza distorsiunilor
° iarăşi soluţii:• validare de direcţii
- după orientarea gradientului
- gradul de suprapunere a dreptelor cu muchii
• dreptele se determină în sensul celor mai mici pătrate
![Page 21: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/21.jpg)
tabela de şah
![Page 22: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/22.jpg)
tabela de şah
° algoritm
• determin câmpul de potenţial
• determin câmpul de forţe –> magnitudinea
• stretching, binarizare, imaginea negativă
• etichetare –> puncte de control nominalizate
• pentru fiecare pereche de puncte nominalizate
• determin dereapta, determin proiecţia tuturor celorlalte puncte
• pentru punctele extreme
• determin combinaţia convexă –> segmentul de dreaptă
• în funcţie de gradul de suprapunere cu imaginea muchii
• validez sau nu dreapta, etichetez acesta cu orientarea
• determin histograma de orientări, reetichetez dreptele
• validez punctele
• interpolez punctele lipsă
![Page 23: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/23.jpg)
tabela de şah
° rezultate
![Page 24: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/24.jpg)
tabela de şah
° parametri
• vecinătatea limită a câmpului –> viteză, saturaţie
• aria maximă a punctelor izolate –> numărul punctelor considerate a fi colţ iniţial
• distanţa maximă a puntelor de drepte –> distorsiuni
• numărul minim de puncte pentru o dreaptă
• gradul de suprapunere a combinaţiilor convexe cu muchii –> distorsiuni
![Page 25: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/25.jpg)
completări
° determinarea dreptunghiului maxim
° identificarea unică a punctelor pentru stereo-calibrare
![Page 26: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/26.jpg)
ca să nu termin aşa sec...
![Page 27: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/27.jpg)
ca să nu termin aşa sec...
![Page 28: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/28.jpg)
ca să nu termin aşa sec...
![Page 29: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/29.jpg)
ca să nu termin aşa sec...
![Page 30: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/30.jpg)
ca să nu termin aşa sec...
![Page 31: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/31.jpg)
ca să nu termin aşa sec...
![Page 32: Calibrare - Extragerea automată a punctelor - Februarie, 200 3](https://reader036.vdocuments.site/reader036/viewer/2022081418/56814651550346895db36442/html5/thumbnails/32.jpg)
referinţe
[1] Zhengyou Zhang : A Flexible New Technique for Camera CalibrationTechnical Report MSR-TR-98-71, Microsoft Research, 2002
[2] Peter F. Sturm, Stephen J. Maybank : On Plane-Based Camera Calibration: A General Algorithm, Singularities, ApplicationsComputational Vision Group, Department of Computer Science, The University of Reading Whiteknights
[3] Janne Heikkila, Olli Silven : A Four-step Camera Calibration Procedure with Implicit Image CorrectionInfotech Oulu and Department of Electrical Engineering, University of Oulu
[4] Radim Halir : Numerically Stable Direct Least Squares Fitting of Ellipses Departament of Software Engineering, Charles University
[5] David J. Hurley, Mark S. Nixon, John N. Carter : Force Field Energy Functionals for Image Feature ExtractionDepartment of Electronics and Computer Science, University of Southampton