![Page 1: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/1.jpg)
Kontinuierliche Echtzeit 3D-Modell ErfassungIm Kontext von kollaborativen Mixed-Reality-Anwendungen
Iwer Petersen
HAW HamburgFakultät TI, Dept. Informatik
19. Juni 2014
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 1 / 23
![Page 2: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/2.jpg)
Agenda
1 Motivation
2 AnsätzeReal-Time active Multiview 3D ReconstructionScanning 3d full human bodies using kinectsReal-time, full 3-D reconstruction of moving foreground objects frommultiple consumer depth cameras
3 Fazit
4 Ausblick
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 2 / 23
![Page 3: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/3.jpg)
Übersicht
1 Motivation
2 AnsätzeReal-Time active Multiview 3D ReconstructionScanning 3d full human bodies using kinectsReal-time, full 3-D reconstruction of moving foreground objects frommultiple consumer depth cameras
3 Fazit
4 Ausblick
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 3 / 23
![Page 4: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/4.jpg)
Motivation aus AW1
Echtzeit 3D Modelle vonMenschen
I zur Darstellung in 3D SzenenMesh Rekonstruktion stattSkelett-Rekonstruktion
I Vermeidung künstlicherAvatare
I Überbrückung des UncannyValley?
kostengünstiger Sensor - KinectPointcloud Processing
Uncanny Valley
Quelle: angelehnt an [Mor70]
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 4 / 23
![Page 5: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/5.jpg)
Übersicht
1 Motivation
2 AnsätzeReal-Time active Multiview 3D ReconstructionScanning 3d full human bodies using kinectsReal-time, full 3-D reconstruction of moving foreground objects frommultiple consumer depth cameras
3 Fazit
4 Ausblick
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 5 / 23
![Page 6: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/6.jpg)
Ansätze - Überblick
Quelle: eigene Abbildung
Prinzip wie 3D ScanI Sensor idR. Sweeping Plane Prinzip (Laserline, Structured-Light)I stereoskopische Triangulation von 3D PunktenI Mesh-Rekonstruktion aus 3D Punkten
ZielIn Echtzeit: zu interaktiven Frameraten (≥ 30Hz)
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 6 / 23
![Page 7: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/7.jpg)
Ansätze - Real-Time active Multiview 3D Reconstruction -Ide und Sikora [IS12]
Ziel: allgemein 3D Scan inEchtzeitStructured Light Scanning
I 2 Scaneinheiten mit Projektor,500Hz Kamera und 2 RGBKameras
I Projiziert farbige, sinusoidalePattern
I nieder- und hochfrequent
Epipolar-Rekonstruktion5.2M 3D Punkte bei 10 Hz
Niederfrequentes Phaseshift Pattern
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 7 / 23
![Page 8: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/8.jpg)
Ansätze - Real-Time active Multiview 3D Reconstruction -Ide und Sikora [IS12]
Punktgenerierung auf der GPUI Phase-Unwrapping der FarbkanäleI Epipolar-Rekonstruktion der PunkteI Colorierung durch RGB-Kamera Informationen
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 8 / 23
![Page 9: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/9.jpg)
Ansätze - Real-Time active Multiview 3D Reconstruction -Ide und Sikora [IS12]
Quelle: [IS12]
FazitSehr schnell, aber...Hohe Scanqualität - viele PunkteSchlecht geeignet fürAnwendungsfall
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 9 / 23
![Page 10: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/10.jpg)
Ansätze - Scanning 3d full human bodies using kinects -Tong et. al. [TZL+12]
Multi-Kinect Personen ScannerPerson auf DrehtischErfassung durch 3 KinectsKalibrierung mit SelfCal [Svo]3D Modell in 6 Minuten
Quelle: http://www.math.zju.edu.cn/ligangliu/CAGD/Projects/Kinects-CapturingHumans/
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 10 / 23
![Page 11: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/11.jpg)
Ansätze - Scanning 3d full human bodies using kinects -Tong et. al. [TZL+12]
Transformation in gemeinsames KoordinatensystemGenerierung von Mesh Template mit 50 - 60 VertizenPaarweise Registrierung sukzessiver Frames anhand TemplateGlobale Registrierung zur Fehlerminimierung
I BewegungsfehlerI Verdeckungsfehler
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 11 / 23
![Page 12: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/12.jpg)
Ansätze - Scanning 3d full human bodies using kinects -Tong et. al. [TZL+12]
FazitZu langsamGutes ScanresultatNur bedingt geeignet
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 12 / 23
![Page 13: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/13.jpg)
Ansätze - Real-time, full 3-D reconstruction of movingforeground objects from multiple consumer depth cameras -Alexiadis et. al. [AZD13]
4 Kinects 360◦ um ein Volumen verteiltScannt Körper ab Kniehöhe auf 1.4m ∗ 1.4m FlächeZhang Kalibrierung für gemeinsames Koordinatensystem
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 13 / 23
![Page 14: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/14.jpg)
Ansätze - Real-time, full 3-D reconstruction of movingforeground objects from multiple consumer depth cameras -Alexiadis et. al. [AZD13]
Separate Punktwolken in gemeinsamen KoordinatensystemSeparate Meshes durch Step-discontinuity constraint triangulation[HSIW96]Feinregistrierung mit Parametern aus ICP [BM92]
Quelle: eigene Abbildung, angelehnt an [AZD13]
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 14 / 23
![Page 15: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/15.jpg)
Ansätze - Real-time, full 3-D reconstruction of movingforeground objects from multiple consumer depth cameras -Alexiadis et. al. [AZD13]
Quelle: [AZD13]
FazitSehr schnellHinreichendes ScanresultatScheint sehr gut geeignet
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 15 / 23
![Page 16: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/16.jpg)
Übersicht
1 Motivation
2 AnsätzeReal-Time active Multiview 3D ReconstructionScanning 3d full human bodies using kinectsReal-time, full 3-D reconstruction of moving foreground objects frommultiple consumer depth cameras
3 Fazit
4 Ausblick
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 16 / 23
![Page 17: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/17.jpg)
Fazit
Verschiedene Ansätze je nach AnwendungTiefenbildkameras sehr beliebtKalibrierung ist verstanden, trotzdem tauchen neue Verfahren aufSehr unterschiedliche Ansätze bei Mesh-generierung
I Fülle an Algorithmen
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 17 / 23
![Page 18: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/18.jpg)
Übersicht
1 Motivation
2 AnsätzeReal-Time active Multiview 3D ReconstructionScanning 3d full human bodies using kinectsReal-time, full 3-D reconstruction of moving foreground objects frommultiple consumer depth cameras
3 Fazit
4 Ausblick
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 18 / 23
![Page 19: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/19.jpg)
Stand
Erste Experimente mit mehrerenKinects sind gemachtQualität leidet unterInterferenzen → Kinect V2Zhang Kalibrierung zu langwierigPointcloud-Registrierungweitgehend verstandenWerkzeug: Pointcloud Library
Erste Experimente mit 3 Kinects
Quelle: eigene Abbildung
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 19 / 23
![Page 20: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/20.jpg)
Ausblick
KalibrierungsmethodeimplementierenAusgabe in 3D UmgebungkonzipierenMeshing Algorithmen evaluierenVerteilung: Mesh-Streaming
Oliver Kreylos - 3D Video Capture with Three Kinects
Quelle:Videoscreenshots: [Kre]
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 20 / 23
![Page 21: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/21.jpg)
Vielen Dank für Eure Aufmerksamkeit!
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 21 / 23
![Page 22: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/22.jpg)
Quellen IAlexiadis, Dimitrios S. ; Zarpalas, Dimitrios ; Daras, Petros:Real-time, full 3-D reconstruction of moving foreground objects from multiple consumer depth cameras.In: Multimedia, IEEE Transactions on 15 (2013), Nr. 2, S. 339–358
Besl, P.J. ; McKay, N.D.:A method for registration of 3-D shapes.In: IEEE Transactions on pattern analysis and machine intelligence 14 (1992), Nr. 2, S. 239–256
Hilton, Adrian ; Stoddart, Andrew J. ; Illingworth, John ; Windeatt, Terry:Reliable surface reconstruction from multiple range images.In: Computer Vision—ECCV’96.Springer, 1996, S. 117–126
Ide, Kai ; Sikora, Thomas:Real-time active multiview 3d reconstruction.In: Computer Vision in Remote Sensing (CVRS), 2012 International Conference on IEEE, 2012, S. 203–208
Kreylos, Oliver:3D Video Capture with three Kinects.http://doc-ok.org/?p=965. –zuletzt besucht: 09.06.2014
Mori, Masahiro:The uncanny valley.In: Energy 7 (1970), Nr. 4, S. 33–35
Svoboda, Tomas and Martinec, Daniel and Bouguet, Jean-Yves and Werner, Tomas and Chum, Ondrej:Multi-Camera Self-Calibration.http://cmp.felk.cvut.cz/~svoboda/SelfCal/. –zuletzt besucht: 09.06.2014
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 22 / 23
![Page 23: Kontinuierliche Echtzeit 3D-Modell Erfassungubicomp/... · 2014-06-27 · Quelle:angelehntan[Mor70] I.Petersen (MInf–HAWHamburg) Echtzeit3DScan 19. Juni2014 4/23. Übersicht 1 Motivation](https://reader035.vdocuments.site/reader035/viewer/2022070801/5f0274627e708231d404584b/html5/thumbnails/23.jpg)
Quellen II
Tong, J. ; Zhou, J. ; Liu, L. ; Pan, Z. ; Yan, H.:Scanning 3d full human bodies using kinects.In: IEEE Transactions on Visualization and Computer Graphics 18 (2012), Nr. 4, S. 643–650
I. Petersen (MInf – HAW Hamburg) Echtzeit 3D Scan 19. Juni 2014 23 / 23