auf knopfdruck – auswertung und resultate uav-gestützter...
TRANSCRIPT
HCU HafenCity UniversitätHamburg
HCU HafenCity Universität Universität für Baukunstund MetropolenentwicklungHamburg
HAMBURGS NEUE UNIVERSITÄTEuropas erste Universität für die bebaute Umwelt
Auf Knopfdruck – Auswertung und Resultate UAV -gestützter Bildflugdaten
Thomas P. Kersten
HCU HafenCity UniversitätHamburg
148. DVW-Seminar „Vermessung mit unbemannten Flugsy stemen – UAV 2016, 18.-19. Februar 2016, Bonn
Inhalt
� System
� Einführung
� Workflow
� Fazit & Ausblick
� Software
� Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
1. Einleitung
� Rasante Marktentwicklung – ständig neue Systeme
� UAV-Systeme für div. Anwendungen im Einsatz
� Lückenschluss zwischen Luftbild & Nahbereich
� Kann jeder, der ein UAV steuern kann, auch Photogra mmetrie?
� High-End bis Low -Cost Systeme – Flächenflieger vs. Rotoren
� Zulauf bei wissenschaftlich-technischen Veranstaltu ngen
� Metrische Q - Genauigkeit, Wiederholbarkeit & Zuverl ässigkeit?
HCU HafenCity UniversitätHamburg
� Photogrammetrisches UAV-Aufnahme- & Auswertesystem (Beispiel)
KameraSony Nex 5R(f = 16 mm)
Notebook (3D) Software PhotoScan 1.2.3
����
����
����UAV
Schenker XMG P723
MikroKopter ARF OktoXL
(HiSystems GmbH, Moormerland)
Intel Core i7, 32 GB RAM2x NIVIDEA GTX 780M
2. System
EUR 150 - 2500EUR 500 - 30000
EUR 800 - 4000
EUR 0 - 5000
HCU HafenCity UniversitätHamburg
Status
Visualisierung
UAV-Bildflug
Bündelblockausgleichung(Bildorientierung & Kamerakalibrierung)
3. Workflow
Dense Image Matching
Semi-auto
Automatisch
Texturierung
3D-Triangulation (Dreiecksvermaschung)
Bildflugplanung
Bildpunktmessungen(SIFT & RANSAC)
Passpunkt-messungen
Filterung Segmentierung Höhenlinien
Orthophoto
HCU HafenCity UniversitätHamburg
� Kamerakalibrierungsparameter
� Zuverlässigkeit & Wiederholbarkeit der Methoden
� Objektdeformationen durch schlechte Bildverbände
� Datumsdefinition (Passpunkte & Skalierung)
� Wiederholungen von Mustern oder keine Texturen
� Beleuchtungsänderungen
� Integration von Bildern unterschiedl. Maßstäbe (z.B. UAV + terrestr.)
� Berechnungszeiten (CPU / GPU)
� Vielseitigkeit / Einsetzbarkeit
� Suche nach korrespondierenden Punkten (connectivity maps)
� Lebensdauer von Open-Source Lösungen
� Kritische Aspekte für 3D -Aufnahme & Auswertung
[Remondino et al. 2012]
3. Workflow
HCU HafenCity UniversitätHamburg
Systemanforderungen
� Workflow in einer Software
� Photogrammetrische Kamerakalibrierung in SW
� GPU-fähige Software (Geschwindigkeit)
� Leistungsstarke Rechner (RAM, Graphik-Karte, Prozes sor)
� Automatische Messung von Verknüpfungspunkten
� Dense Image Matching (oder Semi-Global Matching)
� Bündelausgleichung mit Passpunkten + GNSS/INS (geod . Beob.)
� Messung (automatisch/manuell) von Passpunkten oder Strecken
� Dreiecksvermaschung & Texturierung
� Polygondezimierung & verschiedene Ausgabeformate
4. Software
HCU HafenCity UniversitätHamburg
4. Software� „Klassische“ kommerzielle Softwarepakete
Inpho UASMaster
HCU HafenCity UniversitätHamburg
4. Software� Open-source Software – Bundler & PMVS2
� Webservice – Autodesk 123D Catch
� Low-cost Software – Agisoft PhotoScan
� Freie Software – VisualSFM
� Open-source Software – Apero & MicMac
� Webservice – ARC 3D
Apero & MicMac
� Weitere – My3DScanner, PhotoSynth, hypr3D, etc.
� Kommerzielle Software – Pix4Dmapper
� Kommerzielle Software – aSPECT 3D inkl. SURE von nFrames
� Kommerzielle Software – Smart3DCapture™
HCU HafenCity UniversitätHamburg
� Kommando-Zeilen basierte Open-Source Software
� Structure from Motion Algorithmus (Bundler - SIFT / RANSAC)& Dense Image Matching (PMVS2)
� Automatischer Workflow mit HCU GUI (zBundler)
� Bundler/PMVS2 (Universität von Washington, Seattle)
� Kamerakalibrierung – Brennweite f aus EXIF-Daten,2 Parameter radial-symmetrische Verzeichnung k1 & k2
3. Software
� Keine Passpunktmessungen möglich
HCU HafenCity UniversitätHamburg
� Structure from Motion auf GPU (Graphics Processing Unit)
� Multicore Bündelblockausgleichung
� VisualSFM (Universität von Washington, Seattle) – f reie Software
� Dense Image Matching mit CMVS/PMVS2 auf CPU
� Kamerakalibrierung –Brennweite faus EXIF-Daten,Bildhauptpunkt x 0, y0,1 Verzeichnungs-parameter
4. Software
� Keine Passpunkt-messungen möglich?
HCU HafenCity UniversitätHamburg
4. Software
� MICMAC –Multi Images Correspondances parMéthodes Automatiques de Corrélation
� Apero = Aérotriangulation PhotogrammétriqueExpérimentale Relativement Opérationnelle.
� APERO (IGN) – Triangulationssoftware
� MICMAC (IGN) – Software für automat. Image Matching
� Div. Kamerakalibrierungsmodelle (z.B. Parameter von Brown & Ebner)
� Automatische Verknüpfungspunkte, Näherungswertberec hnungen,Bündelausgleichung (relative und absolute Orientier ung)
HCU HafenCity UniversitätHamburg
� Webservice – Autodesk Photofly | 123D Catch4. Software
Automatically convert ordinaryphotos into extraordinary3D models leveragingthe power of the cloud
Smartphonegrammetry
HCU HafenCity UniversitätHamburg
http://www.arc3d.be/
Vergauwen, M. & Van Gool, L. (2006): Web-Based 3D ReconstructionService. Machine Vision Applications, 17, 411-426.
4. Software
� Webservice – ARC 3DA Family of Web Tools for Remote 3D Reconstruction
HCU HafenCity UniversitätHamburg
4. Software
� 3D-Werkzeuge – Schnitte anlegen, hochauflösendeAnsichtsrenderings, Tiefenbilder, Messung (Abstände ,Flächen, Volumina), Rahmen, Koordinatensystem, Tran sformation
� Kommerzielle Software – aspect 3D –Das Photogrammetrie-Komplettpaket zumErstellen und Bearbeiten von 3D-Meshes uvm .
� Software SURE von nFrames integriert (Bildorientieru ng &Kamerakalibrierung von Bundler)
HCU HafenCity UniversitätHamburg
4. Software
� Kommerzielle Software – Pix4Dmapper� Spin-Off EPF Lausanne (Schweiz)
HCU HafenCity UniversitätHamburg
� Industrial-quality software solutions forautomatic high resolution 3D modeling from photos,with unmatched performance on complex scenes.
4. Software
Smart3DCapture™
� Kommerzielle Software – Smart3DCapture™
HCU HafenCity UniversitätHamburg
� Kommerzielle Software – Agisoft PhotoScan (Standard / Pro)
� 3D-Rekonstruktionssoftware ���� textur. vermaschte Modelle
� Multi-view bildbasierte 3D-Modellierungslösung
4. Software
HCU HafenCity UniversitätHamburg
� Kommerzielle Software – Agisoft PhotoScan (Standard / Pro)
4. Software
� Auswertung mit Agisoft PhotoScan
�Fotos importieren (Add Photo…)
�Bildorientierung & Kamerakalibrierung (Align Photo…)
�Skalierung durch Passpunkte oder Maßstäbe
�Dichte Punktwolke mit Dense Image Matching
(Build Dense Cloud…)
�Bereinigung, Filterung, Segmentierung
�Dreiecksvermaschung/Polygonreduktion (Build MeshCloud…)
�Texturierung (Build Texture…)
�Export 3D-Modell in verschiedene Formate (3D PDF, OBJ, etc.)
�Visualisierung
HCU HafenCity UniversitätHamburg
3. Software
� Software zur Bearbeitungvon 3D-Punktwolken und Dreicksvermaschungen
� Open-Source-Projekt� Französ. Firma EDF R&D
� Open-source Softwarefür die Bearbeitung und Editierungvon unstrukturierten 3D-Vermaschungen
� MeshLab
� CloudCompare
http://www.danielgm.net/cc/
http://meshlab.sourceforge.net/
� Visual Computing Labof Istituto di Scienza e Tecnologie dell’Informazione “A. F aedo”,ein Institute of the National Research Council of Italy
HCU HafenCity UniversitätHamburg
� Beispiele UAV-Bildflugprojekte
5. Ergebnisse & Produkte von UAV -Bildflügen
Objekt UAV-System Kamera c [mm] # Fotos # PasspkteSeedorf Trikopter Canon IXUS 125 4 60 18Dannewerk Quadrokopter Canon PS S100 2 250 8Lembecksburg Hexakopter Sony Nex-5 16 186 5Osterinsel Oktokopter Sony Nex-5R 16 702 14
Seedorf LembecksburgDanewerk Osterinsel
HCU HafenCity UniversitätHamburg
� Historisches Gebäude – 3D Punktwolke aus 215 Fotos
5. Ergebnisse & Produkte von UAV -Bildflügen
Torhaus Seedorf(Bad Segeberg)
Erbaut 1583
HCU HafenCity UniversitätHamburg
� Fotos (rot) vom Trikopter – Canon IXUS 125 HS (4 mm) = 60
� Fotos vom Boden – Nikon D800 (18 mm) = 99, Nikon D7000 (50 mm) = 56
Nikon D7000 (4928 x 3264)Nikon D800 (3600 x 2400)
CanonIXUS 125 HS(4608 x 3456)
Trikopter (Aerophoto Hamburg)
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Bildorientierung & Kamerakalibrierung mit Agisoft P hotoScan
� Verbesserungen in Bildkoordinaten – σσσσ xy = 0.35 pix� Verbesserungen in 18 Passpunkten – σσσσ XYZ = 1.2 cm
� Dünne Punktwolke – 6,387 Punkte | Dichte Punktwolke – 35.9 Mio. Punkte
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Vermaschtes 3D-Modell – 2,67 Mio. Dreiecke = 294 Mbyte (OBJ)
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Historisches Gebäude Torhaus Seedorf – 3D-CAD-Modell ierung
� 3D-CAD-Modellierung – Geomagic & AutoCAD mit PointSe nse
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Historic building – 36 mill. points for CAD modellin g
HCU HafenCity UniversitätHamburg
� Historisches Gebäude Torhaus Seedorf – 3D-CAD-Modell
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� 3D-Vergleich –TLS Punktwolke vs. 3D-CAD-Modell (rech ts)
� 3D-Vergleich –TLS Mesh vs. Punktwolke PhotoScan (lin ks)
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
19.02.2016TITEL PRÄSENTATION
� Danewerk – Das Tor zum Wikingerreich
5. Ergebnisse & Produkte von UAV -Bildflügen
ARKVEST Arkæologi Vestjylland
dji phantom 2
Canon PowerShot
� UAV als Low-Cost System
HCU HafenCity UniversitätHamburg
� Bildauswahl – 250 Fotos in unterschiedlichen Flughöh en
� Rechenzeit – 201 Minuten (3 Std. 21 Min.)
� Rechner – Schenker XMG, Intel Core i7 (4 GHz), 32 GB RAM, 2x NVIDEA GeoForce GTX 780M mit 4096 MB
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Abweichungen Passpunkte – Lage 4 mm, Höhe 2 mm
� Bildmessgenauigkeit Passpunkte – 0.1 Pixel
5. Ergebnisse & Produkte von UAV -Bildflügen
� Dichte Punktwolke – 8.9 Mio. Punkte
� Dünne Punktwolke 285.750 Punkte –Bildorientierung & Kamerakalibrierung
� Produkt Kamerakalibrierung
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen
� Produkt Oberflächenmodell – 1.8 Mio. Dreiecke (GSD 2 .2 cm)
39.6465 m
26.392 m
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen
� Produkt Oberflächenmodell – 1.8 Mio. Dreiecke (GSD 2 .2 cm)
� Produkt Orthophoto (GeoTIFF) – GSD 15 mm (8 Mbyte) 39.6465 m
26.392 m
HCU HafenCity UniversitätHamburg
� Luftbildflug mit Unmanned Aerial Vehicle (Hexacopter, EUR 2840.-)� Kamera Sony NEX-5 (16 mm Brennweite, 4592 x 3056 p ix)� Flugzeit – 8 min | 186 Fotos� Manuelle Kontrolle wegen starkem Wind (steife Bries e)
� GSD – ∼∼∼∼2,5cm
� Flughöhe – ∼∼∼∼77m
Sky Hero Spy 750
Steuerung – 3D Robotics Pixhawk
� Systemkosten –EUR 5K
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Agisoft PhotoScan
HCU HafenCity Universität
Hamburg
� Orientierung (Kamera-kalibrierung + Bildorientierung) & Rekonstruktion (dense pointcloud) – ca. 35 min
� Qualität Medium –8.8 Mio. Punkte
� 5 Passpunkte –Verbesserungen XY = 6mm, Z = 2mm
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� 3D-Vergleich –UAV vs. p3d systems
� Höhenshift –UAV höher alsp3d systems
[m]
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
0
50
100
150
200
250
0,1 0 -0,1 -0,2 -0,3 -0,4 -0,5 -0,6 -0,7 -0,8 -0,9 -1 -1,1 -1,2
Verteilungsdiagramm Z-Differenzen (Datensatz 2)p3d & UAV & TLS lowest – Totalstation
p3d UAV ImagerTLS
� Qualitätskontrolle – p3dsystems & UAV & TLS vs. Refe renz� Negativer systematischer Höhenshift (Grashöhe) zur R eferenz
Ø Abw. [m] Abw. min [m] Abw. max [m]p3d -0.19 -0.90 0.06UAV -0.25 -0.99 0.03TLS -0.22 -0.87 0.09
� Geländemodell p3d, TLS & UAV höher als Referenz
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen� Produkt Kamerapositionen/Flächenabdeckung� Produkt DOM
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen� Produkt Kamerapositionen/Flächenabdeckung� Produkt DOM
� Produkt DOP
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen
KameraSony Nex 5R(f = 16 mm)
MikroKopterARF OktoXL
(HiSystems GmbH,Moormerland)
� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
� Bildflugplanung (schematische Fluglinien + Talbildf lug)
HCU HafenCity UniversitätHamburg
� UAV-Bildflug 2015 – 429 Fotos
� UAV-Bildflug 2015 – Dt. Archäo. Grabung 2015 – 273 Fot os
� Residuen der 14 Passpunkte – s XYZ = 2.5 cm
� Dünne Punktwolke für Bildorientierung & Kamerakalib . –56 von 702 Fotos nicht automatisch orientiert
� Verknüpfung zweier Luftbildblöcke – Bestimmung von zusätzlichen Passpunkten in den Bilddaten
5. Ergebnisse & Produkte von UAV -Bildflügen� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
HCU HafenCity UniversitätHamburg
� Gebiet Quebrada Vaipú (inkl. Ava Ranga Uka A Toroke Hau )
� Dichte Punktwolke – 64.8 Mio. Punkte
� Produkt 3D-Modell – 14.3 Mio. Dreiecke (Vermaschung)
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Produkt – Digitales Orthophoto mit 3 cm GSD (Pixelgrö ße)
� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
5. Ergebnisse & Produkte von UAV -Bildflügen
� Produkt – DOP mit Vektordaten der archäolog. Grabung
HCU HafenCity UniversitätHamburgHCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen
� Produkt – Digitales Orthophoto mit Höhenlinien überla gert
� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
HCU HafenCity UniversitätHamburg
5. Ergebnisse & Produkte von UAV -Bildflügen
� Produkt – DOP mit Höhenlinien im Vergleich überlager t
� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
HCU HafenCity UniversitätHamburg
HCU HafenCity UniversitätHamburg
� Produkt – Digitales Geländemodell (farbkodiert dargestel lt)
� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)
5. Ergebnisse & Produkte von UAV -Bildflügen
HCU HafenCity UniversitätHamburg
6. Fazit & Ausblick
� UAV-Bildflug – Testfelduntersuchungen, GNSS-Empfänger ?
� Software am Markt – Open-Source, Low -Cost, Kommerziell
� Flexibler Einsatz bei kleinflächigen Projekten
� Metrische Qualitätskontrolle – Fehleranalyse / Proto kolle?
� Stabilität durch metrische Kamera – Genauigkeitsgewi nn?
� UAV-Bilddatenverarbeitung – auf Knopfdruck (Automati on)
� Standard-Produkte ���� DOM, DOP, vermaschtes 3D-Modell
� Software-Einsatz – diverse Kriterien für Photogramme trie
HCU HafenCity UniversitätHamburg
HCU HafenCity UniversitätHamburg
Vielen Dankfür Ihre Aufmerksamkeit!
Kontakt – Prof. Thomas P. KerstenHafenCity Universität Hamburg, Labor für Photogrammetrie & Laserscanning, Überseeallee 16, D-20457 Hamburg, [email protected]
Dank an die UAV-Piloten:Dr.-Ing. Johannes Prenting (Aerophoto Hamburg),
Esben Schlosser Mauritsen (Museum Arkeologi Vestjylland, Dänemark)und Dipl.-Ing. Christian Hartl-Reiter (Landesarchäologie Mecklenburg-Vorpommern)
Fot
o: C
. Har
tl-R
eite
r