in copyright - non-commercial use permitted rights...
Post on 30-Jul-2020
4 Views
Preview:
TRANSCRIPT
Research Collection
Doctoral Thesis
Multiphoto geometrically constrained matching
Author(s): Baltsavias, Emmanuel P.
Publication Date: 1991
Permanent Link: https://doi.org/10.3929/ethz-a-000617558
Rights / License: In Copyright - Non-Commercial Use Permitted
This page was generated automatically upon download from the ETH Zurich Research Collection. For moreinformation please consult the Terms of use.
ETH Library
17. Dez, 1991
DISS. ETH Nr. 9561
Multiphoto Geometrically Constrained
Matching
ABHANDLUNG
Zur Erlangung des Titels
DOKTOR DER TECHNISCHEN WISSENSCHAFTEN
der
EIDGENÖSSISCHEN TECHNISCHEN HOCHSCHULE
ZÜRICH
vorgelegt von
EMMANUEL P. BALTSAVIAS
Dipl. Ing., Nationale Technische Universität (Ethnikon
Metsovion Polytechnion), Athen, Griechenland
Master of Science, Ohio State University, Columbus, USA
geboren am 4. September 1957
von Griechenland
Angenommen auf Antrag von:
Prof. Dr. A. Gruen, Referent
Prof. Dr. B. P. Wrobel, Korreferent
Zürich, 1991
IV
ABSTRACT
One of the central problems in digital photogrammetry, Computer and machine vision is
the problem of automatically finding corresponding features in different images.
Correspondence is necessary for 2-D and 3-D measurements and very often a prerequisite for
object detection, Classification and identification. Although research for more than three
decades has been devoted to this problem, a fully automated, precise and reliable image
matching method, able to adapt to different image and scene Contents, does not exist yet. The
aim of this research was to improve matching in the above aspects by developing and
examining the Performance and applicability of a new algorithm called Multiphoto
Geometrically Constrained Matching (MPGC).
MPGC is an extension of Least Squares Matching (LSM), which is an area-based
matching method establishing a fit between small image patches by an affine geometric and a
two parameter linear radiometric transformation. MPGC considerably improves LSM by
using two new elements: (i) the exploitation of any a priori known geometric information to
constrain the Solution and (ii) the simultaneous use of any number (more than two) of
images. These elements reduce the search space (conditional 1-D search), improve the
accuracy and especially the success rate and reliability of matching. The mathematical model
of the algorithm is formulated in terms of a combined least Squares adjustment. The
Observation equations consist of the equations formulating the grey level matching and those
that express the geometric constraints, the two parts being related to each other through
common unknown parameters. The geometric constraints that have been used in this
research are the collinearity conditions extended by additional parameters modelling
systematic errors, assuming that the interior and exterior orientation of the sensors are
known. Thus, MPGC permits a simultaneous determination of pixel and object coordinates.
Additionally, through the connection of image and object space, any number of images can
be simultaneously accommodated. Two measurement modes were analysed: determination
of X, Y, Z object coordinates (match points are fixed in one reference (template) image), and
determination of Z over fixed X, Y object coordinates (match point position must be
estimated in all images). For greater flexibility the geometric constraints are treated as
weighted Observation equations and not as strict conditions. The radiometric parameters are
not included in the mathematical model; instead to increase flexibility and speed, radiometric
corrections are applied during the iterations. As an alternative, it is proposed to use a Wallis
filter for a radiometric equalisation of the images before matching. The Wallis filter has also
been used to enhance contrast, high contrast being necessary for accurate matching.
Emphasis has been placed on three aspects of the algorithm. Since MPGC is based on a
nonlinear least Squares estimation, it requires the knowledge of reasonably precise
approximations. After a theoretical analysis of the required quality of the approximations, a
method to derive the approximations by a image pyramid based (coarse-to-fine) approach is
presented. Different kerneis for the pyramid generation are compared, problems occuring at
image borders are treated, geometric relations between pyramid levels are derived and criteria
for the choice of appropriate matching parameters at each level are proposed. The image
pyramid approach, in addition to being an efficient way to derive approximate values,
increases the convergence radius (in practical tests parallaxes up to 70 pixels have been
handled), convergence rate and computational speed, and can be exploited for a better quality
control and self-adaptivity of the algorithm. Without the image pyramid, convergence has
been achieved, in some cases, for errors in the approximate values of up to 10-20 pixels, but
optimally these approximate values should be 1 pixel accurate.
A critical question for surface measurement is the choice of points which should be
measured. These points must be characteristic points of the surface but also well
determinable. The proposed strategy consists of choosing good match points in the reference
image and matching them in all pyramid levels. Points which are considered good lie on
edges vertical to the geometric constraint line. They are derived by a direction selective
interest Operator using the first and/or the second intensity derivatives. The operator's
parameters can be adapted so that the selection of "noisy" pixels is reduced and the required
density of selected points is fulfüled. Methods to ensure the existence of the selected points
in all pyramid levels are proposed. Thus, MPGC is a combination of area-based and
feature-based, especially edge-based, matching.
The third major aspect of the investigations is the quality evaluation of the results, the
detection of gross errors and the automatic adaptation of the algorithm to different image
contents and object surfaces. This aspect includes measures to express the achieved
precision, methods for the automatic detection of Wunders and Observation errors, different
tests to check the determinability and the significance of the shaping parameters, and ways of
automatically adapting the image patch size to the signal content and object surface. The
blunder detection test involves checking each individual object point ray based on a
combination of criteria, whose thresholds are adapted to the processed image. Many practical
accuracy studies, referring to a comparison of accuracy and precision and the amount of
detected and undetected Wunders, are presented. The theoretical precision of the shifts, in the
case of good targets, typically is 0.01 - 0.05 pixels. The achieved accuracy was for good
planar targets 0.2 - 1 um, for signalised or good natural points 2-3 (im, and for natural
points on general surfaces 10 - 15 p.m. whereby the pixel spacing was typically 10 um. In
the performed tests, the matching accuracy was generally similar to the accuracy of manual
measurements; in certain cases the matching accuracy was even higher than the manual one.
The percentage of blunders automatically detected by MPGC varied from 5% - 25% of the
total number of points, depending on the image content and object surface. The percentage
of undetected Wunders was 1% - 3% of the points accepted by MPGC as being correct, thus
comparable to the error rate of a human Operator. Further, it is shown how MPGC can
reduce problems like multiple Solutions, occlusions, discontinuities and radiometric
distortions in comparison to other algorithms.
VI
Finally, methods for the reduction of oscillations and divergence problems and
computational aspects are treated. Different applications and tests are presented.
vn
ZUSAMMENFASSUNG
Eines der zentralen Probleme in der digitalen Photogrammetrie, der Computer und
Machine Vision ist die automatische Bestimmung korrespondierender Merkmale in
unterschiedlichen Bildern. Die Korrespondenz ist für zwei- und dreidimensionalen Messung
notwendig und ist sehr oft Voraussetzung zur Detektion, Klassifizierung und Identifikation
von Objekten. Obwohl sich die Forschung seit bereits mehr als dreißig Jahren mit diesem
Problem befaßt, gibt es heute keine vollautomatische, genaue und zuverlässige
Bildzuordnungs-Methode, die sich unterschiedlichen Bild- und Szeneninhalten anpassen
kann. Das Ziel dieser Forschungsarbeit ist es in bezug auf die oben genannten Aspekten die
Bildzuordnung zu verbessern durch Entwicklung und Untersuchung von Leistung und
Anwendbarkeit eines neuen Algorithmus, dem Multiphoto Geometrically Constrained
Matching (MPGC).
MPGC ist eine Erweiterung der Korrelation nach der Methode der kleinsten Quadrate
(Least Squares Matching, LSM). Das LSM ist eine flächengestützte Matching-Methode, die
eine Anpassung zwischen kleinen Bildausschnitten mittels einer affinen geometrischen
Transformation und einer linearen, radiometrischen Transformation mit 2 Parametern erzielt.
Das MPGC verbessert das LSM durch Nutzung von zwei neuen Elementen: (i) der
Ausnutzung von a priori bekannter geometrischer Information um den Lösungsraum
einzuschränken und (ii) der simultanen Nutzung beliebig vieler (mehr als zwei) Bilder. Diese
Elemente reduzieren den Suchraum (bedingte 1-D Suche), verbessern die Genauigkeit und im
besonderen die Erfolgsrate und die Zuverlässigkeit des Matching. Das mathematische Model
des Algorithmus ist als kombinierte kleinste Quadrate Ausgleichung formuliert. Die
Beobachtungsgleichungen bestehen aus Gleichungen für Grauwert-Matching und jenen für
die geometrischen Bedingungen, welche über gemeinsame unbekannte Parameter verknüpft
sind. Die in dieser Forschungsarbeit benutzten geometrischen Bedingungen sind die um
zusätzliche Parameter zur Modellierung systematischer Fehler erweiterten
Kollinearitätsbedingungen, wobei die innere und äußere Orientierung des Sensors als
bekannt vorausgesetzt werden. Das MPGC erlaubt die gleichzeitige Bestimmung von Pixel-
und Objektkoordinaten. Zusätzlich ist durch die Verbindung des Bildraumes mit dem
Objektraum die gleichzeitige Verwendung einer beliebigen Anzahl von Bildern möglich.
Zwei Messmodi wurden analysiert: die Bestimmung von XYZ-Objektkoordinaten (fester
Match-Punkt im Referenzbild) und Bestimmung von Z bei festen XY-Objektkoordinaten (die
Position des Match-Punktes wird in allen Bildern ermittelt). Zur größeren Flexibilität werden
die geometrischen Bedingungen nicht als strenge Bedingungen sondern als gewichtete
Beobachtungsgleichungen behandelt. Die radiometrischen Parameter werden nicht in das
mathematische Model einbezogen. Stattdessen werden zur Erhöhung der Flexibiltät und der
Verarbeitungsgeschwindigkeit während der Iterationen radiometrische Korrekturen
angebracht Als Alternative dazu wird vor dem Matching die Verwendung des Wallis-Filters
zur radiometrischen Angleichung der Bilder vorgeschlagen. Der Wallis-Filter kann auch zur
vni
Erhöhung des Kontrastes benutzt werden; hoher Kontrast ist für genaues Matching
notwendig.
Auf drei Aspekte des Algorithmus wurde besonderes Gewicht gelegt. Das MPGC basiert
auf einer nicht linearen kleinste Quadrate Ausgleichung, die relativ genaue Näherungswerte
verlangt. Nach einer theoretischen Analyse der benötigten Qualität der Näherungswerte,
wird eine Methode zur Ableitung von Näherungswerten vorgestellt, die auf Bildpyramiden
("coarse-to-fine" Verfahren) basiert. Verschiedene Filter zur Generierung von
Bildpyramiden werden verglichen, Probleme an Bildrändem werden behandelt, geometrische
Relationen zwischen Pyramidenstufen werden abgeleitet, Kriterien zur Wahl geeigneter
Matching Parameter auf jeder Stufe werden vorgeschlagen. Die Verwendung von
Bildpyramiden vergrößert den Konvergenzradius (in praktischen Tests betrug der
Konvergenzradius bis zu 70 Pixel), die Konvergenzrate und die Rechengeschwindigkeit, und
kann zur besseren QualititätskontroUe und Selbstadaption des Algorithmus ausgenutzt
werden. Ohne Bildpyramide wurde Konvergenz in einigen Fällen sogar für 10 bis 20 Pixel
Näherungswertfehler erreicht, jedoch sollten optimale Näherungswerte 1 Pixel genau sein.
Eine kritische Frage zur Oberflächenvermessung ist die Wahl der Messpunkte, die die
Oberfläche repräsentieren. Diese Punkte müssen sowohl charakteristische Punkte der
Oberfläche als auch gut bestimmbar sein. Die vorgeschlagene Strategie besteht aus der
Auswahl guter Matching-Punkte im Referenzbild und dem Matching in allen
Pyramidenstufen. Als gut werden solche Punkte betrachtet welche auf Kanten senkrecht zur
Linie(n) der geometrischen Bedingungen (z.B. Kernstrahlen) liegen. Die Punkte werden mit
einem richtungsselektiven Interest Operator abgeleitet, der die erste und/oder zweite
Ableitungen der Grauwerte nutzt. Der Operator kann um die Wahl von verrauschten Pixeln
zu reduzieren und Punkte mit einer erforderlichen Verteilungsdichte auszuwählen angepasst
werden. Methoden zur Auswahl von Punkten, die in allen Pyramidenstufen vorkommen,
werden vorgeschlagen. Somit ist MPGC eine Kombination von flächengestütztem und
merkmalgestütztem, vor allem auf Kanten basierendem, Matching.
Der dritte Aspekt der Untersuchung ist die qualitative Auswertung der Ergebnisse, die
Suche nach groben Fehlern und die automatische Adaption des Algorithmus auf
unterschiedliche Bildinhalte und Objektoberflächen. Dieser Aspekt beinhaltet Masse zur
Beurteilung der erreichten Genauigkeit, Methoden zur automatischen Detektion grober Fehler
und Beobachtungsfehler, verschiedene Tests zur Prüfung der Bestimmbarkeit und
Signifikanz der Maßstäbe und der Scherungen, und Wege zur automatischen Anpassung der
Bildfenstergröße in bezug auf Signalinhalt und Objektoberfläche. Der Test zur Aufdeckung
grober Fehler prüft jeden Bildstrahl aufgrund einer Kombination von Kriterien, deren
Schwellwerte dem zu verarbeitenden Bild angepasst sind. Viele praktische Untersuchungen,
bezogen auf Vergleiche von theoretischer und empirischer Genauigkeit und aufgedeckten zu
nicht aufgedeckten groben Fehlern, werden dargestellt. Die theoretische Genauigkeit der
Verschiebungen liegt im Falle guter Ziele typischerweise bei 0.01 bis 0.05 Pixel. Die
IX
Genauigkeit beträgt für gute ebene Ziele 0.2 bis 1 um, für signalisierte oder gute natürliche
Punkte 2 bis 3 um und für natürliche Punkte auf Oberflächen allgemeiner Form 10 bis 15
um, wobei die Sensorelementgrösse typischerweise 10 um betrug. In den durchgeführten
Tests war die Matching-Genauigkeit ähnlich oder besser als bei manuell ausgeführten
Messungen. Die vom MPGC automatisch gefundenen groben Fehler variieren von 5% bis
25% der totalen Anzahl Messpunkte, in Abhängigkeit vom Bildinhalt und Objektoberfläche.
Die Rate nicht aufgedeckter grober Fehler betrug 1% bis 3% der vom MPGC als korrekt
akzeptierten Punkte, vergleichbar der eines Operateurs. Weiterhin wird gezeigt wie das
MPGC Probleme, wie mehrfache Lösungen, Verdeckungen, Diskontinuitäten und
radiometrische Störungen, im Vergleich zu anderen Algorithmen, reduzieren kann.
Schließlich wird eine Methode zur Verminderung von Oszillationen und
Divergenzproblemen und rechentechnische Aspekte behandelt und unterschiedliche
Anwendungen und Tests vorgestellt.
top related