
Dissertationen
2012
Korč, Filip:
Tractable Learning for a Class of Global Discriminative Models for Context Sensitive Image Interpretation
Dissertation, Bonn 2012
[ BibTex ]
@PHDTHESIS{korc12:tractable,
author={Kor{\v c}, Filip},
title={Tractable Learning for a Class of Global Discriminative Models for Context Sensitive Image Interpretation},
School={Department of Photogrammetry, University of Bonn},
year={2012}
}
Roscher, Ribana:
Sequential Learning using Incremental Import Vector Machines for Semantic Segmentation
Dissertation, Bonn 2012
[ Zusammenfassung ]
Abstract
We propose an innovative machine learning algorithm called incremental import vector machines that is used for classification purposes. The classifier is specifically designed for the task of sequential learning, in which the data samples are successively presented to the classifier. The motivation for our work comes from the effort to formulate a classifier that can manage the major challenges of sequential learning problems, while being a powerful classifier in terms of classification accuracy, efficiency and meaningful output. One challenge of sequential learning is that data samples are not completely available to the learner at a given point of time and generally, waiting for a representative number of data is undesirable and impractical. Thus, in order to allow for a classification of given data samples at any time, the learning phase of the classifier model needs to start immediately, even if not all training samples are available. Another challenge is that the number of sequential arriving data samples can be very large or even infinite and thus, not all samples can be stored. Furthermore, the distribution of the sample can vary over time and the classifier model needs to remain stable and unchanged to irrelevant samples while being plastic to new, important samples. Therefore our key contribution is to develop, analyze and evaluate a powerful incremental learner for sequential learning which we call incremental import vector machines (I2VMs). The classifier is based on the batch machine learning algorithm import vector machines, which was developed by Zhu and Hastie (2005). I2VM is a kernel-based, discriminative classifier and thus, is able to deal with complex data distributions. Additionally ,the learner is sparse for an efficient training and testing and has a probabilistic output. A key achievement of this thesis is the verification and analysis of the discriminative and reconstructive model components of IVM and I2VM. While discriminative classifiers try to separate the classes as well as possible, classifiers with a reconstructive component aspire to have a high information content in order to approximate the distribution of the data samples. Both properties are necessary for a powerful incremental classifier. A further key achievement is the formulation of the incremental learning strategy of I2VM. The strategy deals with adding and removing data samples and the update of the current set of model parameters. Furthermore, also new classes and features can be incorporated. The learning strategy adapts the model continuously, while keeping it stable and efficient. In our experiments we use I2VM for the semantic segmentation of images from an image database, for large area land cover classification of overlapping remote sensing images and for object tracking in image sequences. We show that I2VM results in superior or competitive classification accuracies to comparable classifiers. A substantial achievement of the thesis is that I2VM's performance is independent of the ordering of the data samples and a reconsidering of already encountered samples for learning is not necessary. A further achievement is that I2VM is able to deal with very long data streams without a loss in the efficiency. Furthermore, as another achievement, we show that I2VM provide reliable posterior probabilities since samples with high class probabilities are accurately classified, whereas relatively low class probabilities are more likely referred to misclassified samples.
We propose an innovative machine learning algorithm called incremental import vector machines that is used for classification purposes. The classifier is specifically designed for the task of sequential learning, in which the data samples are successively presented to the classifier. The motivation for our work comes from the effort to formulate a classifier that can manage the major challenges of sequential learning problems, while being a powerful classifier in terms of classification accuracy, efficiency and meaningful output. One challenge of sequential learning is that data samples are not completely available to the learner at a given point of time and generally, waiting for a representative number of data is undesirable and impractical. Thus, in order to allow for a classification of given data samples at any time, the learning phase of the classifier model needs to start immediately, even if not all training samples are available. Another challenge is that the number of sequential arriving data samples can be very large or even infinite and thus, not all samples can be stored. Furthermore, the distribution of the sample can vary over time and the classifier model needs to remain stable and unchanged to irrelevant samples while being plastic to new, important samples. Therefore our key contribution is to develop, analyze and evaluate a powerful incremental learner for sequential learning which we call incremental import vector machines (I2VMs). The classifier is based on the batch machine learning algorithm import vector machines, which was developed by Zhu and Hastie (2005). I2VM is a kernel-based, discriminative classifier and thus, is able to deal with complex data distributions. Additionally ,the learner is sparse for an efficient training and testing and has a probabilistic output. A key achievement of this thesis is the verification and analysis of the discriminative and reconstructive model components of IVM and I2VM. While discriminative classifiers try to separate the classes as well as possible, classifiers with a reconstructive component aspire to have a high information content in order to approximate the distribution of the data samples. Both properties are necessary for a powerful incremental classifier. A further key achievement is the formulation of the incremental learning strategy of I2VM. The strategy deals with adding and removing data samples and the update of the current set of model parameters. Furthermore, also new classes and features can be incorporated. The learning strategy adapts the model continuously, while keeping it stable and efficient. In our experiments we use I2VM for the semantic segmentation of images from an image database, for large area land cover classification of overlapping remote sensing images and for object tracking in image sequences. We show that I2VM results in superior or competitive classification accuracies to comparable classifiers. A substantial achievement of the thesis is that I2VM's performance is independent of the ordering of the data samples and a reconsidering of already encountered samples for learning is not necessary. A further achievement is that I2VM is able to deal with very long data streams without a loss in the efficiency. Furthermore, as another achievement, we show that I2VM provide reliable posterior probabilities since samples with high class probabilities are accurately classified, whereas relatively low class probabilities are more likely referred to misclassified samples.
2011
Bauer, Sabine Daniela:
Automatische Detektion von Krankheiten auf Blättern von Nutzpflanzen
Dissertation, Bonn 2011
[ Zusammenfassung ]
Zusammenfassung
In dieser Arbeit wird ein neuartiges, automatisches Verfahren zur Detektion von Krankheiten auf Blättern von Nutzpflanzen vorgestellt. Die Anwendung von Mustererkennungsverfahren zur Detektion von Blattkrankheiten ist noch ein sehr junges Forschungsgebiet. Ein einsetzbares Verfahren zur automatischen Detektion von Blattkrankheiten würde aber z.B. im Präzisionspflanzenbau zur Reduzierung der Spritzmittelmenge von großem Nutzen sein. Das in dieser Arbeit vorgeschlagene Verfahren besteht aus einem hierarchischen Klassifikationsprozess. Im ersten Schritt dieses Prozesses wird eine pixelweise, adaptive Bayesklassifikation durchgeführt. Die adaptive Bayesklassifikation ist dabei speziell auf die Erkennung von Blattkrankheiten hin optimiert worden. Im zweiten Schritt erfolgt eine Glättung des pixelweisen Klassifikationsergebnisses durch eine Majoritätsfilterung oder mit Hilfe von bedingten Markoffschen Zufallsfeldern. Welche Vor- und Nachteile die beiden Glättungsarten bieten, wird in dieser Arbeit diskutiert. Der letzte Schritt des hierarchischen Klassifikationsprozesses besteht aus einer regionenbasierten Maximum-Likelihood-Klassifikation. Eine besondere Herausforderung bei der Entwicklung des Klassifikationsverfahrens lag in der Berücksichtigung von Blattkrankheiten mit sehr kleinen Blattflecken. Um auch für diese Blattkrankheiten hohe Klassifikationsgenauigkeiten zur erzielen, wurde eine geeignete Bewertungsstrategie zur Beurteilung der Klassifikationsergebnisse entworfen und zur Optimierung des Klassifikationsprozesses verwendet. Das entwickelte Klassifikationsverfahren basiert auf Bildern von einer RGB - und einer Multispektral (MS) - Kamera. Die Bilder der beiden Kameras wurden über ein 3D-Modell des jeweiligen Blattes fusioniert. Das zur Erstellung der 3D-Modelle entwickelte Verfahren bietet dabei neben der Sensorfusion auch das Potential zur Bestimmung der Lage und Orientierung von Blättern im Feld. Im Rahmen der Entwicklung des Klassifikationsprozesses wurden weitere Fragestellungen bearbeitet. So wurde u.a. untersucht, inwieweit eine Erweiterung des Merkmalsvektors um Nachbarschaftsinformationen das Klassifikationsergebnis beeinflusst und ob Segmentierungsverfahren wie der Wasserscheidenalgorithmus zur Erkennung von Blattflecken eingesetzt werden können. Desweiteren wurde die Übertragbarkeit des Verfahrens auf andere Nutzpflanzen und Blattkrankheiten erforscht.
Abstract
This thesis presents a novel, automatic method to detect leaf diseases on agricultural crop. The use of pattern recognition methods to detect leaf diseases is a very young research area. But an applicable method for the automatic detection of leaf diseases would be of great benefit for example in the area of precision agriculture. The proposed method consists of a hierarchical classification process. In the first step of this process a pixelwise, adaptive Bayes classification is executed. Thereby the adaptive Bayes classifier is optimised for the detection of leaf diseases. In the second step a smoothing of the pixelwise result is carried out using a majority filter or a conditional random field (CRF). The advantages and disadvantages of the two ways of smoothing are the subject of a discussion in this thesis. The last step of the classification process consists of a regionbased Maximum-Likelihood classification. A particular challenge in the development of the classification method lies in the consideration of leaf diseases with very small leaf spots. To achieve high classification accuracies for these leaf diseases, too, an adequate rating strategy was formulated and used for the optimisation of the classification process. The developed classification method is based on images of a RGB - and a Multispectral (MS) - camera. The images of the two cameras were fused using a 3D-model of each single leaf. The prepared technique for the generation of the 3D-models of the leaves provides additionally the opportunity to determine the position and the orientation of the leaves in the field. Within the framework of the development of the classification process further questions were examined. So it was investigated, in how far an enhancement of the feature vector with neighbourhood information affects the classification result and if it is possible to apply segmentation methods like the watershed algorithm for the recognition of leaf spots. In addition the transferability of the developed classification method to other plants and leaf diseases was proofed.
In dieser Arbeit wird ein neuartiges, automatisches Verfahren zur Detektion von Krankheiten auf Blättern von Nutzpflanzen vorgestellt. Die Anwendung von Mustererkennungsverfahren zur Detektion von Blattkrankheiten ist noch ein sehr junges Forschungsgebiet. Ein einsetzbares Verfahren zur automatischen Detektion von Blattkrankheiten würde aber z.B. im Präzisionspflanzenbau zur Reduzierung der Spritzmittelmenge von großem Nutzen sein. Das in dieser Arbeit vorgeschlagene Verfahren besteht aus einem hierarchischen Klassifikationsprozess. Im ersten Schritt dieses Prozesses wird eine pixelweise, adaptive Bayesklassifikation durchgeführt. Die adaptive Bayesklassifikation ist dabei speziell auf die Erkennung von Blattkrankheiten hin optimiert worden. Im zweiten Schritt erfolgt eine Glättung des pixelweisen Klassifikationsergebnisses durch eine Majoritätsfilterung oder mit Hilfe von bedingten Markoffschen Zufallsfeldern. Welche Vor- und Nachteile die beiden Glättungsarten bieten, wird in dieser Arbeit diskutiert. Der letzte Schritt des hierarchischen Klassifikationsprozesses besteht aus einer regionenbasierten Maximum-Likelihood-Klassifikation. Eine besondere Herausforderung bei der Entwicklung des Klassifikationsverfahrens lag in der Berücksichtigung von Blattkrankheiten mit sehr kleinen Blattflecken. Um auch für diese Blattkrankheiten hohe Klassifikationsgenauigkeiten zur erzielen, wurde eine geeignete Bewertungsstrategie zur Beurteilung der Klassifikationsergebnisse entworfen und zur Optimierung des Klassifikationsprozesses verwendet. Das entwickelte Klassifikationsverfahren basiert auf Bildern von einer RGB - und einer Multispektral (MS) - Kamera. Die Bilder der beiden Kameras wurden über ein 3D-Modell des jeweiligen Blattes fusioniert. Das zur Erstellung der 3D-Modelle entwickelte Verfahren bietet dabei neben der Sensorfusion auch das Potential zur Bestimmung der Lage und Orientierung von Blättern im Feld. Im Rahmen der Entwicklung des Klassifikationsprozesses wurden weitere Fragestellungen bearbeitet. So wurde u.a. untersucht, inwieweit eine Erweiterung des Merkmalsvektors um Nachbarschaftsinformationen das Klassifikationsergebnis beeinflusst und ob Segmentierungsverfahren wie der Wasserscheidenalgorithmus zur Erkennung von Blattflecken eingesetzt werden können. Desweiteren wurde die Übertragbarkeit des Verfahrens auf andere Nutzpflanzen und Blattkrankheiten erforscht.
Abstract
This thesis presents a novel, automatic method to detect leaf diseases on agricultural crop. The use of pattern recognition methods to detect leaf diseases is a very young research area. But an applicable method for the automatic detection of leaf diseases would be of great benefit for example in the area of precision agriculture. The proposed method consists of a hierarchical classification process. In the first step of this process a pixelwise, adaptive Bayes classification is executed. Thereby the adaptive Bayes classifier is optimised for the detection of leaf diseases. In the second step a smoothing of the pixelwise result is carried out using a majority filter or a conditional random field (CRF). The advantages and disadvantages of the two ways of smoothing are the subject of a discussion in this thesis. The last step of the classification process consists of a regionbased Maximum-Likelihood classification. A particular challenge in the development of the classification method lies in the consideration of leaf diseases with very small leaf spots. To achieve high classification accuracies for these leaf diseases, too, an adequate rating strategy was formulated and used for the optimisation of the classification process. The developed classification method is based on images of a RGB - and a Multispectral (MS) - camera. The images of the two cameras were fused using a 3D-model of each single leaf. The prepared technique for the generation of the 3D-models of the leaves provides additionally the opportunity to determine the position and the orientation of the leaves in the field. Within the framework of the development of the classification process further questions were examined. So it was investigated, in how far an enhancement of the feature vector with neighbourhood information affects the classification result and if it is possible to apply segmentation methods like the watershed algorithm for the recognition of leaf spots. In addition the transferability of the developed classification method to other plants and leaf diseases was proofed.
[ BibTex ]
@PHDTHESIS{bauer11:automatische,
author={Sabine Daniela Bauer},
title={Automatische Detektion von Krankheiten auf Blättern von Nutzpflanzen},
school={Institute of Photogrammetry, University of Bonn},
year={2011},
}
Drauschke, Martin:
Ein hierarchischer Ansatz zur Interpretation von Gebäudeaufnahmen
Dissertation, Bonn 2011
[ Zusammenfassung ]
Zusammenfassung
Durch die Fortschritte bei der 3D- Visualisierung von Landschaften und urbanen Räumen in den vergangenen Jahren wächst die Nachfrage nach semantischen und detailgenauen 3D Stadtmodellen. Die Interpretation von Digitalbildern ist dabei ein wesentlicher Schritt zur Informationsgewinnung für die Verfeinerung und Aktualisierung der Gebäudemodelle. Wegen der großen Datenmenge muss diese Bildinterpretation soweit möglich automatisiert durchgeführt werden, um kostengünstig und zeitnah Ergebnisse liefern zu können. Bei der Interpretation eines Gebäudebildes wird das gegebene Farbbild in eine Klassifikationskarte überführt, in der die Bildpixel entsprechend ihrer Semantik eingefärbt werden. Dieser Vorgang ist wegen der fehlenden 3D-Information über das Gebäude und seine Umgebung sowie der starken Ähnlichkeiten zwischen einigen Gebäudeteilen besonders schwierig. Hinzu kommt noch die große Vielfalt der Gebäude in Bezug auf deren Größe, Beschaffenheit und Stil sowie in der Art und Anzahl der Fassadenbestandteile und Dachaufbauten und deren räumlicher Anordnung. Das in der vorliegenden Arbeit vorgestellte Verfahren untersucht die Leistungsfähigkeit der Erkennung von Objekten und Objektteilen in Gebäudeaufnahmen bei Verwendung der Bestandteilshierarchien. Diese werden in eine Hierarchie von segmentierten Bildregionen abgebildet und zur Konstruktion eines Bedingten Bayes Netzes verwendet. Die Gesamtwahrscheinlichkeit dieses Bedingten Bayes-Netzes wird effizient als Produkt von zwei Termen bestimmt, die einerseits durch die Klassifikation der Regionen auf der Basis regionenspezifischer Merkmale und andererseits aus den Klassenzugehörigkeiten von in der Regionenhierarchie benachbarten Regionen bestimmt werden. Für diesen Ansatz werden folgende Teilschritte zusammengeführt: die Segmentierung von geometrisch präzisen Regionen in mehreren Maßstabsebenen des Bildes und deren hierarchische Anordnung, die Auswahl stabiler Regionen, der Vergleich von Regionen mit manuell angefertigten Annotationen, die Extraktion und Selektion geeigneter Merkmale sowie die Klassifikation der Regionen. Die stabilen Regionen der hierarchischen Bildsegmentierung eignen sich gut zur Detektion von komplexen Objekten und ihren Bestandteilen und bilden die Relationen der Bestandteilshierarchie von Objekten in die Regionenhierarchie ab. Die klassenspezifischen Verteilungen der regionenspezifischen Merkmale unterscheiden sich und eignen sich für eine maßstabsabhängige Klassifikation der Regionen. Dazu wird die Methode der Alternierenden Entscheidungsbäume vom Zwei- auf den Mehrklassenfall verallgemeinert. Diese Klassifikationsergebnisse werden als initiale Belegung der Zufallsvariablen in das Bedingte Bayes-Netz integriert. Für die anschließende Inferenz der Information kann wegen der baumartigen Struktur des Bayes-Netzes ein sehr einfacher Algorithmus verwendet werden, der lediglich einen zweimaligen Durchlauf durch den Baum vorsieht . Die Bildinterpretation nach Anwendung des Bayes-Netzes liefert leicht verbesserte Ergebnisse für die Klassifikation der Regionen. Das Verfahren wurde auf insgesamt vier Datensätzen mit zusammen über 600 Bildern evaluiert. Bei der Segmentierung und Konstruktion der Regionenhierarchie werden sehr zufrieden stellende Ergebnisse erzielt, da zu 70 bis 90% der vorhandenen Objekte passende Regionen und Relationen zwischen den Regionen gefunden werden können. Auf dem Benchmark-Datensatz von Korč & Förstner (2009) erzielen wir bei der Klassifikation ohne Nutzung der Bestandteilshierarchie mit sieben Klassen einen akzeptablen Erfolg von 54.9%. Allerdings werden die drei besonders häufig vorkommenden Klassen Gebäude, Fenster und Vegetation extrem durch den Klassifikator bevorzugt. Durch die Propagierung der Information im Bedingten Bayes-Netz wird die Erfolgsrate auf 60.7% verbessert, aber die starken Unterschiede bei der Fehlklassifikationen bleiben bestehen.
Abstract
The recent progress in 3D visualization of landscapes and urban spaces has increased the demand for very detailed 3D city models with semantics. Therefore, the interpretation of digital imagery is an important step for gaining information used to enrich building models or for updating them. Due to the amount of data, image interpretation should be done automatically as far as possible for a fast and affordable delivery of results. Interpreting building images means to derive a symbolic map for a given color image where each pixel is visualized by its semantic. This procedure is extremely difficult if no additional 3D information about the objects in the scene is used. Regarding buildings, their parts often appear too similar, especially w. r. t. their shape or the color of the representing pixels. Furthermore, the large variability among buildings w. r. t. their size, nature and style as well as the kind and number of facade parts and roof structures and their spatial arrangement. In the approach of this work, the capability of detecting objects and their parts in building images is analysed with a focus on the integration of object hierarchies. The relations between the objects and their parts are mapped into a hierarchy of segmented image regions which is further used to construct a Bayesian network. Features of these regions are determined, thus the Bayesian network can be formulated as a conditional one. The overall probability of this Conditional Bayesian Network can be efficiently determined as product of two terms. The first term is derived from classification results based on the observed region-specific features, the second term is derived from the co-occurrence of class targets defined by neighbored regions in the region hierarchy. The following methods are combined within this approach: segmentation of geometrically precise regions at several image scales and their hierarchical arrangement, choosing stable regions for further processes, comparison between automatically segmented image regions with manually labeled annotations, extraction and selection of appropriate features and classification of the regions. The stable regions of the hierarchical image segmentation are suitable for detecting complex objects and their parts. The relations of the object hierarchy are mostly mapped into the region hierarchy. The class-specific distributions of the region-specific features can be distinguished from each other and, therefore, can be used for scale-dependent classification of the stable regions. This is done by applying alternating decision trees, which have been extended from binary to multiclass classification. The results are used for initializing the states of the random variables of the Conditional Bayesian Network. A simple algorithm can be applied for propagating the information through the net because of its tree-like structure. The image interpretation yields slightly better results for region classification after applying the Bayesian network. The approach has been tested and evaluated on four data sets with a total of 600 images. Obtained results on image segmentation and region hierarchy construction are satisfying since 70 to 90% of all objects of interest are represented by at least one of the segmented regions, and the relations between the regions reflect the object hierarchy. On the benchmark dataset of Korč & Förstner (2009), the overall classification result of 54.9% is obtained when classifying the regions without considering the hierarchical relations and belonging to seven classes. But the three classes vegetation, building and window which appear in images more often than other classes are favored by the clasifier. After propagating the information through the Conditional Bayesian Network the classification rate is increased to 60.7% but the obvious differences regarding classification mistakes remain.
Durch die Fortschritte bei der 3D- Visualisierung von Landschaften und urbanen Räumen in den vergangenen Jahren wächst die Nachfrage nach semantischen und detailgenauen 3D Stadtmodellen. Die Interpretation von Digitalbildern ist dabei ein wesentlicher Schritt zur Informationsgewinnung für die Verfeinerung und Aktualisierung der Gebäudemodelle. Wegen der großen Datenmenge muss diese Bildinterpretation soweit möglich automatisiert durchgeführt werden, um kostengünstig und zeitnah Ergebnisse liefern zu können. Bei der Interpretation eines Gebäudebildes wird das gegebene Farbbild in eine Klassifikationskarte überführt, in der die Bildpixel entsprechend ihrer Semantik eingefärbt werden. Dieser Vorgang ist wegen der fehlenden 3D-Information über das Gebäude und seine Umgebung sowie der starken Ähnlichkeiten zwischen einigen Gebäudeteilen besonders schwierig. Hinzu kommt noch die große Vielfalt der Gebäude in Bezug auf deren Größe, Beschaffenheit und Stil sowie in der Art und Anzahl der Fassadenbestandteile und Dachaufbauten und deren räumlicher Anordnung. Das in der vorliegenden Arbeit vorgestellte Verfahren untersucht die Leistungsfähigkeit der Erkennung von Objekten und Objektteilen in Gebäudeaufnahmen bei Verwendung der Bestandteilshierarchien. Diese werden in eine Hierarchie von segmentierten Bildregionen abgebildet und zur Konstruktion eines Bedingten Bayes Netzes verwendet. Die Gesamtwahrscheinlichkeit dieses Bedingten Bayes-Netzes wird effizient als Produkt von zwei Termen bestimmt, die einerseits durch die Klassifikation der Regionen auf der Basis regionenspezifischer Merkmale und andererseits aus den Klassenzugehörigkeiten von in der Regionenhierarchie benachbarten Regionen bestimmt werden. Für diesen Ansatz werden folgende Teilschritte zusammengeführt: die Segmentierung von geometrisch präzisen Regionen in mehreren Maßstabsebenen des Bildes und deren hierarchische Anordnung, die Auswahl stabiler Regionen, der Vergleich von Regionen mit manuell angefertigten Annotationen, die Extraktion und Selektion geeigneter Merkmale sowie die Klassifikation der Regionen. Die stabilen Regionen der hierarchischen Bildsegmentierung eignen sich gut zur Detektion von komplexen Objekten und ihren Bestandteilen und bilden die Relationen der Bestandteilshierarchie von Objekten in die Regionenhierarchie ab. Die klassenspezifischen Verteilungen der regionenspezifischen Merkmale unterscheiden sich und eignen sich für eine maßstabsabhängige Klassifikation der Regionen. Dazu wird die Methode der Alternierenden Entscheidungsbäume vom Zwei- auf den Mehrklassenfall verallgemeinert. Diese Klassifikationsergebnisse werden als initiale Belegung der Zufallsvariablen in das Bedingte Bayes-Netz integriert. Für die anschließende Inferenz der Information kann wegen der baumartigen Struktur des Bayes-Netzes ein sehr einfacher Algorithmus verwendet werden, der lediglich einen zweimaligen Durchlauf durch den Baum vorsieht . Die Bildinterpretation nach Anwendung des Bayes-Netzes liefert leicht verbesserte Ergebnisse für die Klassifikation der Regionen. Das Verfahren wurde auf insgesamt vier Datensätzen mit zusammen über 600 Bildern evaluiert. Bei der Segmentierung und Konstruktion der Regionenhierarchie werden sehr zufrieden stellende Ergebnisse erzielt, da zu 70 bis 90% der vorhandenen Objekte passende Regionen und Relationen zwischen den Regionen gefunden werden können. Auf dem Benchmark-Datensatz von Korč & Förstner (2009) erzielen wir bei der Klassifikation ohne Nutzung der Bestandteilshierarchie mit sieben Klassen einen akzeptablen Erfolg von 54.9%. Allerdings werden die drei besonders häufig vorkommenden Klassen Gebäude, Fenster und Vegetation extrem durch den Klassifikator bevorzugt. Durch die Propagierung der Information im Bedingten Bayes-Netz wird die Erfolgsrate auf 60.7% verbessert, aber die starken Unterschiede bei der Fehlklassifikationen bleiben bestehen.
Abstract
The recent progress in 3D visualization of landscapes and urban spaces has increased the demand for very detailed 3D city models with semantics. Therefore, the interpretation of digital imagery is an important step for gaining information used to enrich building models or for updating them. Due to the amount of data, image interpretation should be done automatically as far as possible for a fast and affordable delivery of results. Interpreting building images means to derive a symbolic map for a given color image where each pixel is visualized by its semantic. This procedure is extremely difficult if no additional 3D information about the objects in the scene is used. Regarding buildings, their parts often appear too similar, especially w. r. t. their shape or the color of the representing pixels. Furthermore, the large variability among buildings w. r. t. their size, nature and style as well as the kind and number of facade parts and roof structures and their spatial arrangement. In the approach of this work, the capability of detecting objects and their parts in building images is analysed with a focus on the integration of object hierarchies. The relations between the objects and their parts are mapped into a hierarchy of segmented image regions which is further used to construct a Bayesian network. Features of these regions are determined, thus the Bayesian network can be formulated as a conditional one. The overall probability of this Conditional Bayesian Network can be efficiently determined as product of two terms. The first term is derived from classification results based on the observed region-specific features, the second term is derived from the co-occurrence of class targets defined by neighbored regions in the region hierarchy. The following methods are combined within this approach: segmentation of geometrically precise regions at several image scales and their hierarchical arrangement, choosing stable regions for further processes, comparison between automatically segmented image regions with manually labeled annotations, extraction and selection of appropriate features and classification of the regions. The stable regions of the hierarchical image segmentation are suitable for detecting complex objects and their parts. The relations of the object hierarchy are mostly mapped into the region hierarchy. The class-specific distributions of the region-specific features can be distinguished from each other and, therefore, can be used for scale-dependent classification of the stable regions. This is done by applying alternating decision trees, which have been extended from binary to multiclass classification. The results are used for initializing the states of the random variables of the Conditional Bayesian Network. A simple algorithm can be applied for propagating the information through the net because of its tree-like structure. The image interpretation yields slightly better results for region classification after applying the Bayesian network. The approach has been tested and evaluated on four data sets with a total of 600 images. Obtained results on image segmentation and region hierarchy construction are satisfying since 70 to 90% of all objects of interest are represented by at least one of the segmented regions, and the relations between the regions reflect the object hierarchy. On the benchmark dataset of Korč & Förstner (2009), the overall classification result of 54.9% is obtained when classifying the regions without considering the hierarchical relations and belonging to seven classes. But the three classes vegetation, building and window which appear in images more often than other classes are favored by the clasifier. After propagating the information through the Conditional Bayesian Network the classification rate is increased to 60.7% but the obvious differences regarding classification mistakes remain.
[ BibTex ]
@PHDTHESIS{drauschke11:hierarchischer,
author={Drauschke, Martin},
title={Ein hierarchischer Ansatz zur Interpretation von Gebäudeaufnahmen},
school={Institute of Photogrammetry, University of Bonn},
year={2011},
}
Yang, Ying:
Hierarchical and Spatial Structures for Interpreting Images of Man-made Scenes Using Graphical Models
Dissertation, Bonn 2011
[ Zusammenfassung ]
Zusammenfassung:
Ziel der semantischen Bildinterpretation ist es, Bildregionen und ihre gegenseitigen Beziehungen zu kennzeichnen und in sinnvolle Klassen einzuteilen. Dies ist eine der Hauptaufgabe in vielen Bereichen des maschinellen Sehens, wie zum Beispiel der Objekterkennung, 3D Rekonstruktion oder der Wahrnehmung von Robotern. Insbesondere Bilder anthropogener Szenen, wie z.B. Fassadenaufnahmen, sind durch starke räumliche und hierarchische Strukturen gekennzeichnet. Diese Strukturen zu modellieren ist zentrale Teil der Interpretation, für deren statistische Modellierung graphische Modelle ein geeignetes konsistentes Werkzeug darstellen. Bayes Netze und Zufallsfelder sind zwei bekannte und häufig genutzte Beispiele für graphische Modelle zur Erfassung kontextabhängiger Informationen. Die Motivation dieser Arbeit liegt in der Überzeugung, dass wir eine generische Formulierung der Bildinterpretation mit klarer semantischer Bedeutung finden können, die die Vorteile von Bayes Netzen und Zufallsfeldern verbindet. Der Hauptbeitrag der vorliegenden Arbeit liegt daher in der Entwicklung eines generischen statistischen graphischen Modells zur Bildinterpretation, welches unterschiedlichste Typen von Bildmerkmalen und die räumlichen sowie hierarchischen Strukturinformationen über eine multiskalen Bildsegmentierung integriert. Das Modell vereinheitlicht die existierender Arbeiten zugrunde liegenden Ideen, wie bedingter Zufallsfelder (conditional random field (CRF)) und Bayesnetze (Bayesian network (BN)). Dieses Modell hat eine klare statistische Interpretation als Maximum a posteriori (MAP) Schätzer eines mehr klassen Zuordnungsproblems. Gegeben die Struktur des graphischen Modells und den dadurch definierten Faktorisierungseigenschaften leiten wir die Wahrscheinlichkeitsverteilung des Modells ab. Dies führt zu einer Energiefunktion, die näherungsweise optimiert werden kann. Der jeweilige Typ der Bildmerkmale, die räumliche sowie hierarchische Struktur ist von dieser Formulierung unabhängig. Wir zeigen die Anwendung des vorgeschlagenen graphischen Modells anhand der mehrklassen Zuordnung von Bildregionen in Fassadenaufnahmen. Wir demonstrieren, dass das vorgeschlagene Verfahren zur Bildinterpretation, durch die Berücksichtigung räumlicher sowie hierarchischer Strukturen, signifikant bessere Klassifikationsergebnisse zeigt, als klassische lokale Klassifikationsverfahren. Die Leistungsfähigkeit des vorgeschlagenen Verfahrens wird anhand eines öffentlich verfügbarer Datensatzes evaluiert. Zur Klassifikation der Bildregionen nutzen wir ein Verfahren basierend auf einem effizienten Random Forest Klassifikator. Aus dem vorgeschlagenen allgemeinen graphischen Modell werden konkret zwei spezielle Modelle abgeleitet, ein hierarchisches bedingtes Zufallsfeld (hierarchical CRF) sowie ein hierarchisches gemischtes graphisches Modell. Wir zeigen, dass beide Modelle bessere Klassifikationsergebnisse erzeugen als die zugrunde liegenden lokalen Klassifikatoren oder die einfachen bedingten Zufallsfelder.
Abstract
The task of semantic scene interpretation is to label the regions of an image and their relations into meaningful classes. Such task is a key ingredient to many computer vision applications, including object recognition, 3D reconstruction and robotic perception. It is challenging partially due to the ambiguities inherent to the image data. The images of man-made scenes, e. g. the building facade images, exhibit strong contextual dependencies in the form of the spatial and hierarchical structures. Modelling these structures is central for such interpretation task. Graphical models provide a consistent framework for the statistical modelling. Bayesian networks and random fields are two popular types of the graphical models, which are frequently used for capturing such contextual information. The motivation for our work comes from the belief that we can find a generic formulation for scene interpretation that having both the benefits from random fields and Bayesian networks. It should have clear semantic interpretability. Therefore our key contribution is the development of a generic statistical graphical model for scene interpretation, which seamlessly integrates different types of the image features, and the spatial structural information and the hierarchical structural information defined over the multi-scale image segmentation. It unifies the ideas of existing approaches, e. g. conditional random field (CRF) and Bayesian network (BN), which has a clear statistical interpretation as the maximum a posteriori (MAP) estimate of a multi-class labelling problem. Given the graphical model structure, we derive the probability distribution of the model based on the factorization property implied in the model structure. The statistical model leads to an energy function that can be optimized approximately by either loopy belief propagation or graph cut based move making algorithm. The particular type of the features, the spatial structure, and the hierarchical structure however is not prescribed. In the experiments, we concentrate on terrestrial man-made scenes as a specifically difficult problem. We demonstrate the application of the proposed graphical model on the task of multi-class classification of building facade image regions. The framework for scene interpretation allows for significantly better classification results than the stan¬dard classical local classification approach on man-made scenes by incorporating the spatial and hierarchical structures. We investigate the performance of the algorithms on a public dataset to show the relative importance ofthe information from the spatial structure and the hierarchical structure. As a baseline for the region classification, we use an efficient randomized decision forest classifier. Two specific models are derived from the proposed graphical• model, namely the hierarchical CRF and the hierarchical mixed graphical model. We show that these two models produce better classification results than both the baseline region classifier and the flat CRF.
Ziel der semantischen Bildinterpretation ist es, Bildregionen und ihre gegenseitigen Beziehungen zu kennzeichnen und in sinnvolle Klassen einzuteilen. Dies ist eine der Hauptaufgabe in vielen Bereichen des maschinellen Sehens, wie zum Beispiel der Objekterkennung, 3D Rekonstruktion oder der Wahrnehmung von Robotern. Insbesondere Bilder anthropogener Szenen, wie z.B. Fassadenaufnahmen, sind durch starke räumliche und hierarchische Strukturen gekennzeichnet. Diese Strukturen zu modellieren ist zentrale Teil der Interpretation, für deren statistische Modellierung graphische Modelle ein geeignetes konsistentes Werkzeug darstellen. Bayes Netze und Zufallsfelder sind zwei bekannte und häufig genutzte Beispiele für graphische Modelle zur Erfassung kontextabhängiger Informationen. Die Motivation dieser Arbeit liegt in der Überzeugung, dass wir eine generische Formulierung der Bildinterpretation mit klarer semantischer Bedeutung finden können, die die Vorteile von Bayes Netzen und Zufallsfeldern verbindet. Der Hauptbeitrag der vorliegenden Arbeit liegt daher in der Entwicklung eines generischen statistischen graphischen Modells zur Bildinterpretation, welches unterschiedlichste Typen von Bildmerkmalen und die räumlichen sowie hierarchischen Strukturinformationen über eine multiskalen Bildsegmentierung integriert. Das Modell vereinheitlicht die existierender Arbeiten zugrunde liegenden Ideen, wie bedingter Zufallsfelder (conditional random field (CRF)) und Bayesnetze (Bayesian network (BN)). Dieses Modell hat eine klare statistische Interpretation als Maximum a posteriori (MAP) Schätzer eines mehr klassen Zuordnungsproblems. Gegeben die Struktur des graphischen Modells und den dadurch definierten Faktorisierungseigenschaften leiten wir die Wahrscheinlichkeitsverteilung des Modells ab. Dies führt zu einer Energiefunktion, die näherungsweise optimiert werden kann. Der jeweilige Typ der Bildmerkmale, die räumliche sowie hierarchische Struktur ist von dieser Formulierung unabhängig. Wir zeigen die Anwendung des vorgeschlagenen graphischen Modells anhand der mehrklassen Zuordnung von Bildregionen in Fassadenaufnahmen. Wir demonstrieren, dass das vorgeschlagene Verfahren zur Bildinterpretation, durch die Berücksichtigung räumlicher sowie hierarchischer Strukturen, signifikant bessere Klassifikationsergebnisse zeigt, als klassische lokale Klassifikationsverfahren. Die Leistungsfähigkeit des vorgeschlagenen Verfahrens wird anhand eines öffentlich verfügbarer Datensatzes evaluiert. Zur Klassifikation der Bildregionen nutzen wir ein Verfahren basierend auf einem effizienten Random Forest Klassifikator. Aus dem vorgeschlagenen allgemeinen graphischen Modell werden konkret zwei spezielle Modelle abgeleitet, ein hierarchisches bedingtes Zufallsfeld (hierarchical CRF) sowie ein hierarchisches gemischtes graphisches Modell. Wir zeigen, dass beide Modelle bessere Klassifikationsergebnisse erzeugen als die zugrunde liegenden lokalen Klassifikatoren oder die einfachen bedingten Zufallsfelder.
Abstract
The task of semantic scene interpretation is to label the regions of an image and their relations into meaningful classes. Such task is a key ingredient to many computer vision applications, including object recognition, 3D reconstruction and robotic perception. It is challenging partially due to the ambiguities inherent to the image data. The images of man-made scenes, e. g. the building facade images, exhibit strong contextual dependencies in the form of the spatial and hierarchical structures. Modelling these structures is central for such interpretation task. Graphical models provide a consistent framework for the statistical modelling. Bayesian networks and random fields are two popular types of the graphical models, which are frequently used for capturing such contextual information. The motivation for our work comes from the belief that we can find a generic formulation for scene interpretation that having both the benefits from random fields and Bayesian networks. It should have clear semantic interpretability. Therefore our key contribution is the development of a generic statistical graphical model for scene interpretation, which seamlessly integrates different types of the image features, and the spatial structural information and the hierarchical structural information defined over the multi-scale image segmentation. It unifies the ideas of existing approaches, e. g. conditional random field (CRF) and Bayesian network (BN), which has a clear statistical interpretation as the maximum a posteriori (MAP) estimate of a multi-class labelling problem. Given the graphical model structure, we derive the probability distribution of the model based on the factorization property implied in the model structure. The statistical model leads to an energy function that can be optimized approximately by either loopy belief propagation or graph cut based move making algorithm. The particular type of the features, the spatial structure, and the hierarchical structure however is not prescribed. In the experiments, we concentrate on terrestrial man-made scenes as a specifically difficult problem. We demonstrate the application of the proposed graphical model on the task of multi-class classification of building facade image regions. The framework for scene interpretation allows for significantly better classification results than the stan¬dard classical local classification approach on man-made scenes by incorporating the spatial and hierarchical structures. We investigate the performance of the algorithms on a public dataset to show the relative importance ofthe information from the spatial structure and the hierarchical structure. As a baseline for the region classification, we use an efficient randomized decision forest classifier. Two specific models are derived from the proposed graphical• model, namely the hierarchical CRF and the hierarchical mixed graphical model. We show that these two models produce better classification results than both the baseline region classifier and the flat CRF.
[ BibTex ]
@PHDTHESIS{yang11:hierarchical,
author={Michael Ying Yang},
title={Hierarchical and Spatial Structures for Interpreting Images of Man-made
Scenes Using Graphical Models},
school={Institute of Photogrammetry, University of Bonn},
year={2011},
}
2010
Barth, Alexander:
Vehicle Tracking and Motion Estimation Based on Stereo Vision Sequences
Dissertation, Bonn 2010
[ Zusammenfassung ]
Zusammenfassung
In dieser Dissertation wird ein Ansatz zur Trajektorienschätzung von Straßenfahrzeugen (PKW, Lieferwagen, Motorräder, ... ) anhand von Stereo-Bildfolgen vorgestellt. Bewegte Objekte werden in Echtzeit aus einem fahrenden Auto heraus automatisch detektiert, vermessen und deren Bewegungszustand relativ zum eigenen Fahrzeug zuverlässig bestimmt. Die gewonnenen Informationen liefern einen entscheidenden Grundstein für zukünftige Fahrerassistenz- und Sicherheitssysteme im Automobilbereich, beispielsweise zur Kollisionsprädiktion. Während der Großteil der existierenden Literatur das Detektieren und Verfolgen vorausfahrender Fahrzeuge in Autobahnszenarien adressiert, setzt diese Arbeit einen Schwerpunkt auf den Gegenverkehr, speziell an städtischen Kreuzungen. Der Ansatz ist jedoch grundsätzlich generisch und skalierbar für eine Vielzahl an Verkehrssituationen (Innenstadt, Landstraße, Autobahn). Die zu schätzenden Parameter beinhalten die räumliche Lage des anderen Fahrzeugs relativ zum eigenen Fahrzeug, die Objekt-Geschwindigkeit und -Längsbeschleunigung, sowie die Rotationsgeschwindigkeit (Gierrate) des beobachteten Objektes. Zusätzlich werden die Objektabmaße sowie die Objektform rekonstruiert. Die Grundidee ist es, diese Parameter anhand der Transformation von beobachteten 3D Punkten, welche eine ortsfeste Position auf der Objektoberfläche besitzen, mittels eines rekursiven Schätzers (Kalman Filter) zu bestimmen. Ein wesentlicher Beitrag dieser Arbeit liegt in der Kombination des Starrkörpermodells der Punktewolke mit einem Fahrzeugbewegungsmodell. An Kreuzungen können sehr unterschiedliche Dynamiken auftreten, von einer Geradeausfahrt mit konstanter Geschwindigkeit bis hin zum raschen Abbiegen. Um eine manuelle Parameteradaption abhängig von der jeweiligen Szene zu vermeiden, werden drei verschiedene Ansätze zur automatisierten Anpassung der Filterparameter an die vorliegende Situation vorgestellt und verglichen. Dies stellt den zweiten Hauptbeitrag der Arbeit dar. Weitere wichtige Beiträge sind zwei alternative Initialisierungsmethoden, eine robuste Ausreißerbehandlung, ein probabilistischer Ansatz zur Zuordnung neuer Objektpunkte, sowie die Fusion des bildbasierten Verfahrens mit einem Radar-Sensor. Das Gesamtsystem wird im Rahmen dieser Arbeit systematisch anhand von simu¬lierten und realen Straßenverkehrsszenen evaluiert. Die Ergebnisse zeigen, dass das vorgestellte Verfahren in der Lage ist, die unbekannten Objektparameter auch unter schwierigen Umgebungsbedingungen, beispielsweise bei Nacht, schnellen Abbiegemanövern oder unter Teilverdeckungen, sehr präzise zu schätzen. Die Grenzen des Systems werden ebenfalls sorgfältig untersucht.
Abstract
In this dissertation, a novel approach for estimating trajectories of road vehicles such as cars, vans, or motorbikes, based on stereo image sequences is presented. Moving objects are detected and reliably tracked in real-time from within a moving car. The resulting information on the pose and motion state of other moving objects with respect to the own vehicle is an essential basis for future driver assistance and safety systems, e.g., for collision prediction The focus of this contribution is on oncoming traffic, while most existing work in the literature addresses tracking the lead vehicle. The overall approach is generic and scalable to a variety of traffic scenes including inner city, country road, and highway scenarios. A considerable part of this thesis addresses oncoming traffic at urban intersections. The parameters to be estimated include the 3D position and orientation of an object relative to the ego-vehicle, as well as the object's shape, dimension, velocity, acceleration and the rotational velocity (yaw rate). The key idea is to derive these parameters from a set of tracked 3D points on the object's surface, which are registered to a time-consistent object coordinate system, by means of an extended Kalman filter. Combining the rigid 3D point cloud model with the dynamic model of a vehicle is one main contribution of this thesis. Vehicle tracking at intersections requires covering a wide range of different object dynamics, since vehicles can turn quickly. Three different approaches for tracking objects during highly dynamic turn maneuvers up to extreme maneuvers such as skidding are presented and compared. These approaches allow for an online adaptation of the filter parameter values, overcoming manual parameter tuning depending on the dynamics of the tracked object in the scene. This is the second main contribution. Further issues include the introduction of two initialization methods, a robust outlier handling, a probabilistic approach for assigning new points to a tracked object, as well as mid-level fusion of the vision-based approach with a radar sensor. The overall system is systematically evaluated both on simulated and real-world data. The experimental results show the proposed system is able to accurately estimate the object pose and motion parameters in a variety of challenging situations, including night scenes, quick turn maneuvers, and partial occlusions. The limits of the system are also carefully investigated.
In dieser Dissertation wird ein Ansatz zur Trajektorienschätzung von Straßenfahrzeugen (PKW, Lieferwagen, Motorräder, ... ) anhand von Stereo-Bildfolgen vorgestellt. Bewegte Objekte werden in Echtzeit aus einem fahrenden Auto heraus automatisch detektiert, vermessen und deren Bewegungszustand relativ zum eigenen Fahrzeug zuverlässig bestimmt. Die gewonnenen Informationen liefern einen entscheidenden Grundstein für zukünftige Fahrerassistenz- und Sicherheitssysteme im Automobilbereich, beispielsweise zur Kollisionsprädiktion. Während der Großteil der existierenden Literatur das Detektieren und Verfolgen vorausfahrender Fahrzeuge in Autobahnszenarien adressiert, setzt diese Arbeit einen Schwerpunkt auf den Gegenverkehr, speziell an städtischen Kreuzungen. Der Ansatz ist jedoch grundsätzlich generisch und skalierbar für eine Vielzahl an Verkehrssituationen (Innenstadt, Landstraße, Autobahn). Die zu schätzenden Parameter beinhalten die räumliche Lage des anderen Fahrzeugs relativ zum eigenen Fahrzeug, die Objekt-Geschwindigkeit und -Längsbeschleunigung, sowie die Rotationsgeschwindigkeit (Gierrate) des beobachteten Objektes. Zusätzlich werden die Objektabmaße sowie die Objektform rekonstruiert. Die Grundidee ist es, diese Parameter anhand der Transformation von beobachteten 3D Punkten, welche eine ortsfeste Position auf der Objektoberfläche besitzen, mittels eines rekursiven Schätzers (Kalman Filter) zu bestimmen. Ein wesentlicher Beitrag dieser Arbeit liegt in der Kombination des Starrkörpermodells der Punktewolke mit einem Fahrzeugbewegungsmodell. An Kreuzungen können sehr unterschiedliche Dynamiken auftreten, von einer Geradeausfahrt mit konstanter Geschwindigkeit bis hin zum raschen Abbiegen. Um eine manuelle Parameteradaption abhängig von der jeweiligen Szene zu vermeiden, werden drei verschiedene Ansätze zur automatisierten Anpassung der Filterparameter an die vorliegende Situation vorgestellt und verglichen. Dies stellt den zweiten Hauptbeitrag der Arbeit dar. Weitere wichtige Beiträge sind zwei alternative Initialisierungsmethoden, eine robuste Ausreißerbehandlung, ein probabilistischer Ansatz zur Zuordnung neuer Objektpunkte, sowie die Fusion des bildbasierten Verfahrens mit einem Radar-Sensor. Das Gesamtsystem wird im Rahmen dieser Arbeit systematisch anhand von simu¬lierten und realen Straßenverkehrsszenen evaluiert. Die Ergebnisse zeigen, dass das vorgestellte Verfahren in der Lage ist, die unbekannten Objektparameter auch unter schwierigen Umgebungsbedingungen, beispielsweise bei Nacht, schnellen Abbiegemanövern oder unter Teilverdeckungen, sehr präzise zu schätzen. Die Grenzen des Systems werden ebenfalls sorgfältig untersucht.
Abstract
In this dissertation, a novel approach for estimating trajectories of road vehicles such as cars, vans, or motorbikes, based on stereo image sequences is presented. Moving objects are detected and reliably tracked in real-time from within a moving car. The resulting information on the pose and motion state of other moving objects with respect to the own vehicle is an essential basis for future driver assistance and safety systems, e.g., for collision prediction The focus of this contribution is on oncoming traffic, while most existing work in the literature addresses tracking the lead vehicle. The overall approach is generic and scalable to a variety of traffic scenes including inner city, country road, and highway scenarios. A considerable part of this thesis addresses oncoming traffic at urban intersections. The parameters to be estimated include the 3D position and orientation of an object relative to the ego-vehicle, as well as the object's shape, dimension, velocity, acceleration and the rotational velocity (yaw rate). The key idea is to derive these parameters from a set of tracked 3D points on the object's surface, which are registered to a time-consistent object coordinate system, by means of an extended Kalman filter. Combining the rigid 3D point cloud model with the dynamic model of a vehicle is one main contribution of this thesis. Vehicle tracking at intersections requires covering a wide range of different object dynamics, since vehicles can turn quickly. Three different approaches for tracking objects during highly dynamic turn maneuvers up to extreme maneuvers such as skidding are presented and compared. These approaches allow for an online adaptation of the filter parameter values, overcoming manual parameter tuning depending on the dynamics of the tracked object in the scene. This is the second main contribution. Further issues include the introduction of two initialization methods, a robust outlier handling, a probabilistic approach for assigning new points to a tracked object, as well as mid-level fusion of the vision-based approach with a radar sensor. The overall system is systematically evaluated both on simulated and real-world data. The experimental results show the proposed system is able to accurately estimate the object pose and motion parameters in a variety of challenging situations, including night scenes, quick turn maneuvers, and partial occlusions. The limits of the system are also carefully investigated.
[ BibTex ]
@PHDTHESIS{barth10:vehicle,
author ={Barth,Alexander},
title ={Vehicle Tracking and Motion Estimation Based on
Stereo Vision Sequences},
school ={Institute of Photogrammetry, University of Bonn},
year ={2010},
}
Dickscheid, Timo:
Robust Wide-Baseline Stereo Matching for Sparsely Textured Scenes
Dissertation, Bonn 2010
[ Zusammenfassung ]
Zusammenfassung:
Robuste Merkmalszuordnung für Bildpaare schwach texturierter Szenen mit deutlicher Stereobasis
Die Aufgabe von Wide Baseline Stereo Matching Algorithmen besteht darin, korrespondierende Elemente in Paaren überlappender Bilder mit deutlich verschiedenen Kamerapositionen zu bestimmen. Solche Algorithmen sind ein grundlegender Baustein für zahlreiche Computer Vision Anwendungen wie Objekterkennung, automatische Kameraorientierung, 3D Rekonstruktion und Bildregistrierung. Die heute etablierten Verfahren für Wide Baseline Stereo Matching funktionieren in typischen Anwendungsszenarien sehr zuverlässig. Sie setzen jedoch Eigenschaften der Bilddaten voraus, die nicht immer gegeben sind, wie beispielsweise einen hohen Anteil markanter Textur. Für solche Fälle wurden sehr komplexe Verfahren entwickelt, die jedoch oft nur auf sehr spezifische Probleme anwendbar sind, einen hohen Implementierungsaufwand erfordern, und sich zudem nur schwer auf neue Matchingprobleme übertragen lassen. Die Motivation für diese Arbeit entstand aus der Überzeugung, dass es eine möglichst allgemein anwendbare Formulierung für robustes Wide Baseline Stereo Matching geben muß, die sich zur Lösung schwieriger Zuordnungsprobleme eignet und dennoch leicht auf verschiedenartige Anwendungen angepasst werden kann. Sie sollte leicht implementierbar sein und eine hohe semantische Interpretierbarkeit aufweisen. Unser Hauptbeitrag besteht daher in der Entwicklung eines allgemeinen statistischen Modells für Wide Baseline Stereo Matching, das verschiedene Typen von Bildmerkmalen, Ähnlichkeitsmaßen und räumlichen Beziehungen nahtlos als Informationsquellen integriert. Es führt Ideen bestehender Lösungsansätze in einer Bayes'schen Formulierung zusammen, die eine klare Interpretation als MAP Schätzung eines binären Klassifikationsproblems hat. Das Modell nimmt letztlich die Form eines globalen Minimierungsproblems an, das mit herkömmlichen Optimierungsverfahren gelöst werden kann. Der konkrete Typ der verwendeten Bildmerkmale, Ähnlichkeitsmaße und räumlichen Beziehungen ist nicht explizit vorgeschrieben. Ein wichtiger Vorteil unseres Modells gegenüber vergleichbaren Verfahren ist seine Fähigkeit, Schwachpunkte einer Informationsquelle implizit durch die Stärken anderer Informationsquellen zu kompensieren. In unseren Experimenten konzentrieren wir uns insbesondere auf Bilder schwach texturierter Szenen als ein Beispiel schwieriger Zuordnungsprobleme. Die Anzahl stabiler Bildmerkmale ist hier typischerweise gering, und die Unterscheidbarkeit der merkmalsbeschreibungen schlecht. Anhand des vorgeschlagenen Modells implementieren wir einen konkreten Wide Baseline Stereo Matching Algorithmus, der besser mit schwacher Textur umgehen kann als herkömmliche Verfahren. Um die praktische Relevanz zu verdeutlichen, wenden wir den Algorithmus für die automatische Bildorientierung an. Hier besteht die Aufgabe darin, zu einer Menge überlappender Bilder die relativen 3D Kamerapositionen und Kameraorientierungen zu bestimmen. Wir zeigen, dass der Algorithmus im Fall schwach texturierter Szenen bessere Ergebnisse als etablierte Verfahren ermöglicht, und dennoch bei Standard-Datensätzen vergleichbare Ergebnisse liefert.
Summary:
Robust Wide-Baseline Stereo Matching for Sparsely Textured Scenes
The task of wide baseline stereo matching algorithms is to identify corresponding elements in pairs of overlapping images taken from significantly different viewpoints. Such algorithms are a key ingredient to many computer vision applications, including object recognition, automatic camera orientation, 3D reconstruction and image registration. Although today's methods for wide baseline stereo rnatching produce reliable results for typical application scenarios, they assume properties of the image data that are not always granted, for example a significant amount of distinctive surface texture. For such problems, highly advanced algorithms have been proposed, which are often very problem specific, difficult to implement and hard to transfer to new matching problems. The motivation for our work comes from the belief that we can find a generic formulation for robust wide baseline image matching that is able to solve difficult matching problems and at the same time applicable to a variety of applications. It should be easy to irnplement, and have good semantic interpretability. Therefore our key contribution is the development of a generic statistical model for wide baseline stereo matching, which seamlessly integrates different types of image features, similarity measures and spatial feature relationships as information cues. It unifies the ideas of existing approaches into a Bayesian formulation, which has a clear statistical interpretation as the MAP estimate of a binary classification problem. The model ultimately takes the form of a global minimization problem that can be solved with standard optimization techniques. The particular type of features, measures, and spatial relationships however is not prescribed. A major advantage of our model over existing approaches is its ability to compensate weaknesses in one information cue implicitly by exploiting the strength of others. In our experiments we concentrate on images of sparsely textured scenes as a specifically difficult matching problem. Here the amount of stable image features is typically rather small, and the distinctiveness of feature descriptions often low. We use the proposed framework to implement a wide baseline stereo matching algorithm that can deal better with poor texture than established methods. For demonstrating the practical relevance, we also apply this algorithm to a system for automatic image orientation. Here, the task is to reconstruct the relative 3D positions and orientations of the cameras corresponding to a set of overlapping images. We show that our implementation leads to more successful results in case of sparsely textured scenes, while still retaining state of the art performance on standard datasets.
Robuste Merkmalszuordnung für Bildpaare schwach texturierter Szenen mit deutlicher Stereobasis
Die Aufgabe von Wide Baseline Stereo Matching Algorithmen besteht darin, korrespondierende Elemente in Paaren überlappender Bilder mit deutlich verschiedenen Kamerapositionen zu bestimmen. Solche Algorithmen sind ein grundlegender Baustein für zahlreiche Computer Vision Anwendungen wie Objekterkennung, automatische Kameraorientierung, 3D Rekonstruktion und Bildregistrierung. Die heute etablierten Verfahren für Wide Baseline Stereo Matching funktionieren in typischen Anwendungsszenarien sehr zuverlässig. Sie setzen jedoch Eigenschaften der Bilddaten voraus, die nicht immer gegeben sind, wie beispielsweise einen hohen Anteil markanter Textur. Für solche Fälle wurden sehr komplexe Verfahren entwickelt, die jedoch oft nur auf sehr spezifische Probleme anwendbar sind, einen hohen Implementierungsaufwand erfordern, und sich zudem nur schwer auf neue Matchingprobleme übertragen lassen. Die Motivation für diese Arbeit entstand aus der Überzeugung, dass es eine möglichst allgemein anwendbare Formulierung für robustes Wide Baseline Stereo Matching geben muß, die sich zur Lösung schwieriger Zuordnungsprobleme eignet und dennoch leicht auf verschiedenartige Anwendungen angepasst werden kann. Sie sollte leicht implementierbar sein und eine hohe semantische Interpretierbarkeit aufweisen. Unser Hauptbeitrag besteht daher in der Entwicklung eines allgemeinen statistischen Modells für Wide Baseline Stereo Matching, das verschiedene Typen von Bildmerkmalen, Ähnlichkeitsmaßen und räumlichen Beziehungen nahtlos als Informationsquellen integriert. Es führt Ideen bestehender Lösungsansätze in einer Bayes'schen Formulierung zusammen, die eine klare Interpretation als MAP Schätzung eines binären Klassifikationsproblems hat. Das Modell nimmt letztlich die Form eines globalen Minimierungsproblems an, das mit herkömmlichen Optimierungsverfahren gelöst werden kann. Der konkrete Typ der verwendeten Bildmerkmale, Ähnlichkeitsmaße und räumlichen Beziehungen ist nicht explizit vorgeschrieben. Ein wichtiger Vorteil unseres Modells gegenüber vergleichbaren Verfahren ist seine Fähigkeit, Schwachpunkte einer Informationsquelle implizit durch die Stärken anderer Informationsquellen zu kompensieren. In unseren Experimenten konzentrieren wir uns insbesondere auf Bilder schwach texturierter Szenen als ein Beispiel schwieriger Zuordnungsprobleme. Die Anzahl stabiler Bildmerkmale ist hier typischerweise gering, und die Unterscheidbarkeit der merkmalsbeschreibungen schlecht. Anhand des vorgeschlagenen Modells implementieren wir einen konkreten Wide Baseline Stereo Matching Algorithmus, der besser mit schwacher Textur umgehen kann als herkömmliche Verfahren. Um die praktische Relevanz zu verdeutlichen, wenden wir den Algorithmus für die automatische Bildorientierung an. Hier besteht die Aufgabe darin, zu einer Menge überlappender Bilder die relativen 3D Kamerapositionen und Kameraorientierungen zu bestimmen. Wir zeigen, dass der Algorithmus im Fall schwach texturierter Szenen bessere Ergebnisse als etablierte Verfahren ermöglicht, und dennoch bei Standard-Datensätzen vergleichbare Ergebnisse liefert.
Summary:
Robust Wide-Baseline Stereo Matching for Sparsely Textured Scenes
The task of wide baseline stereo matching algorithms is to identify corresponding elements in pairs of overlapping images taken from significantly different viewpoints. Such algorithms are a key ingredient to many computer vision applications, including object recognition, automatic camera orientation, 3D reconstruction and image registration. Although today's methods for wide baseline stereo rnatching produce reliable results for typical application scenarios, they assume properties of the image data that are not always granted, for example a significant amount of distinctive surface texture. For such problems, highly advanced algorithms have been proposed, which are often very problem specific, difficult to implement and hard to transfer to new matching problems. The motivation for our work comes from the belief that we can find a generic formulation for robust wide baseline image matching that is able to solve difficult matching problems and at the same time applicable to a variety of applications. It should be easy to irnplement, and have good semantic interpretability. Therefore our key contribution is the development of a generic statistical model for wide baseline stereo matching, which seamlessly integrates different types of image features, similarity measures and spatial feature relationships as information cues. It unifies the ideas of existing approaches into a Bayesian formulation, which has a clear statistical interpretation as the MAP estimate of a binary classification problem. The model ultimately takes the form of a global minimization problem that can be solved with standard optimization techniques. The particular type of features, measures, and spatial relationships however is not prescribed. A major advantage of our model over existing approaches is its ability to compensate weaknesses in one information cue implicitly by exploiting the strength of others. In our experiments we concentrate on images of sparsely textured scenes as a specifically difficult matching problem. Here the amount of stable image features is typically rather small, and the distinctiveness of feature descriptions often low. We use the proposed framework to implement a wide baseline stereo matching algorithm that can deal better with poor texture than established methods. For demonstrating the practical relevance, we also apply this algorithm to a system for automatic image orientation. Here, the task is to reconstruct the relative 3D positions and orientations of the cameras corresponding to a set of overlapping images. We show that our implementation leads to more successful results in case of sparsely textured scenes, while still retaining state of the art performance on standard datasets.
[ BibTex ]
@PHDTHESIS{dickscheid10:robust,
author ={Dickscheid, Timo},
title ={Robust Wide-Baseline Stereo Matching for Sparsely
Textured Scenes},
school ={Institute of Photogrammetry, University of Bonn},
year ={2010},
}
2009
Steffen, Richard:
Visual SLAM from image sequences acquired by unmanned aerial vehicles
Dissertation, Bonn 2009
download
14.6 M
[ Zusammenfassung ]
Zusammenfassung:
Visuelle gleichzeitige Lokalisierung und Kartierung aus Bildfolgen von unbemannten Drohnen
Die Verwendung der Triangulation zur Lösung des Problems der gleichzeitigen Lokalisierung und Kartierung findet seit Jahren ihren Eingang in die Entwicklung autonomer Systeme. Aufgrund von Echtzeitanforderungen dieser Systeme erreichen rekursive Schätzverfahren, insbesondere Kalmanfilter basierte Ansätze, große Beliebtheit. Bedauerlicherweise, treten dabei durch die Nichtlinearität der Triangulation einige Effekte auf, welche die Konsistenz und Genauigkeit der Lösung hinsichtlich der geschätzten Parameter maßgeblich beeinflussen. In der Literatur existieren dazu einige interessante Lösungsansätze, um diese genauigkeitsrelevanten Effekte zu minimieren. Die Motivation dieser Arbeit ist die These, dass die KaImanfilter basierte Lösung der Triangulation zur Lokalisierung und Kartierung aus Bildfolgen von unbemannten Drohnen realisierbar ist. Im Gegensatz zur klassischen Aero-Triangulation treten dadurch zusätzliche Aspekte in den Vordergrund, die in dieser Arbeit beleuchtet werden. Der erste Beitrag dieser Arbeit besteht in der Herleitung eines generellen Verfahrens zum rekursiven Verbessern im KaImanfilter mit impliziten Beobachtungsgleichungen. Wir zeigen, dass die klassischen Verfahren im Kalmanfilter eine Spezialisierung unseres Ansatzes darstellen. Im zweite Beitrag erweitern wir die klassische Modellierung für ein Einkameramodell im Kalmanfilter und formulieren linear berechenbare Bewegungsmodelle. Neben verschiedenen Verfahren zur Initialisierung von Neupunkten im Kalmanfilter aus der Literatur stellen wir in einem dritten Hauptbeitrag ein neues Verfahren vor. Am Beispiel von Bildfolgen eines unbemannten Flugobjektes zeigen wir in dieser Arbeit als vierten Beitrag, welche Genauigkeit zur Lokalisierung und Kartierung durch Triangulation möglich ist. Schließlich wird anhand von empirischen Untersuchungen unter Verwendung simulierter und realer Daten einer Bildfolge eines photogrammetrischen Streifens gezeigt und verglichen, welchen Einfluß die Initialisierungsmethoden für Neupunkte im Kalmanfilter haben und welche Genauigkeiten für diese Szenarien erreichbar sind.
Visuelle gleichzeitige Lokalisierung und Kartierung aus Bildfolgen von unbemannten Drohnen
Die Verwendung der Triangulation zur Lösung des Problems der gleichzeitigen Lokalisierung und Kartierung findet seit Jahren ihren Eingang in die Entwicklung autonomer Systeme. Aufgrund von Echtzeitanforderungen dieser Systeme erreichen rekursive Schätzverfahren, insbesondere Kalmanfilter basierte Ansätze, große Beliebtheit. Bedauerlicherweise, treten dabei durch die Nichtlinearität der Triangulation einige Effekte auf, welche die Konsistenz und Genauigkeit der Lösung hinsichtlich der geschätzten Parameter maßgeblich beeinflussen. In der Literatur existieren dazu einige interessante Lösungsansätze, um diese genauigkeitsrelevanten Effekte zu minimieren. Die Motivation dieser Arbeit ist die These, dass die KaImanfilter basierte Lösung der Triangulation zur Lokalisierung und Kartierung aus Bildfolgen von unbemannten Drohnen realisierbar ist. Im Gegensatz zur klassischen Aero-Triangulation treten dadurch zusätzliche Aspekte in den Vordergrund, die in dieser Arbeit beleuchtet werden. Der erste Beitrag dieser Arbeit besteht in der Herleitung eines generellen Verfahrens zum rekursiven Verbessern im KaImanfilter mit impliziten Beobachtungsgleichungen. Wir zeigen, dass die klassischen Verfahren im Kalmanfilter eine Spezialisierung unseres Ansatzes darstellen. Im zweite Beitrag erweitern wir die klassische Modellierung für ein Einkameramodell im Kalmanfilter und formulieren linear berechenbare Bewegungsmodelle. Neben verschiedenen Verfahren zur Initialisierung von Neupunkten im Kalmanfilter aus der Literatur stellen wir in einem dritten Hauptbeitrag ein neues Verfahren vor. Am Beispiel von Bildfolgen eines unbemannten Flugobjektes zeigen wir in dieser Arbeit als vierten Beitrag, welche Genauigkeit zur Lokalisierung und Kartierung durch Triangulation möglich ist. Schließlich wird anhand von empirischen Untersuchungen unter Verwendung simulierter und realer Daten einer Bildfolge eines photogrammetrischen Streifens gezeigt und verglichen, welchen Einfluß die Initialisierungsmethoden für Neupunkte im Kalmanfilter haben und welche Genauigkeiten für diese Szenarien erreichbar sind.
[ BibTex ]
@PHDTHESIS{steffen09:Visual SLAM,
author ={Steffen, Richard},
title ={Visual SLAM from image sequences acquired by unmanned aerial vehicles},
school ={Institute of Photogrammetry, University of Bonn},
year ={2009},
}
2006
Beder, Christian:
Gruppierung unsicherer orientierter projektiver geometrischer Elemente mit Anwendung in der automatischen Gebäuderekonstruktion
Dissertation, Bonn 2006
[ Zusammenfassung ]
Abstract:
The fully automatic reconstruction of 3d scenes from a set of 2d images has always been a key issue in photogrammetry and computer vision and has not been solved satisfactory so far. Most of the current approaches match features between the images based on radiometric cues followed by a reconstruction using the image geometry. The motivation for this work is the conjecture that in the presence of highly redundant data it should be possible to recover the scene structure by grouping together geometric primitives in a bottom-up manner. Oriented projective geometry will be used throughout this work, which allows to represent geometric primitives, such as points, lines and planes in 2d and 3d space as well as projective cameras, together with their uncertainty. The first major contribution of the work is the use of uncertain oriented projective geometry, rather than uncertain projective geometry, that enables the representation of more complex compound entities, such as line segments and polygons in 2d and 3d space as well as 2d edgels and 3d facets. Within the uncertain oriented projective framework a procedure is developed, which allows to test pairwise relations between the various uncertain oriented projective entities. Again, the novelty lies in the possibility to check relations between the novel compound entities. The second major contribution of the work is the development of a data structure, specifi¬cally designed to enable performing the tests between large numbers of entities in an efficient manner. Being able to efficiently test relations between the geometric entities, a framework for grouping those entities together is developed. Various different grouping methods are discussed. The third major contribution of this work is the development of a novel grouping method that by analyzing the entropy change incurred by incrementally adding observations into an estimation is able to balance efficiency against robustness in order to achieve better grouping results. Finally the applicability of the proposed representations, tests and grouping methods for the task of purely geometry based building reconstruction from oriented aerial images is demonstrated. It will be shown that in the presence of highly redundant datasets it is possible to achieve reasonable reconstruction results by grouping together geometric primitives.
Zusammenfassung:
Die vollautomatische Rekonstruktion von 3D Szenen aus einer Menge von 2D Bildern war immer ein Hauptanliegen in der Photogrammetrie und Computer Vision und wurde bisher noch nicht zufriedenstellend gelöst. Die meisten aktuellen Ansätze ordnen Merkmale zwischen den Bildern basierend auf radiometrischen Eigenschaften zu. Daran schließt sich dann eine Rekonstruktion auf der Basis der Bildgeometrie an. Die Motivation für diese Arbeit ist die These, dass es möglich sein sollte, die Struktur einer Szene durch Gruppierung geometrischer Primitive zu rekonstruieren, falls die Eingabedaten genügend redundant sind. Orientierte projektive Geometrie wird in dieser Arbeit zur Repräsentation geometrischer Primitive, wie Punkten, Linien und Ebenen in 2D und 3D sowie projektiver Kameras, zusammen mit ihrer Unsicherheit verwendet. Der erste Hauptbeitrag dieser Arbeit ist die Verwendung unsicherer orientierter projektiver Geometrie, anstatt von unsicherer projektiver Geometrie, welche die Repräsentation von komplexeren zusammengesetzten Objekten, wie Liniensegmenten und Polygonen in 2D und 3D sowie 2D Edgels und 3D Facetten, ermöglicht. Innerhalb dieser unsicheren orientierten projektiven Repräsentation wird ein Verfahren zum testen paarweiser Relationen zwischen den verschiedenen unsicheren orientierten projektiven geometrischen Elementen entwickelt. Dabei liegt die Neuheit wieder in der Möglichkeit, Relationen zwischen den neuen zusammengesetzten Elementen zu prüfen. Der zweite Hauptbeitrag dieser Arbeit ist die Entwicklung einer Datenstruktur, welche speziell auf die effiziente Prüfung von solchen Relationen zwischen vielen Elementen ausgelegt ist. Die Möglichkeit zur effizienten Prüfung von Relationen zwischen den geometrischen Elementen erlaubt nun die Entwicklung eines Systems zur Gruppierung dieser Elemente. Verschiedene Gruppierungsmethoden werden vorgestellt. Der dritte Hauptbeitrag dieser Arbeit ist die Entwicklung einer neuen Gruppierungsmethode, die durch die Analyse der Änderung der Entropie beim Hinzufügen von Beobachtungen in die Schätzung Effizienz und Robustheit gegeneinander ausbalanciert und dadurch bessere Gruppierungsergebnisse erzielt. Zum Schluss wird die Anwendbarkeit der vorgeschlagenen Repräsentationen, Tests und Gruppierungsmethoden für die ausschließlich geometriebasierte Gebäuderekonstruktion aus orientierten Luftbildern demonstriert. Es wird gezeigt, dass unter der Annahme von hoch redundanten Datensätzen vernünftige Rekonstruktionsergebnisse durch Gruppierung von geometrischen Primitiven erzielbar sind.
The fully automatic reconstruction of 3d scenes from a set of 2d images has always been a key issue in photogrammetry and computer vision and has not been solved satisfactory so far. Most of the current approaches match features between the images based on radiometric cues followed by a reconstruction using the image geometry. The motivation for this work is the conjecture that in the presence of highly redundant data it should be possible to recover the scene structure by grouping together geometric primitives in a bottom-up manner. Oriented projective geometry will be used throughout this work, which allows to represent geometric primitives, such as points, lines and planes in 2d and 3d space as well as projective cameras, together with their uncertainty. The first major contribution of the work is the use of uncertain oriented projective geometry, rather than uncertain projective geometry, that enables the representation of more complex compound entities, such as line segments and polygons in 2d and 3d space as well as 2d edgels and 3d facets. Within the uncertain oriented projective framework a procedure is developed, which allows to test pairwise relations between the various uncertain oriented projective entities. Again, the novelty lies in the possibility to check relations between the novel compound entities. The second major contribution of the work is the development of a data structure, specifi¬cally designed to enable performing the tests between large numbers of entities in an efficient manner. Being able to efficiently test relations between the geometric entities, a framework for grouping those entities together is developed. Various different grouping methods are discussed. The third major contribution of this work is the development of a novel grouping method that by analyzing the entropy change incurred by incrementally adding observations into an estimation is able to balance efficiency against robustness in order to achieve better grouping results. Finally the applicability of the proposed representations, tests and grouping methods for the task of purely geometry based building reconstruction from oriented aerial images is demonstrated. It will be shown that in the presence of highly redundant datasets it is possible to achieve reasonable reconstruction results by grouping together geometric primitives.
Zusammenfassung:
Die vollautomatische Rekonstruktion von 3D Szenen aus einer Menge von 2D Bildern war immer ein Hauptanliegen in der Photogrammetrie und Computer Vision und wurde bisher noch nicht zufriedenstellend gelöst. Die meisten aktuellen Ansätze ordnen Merkmale zwischen den Bildern basierend auf radiometrischen Eigenschaften zu. Daran schließt sich dann eine Rekonstruktion auf der Basis der Bildgeometrie an. Die Motivation für diese Arbeit ist die These, dass es möglich sein sollte, die Struktur einer Szene durch Gruppierung geometrischer Primitive zu rekonstruieren, falls die Eingabedaten genügend redundant sind. Orientierte projektive Geometrie wird in dieser Arbeit zur Repräsentation geometrischer Primitive, wie Punkten, Linien und Ebenen in 2D und 3D sowie projektiver Kameras, zusammen mit ihrer Unsicherheit verwendet. Der erste Hauptbeitrag dieser Arbeit ist die Verwendung unsicherer orientierter projektiver Geometrie, anstatt von unsicherer projektiver Geometrie, welche die Repräsentation von komplexeren zusammengesetzten Objekten, wie Liniensegmenten und Polygonen in 2D und 3D sowie 2D Edgels und 3D Facetten, ermöglicht. Innerhalb dieser unsicheren orientierten projektiven Repräsentation wird ein Verfahren zum testen paarweiser Relationen zwischen den verschiedenen unsicheren orientierten projektiven geometrischen Elementen entwickelt. Dabei liegt die Neuheit wieder in der Möglichkeit, Relationen zwischen den neuen zusammengesetzten Elementen zu prüfen. Der zweite Hauptbeitrag dieser Arbeit ist die Entwicklung einer Datenstruktur, welche speziell auf die effiziente Prüfung von solchen Relationen zwischen vielen Elementen ausgelegt ist. Die Möglichkeit zur effizienten Prüfung von Relationen zwischen den geometrischen Elementen erlaubt nun die Entwicklung eines Systems zur Gruppierung dieser Elemente. Verschiedene Gruppierungsmethoden werden vorgestellt. Der dritte Hauptbeitrag dieser Arbeit ist die Entwicklung einer neuen Gruppierungsmethode, die durch die Analyse der Änderung der Entropie beim Hinzufügen von Beobachtungen in die Schätzung Effizienz und Robustheit gegeneinander ausbalanciert und dadurch bessere Gruppierungsergebnisse erzielt. Zum Schluss wird die Anwendbarkeit der vorgeschlagenen Repräsentationen, Tests und Gruppierungsmethoden für die ausschließlich geometriebasierte Gebäuderekonstruktion aus orientierten Luftbildern demonstriert. Es wird gezeigt, dass unter der Annahme von hoch redundanten Datensätzen vernünftige Rekonstruktionsergebnisse durch Gruppierung von geometrischen Primitiven erzielbar sind.
[ BibTex ]
@PHDTHESIS{beder06:Gruppierung,
author = {Beder,Christian},
title = {Gruppierung unsicherer orientierter projektiver geometrischer Elemente mit Anwendung in der automatischen Gebäuderekonstruktion},
school = {Institute of Photogrammetry, University of Bonn},
year = {2006},
note ={Schriftenreihe des Instituts für Geodäsie und Geoinformation},
}
Wolff, Kirsten:
Zur Approximation allgemeiner optischer Abbildungsmodelle und deren Anwendung auf eine geometrisch basierte Mehrbildzuordnung am Beispiel einer Mehrmedienab-bildung
Dissertation, Bonn 2006
[ Zusammenfassung ]
Abstract:
Non perspective mappings include geometric elements, which have an direct influence on their geometric characteristics but which are more or less unknown in the field of photogrammetry. An example for such an element is the type of a viewing point, which can be a single point, a line or a surface (non single points). Another example is the way of mapping rays. Both influence the image distortions depending on the position of the image point in image space or the object point in object space. This work basically deals with the geometry of viewing points, the resulting image distortion and their relevance for a three dimensional photogrammetric reconstruction. The work focuses the following four points:
Introduction of a new representation and taxonomy for optical imaging systems. One feature of optical mappings is the type of image distortion, which is important for the complexity of a photogrammetric process. It may either base on the position of the image point in image space or the object point in object space, which is much more complex. The image distortion and its modeling are being directly influenced by a single point or non single point viewpoint. In this context it is important that an imaging system may have more than one viewing point. A corresponding analysis of imaging systems is realised in the field of photogrammetry only under condition of some of these aspects. Here, a global analysis is given, which takes all these mentioned aspects into account, and a new resulting representation and taxonomy for optical imaging systems is introduced.
Development of a general, efficient approximation method for imaging systems. Non perspective mappings, which have object space based image distortions, might have very complex and specialised mapping models. This is motivation for the development of an efficient and general approximation method for complex, object space based distorted mappings by a simplified model. By a definition of special requirements for the realisation, a significant influence of the approximation error on the quality of the final results can be prevented. A priori quality analyses of a 3d reconstruction support this assumption.
Development of a geometrically based matching algorithm for multiple views. The approximation method is used for a new geometry based matching algorithm for 3D reconstruction, which will also be presented here. Different tests using synthetic and real data analyse and evaluate the methodology of the approximation, of the image matching and the 3D object reconstruction for multiple views and show the efficiency of both methods.
Quality tests by a photogrammetric reconstruction of a fluvial sediment surface with multi media geometry. As an application example of the methods, a fluvial sediment surface is observed through the three optical media air, Perspex and water and is reconstructed in 3D. This application is also a test of the use of photogrammetric methods for preparing input data for a synthetic analysis of the sedimentation process. The results indicate that photogrammetric methods are applicable for this task.
Zusammenfassung:
Nicht perspektivische Abbildungen besitzen geometrische Elemente, die auf ihre geometrischen Eigenschaften einen direkten Einfluss haben, im Bereich der Photogrammetrie aber kaum bekannt sind. Ein solches Element ist zum Beispiel die Art eines Projektionszentrums, das punkt-, linien- oder flächenförmig sein kann und der Verlauf der Abbildungsstrahlen, die beide die Abhängigkeit der Verzeichnung von der Position des Bildpunktes im Bildraum oder des zugehörigen Objektpunktes im Objektraum beeinflussen. Diese Arbeit behandelt grundlegend die Geometrie von Projektionszentren, den daraus resultierenden Bildverzeichnungen und ihre Bedeutung für eine dreidimensionale photogrammetrische Auswertung. Zusammenfassend umfasst diese Arbeit die folgenden vier Schwerpunkte:
Einführung einer neuen Repräsentation und Taxonomie optischer Abbildungssysteme. Ein für die Komplexität einer photogrammetrischen Auswertung entscheidendes Merkmal optischer Abbildungen ist die Art ihrer Bildfehler, die bildraumbasiert oder objektraumbasiert sein können. Die Bildfehler und ihre Modellierung werden direkt durch das punktförmige oder nicht punktförmige Projektionszentrum des abbildenden Strahlenbündels beeinflusst. Dabei kann ein Abbildungssystem streng genommen mehr als ein Projektionszentrum besitzen. Eine entsprechende Analyse optischer Systeme ist im Bereich der Photogrammetrie bisher nur unter Berücksichtigung von einzelnen dieser Aspekte durchgeführt worden und wird hier zusammen mit einer resultierenden neuen Repräsentation und Taxonomie umfassender dargestellt.
Vorstellung eines allgemeinen, effizienten Approximationsmodells optischer Abbildungssysteme. Nicht perspektivische Abbildungen, die eine objektraumbasierte Verzeichnung besitzen, können sehr komplexe und spezialisierte Abbildungsmodelle besitzen. Dies ist Motivation für die Entwicklung eines effizienten und allgemein gültigen Approximationsmodells komplexer, objektraumbasiert verzeichneter Abbildungen durch ein einfaches Modell. Durch bestimmte Anforderungen an den Einsatz des Modells wird ein signifikanter Einfluss auf die Endergebnisse verhindert. Apriori Qualitätsuntersuchungen für eine dreidimensionale Objektrekonstruktion bestätigen dies.
Entwicklung eines geometrisch basierten Zuordnungsalgorithmus im Mehrbildverband. Das Approximationsmodell wird innerhalb eines ebenfalls hier vorgestellten, geometrisch basierten Zuordnungsverfahrens innerhalb einer Objektrekonstruktion angewendet. Verschiedene Tests mit synthetischen und realen Daten analysieren und bewerten die Methodik der Approximation, der Bildzuordnung und Objektrekonstruktion im Mehrbildverband und zeigen einen effektiven Einsatz der beiden Verfahren.
Qualitätsanalysen mittels photogrammetrischer Rekonstruktion von fluvialen Sedimentoberflächen unter optischen Mehrmedienbedingungen. Als Anwendungsbeispiel wird eine fluviale Sedimentoberfläche durch die Medien Luft, Plexiglas und Wasser hindurch beobachtet und rekonstruiert. Mit diesem Beispiel wird gleichzeitig die Einsatzmöglichkeiten photogrammetrischer Methoden für die Erzeugung von Eingangsdaten für eine Analyse eines dynamischen, fluvialen Sedimentationsprozesses geprüft. Die Ergebnisse zeigen, dass photogrammetrische Methoden für die Lösung dieser Aufgabenstellung grundsätzlich anwendbar sind.
Non perspective mappings include geometric elements, which have an direct influence on their geometric characteristics but which are more or less unknown in the field of photogrammetry. An example for such an element is the type of a viewing point, which can be a single point, a line or a surface (non single points). Another example is the way of mapping rays. Both influence the image distortions depending on the position of the image point in image space or the object point in object space. This work basically deals with the geometry of viewing points, the resulting image distortion and their relevance for a three dimensional photogrammetric reconstruction. The work focuses the following four points:
Introduction of a new representation and taxonomy for optical imaging systems. One feature of optical mappings is the type of image distortion, which is important for the complexity of a photogrammetric process. It may either base on the position of the image point in image space or the object point in object space, which is much more complex. The image distortion and its modeling are being directly influenced by a single point or non single point viewpoint. In this context it is important that an imaging system may have more than one viewing point. A corresponding analysis of imaging systems is realised in the field of photogrammetry only under condition of some of these aspects. Here, a global analysis is given, which takes all these mentioned aspects into account, and a new resulting representation and taxonomy for optical imaging systems is introduced.
Development of a general, efficient approximation method for imaging systems. Non perspective mappings, which have object space based image distortions, might have very complex and specialised mapping models. This is motivation for the development of an efficient and general approximation method for complex, object space based distorted mappings by a simplified model. By a definition of special requirements for the realisation, a significant influence of the approximation error on the quality of the final results can be prevented. A priori quality analyses of a 3d reconstruction support this assumption.
Development of a geometrically based matching algorithm for multiple views. The approximation method is used for a new geometry based matching algorithm for 3D reconstruction, which will also be presented here. Different tests using synthetic and real data analyse and evaluate the methodology of the approximation, of the image matching and the 3D object reconstruction for multiple views and show the efficiency of both methods.
Quality tests by a photogrammetric reconstruction of a fluvial sediment surface with multi media geometry. As an application example of the methods, a fluvial sediment surface is observed through the three optical media air, Perspex and water and is reconstructed in 3D. This application is also a test of the use of photogrammetric methods for preparing input data for a synthetic analysis of the sedimentation process. The results indicate that photogrammetric methods are applicable for this task.
Zusammenfassung:
Nicht perspektivische Abbildungen besitzen geometrische Elemente, die auf ihre geometrischen Eigenschaften einen direkten Einfluss haben, im Bereich der Photogrammetrie aber kaum bekannt sind. Ein solches Element ist zum Beispiel die Art eines Projektionszentrums, das punkt-, linien- oder flächenförmig sein kann und der Verlauf der Abbildungsstrahlen, die beide die Abhängigkeit der Verzeichnung von der Position des Bildpunktes im Bildraum oder des zugehörigen Objektpunktes im Objektraum beeinflussen. Diese Arbeit behandelt grundlegend die Geometrie von Projektionszentren, den daraus resultierenden Bildverzeichnungen und ihre Bedeutung für eine dreidimensionale photogrammetrische Auswertung. Zusammenfassend umfasst diese Arbeit die folgenden vier Schwerpunkte:
Einführung einer neuen Repräsentation und Taxonomie optischer Abbildungssysteme. Ein für die Komplexität einer photogrammetrischen Auswertung entscheidendes Merkmal optischer Abbildungen ist die Art ihrer Bildfehler, die bildraumbasiert oder objektraumbasiert sein können. Die Bildfehler und ihre Modellierung werden direkt durch das punktförmige oder nicht punktförmige Projektionszentrum des abbildenden Strahlenbündels beeinflusst. Dabei kann ein Abbildungssystem streng genommen mehr als ein Projektionszentrum besitzen. Eine entsprechende Analyse optischer Systeme ist im Bereich der Photogrammetrie bisher nur unter Berücksichtigung von einzelnen dieser Aspekte durchgeführt worden und wird hier zusammen mit einer resultierenden neuen Repräsentation und Taxonomie umfassender dargestellt.
Vorstellung eines allgemeinen, effizienten Approximationsmodells optischer Abbildungssysteme. Nicht perspektivische Abbildungen, die eine objektraumbasierte Verzeichnung besitzen, können sehr komplexe und spezialisierte Abbildungsmodelle besitzen. Dies ist Motivation für die Entwicklung eines effizienten und allgemein gültigen Approximationsmodells komplexer, objektraumbasiert verzeichneter Abbildungen durch ein einfaches Modell. Durch bestimmte Anforderungen an den Einsatz des Modells wird ein signifikanter Einfluss auf die Endergebnisse verhindert. Apriori Qualitätsuntersuchungen für eine dreidimensionale Objektrekonstruktion bestätigen dies.
Entwicklung eines geometrisch basierten Zuordnungsalgorithmus im Mehrbildverband. Das Approximationsmodell wird innerhalb eines ebenfalls hier vorgestellten, geometrisch basierten Zuordnungsverfahrens innerhalb einer Objektrekonstruktion angewendet. Verschiedene Tests mit synthetischen und realen Daten analysieren und bewerten die Methodik der Approximation, der Bildzuordnung und Objektrekonstruktion im Mehrbildverband und zeigen einen effektiven Einsatz der beiden Verfahren.
Qualitätsanalysen mittels photogrammetrischer Rekonstruktion von fluvialen Sedimentoberflächen unter optischen Mehrmedienbedingungen. Als Anwendungsbeispiel wird eine fluviale Sedimentoberfläche durch die Medien Luft, Plexiglas und Wasser hindurch beobachtet und rekonstruiert. Mit diesem Beispiel wird gleichzeitig die Einsatzmöglichkeiten photogrammetrischer Methoden für die Erzeugung von Eingangsdaten für eine Analyse eines dynamischen, fluvialen Sedimentationsprozesses geprüft. Die Ergebnisse zeigen, dass photogrammetrische Methoden für die Lösung dieser Aufgabenstellung grundsätzlich anwendbar sind.
[ BibTex ]
@PHDTHESIS {wolff06:Approximation,
author ={Wolff,Kirsten},
title ={Zur Approximation allgemeiner optischer Abbildungsmodelle und deren Anwendung auf eine geometrisch basierte Mehrbildzuordnung am Beispiel einer Mehrmedienab-bildung},
school ={Institute of Photogrammetry, University of Bonn},
year ={2006}
note ={online unter: http://hss.ulb.uni-bonn.de/diss_online/landw_fak/2007/wolff_kirsten/index.htm},
}
2004
Appel, Mirko:
From Images and Technical Drawings to 3D Models: A Novel Approach to As-Built Reconstruction
Dissertation, Bonn 2004
[ Zusammenfassung ]
Abstract:
Marker-based photogrammetric as-built reconstruction is a well established method to capture industrial sites. However, to reduce costs and to accelerate the reconstruction procedure, there is an increasing demand for marker-free reconstruction methods. Aiming to eliminate the need for markers, we present a novel approach to as-built reconstruction, which integrates technical drawings as orthographic images seamlessly into the photogrammetric reconstruction process. One of the main ideas underlying this thesis is the concept of co-registered orthographic and perspective (COP) images. This new type of image, consisting of an orthographic view integrated into a perspective view, allows for metric reconstruction from a single COP image. We discuss epipolar geometry for this type of image and we provide reconstruction methods custom tailored to COP images for points, lines and cylinders. The precondition for the creation of a COP image is the recovery of the relative orientation of the involved perspective and orthographic view. We present a number of algorithms for this purpose. To be able to take advantage of a previously obtained orientation of perspective images, we first introduce a metric planar transformation for the registration of a drawing and a set of fully calibrated and oriented images, which can be estimated using sparse point correspondences. We then propose several linear algorithms for recovery of motion between drawings and images which are not oriented. These methods include: (i) Estimation of the trifocal tensor for the case of one orthographic and two perspective views, (ii) estimation of homography between an orthographic and a perspective view using corresponding points and vanishing points, and (ii) statistically optimal estimation of the projection matrix mapping an orthographic view into a perspective view using points and lines. In industrial environment, which is one of the main fields of application of the results of this work, cylindrical objects occur very frequently. We additionally present an image orientation method utilizing cylinder correspondences across perspective image, which can be used in the absence of drawings. We finally present a bundle adjustment which globally optimizes the results of the described orientation and reconstruction methods. We provide constraints, which allow us to integrate observations of points, lines and cylinders across an arbitrary number of perspective images. We test the reconstruction and orientation methods using synthetic and real data. The results of the linear methods serve as initialization of the subsequent bundle adjustment. The accuracy of the final results of the bundle adjustment confirms that the proposed methods for marker-less as built reconstruction are well suitable for typical industrial applications.
Zusammenfassung:
Markerbasierte photogrammetrische As-built Rekonstruktion ist eine bewährte Methode zur Aufnahme industrieller Anlagen. Aus Zeit- und Kostengründen gibt es jedoch steigenden Bedarf nach markerlosen Rekonstruktionsmethoden. Wir präsentieren in dieser Arbeit ein neuartiges Verfahren für As-built Rekonstruktion, das technische Zeichnungen als orthographische Bilder nahtlos in den photogrammetrischen Rekonstruktionsprozess integriert und keinerlei Markierungen benötigt. Eine der wesentlichen Ideen, die dieser Dissertation zugrunde liegen, ist das Konzept der registrierten orthographischen und perspektivischen Bilder (co-registered orthographie and perspective (COP) images), kurz COP-Bilder. Dieser neue Bildtyp, bestehend aus einem perspektivischen Bild, in das ein orthographisches Bild integriert wird, ermöglicht die metrische Rekonstruktion mit Hilfe eines einzigen COP-Bildes. Wir diskutieren die Epipolargeometrie für diesen Bildtyp und stellen speziell angepasste Rekonstruktionsmethoden für Punkte, Linien und Zylinder vor. Vorbedingung für die Erstellung eines COP-Bildes ist die Bestimmung der relativen Orientierung der beteiligten perspektivischen und orthographischen Bilder. Wir präsentieren verschiedene Algorithmen für diesen Zweck. Um eine zuvor bestimmte relative Orientierung perspektivischer Bilder nutzen zu können, führen wir zunächst eine metrische, planare Transformation für die Registrierung einer Zeichnung und eines kalibrierten und orientierten Bildverbandes ein. Anschließend stellen wir lineare Algorithmen für die Schätzung der Orientierung zwischen Zeichnungen und unorientierten perspektivischen Bildern vor. Es handelt sich um Methoden für (i) die Schätzung des trifokalen Tensors für eine orthographische und zwei perspektivische Ansichten, (ii) die Schätzung der Homographie zwischen einer orthographischen und einer perspektivischen Ansicht, und (iii) die statistisch optimale Schätzung einer Projektionsmatrix, die eine orthographische in eine perspektivische Ansicht abbildet. In industrieller Umgebung, die eines der wesentlichen Anwendungsfelder der Ergebnisse dieser Arbeit ist, treten sehr häufig zylindrische Objekte in Form von Rohrleitungen auf. Wir präsentieren daher zusätzlich eine Methode für Bildorientierung, die auf Zylinderkorrespondenzen zwischen perspektivischen Bildern beruht. Schließlich präsentieren wir eine Bündelausgleichung, die die Ergebnisse der beschriebenen Orientierungs- und Rekonstruktionsmethoden global optimiert. Wir geben Randbedingungen an, die das Einbringen von Punkt-, Linien- und Zylinderbeobachtungen in einer beliebigen Anzahl von perspektivischen Bildern ermöglicht. Wir testen die Rekonstruktions- und Orientierungsmethoden anhand synthetischer und realer Daten. Die Ergebnisse der linearen Methoden dienen als Initialisierung für die nachfolgende Bündelausgleichung. Die erzielte Genauigkeit der Ergebnisse der Bündelausgleichung bestätigt, dass die vorgeschlagenen Methoden für markerlose As-built Rekonstruktion für typische industrielle Anwendungen sehr gut geeignet sind.
Marker-based photogrammetric as-built reconstruction is a well established method to capture industrial sites. However, to reduce costs and to accelerate the reconstruction procedure, there is an increasing demand for marker-free reconstruction methods. Aiming to eliminate the need for markers, we present a novel approach to as-built reconstruction, which integrates technical drawings as orthographic images seamlessly into the photogrammetric reconstruction process. One of the main ideas underlying this thesis is the concept of co-registered orthographic and perspective (COP) images. This new type of image, consisting of an orthographic view integrated into a perspective view, allows for metric reconstruction from a single COP image. We discuss epipolar geometry for this type of image and we provide reconstruction methods custom tailored to COP images for points, lines and cylinders. The precondition for the creation of a COP image is the recovery of the relative orientation of the involved perspective and orthographic view. We present a number of algorithms for this purpose. To be able to take advantage of a previously obtained orientation of perspective images, we first introduce a metric planar transformation for the registration of a drawing and a set of fully calibrated and oriented images, which can be estimated using sparse point correspondences. We then propose several linear algorithms for recovery of motion between drawings and images which are not oriented. These methods include: (i) Estimation of the trifocal tensor for the case of one orthographic and two perspective views, (ii) estimation of homography between an orthographic and a perspective view using corresponding points and vanishing points, and (ii) statistically optimal estimation of the projection matrix mapping an orthographic view into a perspective view using points and lines. In industrial environment, which is one of the main fields of application of the results of this work, cylindrical objects occur very frequently. We additionally present an image orientation method utilizing cylinder correspondences across perspective image, which can be used in the absence of drawings. We finally present a bundle adjustment which globally optimizes the results of the described orientation and reconstruction methods. We provide constraints, which allow us to integrate observations of points, lines and cylinders across an arbitrary number of perspective images. We test the reconstruction and orientation methods using synthetic and real data. The results of the linear methods serve as initialization of the subsequent bundle adjustment. The accuracy of the final results of the bundle adjustment confirms that the proposed methods for marker-less as built reconstruction are well suitable for typical industrial applications.
Zusammenfassung:
Markerbasierte photogrammetrische As-built Rekonstruktion ist eine bewährte Methode zur Aufnahme industrieller Anlagen. Aus Zeit- und Kostengründen gibt es jedoch steigenden Bedarf nach markerlosen Rekonstruktionsmethoden. Wir präsentieren in dieser Arbeit ein neuartiges Verfahren für As-built Rekonstruktion, das technische Zeichnungen als orthographische Bilder nahtlos in den photogrammetrischen Rekonstruktionsprozess integriert und keinerlei Markierungen benötigt. Eine der wesentlichen Ideen, die dieser Dissertation zugrunde liegen, ist das Konzept der registrierten orthographischen und perspektivischen Bilder (co-registered orthographie and perspective (COP) images), kurz COP-Bilder. Dieser neue Bildtyp, bestehend aus einem perspektivischen Bild, in das ein orthographisches Bild integriert wird, ermöglicht die metrische Rekonstruktion mit Hilfe eines einzigen COP-Bildes. Wir diskutieren die Epipolargeometrie für diesen Bildtyp und stellen speziell angepasste Rekonstruktionsmethoden für Punkte, Linien und Zylinder vor. Vorbedingung für die Erstellung eines COP-Bildes ist die Bestimmung der relativen Orientierung der beteiligten perspektivischen und orthographischen Bilder. Wir präsentieren verschiedene Algorithmen für diesen Zweck. Um eine zuvor bestimmte relative Orientierung perspektivischer Bilder nutzen zu können, führen wir zunächst eine metrische, planare Transformation für die Registrierung einer Zeichnung und eines kalibrierten und orientierten Bildverbandes ein. Anschließend stellen wir lineare Algorithmen für die Schätzung der Orientierung zwischen Zeichnungen und unorientierten perspektivischen Bildern vor. Es handelt sich um Methoden für (i) die Schätzung des trifokalen Tensors für eine orthographische und zwei perspektivische Ansichten, (ii) die Schätzung der Homographie zwischen einer orthographischen und einer perspektivischen Ansicht, und (iii) die statistisch optimale Schätzung einer Projektionsmatrix, die eine orthographische in eine perspektivische Ansicht abbildet. In industrieller Umgebung, die eines der wesentlichen Anwendungsfelder der Ergebnisse dieser Arbeit ist, treten sehr häufig zylindrische Objekte in Form von Rohrleitungen auf. Wir präsentieren daher zusätzlich eine Methode für Bildorientierung, die auf Zylinderkorrespondenzen zwischen perspektivischen Bildern beruht. Schließlich präsentieren wir eine Bündelausgleichung, die die Ergebnisse der beschriebenen Orientierungs- und Rekonstruktionsmethoden global optimiert. Wir geben Randbedingungen an, die das Einbringen von Punkt-, Linien- und Zylinderbeobachtungen in einer beliebigen Anzahl von perspektivischen Bildern ermöglicht. Wir testen die Rekonstruktions- und Orientierungsmethoden anhand synthetischer und realer Daten. Die Ergebnisse der linearen Methoden dienen als Initialisierung für die nachfolgende Bündelausgleichung. Die erzielte Genauigkeit der Ergebnisse der Bündelausgleichung bestätigt, dass die vorgeschlagenen Methoden für markerlose As-built Rekonstruktion für typische industrielle Anwendungen sehr gut geeignet sind.
[ BibTex ]
@PHDTHESIS{appel04:Images,
author ={Appel,Mirko},
title ={From Images and Technical Drawings to 3D Models: A Novel Approach to As-Built Reconstruction},
school ={Institute of Photogrammetry, University of Bonn},
year ={2004},
}
2002
Braunmandl, Andre:
Geometrische Generalisierung von Digitalen Höhenmodellen
Dissertation, Bonn 2002
[ Zusammenfassung ]
Abstract:
The importance of digital media for the investigation of cartographic questions is steadily increasing. To satisfy the equally growing demands, it is necessary to develop concepts, that exploit the particular features of the digital medium. In this context this thesis is concerned with the geometric generalisation of digital elevation models (DEM). Because of the multiple problems connected with the generalisation of DEM, the central terms are defined at first. Based upon this, the restricted problem, that this thesis deals with, is outlined. In principle, the generalisation of DEM consists of geometric and thematic generalisation. In this thesis it is dealt with aspects of thematic generalisation only in so far, as it is needed for the investigation of geometric generalisation. The scale of a DEM is the central term for the description of DEM concerning the geometric generalisation. For the initial DEM the scale actually is set by the generalisation due to the measurement process. To describe this mathematically, techniques developed in the scope of signal theory are applied. These techniques provide DEM describing characteristics, that are used in the following. Particularly the surface can be scale dependently characterised by the texture of the DEM, that is interpreted as a measurement signal. Geometric generalisation realises a scale transition up to a coarser scale in the description of the DEM. A mathematical scope for this is given by scale-space theory, which is well established in the area of computer vision. Hereby the process of scale transition can be expressed under specific circumstances as the solution of a non stationary diffusion problem. To model geometric generalisation, we describe the surface in terms of point like, line like and area like structures. The different surface structures can be distinguished by their form character. To describe the form character quantitatively, two characteristics, succinctness and anisotropy, are defined based on the characteristics derived from signal theory. In the scope of scale-space theory the geometric generalisation is modelled as a diffusion equation, that preserves the form character, which is described by succinctness and anisotropy, depending on scale and according to specific parameters. We present an implementation based on the finite element method, that provides a solution of the developed diffusion equation. Examples demonstrate the properties of the diffusion equation. The tools for generalisation developed in this thesis offer a new approach for the scale dependent examination of DEM and they are a first step in generating an extensive collection of methods for generalisation of DEM. A future implementation into a GIS based upon the presented prototypic implementation is possible and desirable.
Zusammenfassung:
Die Bedeutung digitaler Informationsträger bei der Bearbeitung kartographischer Fragestellungen wächst zunehmend. Um den damit ebenfalls wachsenden Anforderungen zu genügen, sind Konzepte zu entwickeln, die die Besonderheiten des digitalen Mediums ausnutzen. In diesem Zusammenhang beschäftigt sich diese Arbeit mit der geometrischen Generalisierung von Digitalen Höhenmodellen (DHM). Auf Grund der Vielzahl der mit der Generalisierung von DHM verbundenen Probleme, werden zuerst die hier bedeutsamen zentralen Begriffe definiert. Auf dieser Basis wird eine Abgrenzung des in dieser Arbeit behandelten Problems vorgenommen. Allgemein gliedert sich die Generalisierung von DHM in die geometrische und die thematische Generalisierung. Auf die Aspekte der thematischen Generalisierung wird in dieser Arbeit nur so weit eingegangen, wie es zur Behandlung der geometrischen Generalisierung notwendig ist. Die Skala eines DHM ist für die geometrische Generalisierung der zentrale Begriff zur Beschreibung von DHM. Für das initiale DHM wird die Skala durch den Vorgang der Erfassungsgeneralisierung festgelegt. Um dies mathematisch zu beschreiben, werden im Rahmen der Signaltheorie entwickelte Techniken der Bildverarbeitung eingesetzt, die weitere, im Folgenden genutzte, Kenngrößen zur Beschreibung von DHM liefern. Insbesondere kann die Geländeoberfläche durch die Textur des als Mess-Signal interpretierten DHM skalenabhängig charakterisiert werden. Die geometrische Generalisierung eines DHM bewirkt einen Skalenübergang hin zu einer gröberen Skala bei der Beschreibung des DHM. Einen mathematischen Rahmen bildet hierfür die in der Bildverarbeitung etablierte Theorie der Skalenräume. Hiermit kann die Durchführung eines Skalenübergangs unter gewissen Bedingungen auf die Lösung eines instationären Diffusionsproblems zurückgeführt werden. Zur Modellierung der geometrischen Generalisierung stellen wir uns die Geländeoberfläche zerlegt in punkt-, linien- und flächenartige Geländestrukturen vor. Diese verschiedenartigen Geländestrukturen unterscheiden sich durch ihren Formcharakter. Zur quantitativen Beschreibung des Formcharakters werden auf Basis der signal theoretisch hergeleiteten Kenngrößen zwei Maße, die Prägnanz und die Anisotropie, definiert. Die geometrische Generalisierung wird dann im Rahmen der Theorie der Skalenräume als Diffusionsgleichung modelliert, die, über Parameter geregelt, den durch die Prägnanz und die Anisotropie beschriebenen Formcharakter skalenabhängig erhält. Zur Lösung der hier formulierten Diffusionsgleichung wird eine Implementation auf Basis der Methode der Finiten Elemente vorgestellt. Hiermit berechnete Anwendungsbeispiele veranschaulichen die Wirkungsweise der Diffusionsgleichung. Die in dieser Arbeit entwickelten Generalisierungswerkzeuge eröffnen einen neuen Zugang zur skalenabhängigen Untersuchung von DHM und sind ein erster Schritt zu einer umfassenden Methodensammlung zur Generalisierung von DHM. Eine künftige Implementation in ein GIS ist auf Grundlage der hier vorgestellten prototypischen Implementation möglich und wünschenswert.
The importance of digital media for the investigation of cartographic questions is steadily increasing. To satisfy the equally growing demands, it is necessary to develop concepts, that exploit the particular features of the digital medium. In this context this thesis is concerned with the geometric generalisation of digital elevation models (DEM). Because of the multiple problems connected with the generalisation of DEM, the central terms are defined at first. Based upon this, the restricted problem, that this thesis deals with, is outlined. In principle, the generalisation of DEM consists of geometric and thematic generalisation. In this thesis it is dealt with aspects of thematic generalisation only in so far, as it is needed for the investigation of geometric generalisation. The scale of a DEM is the central term for the description of DEM concerning the geometric generalisation. For the initial DEM the scale actually is set by the generalisation due to the measurement process. To describe this mathematically, techniques developed in the scope of signal theory are applied. These techniques provide DEM describing characteristics, that are used in the following. Particularly the surface can be scale dependently characterised by the texture of the DEM, that is interpreted as a measurement signal. Geometric generalisation realises a scale transition up to a coarser scale in the description of the DEM. A mathematical scope for this is given by scale-space theory, which is well established in the area of computer vision. Hereby the process of scale transition can be expressed under specific circumstances as the solution of a non stationary diffusion problem. To model geometric generalisation, we describe the surface in terms of point like, line like and area like structures. The different surface structures can be distinguished by their form character. To describe the form character quantitatively, two characteristics, succinctness and anisotropy, are defined based on the characteristics derived from signal theory. In the scope of scale-space theory the geometric generalisation is modelled as a diffusion equation, that preserves the form character, which is described by succinctness and anisotropy, depending on scale and according to specific parameters. We present an implementation based on the finite element method, that provides a solution of the developed diffusion equation. Examples demonstrate the properties of the diffusion equation. The tools for generalisation developed in this thesis offer a new approach for the scale dependent examination of DEM and they are a first step in generating an extensive collection of methods for generalisation of DEM. A future implementation into a GIS based upon the presented prototypic implementation is possible and desirable.
Zusammenfassung:
Die Bedeutung digitaler Informationsträger bei der Bearbeitung kartographischer Fragestellungen wächst zunehmend. Um den damit ebenfalls wachsenden Anforderungen zu genügen, sind Konzepte zu entwickeln, die die Besonderheiten des digitalen Mediums ausnutzen. In diesem Zusammenhang beschäftigt sich diese Arbeit mit der geometrischen Generalisierung von Digitalen Höhenmodellen (DHM). Auf Grund der Vielzahl der mit der Generalisierung von DHM verbundenen Probleme, werden zuerst die hier bedeutsamen zentralen Begriffe definiert. Auf dieser Basis wird eine Abgrenzung des in dieser Arbeit behandelten Problems vorgenommen. Allgemein gliedert sich die Generalisierung von DHM in die geometrische und die thematische Generalisierung. Auf die Aspekte der thematischen Generalisierung wird in dieser Arbeit nur so weit eingegangen, wie es zur Behandlung der geometrischen Generalisierung notwendig ist. Die Skala eines DHM ist für die geometrische Generalisierung der zentrale Begriff zur Beschreibung von DHM. Für das initiale DHM wird die Skala durch den Vorgang der Erfassungsgeneralisierung festgelegt. Um dies mathematisch zu beschreiben, werden im Rahmen der Signaltheorie entwickelte Techniken der Bildverarbeitung eingesetzt, die weitere, im Folgenden genutzte, Kenngrößen zur Beschreibung von DHM liefern. Insbesondere kann die Geländeoberfläche durch die Textur des als Mess-Signal interpretierten DHM skalenabhängig charakterisiert werden. Die geometrische Generalisierung eines DHM bewirkt einen Skalenübergang hin zu einer gröberen Skala bei der Beschreibung des DHM. Einen mathematischen Rahmen bildet hierfür die in der Bildverarbeitung etablierte Theorie der Skalenräume. Hiermit kann die Durchführung eines Skalenübergangs unter gewissen Bedingungen auf die Lösung eines instationären Diffusionsproblems zurückgeführt werden. Zur Modellierung der geometrischen Generalisierung stellen wir uns die Geländeoberfläche zerlegt in punkt-, linien- und flächenartige Geländestrukturen vor. Diese verschiedenartigen Geländestrukturen unterscheiden sich durch ihren Formcharakter. Zur quantitativen Beschreibung des Formcharakters werden auf Basis der signal theoretisch hergeleiteten Kenngrößen zwei Maße, die Prägnanz und die Anisotropie, definiert. Die geometrische Generalisierung wird dann im Rahmen der Theorie der Skalenräume als Diffusionsgleichung modelliert, die, über Parameter geregelt, den durch die Prägnanz und die Anisotropie beschriebenen Formcharakter skalenabhängig erhält. Zur Lösung der hier formulierten Diffusionsgleichung wird eine Implementation auf Basis der Methode der Finiten Elemente vorgestellt. Hiermit berechnete Anwendungsbeispiele veranschaulichen die Wirkungsweise der Diffusionsgleichung. Die in dieser Arbeit entwickelten Generalisierungswerkzeuge eröffnen einen neuen Zugang zur skalenabhängigen Untersuchung von DHM und sind ein erster Schritt zu einer umfassenden Methodensammlung zur Generalisierung von DHM. Eine künftige Implementation in ein GIS ist auf Grundlage der hier vorgestellten prototypischen Implementation möglich und wünschenswert.
[ BibTex ]
@PHDTHESIS{braunmandl02:Geometrische,
author ={Braunmandl,Andre},
title ={Geometrische Generalisierung von Digitalen Höhenmodellen},
school ={Institute of Photogrammetry, University of Bonn},
year ={2002},
}
Heuel, Stephan:
Statistical Reasoning in Uncertain Projective Geometry for Polyhedral Object Reconstruction
Dissertation, Bonn 2002
[ Zusammenfassung ]
Abstract:
We introduce a unified approach for geometric reasoning for 2D and 3D points, lines and planes and their transformations taking uncertain information into account. In the context of this work, geometric reasoning means to represent and manipulate the geometric entities in order to infer a description of a scene based on geometric constraints. We represent points, lines and planes in projective space, realized by homogeneous vectors. We establish a consistent connection to the underlying Euclidean space by labelling the homogeneous coordinates with a Euclidean interpretation. The uncertainty for homogeneous vectors is represented by covariance matrices, thus approximated by linearized models. We show that under well-defined conditions the covariance matrices are sufficient to represent and propagate uncertainty. The manipulation of entities includes: (i) join and intersection operations, (ii) establishing geometric relations such as incidence, identity, parallelity and orthogonality and (iii) optimally estimate new entities and transformations from a set of given entities. For an easy manipulation of geometric entities, the formalism of the Grassmann-Cayley algebra is used. It provides a simple way to formulate both geometric statements and operations with multilinear algebraic expressions. In order to apply these expressions to statistical operations, we translate them to standard matrix-vector operations. Using matrix calculus is advantageous as it allows a direct use of error propagation, hypothesis testing and linear estimation methods. We describe a number of explicit algorithms for uncertain geometric reasoning and evaluate them both theoretically and practically. As a test case, the proposed procedures are applied to the task of polyhedral object reconstruction. We demonstrate their usefulness by pushing the automation limits of semi-automated systems respectively by enhancing the performance characterization of automated systems.
Zusammenfassung:
In dieser Arbeit stellen wir einen einheitlichen Ansatz für statistisches geometrisches Schließen für 2D und 3D Punkte, Geraden und Ebenen und Transformationen unter Berücksichtigung ihrer Unsicherheit vor.Geometrisches Schließen bedeutet die Repräsentation und Manipulation der geometrischen Elemente zum Zwecke der geometrischen Beschreibung einer Szene. Wir repräsentieren Punkte, Geraden und Ebenen im projektiven Raum, wobei projektive Elemente durch homogene Vektoren ausgedrückt werden. Wir stellen einen konsistenten Zusammenhang zwischen den homogenen Koordinaten eines Vektors und seiner euklidischen Interpretation her. Die Unsicherheit von homogenen Vektoren wird durch Kovarianzmatrizen repräsentiert, wir nehmen also ein linearisiertes Modell der Unsicherheiten an. Wir zeigen, daß unter wohldefinierten Bedingungen Kovarianzmatrizen ausreichen, um Unsicherheit zu repräsentieren und Fehlerfortpflanzung zu betreiben. Die Manipulation von geometrischen Elementen beinhaltet im Einzelnen: (i) Verbindung und Schnitt von Elementen, (ii) die Erkennung geometrischer Relationen wie Inzidenz, Identität, Parallelität und Orthogonalität und (iii) ausgehend von einer Menge von Beobachtungen die optimale Schätzung von neuen geometrischen Elementen und Transformationen. Für diese Aufgaben bietet sich die Grassmann-Cayley Algebra an, die es auf einfache Weise erlaubt, geometrische Aussagen und Operationen durch multilineare algebraische Ausdrücke zu formulieren. Um diese Ausdrücke in statistische Aussagen zu übertragen, formulieren wir diese in einfache Matrix-Vektor Multiplikationen um. Dies erlaubt eine direkte Anwendung von Fehlerfortpflanzung und linearen Schätzmethoden auf die Manipulation von geometrischen Elementen. Wir stellen eine Sammlung von Algorithmen für unsicheres geometrisches Schließen vor, die sowohl theoretisch belegt als auch durch praktische Tests überprüft werden. Als Anwendungsbeispiel dient die Rekonstruktion von polyedrischen Objekten aus mehreren Bildern. Wir zeigen den Nutzen unserer Methoden auf zwei Weisen: bei der Automatisierung von benutzergeführten Systemen und bei der Vereinfachung und Qualitätsbeurteilung von automatisierten Systemen.
We introduce a unified approach for geometric reasoning for 2D and 3D points, lines and planes and their transformations taking uncertain information into account. In the context of this work, geometric reasoning means to represent and manipulate the geometric entities in order to infer a description of a scene based on geometric constraints. We represent points, lines and planes in projective space, realized by homogeneous vectors. We establish a consistent connection to the underlying Euclidean space by labelling the homogeneous coordinates with a Euclidean interpretation. The uncertainty for homogeneous vectors is represented by covariance matrices, thus approximated by linearized models. We show that under well-defined conditions the covariance matrices are sufficient to represent and propagate uncertainty. The manipulation of entities includes: (i) join and intersection operations, (ii) establishing geometric relations such as incidence, identity, parallelity and orthogonality and (iii) optimally estimate new entities and transformations from a set of given entities. For an easy manipulation of geometric entities, the formalism of the Grassmann-Cayley algebra is used. It provides a simple way to formulate both geometric statements and operations with multilinear algebraic expressions. In order to apply these expressions to statistical operations, we translate them to standard matrix-vector operations. Using matrix calculus is advantageous as it allows a direct use of error propagation, hypothesis testing and linear estimation methods. We describe a number of explicit algorithms for uncertain geometric reasoning and evaluate them both theoretically and practically. As a test case, the proposed procedures are applied to the task of polyhedral object reconstruction. We demonstrate their usefulness by pushing the automation limits of semi-automated systems respectively by enhancing the performance characterization of automated systems.
Zusammenfassung:
In dieser Arbeit stellen wir einen einheitlichen Ansatz für statistisches geometrisches Schließen für 2D und 3D Punkte, Geraden und Ebenen und Transformationen unter Berücksichtigung ihrer Unsicherheit vor.Geometrisches Schließen bedeutet die Repräsentation und Manipulation der geometrischen Elemente zum Zwecke der geometrischen Beschreibung einer Szene. Wir repräsentieren Punkte, Geraden und Ebenen im projektiven Raum, wobei projektive Elemente durch homogene Vektoren ausgedrückt werden. Wir stellen einen konsistenten Zusammenhang zwischen den homogenen Koordinaten eines Vektors und seiner euklidischen Interpretation her. Die Unsicherheit von homogenen Vektoren wird durch Kovarianzmatrizen repräsentiert, wir nehmen also ein linearisiertes Modell der Unsicherheiten an. Wir zeigen, daß unter wohldefinierten Bedingungen Kovarianzmatrizen ausreichen, um Unsicherheit zu repräsentieren und Fehlerfortpflanzung zu betreiben. Die Manipulation von geometrischen Elementen beinhaltet im Einzelnen: (i) Verbindung und Schnitt von Elementen, (ii) die Erkennung geometrischer Relationen wie Inzidenz, Identität, Parallelität und Orthogonalität und (iii) ausgehend von einer Menge von Beobachtungen die optimale Schätzung von neuen geometrischen Elementen und Transformationen. Für diese Aufgaben bietet sich die Grassmann-Cayley Algebra an, die es auf einfache Weise erlaubt, geometrische Aussagen und Operationen durch multilineare algebraische Ausdrücke zu formulieren. Um diese Ausdrücke in statistische Aussagen zu übertragen, formulieren wir diese in einfache Matrix-Vektor Multiplikationen um. Dies erlaubt eine direkte Anwendung von Fehlerfortpflanzung und linearen Schätzmethoden auf die Manipulation von geometrischen Elementen. Wir stellen eine Sammlung von Algorithmen für unsicheres geometrisches Schließen vor, die sowohl theoretisch belegt als auch durch praktische Tests überprüft werden. Als Anwendungsbeispiel dient die Rekonstruktion von polyedrischen Objekten aus mehreren Bildern. Wir zeigen den Nutzen unserer Methoden auf zwei Weisen: bei der Automatisierung von benutzergeführten Systemen und bei der Vereinfachung und Qualitätsbeurteilung von automatisierten Systemen.
[ BibTex ]
@PHDTHESIS{heuel02:Statistical,
author ={Heuel,Stephan},
title ={Statistical Reasoning in Uncertain Projective Geometry for Polyhedral Object Reconstruction},
school ={Institute of Photogrammetry, University of Bonn},
year ={2002},
note ={Springer Verlag,2004,Heidelberg}
}
Mitschke, Matthias:
Methods for Geometric Calibration of X-ray Imaging Systems
Dissertation, Bonn 2002
[ Zusammenfassung ]
Abstract:
Tomographic three-dimensional reconstruction of high-contrast objects - such as bones or contrast-agent enhanced blood vessels - from two-dimensional planar X-ray images has been the focus of research over the last decade. Our goal is to use mobile C-arm systems, commonly used as intra-operative imaging devices, for such an application. The challenging task is the recovery of the X-ray projection geometry. The state-of-the art approach for solving this problem is offline calibration of X-ray projection geometry using calibration phantoms. This assumes the motion of the C-arm to be reproducible in order to use the pre-determined projection geometry for the patient data. Due to the mechanical design of many available C-arms - especially mobile C-arms - the reproducibility of their motion cannot be assumed with high accuracy. There is then a need for an online approach for the recovery of X-ray projection geometry. We develop a general framework for the indirect calibration of X-ray projection geometry using a secondary sensor system. This framework is applied to two different sensor systems. The first sensor is a CCD camera attached to the housing of the X-ray source. In this case, an optical marker system is used in order to compute the motion of the C-arm. We call the combination of X-ray C-arm and video camera a camera-augmented mobile C-arm (CAMC). The second sensor system is a commercially available pose tracking system that determines the motion of the X-ray source. The second calibration method using this sensor is referred to as external sensor approach (EXTS). For both systems offline calibration procedures have been developed to relate the measured pose to the X-ray projection geometry. These calibration procedures are described in detail in this thesis. The two methods have been evaluated and compared both qualitatively and quantitatively to the gold standard of recovering the X-ray projection geometry using an X-ray calibration phantom (online). The results indicate that the EXTS method is more precise in estimating the 3D motion, but both qualitative and quantitative measures show the superiority of the CAMC method for the particular application of tomographic reconstruction. Note that for tomographic reconstruction the projection geometry has to be estimated, but not the exact 3D motion. The CAMC method performs better because the camera's projection geometry is similar to the one of the X-ray imaging system of the C-arm. Based on the results of the application relevant evaluation, we conclude that the best results can be achieved if the projection geometry of both imaging systems are as similar as possible. In the optimal case, the optical tracker camera would have the same projection geometry as the X-ray imaging system. This conclusion leads then to the proposal of a new imaging device that allows an easy co-registration of the two-dimensional X-ray images with the CCD camera images. The setup with additional hardware (a double mirror system) and the calibration procedure (mounting the camera and the mirror system to the C-arm) are presented. This new imaging system not only provides an optimal solution for on-line estimation of X-ray projection geometry, but also suggests a new class of intra-operative applications. In the final chapter of this thesis, a potential application for this new imaging device, the intuitive and precise placement of a surgical device (i.e. a biopsy needle), is described.
Zusammenfassung:
Tomographische dreidimensionale Rekonstruktion von Hochkontrastobjekten, wie Knochen oder mit Kontrastmittel angereicherte Blutgefäße, aus zweidimensionalen Röntgenbildern steht seit einigen Jahren im Mittelpunkt der Forschung. Unser Ziel ist es, für diese Anwendung mobile C-Bogensysteme zu benutzen. Diese sind als intraoperatives Bildgebungsverfahren weit verbreitet. Die große Herausforderung ist die Bestimmung der Projektionsgeometrie. Stand der Technik sind offline Kalibrierverfahren, bei denen spezielle Kalibrierphantome verwendet werden, wobei angenommen wird, daß die C-Bogenbewegung reproduzierbar ist. Aufgrund des mechanischen Designs vieler - vor allem mobiler - C-Bogensysteme ist diese Reproduzierbarkeit oft nicht sicher gestellt. Ein online Kalibrieransatz wird dann für die Bestimmung der Projektionsgeometrie benötigt. In dieser Arbeit haben wir ein Framework für die indirekte Kalibrierung mit Hilfe eines zusätzlichen Sensorsystems entwickelt und es für zwei verschiedene Sensorsysteme angewendet. Das erste Sensorsystem ist eine CCD-Kamera, die am Gehäuse der Röntgenröhre angebracht ist. Wir bezeichnen diesen Ansatz als camera-augmented mobile C-arm (CAMC). Das zweite Sensorsystem ist kommerzielles optisches Navigationssystem, das die Bewegung des C-Bogens mit Hilfe einer Markerplatte mit Infrarot-Leuchtdioden ermittelt. Diese Methode bezeichnen wir als Externer-Sensor-Ansatz (EXTS). Für beide Methoden wurden Kalibrierprozeduren entwickelt, um die gemessenen Daten mit der Projektionsgeometrie des Röntgenbildsystems in Verbindung zu bringen. Diese Prozeduren sind im Detail in dieser Arbeit beschrieben. Die beiden Anwendungen wurden ausgewertet und sowohl qualitativ als auch quantitativ mit dem Goldstandard (Bestimmung der Projektionsgeometrie online mit einem Kalibrierphantom) verglichen. Entsprechend der ausgewerteten Fehlermaße wird die Bewegung des C-Bogens mit der EXTS-Methode besser bestimmt, aber sowohl die qualitative Auswertung als auch ein anwendungsspezifisches quantitatives Fehlerrnaß zeigen die Überlegenheit der CAMC-Methode. Zu beachten ist, dass für die tomographische Rekonstruktion eine möglichst genaue Bestimmung der Projektionsgeometrie erforderlich ist, nicht aber eine genau bestimmte Bewegung zwischen den einzelnen C- Bogenpositionen. Der CAMC-Ansatz liefert die besseren Ergebnisse, da die Projektionsgeometrien der beiden Bildsysteme ähnlich sind. Aufgrund dieser Auswertung wurde festgestellt, dass der CAMC-Ansatz die besten Ergebnisse liefert, wenn die Projektionsgeometrie beider bildgebenden Systeme so ähnlich wie möglich ist; im optimalen Fall wären sie identisch. Diese Erkenntnis führte zum Vorschlag eines neuen bildgebenden Systems, das eine einfache Registrierung von optischen und Röntgenbildern erlaubt. Der Aufbau dieses Systems mit zusätzlicher Hardware (ein Doppelspiegelsystem) und die Kalibrierprozedur (Justieren der Spiegel und der Kamera) wurden vorgestellt. Dieses neue Gerät ermöglicht nicht nur das optimale Design für den CAMC-Ansatz, sondern ermöglicht neue intra-operative Applikationen. Im abschließenden Kapitel dieser Arbeit wird eine möglichen Anwendung, die intuitiven und präzisen Ausrichtung einer Biopsienadel, beschrieben.
Tomographic three-dimensional reconstruction of high-contrast objects - such as bones or contrast-agent enhanced blood vessels - from two-dimensional planar X-ray images has been the focus of research over the last decade. Our goal is to use mobile C-arm systems, commonly used as intra-operative imaging devices, for such an application. The challenging task is the recovery of the X-ray projection geometry. The state-of-the art approach for solving this problem is offline calibration of X-ray projection geometry using calibration phantoms. This assumes the motion of the C-arm to be reproducible in order to use the pre-determined projection geometry for the patient data. Due to the mechanical design of many available C-arms - especially mobile C-arms - the reproducibility of their motion cannot be assumed with high accuracy. There is then a need for an online approach for the recovery of X-ray projection geometry. We develop a general framework for the indirect calibration of X-ray projection geometry using a secondary sensor system. This framework is applied to two different sensor systems. The first sensor is a CCD camera attached to the housing of the X-ray source. In this case, an optical marker system is used in order to compute the motion of the C-arm. We call the combination of X-ray C-arm and video camera a camera-augmented mobile C-arm (CAMC). The second sensor system is a commercially available pose tracking system that determines the motion of the X-ray source. The second calibration method using this sensor is referred to as external sensor approach (EXTS). For both systems offline calibration procedures have been developed to relate the measured pose to the X-ray projection geometry. These calibration procedures are described in detail in this thesis. The two methods have been evaluated and compared both qualitatively and quantitatively to the gold standard of recovering the X-ray projection geometry using an X-ray calibration phantom (online). The results indicate that the EXTS method is more precise in estimating the 3D motion, but both qualitative and quantitative measures show the superiority of the CAMC method for the particular application of tomographic reconstruction. Note that for tomographic reconstruction the projection geometry has to be estimated, but not the exact 3D motion. The CAMC method performs better because the camera's projection geometry is similar to the one of the X-ray imaging system of the C-arm. Based on the results of the application relevant evaluation, we conclude that the best results can be achieved if the projection geometry of both imaging systems are as similar as possible. In the optimal case, the optical tracker camera would have the same projection geometry as the X-ray imaging system. This conclusion leads then to the proposal of a new imaging device that allows an easy co-registration of the two-dimensional X-ray images with the CCD camera images. The setup with additional hardware (a double mirror system) and the calibration procedure (mounting the camera and the mirror system to the C-arm) are presented. This new imaging system not only provides an optimal solution for on-line estimation of X-ray projection geometry, but also suggests a new class of intra-operative applications. In the final chapter of this thesis, a potential application for this new imaging device, the intuitive and precise placement of a surgical device (i.e. a biopsy needle), is described.
Zusammenfassung:
Tomographische dreidimensionale Rekonstruktion von Hochkontrastobjekten, wie Knochen oder mit Kontrastmittel angereicherte Blutgefäße, aus zweidimensionalen Röntgenbildern steht seit einigen Jahren im Mittelpunkt der Forschung. Unser Ziel ist es, für diese Anwendung mobile C-Bogensysteme zu benutzen. Diese sind als intraoperatives Bildgebungsverfahren weit verbreitet. Die große Herausforderung ist die Bestimmung der Projektionsgeometrie. Stand der Technik sind offline Kalibrierverfahren, bei denen spezielle Kalibrierphantome verwendet werden, wobei angenommen wird, daß die C-Bogenbewegung reproduzierbar ist. Aufgrund des mechanischen Designs vieler - vor allem mobiler - C-Bogensysteme ist diese Reproduzierbarkeit oft nicht sicher gestellt. Ein online Kalibrieransatz wird dann für die Bestimmung der Projektionsgeometrie benötigt. In dieser Arbeit haben wir ein Framework für die indirekte Kalibrierung mit Hilfe eines zusätzlichen Sensorsystems entwickelt und es für zwei verschiedene Sensorsysteme angewendet. Das erste Sensorsystem ist eine CCD-Kamera, die am Gehäuse der Röntgenröhre angebracht ist. Wir bezeichnen diesen Ansatz als camera-augmented mobile C-arm (CAMC). Das zweite Sensorsystem ist kommerzielles optisches Navigationssystem, das die Bewegung des C-Bogens mit Hilfe einer Markerplatte mit Infrarot-Leuchtdioden ermittelt. Diese Methode bezeichnen wir als Externer-Sensor-Ansatz (EXTS). Für beide Methoden wurden Kalibrierprozeduren entwickelt, um die gemessenen Daten mit der Projektionsgeometrie des Röntgenbildsystems in Verbindung zu bringen. Diese Prozeduren sind im Detail in dieser Arbeit beschrieben. Die beiden Anwendungen wurden ausgewertet und sowohl qualitativ als auch quantitativ mit dem Goldstandard (Bestimmung der Projektionsgeometrie online mit einem Kalibrierphantom) verglichen. Entsprechend der ausgewerteten Fehlermaße wird die Bewegung des C-Bogens mit der EXTS-Methode besser bestimmt, aber sowohl die qualitative Auswertung als auch ein anwendungsspezifisches quantitatives Fehlerrnaß zeigen die Überlegenheit der CAMC-Methode. Zu beachten ist, dass für die tomographische Rekonstruktion eine möglichst genaue Bestimmung der Projektionsgeometrie erforderlich ist, nicht aber eine genau bestimmte Bewegung zwischen den einzelnen C- Bogenpositionen. Der CAMC-Ansatz liefert die besseren Ergebnisse, da die Projektionsgeometrien der beiden Bildsysteme ähnlich sind. Aufgrund dieser Auswertung wurde festgestellt, dass der CAMC-Ansatz die besten Ergebnisse liefert, wenn die Projektionsgeometrie beider bildgebenden Systeme so ähnlich wie möglich ist; im optimalen Fall wären sie identisch. Diese Erkenntnis führte zum Vorschlag eines neuen bildgebenden Systems, das eine einfache Registrierung von optischen und Röntgenbildern erlaubt. Der Aufbau dieses Systems mit zusätzlicher Hardware (ein Doppelspiegelsystem) und die Kalibrierprozedur (Justieren der Spiegel und der Kamera) wurden vorgestellt. Dieses neue Gerät ermöglicht nicht nur das optimale Design für den CAMC-Ansatz, sondern ermöglicht neue intra-operative Applikationen. Im abschließenden Kapitel dieser Arbeit wird eine möglichen Anwendung, die intuitiven und präzisen Ausrichtung einer Biopsienadel, beschrieben.
[ BibTex ]
@PHDTHESIS{mitschke02:Methods,
author ={Mitschke,Matthias},
title ={Methods for Geometric Calibration of X-ray Imaging Systems},
school ={Institute of Photogrammetry, University of Bonn},
year ={2002},
}
2001
Ragia, Lemonia:
Ein Modell für die Qualität räumlicher Daten zur Bewertung der photogrammetrischen Gebäudeerfassung
Dissertation, Bonn 2001
[ Zusammenfassung ]
Abstract:
Geoinformation Systems have gained in importance over years. These systems deal with spatial relationships and require data of high quality. This work contributes to the automatic quality control of available data on spatial objects. The data may be provided from different sources. The spatial objects can be observed in planimetry and the outlines are represented by polygons. The uncertainty of their boundaries is taken into consideration. The objects are composed of many parts. A quality model is defined to access the data quality. It is based on quality descriptions parameters. Input to the evaluation of the parameters of the quality model are different descriptions of a scene. One description is used as a reference and the other for a quality control. The descriptions are analysed geometrically and topologically. The topological analysis is based on the neighbourhood structure and the geometric analysis of the footprint structure. The existence of an object is asserted by the quality parameter "success". The specifications of the data are also modelled in the quality model. An identification and detection of topological and geometrical inconsistencies is provided. The metaquality is also modelled. A representation of complex objects with graphs has several advantages. The object parts neighbourhood graph represents the internal structure the descriptions. The object part correspondence graph represents the relationships of the object parts and the object correspondence graph represents the relationships of the objects. A zone skeleton and a distance function is used for describing the geometrical differences. The proposed process is verified on real examples. It was applied successfully in 10 test areas of 10 cities with different building characteristics. A quality protocol is generated automatically. The traffic light principle is used for the evaluation of the quality parameter groups, the quality parameters and the overall performances: Rather than binary decisions three categories are defined: accepted (green), rejected (red) and subject for review (yellow). Thresholds and weights are produced in order to access the quality differences.
Zusammenfassung:
Geoinformationssysteme haben in den letzten Jahren zunehmende Bedeutung erlangt. Diese Systeme bearbeiten räumliche Zusammenhänge und erfordern gut kontrollierte Daten. Diese Arbeit liefert einen Beitrag zur automatischen Qualitätskontrolle von räumlichen Objekten. Die Objekte können mit beliebigen Verfahren erfaßt worden sein. Die Objekte werden zweidimensional betrachtet, wobei der Umriß durch eine Polygonlinie dargestellt wird. Die Unsicherheit des Randes der Objekte wird berücksichtigt. Die Objekte können aus mehreren zusammenhängenden Objektteilen bestehen. Um die Qualität beurteilen zu können, wird ein Qualitätsmodell definiert. Es basiert auf der Modellierung von Qualitätsparametern. Eingangsdaten in das Verfahren zur Berechnung der Parameter des Qualitätsmodells sind zwei unterschiedliche Beschreibungen einer Szene. Eine Beschreibung dient als Referenz und die andere ist die zu kontrollierende. Die Beschreibungen werden topologisch und geometrisch analysiert. Die Topologie basiert auf der Nachbarschaftsstruktur, und die Geometrie auf der Umrißstruktur und Lage. Die Existenz der Objekte wird unter der Qualitätsparametergruppe "Erfolg" analysiert. In dem Qualitätsmodell wird die Spezifikation der Daten mitmodelliert. Eine automatische Identifikation und Detektion der topologischen, geometrischen Inkonsistenzen wird erzeugt. Ebenfalls wird die Metaqualität modelliert. Für die Analyse hat sich die Repräsentation der komplexen Objekte durch Graphen als vorteilhaft erwiesen. Der Objektteil-Nachbarschaftsgraph stellt die innere Struktur beider Beschreibungen, der Objektkorrespondenzgraph die Zuordnung der Objekte und der Objektteil-Korrespondenzgraph die Zuordnung der Objektteile dar. Ein Zonenskelett und eine Distanzfunktion werden für die Charakterisierung der geometrischen Unterschiede benutzt. Das Verfahren wurde an realen Beispielen überprüft. Es wurde auf insgesamt 10 Testgebiete aus 10 Städten mit stark unterschiedlicher Bebauung erfolgreich angewandt. Ein Qualitätsprotokoll wird automatisch erzeugt. Für die Bewertung der Qualitätsparametergruppen, der Qualitätsparameter, sowie der Gesamtbeurteilung wurde das Ampel-Prinzip benutzt: Hier werden statt binären Entscheidungen die drei Kategorien akzeptiert (grün), abzulehnend (rot) und zu untersuchend (gelb) benutzt. Es werden Schwellwerte und Gewichte erarbeitet, um eine bessere Beurteilung der Qualitätsunterschiede zu ermöglichen.
Geoinformation Systems have gained in importance over years. These systems deal with spatial relationships and require data of high quality. This work contributes to the automatic quality control of available data on spatial objects. The data may be provided from different sources. The spatial objects can be observed in planimetry and the outlines are represented by polygons. The uncertainty of their boundaries is taken into consideration. The objects are composed of many parts. A quality model is defined to access the data quality. It is based on quality descriptions parameters. Input to the evaluation of the parameters of the quality model are different descriptions of a scene. One description is used as a reference and the other for a quality control. The descriptions are analysed geometrically and topologically. The topological analysis is based on the neighbourhood structure and the geometric analysis of the footprint structure. The existence of an object is asserted by the quality parameter "success". The specifications of the data are also modelled in the quality model. An identification and detection of topological and geometrical inconsistencies is provided. The metaquality is also modelled. A representation of complex objects with graphs has several advantages. The object parts neighbourhood graph represents the internal structure the descriptions. The object part correspondence graph represents the relationships of the object parts and the object correspondence graph represents the relationships of the objects. A zone skeleton and a distance function is used for describing the geometrical differences. The proposed process is verified on real examples. It was applied successfully in 10 test areas of 10 cities with different building characteristics. A quality protocol is generated automatically. The traffic light principle is used for the evaluation of the quality parameter groups, the quality parameters and the overall performances: Rather than binary decisions three categories are defined: accepted (green), rejected (red) and subject for review (yellow). Thresholds and weights are produced in order to access the quality differences.
Zusammenfassung:
Geoinformationssysteme haben in den letzten Jahren zunehmende Bedeutung erlangt. Diese Systeme bearbeiten räumliche Zusammenhänge und erfordern gut kontrollierte Daten. Diese Arbeit liefert einen Beitrag zur automatischen Qualitätskontrolle von räumlichen Objekten. Die Objekte können mit beliebigen Verfahren erfaßt worden sein. Die Objekte werden zweidimensional betrachtet, wobei der Umriß durch eine Polygonlinie dargestellt wird. Die Unsicherheit des Randes der Objekte wird berücksichtigt. Die Objekte können aus mehreren zusammenhängenden Objektteilen bestehen. Um die Qualität beurteilen zu können, wird ein Qualitätsmodell definiert. Es basiert auf der Modellierung von Qualitätsparametern. Eingangsdaten in das Verfahren zur Berechnung der Parameter des Qualitätsmodells sind zwei unterschiedliche Beschreibungen einer Szene. Eine Beschreibung dient als Referenz und die andere ist die zu kontrollierende. Die Beschreibungen werden topologisch und geometrisch analysiert. Die Topologie basiert auf der Nachbarschaftsstruktur, und die Geometrie auf der Umrißstruktur und Lage. Die Existenz der Objekte wird unter der Qualitätsparametergruppe "Erfolg" analysiert. In dem Qualitätsmodell wird die Spezifikation der Daten mitmodelliert. Eine automatische Identifikation und Detektion der topologischen, geometrischen Inkonsistenzen wird erzeugt. Ebenfalls wird die Metaqualität modelliert. Für die Analyse hat sich die Repräsentation der komplexen Objekte durch Graphen als vorteilhaft erwiesen. Der Objektteil-Nachbarschaftsgraph stellt die innere Struktur beider Beschreibungen, der Objektkorrespondenzgraph die Zuordnung der Objekte und der Objektteil-Korrespondenzgraph die Zuordnung der Objektteile dar. Ein Zonenskelett und eine Distanzfunktion werden für die Charakterisierung der geometrischen Unterschiede benutzt. Das Verfahren wurde an realen Beispielen überprüft. Es wurde auf insgesamt 10 Testgebiete aus 10 Städten mit stark unterschiedlicher Bebauung erfolgreich angewandt. Ein Qualitätsprotokoll wird automatisch erzeugt. Für die Bewertung der Qualitätsparametergruppen, der Qualitätsparameter, sowie der Gesamtbeurteilung wurde das Ampel-Prinzip benutzt: Hier werden statt binären Entscheidungen die drei Kategorien akzeptiert (grün), abzulehnend (rot) und zu untersuchend (gelb) benutzt. Es werden Schwellwerte und Gewichte erarbeitet, um eine bessere Beurteilung der Qualitätsunterschiede zu ermöglichen.
[ BibTex ]
@PHDTHESIS{ragia01:Modell,
author ={Ragia,Lemonia},
title ={Ein Modell für die Qualität räumlicher Daten zur Bewertung der photogrammetrischen Gebäudeerfassung},
school ={Institute of Photogrammetry, University of Bonn},
year ={2001},
note ={GMD Series No.14},
}
2000
Brunn, Ansgar:
Semantik-basierte Gebäudeerfassung mit verkoppelten Markoff-Zufallsfeldern
Dissertation, Bonn 2000
download
2.5 M
[ Zusammenfassung ]
Abstract:
The thesis develops a new automatic algorithm for the acquisition of buildings from digital surface models. In contrast to most of the already published techniques, the new algorithm closely combines the reconstruction with the interpretation. We choose a building representation based on its topology, which enables a combined evalation of different sensor types. We use CW-complexes for the topological building representation. The elements of the CW-complexes, the cells, are classified locally. We take neighborhood relations into account by conditional probabilities to improve the classification result. Therefore we define a neighborhood system on the CW-complex and build a Markov-Random-Field. We automatically learn building models from representative examples. The buildings are reconstructed locally using the classification result. By calculation of various building reconstructions using distinct building modells, a classification of the type of the complete building is done. Establishing a reduced building model, we dicuss synthetic and real examples to show the capabilities of the new algorithm. The importance of the approach is shown by the examples.
Zusammenfassung:
In dieser Arbeit wird ein neues automatisches Verfahren zur Erfassung von Gebäuden aus Digitalen Oberflächenmodellen entwickelt. Im Gegensatz zu den meisten bisher in der Literatur beschriebenen Verfahren wird in diesem Ansatz die Rekonstruktion der Gebäude eng mit der Interpretation verknüpft. Es wird ein topologischer Ansatz zur Gebäuderekonstruktion gewählt, der die integrierte Auswertung von unterschiedlichen Datenquellen ermöglicht. Die Topologie eines Objektes lässt sich durch einen CW-Komplex repräsentieren. In dieser Arbeit werden CW-Komplexe zur Repräsentation der Topologie der Gebäudeoberfläche genutzt. Die Bestandteile des CW-Komplexes, die Zellen (Punkte, Kanten und Flächen), werden lokal klassifiziert. Zur Verbesserung der lokalen Klassifikationen werden Nachbarschaftsbedingungen mittels bedingter Wahrscheinlichkeiten berücksichtigt. Dazu wird eine Nachbarschaftsordnung auf dem CW-Komplex definiert und ein verkoppeltes Markoff-Zufallsfeld formuliert. Wir lernen die Gebäudemodelle automatisch aus repräsentativen Interpretationen. Die Gebäude werden lokal -aufgrund der Klassifikation der Zellen - mittels robuster Schätzverfahren rekonstruiert. Die Gebäudetypen der rekonstruierten Gebäude werden durch das Markoff-Zufallsfeld klassifiziert. Zur Veranschaulichung des Potentials und Beurteilung des Verfahrens werden synthetische und reale Beispiele in einem verallgemeinerten geometrischem Modellraum angeführt und diskutiert.
The thesis develops a new automatic algorithm for the acquisition of buildings from digital surface models. In contrast to most of the already published techniques, the new algorithm closely combines the reconstruction with the interpretation. We choose a building representation based on its topology, which enables a combined evalation of different sensor types. We use CW-complexes for the topological building representation. The elements of the CW-complexes, the cells, are classified locally. We take neighborhood relations into account by conditional probabilities to improve the classification result. Therefore we define a neighborhood system on the CW-complex and build a Markov-Random-Field. We automatically learn building models from representative examples. The buildings are reconstructed locally using the classification result. By calculation of various building reconstructions using distinct building modells, a classification of the type of the complete building is done. Establishing a reduced building model, we dicuss synthetic and real examples to show the capabilities of the new algorithm. The importance of the approach is shown by the examples.
Zusammenfassung:
In dieser Arbeit wird ein neues automatisches Verfahren zur Erfassung von Gebäuden aus Digitalen Oberflächenmodellen entwickelt. Im Gegensatz zu den meisten bisher in der Literatur beschriebenen Verfahren wird in diesem Ansatz die Rekonstruktion der Gebäude eng mit der Interpretation verknüpft. Es wird ein topologischer Ansatz zur Gebäuderekonstruktion gewählt, der die integrierte Auswertung von unterschiedlichen Datenquellen ermöglicht. Die Topologie eines Objektes lässt sich durch einen CW-Komplex repräsentieren. In dieser Arbeit werden CW-Komplexe zur Repräsentation der Topologie der Gebäudeoberfläche genutzt. Die Bestandteile des CW-Komplexes, die Zellen (Punkte, Kanten und Flächen), werden lokal klassifiziert. Zur Verbesserung der lokalen Klassifikationen werden Nachbarschaftsbedingungen mittels bedingter Wahrscheinlichkeiten berücksichtigt. Dazu wird eine Nachbarschaftsordnung auf dem CW-Komplex definiert und ein verkoppeltes Markoff-Zufallsfeld formuliert. Wir lernen die Gebäudemodelle automatisch aus repräsentativen Interpretationen. Die Gebäude werden lokal -aufgrund der Klassifikation der Zellen - mittels robuster Schätzverfahren rekonstruiert. Die Gebäudetypen der rekonstruierten Gebäude werden durch das Markoff-Zufallsfeld klassifiziert. Zur Veranschaulichung des Potentials und Beurteilung des Verfahrens werden synthetische und reale Beispiele in einem verallgemeinerten geometrischem Modellraum angeführt und diskutiert.
[ BibTex ]
@PHDTHESIS{brunn00:Semantik,
author ={Brunn,Ansgar},
title ={Semantik-basierte Gebäudeerfassung mit verkoppelten Markoff-Zufallsfeldern},
school ={Institute of Photogrammetry,University of Bonn}
year ={2000},
note ={ online :(http://hss.ulb.uni-bonn.de:90/ulb_bonn/diss_online/landw_fak/2000/brunn_ansgar/brunn.htm)},
}
Hau, Thomas:
Generische Strukturen zur Modellierung der Parameterschätzung
Dissertation, Bonn 2000
[ Zusammenfassung ]
Abstract:
In the field of geodesy and photogrammetry the methods of parameter estimation and adjustment theory have reached a high standard. Because of automated registration methods for measuring tasks and the resulting high redundancy in the equation systems that determine unknown parameters these methods could not be neglected in measuring techniques. The adjustment theory is based on Gauß, Helmert and Markoff and has permanently been developed further in geodesy and photogrammetry. In the relevant literature a multitude of publications on this subject can be found. The structures of the papers are almost as manifold as the number of existing publications. In most cases the widely established method of least squares is used for solving adjustment tasks. It is independent from the distribution of acquired observations. The algorithms for solving the built normal equation can be used again and again, the building of normal equations, however, has to be performed always new. Of course one can find some proposals in literature to generalise the adjustment theory and the methods of parameter estimation, but most of these only aim at the generalisation of calculation prescriptions. Generic and generally accepted structures for parameters and observations to reduce the recurrent requirements for building the normal equation have not been developed yet. Therefore the central objective of this thesis is a generally accepted systematic structure for all necessary models for parameter estimation on the one hand and the derivation of structures for the models of the parameters and the observations and a mathematical model to automate the building of the normal equation on the other hand. For the parameter and observation model generic structures are especially developed. These provide a representation method for any complex facts of estimations. Structures for the models and their connection are defined so that only the deterministic model for an estimation task has to be implemented. The remaining estimation tasks are performed automatically. The fundamental models have been realised in a generic model for parameter estimation in the programming language C++. The efficiency, the flexibility and the handling of the implemented module for parameter estimation are demonstrated through some examples from the field of surface reconstruction with the methods of fringe projection. As evaluation examples a new procedure for the orientation and calibration of a fringe projector with the help of minimal geometric object knowledge, the definition of an adjusted plane, and the determination of sphere parameters are chosen. The two adjustments of the geometric bodies are to prove the quality of the procedure of orientation and calibration of the sensor. In each example the structures of the observations and the parameters, and also their connection to each other in the mathematical model, which is the basis for the estimation, are described. The structures of the fundamental models make a fully automatic parameter estimation possible. Only the deterministic model has to be implemented. This way, the estimation module also gives such users who are not familiar with the theory of parameter estimation the opportunity to solve their tasks. It offers new perspectives for disciplines other than geodesy and photogrammetry.
Zusammenfassung:
Die Ausgleichungsrechnung und Parameterschätzung ist aus dem Bereich der Geodäsie und Photogrammetrie aufgrund automatisierter Verfahren der Datenerfassung für vermessungstechnische Aufgabenstellungen und der daraus resultierenden oft hochredundanten Gleichungssysteme zur Bestimmung unbekannter Parameter nicht mehr wegzudenken. Die Anfänge der Ausgleichungsrechnung gehen auf Gauß, Helmert und Markoff zurück und haben sich im Bereich der Geodäsie und Photogrammetrie bis heute weit entwickelt. So sind in der Literatur eine Vielzahl an Veröffentlichungen zu diesem Themengebiet zu finden. Die Strukturierungen der Arbeiten sind nahezu so vielfältig wie die Zahl der Publikationen. Zur Lösung ausgleichungstechnischer Fragestellungen wird meistens die sicherlich am weitesten etablierte Methode der kleinsten Quadrate eingesetzt, die unabhängig von der Verteilung der akquirierten Beobachtungen zur Ausgleichung verwendet werden kann. Die Algorithmen zur Lösung des aufgestellten Normalgleichungssystems können immer wieder genutzt werden, die Arbeiten zur Aufstellung des Normalgleichungssystems sind jedoch wieder neu zu leisten. Zwar findet man in der Literatur eine Reihe von Arbeiten zur Verallgemeinerung der Ausgleichungsrechnung und Parameterschätzung, diese zielen aber in der Regel nur auf die Verallgemeinerung der Berechnungsvorschriften ab. Eine Entwicklung generischer, allgemeingültiger Strukturen für die Parameter und die für Beobachtungen, um den immer wiederkehrenden Aufwand der Aufstellung des Normalgleichungssystems zu reduzieren, ist bislang nicht erfolgt. Zentrales Anliegen der Arbeit ist daher zum einen die allgemeingültige, systematische Strukturierung aller zur Parameterschätzung erforderlichen Modelle und zum anderen die Ableitung von Strukturen für die Modelle der Parameter, der Beobachtungen und des mathematischen Modells, um den immer wiederkehrenden Aufwand zur Aufstellung des Normalgleichungssystems zu automatisieren. Insbesondere für das Parameter- und das Beobachtungsmodell werden generische Strukturen entwickelt, die eine Repräsentation beliebig komplexer Sachverhalte zur Schätzung ermöglichen. Es werden Strukturen für die Modelle und deren Verknüpfungen abgeleitet, so daß für die Lösung einer neuen Schätzaufgabe nur noch der deterministische Ansatz zu implementieren ist. Die übrigen Arbeiten zur Schätzung erfolgen automatisch. Realisiert wurden die fundamentalen Modelle in einem generischen Modul zur Parameterschätzung in der Programmiersprache C++. Die Leistungsfähigkeit, die Flexibilität und die Handhabung des implementierten Moduls zur Parameterschätzung werden anhand von Beispielen aus dem Bereich der Oberflächenerfassung mittels des Verfahrens der Streifenprojektion dokumentiert. Als Evaluierungsbeispiele werden ein neues Verfahren zur Orientierung und Kalibrierung eines Streifenprojektionssensors mit minimaler geometrischer Objektinformation, sowie die Bestimmung einer Ausgleichsebene und einer Ausgleichskugel zum Nachweis der erreichbaren Güte des Verfahrens zur Orientierung und Kalibrierung des Sensors gewählt. Es werden jeweils die Strukturen der Beobachtungen und der Parameter und auch ihre Verknüpfungen miteinander im mathematischen Modell, das als Basis für die Schätzung gilt, beschrieben. Diese Strukturen der fundamentalen Modelle lassen eine vollautomatische Parameterschätzung zu. Lediglich das deterministische Modell ist zu implementieren. Das Schätzmodul bietet somit auch den nicht auf dem Gebiet der Ausgleichungsrechnung und Parameterschätzung spezialisierten Nutzern die Möglichkeit, Aufgaben mit Hilfe der Parameterschätzung zu lösen und öffnet so neue Perspektiven für die der Geodäsie und der Photogrammetrie fachfremden Disziplinen.
In the field of geodesy and photogrammetry the methods of parameter estimation and adjustment theory have reached a high standard. Because of automated registration methods for measuring tasks and the resulting high redundancy in the equation systems that determine unknown parameters these methods could not be neglected in measuring techniques. The adjustment theory is based on Gauß, Helmert and Markoff and has permanently been developed further in geodesy and photogrammetry. In the relevant literature a multitude of publications on this subject can be found. The structures of the papers are almost as manifold as the number of existing publications. In most cases the widely established method of least squares is used for solving adjustment tasks. It is independent from the distribution of acquired observations. The algorithms for solving the built normal equation can be used again and again, the building of normal equations, however, has to be performed always new. Of course one can find some proposals in literature to generalise the adjustment theory and the methods of parameter estimation, but most of these only aim at the generalisation of calculation prescriptions. Generic and generally accepted structures for parameters and observations to reduce the recurrent requirements for building the normal equation have not been developed yet. Therefore the central objective of this thesis is a generally accepted systematic structure for all necessary models for parameter estimation on the one hand and the derivation of structures for the models of the parameters and the observations and a mathematical model to automate the building of the normal equation on the other hand. For the parameter and observation model generic structures are especially developed. These provide a representation method for any complex facts of estimations. Structures for the models and their connection are defined so that only the deterministic model for an estimation task has to be implemented. The remaining estimation tasks are performed automatically. The fundamental models have been realised in a generic model for parameter estimation in the programming language C++. The efficiency, the flexibility and the handling of the implemented module for parameter estimation are demonstrated through some examples from the field of surface reconstruction with the methods of fringe projection. As evaluation examples a new procedure for the orientation and calibration of a fringe projector with the help of minimal geometric object knowledge, the definition of an adjusted plane, and the determination of sphere parameters are chosen. The two adjustments of the geometric bodies are to prove the quality of the procedure of orientation and calibration of the sensor. In each example the structures of the observations and the parameters, and also their connection to each other in the mathematical model, which is the basis for the estimation, are described. The structures of the fundamental models make a fully automatic parameter estimation possible. Only the deterministic model has to be implemented. This way, the estimation module also gives such users who are not familiar with the theory of parameter estimation the opportunity to solve their tasks. It offers new perspectives for disciplines other than geodesy and photogrammetry.
Zusammenfassung:
Die Ausgleichungsrechnung und Parameterschätzung ist aus dem Bereich der Geodäsie und Photogrammetrie aufgrund automatisierter Verfahren der Datenerfassung für vermessungstechnische Aufgabenstellungen und der daraus resultierenden oft hochredundanten Gleichungssysteme zur Bestimmung unbekannter Parameter nicht mehr wegzudenken. Die Anfänge der Ausgleichungsrechnung gehen auf Gauß, Helmert und Markoff zurück und haben sich im Bereich der Geodäsie und Photogrammetrie bis heute weit entwickelt. So sind in der Literatur eine Vielzahl an Veröffentlichungen zu diesem Themengebiet zu finden. Die Strukturierungen der Arbeiten sind nahezu so vielfältig wie die Zahl der Publikationen. Zur Lösung ausgleichungstechnischer Fragestellungen wird meistens die sicherlich am weitesten etablierte Methode der kleinsten Quadrate eingesetzt, die unabhängig von der Verteilung der akquirierten Beobachtungen zur Ausgleichung verwendet werden kann. Die Algorithmen zur Lösung des aufgestellten Normalgleichungssystems können immer wieder genutzt werden, die Arbeiten zur Aufstellung des Normalgleichungssystems sind jedoch wieder neu zu leisten. Zwar findet man in der Literatur eine Reihe von Arbeiten zur Verallgemeinerung der Ausgleichungsrechnung und Parameterschätzung, diese zielen aber in der Regel nur auf die Verallgemeinerung der Berechnungsvorschriften ab. Eine Entwicklung generischer, allgemeingültiger Strukturen für die Parameter und die für Beobachtungen, um den immer wiederkehrenden Aufwand der Aufstellung des Normalgleichungssystems zu reduzieren, ist bislang nicht erfolgt. Zentrales Anliegen der Arbeit ist daher zum einen die allgemeingültige, systematische Strukturierung aller zur Parameterschätzung erforderlichen Modelle und zum anderen die Ableitung von Strukturen für die Modelle der Parameter, der Beobachtungen und des mathematischen Modells, um den immer wiederkehrenden Aufwand zur Aufstellung des Normalgleichungssystems zu automatisieren. Insbesondere für das Parameter- und das Beobachtungsmodell werden generische Strukturen entwickelt, die eine Repräsentation beliebig komplexer Sachverhalte zur Schätzung ermöglichen. Es werden Strukturen für die Modelle und deren Verknüpfungen abgeleitet, so daß für die Lösung einer neuen Schätzaufgabe nur noch der deterministische Ansatz zu implementieren ist. Die übrigen Arbeiten zur Schätzung erfolgen automatisch. Realisiert wurden die fundamentalen Modelle in einem generischen Modul zur Parameterschätzung in der Programmiersprache C++. Die Leistungsfähigkeit, die Flexibilität und die Handhabung des implementierten Moduls zur Parameterschätzung werden anhand von Beispielen aus dem Bereich der Oberflächenerfassung mittels des Verfahrens der Streifenprojektion dokumentiert. Als Evaluierungsbeispiele werden ein neues Verfahren zur Orientierung und Kalibrierung eines Streifenprojektionssensors mit minimaler geometrischer Objektinformation, sowie die Bestimmung einer Ausgleichsebene und einer Ausgleichskugel zum Nachweis der erreichbaren Güte des Verfahrens zur Orientierung und Kalibrierung des Sensors gewählt. Es werden jeweils die Strukturen der Beobachtungen und der Parameter und auch ihre Verknüpfungen miteinander im mathematischen Modell, das als Basis für die Schätzung gilt, beschrieben. Diese Strukturen der fundamentalen Modelle lassen eine vollautomatische Parameterschätzung zu. Lediglich das deterministische Modell ist zu implementieren. Das Schätzmodul bietet somit auch den nicht auf dem Gebiet der Ausgleichungsrechnung und Parameterschätzung spezialisierten Nutzern die Möglichkeit, Aufgaben mit Hilfe der Parameterschätzung zu lösen und öffnet so neue Perspektiven für die der Geodäsie und der Photogrammetrie fachfremden Disziplinen.
[ BibTex ]
@PHDTHESIS{hau00:Generische,
author ={Hau,Thomas},
title ={Generische Strukturen zur Modellierung der Parameterschätzung},
school ={Institute of Photogrammetry, University of Bonn},
year ={2000},
}
1999
Abraham, Steffen:
Kamera Kalibrierung und metrische Auswertung monokularer Bildfolgen
Dissertation, Bonn 1999
[ Zusammenfassung ]
Abstract:
In most cases camera calibration is required to obtain metric 3D-data such as point coordinates or distances from monocular image sequences for navigation. Calibration can be performed in a preliminary step or by selfcalibration. The thesis presents theoretical and experimental investigations into selfcalibration and metric reconstruction from monocular image sequences. In contrast to other publications, not only selfcalibration but also the relation between calibration and structure estimation is investigated. The thesis shows that tools and procedures from the theory of parameter estimation with linearised models enable a fast and schematic analysis. A car navigation image sequence exemplifies the analysis. A theoretical preliminary analysis is performed with synthetic data. The theoretical precision of the calibration and the 3D-structure, the reliability due to gross errors, e.g. matching failures, and the effect of calibration errors onto the 3D-data is analysed by linear error propagation for the given geomet-ric setup and assumed measurement precision. The results from the theoretical investigations are compared with the results of experiments with selfcalibration from the real image sequence. Priori information about the calibration parameters is modelled as statistically uncertain and integrated as additional observations into the estimation process. Critical motion that causes ambiguities in selfcalibration and structure estimation can be handled autonomously. The thesis shows, how it is possible, after adjustment to determine, whether the calibration parameters are estimable from the image data, whether the apriori information is erroneous and how corrections can be made. The thesis systemises feature based methods of selfcalibration derived from publications in the field of computer vision and photogrammetry. A two step procedure was designed from the systematics to process the sequence from car navigation. The calibration, the structure and the camera motion are estimated simultaneously from longer sequence parts by bundle adjustment to achieve optimal accu-racy. Distance measurements from the wheel sensor are included in the adjustment. Point correspon-dences and approximate values to start the bundle adjustment are derived by sequential processing of image triplets. An innovative aspect compared to existing algorithms is the metric parameterisation of the trifocal tensor. A static scene and a constant calibration over time is assumed. In the experiments a real sequence of 800 images (~1.5km driving distance) was processed in order to estimate the motion of the camera and the 3D-structure. The obtained data were of high quality. Despite critical motion, that prevents selfcalibration, the a priori calibration enables a stable geometric reconstruction. For the given sequence the real motion is always close to critical motion. This places theoretical limitations on the precision of the estimated calibration parameters. However only errors in individual calibration parameters have a significant effect onto the estimated 3D-structure. The thesis demonstrates which calibration parameters are critical and shows their influence on the estimation of the 3D-structure. The concept of a numerical and statistical analysis with linear models is not limited to selfcalibration from monocular image sequences. It can also be applied to further geometric measurement problems in photogrammetry and computer vision.
Zusammenfassung:
Um aus monokularen Bildfolgen für die Navigation metrische Größen im Raum, wie Strecken oder Distanzen rekonstruieren zu können, muß man im allgemeinen die Kalibrierung der verwendeten Kamera kennen oder in einer Selbstkalibrierung bestimmen. Die Arbeit stellt theoretische und experimentelle Untersuchungen zur Selbstkalibrierung und metrischen Rekonstruktion aus monokularen Bildfolgen vor. Im Gegensatz zu vielen Arbeiten wird dabei nicht nur die Bestimmung der Kalibrierung betrachtet, sondern der Zusammenhang von Kalibrierung und metrischer Rekonstruktion untersucht. Die Arbeit demonstriert, wie über Methoden und Verfahren aus der Theorie der Parameterschätzung in linearen Modellen eine relativ schnelle und schematische Analyse möglich ist. Anwendungsbeispiel ist eine Bildfolge einer Fahrspurbeobachtung aus dem Kraftfahrzeug. In einer theoretischen Voruntersuchung wird über Linearisierung und Fehlerfortpflanzung an synthetischen Daten untersucht, welche Präzision und Zuverlässigkeit für 3D-Rekonstruktion und Kalibrierung unter gegebenen geometrischen Randbedingungen und Meßgenauigkeiten theoretisch erreichbar sind, sowie welche Auswirkungen Fehler und Unsicherheiten in der Kalibrierung auf die metrische Rekonstruktion haben. Die Zahlenwerte werden anschließend mit Ergebnissen der Auswertung einer realen Bildfolge verglichen. Zum autonomen Umgang mit kritischen Bewegungen, die eine Selbstkalibrierung und metrische Rekonstruktion aus der Bildfolge verhindern, wird Vorwissen zur Kalibrierung als statistisch unsicher modelliert und als zusätzliche Beobachtung in die Parameterschätzung einbezogen. Die Arbeit zeigt, wie nach der Auswertung mit statistischen Tests kontrolliert werden kann, ob aus dem gegebenen Bildmaterial die Kalibriergrößen bestimmbar, ob die Vorinformationen fehlerbehaftet sind und wie diese korrigiert werden können. Die Arbeit systematisiert merkmalsbasierte Verfahren zur Selbstkalibrierung. Lösungsansätze aus dem Bereich der Photogrammetrie und der 'Computer Vision' werden einbezogen. Zur automatischen Auswertung der Bildfolge wurde aus der Übersicht heraus ein zweistufiges Verfahren entwickelt. Um hinsichtlich der Genauigkeit optimale Ergebnisse zu erhalten, werden alle verfügbaren Messungen über längere Bildverbände simultan in einer Bündellösung ausgeglichen. Dabei wird die Wegmessung des Fahrzeuges aus dem Radsensor mit einbezogen. Die notwendigen Punktkorrespondenzen und Näherungswerte zu 3D-Rekonstruktion und Kamerabewegung werden über eine sequentielle Auswertung von Bildtripeln bereitgestellt. Neu hierbei ist der Einsatz eines metrisch parametrisierten Trifokal- Tensors. Es wird die Starrheit der Szene und eine zeitlich konstante Kalibrierung angenommen. In den Experimenten wurde ein Sequenzabschnitt von 800 Bildern (~ 1.5km Fahrstrecke) ausgewertet. Die geometrische Rekonstruktion und die Kamerabewegung wurden in guter Qualität geschätzt. Die integrierten Vorinformationen zur Kalibrierung ermöglichten eine stabile geometrische Auswertung trotz kritischer Bewegungen, die eine Selbstkalibrierung verhindern. Bedingt durch die Nähe zu kritischen Bewegungen bestehen theoretische Grenzen für die Genauigkeit der geschätzten Kalibrierung. Jedoch wird die Rekonstruktion nur durch Fehler in einzelnen Parametern der Kalibrierung stark beeinflußt. Die Arbeit zeigt, welche Parameter kritisch sind und deren Einfluß auf die Rekonstruktion. Das vorgestellte Konzept einer numerischen und statistischen Analyse ist nicht auf die Selbstkalibrierung aus monokularen Bildfolgen beschränkt, sondern ist auf weitere geometrische Meß- und Rekonstruktionsprobleme aus der Photogrammetrie und der Bildverarbeitung übertragbar.
In most cases camera calibration is required to obtain metric 3D-data such as point coordinates or distances from monocular image sequences for navigation. Calibration can be performed in a preliminary step or by selfcalibration. The thesis presents theoretical and experimental investigations into selfcalibration and metric reconstruction from monocular image sequences. In contrast to other publications, not only selfcalibration but also the relation between calibration and structure estimation is investigated. The thesis shows that tools and procedures from the theory of parameter estimation with linearised models enable a fast and schematic analysis. A car navigation image sequence exemplifies the analysis. A theoretical preliminary analysis is performed with synthetic data. The theoretical precision of the calibration and the 3D-structure, the reliability due to gross errors, e.g. matching failures, and the effect of calibration errors onto the 3D-data is analysed by linear error propagation for the given geomet-ric setup and assumed measurement precision. The results from the theoretical investigations are compared with the results of experiments with selfcalibration from the real image sequence. Priori information about the calibration parameters is modelled as statistically uncertain and integrated as additional observations into the estimation process. Critical motion that causes ambiguities in selfcalibration and structure estimation can be handled autonomously. The thesis shows, how it is possible, after adjustment to determine, whether the calibration parameters are estimable from the image data, whether the apriori information is erroneous and how corrections can be made. The thesis systemises feature based methods of selfcalibration derived from publications in the field of computer vision and photogrammetry. A two step procedure was designed from the systematics to process the sequence from car navigation. The calibration, the structure and the camera motion are estimated simultaneously from longer sequence parts by bundle adjustment to achieve optimal accu-racy. Distance measurements from the wheel sensor are included in the adjustment. Point correspon-dences and approximate values to start the bundle adjustment are derived by sequential processing of image triplets. An innovative aspect compared to existing algorithms is the metric parameterisation of the trifocal tensor. A static scene and a constant calibration over time is assumed. In the experiments a real sequence of 800 images (~1.5km driving distance) was processed in order to estimate the motion of the camera and the 3D-structure. The obtained data were of high quality. Despite critical motion, that prevents selfcalibration, the a priori calibration enables a stable geometric reconstruction. For the given sequence the real motion is always close to critical motion. This places theoretical limitations on the precision of the estimated calibration parameters. However only errors in individual calibration parameters have a significant effect onto the estimated 3D-structure. The thesis demonstrates which calibration parameters are critical and shows their influence on the estimation of the 3D-structure. The concept of a numerical and statistical analysis with linear models is not limited to selfcalibration from monocular image sequences. It can also be applied to further geometric measurement problems in photogrammetry and computer vision.
Zusammenfassung:
Um aus monokularen Bildfolgen für die Navigation metrische Größen im Raum, wie Strecken oder Distanzen rekonstruieren zu können, muß man im allgemeinen die Kalibrierung der verwendeten Kamera kennen oder in einer Selbstkalibrierung bestimmen. Die Arbeit stellt theoretische und experimentelle Untersuchungen zur Selbstkalibrierung und metrischen Rekonstruktion aus monokularen Bildfolgen vor. Im Gegensatz zu vielen Arbeiten wird dabei nicht nur die Bestimmung der Kalibrierung betrachtet, sondern der Zusammenhang von Kalibrierung und metrischer Rekonstruktion untersucht. Die Arbeit demonstriert, wie über Methoden und Verfahren aus der Theorie der Parameterschätzung in linearen Modellen eine relativ schnelle und schematische Analyse möglich ist. Anwendungsbeispiel ist eine Bildfolge einer Fahrspurbeobachtung aus dem Kraftfahrzeug. In einer theoretischen Voruntersuchung wird über Linearisierung und Fehlerfortpflanzung an synthetischen Daten untersucht, welche Präzision und Zuverlässigkeit für 3D-Rekonstruktion und Kalibrierung unter gegebenen geometrischen Randbedingungen und Meßgenauigkeiten theoretisch erreichbar sind, sowie welche Auswirkungen Fehler und Unsicherheiten in der Kalibrierung auf die metrische Rekonstruktion haben. Die Zahlenwerte werden anschließend mit Ergebnissen der Auswertung einer realen Bildfolge verglichen. Zum autonomen Umgang mit kritischen Bewegungen, die eine Selbstkalibrierung und metrische Rekonstruktion aus der Bildfolge verhindern, wird Vorwissen zur Kalibrierung als statistisch unsicher modelliert und als zusätzliche Beobachtung in die Parameterschätzung einbezogen. Die Arbeit zeigt, wie nach der Auswertung mit statistischen Tests kontrolliert werden kann, ob aus dem gegebenen Bildmaterial die Kalibriergrößen bestimmbar, ob die Vorinformationen fehlerbehaftet sind und wie diese korrigiert werden können. Die Arbeit systematisiert merkmalsbasierte Verfahren zur Selbstkalibrierung. Lösungsansätze aus dem Bereich der Photogrammetrie und der 'Computer Vision' werden einbezogen. Zur automatischen Auswertung der Bildfolge wurde aus der Übersicht heraus ein zweistufiges Verfahren entwickelt. Um hinsichtlich der Genauigkeit optimale Ergebnisse zu erhalten, werden alle verfügbaren Messungen über längere Bildverbände simultan in einer Bündellösung ausgeglichen. Dabei wird die Wegmessung des Fahrzeuges aus dem Radsensor mit einbezogen. Die notwendigen Punktkorrespondenzen und Näherungswerte zu 3D-Rekonstruktion und Kamerabewegung werden über eine sequentielle Auswertung von Bildtripeln bereitgestellt. Neu hierbei ist der Einsatz eines metrisch parametrisierten Trifokal- Tensors. Es wird die Starrheit der Szene und eine zeitlich konstante Kalibrierung angenommen. In den Experimenten wurde ein Sequenzabschnitt von 800 Bildern (~ 1.5km Fahrstrecke) ausgewertet. Die geometrische Rekonstruktion und die Kamerabewegung wurden in guter Qualität geschätzt. Die integrierten Vorinformationen zur Kalibrierung ermöglichten eine stabile geometrische Auswertung trotz kritischer Bewegungen, die eine Selbstkalibrierung verhindern. Bedingt durch die Nähe zu kritischen Bewegungen bestehen theoretische Grenzen für die Genauigkeit der geschätzten Kalibrierung. Jedoch wird die Rekonstruktion nur durch Fehler in einzelnen Parametern der Kalibrierung stark beeinflußt. Die Arbeit zeigt, welche Parameter kritisch sind und deren Einfluß auf die Rekonstruktion. Das vorgestellte Konzept einer numerischen und statistischen Analyse ist nicht auf die Selbstkalibrierung aus monokularen Bildfolgen beschränkt, sondern ist auf weitere geometrische Meß- und Rekonstruktionsprobleme aus der Photogrammetrie und der Bildverarbeitung übertragbar.
[ BibTex ]
@PHDTHESIS{abraham99:Kamera,
author ={Abraham,Steffen},
title ={Kamera Kalibrierung und metrische Auswertung monokularer Bildfolgen},
school ={Institute of Photogrammetry,University of Bonn},
year ={1999}
}
Faber, Petko:
Relaxationsverfahren in der Mustererkennung: Ein allgemeiner Ansatz
Dissertation, Bonn 1999
[ Zusammenfassung ]
Abstract:
The purpose of this thesis is to make a contribution to the theoretical bases of relaxation processes in pattern recognition with particular emphasis on the development of a general approach to describe and design relaxation processes. Many approaches to analyze and describe relaxation processes are suggested in the literature, but the possibilities to construct application-dependent relaxation processes are frequently pointed out only insufficiently. And here the thesis starts. The difference, in contrast to other approaches, is in the general validity of the chosen approach to describe the set of all relaxation processes. This means nothing else, except that the formulation of the approach is on the one hand independent from a concrete calculation and thus on the other hand it can be transfered relatively easily to each iterative formulatable application. The advantage of such a generally valid representation is therefore a) in the possibility to describe the set of all relaxation processes within a closed theory and b) in the reduction of the up to now necessary effort to construct a suitable relaxation process for a concrete task with a better motivation of the chosen approach. But with an increasing generalization also the possibility of the view on individual details will be lost. This will be reflected within the thesis in the reference to a special calculus or the statements on the convergence behavior. The emphasis of the predominant theoretical considerations in the first part of this thesis is the structual subdivision of relaxation processes into three phases: initialization, updating and evaluation, whereby investigations of the updating phase are in the foreground. Regarding the different components of the updating phase, general regularities will be worked out which will permit to distinguish between all relaxation processes and all common iterative processes. Apart from the theoretical results the developed approach also has direct practical significance. In the second part of this thesis the validity of the developed structure will be illustrated by a complex example, the reconstruction of polymorphic 3D objects. The validity is demonstrated through continuous inclusion of relaxation into the process of generating a solution. The development of a structure for the description and construction of relaxation processes makes other investigations possible. They may either require a detailed analysis of individual aspects of the structure or be of a fundamental nature. Here the investigation of the convergence behavior and of the significance of different calculations in context of the updating step will be interesting and also necessary.
Zusammenfassung:
Die Arbeit will einen Beitrag zu den theoretischen Grundlagen der Relaxationsverfahren in der Mustererkennung leisten. Dabei steht die Entwicklung eines allgemeinen Ansatzes zur Beschreibung und Konstruktion von Relaxationsverfahren in der Mustererkennung im Vordergrund. Ansätze zur Analyse und Beschreibung von Relaxationsverfahren sind aus der Literatur hinreichend bekannt; die Möglichkeiten einer Konstruktion applikationsabhängiger Relaxationsverfahren werden jedoch häufig nur unzureichend aufgezeigt. An dieser Stelle setzt die Arbeit an. Der Unterschied gegenüber anderen Ansätzen liegt dabei in der Allgemeingültigkeit des gewählten Ansatzes zur Beschreibung der Menge aller Relaxationsverfahren, was letztlich nichts anderes bedeutet, als dass die Formulierung des Ansatzes einerseits unabhängig von einem konkreten Kalkül erfolgt und somit andererseits relativ einfach auf jede iterativ formulierbare Applikation der Mustererkennung übertragen werden kann. Der Vorteil einer solchen allgemeingültigen Darstellung liegt dabei a) in der Möglichkeit der Beschreibung der Menge aller Relaxationsverfahren innerhalb einer geschlossenen Theorie und b) in einer Verringerung des bisher notwendigen Aufwandes bei der Konstruktion eines geeigneten Relaxationsverfahrens für eine konkrete Aufgabenstellung bei einer gleichzeitig verbesserten Möglichkeit der Motivation des jeweils konkret gewählten Ansatzes. Mit zunehmender Verallgemeinerung geht allerdings auch die Möglichkeit der Sicht auf einzelne Details verloren, was sich innerhalb der Arbeit konkret im Bezug zu einem speziellen Kalkül oder den Aussagen zum Konvergenzverhalten widerspiegelt. Schwerpunkt der überwiegend theoretischen Überlegungen im ersten Teil der Arbeit bildet die strukturelle Untergliederung der Relaxationsverfahren in die drei Phasen Initialisierung, Aktualisierung und Evaluierung, wobei die Aktualisierung als wesentliches Differenzierungsmerkmal gegenüber "gewöhnlichen" Iterationsverfahren im Mittelpunkt steht. In Bezug auf die verschiedenen Bestandteile der Aktualisierungsphase werden allgemeingültige Gesetzmässigkeiten herausgearbeitet, die letztlich eine genaue Abgrenzung der Menge aller Relaxationsverfahren von der Menge aller iterativen Verfahren gestatten. Neben den theoretischen Ergebnissen besitzt der in der Arbeit entwickelte Ansatz unmittelbare praktische Bedeutung. Anhand eines komplexen Beispiels, der Rekonstruktion polymorpher 3D-Objekte, wird im zweiten Teil der Arbeit die Gültigkeit der entwickelten Struktur durch eine durchgängige Einbeziehung von Relaxationsverfahren in den Prozess der Generierung einer Lösung demonstriert. Aufbauend auf der in der Arbeit entwickelten Struktur zur Beschreibung und Konstruktion von Relaxationsverfahren sind weitere Untersuchungen denkbar, die einerseits eine detailliertere Analyse einzelner Aspekte der Struktur verlangen, andererseits grundsätzlicher Natur sind. Dabei erscheint die Untersuchung sowohl des Konvergenzverhaltens als auch der Bedeutung verschiedener Kalküle im Kontext der Aktualisierung ebenso interessant wie notwendig.
The purpose of this thesis is to make a contribution to the theoretical bases of relaxation processes in pattern recognition with particular emphasis on the development of a general approach to describe and design relaxation processes. Many approaches to analyze and describe relaxation processes are suggested in the literature, but the possibilities to construct application-dependent relaxation processes are frequently pointed out only insufficiently. And here the thesis starts. The difference, in contrast to other approaches, is in the general validity of the chosen approach to describe the set of all relaxation processes. This means nothing else, except that the formulation of the approach is on the one hand independent from a concrete calculation and thus on the other hand it can be transfered relatively easily to each iterative formulatable application. The advantage of such a generally valid representation is therefore a) in the possibility to describe the set of all relaxation processes within a closed theory and b) in the reduction of the up to now necessary effort to construct a suitable relaxation process for a concrete task with a better motivation of the chosen approach. But with an increasing generalization also the possibility of the view on individual details will be lost. This will be reflected within the thesis in the reference to a special calculus or the statements on the convergence behavior. The emphasis of the predominant theoretical considerations in the first part of this thesis is the structual subdivision of relaxation processes into three phases: initialization, updating and evaluation, whereby investigations of the updating phase are in the foreground. Regarding the different components of the updating phase, general regularities will be worked out which will permit to distinguish between all relaxation processes and all common iterative processes. Apart from the theoretical results the developed approach also has direct practical significance. In the second part of this thesis the validity of the developed structure will be illustrated by a complex example, the reconstruction of polymorphic 3D objects. The validity is demonstrated through continuous inclusion of relaxation into the process of generating a solution. The development of a structure for the description and construction of relaxation processes makes other investigations possible. They may either require a detailed analysis of individual aspects of the structure or be of a fundamental nature. Here the investigation of the convergence behavior and of the significance of different calculations in context of the updating step will be interesting and also necessary.
Zusammenfassung:
Die Arbeit will einen Beitrag zu den theoretischen Grundlagen der Relaxationsverfahren in der Mustererkennung leisten. Dabei steht die Entwicklung eines allgemeinen Ansatzes zur Beschreibung und Konstruktion von Relaxationsverfahren in der Mustererkennung im Vordergrund. Ansätze zur Analyse und Beschreibung von Relaxationsverfahren sind aus der Literatur hinreichend bekannt; die Möglichkeiten einer Konstruktion applikationsabhängiger Relaxationsverfahren werden jedoch häufig nur unzureichend aufgezeigt. An dieser Stelle setzt die Arbeit an. Der Unterschied gegenüber anderen Ansätzen liegt dabei in der Allgemeingültigkeit des gewählten Ansatzes zur Beschreibung der Menge aller Relaxationsverfahren, was letztlich nichts anderes bedeutet, als dass die Formulierung des Ansatzes einerseits unabhängig von einem konkreten Kalkül erfolgt und somit andererseits relativ einfach auf jede iterativ formulierbare Applikation der Mustererkennung übertragen werden kann. Der Vorteil einer solchen allgemeingültigen Darstellung liegt dabei a) in der Möglichkeit der Beschreibung der Menge aller Relaxationsverfahren innerhalb einer geschlossenen Theorie und b) in einer Verringerung des bisher notwendigen Aufwandes bei der Konstruktion eines geeigneten Relaxationsverfahrens für eine konkrete Aufgabenstellung bei einer gleichzeitig verbesserten Möglichkeit der Motivation des jeweils konkret gewählten Ansatzes. Mit zunehmender Verallgemeinerung geht allerdings auch die Möglichkeit der Sicht auf einzelne Details verloren, was sich innerhalb der Arbeit konkret im Bezug zu einem speziellen Kalkül oder den Aussagen zum Konvergenzverhalten widerspiegelt. Schwerpunkt der überwiegend theoretischen Überlegungen im ersten Teil der Arbeit bildet die strukturelle Untergliederung der Relaxationsverfahren in die drei Phasen Initialisierung, Aktualisierung und Evaluierung, wobei die Aktualisierung als wesentliches Differenzierungsmerkmal gegenüber "gewöhnlichen" Iterationsverfahren im Mittelpunkt steht. In Bezug auf die verschiedenen Bestandteile der Aktualisierungsphase werden allgemeingültige Gesetzmässigkeiten herausgearbeitet, die letztlich eine genaue Abgrenzung der Menge aller Relaxationsverfahren von der Menge aller iterativen Verfahren gestatten. Neben den theoretischen Ergebnissen besitzt der in der Arbeit entwickelte Ansatz unmittelbare praktische Bedeutung. Anhand eines komplexen Beispiels, der Rekonstruktion polymorpher 3D-Objekte, wird im zweiten Teil der Arbeit die Gültigkeit der entwickelten Struktur durch eine durchgängige Einbeziehung von Relaxationsverfahren in den Prozess der Generierung einer Lösung demonstriert. Aufbauend auf der in der Arbeit entwickelten Struktur zur Beschreibung und Konstruktion von Relaxationsverfahren sind weitere Untersuchungen denkbar, die einerseits eine detailliertere Analyse einzelner Aspekte der Struktur verlangen, andererseits grundsätzlicher Natur sind. Dabei erscheint die Untersuchung sowohl des Konvergenzverhaltens als auch der Bedeutung verschiedener Kalküle im Kontext der Aktualisierung ebenso interessant wie notwendig.
[ BibTex ]
@PHDTHESIS{faber99:Relaxationsverfahren,
author ={Faber,Petko},
title ={Relaxationsverfahren in der Mustererkennung: Ein allgemeiner Ansatz},
school ={Institute of Photogrammetry, University of Bonn},
year ={1999},
note ={Shaker Verlag, Aachen 1999}
}
Lang, Felicitas:
Geometrische und semantische Rekonstruktion von Gebäuden durch Ableitung von 3D Gebäudeecken
Dissertation, Bonn 1999
[ Zusammenfassung ]
Abstract:
During the last years, three-dimensional building data have increasingly gained importance for practical applications as in architecture and planning. Aerial images are suitable for the photogrammetric reconstruction of buildings. This thesis makes a contribution to automatic building extraction from multiple overlapping images. The reconstruction comprises the extraction of the geometric as well as the semantic object description, i. e. the interpretation of the objects. The modeling of knowledge about the scene by means of object-, image- and sensor-modeling plays an important role in the extraction from image data. The complexity of the objects as well as their appearance in the images requires the use of a hierarchical building model that contains both a part-of and a specialization hierarchy. The part-of hierarchary comprises different levels of domain-specific aggregation and enables the access to the semantics of the objects by using the class-specific geometric and topologic properties of the objects and the connectivity relations between objects of different levels. The specific features of the procedure are the following:
• The use of a hierarchical building model with semantically motivated levels of the part-of and the specialization hierarchy for reconstruction of building components and for their aggregation in object space.
• The coherent modeling both in object and in image space. Starting from the image data the image model allows the access to 3d-components of the objects during the reconstruction. Starting from object components the object model allows the access to complex objects during the 3d-aggregation by using semantically related connectivity structures.
• The close interaction of geometric and semantic reconstruction that combines the mainly data driven construction of model instances and the model-driven verification exploiting the maximum available knowledge.
• Uncertainties are taken into account by statistically modeling the deviation between data and model.
The procedure allows the reconstruction and interpretation of complex buildings of variable geometry, topology and structure. The algorithm is demonstrated on different image material. It shows promising results, especially in suburban areas.
Zusammenfassung:
In den letzten Jahren haben dreidimensionale Gebäudedaten für Anwendungen in Bereichen wie z. B. der Architektur und dem Planungswesen zunehmend an Bedeutung gewonnen. Luftbilder stellen eine geeignete Grundlage für die photogrammetrische Rekonstruktion der Gebäude dar. Diese Arbeit liefert einen Beitrag zur automatischen Gebäudeerfassung aus mehrfach überdeckten Bildszenen. Die Rekonstruktion beinhaltet dabei sowohl die Erfassung der geometrischen als auch der semantischen Beschreibung, d. h. die Interpretation der Objekte. Eine entscheidende Rolle bei der Erfassung aus Bilddaten spielt die Beschreibung des Wissens über die zu erfassende Szene in Form von Objekt-, Bild- und Sensormodellen. Die Komplexität der Objekte sowie deren Erscheinung in den Bildern erfordert die Verwendung eines hierarchischen Gebäudemodells, das sowohl eine Bestandteils- als auch eine Spezialisierungshierarchie beinhaltet. Die Bestandteilshierarchie umfaßt dabei unterschiedliche Ebenen objektspezifischer Aggregation und ermöglicht durch klassenspezifische geometrische und topologische Eigenschaften der Objekte sowie der Verknüpfungsrelationen der Objekte unterschiedlicher Ebenen, den Zugriff auf die Semantik der Objekte. Die Besonderheiten des vorgestellten Verfahrens sind:
• Die Nutzung eines hierarchischen Gebäudemodells mit semantisch motivierten Bestandteils- und Spezialisierungsebenen zur Rekonstruktion von Gebäudebestandteilen und deren Aggregierung im Objektraum.
• Die kohärente Modellierung im Objekt- und im Bildraum. Ausgehend von den Bilddaten ermöglichen bei der Rekonstruktion die Bildmodelle den Zugriff auf 3D-Objektkomponenten. Ausgehend von Objektkomponenten ermöglichen bei der Aggregierung die Objektmodelle den Zugriff auf komplexe Objekte durch semantisch motivierte Verknüpfungsstrukturen.
• Die enge Verkoppelung von geometrischer und semantischer Rekonstruktion durch den überwiegend datengetriebenen Aufbau von Modellinstanzen und die modellgetriebene Verifikation unter Nutzung des maximal verfügbaren Objektwissens.
• Die Berücksichtigung von Unsicherheiten durch statistische Modellierung der Abweichungen zwischen Daten und Modellen.
Die Vorgehensweise ermöglicht durch die Zerlegung in gebäudespezifische Bestandteile die Rekonstruktion und Interpretation komplexer Gebäude variabler Geometrie, Topologie und Struktur. Insgesamt zeigt die exemplarische Erprobung des Verfahrens an unterschiedlichem Bildmaterial insbesondere in Bereichen offener Bebauung vielversprechende Ergebnisse.
During the last years, three-dimensional building data have increasingly gained importance for practical applications as in architecture and planning. Aerial images are suitable for the photogrammetric reconstruction of buildings. This thesis makes a contribution to automatic building extraction from multiple overlapping images. The reconstruction comprises the extraction of the geometric as well as the semantic object description, i. e. the interpretation of the objects. The modeling of knowledge about the scene by means of object-, image- and sensor-modeling plays an important role in the extraction from image data. The complexity of the objects as well as their appearance in the images requires the use of a hierarchical building model that contains both a part-of and a specialization hierarchy. The part-of hierarchary comprises different levels of domain-specific aggregation and enables the access to the semantics of the objects by using the class-specific geometric and topologic properties of the objects and the connectivity relations between objects of different levels. The specific features of the procedure are the following:
• The use of a hierarchical building model with semantically motivated levels of the part-of and the specialization hierarchy for reconstruction of building components and for their aggregation in object space.
• The coherent modeling both in object and in image space. Starting from the image data the image model allows the access to 3d-components of the objects during the reconstruction. Starting from object components the object model allows the access to complex objects during the 3d-aggregation by using semantically related connectivity structures.
• The close interaction of geometric and semantic reconstruction that combines the mainly data driven construction of model instances and the model-driven verification exploiting the maximum available knowledge.
• Uncertainties are taken into account by statistically modeling the deviation between data and model.
The procedure allows the reconstruction and interpretation of complex buildings of variable geometry, topology and structure. The algorithm is demonstrated on different image material. It shows promising results, especially in suburban areas.
Zusammenfassung:
In den letzten Jahren haben dreidimensionale Gebäudedaten für Anwendungen in Bereichen wie z. B. der Architektur und dem Planungswesen zunehmend an Bedeutung gewonnen. Luftbilder stellen eine geeignete Grundlage für die photogrammetrische Rekonstruktion der Gebäude dar. Diese Arbeit liefert einen Beitrag zur automatischen Gebäudeerfassung aus mehrfach überdeckten Bildszenen. Die Rekonstruktion beinhaltet dabei sowohl die Erfassung der geometrischen als auch der semantischen Beschreibung, d. h. die Interpretation der Objekte. Eine entscheidende Rolle bei der Erfassung aus Bilddaten spielt die Beschreibung des Wissens über die zu erfassende Szene in Form von Objekt-, Bild- und Sensormodellen. Die Komplexität der Objekte sowie deren Erscheinung in den Bildern erfordert die Verwendung eines hierarchischen Gebäudemodells, das sowohl eine Bestandteils- als auch eine Spezialisierungshierarchie beinhaltet. Die Bestandteilshierarchie umfaßt dabei unterschiedliche Ebenen objektspezifischer Aggregation und ermöglicht durch klassenspezifische geometrische und topologische Eigenschaften der Objekte sowie der Verknüpfungsrelationen der Objekte unterschiedlicher Ebenen, den Zugriff auf die Semantik der Objekte. Die Besonderheiten des vorgestellten Verfahrens sind:
• Die Nutzung eines hierarchischen Gebäudemodells mit semantisch motivierten Bestandteils- und Spezialisierungsebenen zur Rekonstruktion von Gebäudebestandteilen und deren Aggregierung im Objektraum.
• Die kohärente Modellierung im Objekt- und im Bildraum. Ausgehend von den Bilddaten ermöglichen bei der Rekonstruktion die Bildmodelle den Zugriff auf 3D-Objektkomponenten. Ausgehend von Objektkomponenten ermöglichen bei der Aggregierung die Objektmodelle den Zugriff auf komplexe Objekte durch semantisch motivierte Verknüpfungsstrukturen.
• Die enge Verkoppelung von geometrischer und semantischer Rekonstruktion durch den überwiegend datengetriebenen Aufbau von Modellinstanzen und die modellgetriebene Verifikation unter Nutzung des maximal verfügbaren Objektwissens.
• Die Berücksichtigung von Unsicherheiten durch statistische Modellierung der Abweichungen zwischen Daten und Modellen.
Die Vorgehensweise ermöglicht durch die Zerlegung in gebäudespezifische Bestandteile die Rekonstruktion und Interpretation komplexer Gebäude variabler Geometrie, Topologie und Struktur. Insgesamt zeigt die exemplarische Erprobung des Verfahrens an unterschiedlichem Bildmaterial insbesondere in Bereichen offener Bebauung vielversprechende Ergebnisse.
[ BibTex ]
@PHDTHESIS{lang99:Geometrische,
author ={Lang, Felicitas},
title ={Geometrische und semantische Rekonstruktion von Gebäuden durch Ableitung von 3D Gebäudeecken},
school ={Institute of Photogrammetry, University of Bonn},
year ={1999}
}
1998
Löcherbach, Thomas:
Fusing Raster- and Vector- Data with Applications to Land- Use Mapping
Dissertation, Bonn 1998
[ Zusammenfassung ]
Abstract:
Digital images both from satellite and airborne sensors are a major information source for land-use mapping. For agricultural applications it is particularly important to use multitemporal and multisensoral data. Today the extracted information is generally maintained in a geographic information system (GIS). Particularly for agricultural areas a more frequent update of this spatial information is required. The amount of available image data is increasing dramatically. Only automation can handle the processing of these data volumes. Among automated methods in photogrammetry and remote sensing that are being applied operationally are the generation of digital elevation models, interior and exterior orientation, tie point extraction for aerial triangulation and classification procedures. Besides these approaches numerous solutions to very specific problems exist that are research topics and not applied operationally. Two observations can be made:
• Due to increasing resolution of satellite images the distinction between photogrammetry and remote sensing becomes more and more obsolete, meaning that the extraction of geometric and thematic information becomes more integrated.
• Due to the complexity of natural scenes, data fusion is essential. In particular, automated approaches still do not make sufficient use of existing GIS data. Land-use data can ideally be represented in a GIS in a vector format, while image data is in a raster format. In this thesis an approach has been realized to update land-use maps of agricultural areas by fusing multitemporal and multisensoral raster images with digital vector map data. Images are the primary information source, representing the actual state while vector polygons are used as additional prior information. A matching of images and vector maps is obtained by a least squares estimation. Prior information is introduced in a Bayesian manner. Image intensities are used as primary observations while vector polygons and orientation parameters are used as observations representing prior information. The strength of the prior information is triggered by its a priori variances. The estimation is performed in object space enabling a global solution in one step. Unknown parameters that are solved for are primarily the adjusted coordinates of the vector polygons describing the land-use units and features of these land-use units. Further parameters are the orientation parameters and edge-parameters describing the feature transition between land-use units. This approach can be seen as part of a larger concept for land-use mapping which consists of three steps:
1. A local image segmentation inside each polygon of the initial map. This is used to add approximate boundaries to the initial map.
2. A global estimation of the exact location of the vector polygons and features of the land- use units.
3. A classification of the land-use units based on these features. Our approach treats step 2 and thus closes a gap between existing solutions for steps 1 and 3. It combines classical techniques from least squares estimation with a very general concept for data fusion.
Zusammenfassung:
Digitale Aufnahmen sowohl satelliten- als flugzeuggestützter Sensoren stellen eine Hauptinformationsquelle für die Landnutzungskartierung dar. Von besonderer Bedeutung für landwirtschaftliche Anwendungen ist das Nutzen multitemporaler und multisensoraler Daten. Die gewonnene Information wird heute in der Regel in geographischen Informationssystemen (GIS) bereitgehalten. Gerade für landwirtschaftliche Gebiete ist eine Aktualisierung der räumlichen Information in immer kürzeren Abständen notwendig. Die Menge der zur Verfügung stehenden Bilddaten wächst dramatisch. Eine Verarbeitung dieser Datenmengen ist nur durch mehr Automation möglich. Zu automatischen Verfahren, die in der Photogrammetrie und Fernerkundung in der Praxis eingesetzt werden, gehören die Generierung digitaler Höhenmodelle, die Bestimmung der inneren und äußeren Orientierung, die Extraktion von Verknüpfungspunkten für die Aerotriangulation sowie Klassifikationsalgorithmen. Neben diesen Verfahren existieren zahlreiche Lösungen zu sehr speziellen Problemen, die in der Regel Forschungsgegenstand sind, aber nicht operationeIl eingesetzt werden. Dabei können folgende Beobachtungen gemacht werden:
• Aufgrund steigender Auflösung von Satellitenaufnahmen wird die Trennung von Photogrammetrie und Fernerkundung undeutlicher. Dies bedeutet, daß die Extraktion geometrischer und thematischer Informationen zunehmend integriert wird.
• Aufgrund der Komplexität natürlicher Szenen ist Datenfusion entscheidend. Insbesondere werden existierende GIS- Daten noch zu wenig in automatisierten Verfahren genutzt. Während digitale Bilder im Rasterformat vorliegen, können Landnutzungsdaten idealerweise in einem Vektor-GIS repräsentiert werden. Im Rahmen dieser Arbeit wurde ein Verfahren zur Aktualisierung von Landnutzungskarten landwirtschaftlicher Gebiete durch die Integration multitemporaler und multisensoraler Rasterbilder mit digitalen Vektorkarten entwickelt. Bilder sind die primäre Informationsquelle und stellen den aktuellen Zustand dar, während Vektorpolygone als zusätzliche Vorinformation genutzt werden. Eine Zuordnung von Bildern und Vektorkarten geschieht durch eine Kleinste-Quadrate-Ausgleichung. Vorinformation wird im Sinne der Bayes-Statistik eingeführt. Primäre Beobachtungen sind die Intensitätswerte der Bilder, während die Koordinaten der Vektorpolygone und die Orientierungsparameter Beobachtungen sind, die die Vorinformation darstellen. Die Stärke der Vorinformation wird durch die apriori Varianzen dieser Beobachtungen gesteuert. Die Ausgleichung geschieht im Objektraum, wodurch eine globale Lösung in einem Schritt ermöglicht wird. Die zu bestimmenden unbekannten Parameter sind in erster Linie die ausgeglichenen Koordinaten der Vektorpolygone, die die Landnutzungseinheiten beschreiben, sowie Merkmale dieser Landnutzungseinheiten. Weitere Parameter sind die Orientierungsparameter und Kantenparameter, welche den Merkmalsübergang zwischen den Landnutzungseinheiten beschreiben. Dieses Verfahren kann als Teil eines Konzepts zur Landnutzungskartierung gesehen werden, welches aus drei Schritten besteht:
1. Nach einer lokalen Bildsegmetierung innerhalb jedes Polygons werden Näherungsgrenzen zur Ausgangskarte hinzugefügt.
2. In einer globalen Schätzung werden die exakten Koordinaten der Vektorpolygone sowie die Merkmale der Landnutzungseinheiten geschätzt.
3. Aufgrund dieser Merkmale werden die Landnutzungseinheiten klassifiziert. Unser Verfahren behandelt Schritt 2 und schließt damit eine Lücke zwischen bestehenden Lösungen für die Schritte 1 und 3. Es kombiniert klassische Verfahren der Kleinste-Quadrate-Ausgleichung mit einem allgemeinen Konzept zur Datenfusion.
Digital images both from satellite and airborne sensors are a major information source for land-use mapping. For agricultural applications it is particularly important to use multitemporal and multisensoral data. Today the extracted information is generally maintained in a geographic information system (GIS). Particularly for agricultural areas a more frequent update of this spatial information is required. The amount of available image data is increasing dramatically. Only automation can handle the processing of these data volumes. Among automated methods in photogrammetry and remote sensing that are being applied operationally are the generation of digital elevation models, interior and exterior orientation, tie point extraction for aerial triangulation and classification procedures. Besides these approaches numerous solutions to very specific problems exist that are research topics and not applied operationally. Two observations can be made:
• Due to increasing resolution of satellite images the distinction between photogrammetry and remote sensing becomes more and more obsolete, meaning that the extraction of geometric and thematic information becomes more integrated.
• Due to the complexity of natural scenes, data fusion is essential. In particular, automated approaches still do not make sufficient use of existing GIS data. Land-use data can ideally be represented in a GIS in a vector format, while image data is in a raster format. In this thesis an approach has been realized to update land-use maps of agricultural areas by fusing multitemporal and multisensoral raster images with digital vector map data. Images are the primary information source, representing the actual state while vector polygons are used as additional prior information. A matching of images and vector maps is obtained by a least squares estimation. Prior information is introduced in a Bayesian manner. Image intensities are used as primary observations while vector polygons and orientation parameters are used as observations representing prior information. The strength of the prior information is triggered by its a priori variances. The estimation is performed in object space enabling a global solution in one step. Unknown parameters that are solved for are primarily the adjusted coordinates of the vector polygons describing the land-use units and features of these land-use units. Further parameters are the orientation parameters and edge-parameters describing the feature transition between land-use units. This approach can be seen as part of a larger concept for land-use mapping which consists of three steps:
1. A local image segmentation inside each polygon of the initial map. This is used to add approximate boundaries to the initial map.
2. A global estimation of the exact location of the vector polygons and features of the land- use units.
3. A classification of the land-use units based on these features. Our approach treats step 2 and thus closes a gap between existing solutions for steps 1 and 3. It combines classical techniques from least squares estimation with a very general concept for data fusion.
Zusammenfassung:
Digitale Aufnahmen sowohl satelliten- als flugzeuggestützter Sensoren stellen eine Hauptinformationsquelle für die Landnutzungskartierung dar. Von besonderer Bedeutung für landwirtschaftliche Anwendungen ist das Nutzen multitemporaler und multisensoraler Daten. Die gewonnene Information wird heute in der Regel in geographischen Informationssystemen (GIS) bereitgehalten. Gerade für landwirtschaftliche Gebiete ist eine Aktualisierung der räumlichen Information in immer kürzeren Abständen notwendig. Die Menge der zur Verfügung stehenden Bilddaten wächst dramatisch. Eine Verarbeitung dieser Datenmengen ist nur durch mehr Automation möglich. Zu automatischen Verfahren, die in der Photogrammetrie und Fernerkundung in der Praxis eingesetzt werden, gehören die Generierung digitaler Höhenmodelle, die Bestimmung der inneren und äußeren Orientierung, die Extraktion von Verknüpfungspunkten für die Aerotriangulation sowie Klassifikationsalgorithmen. Neben diesen Verfahren existieren zahlreiche Lösungen zu sehr speziellen Problemen, die in der Regel Forschungsgegenstand sind, aber nicht operationeIl eingesetzt werden. Dabei können folgende Beobachtungen gemacht werden:
• Aufgrund steigender Auflösung von Satellitenaufnahmen wird die Trennung von Photogrammetrie und Fernerkundung undeutlicher. Dies bedeutet, daß die Extraktion geometrischer und thematischer Informationen zunehmend integriert wird.
• Aufgrund der Komplexität natürlicher Szenen ist Datenfusion entscheidend. Insbesondere werden existierende GIS- Daten noch zu wenig in automatisierten Verfahren genutzt. Während digitale Bilder im Rasterformat vorliegen, können Landnutzungsdaten idealerweise in einem Vektor-GIS repräsentiert werden. Im Rahmen dieser Arbeit wurde ein Verfahren zur Aktualisierung von Landnutzungskarten landwirtschaftlicher Gebiete durch die Integration multitemporaler und multisensoraler Rasterbilder mit digitalen Vektorkarten entwickelt. Bilder sind die primäre Informationsquelle und stellen den aktuellen Zustand dar, während Vektorpolygone als zusätzliche Vorinformation genutzt werden. Eine Zuordnung von Bildern und Vektorkarten geschieht durch eine Kleinste-Quadrate-Ausgleichung. Vorinformation wird im Sinne der Bayes-Statistik eingeführt. Primäre Beobachtungen sind die Intensitätswerte der Bilder, während die Koordinaten der Vektorpolygone und die Orientierungsparameter Beobachtungen sind, die die Vorinformation darstellen. Die Stärke der Vorinformation wird durch die apriori Varianzen dieser Beobachtungen gesteuert. Die Ausgleichung geschieht im Objektraum, wodurch eine globale Lösung in einem Schritt ermöglicht wird. Die zu bestimmenden unbekannten Parameter sind in erster Linie die ausgeglichenen Koordinaten der Vektorpolygone, die die Landnutzungseinheiten beschreiben, sowie Merkmale dieser Landnutzungseinheiten. Weitere Parameter sind die Orientierungsparameter und Kantenparameter, welche den Merkmalsübergang zwischen den Landnutzungseinheiten beschreiben. Dieses Verfahren kann als Teil eines Konzepts zur Landnutzungskartierung gesehen werden, welches aus drei Schritten besteht:
1. Nach einer lokalen Bildsegmetierung innerhalb jedes Polygons werden Näherungsgrenzen zur Ausgangskarte hinzugefügt.
2. In einer globalen Schätzung werden die exakten Koordinaten der Vektorpolygone sowie die Merkmale der Landnutzungseinheiten geschätzt.
3. Aufgrund dieser Merkmale werden die Landnutzungseinheiten klassifiziert. Unser Verfahren behandelt Schritt 2 und schließt damit eine Lücke zwischen bestehenden Lösungen für die Schritte 1 und 3. Es kombiniert klassische Verfahren der Kleinste-Quadrate-Ausgleichung mit einem allgemeinen Konzept zur Datenfusion.
[ BibTex ]
@PHDTHESIS{loecherbach98:Fusing,
author ={L{\"o}cherbach, Thomas},
title ={Fusing Raster- and Vector- Data with Applications to Land- Use Mapping},
school ={Institute of Photogrammetry, University of Bonn},
year ={1998},
}
1997
Droste, Christoph:
Uncertainty in Parameter Estimation for Nonlinear Dynamical Models
Dissertation, Bonn 1997
[ Zusammenfassung ]
Abstract:
Mathematical process modeling is one of the most important tools in geophysical sciences, since' it allows quantitative prediction and the establishment of relations to measurements of real objects. Although there exist other kinds of models like classifications or qualitative descriptions allowing essential insights into the interdependencies between complex processes in applied sciences, especially geosciences, they lack in both, predictability and falsifiability. The quality of such models may only be evaluated by specialists, and since these specialists involve their personal a priori knowledge, the assessment is always subjective. The results of mathematical process models, however, are directly comparable to measurements which allow rejection or acceptance of the same, depending on the comparison between model predictions and observations. However, these methods of comparison are far from being unified or generally accepted themselves. This thesis focuses on models for nonlinear dynamical systems. One of the most important features of dynamical systems that is essential for the comparison of predictions and measurements has only recently been discussed in a broader scientific community, i.e. the inherent resistance of many dynamical processes to be predictable into the far future. This is commonly known as 'butterfly effect', which is a circumscription for the sensitivity of predictions to the initial conditions. It should• be noted that the measures for that sensitivity can not only be applied to the so called chaotic systems but also to systems with non chaotic determinism. Actually for finite prediction times the difference is only gradual. Obviously, it is important to gather knowledge about this sensitivity to be able to assess the differences between model predictions and observations. This topic is closely related to uncer-tainty and error propagation for linear models, which is well elaborated. The connection of both theories in context of parameter estimation shall be established by this thesis. Often the elementary processes that govern the behavior of a complex geophysical system are well known, but the numerical application of corresponding fundamental laws fails, because the entities to which the laws could be applied are too numerous. On the one hand computational costs rise tremendously with increasing degrees of freedom, on the other hand it is not possible to measure each level of structural complexity, e.g. each grain of the sand, not to speak of atoms. Most geophysical processes have more degrees of freedom than practically treatable. Hence, it is necessary to describe those systems at another level. This is well known from physics: e.g. a fluid is not treated as a collection of particles but as a continuous medium, and a thermodynamic system is not described by the velocities of individual molecules but by temperatures, pressures and volumes. Be it regarded as refined or coarser level of modeling, the obvious result is a regularization, because the phase space, i.e. the space of possible states the system can take, is reduced in dimensions. Since the laws on this level generally cannot be derived from the known fundamental laws, new parameters come into the description, which are linked in an appropriate way to the properties of matter. The values of those parameters cannot be derived theoretically, because the solution of the high dimensional system would be the condition. Their values have to be determined by observations. Although some of them may be of general interest and are fixed by means independent of the model, almost every model contains some• parameters that are only meaningful in the context of that specific model. These parameters cannot be determined by other means than by observations predictable by the specific model. In other words the model needs to be calibrated. Fitting the parameters of a model to observations is a problem of optimization. The most common approach to this is to minimize the positively weighted sum of squares of the differences between observations and model predictions. In linear models this problem is directly solvable. For other criteria or nonlinear models more costly methods must be applied, i.e. for instance iterative procedures like the multidimensional gradient methods. If one runs the risk of missing the correct optimum even more elaborate algorithms are available, e.g. simulated an-nealing or evolutionary algorithms. However, all optimization algorithms just act in accordance to the chosen extremal principle but do not refer to the structure of deviations generated by the structure of the system. In dynamical systems future states are predicted by means of the present state. Hence, the present errors propagate in time and influence negatively the reliability of predictions. The propagation laws for errors corresponding directly to structures of the dynamical model are widely ignored for parameter estimation in applied science. Often valuable information is wasted, because the application of optimization algorithms is standardized and does not take into account the model structure. The observed deficiencies in compatibility of models and the measurements of their corre-sponding dynamical systems take place due to
• the presence of dynamical noise, caused by un modeled processes,
• the limited level of accuracy for measurements and
• numerical errors In many cases, especially the linear ones, there is a wide acceptance about how to deal with these errors and how to interpret the results. However, the vast majority of models in applied sciences describe processes that have high nonlinear complexity, that can only be observed once or show inherent features of chaos. In these cases there is no general agreement about the criteria required for the decision if a prediction is confirmed by a measurement, since the potential behavior is principally unknown. The Uncertainty about the potential behavior of systems is the main reason for disagreements about the validity of models and parameters, respectively. It cannot be principally eliminated, because the true dynamics of the system is unknown. Nevertheless, it is at least possible to exploit the structure of the corresponding model, and where possible reduce the level of uncertainty by choosing appropriate conditions for parameter estimation. This is the main topic of this thesis. The deviations of model predictions are predictable themselves, when the origin of occuring errors and the structure of the model is known. Methods for this possibility shall be developed to assess the value of individual measurements for parameter estimation. In laboratory experiments one is able to influence the initial conditions. Therefore we will seek to predict, which initial conditions are most suitable for parameter estimation, before the experiment is actually run. The stochastic response on the noise generated from the unmodeled environment as well as the tendency to expand or shrink measurement errors are properties of the system. Therefore, no generic improvement for parameter estimation can be given independent of the model structure. However, since we are given a mathematical model and therefore some structural information is known explicitly, this information can be exploited to reduce the harmful effects of unprofitable error propagation. In laboratory experiments, this may be used to select the most suitable initial conditions and in field studies it may at least help to select the most effective measurements. This thesis shall develop the main ideas in a fairly general context and illustrate the results for low dimensional, well known, nonlinear dynamical systems. However, the concept shall be transfered to a specific problem in geophysics (geomorphology) in order to show the applicability of the developed methods. Therefore, the entire model for a geomorphological problem has been developed, which deals with the migration of meandering rivers. This model is used to transfer as much as possible from the theoretical results. The detailed insight into the model helps to assess the different problems that appear during application of the developed theory. The topic of this thesis is extensively influenced by an interdisciplinary research project that is dedicated to 'interactions between and modeling of continental geosystems'. Within this project a large variety of disciplines attempts to develop common concepts for the description of 'geophysical' processes on different time and space scales. The work in this collaborate research center is highly determined by the discrepancy between the exact and the holistic points of view. Exact mathematical descriptions are often too simple to reflect the whole complexity of natural processes, whereas the qualitative descriptions are not verifiable in a mathematical sense. This thesis touches overlapping aspects of both, and hopefully acts as a mediator.
Mathematical process modeling is one of the most important tools in geophysical sciences, since' it allows quantitative prediction and the establishment of relations to measurements of real objects. Although there exist other kinds of models like classifications or qualitative descriptions allowing essential insights into the interdependencies between complex processes in applied sciences, especially geosciences, they lack in both, predictability and falsifiability. The quality of such models may only be evaluated by specialists, and since these specialists involve their personal a priori knowledge, the assessment is always subjective. The results of mathematical process models, however, are directly comparable to measurements which allow rejection or acceptance of the same, depending on the comparison between model predictions and observations. However, these methods of comparison are far from being unified or generally accepted themselves. This thesis focuses on models for nonlinear dynamical systems. One of the most important features of dynamical systems that is essential for the comparison of predictions and measurements has only recently been discussed in a broader scientific community, i.e. the inherent resistance of many dynamical processes to be predictable into the far future. This is commonly known as 'butterfly effect', which is a circumscription for the sensitivity of predictions to the initial conditions. It should• be noted that the measures for that sensitivity can not only be applied to the so called chaotic systems but also to systems with non chaotic determinism. Actually for finite prediction times the difference is only gradual. Obviously, it is important to gather knowledge about this sensitivity to be able to assess the differences between model predictions and observations. This topic is closely related to uncer-tainty and error propagation for linear models, which is well elaborated. The connection of both theories in context of parameter estimation shall be established by this thesis. Often the elementary processes that govern the behavior of a complex geophysical system are well known, but the numerical application of corresponding fundamental laws fails, because the entities to which the laws could be applied are too numerous. On the one hand computational costs rise tremendously with increasing degrees of freedom, on the other hand it is not possible to measure each level of structural complexity, e.g. each grain of the sand, not to speak of atoms. Most geophysical processes have more degrees of freedom than practically treatable. Hence, it is necessary to describe those systems at another level. This is well known from physics: e.g. a fluid is not treated as a collection of particles but as a continuous medium, and a thermodynamic system is not described by the velocities of individual molecules but by temperatures, pressures and volumes. Be it regarded as refined or coarser level of modeling, the obvious result is a regularization, because the phase space, i.e. the space of possible states the system can take, is reduced in dimensions. Since the laws on this level generally cannot be derived from the known fundamental laws, new parameters come into the description, which are linked in an appropriate way to the properties of matter. The values of those parameters cannot be derived theoretically, because the solution of the high dimensional system would be the condition. Their values have to be determined by observations. Although some of them may be of general interest and are fixed by means independent of the model, almost every model contains some• parameters that are only meaningful in the context of that specific model. These parameters cannot be determined by other means than by observations predictable by the specific model. In other words the model needs to be calibrated. Fitting the parameters of a model to observations is a problem of optimization. The most common approach to this is to minimize the positively weighted sum of squares of the differences between observations and model predictions. In linear models this problem is directly solvable. For other criteria or nonlinear models more costly methods must be applied, i.e. for instance iterative procedures like the multidimensional gradient methods. If one runs the risk of missing the correct optimum even more elaborate algorithms are available, e.g. simulated an-nealing or evolutionary algorithms. However, all optimization algorithms just act in accordance to the chosen extremal principle but do not refer to the structure of deviations generated by the structure of the system. In dynamical systems future states are predicted by means of the present state. Hence, the present errors propagate in time and influence negatively the reliability of predictions. The propagation laws for errors corresponding directly to structures of the dynamical model are widely ignored for parameter estimation in applied science. Often valuable information is wasted, because the application of optimization algorithms is standardized and does not take into account the model structure. The observed deficiencies in compatibility of models and the measurements of their corre-sponding dynamical systems take place due to
• the presence of dynamical noise, caused by un modeled processes,
• the limited level of accuracy for measurements and
• numerical errors In many cases, especially the linear ones, there is a wide acceptance about how to deal with these errors and how to interpret the results. However, the vast majority of models in applied sciences describe processes that have high nonlinear complexity, that can only be observed once or show inherent features of chaos. In these cases there is no general agreement about the criteria required for the decision if a prediction is confirmed by a measurement, since the potential behavior is principally unknown. The Uncertainty about the potential behavior of systems is the main reason for disagreements about the validity of models and parameters, respectively. It cannot be principally eliminated, because the true dynamics of the system is unknown. Nevertheless, it is at least possible to exploit the structure of the corresponding model, and where possible reduce the level of uncertainty by choosing appropriate conditions for parameter estimation. This is the main topic of this thesis. The deviations of model predictions are predictable themselves, when the origin of occuring errors and the structure of the model is known. Methods for this possibility shall be developed to assess the value of individual measurements for parameter estimation. In laboratory experiments one is able to influence the initial conditions. Therefore we will seek to predict, which initial conditions are most suitable for parameter estimation, before the experiment is actually run. The stochastic response on the noise generated from the unmodeled environment as well as the tendency to expand or shrink measurement errors are properties of the system. Therefore, no generic improvement for parameter estimation can be given independent of the model structure. However, since we are given a mathematical model and therefore some structural information is known explicitly, this information can be exploited to reduce the harmful effects of unprofitable error propagation. In laboratory experiments, this may be used to select the most suitable initial conditions and in field studies it may at least help to select the most effective measurements. This thesis shall develop the main ideas in a fairly general context and illustrate the results for low dimensional, well known, nonlinear dynamical systems. However, the concept shall be transfered to a specific problem in geophysics (geomorphology) in order to show the applicability of the developed methods. Therefore, the entire model for a geomorphological problem has been developed, which deals with the migration of meandering rivers. This model is used to transfer as much as possible from the theoretical results. The detailed insight into the model helps to assess the different problems that appear during application of the developed theory. The topic of this thesis is extensively influenced by an interdisciplinary research project that is dedicated to 'interactions between and modeling of continental geosystems'. Within this project a large variety of disciplines attempts to develop common concepts for the description of 'geophysical' processes on different time and space scales. The work in this collaborate research center is highly determined by the discrepancy between the exact and the holistic points of view. Exact mathematical descriptions are often too simple to reflect the whole complexity of natural processes, whereas the qualitative descriptions are not verifiable in a mathematical sense. This thesis touches overlapping aspects of both, and hopefully acts as a mediator.
[ BibTex ]
@PHDTHESIS{droste97:Uncertainty,
author ={Droste, Christoph},
title ={Uncertainty in Parameter Estimation for Nonlinear Dynamical Models},
school ={Institute of Photogrammetry, University of Bonn},
year ={1997},
}
Fuchs, Claudia:
Extraktion polymorpher Bildstrukturen und ihre topologische und geometrische Gruppierung
Dissertation, Bonn 1997
[ Zusammenfassung ]
Abstract:
Segmentation is a crucial step in digital image analysis. The task is to transfer the raster image into a symbolic image representation to make important image structures accessible for subsequent analysis steps. Depending on the application points, lines or regions (features) are extracted out of the raster data and grouped into more complex structures. Most of the existing approaches focus on one feature type only. 1. e., only few hybrid segmentation tools exist which combine more than one feature type. There is still a lack of segmentation tools providing satisfying results when applied to a wide range of application fields. As the importance of the three feature types and their characteristic attributes depend on the application, no general segmentation strategy can be formulated. Therefore, many task-specific segmentation procedures were developed in the past. On the one hand they provide good results for their tasks, on the other hand it is often time consuming to customise the procedures for new requirements as no unified image models or interfaces exist. To improve this situation a new polymorphic segmentation tool is required, which integrates the three feature types in one model. The thesis introduces a new segmentation procedure based on a complete polymorphic segmentation model. To provide flexibility, only generic scene knowledge is used under both idealised and noisy conditions to formalise the image model. This image model allows to extract the different feature types simultaneously or in any combination without loss of consistency. In addition, the procedure determines the neighbourhood relations between the features. The polymorphic features and their relations are stored in a feature adjacency graph. Thus, topological, geometric and radiometric image information can be used immediately in the following steps. In this thesis to two different grouping approaches are introduced which demonstrate the potential of the feature adjacency graph for the subsequent analysis. In both applications the relations are used for a scale invariant definition of local areas of interest without requiring any quantitative thresholds. In particular, in the first approach the different relations between the polymorphic features are analyzed aiming at the completion of still open structures after the feature extraction. In the second approach the different relations within the neighbourhoods are used to control the generation of geometric grouping hypotheses. Here, a robust parameter estimation is applied which allows a simultaneous evaluation of all generated hypotheses and the geometric corrections of the observed features in parallel. Examples of different application fields are given to demonstrate the performance, flexibility and handling of the procedure. The richness of the extracted and grouped structures fulfills the various requirements in a broad range of application fields. Different image functions and any number of image channels can be analyzed with the same algorithm. The uncertainty of the raster data is transferred into reliability measures of the symbolic structures, which e. g. can be used for error propagation in high-level interpretation steps. Due to the polymorphic strategy and the integration of statistical methods the control parameters can be reduced to a minimum number. The remaining control parameters allow an intuitive use and are related to the underlying image model. In summary the thesis shows that the extraction of polymorphic features and their neighbourhood relations yield good segmentation results over a wide range of application fields with a minimum number of control parameters and without requiring specific scene knowledge. Certain aspects of the approach can be integrated in other segmentation approaches to improve their quality or efficiency. The thesis provides prerequisites for new or extended image interpretation strategies and might be used as a base for the development of complete polymorphic image analysis systems in the future.
Zusammenfassung:
Die Segmentierung bildet eine wichtige Teilaufgabe in der automatisierten Informationsgewinnung aus digitalen Bildern. Ziel ist es, die rasterhafte Bildbeschreibung in eine symbolische Darstellung zu überführen. In Abhängigkeit der Aufgabenstellung werden dazu signifikante Punkte, Linien oder Regionen (Merkmale) extrahiert und gegebenenfalls zu komplexeren Bildstrukturen gruppiert. Dabei beschränkt sich die Mehrzahl der Verfahren auf eine der drei Merkmalsklassen, und es wurden bisher nur wenige hybride Ansätze vorgestellt, in denen gleichzeitig verschiedene Merkmalsklassen extrahiert und gruppiert werden. Ein allgemeines Problem der Segmentierung besteht darin, daß die Wichtigkeit bestimmter Strukturen anwendungsabhängig ist, so daß keine allgemeingültige Strategie formuliert werden kann. Dies erklärt die Existenz zahlreicher Einzellösungen, die sich auf die jeweils relevanten Bildstrukturen beschränken. Der Vorteil der Spezialisierung steht dem Nachteil gegenüber, daß eine spätere Erweiterung oder Kombination der verschiedenen Ansätze nicht möglich oder aber aufwendig ist. Um diese Situation zu verbessern, wird ein polymorphes Segmentierungsverfahren benötigt, in dem alle drei Merkmalsklassen gemeinsam in einem geschlossenen Bildmodell integriert werden. Das hier vorgestellte Verfahren zeichnet sich durch eine durchgängig polymorphe Modellierung der Segmentierungsaufgabe aus. Der Aufbau des Bildmodells erfolgt als Funktion allgemeingültiger Eigenschaften der Objekte und Sensoren unter idealisierten wie auch realen Bedingungen. Es liefert die Grundlage für eine simultane Extraktion der drei Merkmalsklassen in beliebiger Kombination. Zusätzlich werden die Nachbarschaftsbeziehungen zwischen den extrahierten Merkmalen bestimmt und zusammen mit den Merkmalen in einem Merkmals-Nachbarschafts-Graph abgelegt. Der Graph erlaubt bei der weiteren Auswertung einen unmittelbaren Zugriff auf geometrische, radiometrische und topologische Bildeigenschaften. In der Arbeit werden zwei Gruppierungsansätze vorgestellt, in denen die vielseitigen Analysemöglichkeiten deutlich werden, die sich allein aus der Informationsvielfalt des Graphen ergeben. Die Nachbarschaftsrelationen ermöglichen dabei eine qualitative, maßstabsinvariante Definition der Gruppierungsräume. Im ersten Ansatz werden die verschiedenen Nachbarschaftsbeziehungen zwischen den polymorphen Merkmalen gezielt zur Vervollständigung lokal offener Strukturen ausgewertet. Im zweiten Ansatz werden die Relationen zwischen den polymorphen Merkmalen zum effizienten Aufbau geometrischer Gruppierungshypothesen genutzt. Die Bewertung aller Hypothesen erfolgt dann simultan mit Hilfe eines robusten Schätzverfahrens, wobei gleichzeitig auch eine geometrische Korrektur der extrahierten Merkmale stattfindet. Die Leistungsfähigkeit, die Flexibilität und die Handhabung des Verfahrens werden an verschiedenen Anwendungsbeispielen demonstriert. Mit dem Ansatz können sowohl ein- wie auch mehrkanalige Bilder verschiedener Sensoren ausgewertet werden. Durch die Integration statistischer Verfahren kann die in den Rasterdaten verankerte Unsicherheit als Gütemaße der extrahierten Strukturen auf symbolische Ebene übertragen und an die nachfolgenden Prozesse übergeben werden. Durch die polymorphe Herangehensweise und den Einsatz statistischer Methoden ist es möglich, die Anzahl der Steuerparameter auf ein Minimum zu reduzieren. Die verbleibenden Parameter lassen sich auf die Eigenschaften des Bildmodells abbilden und sind in ihrer Bedeutung für den Anwender verständlich. Insgesamt zeigt die Arbeit, daß durch die Polymorphie und die Integration der Nachbarschaftsrelationen in vielen Anwendungsbereichen gute Segmentierungsergebnisse erzielt werden können, ohne objektspezifisches Wissen einsetzen zu müssen. Das vorgestellte Verfahren enthält verschiedene Teilprozesse, die qualitätsbestimmend und qualitäts- oder effizienzsteigernd auch in anderen Verfahren integriert werden können. Zusammenfassend schafft die Arbeit eine Grundlage für erweiterte Interpretationsansätze und öffnet neue Perspektiven für die Entwicklung vollständig polymorpher Bildanalysesysteme.
Segmentation is a crucial step in digital image analysis. The task is to transfer the raster image into a symbolic image representation to make important image structures accessible for subsequent analysis steps. Depending on the application points, lines or regions (features) are extracted out of the raster data and grouped into more complex structures. Most of the existing approaches focus on one feature type only. 1. e., only few hybrid segmentation tools exist which combine more than one feature type. There is still a lack of segmentation tools providing satisfying results when applied to a wide range of application fields. As the importance of the three feature types and their characteristic attributes depend on the application, no general segmentation strategy can be formulated. Therefore, many task-specific segmentation procedures were developed in the past. On the one hand they provide good results for their tasks, on the other hand it is often time consuming to customise the procedures for new requirements as no unified image models or interfaces exist. To improve this situation a new polymorphic segmentation tool is required, which integrates the three feature types in one model. The thesis introduces a new segmentation procedure based on a complete polymorphic segmentation model. To provide flexibility, only generic scene knowledge is used under both idealised and noisy conditions to formalise the image model. This image model allows to extract the different feature types simultaneously or in any combination without loss of consistency. In addition, the procedure determines the neighbourhood relations between the features. The polymorphic features and their relations are stored in a feature adjacency graph. Thus, topological, geometric and radiometric image information can be used immediately in the following steps. In this thesis to two different grouping approaches are introduced which demonstrate the potential of the feature adjacency graph for the subsequent analysis. In both applications the relations are used for a scale invariant definition of local areas of interest without requiring any quantitative thresholds. In particular, in the first approach the different relations between the polymorphic features are analyzed aiming at the completion of still open structures after the feature extraction. In the second approach the different relations within the neighbourhoods are used to control the generation of geometric grouping hypotheses. Here, a robust parameter estimation is applied which allows a simultaneous evaluation of all generated hypotheses and the geometric corrections of the observed features in parallel. Examples of different application fields are given to demonstrate the performance, flexibility and handling of the procedure. The richness of the extracted and grouped structures fulfills the various requirements in a broad range of application fields. Different image functions and any number of image channels can be analyzed with the same algorithm. The uncertainty of the raster data is transferred into reliability measures of the symbolic structures, which e. g. can be used for error propagation in high-level interpretation steps. Due to the polymorphic strategy and the integration of statistical methods the control parameters can be reduced to a minimum number. The remaining control parameters allow an intuitive use and are related to the underlying image model. In summary the thesis shows that the extraction of polymorphic features and their neighbourhood relations yield good segmentation results over a wide range of application fields with a minimum number of control parameters and without requiring specific scene knowledge. Certain aspects of the approach can be integrated in other segmentation approaches to improve their quality or efficiency. The thesis provides prerequisites for new or extended image interpretation strategies and might be used as a base for the development of complete polymorphic image analysis systems in the future.
Zusammenfassung:
Die Segmentierung bildet eine wichtige Teilaufgabe in der automatisierten Informationsgewinnung aus digitalen Bildern. Ziel ist es, die rasterhafte Bildbeschreibung in eine symbolische Darstellung zu überführen. In Abhängigkeit der Aufgabenstellung werden dazu signifikante Punkte, Linien oder Regionen (Merkmale) extrahiert und gegebenenfalls zu komplexeren Bildstrukturen gruppiert. Dabei beschränkt sich die Mehrzahl der Verfahren auf eine der drei Merkmalsklassen, und es wurden bisher nur wenige hybride Ansätze vorgestellt, in denen gleichzeitig verschiedene Merkmalsklassen extrahiert und gruppiert werden. Ein allgemeines Problem der Segmentierung besteht darin, daß die Wichtigkeit bestimmter Strukturen anwendungsabhängig ist, so daß keine allgemeingültige Strategie formuliert werden kann. Dies erklärt die Existenz zahlreicher Einzellösungen, die sich auf die jeweils relevanten Bildstrukturen beschränken. Der Vorteil der Spezialisierung steht dem Nachteil gegenüber, daß eine spätere Erweiterung oder Kombination der verschiedenen Ansätze nicht möglich oder aber aufwendig ist. Um diese Situation zu verbessern, wird ein polymorphes Segmentierungsverfahren benötigt, in dem alle drei Merkmalsklassen gemeinsam in einem geschlossenen Bildmodell integriert werden. Das hier vorgestellte Verfahren zeichnet sich durch eine durchgängig polymorphe Modellierung der Segmentierungsaufgabe aus. Der Aufbau des Bildmodells erfolgt als Funktion allgemeingültiger Eigenschaften der Objekte und Sensoren unter idealisierten wie auch realen Bedingungen. Es liefert die Grundlage für eine simultane Extraktion der drei Merkmalsklassen in beliebiger Kombination. Zusätzlich werden die Nachbarschaftsbeziehungen zwischen den extrahierten Merkmalen bestimmt und zusammen mit den Merkmalen in einem Merkmals-Nachbarschafts-Graph abgelegt. Der Graph erlaubt bei der weiteren Auswertung einen unmittelbaren Zugriff auf geometrische, radiometrische und topologische Bildeigenschaften. In der Arbeit werden zwei Gruppierungsansätze vorgestellt, in denen die vielseitigen Analysemöglichkeiten deutlich werden, die sich allein aus der Informationsvielfalt des Graphen ergeben. Die Nachbarschaftsrelationen ermöglichen dabei eine qualitative, maßstabsinvariante Definition der Gruppierungsräume. Im ersten Ansatz werden die verschiedenen Nachbarschaftsbeziehungen zwischen den polymorphen Merkmalen gezielt zur Vervollständigung lokal offener Strukturen ausgewertet. Im zweiten Ansatz werden die Relationen zwischen den polymorphen Merkmalen zum effizienten Aufbau geometrischer Gruppierungshypothesen genutzt. Die Bewertung aller Hypothesen erfolgt dann simultan mit Hilfe eines robusten Schätzverfahrens, wobei gleichzeitig auch eine geometrische Korrektur der extrahierten Merkmale stattfindet. Die Leistungsfähigkeit, die Flexibilität und die Handhabung des Verfahrens werden an verschiedenen Anwendungsbeispielen demonstriert. Mit dem Ansatz können sowohl ein- wie auch mehrkanalige Bilder verschiedener Sensoren ausgewertet werden. Durch die Integration statistischer Verfahren kann die in den Rasterdaten verankerte Unsicherheit als Gütemaße der extrahierten Strukturen auf symbolische Ebene übertragen und an die nachfolgenden Prozesse übergeben werden. Durch die polymorphe Herangehensweise und den Einsatz statistischer Methoden ist es möglich, die Anzahl der Steuerparameter auf ein Minimum zu reduzieren. Die verbleibenden Parameter lassen sich auf die Eigenschaften des Bildmodells abbilden und sind in ihrer Bedeutung für den Anwender verständlich. Insgesamt zeigt die Arbeit, daß durch die Polymorphie und die Integration der Nachbarschaftsrelationen in vielen Anwendungsbereichen gute Segmentierungsergebnisse erzielt werden können, ohne objektspezifisches Wissen einsetzen zu müssen. Das vorgestellte Verfahren enthält verschiedene Teilprozesse, die qualitätsbestimmend und qualitäts- oder effizienzsteigernd auch in anderen Verfahren integriert werden können. Zusammenfassend schafft die Arbeit eine Grundlage für erweiterte Interpretationsansätze und öffnet neue Perspektiven für die Entwicklung vollständig polymorpher Bildanalysesysteme.
[ BibTex ]
@PHDTHESIS{fuchs97:Extraktion,
author ={Fuchs,Claudia},
title ={Extraktion polymorpher Bildstrukturen und ihre topologische und geometrische Gruppierung},
school ={Institute of Photogrammetry, University of Bonn},
year ={1997},
}
Teleki, László:
Dreidimensionale Qualitative Gebäuderekonstruktion
Dissertation, Bonn 1997
[ Zusammenfassung ]
Abstract:
The need for three-dimensional building data for city models increased during the last years. In many case the building data are not complete or they are missing. Due to this reason the capture and update of this data is required. As the tasks are expensive, automation will help to reduce costs. This dissertation discusses the automatic reconstruction of the topology of buildings from qualitatively described three-dimensional structures. Starting point are corners of buildings, extracted on a stereo based analysis. The corners as well as their mutual relations are classified qualitatively. We present an algorithm that connects the corners to buildings. The result can then be used for a quantitative reconstruction. The exclusive use of qualitative description of three-dimensional structures for the reconstruction of the topology is a new approach. The majority of known algorithms are using numerical and statistical methods. The advantage of the qualitative framework lies in a reduction of the number of solutions in contrast numerical methods. Topological reconstruction uses geometrical informations and relations between the corners. Such are i.e. the collinearity of corner edges, the coplanarity of planes or orientation information of edges of the form the edge directs up-left. The framework contains steps for the connection of the corner edges, the reconstruction of the building planes and the consistency verification of intermediate results. A partial reconstruction of the building is done if corners are missing. The methodology transfers known methods from mathematics especially analytic geometry to a new qualitative framework. The framework and the qualitative descriptions show that qualitative reasoning are in principle suitable for building extraction.
Zusammenfassung:
Gebäudedaten bilden einen wesentlichen Bestandteil von dreidimensionalen Stadtmodellen, die in den letzten Jahren immer mehr nachgefragt werden. Solche Daten sind häufig nicht oder nur teilweise verfügbar, somit ist eine Ersterfassung bzw. eine Fortführung notwendig. Der hohe Aufwand, der mit diesen Arbeiten verbunden ist, kann mit einer Automatisierung verringert werden. Thema der Arbeit ist die automatische Rekonstruktion der Topologie von Gebäuden aus räumlichen, qualitativ beschriebenen Strukturen. Ausgangspunkt sind Eckstrukturen, die durch Stereoanalyse aus den Bildern gewonnen, klassifiziert und damit qualitativ repräsentiert werden, einschließlich von Beziehungen zwischen diesen Ecken. Es wird ein Verfahren konzipiert und entwickelt, das die topologische Verknüpfungsstruktur der vorliegenden Ecken bestimmt, die als Grundlage für die metrische Rekonstruktion der Gebäude dienen kann. Die ausschließliche Nutzung qualitiativer Beschreibung dreidimensionaler Strukturen zur Rekonstruktion der Topologie stellt einen neuen Ansatz dar. Die meisten aus der Literatur bekannten Verfahren verwenden numerisch- statistische Methoden zur Rekonstruktion. Mit Hilfe des qualitativen Ansatzes wird in der Regel die Menge der Lösungen, die mit Hilfe numerischer Methoden erzeugt wurden, stark reduziert. Die topologische Rekonstruktion von Gebäuden verwendet geometrische Informationen und Relationen zwischen den Elementen der Ecken, wie z.B. die Kollinearität von Kanten oder die Punkt-Flächen-Inzidenz, und Orientierungsinformationen von Kanten der Form die Kante zeigt nach links-oben. Die Rekonstruktion beinhaltet Schritte zur Bestimmung von Gebäudeflächen, zur Verknüpfung von Ecken und die Konsistenzprüfung der Zwischenergebnisse. Eine gegebenenfalls partielle Rekonstruktion von Gebäuden, die durch fehlende Ecken verursacht wird, steuert alle Aspekte des Verfahrens. Bei der Formulierung der qualitativen Bedingungen wurde auf logische Konsistenz mit bekannten mathematischen Methoden, speziell aus der analytischen Geometrie, wertgelegt. Das vorgestellte Verfahren und die einfließenden Begriffe und Operationen zeigen die prinzipielle Eignung von qualitativen Methoden in dem Bereich der Gebäudeextraktion.
The need for three-dimensional building data for city models increased during the last years. In many case the building data are not complete or they are missing. Due to this reason the capture and update of this data is required. As the tasks are expensive, automation will help to reduce costs. This dissertation discusses the automatic reconstruction of the topology of buildings from qualitatively described three-dimensional structures. Starting point are corners of buildings, extracted on a stereo based analysis. The corners as well as their mutual relations are classified qualitatively. We present an algorithm that connects the corners to buildings. The result can then be used for a quantitative reconstruction. The exclusive use of qualitative description of three-dimensional structures for the reconstruction of the topology is a new approach. The majority of known algorithms are using numerical and statistical methods. The advantage of the qualitative framework lies in a reduction of the number of solutions in contrast numerical methods. Topological reconstruction uses geometrical informations and relations between the corners. Such are i.e. the collinearity of corner edges, the coplanarity of planes or orientation information of edges of the form the edge directs up-left. The framework contains steps for the connection of the corner edges, the reconstruction of the building planes and the consistency verification of intermediate results. A partial reconstruction of the building is done if corners are missing. The methodology transfers known methods from mathematics especially analytic geometry to a new qualitative framework. The framework and the qualitative descriptions show that qualitative reasoning are in principle suitable for building extraction.
Zusammenfassung:
Gebäudedaten bilden einen wesentlichen Bestandteil von dreidimensionalen Stadtmodellen, die in den letzten Jahren immer mehr nachgefragt werden. Solche Daten sind häufig nicht oder nur teilweise verfügbar, somit ist eine Ersterfassung bzw. eine Fortführung notwendig. Der hohe Aufwand, der mit diesen Arbeiten verbunden ist, kann mit einer Automatisierung verringert werden. Thema der Arbeit ist die automatische Rekonstruktion der Topologie von Gebäuden aus räumlichen, qualitativ beschriebenen Strukturen. Ausgangspunkt sind Eckstrukturen, die durch Stereoanalyse aus den Bildern gewonnen, klassifiziert und damit qualitativ repräsentiert werden, einschließlich von Beziehungen zwischen diesen Ecken. Es wird ein Verfahren konzipiert und entwickelt, das die topologische Verknüpfungsstruktur der vorliegenden Ecken bestimmt, die als Grundlage für die metrische Rekonstruktion der Gebäude dienen kann. Die ausschließliche Nutzung qualitiativer Beschreibung dreidimensionaler Strukturen zur Rekonstruktion der Topologie stellt einen neuen Ansatz dar. Die meisten aus der Literatur bekannten Verfahren verwenden numerisch- statistische Methoden zur Rekonstruktion. Mit Hilfe des qualitativen Ansatzes wird in der Regel die Menge der Lösungen, die mit Hilfe numerischer Methoden erzeugt wurden, stark reduziert. Die topologische Rekonstruktion von Gebäuden verwendet geometrische Informationen und Relationen zwischen den Elementen der Ecken, wie z.B. die Kollinearität von Kanten oder die Punkt-Flächen-Inzidenz, und Orientierungsinformationen von Kanten der Form die Kante zeigt nach links-oben. Die Rekonstruktion beinhaltet Schritte zur Bestimmung von Gebäudeflächen, zur Verknüpfung von Ecken und die Konsistenzprüfung der Zwischenergebnisse. Eine gegebenenfalls partielle Rekonstruktion von Gebäuden, die durch fehlende Ecken verursacht wird, steuert alle Aspekte des Verfahrens. Bei der Formulierung der qualitativen Bedingungen wurde auf logische Konsistenz mit bekannten mathematischen Methoden, speziell aus der analytischen Geometrie, wertgelegt. Das vorgestellte Verfahren und die einfließenden Begriffe und Operationen zeigen die prinzipielle Eignung von qualitativen Methoden in dem Bereich der Gebäudeextraktion.
[ BibTex ]
@PHDTHESIS{teleki97:Dreidimensionale,
author ={Teleki,Laszlo},
title ={Dreidimensionale Qualitative Gebäuderekonstruktion},
school ={Institute of Photogrammetry, University of Bonn},
year ={1997},
}
1996
Weidner, Uwe:
Building Extraction from Digital Surface Models
Dissertation, Bonn 1996
[ Zusammenfassung ]
Abstract:
During the last years the need for three-dimensional data describing urban areas increased. This data include building data, which in many cases are not available or do not fulfill the requirements of a special application. Due to these reasons, the capture and update of this data are necessary. Available techniques to solve these tasks are often expensive. Therefore, automization and thereby increasing the efficiency of data acquisition are required. The topic of the thesis is building extraction from Digital Surface Models (DSM). Such surface models do not only contain information about the topographic surface like Digital Elevation Models (DEM), but also about buildings and other objects higher than the topographic surface. An approach to automatic building extraction from DSM is presented and the suitability of DSM as input data for this purpose is investigated. The use of DSM for building extraction using parametric and prismatic building models as only input data is a new approach. It offers the possibility to use sensors like airborne laser scanners, which have not been used for the purpose of building data capture up to now. Previously published approaches dealing with building extraction often use DSM for building detection only. The inherent potential of DSM with respect to building reconstruction was explored only by a few authors, but either restricted to simple building models or by using digital images as additional and necessary input data. Besides DSM, GIS data is used in this approach as additional data source, which mostly contain only two-dimensional information. The object, sensor, and data models, which are used in this thesis, are discussed and motivated, and the strategy and methods for data exploitation are presented. The strategy and the object models - possibly in a modified form - are also used in other approaches to building extraction. Some of these approaches are discussed and the conclusions are reflected in the presented new approach. The new approach covers the detection and reconstruction of buildings using DSM as only input data. GIS data - if available - can be incorporated, allowing also change detection for the purpose of updating the GIS. The results of the different steps are evaluated qualitatively and quantitatively. The quality measures are derived and discussed. Furthermore, the results are compared to those of other approaches using reference data. The achieved results show that DSM is in principle suitable for building extraction using the described approach. Restrictions with respect to the only use of DSM and problems concerning the modelling are discussed and solutions are proposed.
Zusammenfassung:
Gebäudedaten bilden einen wesentlichen Bestandteil der in den letzten Jahren mehr und mehr nachgefragten dreidimensionalen Daten digitaler Stadtmodelle. Solche Daten sind häufig nicht verfügbar oder genügen nicht den Anforderungen der jeweiligen Anwendung. Aus diesen Gründen sind oftmals eine Ersterfassung und Fortführung notwendig. Die Lösung beider Aufgaben ist mit den heute eingesetzten Verfahren i. a. mit einem hohen Aufwand verbunden, so daß eine Automation und hierdurch eine Minimierung des Aufwandes wünschenswert sind. Thema dieser Arbeit ist die Gebäudeerfassung aus Digitalen Oberflächenmodellen (DOM). Diese repräsentieren nicht nur Information über die topographische Oberfläche, wie Digitale Höhenmodelle (DHM), sondern auch Information über die in einem Gebiet befindliche Bebauung und andere aus der topographischen Oberfläche herausragende Objekte. Es wird ein Verfahren zur automatischen Gebäudeerfassung aus DOM vorgestellt und die Eignung von DOM als Datengrundlage für die Gebäudeerfassung untersucht. Die alleinige Nutzung von DOM zur Gebäudeerfassung unter Verwendung parametrischer und prismatischer Gebäudemodelle stellt einen neuen Ansatz dar und ermöglicht den Einsatz von Sensoren, die bislang nicht zum Zweck der Gebäudeerfassung verwendet wurden, z. B. luftgestützte Laserabtaster. Die in der Literatur bekannten Verfahren zur Gebäudeerfassung setzen DOM oft ausschließlich zum Zweck der Gebäudedetektion ein. Das in ihrer Auswertung liegende Potential auch zur Gebäuderekonstruktion wird nur wenig ausgeschöpft. Als zusätzliche Datenquelle werden Geoinformationssysteme (GIS) genutzt, die i. a. nur zweidimensionale Information enthalten. Die verwendeten Objekt-, Sensor- und Datenmodelle werden vorgestellt und begründet, sowie die verfolgte Auswertestrategie und die Auswertemethoden dargestellt. Auswertestrategie- und Objektmodelle besitzen Allgemeingültigkeit und werden auch in der einen oder anderen Form in anderen Verfahren zur Gebäudeerfassung genutzt. Die aus der Diskussion dieser Verfahren abgeleiteten Schlußfolgerungen finden ihren Niederschlag in dem entwickelten Verfahren. Das neue Verfahren umfaßt die Detektion und Rekonstruktion von Gebäuden auf der alleinigen Datengrundlage von DOM und - falls verfügbar - zusätzlichen GIS-Daten, sowie eine Änderungsdetektion zum Zwecke der GIS-Fortführung. Ein wesentlicher Bestandteil der Arbeit ist die qualitative und quantitative, auf der Grundlage von abgeleiteten und diskutierten Kenngrößen durchgeführte Bewertung der erzielten Ergebnisse. Ferner werden die Ergebnisse anhand von Referenzdaten mit denen anderer Verfahren verglichen. Die erzielten Ergebnisse zeigen die prinzipielle Eignung von DOM zur Gebäudeerfassung mit dem hier entwickelten Verfahren an. Einschränkungen hinsichtlich der alleinigen Nutzung von DOM und Probleme hinsichtlich der Modellierung werden diskutiert und Lösungsansätze aufgezeigt.
During the last years the need for three-dimensional data describing urban areas increased. This data include building data, which in many cases are not available or do not fulfill the requirements of a special application. Due to these reasons, the capture and update of this data are necessary. Available techniques to solve these tasks are often expensive. Therefore, automization and thereby increasing the efficiency of data acquisition are required. The topic of the thesis is building extraction from Digital Surface Models (DSM). Such surface models do not only contain information about the topographic surface like Digital Elevation Models (DEM), but also about buildings and other objects higher than the topographic surface. An approach to automatic building extraction from DSM is presented and the suitability of DSM as input data for this purpose is investigated. The use of DSM for building extraction using parametric and prismatic building models as only input data is a new approach. It offers the possibility to use sensors like airborne laser scanners, which have not been used for the purpose of building data capture up to now. Previously published approaches dealing with building extraction often use DSM for building detection only. The inherent potential of DSM with respect to building reconstruction was explored only by a few authors, but either restricted to simple building models or by using digital images as additional and necessary input data. Besides DSM, GIS data is used in this approach as additional data source, which mostly contain only two-dimensional information. The object, sensor, and data models, which are used in this thesis, are discussed and motivated, and the strategy and methods for data exploitation are presented. The strategy and the object models - possibly in a modified form - are also used in other approaches to building extraction. Some of these approaches are discussed and the conclusions are reflected in the presented new approach. The new approach covers the detection and reconstruction of buildings using DSM as only input data. GIS data - if available - can be incorporated, allowing also change detection for the purpose of updating the GIS. The results of the different steps are evaluated qualitatively and quantitatively. The quality measures are derived and discussed. Furthermore, the results are compared to those of other approaches using reference data. The achieved results show that DSM is in principle suitable for building extraction using the described approach. Restrictions with respect to the only use of DSM and problems concerning the modelling are discussed and solutions are proposed.
Zusammenfassung:
Gebäudedaten bilden einen wesentlichen Bestandteil der in den letzten Jahren mehr und mehr nachgefragten dreidimensionalen Daten digitaler Stadtmodelle. Solche Daten sind häufig nicht verfügbar oder genügen nicht den Anforderungen der jeweiligen Anwendung. Aus diesen Gründen sind oftmals eine Ersterfassung und Fortführung notwendig. Die Lösung beider Aufgaben ist mit den heute eingesetzten Verfahren i. a. mit einem hohen Aufwand verbunden, so daß eine Automation und hierdurch eine Minimierung des Aufwandes wünschenswert sind. Thema dieser Arbeit ist die Gebäudeerfassung aus Digitalen Oberflächenmodellen (DOM). Diese repräsentieren nicht nur Information über die topographische Oberfläche, wie Digitale Höhenmodelle (DHM), sondern auch Information über die in einem Gebiet befindliche Bebauung und andere aus der topographischen Oberfläche herausragende Objekte. Es wird ein Verfahren zur automatischen Gebäudeerfassung aus DOM vorgestellt und die Eignung von DOM als Datengrundlage für die Gebäudeerfassung untersucht. Die alleinige Nutzung von DOM zur Gebäudeerfassung unter Verwendung parametrischer und prismatischer Gebäudemodelle stellt einen neuen Ansatz dar und ermöglicht den Einsatz von Sensoren, die bislang nicht zum Zweck der Gebäudeerfassung verwendet wurden, z. B. luftgestützte Laserabtaster. Die in der Literatur bekannten Verfahren zur Gebäudeerfassung setzen DOM oft ausschließlich zum Zweck der Gebäudedetektion ein. Das in ihrer Auswertung liegende Potential auch zur Gebäuderekonstruktion wird nur wenig ausgeschöpft. Als zusätzliche Datenquelle werden Geoinformationssysteme (GIS) genutzt, die i. a. nur zweidimensionale Information enthalten. Die verwendeten Objekt-, Sensor- und Datenmodelle werden vorgestellt und begründet, sowie die verfolgte Auswertestrategie und die Auswertemethoden dargestellt. Auswertestrategie- und Objektmodelle besitzen Allgemeingültigkeit und werden auch in der einen oder anderen Form in anderen Verfahren zur Gebäudeerfassung genutzt. Die aus der Diskussion dieser Verfahren abgeleiteten Schlußfolgerungen finden ihren Niederschlag in dem entwickelten Verfahren. Das neue Verfahren umfaßt die Detektion und Rekonstruktion von Gebäuden auf der alleinigen Datengrundlage von DOM und - falls verfügbar - zusätzlichen GIS-Daten, sowie eine Änderungsdetektion zum Zwecke der GIS-Fortführung. Ein wesentlicher Bestandteil der Arbeit ist die qualitative und quantitative, auf der Grundlage von abgeleiteten und diskutierten Kenngrößen durchgeführte Bewertung der erzielten Ergebnisse. Ferner werden die Ergebnisse anhand von Referenzdaten mit denen anderer Verfahren verglichen. Die erzielten Ergebnisse zeigen die prinzipielle Eignung von DOM zur Gebäudeerfassung mit dem hier entwickelten Verfahren an. Einschränkungen hinsichtlich der alleinigen Nutzung von DOM und Probleme hinsichtlich der Modellierung werden diskutiert und Lösungsansätze aufgezeigt.
[ BibTex ]
@PHDTHESIS{weidner96:Building,
author ={Weidner, Uwe},
title ={Building Extraction from Digital Surface Models},
school ={Institute of Photogrammetry, University of Bonn},
year ={1996},
}
Winter, Stephan:
Unsichere topologische Beziehungen zwischen ungenauen Flächen
Dissertation, Bonn 1996
[ Zusammenfassung ]
Abstract:
Uncertainty is an inherent property of observations. Abstracting the real world to conceptional objects is a step of generalization, and the measurement, taking place on abstracted objects, propagates this uncertainty, due to additional systematic, gross or random errors. Each spatial analysis is infected by these sources of uncertainty. It is necessary to introduce propagation of uncertainty in spatial reasoning to allow an assessment of the results. The scope of the thesis is to combine the process of observation with a mathematical model of qualitative spatial relations, modelling the randomness of the observations. A methodology is presented for probability-based decisions about spatial relations. When determining spatial relations from positional uncertain objects, one has to distinguish between quantitative relations, which become imprecise, and qualitative relations, which become uncertain. Topological relations, being of qualitative nature, mayor may not be true in presence of positional uncertainty. Assuming the overlay of two independent objects indicates a very small overlap, the question arises whether the two objects could be neighboured in reality. Comparing the degree of overlap to the size of uncertainty will allow to make a decision, and to assess this decision. Because of the essential importance of considering uncertainty in spatial analysis, a theoretically well-based model of uncertainty is preferred against limitations in validity or meaning. Therefore, in this thesis, positional uncertainty will be described stochastically, and the inference from this description to the uncertainty of derived spatial relations is treated with a statistical classification approach. Probabilities of single relations are determined, and the relation with maximum probability, given the evidence from observation, is chosen. At the beginning the separation of abstraction and measurement within the observation process is discussed. The complexity of regions is limited by the smoothness of the boundary when related to its uncertainty. In the following chapter the space of possible relations is reduced to two sub-graphs of the conceptual-neighbourhood-graph of binary relations between regions. Depending on the sub-graph that the relation between two regions belongs to, different sets of intersection sets between the two objects become uncertain. To describe the uncertainty a morphological distance function is defined, based on the skeleton. It is shown that it is sufficient to use the minimum and maximum distance, and to classify the relation, depending on the signs of these two values. For the first time the imprecision of measurement and the uncertainty of abstraction are described using probability densities. They are used to determine a vector of probabilities the sign of the distance values have, which is the basis for a Bayesian classification. From these distance classes the decision about the topological relation of the two objects is derived. In the last chapter examples show the versatility of the proposed methodology. Other approaches for handling uncertainty are discrete, using error bands, or fuzzy, with the problem of weaker results. With the strong connection to an observation process we hope to give a more valuable decision method, with probabilities as interpretable results, which should be useful for the assessment and propagation in spatial reasoning processes.
Zusammenfassung:
Beobachtungen sind prinzipiell unsicher. Die Abstraktion der realen Welt auf konzeptionelle Objekte stellt eine Generalisierung dar, und eine daran anschließende Aufnahme dieser abstrahierten Objekte ist ein Meßprozeß, der die Generalisierung festhält und zusätzlich mit systematischen, groben und zufälligen Fehlern behaftet ist. Jede räumliche Analyse wird durch die Beobachtungsunsicherheit räumlicher Daten beeinflußt. Daher ist es notwendig, die Fortpflanzung der Unsicherheit in der räumlichen Analyse einzuführen, um die Ergebnisse bewerten zu können. In dieser Arbeit wird der Beobachtungsprozeß mit einem mathematischen Modell qualitativer räumlicher Relationen verknüpft. Mit einer stochastischen Beschreibung der Unsicherheit wird eine wahrscheinlichkeitsbasierte Entscheidung über die räumliche Relation möglich. Die Lageunsicherheit räumlicher Objekte führt bei der Ableitung kontinuierlicher Werte zu ungenauen Ergebnissen und bei der Bestimmung diskreter oder qualitativer Aussagen zu unsicheren Ergebnissen. Topologische Relationen sind qualitativer Natur. Unter sicheren Objekten können sie daher richtig oder falsch bestimmt werden. Nehmen wir an, zwei flächenhafte Objekte aus unabhängigen Beobachtungen würden sich in kleinen Restflächen überlappen, dann stellt sich die Frage, ob sie in der realen Welt auch benachbart sein könnten. Eine Beurteilung der Situation wird die Größe der Lageunsicherheit mit dem Maß der Überlappung beider Objekte in Verbindung setzen. Wegen der grundsätzlichen Bedeutung, die Lageunsicherheit in jeder räumlichen Analyse zu berücksichtigen, wird auf das theoretische Fundament eines Ansatzes besonderer Wert gelegt. Aus diesem Grund wird in dieser Arbeit Lageunsicherheit stochastisch beschrieben. Für die Schlußfolgerung aus der Beschreibung der Lageunsicherheit auf die Unsicherheit der abgeleiteten räumlichen Beziehungen wird ein statistischer Klassifikationsansatz gewählt. Nach der Berechnung von Wahrscheinlichkeiten einzelner Klassen wird eine Entscheidung für diejenige Relation gefällt, die bei gegebener Evidenz aus der Beobachtung die größte Wahrscheinlichkeit besitzt. Am Anfang wird die Aufteilung des Beobachtungsprozesses in Abstraktion und Messung näher diskutiert. Außerdem werden Grundvoraussetzungen über die Kompaktheit und die Glattheit des Randes von Objekten in Bezug auf ihre Lageunsicherheit getroffen. Im nächsten Kapitel wird der Raum möglicher topologischer Relationen in zwei disjunkte Teilgraphen des conceptulal-neighborhood-Graphen binärer topologischer Beziehungen. zerlegt. Je nachdem zu welchem Teilgraphen die Beziehung zweier Objekte zählt, werden unterschiedliche Mengen von Schnittmengen unsicher. Um diese Unsicherheit zu beschreiben, wird eine morphologische Abstandsfunktion, basierend auf einem Skelett, definiert. Es wird gezeigt, daß es hinreichend ist, sich auf Minimum und Maximum unter den Abständen zu beschränken, und daß sich darüberhinaus allein aus dem Vorzeichen dieser Abstände die topologische Beziehung bestimmen läßt. Danach wird erstmalig die Meßungenauigkeit und die Abstraktionsunsicherheit durch Wahrscheinlichkeitsdichten modelliert. Damit läßt sich ein Wahrscheinlichkeitsvektor für die Vorzeichenklasse des Abstandsminimums und des Abstandsmaximums berechnen, der Grundlage einer Bayes-Klassifikation ist. Aus diesen Abstandsklassen wird auf die topologische Beziehung geschlossen. Zum Schluß wird der Nutzen des Verfahrens an Beispielen gezeigt. Andere Ansätze zur Handhabung von Lageunsicherheit arbeiten mit diskreten Mengen, z. B. Fehlerbändern, oder mit unscharfen Mengen, mit dem Nachteil schwächerer Ergebnisse. Durch die starke Kopplung an den Beobachtungsprozeß stellen wir ein aussagekräftiges Entscheidungsverfahren vor, das in Form von Wahrscheinlichkeiten interpretierbare Ergebnisse liefert, die zur Beurteilung sowie zur Fortpflanzung in der räumlichen Analyse benutzt werden können.
Uncertainty is an inherent property of observations. Abstracting the real world to conceptional objects is a step of generalization, and the measurement, taking place on abstracted objects, propagates this uncertainty, due to additional systematic, gross or random errors. Each spatial analysis is infected by these sources of uncertainty. It is necessary to introduce propagation of uncertainty in spatial reasoning to allow an assessment of the results. The scope of the thesis is to combine the process of observation with a mathematical model of qualitative spatial relations, modelling the randomness of the observations. A methodology is presented for probability-based decisions about spatial relations. When determining spatial relations from positional uncertain objects, one has to distinguish between quantitative relations, which become imprecise, and qualitative relations, which become uncertain. Topological relations, being of qualitative nature, mayor may not be true in presence of positional uncertainty. Assuming the overlay of two independent objects indicates a very small overlap, the question arises whether the two objects could be neighboured in reality. Comparing the degree of overlap to the size of uncertainty will allow to make a decision, and to assess this decision. Because of the essential importance of considering uncertainty in spatial analysis, a theoretically well-based model of uncertainty is preferred against limitations in validity or meaning. Therefore, in this thesis, positional uncertainty will be described stochastically, and the inference from this description to the uncertainty of derived spatial relations is treated with a statistical classification approach. Probabilities of single relations are determined, and the relation with maximum probability, given the evidence from observation, is chosen. At the beginning the separation of abstraction and measurement within the observation process is discussed. The complexity of regions is limited by the smoothness of the boundary when related to its uncertainty. In the following chapter the space of possible relations is reduced to two sub-graphs of the conceptual-neighbourhood-graph of binary relations between regions. Depending on the sub-graph that the relation between two regions belongs to, different sets of intersection sets between the two objects become uncertain. To describe the uncertainty a morphological distance function is defined, based on the skeleton. It is shown that it is sufficient to use the minimum and maximum distance, and to classify the relation, depending on the signs of these two values. For the first time the imprecision of measurement and the uncertainty of abstraction are described using probability densities. They are used to determine a vector of probabilities the sign of the distance values have, which is the basis for a Bayesian classification. From these distance classes the decision about the topological relation of the two objects is derived. In the last chapter examples show the versatility of the proposed methodology. Other approaches for handling uncertainty are discrete, using error bands, or fuzzy, with the problem of weaker results. With the strong connection to an observation process we hope to give a more valuable decision method, with probabilities as interpretable results, which should be useful for the assessment and propagation in spatial reasoning processes.
Zusammenfassung:
Beobachtungen sind prinzipiell unsicher. Die Abstraktion der realen Welt auf konzeptionelle Objekte stellt eine Generalisierung dar, und eine daran anschließende Aufnahme dieser abstrahierten Objekte ist ein Meßprozeß, der die Generalisierung festhält und zusätzlich mit systematischen, groben und zufälligen Fehlern behaftet ist. Jede räumliche Analyse wird durch die Beobachtungsunsicherheit räumlicher Daten beeinflußt. Daher ist es notwendig, die Fortpflanzung der Unsicherheit in der räumlichen Analyse einzuführen, um die Ergebnisse bewerten zu können. In dieser Arbeit wird der Beobachtungsprozeß mit einem mathematischen Modell qualitativer räumlicher Relationen verknüpft. Mit einer stochastischen Beschreibung der Unsicherheit wird eine wahrscheinlichkeitsbasierte Entscheidung über die räumliche Relation möglich. Die Lageunsicherheit räumlicher Objekte führt bei der Ableitung kontinuierlicher Werte zu ungenauen Ergebnissen und bei der Bestimmung diskreter oder qualitativer Aussagen zu unsicheren Ergebnissen. Topologische Relationen sind qualitativer Natur. Unter sicheren Objekten können sie daher richtig oder falsch bestimmt werden. Nehmen wir an, zwei flächenhafte Objekte aus unabhängigen Beobachtungen würden sich in kleinen Restflächen überlappen, dann stellt sich die Frage, ob sie in der realen Welt auch benachbart sein könnten. Eine Beurteilung der Situation wird die Größe der Lageunsicherheit mit dem Maß der Überlappung beider Objekte in Verbindung setzen. Wegen der grundsätzlichen Bedeutung, die Lageunsicherheit in jeder räumlichen Analyse zu berücksichtigen, wird auf das theoretische Fundament eines Ansatzes besonderer Wert gelegt. Aus diesem Grund wird in dieser Arbeit Lageunsicherheit stochastisch beschrieben. Für die Schlußfolgerung aus der Beschreibung der Lageunsicherheit auf die Unsicherheit der abgeleiteten räumlichen Beziehungen wird ein statistischer Klassifikationsansatz gewählt. Nach der Berechnung von Wahrscheinlichkeiten einzelner Klassen wird eine Entscheidung für diejenige Relation gefällt, die bei gegebener Evidenz aus der Beobachtung die größte Wahrscheinlichkeit besitzt. Am Anfang wird die Aufteilung des Beobachtungsprozesses in Abstraktion und Messung näher diskutiert. Außerdem werden Grundvoraussetzungen über die Kompaktheit und die Glattheit des Randes von Objekten in Bezug auf ihre Lageunsicherheit getroffen. Im nächsten Kapitel wird der Raum möglicher topologischer Relationen in zwei disjunkte Teilgraphen des conceptulal-neighborhood-Graphen binärer topologischer Beziehungen. zerlegt. Je nachdem zu welchem Teilgraphen die Beziehung zweier Objekte zählt, werden unterschiedliche Mengen von Schnittmengen unsicher. Um diese Unsicherheit zu beschreiben, wird eine morphologische Abstandsfunktion, basierend auf einem Skelett, definiert. Es wird gezeigt, daß es hinreichend ist, sich auf Minimum und Maximum unter den Abständen zu beschränken, und daß sich darüberhinaus allein aus dem Vorzeichen dieser Abstände die topologische Beziehung bestimmen läßt. Danach wird erstmalig die Meßungenauigkeit und die Abstraktionsunsicherheit durch Wahrscheinlichkeitsdichten modelliert. Damit läßt sich ein Wahrscheinlichkeitsvektor für die Vorzeichenklasse des Abstandsminimums und des Abstandsmaximums berechnen, der Grundlage einer Bayes-Klassifikation ist. Aus diesen Abstandsklassen wird auf die topologische Beziehung geschlossen. Zum Schluß wird der Nutzen des Verfahrens an Beispielen gezeigt. Andere Ansätze zur Handhabung von Lageunsicherheit arbeiten mit diskreten Mengen, z. B. Fehlerbändern, oder mit unscharfen Mengen, mit dem Nachteil schwächerer Ergebnisse. Durch die starke Kopplung an den Beobachtungsprozeß stellen wir ein aussagekräftiges Entscheidungsverfahren vor, das in Form von Wahrscheinlichkeiten interpretierbare Ergebnisse liefert, die zur Beurteilung sowie zur Fortpflanzung in der räumlichen Analyse benutzt werden können.
[ BibTex ]
@PHDTHESIS{winter96:Unsichere,
author ={Winter, Stephan},
title ={Unsichere topologische Beziehungen zwischen ungenauen Flächen},
school ={Institute of Photogrammetry, University of Bonn},
year ={1996},
}
1994
Braun, Carola:
Interpretation von Einzelbildern zur Gebäuderekonstruktion
Dissertation, Bonn 1994
[ Zusammenfassung ]
Abstract:
An approach is presented for interpreting single images to determine the shape, orientation and position of three-dimensional objects in space. Usually two or more images are used for deriving geometrical information about spatial objects. The matching of two-dimensional image structures of artificial objects is still a difficult procedure, especially in images with natural light conditions. In general, information about spatial objects cannot be derived from one image without additional information, as only two observed image coordinates are given to determine the three unknown object coordinates. Still the elimination of the object deficiency is possible, if the object consists of surfaces which can be described by simple and known functions. The approach of the presented thesis reconstructs artificial objects such as buildings, which can be approximated by polyhedra. These objects dispose of geometrical attributes and relations such as points belonging to planes, parallel and perpendicular lines and planes. These and other functions between the attributes/relations and the unknown parameters are used as additional information to eliminate the object deficiency. The given input data are line drawings, which are extracted manually by the operator or automatically by digital image processing methods. The parameters of the interior orientation and at least one distance at the object are assumed to be known, if the object is to be reconstructed in reality. Some of the methods of the inverse perspective, known in literature as single solutions, are adopted in the system, infering the object in space in a reasoning process. For that purpose, hypotheses about attributes and relations of the objects are automatically generated in space. The object reconstruction can be supported by interactive inputs. The object elements points, lines and planes are then calculated in space on the basis of the given image observations and the determined hypotheses about attributes and relations. For example parallel lines in space are projected in a convergent way in the image plane. Their vanishing point refers to the orientation of the corresponding lines in space. It was necessary to select suitable representations for the object elements in order to directly calculate them in space. Random measurement noise and more hypotheses as necessary for a definite object reconstruction affect the result. To achieve an optimal 3D-description of the object and to estimate the unknown object points, all available observations and additional information are to be taken into consideration in a least-squares adjustment, using realistic weights for the different groups of observations. It might occur that the input image data set does not correspond to the strong projection of a polyhedra. To overcome this problem, the least-squares reconstruction also enables the correction of line drawings, so the projected objects can be determined in space as three-dimensional polyhedral objects. Advantages of the object reconstruction, refering to methods of Computer Vision, are a semi or full-automatic determination of spatial objects in single images with minimum interactive inputs. The object reconstruction also supplies the initial values and additional information necessary for the estimation of the object. On the one hand the least-squares reconstruction is able to handle all given information in an optimal way, on the other hand it also can improve incorrect sketches. Several examples demonstrate the efficiency of the presented approach for some applications.
Zusammenfassung:
Die vorliegende Arbeit befaßt sich mit der Automatisierung von Bildinterpretationsprozessen zur Rekonstruktion dreidimensionaler Objekte aus Einzelbildern. In der Regel wird die Gewinnung von Daten über räumliche Objekte mit zwei und mehr Bildern durchgeführt. Die automatische Zuordnung zweidimensionaler Bildstrukturen künstlicher Objekte ist jedoch insbesondere in Bildern mit natürlichen Beleuchtungsverhältnissen schwierig. Bei dem hier verfolgten Ansatz wird zunächst so viel räumliche Objektinformation wie möglich aus einem Bild extrahiert. Für die Ableitung einer vollständigen Objektbeschreibung können die aus mehreren Einzelbildern gewonnenen unvollständigen Objektbeschreibungen im Raum verknüpft werden. Im Gegensatz zu Zuordnungen zweidimensionaler Bildstrukturen liegt dann ein reduzierter Suchraum vor. Im allgemeinen kann aus einem Bild nicht ohne weiteres räumliche Objektinformation abgeleitet werden, da zur Bestimmung von drei unbekannten Objektkoordinaten nur zwei beobachtete Bildkoordinaten zur Verfügung stehen. Die Beseitigung dieses Objektdefekts ist jedoch möglich, wenn das Objekt aus Flächen besteht, die durch analytische Funktionen beschreibbar sind. Es können dann bekannte oder ableitbare Objekteigenschaften, die mathematisch formulierbar sind, als Zusatzinformation verwendet werden. In der Arbeit geht es um die Rekonstruktion künstlicher Objekte, die durch Polyeder approximierbar sind. Sie besitzen geometrische Eigenschaften und Beziehungen wie Zugehörigkeiten zwischen Punkten und Ebenen (Inzidenzen) sowie parallele und senkrechte Geraden und Ebenen, die zusätzlich bei Gebäuden horizontal oder vertikal sein können. Zum Beispiel werden im Raum parallele Geraden in der Regel in der Bildebene konvergent abgebildet, jedoch ist aus ihren Fluchtpunkten die räumliche Orientierung der zugehörigen Geraden bestimmbar. Diese und weitere funktionale Zusammenhänge zwischen den Objektunbekannten werden als Zusatzinformation zur Beseitigung des Objektdefekts verwendet. Ansätze, die die Eigenschaften der Perspektiven Projektion nutzen, sind als "shape from angle" im Computer-Vision-Bereich bekannt. Zentrales Anliegen der Arbeit ist die Entwicklung eines Verfahrens zur Bestimmung der Form, Orientierung und Position von dreidimensionalen Objekten im Raum aus einem Einzelbild. Das untersuchte Bildmaterial sind Strichzeichnungen, die automatisch mit Methoden der Digitalen Bildverarbeitung oder interaktiv erzeugt werden. Sie können fehlerhaft und unvollständig sein. Für die Objektrekonstruktion wird die Innere Orientierung der Kamera als bekannt vorausgesetzt, denn sie läßt sich nur in bestimmten Fällen aus einem Bild ableiten. Wenn das Objekt in realer Größe rekonstruiert werden soll, muß mindestens eine Strecke am Objekt als Maßstabsinformation bekannt sein. Die in der Literatur meist als Einzellösungen bekannten Methoden der Inversen Perspektive werden als Regeln formuliert. Mit diesen Regeln wird in einem Schlußfolgerungsprozeß auf das Objekt im Raum geschlossen. Dazu werden automatisch Hypothesen über Eigenschaften und Beziehungen des Objekts im Raum generiert. Mit den Bildbeobachtungen und den als Hypothesen vorliegenden Eigenschaften und Beziehungen können dann nacheinander die Objektpunkte im Raum berechnet werden. Für diese direkte Bestimmung wurde eine geeignete Repräsentationen für die Objektelemente gewählt. Der Rekonstruktionsprozeß kann durch interaktive Vorgaben unterstützt werden, wenn nicht genügend Zusatzinformation automatisch aus der Strichzeichnung ermittelt werden kann. Für eine optimale Schätzung der unbekannten Objektpunkte werden alle vorliegenden Bildbeobachtungen und die ermittelten Hypothesen berücksichtigt. Die realistische Gewichtung der unterschiedlichen Gruppen der eingeführten Beobachtungsgleichungen wird mit Hilfe von Genauigkeitsabschätzungen vorgenommen. Die Ergebnisse der zuvor durchgeführten Einzelbildinterpretation werden als Näherungswerte verwendet. Mit Hilfe der Parameterschätzung ist es auch möglich, fehlerhafte Strichzeichnungen zu korrigieren, aus denen die abgebildeten Objekte sonst nicht als dreidimensionale polyederförmige Körper rekonstruiert werden können. Für die Rekonstruktion dreidimensionaler Objekte aus Einzelbildern sind bekannte Grundlagen und Methoden aus der Geodäsie und dem Computer-Vision-Bereich eingesetzt worden. Das automatische Räumliche Schließen, das auf Arbeiten aus dem Computer- Vision-Bereich zurückgeht, liefert die für eine optimale Schätzung des Objekts notwendigen Näherungswerte und Beobachtungen. Die Parameterschätzung berücksichtigt alle vorliegenden Beobachtungen und Zusatzinformation und löst das Problem der Interpretation nicht korrekter Skizzen. Das entwickelte Verfahren läßt sich in verschiedener Hinsicht ergänzen und verbessern, da zur Lösung der Aufgabe zunächst Bedingungen definiert wurden, die die Art der Objekte einschränken und zum Teil hohe Anforderungen an das Ausgangsdatenmaterial stellen. Die Beispiele zeigen, daß das Verfahren für verschiedene Anwendungszwecke bereits in der vorliegenden Form einsetzbar ist, jedoch bei entsprechender Adaption auf allgemeinere Objekte erweiterbar ist.
An approach is presented for interpreting single images to determine the shape, orientation and position of three-dimensional objects in space. Usually two or more images are used for deriving geometrical information about spatial objects. The matching of two-dimensional image structures of artificial objects is still a difficult procedure, especially in images with natural light conditions. In general, information about spatial objects cannot be derived from one image without additional information, as only two observed image coordinates are given to determine the three unknown object coordinates. Still the elimination of the object deficiency is possible, if the object consists of surfaces which can be described by simple and known functions. The approach of the presented thesis reconstructs artificial objects such as buildings, which can be approximated by polyhedra. These objects dispose of geometrical attributes and relations such as points belonging to planes, parallel and perpendicular lines and planes. These and other functions between the attributes/relations and the unknown parameters are used as additional information to eliminate the object deficiency. The given input data are line drawings, which are extracted manually by the operator or automatically by digital image processing methods. The parameters of the interior orientation and at least one distance at the object are assumed to be known, if the object is to be reconstructed in reality. Some of the methods of the inverse perspective, known in literature as single solutions, are adopted in the system, infering the object in space in a reasoning process. For that purpose, hypotheses about attributes and relations of the objects are automatically generated in space. The object reconstruction can be supported by interactive inputs. The object elements points, lines and planes are then calculated in space on the basis of the given image observations and the determined hypotheses about attributes and relations. For example parallel lines in space are projected in a convergent way in the image plane. Their vanishing point refers to the orientation of the corresponding lines in space. It was necessary to select suitable representations for the object elements in order to directly calculate them in space. Random measurement noise and more hypotheses as necessary for a definite object reconstruction affect the result. To achieve an optimal 3D-description of the object and to estimate the unknown object points, all available observations and additional information are to be taken into consideration in a least-squares adjustment, using realistic weights for the different groups of observations. It might occur that the input image data set does not correspond to the strong projection of a polyhedra. To overcome this problem, the least-squares reconstruction also enables the correction of line drawings, so the projected objects can be determined in space as three-dimensional polyhedral objects. Advantages of the object reconstruction, refering to methods of Computer Vision, are a semi or full-automatic determination of spatial objects in single images with minimum interactive inputs. The object reconstruction also supplies the initial values and additional information necessary for the estimation of the object. On the one hand the least-squares reconstruction is able to handle all given information in an optimal way, on the other hand it also can improve incorrect sketches. Several examples demonstrate the efficiency of the presented approach for some applications.
Zusammenfassung:
Die vorliegende Arbeit befaßt sich mit der Automatisierung von Bildinterpretationsprozessen zur Rekonstruktion dreidimensionaler Objekte aus Einzelbildern. In der Regel wird die Gewinnung von Daten über räumliche Objekte mit zwei und mehr Bildern durchgeführt. Die automatische Zuordnung zweidimensionaler Bildstrukturen künstlicher Objekte ist jedoch insbesondere in Bildern mit natürlichen Beleuchtungsverhältnissen schwierig. Bei dem hier verfolgten Ansatz wird zunächst so viel räumliche Objektinformation wie möglich aus einem Bild extrahiert. Für die Ableitung einer vollständigen Objektbeschreibung können die aus mehreren Einzelbildern gewonnenen unvollständigen Objektbeschreibungen im Raum verknüpft werden. Im Gegensatz zu Zuordnungen zweidimensionaler Bildstrukturen liegt dann ein reduzierter Suchraum vor. Im allgemeinen kann aus einem Bild nicht ohne weiteres räumliche Objektinformation abgeleitet werden, da zur Bestimmung von drei unbekannten Objektkoordinaten nur zwei beobachtete Bildkoordinaten zur Verfügung stehen. Die Beseitigung dieses Objektdefekts ist jedoch möglich, wenn das Objekt aus Flächen besteht, die durch analytische Funktionen beschreibbar sind. Es können dann bekannte oder ableitbare Objekteigenschaften, die mathematisch formulierbar sind, als Zusatzinformation verwendet werden. In der Arbeit geht es um die Rekonstruktion künstlicher Objekte, die durch Polyeder approximierbar sind. Sie besitzen geometrische Eigenschaften und Beziehungen wie Zugehörigkeiten zwischen Punkten und Ebenen (Inzidenzen) sowie parallele und senkrechte Geraden und Ebenen, die zusätzlich bei Gebäuden horizontal oder vertikal sein können. Zum Beispiel werden im Raum parallele Geraden in der Regel in der Bildebene konvergent abgebildet, jedoch ist aus ihren Fluchtpunkten die räumliche Orientierung der zugehörigen Geraden bestimmbar. Diese und weitere funktionale Zusammenhänge zwischen den Objektunbekannten werden als Zusatzinformation zur Beseitigung des Objektdefekts verwendet. Ansätze, die die Eigenschaften der Perspektiven Projektion nutzen, sind als "shape from angle" im Computer-Vision-Bereich bekannt. Zentrales Anliegen der Arbeit ist die Entwicklung eines Verfahrens zur Bestimmung der Form, Orientierung und Position von dreidimensionalen Objekten im Raum aus einem Einzelbild. Das untersuchte Bildmaterial sind Strichzeichnungen, die automatisch mit Methoden der Digitalen Bildverarbeitung oder interaktiv erzeugt werden. Sie können fehlerhaft und unvollständig sein. Für die Objektrekonstruktion wird die Innere Orientierung der Kamera als bekannt vorausgesetzt, denn sie läßt sich nur in bestimmten Fällen aus einem Bild ableiten. Wenn das Objekt in realer Größe rekonstruiert werden soll, muß mindestens eine Strecke am Objekt als Maßstabsinformation bekannt sein. Die in der Literatur meist als Einzellösungen bekannten Methoden der Inversen Perspektive werden als Regeln formuliert. Mit diesen Regeln wird in einem Schlußfolgerungsprozeß auf das Objekt im Raum geschlossen. Dazu werden automatisch Hypothesen über Eigenschaften und Beziehungen des Objekts im Raum generiert. Mit den Bildbeobachtungen und den als Hypothesen vorliegenden Eigenschaften und Beziehungen können dann nacheinander die Objektpunkte im Raum berechnet werden. Für diese direkte Bestimmung wurde eine geeignete Repräsentationen für die Objektelemente gewählt. Der Rekonstruktionsprozeß kann durch interaktive Vorgaben unterstützt werden, wenn nicht genügend Zusatzinformation automatisch aus der Strichzeichnung ermittelt werden kann. Für eine optimale Schätzung der unbekannten Objektpunkte werden alle vorliegenden Bildbeobachtungen und die ermittelten Hypothesen berücksichtigt. Die realistische Gewichtung der unterschiedlichen Gruppen der eingeführten Beobachtungsgleichungen wird mit Hilfe von Genauigkeitsabschätzungen vorgenommen. Die Ergebnisse der zuvor durchgeführten Einzelbildinterpretation werden als Näherungswerte verwendet. Mit Hilfe der Parameterschätzung ist es auch möglich, fehlerhafte Strichzeichnungen zu korrigieren, aus denen die abgebildeten Objekte sonst nicht als dreidimensionale polyederförmige Körper rekonstruiert werden können. Für die Rekonstruktion dreidimensionaler Objekte aus Einzelbildern sind bekannte Grundlagen und Methoden aus der Geodäsie und dem Computer-Vision-Bereich eingesetzt worden. Das automatische Räumliche Schließen, das auf Arbeiten aus dem Computer- Vision-Bereich zurückgeht, liefert die für eine optimale Schätzung des Objekts notwendigen Näherungswerte und Beobachtungen. Die Parameterschätzung berücksichtigt alle vorliegenden Beobachtungen und Zusatzinformation und löst das Problem der Interpretation nicht korrekter Skizzen. Das entwickelte Verfahren läßt sich in verschiedener Hinsicht ergänzen und verbessern, da zur Lösung der Aufgabe zunächst Bedingungen definiert wurden, die die Art der Objekte einschränken und zum Teil hohe Anforderungen an das Ausgangsdatenmaterial stellen. Die Beispiele zeigen, daß das Verfahren für verschiedene Anwendungszwecke bereits in der vorliegenden Form einsetzbar ist, jedoch bei entsprechender Adaption auf allgemeinere Objekte erweiterbar ist.
[ BibTex ]
@PHDTHESIS{braun94:Interpretation,
author ={Braun, Carola},
title ={Interpretation von Einzelbildern zur Gebäuderekonstruktion},
school ={Institute of Photogrammetry, University of Bonn},
year ={1994},
}
1991
Vosselmann, George:
Relational Matching
Dissertation, Bonn 1991
[ Zusammenfassung ]
Zusammenfassung:
Rechnersehen (Engl. Computer Vision) beschäftigt sich damit, aus digitalen Bildern die räumlichen und physikalischen Merkmale der abgebildeten Objekte zu rekonstruieren. Ein zentrales Problem hierbei ist das Zuordnungsproblem. Sowohl bei der Stereobildanalyse als bei der Objekterkennung und Objektlokalisierung müssen korrespondierende Merkmale (Pixel, markante Punkte, Linien oder Flächen) aus verschiedenen Datensätzen zugeordnet werden. Die Stereobildanalyse benötigt die korrespondierenden Merkmale aus zwei oder mehreren Bilder zur Rekonstruktion der relativen Orientierung und der Form der abgebildeten Objekte. Bei der Erkennung und Lokalisierung der Objekte werden die Bildmerkmale mit den Merkmalen der vorhandenen Objektmodellen verglichen. In beiden Fällen ist die Bestimmung der Transformation zwischen den Datensätzen ein wichtiges Ziel. Eine Zuordnung zwischen Daten kann auf verschiedenen Abstraktionsebenen erfolgen. Auf der höchsten Ebene werden nicht nur die Merkmale, sondern auch die topologischen und geometrischen Relationen zwischen den Merkmalen für die Zuordnung herangezogen. Die relationale Zuordnung ist ein Verfahren, das solche relationale Beschreibungen zuordnet. Während Zuordnungen von Beschreibungen auf den niedrigen Pixel- oder Merkmalsebenen à priori Wissen über die Orientierung zwischen den Daten benötigen, um den Bereich der möglichen Transformationsparameter, und damit die Anzahl der möglichen Zuordnungen einzuschränken, kann die relationale Zuordnung die Relationen zwischen den Merkmalen benutzen, um den Suchraum zu reduzieren. Da à priori Wissen über die Orientierung bei Aufgaben wie der Erkennung 3-dimensionaler Objekte aus einem Grauwertbild oder der Zuordnung eines Bildes zu einer Karte (für Navigationszwecke) meistens nicht vorhanden ist, können diese Aufgaben nur mit der relationalen Zuordnung gelöst werden. In dieser Arbeit wird das Verfahren der relationalen Zuordnung analysiert und an wesentlichen Stellen grundlegend erweitert. Jedes Zuordnungsverfahren kann in die Komponenten Beschreibung, Bewertung und Suche aufgeteilt werden. Eine Bewertungsfunktion wird benötigt, um die Qualität der Zuordnungen zu beurteilen. Gezeigt wird, daß die Optimierung der gegenseitigen Information nach Shannon zwischen den Attributen der relationalen Beschreibungen zu einer Maximum Likelihood Schätzung der Zuordnung führt. Außerdem kann die gegenseitige Information auch für eine Selbstdiagnose eingesetzt werden. Hiermit kann festgestellt werden, ob eine Zuordnung gut genug ist und die Suche abgebrochen werden kann. Die relationale Zuordnung verwendet relationale Beschreibungen. Die Merkmale und die Relationen dieser Beschreibungen werden durch Attribute repräsentiert (z.B. Länge als Attribut des Merkmals Linie, und Winkelgröße als Attribut der Relation Winkel zwischen zwei Linien). Ziel der relationalen Zuordnung ist es eine Abbildung zwischen den Merkmalen zu finden, wobei nicht nur die Attribute der zugeordneten Merkmale, sondern auch die Attribute der korrespondierenden Relationen so gut wie möglich übereinstimmen. Mit Baumsuchverfahren wird aus dem Raum der möglichen Zuordnungen die beste Zuordnung herausgesucht. Die in dem Bereich der künstlichen Intelligenz entwickelten Suchverfahren arbeiten mit Kostenfunktionen. Da die gegenseitige Information aber eine Nutzenfunktion ist, mußten manche Suchverfahren leicht modifiziert werden. Das Verfahren wurde an Beispielen zur automatischen Lokalisierung eines Objektes aus einem digitalen Bild demonstriert.
Rechnersehen (Engl. Computer Vision) beschäftigt sich damit, aus digitalen Bildern die räumlichen und physikalischen Merkmale der abgebildeten Objekte zu rekonstruieren. Ein zentrales Problem hierbei ist das Zuordnungsproblem. Sowohl bei der Stereobildanalyse als bei der Objekterkennung und Objektlokalisierung müssen korrespondierende Merkmale (Pixel, markante Punkte, Linien oder Flächen) aus verschiedenen Datensätzen zugeordnet werden. Die Stereobildanalyse benötigt die korrespondierenden Merkmale aus zwei oder mehreren Bilder zur Rekonstruktion der relativen Orientierung und der Form der abgebildeten Objekte. Bei der Erkennung und Lokalisierung der Objekte werden die Bildmerkmale mit den Merkmalen der vorhandenen Objektmodellen verglichen. In beiden Fällen ist die Bestimmung der Transformation zwischen den Datensätzen ein wichtiges Ziel. Eine Zuordnung zwischen Daten kann auf verschiedenen Abstraktionsebenen erfolgen. Auf der höchsten Ebene werden nicht nur die Merkmale, sondern auch die topologischen und geometrischen Relationen zwischen den Merkmalen für die Zuordnung herangezogen. Die relationale Zuordnung ist ein Verfahren, das solche relationale Beschreibungen zuordnet. Während Zuordnungen von Beschreibungen auf den niedrigen Pixel- oder Merkmalsebenen à priori Wissen über die Orientierung zwischen den Daten benötigen, um den Bereich der möglichen Transformationsparameter, und damit die Anzahl der möglichen Zuordnungen einzuschränken, kann die relationale Zuordnung die Relationen zwischen den Merkmalen benutzen, um den Suchraum zu reduzieren. Da à priori Wissen über die Orientierung bei Aufgaben wie der Erkennung 3-dimensionaler Objekte aus einem Grauwertbild oder der Zuordnung eines Bildes zu einer Karte (für Navigationszwecke) meistens nicht vorhanden ist, können diese Aufgaben nur mit der relationalen Zuordnung gelöst werden. In dieser Arbeit wird das Verfahren der relationalen Zuordnung analysiert und an wesentlichen Stellen grundlegend erweitert. Jedes Zuordnungsverfahren kann in die Komponenten Beschreibung, Bewertung und Suche aufgeteilt werden. Eine Bewertungsfunktion wird benötigt, um die Qualität der Zuordnungen zu beurteilen. Gezeigt wird, daß die Optimierung der gegenseitigen Information nach Shannon zwischen den Attributen der relationalen Beschreibungen zu einer Maximum Likelihood Schätzung der Zuordnung führt. Außerdem kann die gegenseitige Information auch für eine Selbstdiagnose eingesetzt werden. Hiermit kann festgestellt werden, ob eine Zuordnung gut genug ist und die Suche abgebrochen werden kann. Die relationale Zuordnung verwendet relationale Beschreibungen. Die Merkmale und die Relationen dieser Beschreibungen werden durch Attribute repräsentiert (z.B. Länge als Attribut des Merkmals Linie, und Winkelgröße als Attribut der Relation Winkel zwischen zwei Linien). Ziel der relationalen Zuordnung ist es eine Abbildung zwischen den Merkmalen zu finden, wobei nicht nur die Attribute der zugeordneten Merkmale, sondern auch die Attribute der korrespondierenden Relationen so gut wie möglich übereinstimmen. Mit Baumsuchverfahren wird aus dem Raum der möglichen Zuordnungen die beste Zuordnung herausgesucht. Die in dem Bereich der künstlichen Intelligenz entwickelten Suchverfahren arbeiten mit Kostenfunktionen. Da die gegenseitige Information aber eine Nutzenfunktion ist, mußten manche Suchverfahren leicht modifiziert werden. Das Verfahren wurde an Beispielen zur automatischen Lokalisierung eines Objektes aus einem digitalen Bild demonstriert.
[ BibTex ]
@PHDTHESIS{vosselman91:Relational,
author ={Vosselman, George},
title ={Relational Matching},
school ={Institute of Photogrammetry, University of Bonn},
year ={1991},
}
1978
Förstner, Wolfgang:
Die Suche nach groben Fehlern in photogrammetrischen Lageblöcken, Universität Stuttgart 1978
Dissertation, Stuttgart 1978
download
20.7 M
[ Zusammenfassung ]
Zusammenfassung:
In der vorliegenden Arbeit werden die Voraussetzungen und Möglichkeiten der automatisierten Suche grober Fehler in photogrammetrischen Lageblöcken untersucht. Mit Hilfe statistischer Methoden wird nachgewiesen, daß sich eine hohe Zuverlässigkeit photogrammetrisch bestimmter Koordinaten mit nur geringem zusätzlichen Meßaufwand erreichen läßt. Gegenüber herkömmlichen Tests ermöglicht die Verwendung statistisch fundierter Testverfahren dabei nicht nur die Lokalisierung wesentlich kleinerer grober Fehler, sondern auch die sichere Erfassung großer grober Fehler. Für die Anregung zu dieser Arbeit und die wertvollen Hinweise möchte ich Herrn Prof. Dr. - Ing. F. Ackermann vielmals danken. Auch bin ich Herrn Prof. Dr. - Ing. G. Kupfer dafür dankbar, daß er mir die Rechenzeit am Rechenzentrum der Universität Bonn zur Verfügung stellte.
Einleitung
Die Bedeutung der analytischen Verfahren in der Photogrammetrie hat in den letzten Jahren durch die Verfeinerung der Auswertemethoden stark zugenommen. Die theoretischen und praktischen Untersuchungen über die Genauigkeit photogrammetrischer Koordinaten haben dazu ebenso beigetragen wie die Ausnutzung der modernen Rechenhilfsmittel |3|, |16|, |40|.
Zahlreiche Programme für die Aerotriangulation lassen die Auswertung von photogrammetrischen Blöcken mit Hunderten von Modellen zu |4|, |48|.
Gleichzeitig ist es auch schwieriger geworden, die großen Datenmengen von groben Fehlern zu befreien. Die meisten Programme sehen eine manuelle Fehlersuche vor. So sind zwei bis drei, oft sogar mehr Wiederholungen der Berechnung erforderlich. Neben dieser unnötigen Verzögerung weisen die Koordinaten wegen unerkannter grober Fehler bei aller Präzision der Messung nicht die erreichbare Genauigkeit auf. Die Leistungsfähigkeit der Methode ist dadurch gemindert, wenn nicht gar in Frage gestellt.
Die vorhandenen automatischen Fehlersuchsysteme (|Davis, 1967|, |Osaikhuiwu,1972|, |Alimoradi, 1973|, |Fanta, 1973|, |Kraus/Krack, 1972|) haben daran nichts grundsätzlich geändert. Große grobe Fehler, d.h. Fehler über dem 50-fachen mittleren Meßfehler, lassen sich in manchen Fällen nur mit erheblicher Mühe lokalisieren. Denn sie verursachen nicht immer an der Stelle die größte Verzerrung des Ergebnisses, an der sie auftreten. Hoher Rechen- bzw. Programmieraufwand (|Davis|, bzw. |Kraus/Krack|) scheint daher unumgänglich. Die Systeme sind außerdem entweder nur für große grobe Fehler konzipiert |Kraus/Krack|oder beruhen nicht auf objektiven d.h. statistischen Grundlagen. Kleine grobe Fehler im Grenzbereich zu den zufälligen Meßfehlern können daher mit diesen Methoden nicht erkannt werden. Soweit die Systeme den Anspruch stellen, auch diese Fehler zu finden, sind die Angaben, wie sicher im statistischen Sinn grobe Fehler gefunden werden bzw. wie groß die Fehler mindestens sein müssen, um entdeckt zu werden, zu optimistisch, oder diese Angaben fehlen ganz. Wohl das einzige photogrammetrische Editingsystem, das einen statistisch fundierten Test verwendet, hat Rosenfield |1967| veröffentlicht. Es basiert auf einem Programm, das die Ausgleichung nach bedingten Beobachtungen löst.
Für die Behandlung kleiner grober Fehler stehen an sich eine große Zahl statistischer Tests zur Verfügung. Bei den ersten Kriterien von Chauvenet, Pierce und Stone (vgl. |Czuber, 1891|, |Pearson-Sekhar, 1938|, |Rider, 1933|, |Böhm, 1958|), die seit dem Aufkommen der Statistik und der Wahrscheinlichkeitsrechnung im letzten Jahrhundert entwickelt wurden, hängt der kritische Bereich vom Signifikanzniveau des Tests ab. Ein festes Signifikanzniveau bietet klarere Vergleichsmöglichkeiten. Irwin (vgl. |Rider, 1933|) und Müller/Neumann/Storm |1973| geben Kriterien für Meßreihen mit zwei groben Fehlern an. Jordan (vgl. |Czuber, 1891|), später auch Gabriel |1948|, versuchten die Festlegung des Signifikanzniveaus durch die Annahme einer "durch einen Höchstfehler M begrenzten Verteilung" zu ersetzen, die sich mit wachsendem Meiner Normalverteilung nähert. *)
Bei der Beurteilung von Lagedifferenzen, bei denen die Richtung unberücksichtigt bleibt, kann man dagegen keine Normalverteilung annehmen |G. Förstner, 1942| und so die üblichen Tests nicht ohne weiteres verwenden.
Die Fälle, in denen über die Wahrscheinlichkeitsverteilung der Beobachtungen nur wenig oder nichts bekannt ist, erlauben parameterfreie Tests, wie z.B. Vorzeichen- oder Rangtests. Im Bereich geodätischer Messungen spielen sie eine untergeordnete Rolle.
Die genannten Kriterien sind für unabhängige Beobachtungen und fast ausnahmslos für Meßreihen mit nur einem groben Fehler konzipiert. Sind mehrere Fehler vorhanden, ist ihre Wirksamkeit nur sehr schwach |Pearson-Sekhar, 1938|. Das von Baarda |1967|, |1968| für Ausgleichungsergebnisse entwickelte Testverfahren, das "data-snooping", ist nach Kenntnis des Verfassers das einzige, das sich auch für die Prüfung von zwei oder mehr kleinen groben Fehlern eignet und außerdem Aussagen über die Testgüte zuläßt. Damit sind Angaben über die Zuverlässigkeit von Ausgleichungsergebnissen, d.h. über die Größe gerade noch erkennbarer grober Fehler und ihrer Einwirkung auf die Koordinaten möglich. Messungen können dann, wie in den Niederlanden für trigonometrische Arbeiten üblich, so geplant werden, daß eine gute Kontrolle gewährleistet ist.
*) Ein vergleichbares Ziel verfolgt die Methode von Reinhardt |1975|. Auf der Basis von Toleranzen für die Beobachtungswerte werden hierbei Maximalfehler für die Koordinaten bestimmt. Wenn grobe Fehler vorhanden sind, führt diese Art der Ausgleichung, die die Methoden der linearen Optimierung heranzieht, im Gegensatz zu herkömmlichen Verfahren zu keiner Lösung und ist somit für die Kontrolle der Beobachtungen gut geeignet.
In der vorliegenden Arbeit werden die Voraussetzungen und Möglichkeiten der automatisierten Suche grober Fehler in photogrammetrischen Lageblöcken untersucht. Mit Hilfe statistischer Methoden wird nachgewiesen, daß sich eine hohe Zuverlässigkeit photogrammetrisch bestimmter Koordinaten mit nur geringem zusätzlichen Meßaufwand erreichen läßt. Gegenüber herkömmlichen Tests ermöglicht die Verwendung statistisch fundierter Testverfahren dabei nicht nur die Lokalisierung wesentlich kleinerer grober Fehler, sondern auch die sichere Erfassung großer grober Fehler. Für die Anregung zu dieser Arbeit und die wertvollen Hinweise möchte ich Herrn Prof. Dr. - Ing. F. Ackermann vielmals danken. Auch bin ich Herrn Prof. Dr. - Ing. G. Kupfer dafür dankbar, daß er mir die Rechenzeit am Rechenzentrum der Universität Bonn zur Verfügung stellte.
Einleitung
Die Bedeutung der analytischen Verfahren in der Photogrammetrie hat in den letzten Jahren durch die Verfeinerung der Auswertemethoden stark zugenommen. Die theoretischen und praktischen Untersuchungen über die Genauigkeit photogrammetrischer Koordinaten haben dazu ebenso beigetragen wie die Ausnutzung der modernen Rechenhilfsmittel |3|, |16|, |40|.
Zahlreiche Programme für die Aerotriangulation lassen die Auswertung von photogrammetrischen Blöcken mit Hunderten von Modellen zu |4|, |48|.
Gleichzeitig ist es auch schwieriger geworden, die großen Datenmengen von groben Fehlern zu befreien. Die meisten Programme sehen eine manuelle Fehlersuche vor. So sind zwei bis drei, oft sogar mehr Wiederholungen der Berechnung erforderlich. Neben dieser unnötigen Verzögerung weisen die Koordinaten wegen unerkannter grober Fehler bei aller Präzision der Messung nicht die erreichbare Genauigkeit auf. Die Leistungsfähigkeit der Methode ist dadurch gemindert, wenn nicht gar in Frage gestellt.
Die vorhandenen automatischen Fehlersuchsysteme (|Davis, 1967|, |Osaikhuiwu,1972|, |Alimoradi, 1973|, |Fanta, 1973|, |Kraus/Krack, 1972|) haben daran nichts grundsätzlich geändert. Große grobe Fehler, d.h. Fehler über dem 50-fachen mittleren Meßfehler, lassen sich in manchen Fällen nur mit erheblicher Mühe lokalisieren. Denn sie verursachen nicht immer an der Stelle die größte Verzerrung des Ergebnisses, an der sie auftreten. Hoher Rechen- bzw. Programmieraufwand (|Davis|, bzw. |Kraus/Krack|) scheint daher unumgänglich. Die Systeme sind außerdem entweder nur für große grobe Fehler konzipiert |Kraus/Krack|oder beruhen nicht auf objektiven d.h. statistischen Grundlagen. Kleine grobe Fehler im Grenzbereich zu den zufälligen Meßfehlern können daher mit diesen Methoden nicht erkannt werden. Soweit die Systeme den Anspruch stellen, auch diese Fehler zu finden, sind die Angaben, wie sicher im statistischen Sinn grobe Fehler gefunden werden bzw. wie groß die Fehler mindestens sein müssen, um entdeckt zu werden, zu optimistisch, oder diese Angaben fehlen ganz. Wohl das einzige photogrammetrische Editingsystem, das einen statistisch fundierten Test verwendet, hat Rosenfield |1967| veröffentlicht. Es basiert auf einem Programm, das die Ausgleichung nach bedingten Beobachtungen löst.
Für die Behandlung kleiner grober Fehler stehen an sich eine große Zahl statistischer Tests zur Verfügung. Bei den ersten Kriterien von Chauvenet, Pierce und Stone (vgl. |Czuber, 1891|, |Pearson-Sekhar, 1938|, |Rider, 1933|, |Böhm, 1958|), die seit dem Aufkommen der Statistik und der Wahrscheinlichkeitsrechnung im letzten Jahrhundert entwickelt wurden, hängt der kritische Bereich vom Signifikanzniveau des Tests ab. Ein festes Signifikanzniveau bietet klarere Vergleichsmöglichkeiten. Irwin (vgl. |Rider, 1933|) und Müller/Neumann/Storm |1973| geben Kriterien für Meßreihen mit zwei groben Fehlern an. Jordan (vgl. |Czuber, 1891|), später auch Gabriel |1948|, versuchten die Festlegung des Signifikanzniveaus durch die Annahme einer "durch einen Höchstfehler M begrenzten Verteilung" zu ersetzen, die sich mit wachsendem Meiner Normalverteilung nähert. *)
Bei der Beurteilung von Lagedifferenzen, bei denen die Richtung unberücksichtigt bleibt, kann man dagegen keine Normalverteilung annehmen |G. Förstner, 1942| und so die üblichen Tests nicht ohne weiteres verwenden.
Die Fälle, in denen über die Wahrscheinlichkeitsverteilung der Beobachtungen nur wenig oder nichts bekannt ist, erlauben parameterfreie Tests, wie z.B. Vorzeichen- oder Rangtests. Im Bereich geodätischer Messungen spielen sie eine untergeordnete Rolle.
Die genannten Kriterien sind für unabhängige Beobachtungen und fast ausnahmslos für Meßreihen mit nur einem groben Fehler konzipiert. Sind mehrere Fehler vorhanden, ist ihre Wirksamkeit nur sehr schwach |Pearson-Sekhar, 1938|. Das von Baarda |1967|, |1968| für Ausgleichungsergebnisse entwickelte Testverfahren, das "data-snooping", ist nach Kenntnis des Verfassers das einzige, das sich auch für die Prüfung von zwei oder mehr kleinen groben Fehlern eignet und außerdem Aussagen über die Testgüte zuläßt. Damit sind Angaben über die Zuverlässigkeit von Ausgleichungsergebnissen, d.h. über die Größe gerade noch erkennbarer grober Fehler und ihrer Einwirkung auf die Koordinaten möglich. Messungen können dann, wie in den Niederlanden für trigonometrische Arbeiten üblich, so geplant werden, daß eine gute Kontrolle gewährleistet ist.
*) Ein vergleichbares Ziel verfolgt die Methode von Reinhardt |1975|. Auf der Basis von Toleranzen für die Beobachtungswerte werden hierbei Maximalfehler für die Koordinaten bestimmt. Wenn grobe Fehler vorhanden sind, führt diese Art der Ausgleichung, die die Methoden der linearen Optimierung heranzieht, im Gegensatz zu herkömmlichen Verfahren zu keiner Lösung und ist somit für die Kontrolle der Beobachtungen gut geeignet.
[ BibTex ]
@PHDTHESIS {foerstner78:Die Suche,
author ={F{\"o}rstner,Wolfgang},
title ={Die Suche nach groben Fehlern in photogrammetrischen Lageblöcken},
school ={Institut für Photogrammetrie, Universität Stuttgart},
year ={1978},
}
This material is presented to ensure timely dissemination of scholarly and technical work. Copyright and all rights therein are retained by authors or by other copyright holders. All persons copying this information are expected to adhere to the terms and constraints invoked by each authors copyright. In most cases, these works may not be reposted without the explicit permission of the copyright holder.







