Publikationen

@PHDTHESIS{korc12:tractable, author={Kor\v{c}, Filip}, title={Tractable Learning for a Class of Discriminative Models for Context Sensitive Image Interpretation}, School={Institute of Photogrammetry, University of Bonn}, year={2012} }

We propose a framework for object tracking in image sequences, following the concept of tracking-by-segmentation. The separation of object and background is achieved by a consecutive semantic superpixel segmentation of the images, yielding tight object boundaries. I.e., in the first image a model of the object’s characteristics is learned from an initial, incomplete annotation. This model is used to classify the superpixels of subsequent images to object and background employing graph-cut. We assume the object boundaries to be tight-fitting and the object motion within the image to be affine. To adapt the model to radiometric and geometric changes we utilize an incremental learner in a co-training scheme. We evaluate our tracking framework qualitatively and quantitatively on several image sequences.

We evaluate the performance of Import Vector Machines (IVM),a sparse Kernel Logistic Regression approach, for the classification of hyperspectral data. The IVM classifier is applied on two different data sets, using different number of training samples. The performance of IVM to Support Vector Machines (SVM) is compared in terms of accuracy and sparsity. Moreover, the impact of the training sample set on the accuracy and stability of IVM was investigated. The results underline that the IVM perform similar when compared to the popular SVM in terms of accuracy. Moreover, the number of import vectors from the IVM is significantly lower when compared to the number of support vectors from the SVM. Thus, the classification process of the IVM is faster. These findings are independent from the study site, the number of training samples and specific classes. Consequently, the proposed IVM approach is a promising classification method for hyperspectral imagery.

Our objective is the categorization of the most dominant objects in facade images, like windows, entrances and balconies. In order to execute an image interpretation of complex scenes we need an interaction between low level bottom-up feature detection and high-level inference from top-down. A top-down approach would use results of a bottom-up detection step as evidence for some high-level inference of scene interpretation. We present a statistically founded object categorization procedure that is suited for bottom-up object detection. Instead of choosing a bag of features in advance and learning models based on these features, it is more natural to learn which features best describe the target object classes. Therefore we learn increasingly complex aggregates of line junctions in image sections from man-made scenes. We present a method for the classification of image sections by using the histogram of diverse types of line aggregates.

@INPROCEEDINGS{wenzel*12:learning, author = {Wenzel, Susanne and F{\" o}rstner, Wolfgang}, title = {Learning a compositional representation for facade object categorization}, booktitle = {ISPRS Annals of Photogrammetry, Remote Sensing and the Spatial Information Sciences; Proc. of 22nd Congress of the International Society for Photogrammetry and Remote Sensing (ISPRS)}, year = {2012}, note = {to appear} }

Zusammenfassung

In dieser Arbeit wird ein neuartiges, automatisches Verfahren zur Detektion von Krankheiten auf Blättern von Nutzpflanzen vorgestellt. Die Anwendung von Mustererkennungsverfahren zur Detektion von Blattkrankheiten ist noch ein sehr junges Forschungsgebiet. Ein einsetzbares Verfahren zur automatischen Detektion von Blattkrankheiten würde aber z.B. im Präzisionspflanzenbau zur Reduzierung der Spritzmittelmenge von großem Nutzen sein. Das in dieser Arbeit vorgeschlagene Verfahren besteht aus einem hierarchischen Klassifikationsprozess. Im ersten Schritt dieses Prozesses wird eine pixelweise, adaptive Bayesklassifikation durchgeführt. Die adaptive Bayesklassifikation ist dabei speziell auf die Erkennung von Blattkrankheiten hin optimiert worden. Im zweiten Schritt erfolgt eine Glättung des pixelweisen Klassifikationsergebnisses durch eine Majoritätsfilterung oder mit Hilfe von bedingten Markoffschen Zufallsfeldern. Welche Vor- und Nachteile die beiden Glättungsarten bieten, wird in dieser Arbeit diskutiert. Der letzte Schritt des hierarchischen Klassifikationsprozesses besteht aus einer regionenbasierten Maximum-Likelihood-Klassifikation. Eine besondere Herausforderung bei der Entwicklung des Klassifikationsverfahrens lag in der Berücksichtigung von Blattkrankheiten mit sehr kleinen Blattflecken. Um auch für diese Blattkrankheiten hohe Klassifikationsgenauigkeiten zur erzielen, wurde eine geeignete Bewertungsstrategie zur Beurteilung der Klassifikationsergebnisse entworfen und zur Optimierung des Klassifikationsprozesses verwendet. Das entwickelte Klassifikationsverfahren basiert auf Bildern von einer RGB - und einer Multispektral (MS) - Kamera. Die Bilder der beiden Kameras wurden über ein 3D-Modell des jeweiligen Blattes fusioniert. Das zur Erstellung der 3D-Modelle entwickelte Verfahren bietet dabei neben der Sensorfusion auch das Potential zur Bestimmung der Lage und Orientierung von Blättern im Feld. Im Rahmen der Entwicklung des Klassifikationsprozesses wurden weitere Fragestellungen bearbeitet. So wurde u.a. untersucht, inwieweit eine Erweiterung des Merkmalsvektors um Nachbarschaftsinformationen das Klassifikationsergebnis beeinflusst und ob Segmentierungsverfahren wie der Wasserscheidenalgorithmus zur Erkennung von Blattflecken eingesetzt werden können. Desweiteren wurde die Übertragbarkeit des Verfahrens auf andere Nutzpflanzen und Blattkrankheiten erforscht.

Abstract

This thesis presents a novel, automatic method to detect leaf diseases on agricultural crop. The use of pattern recognition methods to detect leaf diseases is a very young research area. But an applicable method for the automatic detection of leaf diseases would be of great benefit for example in the area of precision agriculture. The proposed method consists of a hierarchical classification process. In the first step of this process a pixelwise, adaptive Bayes classification is executed. Thereby the adaptive Bayes classifier is optimised for the detection of leaf diseases. In the second step a smoothing of the pixelwise result is carried out using a majority filter or a conditional random field (CRF). The advantages and disadvantages of the two ways of smoothing are the subject of a discussion in this thesis. The last step of the classification process consists of a regionbased Maximum-Likelihood classification. A particular challenge in the development of the classification method lies in the consideration of leaf diseases with very small leaf spots. To achieve high classification accuracies for these leaf diseases, too, an adequate rating strategy was formulated and used for the optimisation of the classification process. The developed classification method is based on images of a RGB - and a Multispectral (MS) - camera. The images of the two cameras were fused using a 3D-model of each single leaf. The prepared technique for the generation of the 3D-models of the leaves provides additionally the opportunity to determine the position and the orientation of the leaves in the field. Within the framework of the development of the classification process further questions were examined. So it was investigated, in how far an enhancement of the feature vector with neighbourhood information affects the classification result and if it is possible to apply segmentation methods like the watershed algorithm for the recognition of leaf spots. In addition the transferability of the developed classification method to other plants and leaf diseases was proofed.

@PHDTHESIS{bauer11:automatische, author={Sabine Daniela Bauer}, title={Automatische Detektion von Krankheiten auf Blättern von Nutzpflanzen}, school={Institute of Photogrammetry, University of Bonn}, year={2011}, }

Three methods of automatic classification of leaf diseases are described based on high-resolution multispectral stereo images. Leaf diseases are economically important as they can cause a loss of yield. Early and reliable detection of leaf diseases has important practical relevance, especially in the context of precision agriculture for localized treatment with fungicides. We took stereo images of single sugar beet leaves with two cameras (RGB and multispectral) in a laboratory under well controlled illumination conditions. The leaves were either healthy or infected with the leaf spot pathogen Cercospora beticola or the rust fungus Uromyces betae. To fuse information from the two sensors, we generated 3-D models of the leaves. We discuss the potential of two pixelwise methods of classification: k-nearest neighbour and an adaptive Bayes classification with minimum risk assuming a Gaussian mixture model. The medians of pixelwise classification rates achieved in our experiments are 91% for Cercospora beticola and 86% for Uromyces betae. In addition, we investigated the potential of contextual classification with the so called conditional random field method, which seemed to eliminate the typical errors of pixelwise classification.

@article{bauer*11:potential, author={Bauer, Sabine and Kor{\v c}, Filip and F\"{o}rstner, Wolfgang}, title={The potential of automatic methods of classification to identify leaf diseases from multispectral images}, journal={Precision Agriculture}, year={2011}, number={3}, pages={361-377}, }

We study the set of domain deformations induced on images of three-dimensional scenes by changes of the vantage point. We parametrize such deformations and derive empirical statistics on the parameters, that show a kurtotic behavior similar to that of natural image and range statistics. Such a behavior would suggest that most deformations are locally smooth, and therefore could be captured by simple parametric maps, such as affine ones. However, we show that deformations induced by singularities and occluding boundaries, although rare, are highly salient, thus warranting the development of dedicated descriptors. We therefore illustrate the development of viewpoint invariant descriptors for singularities, as well as for occluding boundaries. We test their performance on scenes where the current state of the art based on affine-invariant region descriptors fail to establish correspondence, highlighting the features and shortcomings of our approach.

@article{dickscheid*11:coding, author = {Dickscheid, T. and Schindler, F. and F\"{o}rstner, W.}, title = {{Coding Images with Local Features}}, journal = {International Journal of Computer Vision}, publisher = {Springer Netherlands}, issn = {0920-5691}, url = {http://dx.doi.org/10.1007/s11263-010-0340-z}, year = {2011}, pages = {154-174}, volume = {94}, issue = {2}, doi = {10.1007/s11263-010-0340-z} }

Zusammenfassung

Vergleich von Verfahren zur Rekonstruktion von Oberflächen
Der Bedarf an digitalen 3D-Modellen in verschiedenen Disziplinen nimmt stetig zu. Grundlage dafür sind oft Dichte Punktwolken. Diese Punktwolken können mit Hilfe verschiedener Verfahren erstellt werden. Eine Möglichkeit ist das Stereomatching. Dabei gibt es verschiedene Ansätze. In dieser Arbeit untersuchen wir drei verschiedene Stereomatching Algorithmen und vergleichen deren Eigenschaften in Bezug auf Genauigkeit, Punktdichte und Punktverteilung. Die verwendeten Verfahren sind die Multi-view stereo Software, das Semi-global Matching und das 3-Bild Semi-global matching. Um diese Verfahren zu untersuchen haben wir zwei Experimente durchgeführt. Wir verwenden jede dieser Methoden um eine dichte Punktwolke aus mehreren Bildern einer Szene zu erstellen. Diese Punktwolken vergleichen wir dann mit einer Referenzpunktwolke. Im ersten Experiment ist diese Referenz vorgegeben. Im zweiten Experiment erstellen wir diese Referenz, in dem wir die Szene mit einem Lasertriangulationsscanner erfassen . Wir hatten erwartet, dass die beiden SGM Algorithmen in allen drei Eigenschaften dem PMVS überlegen ist. Unsere Experimente zeigen jedoch, dass dies nur unter bestimmten Bedingungen der Fall ist. Während die Punktdichte im ersten Experiment beim SGM deutlich höher und die Punktverteilung besser ist, ist die Genauigkeit etwas geringer als die des PMVS. Beide SGM Verfahren bringen im zweiten Experiment noch schlechtere Ergebnisse. Die Punktdichte in den Punktwolken des SGM ist geringer und die Punktverteilung leicht besser. Die Genauigkeit des SGM ist leicht schlechter als die des PMVS. The 3-Image SGM only produced only a very sparse point cloud with a high number of outliers. We could not calculate an accuracy rating for this method. However, we assume that these findings are due to poor camera orientation in the second experiment. Das 3-Bild SGM berechnet hier nur eine sehr dünne Punktwolke mit einer hohen Zahl an Ausreißern. Wir konnten keine Punktwolke erstellen, bei der die Berechnung der Genauigkeit sinnvoll gewesen wäre. Wir vermuten jedoch, dass dies nicht am Algorithmus, sondern an einer schlechten Orientierung der Kameras im zweiten Experiment liegt.

Abstract
Comparison of Methods for the reconstruction of Surfaces
There is a growing demand for digital 3D-models in various disciplines. Dense point clouds are often the basis for these. These point clouds can be generated by a variety of different methods. One possible method is Stereo matching. There are different approaches to this. In this thesis, we examine three different Stereo matching Algorithms and compare their qualities with respect to accuracy, point density and point distribution. The used Algorithms are the Patch-based Multi-view stereo Software, the Semi-global Matching and the 3-Image Semi-global matching. In order to test these methods, we conduct two experiments. Each method is used to create dense point cloud, which we then compare to a reference cloud. The reference clouds are predetermined in the first Experiment and gathered with a Laser triangulation scanner in the second. The resulting point cloud is then analyzed. We predicted, that both SGM Algorithms perform better than the PMVS all examined characteristics. However, our experiments show that this is only true under certain conditions. While the point density and distribution is considerably higher in the first experiment, the accuracy is slightly lower compared to the PMVS. Both SGM methods show even worse results in the second experiment. Here, the density of the results of the SGM is lower and the distribution is slightly better. The accuracy of the SGM is on the same level as the PMVS. The 3-Image SGM only produced only a very sparse point cloud with a high number of outliers. We could not calculate an accuracy rating for this method. However, we assume that these findings are due to poor camera orientation in the second experiment.

@MASTERSTHESIS{dominicus11:vergleich, title={Vergleich von Verfahren zur Rekonstruktion von Oberflächen}, year={2011}, school={Institute of Photogrammetry, University of Bonn}, type={bachelor thesis} }

Zusammenfassung

Durch die Fortschritte bei der 3D- Visualisierung von Landschaften und urbanen Räumen in den vergangenen Jahren wächst die Nachfrage nach semantischen und detailgenauen 3D Stadtmodellen. Die Interpretation von Digitalbildern ist dabei ein wesentlicher Schritt zur Informationsgewinnung für die Verfeinerung und Aktualisierung der Gebäudemodelle. Wegen der großen Datenmenge muss diese Bildinterpretation soweit möglich automatisiert durchgeführt werden, um kostengünstig und zeitnah Ergebnisse liefern zu können. Bei der Interpretation eines Gebäudebildes wird das gegebene Farbbild in eine Klassifikationskarte überführt, in der die Bildpixel entsprechend ihrer Semantik eingefärbt werden. Dieser Vorgang ist wegen der fehlenden 3D-Information über das Gebäude und seine Umgebung sowie der starken Ähnlichkeiten zwischen einigen Gebäudeteilen besonders schwierig. Hinzu kommt noch die große Vielfalt der Gebäude in Bezug auf deren Größe, Beschaffenheit und Stil sowie in der Art und Anzahl der Fassadenbestandteile und Dachaufbauten und deren räumlicher Anordnung. Das in der vorliegenden Arbeit vorgestellte Verfahren untersucht die Leistungsfähigkeit der Erkennung von Objekten und Objektteilen in Gebäudeaufnahmen bei Verwendung der Bestandteilshierarchien. Diese werden in eine Hierarchie von segmentierten Bildregionen abgebildet und zur Konstruktion eines Bedingten Bayes Netzes verwendet. Die Gesamtwahrscheinlichkeit dieses Bedingten Bayes-Netzes wird effizient als Produkt von zwei Termen bestimmt, die einerseits durch die Klassifikation der Regionen auf der Basis regionenspezifischer Merkmale und andererseits aus den Klassenzugehörigkeiten von in der Regionenhierarchie benachbarten Regionen bestimmt werden. Für diesen Ansatz werden folgende Teilschritte zusammengeführt: die Segmentierung von geometrisch präzisen Regionen in mehreren Maßstabsebenen des Bildes und deren hierarchische Anordnung, die Auswahl stabiler Regionen, der Vergleich von Regionen mit manuell angefertigten Annotationen, die Extraktion und Selektion geeigneter Merkmale sowie die Klassifikation der Regionen. Die stabilen Regionen der hierarchischen Bildsegmentierung eignen sich gut zur Detektion von komplexen Objekten und ihren Bestandteilen und bilden die Relationen der Bestandteilshierarchie von Objekten in die Regionenhierarchie ab. Die klassenspezifischen Verteilungen der regionenspezifischen Merkmale unterscheiden sich und eignen sich für eine maßstabsabhängige Klassifikation der Regionen. Dazu wird die Methode der Alternierenden Entscheidungsbäume vom Zwei- auf den Mehrklassenfall verallgemeinert. Diese Klassifikationsergebnisse werden als initiale Belegung der Zufallsvariablen in das Bedingte Bayes-Netz integriert. Für die anschließende Inferenz der Information kann wegen der baumartigen Struktur des Bayes-Netzes ein sehr einfacher Algorithmus verwendet werden, der lediglich einen zweimaligen Durchlauf durch den Baum vorsieht . Die Bildinterpretation nach Anwendung des Bayes-Netzes liefert leicht verbesserte Ergebnisse für die Klassifikation der Regionen. Das Verfahren wurde auf insgesamt vier Datensätzen mit zusammen über 600 Bildern evaluiert. Bei der Segmentierung und Konstruktion der Regionenhierarchie werden sehr zufrieden stellende Ergebnisse erzielt, da zu 70 bis 90% der vorhandenen Objekte passende Regionen und Relationen zwischen den Regionen gefunden werden können. Auf dem Benchmark-Datensatz von Korč & Förstner (2009) erzielen wir bei der Klassifikation ohne Nutzung der Bestandteilshierarchie mit sieben Klassen einen akzeptablen Erfolg von 54.9%. Allerdings werden die drei besonders häufig vorkommenden Klassen Gebäude, Fenster und Vegetation extrem durch den Klassifikator bevorzugt. Durch die Propagierung der Information im Bedingten Bayes-Netz wird die Erfolgsrate auf 60.7% verbessert, aber die starken Unterschiede bei der Fehlklassifikationen bleiben bestehen.

Abstract

The recent progress in 3D visualization of landscapes and urban spaces has increased the demand for very detailed 3D city models with semantics. Therefore, the interpretation of digital imagery is an important step for gaining information used to enrich building models or for updating them. Due to the amount of data, image interpretation should be done automatically as far as possible for a fast and affordable delivery of results. Interpreting building images means to derive a symbolic map for a given color image where each pixel is visualized by its semantic. This procedure is extremely difficult if no additional 3D information about the objects in the scene is used. Regarding buildings, their parts often appear too similar, especially w. r. t. their shape or the color of the representing pixels. Furthermore, the large variability among buildings w. r. t. their size, nature and style as well as the kind and number of facade parts and roof structures and their spatial arrangement. In the approach of this work, the capability of detecting objects and their parts in building images is analysed with a focus on the integration of object hierarchies. The relations between the objects and their parts are mapped into a hierarchy of segmented image regions which is further used to construct a Bayesian network. Features of these regions are determined, thus the Bayesian network can be formulated as a conditional one. The overall probability of this Conditional Bayesian Network can be efficiently determined as product of two terms. The first term is derived from classification results based on the observed region-specific features, the second term is derived from the co-occurrence of class targets defined by neighbored regions in the region hierarchy. The following methods are combined within this approach: segmentation of geometrically precise regions at several image scales and their hierarchical arrangement, choosing stable regions for further processes, comparison between automatically segmented image regions with manually labeled annotations, extraction and selection of appropriate features and classification of the regions. The stable regions of the hierarchical image segmentation are suitable for detecting complex objects and their parts. The relations of the object hierarchy are mostly mapped into the region hierarchy. The class-specific distributions of the region-specific features can be distinguished from each other and, therefore, can be used for scale-dependent classification of the stable regions. This is done by applying alternating decision trees, which have been extended from binary to multiclass classification. The results are used for initializing the states of the random variables of the Conditional Bayesian Network. A simple algorithm can be applied for propagating the information through the net because of its tree-like structure. The image interpretation yields slightly better results for region classification after applying the Bayesian network. The approach has been tested and evaluated on four data sets with a total of 600 images. Obtained results on image segmentation and region hierarchy construction are satisfying since 70 to 90% of all objects of interest are represented by at least one of the segmented regions, and the relations between the regions reflect the object hierarchy. On the benchmark dataset of Korč & Förstner (2009), the overall classification result of 54.9% is obtained when classifying the regions without considering the hierarchical relations and belonging to seven classes. But the three classes vegetation, building and window which appear in images more often than other classes are favored by the clasifier. After propagating the information through the Conditional Bayesian Network the classification rate is increased to 60.7% but the obvious differences regarding classification mistakes remain.

@PHDTHESIS{drauschke11:hierarchischer, author={Drauschke, Martin}, title={Ein hierarchischer Ansatz zur Interpretation von Gebäudeaufnahmen}, school={Institute of Photogrammetry, University of Bonn}, year={2011}, }

Zusammenfassung

Objekte können im Computer durch 3D-Modelle dargestellt werden. Die Erfassung des Objektes erfolgt durch verschiedene Laserscanningverfahren oder durch Multi-View-Stereo- Verfahren, und resultiert in einer Punktwolke. Punktwolken beinhalten mindestens die 3D-Koordinaten der Punkte. Zusätzliche Informationen können Farbinformationen und Punktnormalen sein. Es gibt zahlreiche Algorithmen um aus den Informationen der Punktwolke eine Oberfläche des Objektes zu rekonstruieren. Die Schwierigkeit besteht darin, die Topologie der realen Oberfläche des Objektes, in der Rekonstruktion zu bewahren. Die Aufgabe dieser Arbeit besteht darin, zu untersuchen, inwieweit Rekonstruktionsverfahren mit und ohne Berücksichtigung der Punktnormalen zu topologischen Verletzungen führen. Es kommen drei Algorithmen zum Einsatz. Der Ball-Pivoting Algorithmus errechnet sich die Punktnormalen aus der Punktwolke. Der Robust Crust Algorithmus nutzt keine Punktnormalen zur Rekonstruktion, und die Poisson Oberflächenrekonstruktion benötigt die Punktnormalen vorab. Die Algorithmen werden mit zehn Datensätzen angewendet, die auf selbst formulierte Fragestellungen abzielen. Die quantitative Bewertung wird anhand der Anzahl der topologischen Verletzungen des eigens aufgestellten topologischen Modells festgemacht. Die qualitative Bewertung erfolgt visuell und analytisch. Die Ergebnisse der Untersuchungen zeigen, dass Algorithmen, die Punktnormalen berücksichtigen, weniger topologische Verletzungen hervorrufen. Gegebenenfalls ist die Berechnung der Punktnormalen auf die Eigenschaften der Punktwolke abzustimmen, um einer Berechnung mit falschen Punkten vorzubeugen. Außerdem wurde festgestellt, dass die Aufnahmeart von Punktwolken, deren Qualität und die Wahl der Algorithmen, Einfluss auf die topologische Konsistenz haben. Zusätzlich wurde herausgefunden, dass eine topologisch korrekte Rekonstruktion, der realen Oberfläche nicht zwangsläufig am ähnlichsten ist.

Abstract

Surface reconstruction from oriented point clouds
Objects can be represented by realistic 3D-computer models. One can obtain the models by using a variety of scanning devices, or by using multi-view stereo software, to get point cloud data. A point cloud contains at least the coordinates of 3D-points. Additional contents can be colour informations and vertex normals for each point. There are several surface reconstruction algorithms, to construct a surface given the informations of the point cloud data. The difficulty is to maintain the topology of the original surface. The task of this paper is to determine whether surface reconstruction algorithms with or without regard to vertex normals lead to topological inconsistency. The researches are based on three algorithms. The Ball-Pivoting algorithm calculates the needed vertex normals in advance. For the Robust Crust algorithm vertex normals are redundant to construct a surface. And the Poisson surface reconstruction requires vertex normals given from the point cloud data. The algorithms are used on ten different point set samples, which are in pursuit of self-defined tasks. The quantitative evaluation method is based on the number of topological violations of the selfdefined topological model. The qualitative evaluation method will be performed visually and analytically. The results of the analyses show that surface reconstruction algorithms with regard to vertex normals lead to lesser topological violations. If the circumstances require the calculation of vertex normals, the calculation has to be adjusted to the characteristics of the given point cloud to avoid a calculation with wrong vertices. Furthermore it became apparent that the way of measurement, the quality of point set samples, and the choice of the algorithm influence the topological consistency as well. Additionally it was found that a topologically consistent surface reconstruction does not necessarily mean that the reconstruction resembles the original surface the most.

@MASTERSTHESIS{korschek11:oberfl\"{a}chenrekonstruktion, author={Korschek, Matthias}, title={Oberfl\"{a}chenrekonstruktion aus orientierten Punktwolken}, school={Institute of Photogrammetry, University of Bonn}, year={2011}, type={bachelor thesis}, }

Zusammenfassung

Identifikation von Kammmolchen
Ziel dieser Arbeit ist es die Identifikation von Kammmolchen zu automatisieren. Gegeben sind zwei Gruppen mit jeweils 34 Kammmolchbildern. Diese Arbeit stellt drei verschiedene Verfahren vor mit denen ermittelt werden soll, auf welchen Bildern der beiden Gruppen der gleiche Kammmolch abgebildet ist . Zur Identifikation der Molche werden in einem ersten Verfahren die Histogramme zweier Bilder verglichen. Hierfür werden alle Bilder in Grauwertbilder umgewandelt Eine statistische Kenngröße entscheidet über die Gleichheit der Motive. Das zweite Verfahren, das wir anwenden, ist wesentlich aufwendiger. Es handelt sich um eine Merkmalbasierte Zuordnung der Bilder. Wir wollen herausfinden wie viele gemeinsame markante Punkte man in zwei Bildern finden kann. Über die Anzahl dieser wollen wir entscheiden, ob es sich um gleiche Kammmolche handelt. Bei diesem Verfahren wird ein Detektor angewendet, der im Bild homogene Flächen, wie die Flecken der Bauchmusterung der Kammmolche, findet. Über die Eigenschaften dieser gefundenen markanten Punkte vergleichen wir, welche Punkte zweier Bilder zusammenpassen. In unserem letzten Verfahren wenden wir eine affine Transformation an. Dies hat den Zweck, dass wir die Kammmolche von zwei Bildern aufeinander transformieren und so durch Differenzbildung der Farbwerte über eine Ähnlichkeit der Tiere entscheiden können. Die Evaluation der Ergebnisse hat gezeigt, dass der Histogrammvergleich nicht geeignet zur Identifikation ist. Es wurden nur 5,8% der Bilderpaare mit gleichem Kammmolch ermittelt. Ebenso hat die Transformation der Bilder zur Ähnlichkeitserkennung schlechte Ergebnisse abgeliefert. 8,8% Trefferquote. Nur die merkmalsbasierende Zuordnung hat zufriedenstellende Ergebnisse geliefert. Hier konnten 84,2% der Bilderpaare mit gleichem Motiv ermittelt werden. Vor allem die Kopfmusterung der Tiere hat sich als sehr geeignet zur Identifizierung gezeigt. Bei optimaler Fotografie der Tiere können mit diesem Verfahren 100% Trefferquote erreicht werden.

Abstract

Identification of crested newts
The aim of this project is to develop an automated identification process for crested newts. Two sets of images each one showing photographed crested newts, will be used for that purpose. The following paper suggests three different methods devised to match crested newts from the two sets. The first method consists of comparing the histograms of two images. For this purpose, every photograph will be converted into a gray -scale image. A statistical parameter wil1 determine the match of the specimen. The feature-based classification of images provides a second, considerably more complex method of achieving this project's goal. Two photographs are compared to reveal a number of distinct similarities, the number of which will be significant in determining a match. This method makes use of a detector to find homogeneous areas, such as parts of the pattern on the belly of a crested newt. Acquired information may then be used to determine possible matches between two images. Affine transformation forms the core of the third and final method. Possible matches will be determined by projecting two photographs of crested newts on top of each other. Subtraction of color values will help form a decision on the similarity of the two animals. Evaluation of the results has shown that histogram comparison is not suitable for identification. Only 5.8% of matches could be found by using this method. Similarly, the transformation of images to determine similarities has delivered poor results .8.8% of matches were found. Solely the feature-based mapping has provided satisfactory results. 84.2% of matching pairs displaying the same pattern could be identified. The animals' head patterns turned out to be especially suitable for the identification process. Optimal photography provided, a 100 % hit rate can be achieved by using this method.

@MASTERSTHESIS{olinger11:identifikation, title={Identifikation von Kammmolchen}, year={2011}, school={Institute of Photogrammetry, University of Bonn}, type={bachelor thesis}, }

High-dimensional data structures occur in many fields of computer vision and machine learning. Transformation between two high-dimensional spaces usually involves the determination of a large amount of parameters and requires much labeled data to be given. There is much interest in reducing dimensionality if a lower-dimensional structure is underlying the data points. We present a procedure to enable the determination of a low-dimensional, projective transformation between two data sets, making use of state-of-the-art dimensional reduction algorithms. We evaluate multiple algorithms during several experiments with different objectives. We demonstrate the use of this procedure for applications like classification and assignments between two given data sets. Our procedure is semi-supervised due to the fact that all labeled and unlabeled points are used for the dimensionality reduction, but only few them have to be labeled. Using test data we evaluate the quantitative and qualitative performance of different algorithms with respect to the classification and assignment task. We show that with these algorithms and our transformation approach high-dimensional data sets can be related to each other. Finally we can use this procedure to match real world facial images with cartoon images from Springfield, home town of the famous Simpsons.

@MASTERSTHESIS{sardemann11:registrierung, author={Sardemann, Hannes}, title={Registrierung von Bildern mit 3D- Punktwolken}, school={Institute of Photogrammetry, University of Bonn}, year={2011}, type={bachelor thesis}, }

We propose a surface segmentation method based on Fast Marching Farthest Point Sampling designed for noisy, visually reconstructed point clouds or laser range data. Adjusting the distance metric between neighboring vertices we obtain robust, edge-preserving segmentations based on local curvature. We formulate a cost function given a segmentation in terms of a description length to be minimized. An incremental-decremental segmentation procedure approximates a global optimum of the cost function and prevents from under- as well as strong over-segmentation. We demonstrate the proposed method on various synthetic and real-world data sets.

@inproceedings{Schindler*11:fast, author = {Schindler, Falko and F\"orstner, Wolfgang}, booktitle = {LNCS, Photogrammetric Image Analysis}, title = {{Fast Marching for Robust Surface Segmentation}}, year = {2011} }

We present a novel surface model and reconstruction method for man-made environments that take prior knowledge about topology and geometry into account. The model favors but is not limited to horizontal and vertical planes that are pairwise orthogonal. The reconstruction method does not require one particular class of sensors, as long as a triangulated point cloud is available. It delivers a complete 3D segmentation, parametrization and classification for both surface regions and inter-plane relations. By working on a pre-segmentation we reduce the computational cost and increase robustness to noise and outliers. All reasoning is statistically motivated, based on a few decision variables with meaningful interpretation in measurement space. We demonstrate our reconstruction method for visual reconstructions and laser range data.

@INPROCEEDINGS{schindler*11:classification, author = {Schindler, Falko and F{\"o}rstner, Wolfgang and Frahm, Jan-Michael}, title = {Classification and Reconstruction of Surfaces from Point Clouds of Man-made Objects}, booktitle = {International Conference on Computer Vision, IEEE/ISPRS Workshop on Computer Vision for Remote Sensing of the Environment}, year = {2011}, pages = {257--263}, }

siehe download

@MASTERSTHESIS{schittenhelm11:empirische, author={Schittenhelm, J\"{o}rg}, title={{Empirische Untersuchungen zum Einsatz des SFOP-Punktdetektors zur Objektdetektion}}, year={2011}, school={University of Bonn}, type={diploma thesis}, city={Bonn}, }

We present a method to perform bundle adjustment using long sequences of digital images from an omnidirectional camera. We use the Ladybug3 camera from PointGrey, which consists of six individual cameras pointing in different directions. There is large overlap between successive images but only a few loop closures provide connections between distant camera positions. We face two challenges: (1) to perform a bundle adjustment with images of an omnidirectional camera and (2) implement outlier detection and estimation of initial parameters for the geometry described above. Our program combines the Ladybug’s individual cameras to a single virtual camera and uses a spherical imaging model within the bundle adjustment, solving problem (1). Outlier detection (2) is done using bundle adjustments with small subsets of images followed by a robust adjustment of all images. Approximate values in our context are taken from an on-board inertial navigation system.

@inproceedings{schmeing*11, author = {Schmeing, Benno, Läbe, Thomas and Förstner, Wolfgang}, title = {Trajectory Reconstruction Using Long Sequences of Digital Images From an Omnidirectional Camera}, year = {2011}, city = {Mainz}, proceeding = {Proceedings of the 31th. DGPF Conference}, }

Zusammenfassung:

Diese Arbeit beschäftigt sich mit der Lösung von geometrischen Optimierungsproblemen der Photogrammetrie mittels Techniken der konvexen Optimierung. Durch Hartley und Schaffalitzky (2004) wurde erstmals vorgeschlagen, geometrische Probleme durch die Minimierung der L∞-Norm der Residuen zu lösen, da sie als konvexes Optimierungsproblem formulierbar sind und so das Erreichen des globalen Minimums garantieren. Seitdem sind stetig neue Verfahren veröffentlicht worden, mit welchen es möglich ist, ohne Näherungswerte die geometrisch sinnvolle L∞-Lösung einiger geometrischer Aufgabenstellungen zu bestimmen.

In der Photogrammetrie werden Orientierungsaufgaben üblicherweise mit Hilfe der Ausgleichungsrechnung gelöst. Falls die Beobachtungen normalverteilten Abweichungen unterliegen, befindet sich der erwartungstreue Schätzer mit minimaler Varianz am globalen Minimum der L2-Kostenfunktion. Wegen der Nichtlinearität der Kostenfunktion sind Näherungswerte für die unbekannten Parameter erforderlich, die bspw. mit Hilfe eines Gauß-Newton-Verfahrens iterativ verbessert werden. Konvergenz zum globalen Minimum ist bei diesem Vorgehen jedoch nicht garantiert, da die L2-Kostenfunktion i. a. mehrere lokale Minima besitzen kann.

In dieser Masterarbeit wird der Ansatz von Hartley und Schaffalitzky (2004) dargestellt, mit der Ausgleichungsrechnung verglichen und an den photogrammetrischen Verfahren räumlicher Vorwärtsschnitt, Homographie-Schätzung, Bündelausgleichung mit bekannten Rotationen, räumlicher Rückwärtsschnitt und relative Orientierung, auf seine Leistungsfähigkeit hin untersucht.

Zu Beginn dieser Arbeit sind die für das Verständnis der Arbeit notwendigen Grundlagen der mathematischen Optimierung dargestellt. Es wird speziell auf die statistische Bedeutung der Minimierung der L2- und der L∞-Norm eingegangen und aufgezeigt, wie eine Kostenfunktion mittels des Newton-Verfahrens numerisch minimiert werden kann. Zudem werden Grundlagen zur konvexen Optimierung dargestellt, welche zum Erkennen konvexer und quasikonvexer Optimierungsprobleme dienen und die Lösbarkeit dieser Optimierungsprobleme mittels Innerer-Punkte-Verfahren darlegt. Die Ausführungen sind für das Verständnis der Lösungsverfahren zur Bestimmung der L∞-Lösung notwendig.

In dieser Arbeit betrachten wir speziell drei geometrische Optimierungsprobleme, deren L∞-Lösungen durch iteratives Lösen eines konvexen Zulässigkeitsproblems mit quadratischen Kegelrestriktionen („Second-order Cone Programm“) innerhalbeines Bisektionsverfahrens bestimmbar sind: Den räumlichen Vorwärtsschnitt, die Homographie-Schätzung und die Bündelausgleichung bei bekannten Rotationen. Die implementierten Verfahren wurden auf synthetisch generierten Daten getestet und anhand der Verteilung der Residuen unter der jeweiligen L∞-Lösung konnten die statistischen Eigenschaften der L∞-Schätzer verifiziert werden. Zum Vergleich des Genauigkeitsniveaus der L2- und L∞-Lösung wurde mittels einer Monte-Carlo-Simulation die empirische Kovarianzmatrix abgeleitet, mittels welcher der Helmertsche-Punktfehler der L2- und der L∞-Lösung verglichen werden kann. Hierbei lieferte die L2-Lösung bei normalverteilten Beobachtungsabweichungen unter verschiedenen Rauschniveaus stets die qualitativ beste Lösung. Die L∞-Lösung nahm häufig ähnliche Werte wie die L2-Lösung an und das Genauigkeitsniveau war durchgehend sehr ähnlich. Die L∞-Lösung reagiert jedoch stärker auf extreme Beobachtungsabweichungen. Bei einem hohen Rauschniveau wächst der Helmertsche Punktfehler signifikant stärker an als der Punktfehler der L2-Lösung.

Falls ein Ausreißer in den Beobachtungen vorliegt, so wird die L∞-Lösung stark verfälscht, da der Ausreißer ein großes Residuum erzeugt. Zur Ausreißerdetektion bei den drei genannten Verfahren wird die von Lee et al. (2010) vorgeschlagene konvexe SOI-Minimierung dargestellt, welche eine Lösung sucht, unter welcher die Summe der Unzulässigkeiten gegenüber den durch die Beobachtungen aufgespannten Kegelrestriktionen minimal ist. Beobachtungen, welche unzulässige Restriktionen erzeugen, können dann als Ausreißer identifiziert werden. Die SOI-Minimierung hat auf den syntetisch generierten Konfigurationen stets alle generierten Ausreißer detektiert, jedoch wurde durchgehend eine gewisse Anzahl fälschlicherweise als Ausreißer identifiziert.

Weiterhin wurde das von Hartley und Kahl (2009) veröffentlichte Lösungsverfahren untersucht, mit welchem sogar Rotationen mittels einer Branch-and-Bound-Suche im dreidimensionalen Rotationsraum bestimmt werden können. Dieses Verfahren ermöglicht es auch die L∞-Lösung des räumlichen Rückwärtsschnitts und der relativen Orientierung stets ohne Näherungswerte zu bestimmen. Neben der theoretischen Aufarbeitung wurden beide Verfahren implementiert und durch Anwendung auf simulierte Datensätze getestet.

Es konnte in dieser Arbeit anhand von synthetisch generierten Datensätzen gezeigt werden, dass die Abweichungen zwischen der L∞-Lösung und der L2-Lösung nicht sehr groß sind. Die L∞-Lösung eignet sich daher als Näherungswert zur Initialisierung einer L2-Minimierung. Mittels iterativer Lösungsverfahren, wie bspw. einer Bündelausgleichung, kann die L∞ -Lösung durch Minimierung der L2-Kostenfunktion verbessert werden.

Die untersuchten Probleme konnten effizient durch Lösen von Second-order Cone Programmen mittels Innere-Punkte-Verfahren gelöst werden. Zur Lösung der konvexen Optimierungsprobleme wurde das Open-Source-Programmpaket „SeDuMi“ verwendet. Die Laufzeit dieser Algorithmen ist zwar bei weitem nicht so schnell wie eine Kleinste-Quadrate-Schätzung, jedoch bei der Lösung nicht allzu großer Probleme anwendbar.

Abstract:

This thesis is concerned with solving geometric optimization problems in photogrammetry using methods of convex optimization. Hartley und Schaffalitzky (2004) first suggested solving geometric problems by minimizing the L∞-norm of the residuals, so that they can be written as convex optimization problems and as such obtain the global minimum. Since then new methods, allowing to determine the statistically and geometrically meaningful L∞-solution without approximate values, have constantly been published.

In the field of photogrammetry calibration tasks are usually solved using adjustment theory. If the observations show normally distributed derivations, the unbiased estimator with a minimal variance is at the global minimum of the L2-cost function. Because of the nonlinearity of the cost function approximate values for the unknown parameters are needed. These can be improved using, for instance, the iterative Gauss-Newton's method. This method does however not guarantee convergence to the global minimum as the L2-cost function can generally have several local minima.

In this thesis the approach of Hartley und Schaffalitzky (2004) is described, compared with the adjustment theory, and its capability is tested on photogrammetric methods such as triangulation, homography estimation, bundle adjustment with known camera orientation, pose estimation and relative pose estimation.

At the beginning of this thesis, the necessary basics of mathematical optimization are explained. Special focus is put on the statistical meaning of minimizing the L2-and the L∞-norm, and it is explained how a cost function can be numerically minimized using the Newton's method. Moreover, basics concerning convex optimization, allowing to identify and to solve convex as well as quasi-convex optimization problems with interior-point methods, are presented. These explanations are necessary to understand the methods used to solve the problem of determining the L∞-solution.

This thesis focuses on three geometrical optimization problems whose L∞-solutions are determinable by solving iterativly a convex feasability problem with second order cone constraints within a bisection method: triangulation, homography estimation and bundle adjustment with known camera orientation. The implemented methods were tested on synthetically generated data, and the statistical properties of L∞-estimators could be verified on the basis of the distribution of residuals under the corresponding L∞ -solution. To compare the level of accuracy of the L2- and the L∞-solution the empirical covariance matrix was deduced with the help of a Monte-Carlo simulation. This covariance matrix allows the comparison of the Helmert-point error of the L2 and L∞-solution. The L2-solution always showed the most certain solution in normally distributed observation derivations on different noise levels. The L∞-solution showed results similar to those of the L2-solution. The influence of extreme observation residuals is however stronger on the L∞-solution. On a high noise level the Herlmert-point error has a significantly stronger influence on the point error of the L2-solution.

If observations contain an outlier, the L∞-solution is strongly influenced as the outlier creates a big residual. Convex SOI-minimization, minimizing the sum of infeasibilities, suggested by Lee et al. (2010), is presented as it permits the detection of outliers in the three methods. Observations creating infeasible restrictions can be identified as outliers. SOI-minimization has always detected all the generated outliers in the synthetically generated configurations. A certain number of true inliers were however wrongly identified as outliers.

Furthermore, a solution method published by Hartley und Kahl (2009), allowing to determine rotations by searching three-dimensional rotation space with branch-and-bound, is presented. This branch-and-bound method permits the determination of the L∞-solution of pose estimation and relative pose estimation without approximate values. In addition to their theoretical presentation, both methods were implemented and tested by applying them on synthetic data sets.

On the basis of synthetically generated data sets it could be shown in this thesis that the differences between the L2- und L∞-solutions are not big. The L∞-solution is therefore a suitable approximate value to initialize a L2-minimization. Iterative refinement techniques minimizing the L2 -cost function, such as bundle adjustment, can be used to improve the L∞-estimates.

The examined optimization problems could effciently be solved as second order cone programms using interior point methods. To solve the convex optimization problems the open source software package “SeDuMi” is used. The runtime of these algorithms is by far not as fast as least squares methods but practicable to solve problems that are not overly big.

@MASTERSTHESIS{schneider11:loesung, author = "Schneider, Johannes", title = "L\"{o}sung von Orientierungsaufgaben der Photogrammetrie mit konvexer Optimierung", school="Department of Photogrammetry, University of Bonn", type="Master Thesis", year = "2011", }

Wir stellen einen Ansatz für eine strenge Bündelausgleichung für Multikamerasysteme vor. Hierzu verwenden wir eine minimale Repräsentation von homogenen Koordinatenvektoren für eine Maximum-Likelihood-Schätzung. Statt den Skalierungsfaktor von homogenen Vektoren durch Verwendung von euklidischen Größen zu eliminieren, werden die homogenen Koordinaten sphärisch normiert, so dass Bild- und Objektpunkte im Unendlichen repräsentierbar bleiben. Dies ermöglicht auch Bilder omnidirektionaler Kameras mit Einzelblickpunkt, wie Fisheyekameras, und weit entfernte bzw. unendlich ferne Punkte zu behandeln. Speziell Punkte am Horizont können über lange Zeiträume beobachtet werden und liefern somit eine stabile Richtungsinformation. Wir demonstrieren die praktische Umsetzung des Ansatzes anhand einer Bildfolge mit dem Multikamerasystem „Ladybug3“ von Point Grey, welches mit sechs Kameras 80 % der gesamten Sphäre abbildet.

@inproceedings{ schneider*11:buendelausgleichung, author = {Schneider, Johannes and Schindler, Falko and F\"{o}rstner, Wolfgang}, title = {B\"{u}ndelausgleichung f\"{u}r Multikamerasysteme}, year = {2011}, city = {Mainz}, proceeding = {Proceedings of the 31th DGPF Conference}, }

Abstract

Geography, climate and vegetation - elements in today’s changing. These changes have to be observed and analyzed in detail. To assure being up-to-date the classification of image data is a common procedure in remote sensing. For the implementation of image data classification many classification methods were developed and modified over the past years. The classification methods, the image data and the study area mainly affect the classification accuracy. In particular the progress of increasing training data showed a boost of classification accuracy. Though the costs and expenditure of time are very high in purchasing such training data. Nevertheless so called semi-supervised classification methods try to resolve this problem. In this bachelor thesis the focus is set on the Random Forest developed by Breiman. This classifier is combined with an incremental method. After this the classifier is able to generate new training data. Hence we implement the self-training method. To create an incremental Random Forest we proceed in several phases. First we train a conventional Random Forest with a small set of training data. In a second Phase the predicted classification is made. This allows pixel whose land use classes are unknown to be provided with pseudo-classes. At the same time the accuracy assessment is made on the trained Random Forest. For this we use the predefined test data from the given dataset. In a third stage the selection of the new training data is made. We define a threshold, so the new training data is not randomly selected. The confidence level of the new training data is measured on this threshold. If there is a sufficient number of new training data, which reach or exceed this confidence level, the new training data is added to the existing training data. On this basis a new Random Forest can be trained. This sequential process is determined by a specified iteration, or is stopped prematurely by a stopping criterion. Afterwards it is possible to classify a multi-spectral and hyperspectral dataset The assessment concluded that the combination parameters of the incremental Random Forest have a crucial impact on the classification results. Depending on the data set various configurations of parameters have to be tested. While comparing the conventional Random Forest with the incremental Random Forest partly significant differences in the classification results are obvious. Furthermore it should be noted that only a few class accuracy could be increased with the incremental Random Forest. Though the present thesis provides a good foundation to exploit the potential of the incremental Random Forest for further investigations.

@MASTERSTHESIS{schoppohl11:klassifikation, author={Schoppohl, Sebastian-Alexander}, title={Klassifikation von Multispektralen und Hyperspektralen Fernerkundungsdaten mittels sequentieller Klassifikationsverfahren}, school={Institute of Photogrammetry}, year={2011}, type={bachelor thesis} }

A temporal filter approach for real-time detection and reconstruction of curbs and road surfaces from 3D point clouds is presented. Instead of local thresholding, as used in many other approaches, a 3D curb model is extracted from the point cloud. The 3D points are classified to different parts of the model (i.e. road and sidewalk) using a temporally integrated Conditional Random Field (CRF). The parameters of curb and road surface are then estimated from the respectively assigned points, providing a temporal connection via a Kalman filter. In this contribution, we employ dense stereo vision for data acquisition. Other sensors capturing point cloud data, e.g. lidar, would also be suitable. The system was tested on real-world scenarios, showing the advantages over a temporally unfiltered version, due to robustness, accuracy and computation time. Further, the lateral accuracy of the system is evaluated. The experiments show the system to yield highly accurate results, for curved and straight-line curbs, up to distances of 20 meters from the camera.

@INPROCEEDINGS{siegemund*11:curb, author = {Jan Siegemund and Uwe Franke and Wolfgang F\"{o}rstner}, title = {A Temporal Filter Approach for Detection and Reconstruction of Curbs and Road Surfaces based on Conditional Random Fields}, booktitle = {IEEE Intelligent Vehicles Symposium (IV)}, year = {2011}, pages = {637-642}, month = {June}, publisher = {IEEE Computer Society} }

Zusammenfassung

Weltweit ist eine steigende Urbanisierung und Suburbanisierung zu verzeichnen. Um die stetig wachsende Versiegelung untersuchen zu können, erweist es sich als vorteilhaft, dass die aktuellen Entwicklungen bei den Fernerkundungssensoren zu einer besseren räumlichen Auflösung beitragen. Dies ermöglicht eine zunehmend genauere Differenzierung urbaner Strukturen. In dieser Arbeit ist eine effiziente Strategie zur Klassifikation von hochaufgelösten TerraSAR-X Daten urbaner Räume erstellt und umgesetzt worden. Zu diesem Zweck wurden in den ersten bei den Kapiteln zunächst Grundlagen, Vorverarbeitungsschritte sowie die genutzten Daten vorgestellt. Im Grundlagenkapitel werden vor allem die Merkmale dargelegt, mit denen im Random Forest die Klassifikation durchgeführt wird. Dies sind zum einen die Texturmaße, die zu einem Informationszugewinn führen. Zum anderen konnte das Klassifikationsergebnis durch die Nutzung von Segmentierungsalgorithmen verbessert werden. Weiterhin zeigte sich, dass mit der Nutzung eines Speckle-Filters vor den Berechnungen der Texturmaße aus Co-Occurrence Matrizen das Gesamtergebnis optimiert werden konnte. Anschließend wurden im Auswertungskapitel Ergebnisse und daraus resultierende Erkenntnisse diskutiert. Es konnte ein adäquates Konzept zur Klassifikation der TerraSAR-X Daten der Region Kamen in Nordrhein- Westfalen entwickelt werden. Der Random Forest bewährte sich als schneller und effizienter Klassifikator von großen Datenmengen. Des Weiteren eignete sich der Random Forest ideal für eine Sensorfusion mit zusätzlichen optischen Daten der Rapideye Satelliten. Im Rahmen der Untersuchungen der Texturmaße zur Klassifikation urbaner Räume zeigte sich, dass Texturmaße aus Co-Occurrence-Matrizen gegenüber den Semivariogrammen und Texturmaßen aus Histogrammen am besten zum Klassifikationserfolg beitragen konnten. Die Fenstergröße ist ein wichtiger Parameter der Texturmaße und es zeigte sich, dass mit größeren Rechteckumgebungen zur Berechnung der Texturmaße i. d. R. bessere Ergebnisse erzielt werden konnten. Allerdings müssen die damit einhergehenden Folgen wie der Verlust von kleinen Details und die Tendenz zur Blockbildung bei der anschließenden Klassifikation beachtet werden. Zur Segmentierung der Radardaten sind verschiedene Verfahren untersucht worden. Dabei zeigte sich, dass das Klassifikationsergebnis auf Basis der Segmente des Superpixel Contour Relaxation Algorithmus die anderen Segmentierungsansätze übertrifft. Das beste Ergebnis erzielte dieser Algorithmus mit einer 3- Level-Segmentierung, welche unterschiedliche Segment größen umfasst. Darüber hinaus zeigte sich, dass die Markov Random Fields gut geeignet sind, um das Klassifikationsergebnis des Random Forest weiter zu verbessern. Auf Grund der Bildung homogener Regionen durch die Markov Random Fields wurden pixelweise Fehlklassifikationen korrigiert und das Gesamtbild verbessert. Aus den beschriebenen Verfahren wurde ein "ideales Konzept" erstellt, welches zum genauesten Klassifikationsergebnis führt. Dazu gehört neben den Berechnungen auf Basis der TerraSAR-X Daten auch die Nutzung optischer Daten. Durch die Sensorfusion im Random Forest können die Stärken bei der Sensorsysteme zur Steigerung des KIassifikationserfolgs genutzt werden.

Abstract

An increasing global urbanization and suburbanization can be observed. To monitor the growing sealing, it is advantageous that the recent developments in remote sensing improve spatial resolution. The advent of a new sensor generation offers a more precise differentiation of urban environments. Therefore, we can use different types of sensors (e.g., microwave, multispectral), each with different strengths and weaknesses. These sensors operate at different wavelengths and thus provide different information. In combination with Earth observation systems, global land cover information can be acquired rapidly. Synthetic Aperture Radar (SAR) is an active remote sensing technique highly sensitive to geometrical configurations and dielectric properties. SAR sensors are capable to receive microwaves independently from daytime and weather conditions. Hence, SAR satellites offer the advantage to play a key role in urban monitoring during time critical events like natural hazards (Sorgel, 2010). For example SAR data have been used for mitigation and damage assessment during flooding (Voigt u. a., 2005) and after the earthquake in Taiwan (Takeuchi u. a., 2000). Furthermore, this technology can provide gapless and full usable time series. There are many more applications, SAR data can be used for. The properties of microwaves allow for example to gather land cover information in tropical zones or to monitor glaciers or oil leaks (Sorgel, 2010). In this thesis, an efficient strategy for the classification of high resolution TerraSAR-X data (Werninghaus u. Buckreuss, 2010) covering urban areas has been developed and implemented. To achieve this, we use state of the art textural and segmentation procedures. The first chapter introduces some basics and focuses on the Random Forest (RF) (Breiman, 2001) classification and its features. The Random Forest is a supervised classifier, so a set of training data is, necessary. It is an ensemble classifier that consists of many decision trees. The output is a majority vote of all decision trees for a class. Random Forest is a fast and efficient algorithm capable to classify large amounts of multisensor data. To improve the classification accuracy, we use textural features which lead to an information gain (Dekker, 2003). Since the TerraSAR-X sensor is single band, texture measures are useful to gain additional information. The principle is that textural information of the neighbourhood of each pixel is calculated within a moving window. Over the years a great number of texture measures have been developed. In this thesis we investigated texture measures that have been proved for SAR data like histogram measures, grey-level co-occurrence measures and semivariograms (Dekker (2003), Haralick u. a. (1973), Carr u. de Miranda (1998), Dell' Acqua u. Gamba (2006)). SAR data has the noise-like characteristic of speckle. In this thesis we used the gamma filter with a window width of 7 x 7 to reduce the effect of speckle. It was shown that the use of speckle filters before calculating the textural measures from co-occurrence matrices optimized the overall accuracy. The classification accuracy could be further improved by the use of segmentation algorithms. In computer vision, "segmentation" means the process of partitioning an image into multiple homogeneous regions. So with the use of segments with similar pixel intensities it is possible to simplify the representation of an image. Afterwards, features in the segments can be calculated. Through the last years, new segmentation algorithms have been developed. We investigated two superpixel algorithms, the SLIC Superpixel (Achanta u. a., 2010) and the Superpixel Contour Relaxation Algorithm (Mester u. a., 2011). Furthermore, we used the watershed segmentation which could provide good results in other studies (Li u. a. (1999), Vincent u. Soille (1991)). The next chapter is dedicated to preprocessing steps and the data set. In this thesis four TerraSAR-X scenes of the Kamen region in North Rhine- Westphalia, Germany, are classified. Multitemporal data is very useful to discriminate surface types with short temporal variation (Waske u. Braun, 2009). Thus, vegetation and especially agricultural areas can be well differentiated from urban areas, which show mostly long-term temporal changes. Furthermore, this chapter illustrates the annotation of training and test data for the Random Forest. A part of the TerraSAR-X scene was divided into the six classes (i) deep development, (ii) loose development, (iii) trade-/industrial building, (iv) traffic areas, and the vegetation classes, (v) fields and (vi) forest. Afterwards, the outcomes of this thesis are discussed. An adequate concept for the classification of TerraSAR-X data of Kamen could be developed. The Random Forest performed well in terms of a fast and efficient classification of large data sets. We chose 1000 training samples per class and 200 trees for the Random Forest model. It was shown that the Markov Random Fields (MRF) can be used to improve the Random Forest classification. The principle of Markov random fields is the combination of the a-posteriori probability of the class label with the assumption that homogeneous regions are more probable. Due to the creation of homogeneous regions by the Markov Random Fields, pixelwise classification failures were corrected and thus the overall result was improved. We used a graph cut algorithm to minimize the energy function. The classification accuracy of the TerraSAR- X data without any other features was 42%. The Markov Random Field segmentation could improve the classification accuracy up to 63%. The segmentation of the image in homogeneous regions rectifies pixelwise misclassification and the radar-specific speckle effect can partly be compensated. The poor results could be increased by the use of the gamma filter before classifying the TerraSAR-X data in the Random Forest. The classification overall accuracy increased to 59% and afterwards the Markov Random Field segmentation improved the accuracy to 73%. When investigating textural features for the classification, the co-occurrence measures outperformed the semivariograms and the textural features of histograms. Even with its best result with a window width of 27 x 27, the semivariograms could only reach an overall accuracy of 82%. The evaluation of the textural features showed differentiating results. The window size is an important parameter of the textural measures and it could be shown that larger rectangular environments lead to a better classification accuracy. However, consequences such as the loss of small details and the tendency to receive block-like structures in the subsequent classification have to be considered. The best results of the texture measures from histograms were reached with a window size of 21 x 21. The classification shows some block-wise regions of false labelling. The overall accuracy was 94.2%. Although it is a great improvement in comparison to the TerraSAR-X classification results, this outcome is not yet satisfying. Furthermore, this quite high accuracy should be reflected upon critically. The test data covers only some regions of the image and so in some areas in the picture, misclassifications can not be detected statistically. Furthermore, we classified co-occurrence measures with different window sizes between 7 x 7 and 35 x 35. The best overall accuracy was provided by the co-occurrence measures with a window width of 35 x 35 and speckle filtering before. The amount of trade-/industrial building and traffic areas on the misclassification was particularly high. When evaluating segmentation algorithms the Superpixel Contour Relaxation algorithm outperformed the other segmentation procedures. Due to the oversegmentation created by the watershed algorithm, the classification accuracy only reached 85%. To achieve more homogeneous regions, a merging of the oversegmented regions could be taken into account. The SLIC superpixel algorithm could not improve the overall accuracy in comparison to the other procedures. The best result was achieved by a 3-level segmentation which consists of the initial grid-sizes 5 x 5, 10 x 10 and 50 x 50. In doing so, the Random Forest classification accuracy was 73%, 90% and 89%, respectively, for the three segmentation levels. The classification of the three segmentations together outperformed the single segment classifications with an overall accuracy of 95.3%. Furthermore, the comparison of the multilevel Superpixel Contour segmentation with the segmentation of the commercial software eCognition showed that we receive similar results. The benefit of our segmentation is that we do not need manual input in contrast to the multiresolution segmentation by eCognition. The combination of each of the best performing features described above provided the best overall accuracy on basis of the TerraSAR-X data. To sum it up, the best features were the co-occurrence measures, the multilevel Superpixel Contour segmentation and Markov Random Field segmentation after the Random Forest classification. Moreover, the Random Forest proved to be an ideal classifier for multisensor data concerning TerraSAR-X and Rapideye data. The sensor fusion in the Random Forest allows the use of complementary information from both systems and thus an improvement of the classification success. For example SAR specific effects like radar shadow or layover can be compensated by additional optical data. This can be observed for instance at the east sides of the forests in Kamen region which exhibit an information gap because of radar shadows. The overall accuracy could be improved to 98.9% by the best TerraSAR-X based features with additional optical data. The classification image showed very little misclassifications in visual comparison with airborne optical data. A confusion matrix was calculated to further evaluate the class-specific accuracies. The producer accuracy of each class reached over 96%. So a high proportion of the reference data was classified correctly. Moreover, the user accuracy showed similar results apart from the deep development (78.8%) and the traffic areas (90.9%). This phenomenon was also observed in the previous classifications. It can be explained as follows: The definition of deep development includes a high sealing level of nearly 100% and the loose development has a large amount of vegetation and non man-made objects. So in some cases, the buildings of the loose development are misclassified as deep development while the rest is classified correctly. Among other things, this leads to a deep development user accuracy of 78.8%. The Cohen's kappa coefficient which gives an assessment for the overall accuracy was 0.97. As a result, the described methods led to an "ideal concept" which shows the most accurate classification result. This includes the use of optical data in addition to TerraSAR-X data. Some improvements for further work could be the use of multipolarimetric SAR data or optical data with a higher resolution. The processing of optical data with the Superpixel Contour Relaxation algorithm or other means could be promising as well. Moreover, a separate street extraction algorithm could be used to improve the classification of the traffic areas and below the line a better overall result.

@MASTERSTHESIS:{stefanski11:klassifikation, author={Stefanski, Jan}, title={Klassifikation hochaufl\"{o}sender TerraSAR-X Daten urbaner R\"{a}ume}, school{Department of Photogrammetry, University of Bonn}, year={2011} }

Zusammenfassung

Untersuchung zur Nutzung wiederholter Strukturen für die 3D- Rekonstruktion aus Einzelaufnahmen
Ziel dieser Arbeit ist die Ableitung von 3D-Informationen aus Einzelaufnahmen. Dazu werden identische, wiederholte Strukturen verwendet. Diese treten in von Menschenhand geschaffenen Objekten sehr häufig auf. Wir betrachten diese wiederholten Strukturen als mehrere Aufnahmen eines Objektes. Zunächst vereinfachen wir die Problemstellung, indem wir die 3D Rekonstruktion von Punkten und Linien auf eine 2D Rekonstruktion von Punkten reduzieren. Dazu werden 1D Kameras eingeführt. Die Zeilen und Spalten von Bildausschnitten wiederholter Objekte werden dabei als Aufnahmen von 1D Kameras betrachtet. Aufgrund der Rektifizierung der Bilder können wir das Vorliegen des Normalfalls annehmen. Durch Rekonstruktion und Verschneiden der Abbildungsstrahlen von korrespondierenden Punkten aus drei 1D Kameras werden 2D Profile rekonstruiert. Aus diesen lassen sich Tiefeninformationen und deren Genauigkeit ableiten. Durch Kombination mehrerer Profile in horizontaler und vertikaler Richtung lassen sich unter optimalen Bedingungen 3D Modelle der wiederholten Strukturen erstellen. Wir verfolgen diesen Ansatz auf zwei Wegen. Zunächst wird ein Simulationsprogramm behandelt, welches das entwickelte Konzept an einem Modell unter optimalen Bedingungen testet. Dabei wird zudem die Annahme der theoretischen Genauigkeit empirisch überprüft. In einem nächsten Schritt wird der Ansatz für die Anwendung auf echte Bilder übertragen. Dazu verwenden wir Aufnahmen von Gebäudefassaden, bei denen wir geometrisch identische Fenster als wiederholte Strukturen betrachten. Dabei spielen besonders Aspekte wie Kantenextraktion und eine korrekte Zuordnung korrespondierender Kanten eine Rolle. Letztendlich stellen wir fest, dass der von uns verfolgte Ansatz in der Theorie des Simulationsprogramms sehr gute Ergebnisse liefert. Es ist möglich 2D Profile mit einer relativen Tiefengenauigkeit von 0.04% bis 2%, je nach Annahme der theoretischen Genauigkeit, zu erstellen. Die Rekonstruktion der 3D Informationen des im Simulationsprogramm verwendeten Modells gelingt sehr gut. Die Anwendung auf echte Bilder liefert weniger gute Resultate. Durch Ungenauigkeiten in der Kantenextraktion und der Zuordnung am Rand der wiederholten Strukturen und einer zu geringen Tiefe der verwendeten Testobjekte sind die Ergebnisse nicht sehr akkurat und aussagekräftig. In der Regel werden nur horizontale 2D Profile erstellt, da meist nicht drei identische Fensterstrukturen übereinander liegen. Zudem spielen weitere Faktoren wie Lichteinfall, Verzeichnungen und Störobjekte in den von uns verwendeten Fenstern eine Rolle. Unser entwickeltes Verfahren lässt sich daher nur bedingt zur Rekonstruktion auf den von uns verwendeten Bildern benutzen.

Abstract

Analysis of using repeated Structures for 3D-reconstruction from single images
The goal of this work is the derivation of 3D-information from single images. Therefore identical repeated structures are used. These structures are common in man-made scenes. The repeated structures can be seen as multiple pictures of a single object. At first we simplify the problem by projecting it from 3D to 2D. Thus we introduce 1D cameras by taking the rows and columns of the image sections showing the repeated structures. By rectifying the image we can assume the normal case. By reconstructing and intersecting the projection rays of corresponding points from three 1D cameras 2D profiles of the repeated structure can be recovered. Using these profiles we can derive depth information and their uncertainty. By combining more than one profile in horizontal and vertical direction even a 3D model of the repeated structure can be recovered. We pursue this approach in two ways. First we discuss a simulation program which applies the developed concept under optimal circumstances. Furthermore we verify our estimate of the theoretical uncertainty by performing an empirical test. Second we test our approach on real images. Therefore we use images of building facades in which we use geometrically identical windows as repeated objects. In this process edge-feature extraction and matching of these features plays a major role with real images. We examine our results and conclude that our approach performs very well in the theoretical environment of the simulation program. There it is possible to create 2D profiles with a relative uncertainty of depth of 0.04% to 2%, depending on the assumption of the theoretical uncertainty. Also the reconstruction of 3D information of the used model in the simulation performs very well. The results on real images lack in completeness and precision caused by uncertainties during the edgefeature extraction and the following matching of the 1D edgepoints. The results are not very reliable and meaningful. This is mostly due to the relatively small depth of the repeated structures. Mostly, just horizontal 2D profiles can be recovered, because there are not three identical windows on top of each other. Other major sources of uncertainties are incidences of light, radial image distortions and disturbing objects behind the windows or reflections of objects. Our approach is therefore only of limited use on the images used by us. To produce good results with our approach we require certain circumstances like a high resolution image, so the repeated structures are also displayed in a high resolution. Furthermore the repeated objects should have a certain amount of depth, so the parallax is significant.

@MASTERSTHESIS{uebbing11:untersuchung, title={Untersuchung zur Nutzung wiederholter Strukturen für die 3D Rekonstruktion aus Einzelaufnahmen}, year={2011}, school={Institute of Photogrammetry, University of Bonn}, type={bachelor thesis}, }

@ARTICLE{yang*11:fusion, author = {Yang, Michael Ying and Cao, Yanpeng and McDonald, John}, title = {{Fusion of camera images and laser scans for wide baseline 3D scene alignment in urban environments}}, journal = {ISPRS Journal of Photogrammetry and Remote Sensing}, year = {2011}, volume = {}, pages = {accepted}, }

@ARTICLE{yang*11:evaluation, author = {Yang, Michael Ying and Förstner, Wolfgang}, title = {Feature Evaluation for Building Facade Images - An Empirical Study}, journal = {Department of Photogrammetry, Institute of Geodesy and Geoinformation, University of Bonn, TR-IGG-P-2011-02}, year = {2011}, }

@INPROCEEDINGS{yang*11:crf-classification, author = {Yang, Michael Ying and Förstner, Wolfgang}, title = {Regionwise Classification of Building Facade Images}, booktitle = {Photogrammetric Image Analysis (PIA2011)}, year = {2011}, pages = {209 -- 220}, publisher = {Springer}, series = {LNCS 6952}, }

@INPROCEEDINGS{yang*11:hcrf-scene-classification, author = {Yang, Michael Ying and Förstner, Wolfgang}, title = {A Hierarchical Conditional Random Field Model for Labeling and Classifying Images of Man-made Scenes}, booktitle = {International Conference on Computer Vision, IEEE/ISPRS Workshop on Computer Vision for Remote Sensing of the Environment}, year = {2011}, pages = {accepted}, }

Zusammenfassung:

Ziel der semantischen Bildinterpretation ist es, Bildregionen und ihre gegenseitigen Beziehungen zu kennzeichnen und in sinnvolle Klassen einzuteilen. Dies ist eine der Hauptaufgabe in vielen Bereichen des maschinellen Sehens, wie zum Beispiel der Objekterkennung, 3D Rekonstruktion oder der Wahrnehmung von Robotern. Insbesondere Bilder anthropogener Szenen, wie z.B. Fassadenaufnahmen, sind durch starke räumliche und hierarchische Strukturen gekennzeichnet. Diese Strukturen zu modellieren ist zentrale Teil der Interpretation, für deren statistische Modellierung graphische Modelle ein geeignetes konsistentes Werkzeug darstellen. Bayes Netze und Zufallsfelder sind zwei bekannte und häufig genutzte Beispiele für graphische Modelle zur Erfassung kontextabhängiger Informationen. Die Motivation dieser Arbeit liegt in der Überzeugung, dass wir eine generische Formulierung der Bildinterpretation mit klarer semantischer Bedeutung finden können, die die Vorteile von Bayes Netzen und Zufallsfeldern verbindet. Der Hauptbeitrag der vorliegenden Arbeit liegt daher in der Entwicklung eines generischen statistischen graphischen Modells zur Bildinterpretation, welches unterschiedlichste Typen von Bildmerkmalen und die räumlichen sowie hierarchischen Strukturinformationen über eine multiskalen Bildsegmentierung integriert. Das Modell vereinheitlicht die existierender Arbeiten zugrunde liegenden Ideen, wie bedingter Zufallsfelder (conditional random field (CRF)) und Bayesnetze (Bayesian network (BN)). Dieses Modell hat eine klare statistische Interpretation als Maximum a posteriori (MAP) Schätzer eines mehr klassen Zuordnungsproblems. Gegeben die Struktur des graphischen Modells und den dadurch definierten Faktorisierungseigenschaften leiten wir die Wahrscheinlichkeitsverteilung des Modells ab. Dies führt zu einer Energiefunktion, die näherungsweise optimiert werden kann. Der jeweilige Typ der Bildmerkmale, die räumliche sowie hierarchische Struktur ist von dieser Formulierung unabhängig. Wir zeigen die Anwendung des vorgeschlagenen graphischen Modells anhand der mehrklassen Zuordnung von Bildregionen in Fassadenaufnahmen. Wir demonstrieren, dass das vorgeschlagene Verfahren zur Bildinterpretation, durch die Berücksichtigung räumlicher sowie hierarchischer Strukturen, signifikant bessere Klassifikationsergebnisse zeigt, als klassische lokale Klassifikationsverfahren. Die Leistungsfähigkeit des vorgeschlagenen Verfahrens wird anhand eines öffentlich verfügbarer Datensatzes evaluiert. Zur Klassifikation der Bildregionen nutzen wir ein Verfahren basierend auf einem effizienten Random Forest Klassifikator. Aus dem vorgeschlagenen allgemeinen graphischen Modell werden konkret zwei spezielle Modelle abgeleitet, ein hierarchisches bedingtes Zufallsfeld (hierarchical CRF) sowie ein hierarchisches gemischtes graphisches Modell. Wir zeigen, dass beide Modelle bessere Klassifikationsergebnisse erzeugen als die zugrunde liegenden lokalen Klassifikatoren oder die einfachen bedingten Zufallsfelder.

Abstract

The task of semantic scene interpretation is to label the regions of an image and their relations into meaningful classes. Such task is a key ingredient to many computer vision applications, including object recognition, 3D reconstruction and robotic perception. It is challenging partially due to the ambiguities inherent to the image data. The images of man-made scenes, e. g. the building facade images, exhibit strong contextual dependencies in the form of the spatial and hierarchical structures. Modelling these structures is central for such interpretation task. Graphical models provide a consistent framework for the statistical modelling. Bayesian networks and random fields are two popular types of the graphical models, which are frequently used for capturing such contextual information. The motivation for our work comes from the belief that we can find a generic formulation for scene interpretation that having both the benefits from random fields and Bayesian networks. It should have clear semantic interpretability. Therefore our key contribution is the development of a generic statistical graphical model for scene interpretation, which seamlessly integrates different types of the image features, and the spatial structural information and the hierarchical structural information defined over the multi-scale image segmentation. It unifies the ideas of existing approaches, e. g. conditional random field (CRF) and Bayesian network (BN), which has a clear statistical interpretation as the maximum a posteriori (MAP) estimate of a multi-class labelling problem. Given the graphical model structure, we derive the probability distribution of the model based on the factorization property implied in the model structure. The statistical model leads to an energy function that can be optimized approximately by either loopy belief propagation or graph cut based move making algorithm. The particular type of the features, the spatial structure, and the hierarchical structure however is not prescribed. In the experiments, we concentrate on terrestrial man-made scenes as a specifically difficult problem. We demonstrate the application of the proposed graphical model on the task of multi-class classification of building facade image regions. The framework for scene interpretation allows for significantly better classification results than the stan¬dard classical local classification approach on man-made scenes by incorporating the spatial and hierarchical structures. We investigate the performance of the algorithms on a public dataset to show the relative importance ofthe information from the spatial structure and the hierarchical structure. As a baseline for the region classification, we use an efficient randomized decision forest classifier. Two specific models are derived from the proposed graphical• model, namely the hierarchical CRF and the hierarchical mixed graphical model. We show that these two models produce better classification results than both the baseline region classifier and the flat CRF.

@PHDTHESIS{yang11:hierarchical, author={Michael Ying Yang}, title={Hierarchical and Spatial Structures for Interpreting Images of Man-made Scenes Using Graphical Models}, school={Institute of Photogrammetry, University of Bonn}, year={2011}, }

Zusammenfassung:

Die automatische Kameraorientierung dient der Berechnung der inneren und äußeren Orientierungsparameter einer oder mehrerer Kameras ohne vorherige Passpunktbestimmung und Angabe von Näherungswerten. Die Programme Bundler und Aurelo verwenden hierzu Bilder der jeweiligen Kamera und detektieren mit dem SIFT-Keypoint-Detektor Lowe-Punkte in den Bildern. Nach einer Zuordnung der Bilder anhand der detektierten Punkte berechnen beide Programme innerhalb einer Bündelblockausgleichung die Orientierungsparameter der Kameras und die 3D-Objektkoordinaten des aufgenommenen Objekts. Das Ziel dieser Arbeit besteht in einem Vergleich der beiden Programme. Neben einer Darstellung der Vor- und Nachteile soll sie auch als Entscheidungshilfe dienen, bei welchem zu Grunde liegenden Datensatz welches Programm am besten für die Kameraorientierung geeignet ist. Eine detaillierte Analyse der Programmabläufe zeigt, dass die wesentlichen Unterschiede in der Wahl des initialen Bildpaares, in der Näherungswertbestimmung für die Bündelausgleichung und in der Integration weiterer Bilder in den Berechnungsablauf liegen. Ein Schwerpunkt der Arbeit liegt auf der Untersuchung des Einflusses dieser Unterschiede auf die folgenden Aspekte. Die Präzision der Orientierung soll im Vergleich zu Sollwerten von online verfügbaren Benchmarks und geometrischen Forderungen aus Drehtelleraufnahmen geprüft werden. Benchmarks nutzen frei zugängliche Bilddaten im Internet und stellen Sollwerte für Kameraorientierung und 3D-Objektkoordinaten zur Verfügung. Zur Untersuchung der benötigten Rechenzeit und des Umgangs mit objektgeometrischen Spezialfällen generieren wir synthetische Testdaten. Hierzu geben wir die Orientierungsparameter der Kameras vor und übernehmen die Schritte der Merkmalsextraktion und der Zuordnung für die Programme. So können wir prinzipiell beliebig große Datensätze erzeugen und gezielt Spezialfälle simulieren. Ein Vergleich des Umgangs mit Amateuraufnahmen erfolgt mit eigenem Bildmaterial. Die Ergebnisse unserer Untersuchungen zeigen, dass Aurelo eine höhere Präzision der Kameraorientierung erreicht und somit für Anwendungen mit hohen Genauigkeitsanforderungen besser geeignet ist als Bundler. Bundler hingegen ist auf Grund der sehr geringen Laufzeit und der detaillierten Objektrekonstruktion die geeignete Wahl bei großen Datensätzen und Vorarbeiten für weiterführende Structure-from-Motion-Anwendungen.

Abstract:

Automatic camera orientation serves the computation of interior and exterior orientation parameters of one or several cameras without prior information about control points and approximate values. To do this, Bundler and Aurelo use images of the respective cameras and extract Lowe-Points using the SIFT-Keypoint-Detector. After matching all image pairs with the help of the detected points, both systems compute orientation parameters and 3D-coordinates for the objectpoints within a bundle block adjustment. The goal of this paper is to provide a comparison of the Bundler and Aurelo systems. As well as providing a representation of the advantages and disadvantages the paper should serve as a decision support aid, regarding the question of which system using which base dataset is most suitable for automatic camera orientation. A detailed analysis of the program flow shows that the main differences lie in the choice of the initial image pair, in the determination of approximate values for the bundle block adjustment and in the integration of additional images into the workflow. A main focus of this paper lies therefore on the analysis of the influence of these differences on several different aspects. The accuracy of the camera orientation will be checked in comparison to nominal values from online benchmarks and prescribed geometrical arrangements of a photography turntable. Benchmarks use freely accessible image datasets and provide nominal values for camera orientation and 3D-objectpoint coordinates. We will generate synthetic test datasets to analyse computing time and handling of special object geometry, for which we will simulate orientation parameters and undertake the tasks "feature extraction" and "image matching". Thus we will in principle be able to generate datasets of an arbitrary size and to simulate particular cases specifically. We will compare the handling of amateur pictures using our own images. The findings of our analyses show that Aurelo achieves higher precision in camera orientation and hence is more suitable for tasks with a high demand on accuracy than Bundler. Due to the low computing time and the more detailed object reconstruction Bundler is the more suitable choice for large datasets and preliminary work for continuative structure from motion tasks.

@MASTERSTHESIS{zimmermann11:vergleich, title={Vergleich der beiden Programme Bundler und Aurelo zur automatischen Kameraorientierung}, author={Zimmermann, Florian}, year={2011}, school={Institute of Photogrammetry, University of Bonn}, type={bachelor thesis}, }