Recherche dans les collections de brevets nationales et internationales
Une partie du contenu de cette demande n'est pas disponible pour le moment.
Si cette situation persiste, contactez-nous auObservations et contact
1. (WO2015173092) PROCÉDÉ ET DISPOSITIF D'ÉTALONNAGE D'UN SYSTÈME DE CAMÉRA DE VÉHICULE AUTOMOBILE
Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique

Beschreibung

Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Kamerasystems eines

Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie eine entsprechende

Vorrichtung gemäß dem Oberbegriff des Anspruchs 1 1 .

Heutige Kraftfahrzeuge mit Fahrerassistenzsystemen sind mit einer Vielzahl von Sensoren ausgestattet, wobei viele Fahrerassistenzsysteme auf die Daten von Kameras angewiesen sind. Um ein zuverlässiges Arbeiten der FAS zu gewährleisten, müssen diese Kameras kalibriert werden. Dazu wird, nach Stand der Technik, eine aufwendige statische Kalibrierung im Werk durchgeführt. Für die Einsparung der statischen Kalibrierung wird ein robustes Online-Kalibriersystem benötigt, das nach einer kurzen Fahrstrecke geeignete

Kalibrierergebnisse wie die drei Orientierungswinkel der Kamera und deren Höhe über Grund zur Verfügung stellt.

In M. Siebeneicher: "Eine automatische Kalibrierung beliebiger Kameras in Fahrzeugen auf Grundlage von optischem Fluss und Fluchtpunktbestimmung", Masterarbeit, Freie Universität Berlin 2008, wird ein Verfahren erläutert, das die Orientierungswinkel der Kamera bestimmt, indem der optische Fluss auf Basis der Bewegung von prägnanten Merkmalspunkten ausgewertet und der Fluchtpunkt des optischen Flusses ermittelt wird. Zur Ermittlung des Fluchtpunktes werden die Bewegungsvektoren der Merkmalspunkte miteinander

geschnitten, wobei die Schnittpunkte theoretisch mit dem Fluchtpunkt übereinstimmen sollten, was aber aufgrund von Messungenauigkeiten nur näherungsweise der Fall ist, so dass das Maximum aller Schnittpunkte als Fluchtpunkt genommen wird. Um

Messungenauigkeiten zu verringern werden die Schnittpunkte über die Zeit mit einem Partikelfilter verfolgt und die sich bildweise daraus ergebenen Fluchtpunkte über eine RANSAC-Filterung stabilisiert.

Zur Bestimmung des Rollwinkels aus dem Horizont wird der zeitliche Verlauf des

Fluchtpunktes ausgewertet. Sobald eine bestimmte Anzahl an Fluchtpunkten in Links- und Rechtskurvenfahrten ermittelt wurden, wird der Horizont mittels Hauptkomponentenanalyse aus einer Teilmenge aller bis dahin berechneten Fluchtpunkte bestimmt. Durch Vergleich der Geschwindigkeitsänderungen und des Gierwinkels wird ermittelt, ob sich das Fahrzeug gleichmäßig geradeaus bewegt und daher der Nick- und Gierwinkel bestimmt werden kann, ober ob eine Kurvenfahrt durchgeführt wird. Die Höhe wird in diesem Verfahren separat bestimmt. Allerdings ist das System sehr rechenaufwändig, insbesondere durch die

Merkmalsbestimmung und der aufwändigen Filterung des Fluchtpunktes.

Das in J. Platonov et al: "Vollautomatische Kamera-zu-Fahrzeug-Kalibrierung", ATZ elektronik 2012, S. 120-123, vorgestellte Verfahren beschreibt eine Technik zur rein bildbasierten Bestimmung der Kameraorientierung ohne eine Bestimmung der Kamerahöhe. Dabei beruht das Verfahren auf der Technik der visuellen Bewegungsschätzung. Ein erstes Verfahren bestimmt die Fahrzeugbewegung zwischen zwei benachbarten Bildern und ein zweite Verfahren betrachtet die Punktkorrespondenzen zwischen sechs Bildern, wobei das zweite Verfahren genauer jedoch auch wesentlich rechenaufwändiger ist. Zur Bestimmung der Orientierungswinkel wird die Kamerabewegung in die Klassen "Geradlinige Bewegung" und "Manöver" unterteilt. Der Nick- und Gierwinkel wird während der geradlinigen Bewegung geschätzt, der Rollwinkel während des Manövers.

In E. Tapia et al: "A Note on Calibration of Video Cameras for Autonomous Vehicles with Optical Flow", Fachbereich Mathematik und Informatik, Serie B Informatik, Freie Universität Berlin, Februar 2013, wird ein Verfahren vorgestellt, dass nur auf Basis von Kamerabildern die Orientierung der Kamera und mit Zuhilfenahme der Fahrzeuggeschwindigkeit die Kamerahöhe bestimmt. Auf eine nicht näher beschriebene Weise wird der optische Fluss bestimmt und gezeigt, dass sich bei einer Geradeausfahrt die Flussvektoren im Fluchtpunkt schneiden. Zur Bestimmung des Horizonts wird die Bodenebene ermittelt, wobei mit Hilfe des Fluchtpunktes und des Horizontes sich die drei Eulerwinkel bestimmen lassen. Zur Bestimmung der Kamerahöhe fährt das Fahrzeug vorwärts, wobei die Kameraorientierung bekannt ist und die Kamera auf die Fahrbahn schaut, so dass sich die Fahrbahn im

Kamerabild abbildet. Start- und Endpunkt eines Flussvektors im Bild werden in das

Weltkoordinatensystem zurückprojiziert. Mit diesen Informationen unter Berücksichtigung der Fahrzeuggeschwindigkeit sowie der Fahrdauer kann die Kamerahöhe berechnet werden.

Die Druckschrift EP 2 131 598 A2 betrifft ein Stereokamerasystem sowie ein Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems. Mit Hilfe von mindestens zwei einzelnen Kameras des Stereokamerasystems wird jeweils eine Bildfolge mit Bildern mit Abbildungen eines Erfassungsbereichs vor einem Fahrzeug bei einer Fahrt des Fahrzeugs entlang einer Fahrbahn aufgenommen. Dabei werden den Bildern der Bildfolgen entsprechende Bilddaten erzeugt. Die erzeugten Bilddaten werden verarbeitet, wobei der Verlauf mindestens eines Fahrbahnrandes der Fahrbahn ermittelt wird.

Ausgehend von dem ermittelten Verlauf des mindestens einen Fahrbahnrandes der

Fahrbahn wird mindestens ein Kalibrierfehler ermittelt.

Die bekannten Systeme sind zur Bestimmung der Lage alle drei Winkel der Kameraorientierung sowie die Kamerahöhe über Grund rechenintensiv bei oftmals nicht ausreichender Genauigkeit insbesondere bei schlechten Witterungsbedingungen sowie bei kurzer Fahrtstrecke mit wenigen Kurvenfahrten.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs anzugeben, die eine schnellere Kalibrierung des Kamerasystems ermöglichen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 1 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.

Bei dem erfindungsgemäßen Verfahren zur Kalibrierung eines Kamerasystems eines

Kraftfahrzeugs, wobei die Kalibrierparameter die Drehwinkel Nickwinkel, Gierwinkel und Rollwinkel sowie die Höhe der Kamera über der Fahrbahn umfassen, erfolgt die Bestimmung der Drehwinkel aus der Ermittlung des Fluchtpunktes aus einem ersten optischen Fluss zwischen einem ersten und einem zweiten Kamerabild und die Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild. Dabei wird zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt, im zweiten Kamerabild werden Korrespondenzen des regelmäßigen Rasters gesucht und der erste optische Fluss wird aus der Bewegung des Rasters über den Kamerabildern bestimmt.

Es wird also der optische Fluss jeweils zwischen zwei Bildern bestimmt, indem ein regelmäßiges Raster über das erste Bild gelegt wird und die Rasterpunkte dieses Raster werden beispielsweise mittels des Lucas-Kanade-Verfahrens im zweiten Bild gesucht.

Vorzugsweise sind die Abstände der Rasterpunkte parametrierbar. Auf diese Weise kann eine Skalierbarkeit der Berechnung des optischen Flusses erreicht werden. Je kleiner der Abstand zwischen den Rasterpunkten ist, umso länger dauert die Berechnung, allerdings ergibt sich auf diese Weise eine genauere Fluchtpunktschätzung.

Auf Basis des ermittelten ersten optischen Flusses werden die Epipole in beiden

Kamerabilder errechnet und die Epipole bilden die Basis der Fluchtpunktschätzung. Die Ermittlung der Epipole kann über eine Berechnung der auf dem optischen Fluss basierenden Fundamentalmatrix erfolgen.

Weiter bevorzugt wird zur Nickwinkel und Gierwinkelbestimmung aus den beiden Epipolen der beiden Kamerabildern der Fluchtpunkt bestimmt, wenn der Abstand der Epipole innerhalb eines ersten vorgegebenen Intervalls liegt. Die Bestimmung des Nickwinkels und des Gierwinkels erfolgt während einer Geradeausfahrt, so dass die beiden Epipole nahe beieinander liegen. Aus den beiden Epipolen wird beispielsweise der Mittelwert gebildet, der dann als aktueller Fluchtpunkt in die Schätzung von Nick- und Gierwinkel eingeht.

Vorzugsweise werden die ermittelten Fluchtpunkte über die Zeit gespeichert und es wird aus der Menge der ermittelten Fluchtpunkte ein zeitstabiler Fluchtpunkt zu Bestimmung von Nickwinkel und Gierwinkel ermittelt. Dabei kann ein Speicherintervall vorgegeben werden, das sich mit der aktuellen Zeit mit bewegt. Auf diese Weise können alte Fluchtpunkte verworfen werden. Ferner kann über das Speicherintervall die Anzahl der zur Schätzung des zeitstabilen Fluchtpunktes notwendigen ermittelten Fluchtpunkte festgelegt werden.

Weiter bevorzugt werden die ermittelten Epipole zweier Kamerabilder zur

Rollwinkelbestimmung verwendet, wenn der Abstand der Epipole innerhalb eines zweiten vorgegebenen Intervalls liegt, wobei aus der Lage der Epipole im jeweiligen Kamerabild ein Rollwinkel geschätzt wird. Mit anderen Worten, liegen die beiden Epipole "weit" auseinander, so befindet sich das Fahrzeug in einer Kurvenfahrt und es kann ein aktueller Rollwinkel bestimmt werden. Zur Unterscheidung für welche Drehwinkel die aktuellen Epipole verwendet werden, sind die beiden vorgegebenen Intervalle disjunkt.

Vorzugsweise werden die ermittelten Rollwinkel über die Zeit gesammelt und in

vorgegebenen Gruppen als Funktion der Gierrate des Kraftfahrzeugs eingeteilt. Dabei ist vorzugsweise die Verfallszeit sowie die Anzahl und Definition der Gruppen parametrierbar.

Weiter bevorzugte wird pro vorgegebener Gruppe gespeicherten Rollwinkel ein mittlerer Gruppenrollwinkel gebildet, wenn die Anzahl der Messungen in jeder Gruppe eine

Mindestanzahl erreicht hat. Der zur Kalibrierung verwendete endgültige Rollwinkel kann beispielsweise als Durchschnitt der mittleren Gruppenrollwinkeln über die Gruppen gebildet werden.

Vorzugsweise wird zur Bestimmung des zweiten optischen Flusses in einem Ausschnitt eines ersten Bildes der Fahrbahn vor dem Kraftfahrzeug in Draufsicht ein Rechteck platziert, dessen Position im zweiten Bild ermittelt wird, wobei der zweite optischen Fluss durch die Bewegung des Rechtecks in den beiden Bilder gebildet und aus der Rechteckbewegung die Höhe der Kamera berechnet wird. Auf diese Weise wird ein stark vereinfachter zweiter optischer Fluss bestimmt, wobei das Auffinden des Rechtecks im zweiten Bild mittels Blockmatching erfolgen kann, so dass die Bewegung des Rechtecks und damit der zweite optische Fluss bestimmt werden kann. Das Rechteck ist parametrierbar mit den Parametern Höhe und Breite des Rechtecks.

Weiter bevorzugt wird ein zeitliches Histogramm der ermittelten Höhen der Kamera für eine Vielzahl von ersten und zweiten Kamerabildern erstellt wird mit dem Erreichen einer Mindestanzahl von Messungen aus dem Histogramm eine geschätzt Höhe abgeleitet. Durch die Verwendung eines Histogramms wird die Höhenschätzung verbessert, da die ermittelte Bewegung des Rechtecks stark mit Rauschen unterlegt ist.

Die erfindungsgemäße Vorrichtung zur Kalibrierung eines Kamerasystems eines

Kraftfahrzeugs, welche zur Durchführung des im Vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst:

eine Einrichtung zur Bestimmung eines ersten optischen Flusses zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild,

eine Einrichtung zur Bestimmung von Fluchtpunkten aus dem ersten optischen Fluss, eine Einrichtung zur Bestimmung der Drehwinkel aus ermittelten Fluchtpunkten,

eine Einrichtung zur Bestimmung eines zweiten optischen Flusses zwischen einem ersten und einem zweiten aufeinanderfolgenden Kamerabild, und

eine Einrichtung zur Bestimmung der Höhe der Kamera aus einem zweiten optischen Fluss, wobei

zur Bestimmung des ersten optischen Flusses ein regelmäßiges Raster über das erste Kamerabild gelegt wird, im zweiten Kamerabild Korrespondenzen des regelmäßigen Rasters gesucht werden und der erste optische Fluss aus der der Bewegung des Raster über den Kamerabilder bestimmt wird.

Weiter bevorzugt errechnet die Einrichtung zur Bestimmung des Fluchtpunktes auf Basis des ermittelten ersten optischen Flusses die Epipole in beiden Kamerabildern und verwendet die Epipole zur Fluchtpunktschätzung.

Vorzugsweise wird zur Bestimmung des zweiten optischen Flusses in einem Ausschnitt eines ersten Bildes der Fahrbahn vor dem Kraftfahrzeug in Draufsicht ein Rechteck platziert, welches im zweiten Bild ermittelt wird, wobei der zweite optischen Fluss durch die Bewegung des Rechtecks in den beiden Bilder gebildet wird und aus der Rechteckbewegung die Höhe der Kamera berechnet wird.

Weiter bevorzugt erstellt die Einrichtung zur Bestimmung der Kamerahöhe ein zeitliches Histogramm der gemessenen Höhen der Kamera für eine Vielzahl von ersten und zweiten Kamerabildern und leitet mit dem Erreichen einer Mindestanzahl von Messungen aus dem Histogramm eine geschätzte Höhe ab.

Vorteilhafterweise ist das erfindungsgemäße Verfahren bzw. die entsprechende Vorrichtung in der Lage nach kurzer Fahrstrecke bei Geradeausfahrt die Gier- und Nickwinkel sowie nach kurzer Fahrtstrecke mit mindestens einer Link- und einer Rechtskurve den Rollwinkel robust zu bestimmen. Ferner wird parallel dazu die Kamerahöhe über Grund bestimmt, so dass eine Kalibrierung der Kamera bei einer signifikant kürzeren Konvergenzzeit erfolgt. Dabei bestehen keine Abhängigkeiten zu vorgegebenen Markierungen, Strukturen oder Formen, mit anderen Worten, das beschriebene Verfahren bzw. die Vorrichtung funktioniert in beliebiger Umgebung. Die Umgebung muss nur ein Mindestmaß an Struktur aufweisen, die von der Kamera erfasst werden kann, sowie mindestens ein Lenkmanöver des Fahrzeuges erlauben.

Darüber hinaus wird keine aufwändige Merkmalsextraktion durchgeführt und der erläuterte Lösungsansatz ist so aufgebaut, dass er sich steuergerätetauglich implementieren lässt.

Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt

Fig. 1 die Koordinatensysteme zur Definition der extrinsischen Kameraparameter,

Fig. 2 den Aufbau des Kalibriesystems in schematischer Darstellung, und

Fig. 3 eine schematische Darstellung der Höhenschätzung.

Fig. 1 zeigt das Weltkoordinatensystem (O, X, Y, Z) mit den Nullpunkt O und den

Raumachsen X, Y und Z, in dem sich das Kraftfahrzeug bewegt, und das Koordinatensystem (C, Xc, Yc, Zc) der Kamera K, die in Fig. 1 schematisch dargestellt ist, mit dem Nullpunkt C und den Achsen Xc, Yc und Zc. Dabei kann das Kamerakoordinatensystem (C, Xc, Yc, Zc) gegenüber dem Weltkoordinatensystem (O, X, Y, Z) des Fahrzeugs verschoben und um die drei Achsen Xc, Yc und Zc verdreht sein. Die möglichen Drehwinkel sind in Fig. 1 als

Nickwinkel Θ, Gierwinkel φ und Rollwinkel ψ dargestellt. Zur Kalibrierung der Kamera eines Kraftfahrzeugs müssen, wie bereits erwähnt, die Parameter Höhe der Kamera über der Fahrbahn, Nickwinkel Θ, Gierwinkel φ und Rollwinkel ψ bestimmt werden.

Das Weltkoordinatensystem (O, X, Y, Z) und das Kamerakoordinatensystem (C, Xc, Yc, Zc) können sich in Position und Orientierung voneinander unterscheiden. Der Unterschied in der Orientierung wird durch eine Rotation um die jeweilige Achse angegeben, wobei die Kamera K um drei Achsen Xc, Yc, Zc rotieren und jede Rotation durch eine entsprechende

Rotationsmatrix RNick, RGier und RRoN in üblicher weise beschrieben werden kann. Die vollständige Rotationsmatrix R ist eine Hintereinanderausführung der einzelnen

Rotationsmatrizen und wird wie folgt gebildet:

R = RROII RNick Rüie

und entspricht einer Rotation um die Y-Achse, gefolgt von einer Rotation um die X-Achse und abschließend um die Z-Achse.

Zusammen mit dem Translationsvektor C = (Cx, Cy, CZ)T, der den Nullpunkt des

Kamerakoordinatensystems im Weltkoordinatensystem beschreibt und den Unterschied der Positionen der beiden Koordinatensysteme angibt, kann die einheitliche

Transformationsmatrix gebildet werden, die das Weltkoordinatensystem in das

Kamerakoordinatensystem überführt.

Mittels des Fluchtpunktes lassen sich Gierwinkel Θ und Nickwinkel φ aus der vollständigen Rotationsmatrix R bei einer geradlinigen Bewegung bestimmen, da der Rollwinkel ψ bei einer geradlinigen Bewegung Null ist. Für eine Bestimmung des Rollwinkels ψ reicht ein

Fluchtpunkt nicht aus, allerdings kann der Rollwinkel ψ aus dem Verlauf des Fluchtpunktes während einer Kurvenfahrt bestimmt werden, da der Fluchtpunkt seine Position proportional zum Rollwinkel ψ verändert. Details der theoretischen Grundlagen können beispielsweise der oben genannten Masterarbeit von M. Siebeneicher entnommen werden.

Eine Bestimmung der Orientierungs- oder Drehwinkel setzt daher eine möglichst genaue Bestimmung der verwendeten Fluchtpunkte und deren Bewegung voraus, deren

Bestimmung wiederum von einer optimale Bestimmung des optischen Flusses abhängt.

Fig. 2 ist eine schematische Darstellung des Kalibriersystems KP zur Bestimmung der oben genannten Kalibrierparameter der Kamera eines Kraftfahrzeugs, wobei zu Beginn eine kurze Übersicht über die Komponenten des Kalibriersystem KP erfolgt und nachfolgend die einzelnen Komponenten im Detail erläutert werden.

Eingangsgrößen des Kalibriersystems KP sind die aufgenommenen Kamerabilder B1 und B2 sowie die Egodaten ED des Fahrzeugs. Dabei werden unter Egodaten des Fahrzeugs allgemeine Fahrzeugdaten wie beispielsweise Tachometerwerte, Lenkeinschlagswinkel, Odometriedaten und Positionsdaten, sowie Daten über die Beschleunigung den Gierwinkel und Nickraten sein. Die Aufzählung ist nicht als vollständig zu betrachten. Dabei können die Egodaten unterstützend für das Kalibriersystem sein, um beispielsweise Fahrzustände zu identifizieren, die für den Kalibriervorgang besonders günstig sind.

Die Kalibrierung der Fahrzeugkamera mit Hilfe des Kalibriersystems KP basiert auf der Bestimmung des optischen Flusses innerhalb der Bilder der Kamera. Dazu werden mit Hilfe von Merkmalen der Kamerabilder B1 , B2 im ersten optischen Flussmodul 01 des Kalibriersystem KP Bewegungsvektoren über das Bild bestimmt, wobei die Bewegungsvektoren basierend auf einem gleichmäßig über dem ersten Bild angeordneten Raster bestimmt werden.

Basierend auf den im ersten optischen Flussmodul 01 ermittelten Bewegungsvektoren erfolgt im Fluchtpunktmodul FP eine Schätzung des Fluchtpunktes anhand geometrischer Eigenschaften. Die Fluchtpunktschätzung des Fluchtpunktmoduls FP wird in einem nachfolgenden Winkelbestimmungsmodul WB zur Bestimmung der drei Drehwinkel eingesetzt, wobei das Winkelbestimmungsmodul WB die untereinander verbundenen Module Gierwinkelbestimmung GW, Rollwinkelbestimmung RW und Nickwinkelbestimmung NW aufweist.

Separat erfolgt in einem zweiten optischen Flussmodul die Bestimmung von Bewegungsvektoren eines stark vereinfachten optischen Flusses in einer Draufsicht eines Bildausschnitts der Fahrbahn vor dem Fahrzeug. Aus den ermittelten Bewegungsvektoren der Fahrbahnmerkmale sowie Egodaten und dem ermittelten Nickwinkel Θ kann die Höhe der Kamera über der Fahrbahn in dem Höhenschätzungsmodul HS geschätzt werden.

Im Folgenden werden die Details der einzelnen Komponenten näher erläutert:

ERSTER OPTISCHER FLUSS:

Die Bestimmung des ersten optischen Flusses 01 erfolgt jeweils zwischen zwei Bildern B1 , B2 der Kamera. Dabei wird kein dichtes Flussfeld bestimmt, sondern es wird ein

regelmäßiges Raster über das erste Bild B1 gelegt. Mittels beispielsweise des bekannten Lucas-Kanade-Verfahrens werden Korrespondenzen zu dem Raster im zweiten Bild B2 gesucht. Dabei können die Abstände der Rasterpunkte parametriert werden, wodurch die Berechnung des optischen Flusses sehr skalierbar ist. Mit anderen Worten, umso kleiner der Abstand der Rasterpunkte, umso großer ist zwar die Laufzeit der Berechnung, allerdings erhöht sich die Genauigkeit der darauf aufbauenden Fluchtpunktschätzung.

Ein weiter Vorteil des Rasteransatzes gegenüber einer merkmalsbasierten Flussbestimmung liegt darin, dass auffällige Merkmale meist an den Konturen sich bewegender Objekte gefunden werden und diese fremdbewegten Objekte dann den Fluchtpunkt verzerren.

FLUCHTPUNKTSCHÄTZUNG:

Auf Basis des optischen Flusses wird die Fundamentalmatrix der Epipolargeometrie berechnet. Diese liefert jeweils den jeweiligen Epipol in beiden betrachteten Bildern B1 , B2. Bei einer Geradeausfahrt müssen sich die beiden Epipole sehr nah beieinander befinden, wobei der Abstand parametrierbar ist. Es wird der Mittelwert der beiden Epipole gebildet, der den aktuellen Fluchtpunkt bildet und an die Nick- und Gierwinkelschätzung weitergegeben wird .

Dabei gelten folgende Bedingungen für den Abstand "sehr nah beieinander" der beiden Epipole für die Nick- und Gierwinkelbestimmung:

minimaler X-Abstand der Pixel relativ zur Bildbreite = 0,

maximaler X-Abstand der Pixel relativ zur Bildbreite = ca. 0,02,

minimaler Y-Abstand der Pixel relativ zur Bildhöhe = 0,

maximaler Y-Abstand der Pixel relativ zur Bildhöhe = ca. 0,01.

Ist der Abstand der Epipole größer als die oben genannten maximalen Abstände, so ist die Bestimmung der Mittelwerte von Nick- und Gierwinkel wesentlich schwieriger bis unmöglich, da mehr und stärkere Ausreißer berücksichtigt werden müssen.

Befindet sich das Fahrzeug in einer Kurvenfahrt, dann müssen sich die beiden Epipole der Bilder B1 , B2 weiter auseinander befinden. Ist diese Bedingung erfüllt, dann werden die beiden Epipole an die Rollwinkelschätzung RW weitergegeben.

Für die Rollwinkelbestimmung müssen die Abstände der Epipole die folgenden Bedingungen erfüllen:

minimaler X-Abstand der Pixel relativ zur Bildbreite = ca. 0,02

maximaler X-Abstand der Pixel relativ zur Bildbreite = ca. 0,1

minimaler Y-Abstand der Pixel relativ zur Bildhöhe = 0,01

maximaler Y-Abstand der Pixel relativ zur Bildhöhe = ca. 0,05

Dieses Vorgehen ist im Vergleich zu bekannten Verfahren mit wesentlich weniger Laufzeit und in weniger Schritten durchführbar.

WINKELBESTIMMUNG:

BESTIMMUNG VON NICKWINKEL UND GIERWINKEL.

Die in der Fluchtpunktschätzung bestimmten Fluchtpunkte werden über die Zeit gesammelt, wobei alte Fluchtpunkte verworfen werden. Dabei ist die Anzahl und Verfallszeit

parametrierbar. Liegen genügend Fluchtpunkte vor, wird ein zeitstabiler Fluchtpunkt mittels beispielsweise dem bekannten RANSAC-Algorithmus aus der Menge hochdynamischer Fluchtpunkte geschätzt. Dieser zeitstabile Fluchtpunkt wird zur Bestimmung des Nickwinkels Θ und des Gierwinkels ψ in den entsprechenden Modulen NW, GW verwendet.

ROLLWINKELSCHÄTZUNG

Die in der Kurvenfahrt gesammelten Epipole werden direkt genutzt, um über ihre Lage im Bild einen möglichen Rollwinkel zu bestimmen. Diese hochdynamischen Rollwinkel werden über die Zeit gesammelt und in Gruppen eingeteilt, wobei die Verfallszeit, Anzahl und Gruppen parametrierbar sind. Vorzugsweise werden vier Gruppen verwendet, nämlich:

hohe Gierrate nach links,

mittlere Gierrate nach links,

hohe Gierrate nach rechts, und

mittlere Gierrate nach rechts.

Dabei haben sich die unten angegebenen Bereiche der Gierrate α zur Definition der vier oben genannten Gruppen bewährt:

Bereich für langsame Kurvenfahrten links: 0 7s <= α < 87s (mittlere Gierrate links) Bereich für schnelle Kurvenfahrten links: 8 7s <= α < 457s (hohe Gierrate links) Bereich für langsame Kurvenfahrten rechts 0 7s >= α > -87s (mittlere Gierrate rechts) Bereich für schnelle Kurvenfahrten rechts: -8 7s >= α > -457s (hohe Gierrrate rechts)

In jeder Gruppe muss sich eine Mindestanzahl an Messungen befinden. Ist dies der Fall, wird für jede Gruppe der Mittelwert berechnet und anschließend über diese vier Mittelwerte noch einmal der Durchschnitt gebildet. Dieser Durchschnitt wird zur Bestimmung des Rollwinkel RW verwendet.

HÖHENSCHÄTZUNG

In der Standardimplementierung wird ein sehr vereinfachter optischer Fluss bestimmt. Im ersten Schritt wird eine Draufsicht aus einem Bildausschnitt direkt vor dem Fahrzeug berechnet, wobei der Bildausschnitt parametrierbar ist. Innerhalb dieses Ausschnittes wird ersten Bild ein Rechteck platziert, welches mittels Blockmatching im zweiten Bild wieder gefunden werden muss unter Berücksichtigung der Parameter Höhe und Breite des Rechteckes. Die Bewegung des Rechteckes im Bild bildet den optischen Fluss.

Für das als Template-Box bezeichnete Rechteck gelten in der Standardimplementierung d' folgenden Randbedingungen:

Template-Box-Breite relativ zur TopView-Breite = ca. 0,9

Template-Box-Breite relativ zur Template-Box-Breite = ca. 0,4

Die Template-Box wird im TopView-Bild der ersten Frames so positioniert, dass die obere Kante der Template-Box mittig am oberen Bildrand liegt, d.h. links und rechts bleiben ca. 5 Rand im Vergleich zur Top-View-Breite.

HÖHENBESTIMMUNG

Die im ersten Schritt ermittelte Bewegung des Rechteckes im Bild wird direkt in eine reale Bewegung des Fahrzeuges umgerechnet, wobei der Wert jedoch stark von Rauschen unterlegt ist. Daher wird über die Zeit ein Histogramm aufgebaut mit den Paramatern niedrigster und höchster Wert der Histogramms sowie Anzahl der Bins. Auch hier können die Messungen mit ihrem Alter verfallen. Ist eine Mindestanzahl an Messungen im Histogramm vorhanden, so werden die N benachbarten Bins gesucht, die die meisten Messungen enthalten. Anschließend wird der Median über diese Bins gebildet. Das Ergebnis ist dann die geschätzte Höhe.

Das prinzipielle Vorgehen zur Bestimmung der Höhe wird anhand der Fig. 3 erläutert, wobei der Fig. 3 ein einfaches Lochkameramodell zugrunde liegt und die Höhenbestimmung hier anhand der Bewegung des mittleren Pixels diskutiert wird. Bewegt sich das Fahrzeug (nicht dargestellt) geradlinig bei einer bekannten aktuellen Geschwindigkeit v und ist der Nickwinkel Θ der Kamera bekannt, so kann mit Hilfe des optischen Flusses die Kamerahöhe h relativ zur Fahrbahn F bestimmt werden. Der optische Fluss liefert die Geschwindigkeit vP, mit der sich der Pixel in der Bildmitte der Kamera bewegt. Fig. 3 zeigt die Geometrie zur Bestimmung der Kamerahöhe h und stellt zwei unterschiedliche Zeitpunkte t und t+1 dar, zu denen der projizierte Bildmittelpunkt in der schematisch zu den Zeitpunkten t und t+1 dargestellten Kamerabildebene k(t) und K(t+1 ) betrachtet wird, wobei die Kamera die Brennweite f besitzt. Bekannt sind die Werte für den zurückgelegten Weg v, den Nickwinkel Θ der Kamera, die Brennweite f der Kamera sowie die Geschwindigkeit vP des Mittenpixel im Bild. Aus der offensichtlichen Beziehung

f

kann durch die Anwendung einfacher Trigonometrie aus den bekannten Größen die Höhe h zu


bestimmt werden.

Bezugszeichenliste

0 Nullpunkt Weltsystem

X X-Achse

Y Y-Achse

z Z-Achse

c Nullpunkt Kamerasystem = Translationsvektor

Cx X-Komponente Translationsvektor

CY Y-Komponente Translationsvektor

Cz Z-Komponente Translationsvektor

Xc X-Achse Kamera

Yc Y-Achse Kamera

Zc Z-Achse Kamera

Θ Nickwinkel

Φ Gierwinkel

Ψ Rollwinkel

KP Bestimmung Kalibrierparameter

ED Ego-Daten

B2 Kamerabild 1

B1 Kamerabild 2

01 Optischer Fluss 1

02 Optischer Fluss 2

FP Fluchtpunktschätzung

WB Winkelbestimmung

GW Gierwinkelbestimmung

RW Rollwinkelbestimmung

NW Nickwinkelbestimmung

Hs Höhen Schätzung

F Fahrbahn

h Höhe der Kamera über der Fahrbahn v Fahrzeuggeschwindigkeit

vP Pixelgeschwindigkeit

f Brennweite

K(t) Bildebene der Kamera zum Zeitpunkt t

K(t+1 ) Bildebene der Kamera zum Zeitpunkt t+1 v' Hilfsgröße

f Hilfsgröße