In Bearbeitung

Bitte warten ...

Einstellungen

Einstellungen

Gehe zu Anmeldung

1. WO2020127053 - BORDEIGENES VISUELLES ERMITTELN KINEMATISCHER MESSGRÖSSEN EINES SCHIENENFAHRZEUGS

Anmerkung: Text basiert auf automatischer optischer Zeichenerkennung (OCR). Verwenden Sie bitte aus rechtlichen Gründen die PDF-Version.

[ DE ]

Beschreibung

Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs

Die Erfindung betrifft ein Verfahren zum Ermitteln einer ki nematischen Größe eines Schienenfahrzeugs. Überdies betrifft die Erfindung eine Ermittlungseinrichtung. Weiterhin betrifft die Erfindung ein Schienenfahrzeug.

Viele Schienennetze werden mit dem europäischen Zugüberwa chungssystem ETCS (Akronym für European Train Control System) betrieben. Ziel eines solchen Systems ist es, die Sicherheit und Effizienz von Schienennetzen zu steigern und auch War tungskosten und Personalkosten zu reduzieren. Bei dem Einsatz des ETCS wird die Zugstrecke in sogenannte Blöcke aufgeteilt. Die Größe der Blöcke ist durch die Bremsstrecke, welche im ungünstigsten Fall durch einen Zug, der auf der Strecke fah ren darf, benötigt wird, festgelegt. Die Positionsbestimmung der Züge und das Verbinden der Blöcke werden durch infra strukturseitige Balisen realisiert. Wenn sich ein Zug in ei nem solchen Block befindet, ist dieser Block für diesen Zug reserviert, so dass andere Züge diesen Block nicht zur glei chen Zeit nutzen können. Die Blöcke werden nach Verlassen durch einen Zug jeweils wieder freigegeben, so dass die Blö cke für andere Züge reserviert werden können. Die Vorgehens weise mit festen Blöcken ist relativ ineffizient.

Bisher wurden zwei unterschiedliche Varianten von ETCS-Systemen realisiert, wobei beide auf einer streckenseitigen Lokalisierung und festen Blöcken basieren. Die erste Variante basiert auf einer infrastrukturseitigen Signalisierung der Verfügbarkeit eines Blocks und die zweite Variante nutzt bordseitiges Signalisieren, um die Blockgrößen zu reduzieren. Bei einer dritten Variante, auch als ETCS-Ebene 3 bezeichnet, welche aktuell entwickelt wird, sollen die festen Blöcke durch bewegliche Blöcke ersetzt werden, mit denen die Brems abstände zwischen sich auf der Strecke bewegenden Zügen be- rücksichtigt werden. Dadurch kann die Kapazität eines Schie nennetzes um 190 % bis 500 % erhöht werden, je nachdem, ob ein relativer oder ein sich bewegender Block genutzt wird. Wird der sich bewegende Block als relativ zu vielen sich be wegenden Zügen definiert, so kann eine feste streckenseitige Sensorinfrastruktur durch bordseitige Sensoren ersetzt wer den, wodurch möglicherweise Kosten gespart werden können. Al lerdings hängt der Erfolg der ETCS-Ebene 3 von der Entwick lung neuer Verfahren ab, mit denen die Position und die Ge schwindigkeit von Zügen zuverlässig ermittelt werden kann.

Aktuell erfolgt die Lokalisierung von Schienenfahrzeugen durch eine Kombination von ungenauen Drehzahlmessern und streckenseitigen Sensoren, wie zum Beispiel Achsenzähler oder Balisen. Letztere liefern diskrete Positionsmesswerte und sind sehr kostenintensiv zu warten.

Zukünftig sollen Satellitennavigationssysteme und Inertial-sensoren genutzt werden, um die Position von Schienenfahrzeu gen kontinuierlich zu ermitteln. Allerdings versagen diese Verfahren, wenn die GPS-Messdaten nicht zur Verfügung stehen, wie zum Beispiel in Tunnels, da die zusätzlich erfassten IMU-Biaswerte bei einer eindimensionalen Bewegung eines Zugs nicht ausreichend beobachtbar sind.

Weiterhin ist bei der Anwendung von Satellitennavigation die Fusion mit anderen Sensordaten problematisch, da Satelliten navigationsmessungen keinen Gauß-Fehler aufweisen, wodurch die Genauigkeit des Ergebnisses schwer vorhersagbar ist, ins besondere bei einem Auftreten von Mehrwegempfangseffekten, wie sie in der Nähe von Gebäuden auftreten.

Es besteht also die Aufgabe, ein Verfahren und eine Einrich tung zu entwickeln, um kombinierte Messungen der Geschwindig keit und Position eines Zuges präziser zu gestalten, um ins besondere flexible Blocksysteme bei der Zugsicherung zu er möglichen .

Diese Aufgabe wird durch ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs gemäß Patent anspruch 1, eine Ermittlungseinrichtung gemäß Patentanspruch 12 und ein Schienenfahrzeug gemäß Patentanspruch 13 gelöst.

Bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kine matischen Größe eines Schienenfahrzeugs werden bordseitig Bilddaten, umfassend eine Abfolge von Bildern von der Umge bung des Schienenfahrzeugs, mit einer Bildaufnahmeeinheit aufgenommen. Weiterhin werden zusätzliche Sensordaten, welche kinematische Sensordaten und/oder Bilddaten mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, aufgenommen. Die Aufnahme der Bilddaten und Sensordaten kann also durch ein Mehrkamerasystem erfolgen, es kann zur Aufnahme der Bilddaten und Sensordaten aber auch eine Kombination aus einer einzel nen Kamera und einem kinematischen Sensor genutzt werden.

Eine kinematische Größe beschreibt die Bewegung des Schienen fahrzeugs, insbesondere umfasst sie die Geschwindigkeit, die Beschleunigung und die Position eines Schienenfahrzeugs.

Die aufgenommenen Bilddaten können durch einen Vergleich von aufeinanderfolgenden Bildern ein und derselben Kamera, wobei die Bilder zu unterschiedlichen Zeitpunkten aufgenommen wur den, ausgewertet werden. Ein solcher Abgleich wird auch als Frame-to-Frame-Abgleich bezeichnet. Es können aber auch Bild daten von mehreren Kameras, welche ein überlappendes Sicht feld haben, als „Stereobilddaten" ausgewertet werden.

Mit Hilfe von Stereobilddaten, bei denen ein Punkt aus ver schiedenen Blickwinkeln abgebildet wird, können Abstände und Relativpositionen von Bildpunkten zu dem Schienenfahrzeug er mittelt werden.

Es erfolgt weiterhin eine Detektion von Schlüsselpunkten in den aufgenommenen Bilddaten. Mit Hilfe der Verwendung von Schlüsselpunkten zur Positionsbestimmung kann die zu verar beitende Datenmenge stark reduziert werden. Beispielsweise kann ein rasterbasierter Schlüsselpunktextraktor verwendet werden, um eine Gleichverteilung der Schlüsselpunkte in der aufgenommenen Szene zu erreichen.

Ein Schlüsselpunktextraktor sucht typischerweise das ganze Bild (jeden Pixel) nach interessanten Punkten ab. Ein solcher Punkt wird häufig durch einen hohen Gradienten in mehr als einer Richtung (Harris Corners) oder eine gewisse Anzahl Pi xel, die sich genügend von anderen Pixeln unterscheiden

(FAST), gekennzeichnet. Zusätzlich wird normalerweise eine Unterdrückung von lokalen Nicht-Maxima (non-maximum-suppression) vorgenommen, um eine hohe Ansammlung von Schlüs selpunkten bei starker Textur zu vermeiden.

Die Menge der für eine Positionsbestimmung genutzten Bild punkte wird damit stark reduziert, so dass insbesondere bei hochdynamischen Szenarios die zu verarbeitende Datenmenge re duziert wird und eine EchtZeitberechnung der Position eines Schienenfahrzeugs ermöglicht wird.

Auf Basis der zusätzlichen Sensordaten und der Bilddaten wird für jedes Bild der Bilddaten bzw. der Abfolge von Bildern ein erster Tiefenwert eines Schlüsselpunkts ermittelt. Ein sol cher Tiefenwert kann dazu genutzt werden, um eine Position des Schlüsselpunkts in drei Dimensionen zu ermitteln und da mit eine Landmarke zu gewinnen. Dieser erste Tiefenwert wird in jedem Bild ermittelt, in dem der Schlüsselpunkt zu einem zugehörigen Schlüsselpunkt in der Abfolge von Bildern einer Kamera zugeordnet werden kann. Ein Schlüsselpunkt ist ein „interessanter" Punkt in einem 2D-Bild. Dagegen ist eine Landmarke ein verfolgbarer Schlüsselpunkt über mehrere Bil der, welcher dann auch im Dreidimensionalen dargestellt wer den kann.

Weiterhin wird ein Schlüsselpunkt-Abgleich von Schlüsselpunk ten unterschiedlicher Bilder einer Bildfolge der Bildaufnah meeinheit durchgeführt. Dieser Prozess wird vorzugsweise auch auf Basis zusätzlicher kinematischer Sensordaten durchge- führt. Kinematische Sensordaten sind nicht notwendig für die Ausführung des Schlüsselpunktabgleichs , beschleunigen aber vorteilhaft diesen Prozess.

Auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermit telt wurden, wird weiterhin eine Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Triangulation er mittelt. Dieser Schritt wird vor allem für die Initialisie rung der Landmarken verwendet. Anders ausgedrückt werden durch die Initialisierung Startwerte für die Position und Tiefe einer jeweiligen Landmarke ermittelt, welche im an schließenden Optimierungsverfahren optimiert werden. Später werden nur noch rückprojizierte Messfehler zur Korrektur in der Optimierung verwendet.

In einem gemeinsamen Optimierungsvorgang wird auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts ein verbesserter Positionswert der Landmarke und ein Wert einer kinematischen Größe ermittelt. Die Gewichtung unterschiedlicher Größen kann zum Beispiel in Abhängigkeit von Kovarianzwerten unterschiedlicher zu fusionierender Grö ßen oder auf Basis sonstiger Informationen, welche die Zuver lässigkeit von Messwerten charakterisieren, erfolgen. Derar tige Informationen können beispielsweise bei der Kalibrierung einer Messeinheit ermittelt werden.

Bei der Optimierung werden Positionen der Landmarken und ki nematische Größen, wie zum Beispiel Positionen des Schienen fahrzeuges, in einem sogenannten Schiebefenster (auf Englisch „sliding window") zusammen abgeschätzt bzw. optimiert. Dieser Vorgang basiert auf der Berücksichtigung von Fehlerkorrek turthermen. Solche Fehler-/Korrekturterme können umfassen: Rückprojektionsfehler (vor allem aufgrund der Frame-to-Frame matches, d.h. des Abgleichs aufeinanderfolgender Bilder, Tie fenfehler von dem Stereoabgleich sowie Odometriefehler (1-D Odometrie oder inertiale Messungen) . Es existiert keine Un terteilung in zwei Teile des Optimierungsalgorithmus. Wie er- wähnt, ist es bevorzugt, nicht nur einen aktuellen, dem

Schienenfahrzeug zugeordneten Wert einer kinematischen Größe, wie zum Beispiel dessen aktuelle Position im Rahmen des Opti mierungsvorgangs zu ermitteln, sondern die letzten N Werte, wobei N typischerweise eine ganze Zahl zwischen 3 und 20 ist. Dabei kommt ein sogenanntes Schiebefensterverfahren, im Eng lischen auch als „sliding-window"-Verfahren bezeichnet, zum Einsatz, bei dem eine Mehrzahl von Frames bzw. Bildern in ei nem Datenpaket übertragen und in dem beschrieben Optimie rungsverfahren auch simultan verarbeitet werden.

Vorteilhaft kann das Problem, dass bei Schienenfahrzeugen, welche signifikante Beschleunigungswerte nur in einer Dimen sion aufweisen, inertiale Messungen nicht sehr gut geeignet sind, um eine Positionsmessung durchzuführen, durch die Fusi on dieser Beschleunigungsdaten mit Bilddaten gelöst werden. Weiterhin wird die Verwendung von Schlüsselpunkten bzw. Land marken dazu genutzt, die zu verarbeitende Datenmenge zur Po sitionsbestimmung zu reduzieren. Diese vorteilhafte Vorge hensweise erlaubt insbesondere die Bestimmung kinematischer Größen in hochdynamischen Situationen, in denen bei herkömm licher Vorgehensweise die verfügbare Rechenkapazität nicht mehr ausreicht.

Die erfindungsgemäße Ermittlungseinrichtung weist eine Sens ordatenschnittstelle zum Empfangen von einer Abfolge von Bil dern, umfassend Bilddaten von der Umgebung des Schienenfahr zeugs, von mindestens einer bordseitigen Bildaufnahmeeinheit auf. Die Sensordatenschnittstelle ist weiterhin dazu einge richtet, zusätzliche bordseitig erfasste Sensordaten, welche kinematische Sensordaten und/oder Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, zu empfan gen .

Die erfindungsgemäße Ermittlungseinrichtung weist auch eine Detektionseinheit zum Detektieren von Schlüsselpunkten in den Bilddaten auf. Die erfindungsgemäße Ermittlungseinrichtung umfasst ferner eine Ermittlungseinheit zum Ermitteln eines ersten Tiefenwerts eines Schlüsselpunkts auf Basis der zu sätzlichen Sensordaten und der Bilddaten für jedes Bild der Abfolge von Bildern. Zum Durchführen eines Schlüsselpunkt-Abgleichs von Schlüsselpunkten unterschiedlicher Bilder der Abfolge von Bildern der Bildaufnahmeeinheit weist die erfin dungsgemäße Ermittlungseinrichtung eine Abgleichseinheit auf.

Teil der erfindungsgemäßen Ermittlungseinrichtung ist auch eine Schätzeinheit zum Schätzen einer Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Trian gulation auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden. Dieser Vorgang dient der Initialisierung eines Optimierungsprozesses.

Weiterhin weist die erfindungsgemäße Ermittlungseinrichtung eine Optimierungseinheit auf. Die Optimierungseinheit dient dem Ermitteln eines verbesserten Positionswerts der Landmarke auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts auf. Die Optimierungseinheit dient auch dazu, eine kinematische Größe gemeinsam mit dem verbes serten Positionswert, d.h. in einem gemeinsamen Optimierungs prozess, zu ermitteln. Die erfindungsgemäße Ermittlungsein richtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahr zeugs .

Das erfindungsgemäße Schienenfahrzeug weist die erfindungsge mäße Ermittlungseinrichtung auf. Das erfindungsgemäße Schie nenfahrzeug teilt die Vorteile der erfindungsgemäßen Ermitt lungseinrichtung .

Teile der erfindungsgemäßen Ermittlungseinrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebil det sein. Dies betrifft insbesondere Teile der Detektionsein heit, der Ermittlungseinheit, der Abgleichseinheit, der

Schätzeinheit und der Optimierungseinheit. Grundsätzlich kön nen diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von soft wareunterstützter Hardware, beispielsweise FPGAs oder der gleichen, realisiert sein. Ebenso können die benötigten

Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Software schnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.

Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher zur Sensordatenerfassung und zur Be rechnung kinematischer Daten genutzte Rechnersysteme auf ein fache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Inso fern wird die Aufgabe auch durch ein entsprechendes Computer programmprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersys tems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens zum Ermitteln einer kinema tischen Größe eines Schienenfahrzeugs auszuführen, wenn das Computerprogramm in einem Rechnersystem ausgeführt wird.

Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen

Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rech nereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikro prozessoren oder dergleichen aufweisen.

Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den ab hängigen Ansprüchen einer anderen Anspruchskategorie und de ren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unter schiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.

Als zusätzliche Sensordaten können bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kinematischen Größe eines

Schienenfahrzeugs Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit aufgenommen werden. Auf Basis der von mehreren Bildaufnahmeeinheiten erfassten Bilddaten können bei dieser Variante Stereobilddaten von der Umgebung des Schie nenfahrzeugs erzeugt werden. Auch in den Stereobilddaten kön nen Schlüsselpunkte detektiert werden. Da die Stereobilddaten dreidimensionale Informationen über die Umgebung und damit auch die Positionen der Schlüsselpunkte umfassen, kann nun anhand der Stereobilddaten für jedes Bild der erfassten Bild daten der erste Tiefenwert ermittelt werden. Basierend auf dreidimensionalen Bilddaten kann aufgrund der geometrisch er mittelbaren Tiefeninformation eine Tiefe eines Schlüssel punkts besonders genau ermittelt werden.

In einer Variante des erfindungsgemäßen Verfahrens zum Ermit teln einer kinematischen Größe eines Schienenfahrzeugs wird ein Schlüsselpunkt-Abgleich von Schlüsselpunkten unterschied licher Bilder einer Bildfolge einer Bildaufnahmeeinheit und auf Basis zusätzlicher kinematischer Sensordaten durchge führt. Mit diesen zusätzlichen kinematischen Daten wird das Verfahren beschleunigt.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Ver fahrens zum Ermitteln einer kinematischen Größe eines Schie nenfahrzeugs umfasst die kinematische Größe eine der folgen den Größen:

- die Position des Schienenfahrzeugs,

- die Geschwindigkeit des Schienenfahrzeugs,

- die Beschleunigung des Schienenfahrzeugs.

Vorteilhaft kann mit Hilfe des erfindungsgemäßen Verfahrens eine Position eines Schienenfahrzeugs auch dann präzise er mittelt werden, wenn andere Positionsbestimmungsmethoden, wie zum Beispiel die Satellitennavigation, versagen. Eine solche Situation kann zum Beispiel in Tunnels oder auf von Gebäuden, Bäumen oder Bergen umgebenen Streckenabschnitten auftreten. Außerdem tritt bei der Satellitennavigation ein nicht normal verteiltes Fehlerverhalten auf, so dass die dabei gewonnenen Daten schlecht mit anderen Sensordaten fusioniert werden kön nen. Eine Fusion der mit Hilfe des erfindungsgemäßen Verfah rens gewonnenen Bilddaten mit auf andere Weise gewonnenen Sensordaten ist aufgrund eines jeweils normalverteilten Feh lers deutlich leichter möglich.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs umfassen die zusätzlichen kinematischen Sensordaten zumindest eine Art der folgenden Sensordaten:

- lD-odometrische Sensordaten,

- inertiale Messdaten.

Diese Sensordaten werden optional berücksichtigt. Eine Verar beitung der Bilddaten als Stereobilddaten alleine reicht auch aus oder eine Verarbeitung der Bilddaten als Bilddaten einer Einzelkamera kombiniert mit „kinematischen" Sensordaten.

Eindimensionale odometrische Sensordaten ermöglichen die Er mittlung der von einem Schienenfahrzeug zurückgelegten Stre cke. Allerdings reichen diese Daten allein bei einem komple xeren Streckennetz nicht aus, um eindeutig eine Position ei nes Schienenfahrzeugs zu ermitteln. Inertiale Messdaten las sen sich bei sich bewegenden Schienenfahrzeugen ebenfalls nur in Fahrtrichtung gewinnen. Mithin lässt sich auch mit diesen Daten allein keine exakte und eindeutige Position ermitteln.

Daher werden diese Daten erfindungsgemäß mit Bilddaten fusio niert, um eindeutige Positionsdaten zu ermitteln.

In einer Variante des erfindungsgemäßen Verfahrens zum Ermit teln einer kinematischen Größe eines Schienenfahrzeugs er folgt bei dem Optimierungsverfahren ein Vergleich zwischen einer Bildposition einer an die geschätzte Position rückpro jizierten Landmarke und einer tatsächlichen Bildposition der in den Bilddaten identifizierten Landmarke. Bei diesem Ver gleich wird eine Positionsabweichung zwischen der geschätzten Position und der Bildposition ermittelt und für einen Fehler term bzw. Korrekturterm genutzt. Auf diese Weise ergibt sich eine iterativ optimierte Position als Ergebnis des Optimie rungsverfahrens .

In einer bevorzugten Variante des erfindungsgemäßen Verfah rens zum Ermitteln einer kinematischen Größe eines Schienen fahrzeugs wird ein zweiter Tiefenwert auf Basis der Triangu lation von Schlüsselpunkten einer Folge von Einzelbildern, welche bei dem Schlüsselpunkt-Abgleich als identisch ermit telt wurden, ermittelt und auf Basis des ersten Tiefenwerts und des zweiten Tiefenwerts wird durch ein Optimierungsver fahren ein verbesserter Tiefenwert für eine Landmarke ermit telt. Der verbesserte Tiefenwert kann vorteilhaft für eine Positionsbestimmung des Schienenfahrzeugs genutzt werden, um diese zu präzisieren. Das Optimierungsverfahren kann zur Ver besserung der Genauigkeit der Tiefenermittlung vorzugsweise einen Vergleich zwischen dem ersten Tiefenwert und dem zwei ten Tiefenwert umfassen.

Bei dem Optimierungsverfahren kann besonders bevorzugt ein Vergleich zwischen einem auf Basis der kinematischen Sensor daten ermittelten Positionswert und/oder Tiefenwert und dem verbesserten Positionswert erfolgen und daraus ein Fehlerwert für eine Positionsermittlung und/oder Tiefenermittlung auf Basis der kinematischen Sensordaten ermittelt werden. Vor teilhaft kann mit Hilfe des Fehlerwerts eine Korrektur der kinematischen Sensordaten erfolgen, wodurch auch wiederum die Ermittlung der kinematischen Größe genauer wird.

Die kinematischen Sensordaten können lD-odometrische Sensor daten umfassen und die lD-odometrische Messung kann durch ei nen Drehzahlmesser erfolgen. Alternativ oder zusätzlich kann die lD-odometrische Messung durch ein auf den Boden gerichte tes Dopplerradar erfolgen. Vorteilhaft sind die lD-odome-trischen Sensordaten relativ störungsfrei zu gewinnen. Eine Fusion mit den über Bildinformationen gewonnenen Messdaten erlaubt im Gegensatz zu einer ausschließlichen Verwendung der lD-odometrischen Sensordaten eine genauere Ermittlung auch dreidimensionaler kinematischer Größen.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt die Ermittlung des ersten Tiefenwerts durch eine Tri angulation auf Basis von Stereobilddaten. Aufgrund der Kennt nis der Basislinie zwischen den beiden Kameras eines bei die ser Variante verwendeten Stereobildaufnahmesystems sowie der Kenntnis der unterschiedlichen Winkel, unter denen ein

Schlüsselpunkt in den beiden Bildern der beiden Kameras er scheint, kann eine Positionsbestimmung des Schlüsselpunkts durch Triangulation vorgenommen werden.

In einer Variante des erfindungsgemäßen Verfahrens zum Ermit teln einer kinematischen Größe eines Schienenfahrzeugs er folgt die Ermittlung des ersten Tiefenwerts auf Basis einer Tiefenmessung in einem Schiebefenster. Eine solche Tiefenmes sung kann mit Hilfe einer Tiefenkamera, auch als Time-of-Flight-Kamera bezeichnet, oder einem LiDAR-System erfolgen.

Dabei werden alle Tiefenmessungen die aufgrund der Stereo triangulation gewonnen wurden, in der Optimierung verwendet, und zwar für alle Bilder, die sich im „sliding window" befin den. Wie mit den Tiefenmessungen werden auch die Beschleuni gungsmessungen von allen zugehörigen Bildern (Beschleunigun- gen von Bildzeitstempel bis Bildzeitstempel ) die sich im „sliding window" befinden, für die Optimierung verwendet.

Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:

FIG 1 ein Flussdiagramm, welches ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs ge mäß einem Ausführungsbeispiel der Erfindung veran schaulicht,

FIG 2 eine schematische Darstellung einer Ermittlungsein richtung gemäß einem Ausführungsbeispiel der Erfin dung,

FIG 3 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung,

FIG 4 eine schematische Darstellung einer Mehrzahl von Land marken im dreidimensionalen Raum,

FIG 5 eine schematische Darstellung von Schlüsselpunkten in aufeinanderfolgenden Bildern.

In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Ver fahren zum Ermitteln einer kinematischen Größe v, P, a eines Schienenfahrzeugs 31 (siehe FIG 3) veranschaulicht. Eine sol che kinematische Größe kann zum Beispiel die Geschwindigkeit v, die Position P oder eine Beschleunigung a des Schienen fahrzeugs 31 umfassen.

Bei dem Schritt 1.1 werden zunächst Bilddaten BD von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe FIG 3) des Schienenfahrzeugs 31 erfasst. Die Bilddaten BD umfassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Bei dem Schritt l.II werden auf Basis von gleichzeitig von unter schiedlichen Bildkameras 32, 33 erfassten Bilddaten BD zu sätzlich Stereobilddaten SBD von der Umgebung des Schienen fahrzeugs 31 erzeugt.

Bei dem Schritt l.III erfolgt noch ergänzend eine Akquisition von zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertialen Messdaten.

Auf Basis der aufgenommenen Bilddaten BD und der auf deren Basis erzeugten Stereobilddaten SBD werden bei dem Schritt 1. IV Schlüsselpunkte SP detektiert. Anders ausgedrückt werden die Schlüsselpunkte SP für jede einzelne Kamera und unter schiedliche Zeitpunkte miteinander verglichen ( Frame-to-Frame matching) und es werden Schlüsselpunkte von Bildern unter schiedlicher Kameras, welche zu gleichen Zeitpunkten aufge nommen wurden, miteinander verglichen (stereo matching) . Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Ein solches Verfahren ist beispielsweise in E. Rosten, R. Porter and T. Drummond, "Faster and Better: A Machine Learning Approach to Corner De-tection" in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no . 1, pp. 105-119, Jan. 2010 be schrieben .

Weiterhin erfolgt bei dem Schritt l.V eine Extraktion von De skriptoren anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden. Die ermittelten Deskriptoren werden bei den Schritten l.VI und l.VII für einen Matching-Prozess genutzt.

Bei dem Schritt l.VI erfolgt ein Abgleich oder Matching von Schlüsselpunkten in Bildern der Stereobilddaten SBD. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kame ras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüssel punkte SP in den unterschiedlichen Bildern der Stereobildda ten SBD identisch sind. Hierzu werden auch die Werte der De skriptoren D genutzt. Ähnlich erfolgt bei dem Schritt l.VII ein Abgleich von Schlüsselpunkten SP in unterschiedlichen Frames der Bilddaten BD von einer Einzelkamera 32. Hierzu werden nicht nur die bei dem Schritt l.V extrahierten De skriptoren D, sondern auch die zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertiale Messdaten, welche bei dem Schritt l.III erfasst wurden, hinzugezogen.

Bei dem Schritt l.VIII erfolgt eine Triangulation der Schlüs selpunktdaten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden. Da korrespon dierende Bilder unterschiedlicher Kameras des Stereokame rasystems aus unterschiedlichen Winkeln aufgenommen werden und die Länge der Basislinie zwischen den beiden Kameras 32, 33 bekannt ist, kann mit Hilfe der Triangulation jeweils ein erster Tiefenwert TW1 für die identifizierten Schlüsselpunkte SP ermittelt werden.

Bei dem Schritt 1. IX erfolgt weiterhin bei der Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tiefen werts TW1 eine Tiefenermittlung in einem Schiebefenster.

Mit „sliding window" ist ein Zeitabschnitt gemeint, in dem die Messungen für die Optimierung berücksichtigt werden. Dies wird gemacht aus dem Grund, da mehr Messungen normalerweise ein besseres Ergebnis erzielen, jedoch alle Messungen (seit dem Start der Applikation) zu rechenintensiv wären. Das „sli ding window" ist nur für die Optimierung relevant.

Bei dem Schritt l.X erfolgt eine Triangulation einer Landmar ke, welche in unterschiedlichen Frames aus unterschiedlichen Winkeln bildlich erfasst wurde, zur Ermittlung einer Position P-LM der Landmarke in einem Schiebefenster. Dabei ist unter einem Schiebefenster wieder eine bestimmte Anzahl an aktuel len Frames, in denen die Landmarke abgebildet ist, zu verste hen .

Außerdem werden bei dem Schritt l.XI auch die inertialen Messwerte ZSD in einem Schiebefenster erfasst. Die bei den Schritten l.IX, l.X und l.XI ermittelten Daten TW1, P-LM, ZSD werden bei dem Schritt l.XII dazu genutzt, in einem nichtli nearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermitteln. Bei diesem Optimie rungsverfahren wird eine Landmarke, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen.

Im Optimierungsverfahren werden die Positionen der Landmarken sowie die Positionen des Fahrzeugs im vorherigen Zeitraum („sliding window") zusammen optimiert, um den Fehler der Rückprojektion, der Tiefenmessungen ( Stereo-matching) und der kinematischen Messdaten zu minimieren.

Ähnlich können auch Korrekturwerte für die Tiefenmessung und Korrekturwerte für die Ermittlung von korrigierten Messwerten auf Basis der zusätzlichen kinematischen Sensordaten ZSD ge nutzt werden.

In FIG 2 ist eine schematische Darstellung einer Ermittlungs einrichtung 20 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht .

Die Ermittlungseinrichtung 20 umfasst eine Bilddatenschnitt stelle 21, welche zum Empfangen von Bilddaten BD dient, die von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe FIG 3) erfasst werden, eingerichtet ist. Die Bilddaten BD um fassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Die Ermittlungseinrichtung 20 weist außerdem eine Bildda tenkombinationseinheit 22 zum Erzeugen von Stereobilddaten SBD von der Umgebung des Schienenfahrzeugs 31 auf Basis der empfangenen Einzelbilddaten von unterschiedlichen Kameras 32, 33 auf. Die Stereobilddaten SBD basieren auf simultan von un terschiedlichen Kameras 32, 33 aufgenommenen Bilddaten BD (siehe FIG 3), wobei die unterschiedlichen Kameras 32, 33 ein überlappendes Sichtfeld aufweisen. Teil der Ermittlungsein richtung 20 ist auch eine Sensorschnittstelle 21a, welche da zu eingerichtet ist, zusätzliche kinematische Sensordaten ZSD, in diesem Fall inertiale Messdaten, zu empfangen, welche von einem Inertialsensor erfasst werden.

Die Ermittlungseinrichtung 20 umfasst außerdem eine Detekti onseinheit 23, welche dazu eingerichtet ist, Schlüsselpunkte SP auf Basis der aufgenommenen Bilddaten BD, SBD zu detektie-ren. Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Weiterhin um fasst die Ermittlungseinrichtung 20 eine Extraktionseinheit 23a zur Extraktion von Deskriptoren D anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden.

Die Ermittlungseinrichtung 20 weist auch eine Ermittlungsein heit 24 auf, welche dazu dient, einen ersten Tiefenwert TW1 eines Schlüsselpunkts SP auf Basis der Stereobilddaten SBD und der Deskriptoren D zu ermitteln.

Hierzu wird ein Abgleich oder Matching von Schlüsselpunkten in Einzelbildern der Stereobilddaten SBD durchgeführt. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kameras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüssel punkte SP in den unterschiedlichen Bildern der Stereobildda ten SBD identisch sind. Dazu werden auch die Werte der De skriptoren D genutzt.

Die Ermittlungseinrichtung 20 weist auch eine Abgleichsein-heit 25 für einen Abgleich von Schlüsselpunkten SP in unter schiedlichen Frames der Bilddaten BD von einer Einzelkamera 32 (siehe FIG 3) auf. Hierzu werden nicht nur die extrahier ten Deskriptoren D, sondern auch die zusätzlichen kinemati schen Sensordaten ZSD, in diesem Fall inertiale Messdaten hinzugezogen .

Die Ermittlungseinrichtung 20 weist auch eine Tiefenschätz einheit 25a zum Ermitteln eines ersten Tiefenwerts TW1 auf. Die Ermittlung des ersten Tiefenwerts TW1 erfolgt mit Hilfe einer Triangulation. Es wird die Tiefe von Schlüsselpunkten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden, ermittelt. Da korrespondie- rende Bilder unterschiedlicher Kameras des Stereokamerasys tems 33 (siehe FIG 3) aus unterschiedlichen Winkeln aufgenom men werden und die Länge der Basislinie zwischen den beiden Kameras 33 bekannt ist, kann mit Hilfe der Triangulation je weils ein erster Tiefenwert TW1 für die identifizierten

Schlüsselpunkte SP ermittelt werden.

Teil der Ermittlungseinrichtung 20 ist auch eine Schätzein heit 26 zum Schätzen einer Position P-LM eines als Landmarke LM identifizierten Schlüsselpunkts SP durch eine Triangulati on auf Basis von Schlüsselpunkten SP aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden.

Teil der Ermittlungseinrichtung 20 ist auch eine Tiefenmess einheit 24b, welche dazu eingerichtet ist, eine Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tie fenwerts TW1 durchzuführen, wobei eine Tiefenermittlung in einem Schiebefenster, d.h. auf Basis einer Mehrzahl N von aufeinanderfolgenden Frames erfolgt.

Der ermittelte erste Tiefenwert TW1 sowie der geschätzte Po sitionswert P-LM werden an eine Optimierungseinheit 27 über mittelt, die ebenfalls Teil der Ermittlungseinrichtung 20 ist. Alle die ermittelten Daten TW1, P-LM, ZSD werden dazu genutzt, in einem nichtlinearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermit teln. Bei diesem Optimierungsverfahren wird eine Landmarke LM, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen. Die dabei ermittelte Differenz kann als Kor rekturwert für die Positionsermittlung genutzt werden. Ähn lich können auch Korrekturwerte für die Tiefenmessung und die Ermittlung von korrigierten Messwerten auf Basis der zusätz lichen kinematischen Sensordaten ZSD genutzt werden.

Neben dem Positionswert PV-LM der Landmarken LM wird in der Optimierungseinheit 27 auch eine kinematische Größe opti miert. Beispielsweise wird eine aktuelle Position P des

Schienenfahrzeugs 31, die Geschwindigkeit oder die Beschleu nigung des Schienenfahrzeugs 31 optimiert. Anders ausge drückt, werden Positionen der Landmarken LM zusammen mit den Positionen P des Fahrzeugs im „sliding window" gemeinsam op timiert. Die ermittelte Position P wird schließlich über eine Ausgangsschnittstelle 28, beispielsweise an eine Steuerungs einrichtung 35 (siehe FIG 3), ausgegeben.

In FIG 3 ist eine schematische Darstellung 30 eines Schienen fahrzeugs 31 gemäß einem Ausführungsbeispiel der Erfindung auf einer Schienenstrecke S veranschaulicht. Das Schienen fahrzeug 31 weist eine Mehrzahl von Einzelkameras 32, 33 auf, welche Videodaten BD von der Umgebung des Schienenfahrzeugs 31 aufnehmen. Die Videodaten BD werden an eine in das Schie nenfahrzeug 31 integrierte Ermittlungseinrichtung 20 übermit telt, die den in FIG 2 gezeigten Aufbau hat.

Mit Hilfe der Mehrzahl von Kameras 32, 33 kann die Umgebung aus zwei unterschiedlichen Blickwinkeln bildlich aufgenommen werden. Weiterhin umfasst das Schienenfahrzeug 31 auch eine inertiale Sensoreinheit 34, mit der Sensordaten ZSD bezüglich des Beschleunigungsverhaltens und Verzögerungsverhaltens, so genannte inertiale Messdaten, erfasst werden und ebenfalls an die Ermittlungseinrichtung 20 weitergeleitet werden. Eine inertiale Sensoreinheit kann nicht nur das Verzögerungsver halten (lineare Beschleunigung), sondern auch die Drehge schwindigkeiten messen (Gyroskop) , welche ebenfalls zur Er mittlung der Landmarken und der kinematischen Daten genutzt werden können.

Die Ermittlungseinrichtung 20 ermittelt auf Basis der Ein gangsdaten BD, SBD, ZSD eine kinematische Größe v, P, a des Schienenfahrzeugs 31. Die Ergebnisdaten v, P, a werden an ei ne Steuereinrichtung 35 des Schienenfahrzeugs 31 übermittelt, welche auf Basis dieser Daten v, P, a das Schienenfahrzeug steuert .

In FIG 4 sind zur Veranschaulichung Landmarken LM im dreidi mensionalen Raum 40 eingezeichnet, welche durch das in FIG 1 geschilderte Verfahren ermittelt wurden. Den Landmarken LM ist eine eindeutige Position im Raum zugeordnet.

In FIG 5 sind zur Veranschaulichung Schlüsselpunkte SP einer Bildfolge einer Einzelkamera als kreisförmige Objekte in ei ner Bilddarstellung 50 der Umgebung eines Schienenfahrzeugs symbolisiert. Die an den Kreisen angeordneten Striche deuten die Richtung sowie den Verschiebungsweg an, den die Schlüs selpunkte in aufeinanderfolgenden Bildern genommen haben. Aus diesen Daten allein lassen sich noch keine Landmarken bzw. deren Positionen gewinnen. Hierzu benötigt man Zusatzdaten, wie zum Beispiel Informationen über die Tiefe der Schlüssel punkte SP. Diese Daten lassen sich grob durch zusätzliche ki nematische Sensordaten ZSD, wie zum Beispiel inertiale Mess daten oder lD-odometrische Daten, gegebenenfalls in Verbin dung mit Kartendaten, gewinnen.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.