In Bearbeitung

Bitte warten ...

Einstellungen

Einstellungen

1. WO2020007566 - REALISTISCHERE SIMULATION PHYSIKALISCHER MESSDATEN

Anmerkung: Text basiert auf automatischer optischer Zeichenerkennung (OCR). Verwenden Sie bitte aus rechtlichen Gründen die PDF-Version.

Beschreibung

Titel:

Realistischere Simulation physikalischer Messdaten

Die vorliegende Erfindung betrifft ein Verfahren zur realistischeren Simulation physikalischer Messdaten, welches beispielsweise zur Generierung von

Trainingsdaten für Kl-Systeme im Bereich des autonomen Fahrens einsetzbar ist.

Stand der Technik

Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld- Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.

Die Erfassung von Objekten mittels Radar ist von den Lichtverhältnissen unabhängig und beispielsweise auch bei Nacht auf größere Entfernung möglich, ohne dass der Gegenverkehr durch Fernlicht geblendet wird. Weiterhin kann Radar als einziger Sensor„durch“ vorausfahrende Fahrzeuge hindurchsehen, indem Radarwellen durch Reflexion an Leitplanken oder anderen Objekten um ein Fahrzeug herumgeleitet werden. Dadurch können etwa Notbremsungen des übernächsten Fahrzeugs bereits erkannt werden, bevor das unmittelbar vorausfahrende Fahrzeug verzögert.

Die US 8,682,821 B2 offenbart, Radarsignale mittels maschinellem Lernen dahingehend zu klassifizieren, ob sie von der Bewegung bestimmter Objekte oder nichtmenschlicher Tiere herrühren. Diese Erkenntnis kann genutzt werden, um bei der Überwachung eines Bereichs auf menschliche Eindringlinge

Falschalarme zu vermeiden, oder auch um beim zumindest teilweise

automatisierten Fahren die richtige Aktion zur Kollisionsvermeidung

auszuwählen.

Das maschinelle Lernen benötigt Lern- Radardaten von Lern-Szenerien, deren Gehalt an Objekten bzw. Tieren jeweils bekannt ist.

Offenbarung der Erfindung

Es wurde erkannt, dass gerade bei der Objekterkennung aus Radarsignalen mittels maschinellem Lernen die notwendigen Lerndaten eine knappe Ressource sind. Lerndaten für die Objekterkennung aus Kamerabildern umfassen üblicherweise Lern- Kamerabilder, die von Menschen dahingehend kommentiert (gelabelt) worden sind, an welcher Stelle welche Objekte in ihnen enthalten sind. Die visuelle Erkennung von Objekten ist gerade für den Menschen besonders intuitiv, so dass die Anforderungen an Hilfskräfte für die Kommentierung von Kamerabildern vergleichsweise gering sind. Objekte aus Radarsignalen zu erkennen erfordert hingegen Spezialwissen. Weiterhin hängt das Radarsignal, das ein und dasselbe Objekt produziert, auch von den Eigenschaften der verwendeten Antennen und Sensoren ab, beispielsweise vom

Modulationsmuster des Sensors oder davon, wo und wie der Sensor am

Fahrzeug montiert ist. Das Signal kann durch Mehrwegeausbreitung verändert werden, beispielsweise indem es mehrfach an verschiedenen Oberflächen (etwa der Fahrbahn, einer Leitplanke und/oder einer Wand) reflektiert wurde.

Schließlich ist das Radarsignal auch materialabhängig. Einige Materialien reflektieren Radarwellen mit unterschiedlichen material- und form-abhängigen Rückstreukoeffizienten, während andere Materialien von den Radarwellen durchdrungen werden, was dann wiederum dazu führen kann, dass eigentlich verdeckte Objekte plötzlich im Radarsignal auftauchen.

Im Ergebnis sind also Lerndaten für die Objekterkennung aus Radarsignalen zum einen schwieriger zu beschaffen, und zum anderen werden auch mehr Lerndaten benötigt als für die Objekterkennung aus Kamerabildern. Um diese Knappheit zu lindern, wurde ein Verfahren entwickelt, das unter anderem die Generierung realistischerer simulierter (synthetischer) Radardaten ermöglicht.

Da die Ausbreitung, Absorption und Reflexion von Radarwellen bekannten physikalischen Gesetzen folgt, lässt sich aus einer vorgegebenen Anordnung aus Sender, Empfänger und zu beobachtender Szenerie das am Empfänger zu erwartende Radarsignal berechnen. Auf diese Weise können in automatisierter Weise Lern- Radardaten von Szenerien, deren Gehalt an Objekten vorab bekannt ist, erzeugt werden.

Allerdings sind diese synthetischen Lern- Radardaten in der Regel qualitativ wesentlich hochwertiger als die mit realen physikalischen Messungen

erhältlichen Radardaten. Ein realer Sensor prägt dem Signal immer auch spezielle Sensoreigenschaften auf. So zeigen die real gemessenen Radar-Reflexionen ein charakteristisches Rauschen, das dafür sorgt, dass die

Reflexionen in ihrer Position variieren können oder in einzelnen Messungen gar nicht auftreten. Dieses Rauschen ist unter anderem vom Abstand der Objekte zum Sensor abhängig. So ist speziell in der Nähe des Fahrzeugs ein stärkeres Rauschen vorhanden, das auf Grund der Anordnung der Radarantennen auch noch eine charakteristische, räumliche Struktur aufweisen kann. Ein weiteres charakteristisches Radar- Phänomen ist das Ghosting, was bedeutet, dass Objekte, beispielsweise durch Spiegelung der Radarstrahlung an Leitplanken, an Stellen detektiert werden, an denen sie sich gar nicht befinden.

Wenn eine Objekterkennung auf der Basis von Radardaten mit derart idealisierten synthetischen Lern- Radardaten trainiert wird, besteht somit eine Rest-Unsicherheit dahingehend, inwieweit sich im realen Fährbetrieb die genannten Störungen und Verfälschungen, die beim Lernen kein Thema gewesen sind, auf das Ergebnis der Objekterkennung auswirken.

Um diese Rest-Unsicherheit zu vermindern, wird ein Verfahren zum Aufprägen des Einflusses einer physikalischen Eigenschaft, die die durch physikalische Messung erhaltenen Messdaten, welche in mindestens einer Lern- Punktwolke PL in einer Domäne B enthalten sind, gemeinsam haben, auf simulierte Messdaten in einer Simulations-Punktwolke PA in einer Domäne A vorgeschlagen.

Dabei umfasst der Begriff der Punktwolke in diesem Zusammenhang ganz allgemein eine Menge von Punkten eines Vektorraums, die durch die

Raumkoordinaten der in ihr enthaltenen Punkte beschrieben ist. Eine organisierte räumliche Struktur, wie sie beispielsweise in digitalen Bildern durch

Nachbarschaftsbeziehungen zwischen Pixeln vorgegebenen ist, gibt es in einer solchen Punktwolke nicht. Auch ist in einer Punktwolke, anders als in einem Bild mit fester Größe, keine feste Anzahl von Punkten vorgegeben.

Beispielsweise lassen sich Radar- Messdaten vorteilhaft als Punktwolken darstellen. So kann beispielsweise für einen einzelnen Radar- Reflex eine Winkelposition relativ zum Empfänger in Verbindung mit der ermittelten

Entfernung zum reflektierenden Objekt erfasst werden. Ein solches einzelnes Messergebnis kann als ein Punkt in einem Raum angesehen werden. Ist beispielsweise eine Koordinate des Punkts durch die Winkelposition und die andere Koordinate durch die Entfernung angegeben, so lebt dieser Punkt in einem zweidimensionalen Raum. Neuere Radar- oder Lidar-Geräte erfassen zusätzlich eine zweite Winkelkoordinate für die Höhe des Reflexes. Ein Punkt, der den Reflex repräsentiert, lebt dann in einem dreidimensionalen Raum. Eine vollständige Radarmessung eines Fahrzeugumfelds umfasst nun eine Vielzahl von Reflexen an verschiedenen Winkelpositionen und ggfs, in verschiedenen Höhen, und die jeweils entstehenden Punkte können als Punktwolke dargestellt werden.

Wenn bei den Messungen zusätzlich noch weitere Messgrößen erfasst werden, wie etwa eine Intensität oder eine weitere Raumkoordinate, so kann der Raum, in dem die einzelnen Punkte der Punktwolke leben, auch noch mehr Dimensionen umfassen. Unabhängig von der Anzahl der Dimensionen repräsentieren die realen Messdaten, bzw. die simulierten Messdaten, in den Punktwolken PL bzw. PA jeweils Koordinaten, wie am zwei- bzw. dreidimensionalen Beispiel beschrieben.

Der Begriff der Domäne bezeichnet in diesem Zusammenhang ganz allgemein Mengen von Elementen, hier Punktwolken, die eine vorgegebene Eigenschaft gemeinsam haben. Die Domäne A umfasst also alle Simulations-Punktwolken PA, die simulierte Messdaten enthalten, und die Domäne B umfasst alle Lern- Punktwolken PL, die durch physikalische Messung erhaltene Messdaten enthalten. Dabei können insbesondere die Punkte in den Punktwolken PA und PL im gleichen Raum leben, d.h., jedes als Punkt dargestellte Einzel-Messergebnis kann unabhängig davon, ob es sich um ein reales oder um ein simuliertes Messergebnis handelt, den gleichen Satz Messgrößen umfassen.

Die physikalische Eigenschaft, deren Einfluss der Simulations-Punktwolke PA der simulierten Messdaten aufzuprägen ist, kann nach dem zuvor Beschriebenen insbesondere vorteilhaft mindestens eine Störung oder ein Artefakt sein, der bei der physikalischen Messung der Messdaten auftritt. Das Verfahren ist jedoch nicht auf diese speziellen physikalischen Eigenschaften beschränkt.

Bei dem Verfahren wird die Simulations-Punktwolke PA in eine Dichteverteilung PA in der Domäne A überführt. Die Dichteverteilung kann optional normiert werden. Beispielsweise ist für eine Verarbeitung durch neuronale Netze eine Normierung auf das Intervall [0; 1] vorteilhaft. Eine weitere sinnvolle Möglichkeit besteht darin, die Dichteverteilung so zu normieren, dass sie direkt als

Wahrscheinlichkeitsdichte interpretiert werden kann. Hierfür ist dann zusätzlich gefordert, dass das Integral über die Verteilung gleich 1 ist.

Es wird nun die Dichteverteilung PA mit einer Transformation in eine

Dichteverteilung PB in der Domäne B überführt. Diese Transformation ist so beschaffen, dass in der Domäne B ununterscheidbar ist, ob eine gegebene Dichteverteilung p direkt in der Domäne B als eine Dichteverteilung PL einer Lern-Punktwolke PL oder aber als Transformierte PB einer Dichteverteilung PA erhalten wurde. Wie später noch beschrieben wird, kann eine derartige Transformation insbesondere beispielsweise mit maschinellem Lernen erhalten werden, wie etwa durch Trainieren eines„Generative Adversarial Networks“, GAN. Die Wirkung der Transformation im Rahmen des Verfahrens ist jedoch nicht daran gebunden, auf welche Weise sie erhalten wurde.

In der Domäne B wird eine Ergebnis-Punktwolke PB, die statistisch mit der Dichteverteilung PB im Einklang ist, erzeugt. Dies kann beispielsweise

geschehen, indem zufällig Koordinaten von Kandidaten-Punkten in der Domäne B bestimmt werden und jeder Kandidaten-Punkt mit einer Wahrscheinlichkeit, die seinen Koordinaten durch die Dichteverteilung PB zugeordnet wird, akzeptiert wird.

Die Ergebnis-Punktwolke PB wird als Ergebnis des Aufprägens des Einflusses der gewünschten Eigenschaft auf die simulierten Messdaten in der Simulations-Punktwolke PA gewertet.

Ein wesentlicher Vorteil des Verfahrens ist, dass keine genaue Beschreibung der physikalischen Eigenschaft, deren Einfluss auf die simulierten Messdaten aufgeprägt werden soll, erforderlich ist. Es genügt, wenn eine hinreichend große Menge an realen Messdaten vorhanden ist, die mit der physikalischen

Eigenschaft behaftet sind.

Weiterhin ist es nicht erforderlich, dass die simulierten Messdaten und die durch physikalische Messung erhaltenen Messdaten sich auf gleiche Szenerien beziehen. Die Lern-Daten in Form einer oder mehrerer Lern-Punktwolken PL können also beliebige reale Daten sein, wie sie beispielsweise im normalen Fährbetrieb eines Fahrzeugs anfallen. Es reicht für das Lernen aus, unabhängige Beispiele aus den beiden Domänen A und B zu kennen.

Schließlich lassen sich auf der Ebene der Dichteverteilungen PA und PB auch statistische Effekte beschreiben, wie etwa zusätzliche Radar- Reflexe, die bei bestimmten Einzelmessungen auftreten und anschließend wieder verschwinden.

In einer vorteilhaften Ausgestaltung wird die Dichteverteilung PA in der Domäne A bestimmt, indem die Domäne A in Voxel diskretisiert wird, wobei jeder Punkt der Simulations-Punktwolke PA eindeutig genau einem Voxel zugeordnet wird. Ein Voxel ist in diesem Zusammenhang der Oberbegriff für„Pixel“, der auch für mehr als zwei Dimensionen erklärt ist. Dabei muss die Auflösung, mit der die Domäne A diskretisiert wird, nicht für alle Koordinatenrichtungen der Punkte identisch sein. Wenn in einem Punkt beispielsweise ein Winkel und eine Entfernung zusammengefasst sind, so kann die Domäne A beispielsweise bezüglich des Winkels feiner diskretisiert werden als bezüglich der Entfernung. Die auf diese Weise gebildete Dichteverteilung PA gibt für jeden Voxel die Zahl der Punkte an, die sich in diesem Voxel befinden.

Die Auflösung, mit der die Domäne A diskretisiert wird, kann unabhängig von der Auflösung gewählt werden, in der die durch physikalische Messung gewonnenen Messdaten in der Domäne B verfügbar sind. So können beispielsweise bei der Transformation hoch aufgelöste Simulationsdaten auf niedriger aufgelöste Realdaten abgebildet werden oder umgekehrt.

Besonders vorteilhaft wird die Dichteverteilung als Bild interpretiert, in dem jeder Voxel ein Pixel repräsentiert mit einem Intensitätswert, der von der Anzahl der dem Voxel zugeordneten Punkte abhängt. Auf diese Weise kann eine

Transformation, die für die Verarbeitung von Bildern vorgesehen ist, für das Verfahren zweckentfremdet bzw. angepasst werden. Beispielsweise können tiefe neuronale Netze, welche für die Domänenübersetzung von Bildern (etwa zwischen Sommer- und Winterbildern, zwischen Bildern von Äpfeln und Orangen oder zwischen Fotos und von einem bestimmten Künstler gemalten Bildern) verwendet werden, für die Durchführung der Transformation im Rahmen des Verfahrens trainiert werden.

Vorteilhaft sind die zu unterschiedlichen Punktewolken PA gehörende

Dichteverteilungen PA, die sich auf dasselbe Messobjekt beziehen, als unterschiedliche Farbkanäle in einem Bild zusammengefasst. Auf diese Weise können diese Punktewolken PA gleichzeitig verarbeitet werden. Wenn für die Transformation ein tiefes neuronales Netz mit Convolution- Filtern verwendet wird, können durch entsprechende Wahl der Dimension der Convolution- Filter auch Korrelationen zwischen den einzelnen Kanälen berücksichtigt werden. Für die Anzahl der Kanäle gibt es keine prinzipielle Grenze.

Dabei können sich die unterschiedlichen Simulations-Punktwolken PA insbesondere vorteilhaft auf Simulationen unterschiedlicher physikalischer Kontraste beziehen, die das Messobjekt hervorruft. Beispielsweise können etwa gleichzeitige Messungen mit Radar, Lidar und Ultraschall simuliert und die entsprechenden Dichteverteilungen PA in die Farbkanäle Rot, Grün und Blau eines Bildes im RGB-Farbraum kodiert werden. Analog können beispielsweise die zu vier gleichzeitigen simulierten Messungen gehörenden Dichteverteilungen PA in die Farbkanäle Cyan, Magenta, Gelb und Schwarz eines Bildes im CMYK-

Farbraum kodiert werden. Die einzelnen Kanäle müssen in dieser Analogie jedoch nicht realen Farben entsprechen. Es ist also möglich, eine beliebige Anzahl von k Messgrößen in einem künstlichen, k-dimensionalen„Farbraum“ zu kodieren und zu verarbeiten.

Nach dem zuvor Beschriebenen werden insbesondere vorteilhaft

Objektlokalisierungen durch einen Radarsensor, durch einen Lidar-Sensor, und/oder durch einen Ultraschallsensor, in Form mindestens von Winkeln und zugehörigen Abständen als Messdaten gewählt. Gerade bei diesen Typen von Messungen treten in der Realität häufig schwer analytisch zu beschreibende Störungen und Artefakte auf, so dass der Bedarf besteht, die Einflüsse entsprechender Effekte auf simulierte Messdaten aufzuprägen. Zugleich liegen auch gerade diese Messdaten nicht als geordnete Bilder vor, sondern als Punktwolken ohne geordnete Nachbarschaftsbeziehung, so dass der

beschriebene Weg über Dichteverteilungen besonders vorteilhaft ist.

In einer besonders vorteilhaften Ausgestaltung wird die Transformation mit einem Kl-Modul durchgeführt, welches eine mit einer Vielzahl von Parametern parametrisierte interne Verarbeitungskette aufweist, wobei die Parameter so gesetzt sind, dass in der Domäne B ununterscheidbar ist, ob eine gegebene Dichteverteilung p mit dem Kl-Modul erzeugt wurde oder aber direkt in der Domäne B als eine Dichteverteilung pi_ einer Lern- Punktwolke PL erhalten wurde. Wie später beschrieben wird, kann ein solches Kl-Modul beispielsweise trainiert werden, indem es in einem„Generative Adversarial Network“, GAN, gegen einen Diskriminator antritt, der versucht, die vom Kl-Modul erzeugten

Dichteverteilungen von direkt in der Domäne B aus Lern-Punktwolken PL erhaltenen Dichteverteilungen PL zu unterscheiden.

Wie zuvor beschrieben, kann das Kl-Modul insbesondere mindestens ein tiefes neuronales Netz auf der Basis von Convolution- Filtern umfassen.

Die Erfindung bezieht sich auch auf einen Datensatz aus einer Vielzahl von Punktwolken PB mit simulierten Messdaten, denen eine nicht in der Simulation enthaltene, physikalisch beobachtete Eigenschaft aufgeprägt ist, wobei dieser Datensatz mit dem beschriebenen Verfahren erhalten wurde. Wie eingangs

erläutert, sind die in diesem Datensatz enthaltenen simulierten Messdaten unmittelbar als Trainingsdaten für die Erkennung von Objekten oder Situationen im Umfeld eines Fahrzeugs verwendbar, ohne dass es eines manuellen „Labellings“ der enthaltenen Objekte bzw. Situationen bedarf. Dabei bewirkt das Aufprägen des Einflusses der physikalischen Eigenschaft, dass diese

Eigenschaft beim Training der Erkennung mit berücksichtigt wird.

Der Datensatz ist insofern ein eigenständig verkaufbares Produkt mit dem Kundennutzen, dass das Training der Erkennung zum einen mit weniger menschlicher Arbeitskraft für das Labein von Trainingsdaten auskommt und zum anderen einen umfassenderen Kanon an Szenerien umfasst. Insbesondere kann in dem Datensatz beispielsweise die Gewichtung der Häufigkeit, mit der bestimmte Szenerien Vorkommen, angepasst werden. So können beispielsweise zu einer Verkehrssituation, die selten und zugleich gefährlich ist, gezielt mehr simulierte Messdaten in den Datensatz aufgenommen werden. Auf diese Weise kann der Tendenz entgegen gewirkt werden, dass die im Fährbetrieb häufig vorkommenden Szenerien beim Training der Erkennung tonangebend sind und die selten vorkommenden Szenerien„verdrängen“.

Als weiteres Produkt ist das für die Transformation verwendete Kl-Modul im trainierten Zustand denkbar. Der trainierte Zustand des Kl-Moduls kann ebenfalls in einem Datensatz verkörpert sein, der die Parameter der internen

Verarbeitungskette enthält. Das auf eine bestimmte Transformation trainierte Kl-Modul kann dann vom Kunden zur Übersetzung eigener Simulationen in die Domäne der realen Messdaten verwendet werden und es somit erleichtern, diese eigenen Simulationen für das Training der Erkennung von Objekten oder Situationen heranzuziehen.

Nach dem zuvor Beschriebenen bezieht sich die Erfindung auch auf ein

Verfahren zum Trainieren eines tiefen neuronalen Netzwerks zur Anwendung in dem beschriebenen Verfahren. Dabei wird das tiefe neuronale Netzwerk als Generator in ein Generative Adversarial Network, GAN, eingebunden.

Abwechselnd mit dem Generator wird ein in der Domäne B arbeitender

Diskriminator trainiert, wobei der Diskriminator bewertet, zu welchem Grade in der Domäne B ununterscheidbar ist, ob eine gegebene Dichteverteilung p mit dem Generator erzeugt wurde oder aber direkt in der Domäne B als eine Dichteverteilung pi_ einer Lern- Punktwolke PL erhalten wurde.

Dabei können die gegebenen Lern- Punktewolken Pi_ für das Training

insbesondere beispielsweise in der gleichen Weise zu Dichteverteilungen pi_ überführt werden wie dies zuvor für die Simulations-Punktwolken PA beschrieben wurde, also etwa durch Diskretisierung der Domäne B in Voxel und Auswertung der Anzahl Punkte je Voxel.

Dabei können optional die erhaltenen Dichteverteilungen pi_ vor dem Training weichgezeichnet werden. Hiermit kann der Tendenz entgegen gewirkt werden, dass im Falle von Lern-Punktwolken PL mit sehr wenigen Punkten, welche auf entsprechend stark lokalisierte Dichteverteilungen PL führen, die

Dichteverteilungen PA auf eine leere Dichteverteilung PB transformiert werden.

Aus Sicht der beim Training verwendeten Löss- Funktionen kann eine leere Dichteverteilung PB ein lokales Minimum nahe einer Verteilung PL aus wenigen Punkten sein.

Das Training des„Generative Adversarial Network“, GAN, läuft nach Art eines „Katz-und-Maus-Spiels“ zwischen dem Generator und dem Diskriminator ab. Anfänglich wird der Generator Dichteverteilungen PB produzieren, die mit den zu den Lern- Punktewolken PL gehörenden Dichteverteilungen PL nicht viel zu tun haben. Wenn das Training voranschreitet, werden die vom Generator produzierten Dichteverteilungen PB immer ähnlicher zu den Dichteverteilungen PL. Zugleich wird dann jedoch durch das Training des Diskriminators die

Anforderung an diese Ähnlichkeit hochgeschraubt.

In einer weiteren besonders vorteilhaften Ausgestaltung werden zusätzlich ein zweiter Generator für die Transformation einer Dichteverteilung PB in der Domäne B zu einer Dichteverteilung PA in der Domäne A sowie ein zweiter, in der Domäne A arbeitender Diskriminator trainiert. Der zweite Diskriminator bewertet, zu welchem Grade in der Domäne A ununterscheidbar ist, ob eine gegebene Dichteverteilung p mit dem zweiten Generator erzeugt wurde oder aber direkt in der Domäne A als eine Dichteverteilung PA einer Simulations-Punktwolke PA erhalten wurde.

Der ebenfalls trainierte zweite Generator kann genutzt werden, um die vom ersten Generator gelieferten Dichteverteilungen PB auf Plausibilität und

Konsistenz zu prüfen.

Beispielsweise können in einer weiteren besonders vorteilhaften Ausgestaltung der erste Generator und der zweite Generator zusätzlich dahingehend optimiert werden, dass eine Dichteverteilung PA in der Domäne A nach Anwendung des ersten Generators und anschließender Anwendung des zweiten Generators möglichst identisch reproduziert wird, und/oder dass eine Dichteverteilung PB in der Domäne B nach Anwendung des zweiten Generators und anschließender Anwendung des ersten Generators möglichst identisch reproduziert wird. Dies ist ein Indikator dafür, dass mit der Transformation von der Domäne A in die Domäne B nur der aufzuprägende Einfluss der physikalischen Eigenschaft hinzukommt und bei der Rücktransformation von der Domäne B in die Domäne A wieder weggenommen wird, ohne dass sich der in den Messdaten verkörperte Nutzinhalt ändert.

Nach dem zuvor Beschriebenen ist das letztendliche Ziel, das mit der Erzeugung realistischerer simulierter Messdaten verfolgt wird, eine verbesserte Erkennung von Objekten und Situationen im Umfeld von Fahrzeugen. Die Erfindung bezieht sich daher auch auf ein Verfahren zur Erkennung mindestens eines Objekts, und/oder mindestens einer Situation, im Umfeld eines Fahrzeugs, wobei das Fahrzeug mindestens einen Sensor zur physikalischen Erfassung von

Messdaten aus mindestens einem Teil des Umfelds des Fahrzeugs umfasst und wobei die physikalisch erfassten Messdaten von einem Klassifikatormodul dahingehend klassifiziert werden, welche Objekte bzw. Situationen im Umfeld des Fahrzeugs vorhanden sind. Es wird ein Kl-Modul als Klassifikatormodul gewählt, und dieses ist oder wird mit Trainingsdaten trainiert, die den zuvor beschriebenen Datensatz mit simulierten Messdaten umfassen.

Vorteilhaft wird in Antwort auf die Erkennung mindestens eines Objekts, bzw. einer Situation, eine für den Fahrer des Fahrzeugs wahrnehmbare physikalische Warneinrichtung, ein Antriebssystem, ein Lenksystem, und/oder ein

Bremssystem, des Fahrzeugs angesteuert zwecks Vermeidung einer Kollision

zwischen dem Fahrzeug und dem Objekt, und/oder zwecks Anpassung der Geschwindigkeit und/oder Trajektorie des Fahrzeugs. Das Training in der beschriebenen Weise erhöht die Wahrscheinlichkeit, dass Objekte und

Situationen, die in den simulierten Messdaten verkörpert sind, auch im realen Fährbetrieb aus den durch physikalische Messung erhaltenen Messdaten richtig klassifiziert werden und die vorgesehene Reaktion auslösen.

Die beschriebenen Verfahren können insbesondere jeweils in einer Software implementiert sein, die nicht nur im Zusammenhang mit neuer Hardware, sondern beispielsweise auch als Add-On, Update oder Upgrade für die

Weiternutzung bestehender Hardware verwendet werden kann und insofern ein eigenständig verkaufbares Produkt mit Kundennutzen darstellt. Daher bezieht sich die Erfindung auch auf ein Computerprogramm, enthaltend

maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das

Steuergerät, dazu veranlassen, eines der beschriebenen Verfahren auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren

Datenträger oder ein Downloadprodukt mit dem Computerprogramm.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.

Ausführungsbeispiele

Es zeigt:

Figur 1 Ausführungsbeispiel des Verfahrens 100;

Figur 2 Beispielhafte Punktwolken PA und PB mit zugehörigen

Dichteverteilungen PA und PB;

Figur 3 Umwandlung der Punktwolke PA in ein Bild der Dichteverteilung PA;

Figur 4 Ausführungsbeispiel des Verfahrens 200;

Figur 5 Ausführungsbeispiel des Verfahrens 300.

Figur 1 zeigt ein Ausführungsbeispiel des Verfahrens 100. In dem in Figur 1 gezeigten Beispiel sind gemäß Schritt 105 Objektlokalisierungen durch einen Radarsensor als Messdaten 1, 2 gewählt worden, und gemäß Schritt 108 sind Störungen und Artefakte, die bei der physikalischen Aufnahme der Radardaten 1 entstehen, als Eigenschaft la der physikalischen Messdaten 1 gewählt worden, die den simulierten Messdaten 2 aufzuprägen ist. Die physikalisch gemessenen Messdaten 1, denen die Eigenschaft la zu entnehmen ist, bilden die Lern-Punktwolke PL und sind in der Domäne B angesiedelt. Die simulierten Messdaten 2 bilden die Simulations-Punktwolke PA und sind in der Domäne A angesiedelt.

Gemäß Schritt 110 wird die Simulations-Punktwolke PA in eine Dichteverteilung PA in der Domäne A überführt. Hierzu wird gemäß Schritt 112 die Domäne A in Voxel diskretisiert, und gemäß Schritt 114 wird jeder Punkt der Simulations-Punktwolke PA eindeutig genau einem Voxel zugeordnet. Optional kann gemäß Schritt 116 die Dichteverteilung PA als Bild interpretiert werden, wobei insbesondere gemäß Schritt 118 die zu mehreren Simulations-Punktewolken PA gehörenden Dichteverteilungen PA in einem Bild zusammengefasst sein können. Zur Veranschaulichung ist die Dichteverteilung PA in Figur 1 als Bild skizziert.

Die Dichteverteilung PA wird gemäß Schritt 120 in eine Dichteverteilung PB in der Domäne B überführt. Gemäß Schritt 122 wird diese Transformation mit einem Kl-Modul durchgeführt, welches dazu trainiert ist, solche Dichteverteilungen PB zu erzeugen, die sich von aus Lern- Punktewolken PL erhaltenen Dichteverteilungen PL nicht unterscheiden lassen. Die Dichteverteilung re in der Domäne B ist ebenfalls als Bild veranschaulicht.

Aus der Dichteverteilung re wird die Ergebnis-Punktewolke PB in der Domäne B erhalten. Die ursprünglichen simulierten Messdaten 2 liegen hier in einer abgeänderten Fassung 2' vor. Die Änderung rührt von dem Einfluss der

Eigenschaft la her, die den abgeänderten Messdaten 2' nunmehr anhaftet.

Daher wird gemäß Schritt 140 die Ergebnis-Punktewolke PB als Ergebnis des

Aufprägens des Einflusses der Eigenschaft la auf die simulierten Messdaten 2 in der Simulations-Punktewolke PA gewertet.

Figur 2 zeigt ein reales Beispiel für die Umwandlung einer aus simulierten Radardaten bestehenden Punktwolke PA in eine Ergebnis-Punktwolke PB. Die Reflexe sind aufgetragen als Funktion des Winkels f relativ zur Fahrtrichtung des in Figur 2 nicht eingezeichneten Fahrzeugs und der Entfernung in Richtung dieses Winkels.

Figur 2a zeigt die simulierten Radar- Reflexe. Figur 2b zeigt die zugehörige Dichteverteilung PA in der Domäne A. Figur 2c zeigt die in die Domäne B transformierte Dichteverteilung PB.

Bereits aus der Darstellung der Dichteverteilung pß in Figur 2c lässt sich erahnen, welche Veränderungen die Messdaten bei der realen physikalischen Messung erfahren. Generell scheinen die Radar- Reflexe deutlich unschärfer zu werden. Weiterhin tauchen speziell in der Nähe des Fahrzeugs, also zu geringeren Entfernungen hin, Komponenten in der Dichteverteilung PB auf, die in der Dichteverteilung PA nicht vorhanden sind. Bei größeren Entfernungen

verschwinden hingegen in der Dichteverteilung PB, die in der Dichteverteilung PA noch vorhanden waren.

Insbesondere die in der Dichteverteilung pß auftretenden zusätzlichen

Komponenten wären allein auf der Basis der ursprünglichen simulierten

Punktewolke PA nur schwer oder gar nicht zu simulieren gewesen, da sie primär dem Radarsensor entspringen und nicht den Gegebenheiten im Fahrzeugumfeld, die Teil der Simulation sind.

Noch deutlicher treten die genannten Unterschiede in der Darstellung der Ergebnis- Punktewolke PB in Figur 2d. Im Vergleich zu Figur 2a erscheint nicht nur jeder Radar- Reflex als solcher unscharf, sondern zusammenhängende größere Reflexe sind auch in mehrere kleinere aufgespalten. Weiterhin treten an vielen Stellen zusätzliche Reflexe auf, wobei dieses Verhalten stark von der Entfernung d zum Fahrzeug abhängt. Je geringer diese Entfernung d, desto mehr zusätzliche Reflexe treten auf.

Figur 3 verdeutlicht den Weg von einer Simulations-Punktewolke PA zur

Interpretation der zugehörigen Dichteverteilung PA als Bild. Figur 3a zeigt die Simulations-Punktewolke PA in der zweidimensionalen Domäne A. Die Punkte der Simulations-Punktewolke PA sind jeweils durch die Werte zweier Koordinaten Xi und X2 definiert.

Gemäß Schritt 112 wird die Domäne A in Voxel diskretisiert, und gemäß Schritt 114 wird jeder Punkt der Simulations-Punktewolke PA genau einem Voxel zugeordnet. Figur 3b zeigt das Ergebnis, wobei die Voxel hier als Kästchen dargestellt sind.

Figur 3c zeigt die auf der Ebene der Voxel diskretisierte Dichteverteilung PA. Hier ist jedem Voxel die Anzahl der dem Voxel zugeordneten Punkte zugeschrieben worden.

Gemäß Schritt 116 wird die Dichteverteilung PA als Bild interpretiert, wobei der Anzahl der jedem Voxel zugeordneten Punkte ein Intensitätswert eines hierzu korrespondieren Pixels zugeschrieben wird. Somit entsteht aus der Punktewolke PA letztendlich ein Graustufenbild, das der Verarbeitung durch ursprünglich für Bilder gedachte tiefe neuronale Netzwerke zugänglich ist. In Figur 3 sind beispielhaft nur vier unterschiedliche Graustufen durch unterschiedliche

Schraffuren dargestellt.

Figur 4 zeigt ein Ausführungsbeispiel des Verfahrens 200. Gemäß Schritt 210 wird das tiefe neuronale Netzwerk für die Transformation von der Domäne A in die Domäne B als Generator in ein Generative Adversarial Network, GAN, eingebunden. Dieser Generator wird in Schritt 220 trainiert. Weiterhin wird in Schritt 230 ein in der Domäne B arbeitender Diskriminator trainiert. Dieser Diskriminator bewertet, zu welchem Grade die vom Generator erzeugten

Dichteverteilungen PB von den direkt in der Domäne B aus Lern- Punktewolken PL erzeugten Dichteverteilungen pi_ ununterscheidbar sind. Das Training 220 des Generators und das Training 230 des Diskriminators erfolgen im ständigen Wechsel, d.h., jeder Iterationsschritt trägt sowohl zum Training 220 des

Generators als auch zum Training 230 des Diskriminators bei.

Es wird gemäß Schritt 250 ein zweiter Generator für die Rücktransformation in die Domäne A trainiert. Zusätzlich wird gemäß Schritt 260 ein zweiter, in der Domäne A arbeitender Diskriminator trainiert. Gemäß Schritt 270 bewertet dieser zweite Diskriminator, inwieweit die mit dem zweiten Generator erzeugten Dichteverteilungen in der Domäne A ununterscheidbar sind von den direkt in der Domäne A aus Simulations-Punktewolken PA erzeugten Dichteverteilungen PA. Auch das Training 250 des zweiten Generators und das Training 260 des zweiten Diskriminators erfolgen im ständigen Wechsel, d.h. jeder diesbezügliche Iterationsschritt trägt sowohl zum Training 250 des zweiten Generators als auch zum Training 260 des zweiten Diskriminators bei.

Gemäß Schritt 280 werden beide Generatoren zusätzlich dahingehend optimiert, dass eine gegebene Dichteverteilung nach Transformation in die jeweils andere Domäne und Rücktransformation in die ursprüngliche Domäne möglichst identisch reproduziert wird. Ist dies nicht in hinreichendem Maße der Fall (Wahrheitswert 0), wird zu einem der vorherigen Trainings 220, 230, 250 oder 260 zurückverzweigt. Ist diese Selbstkonsistenzbedingung hingegen hinreichend erfüllt (Wahrheitswert 1), ist das Training beendet.

Selbstverständlich können nach jedem Training 220, 230 oder 250 noch weitere Prüfungen von Bedingungen vorgesehen sein, ob das Training einen

hinreichenden Erfolg gebracht hat. Diese weiteren Prüfungen sind aus Gründen der Übersichtlichkeit in Figur 4 nicht eingezeichnet.

Figur 5 zeigt ein Ausführungsbeispiel des Verfahrens 300. Das Fahrzeug 4, auf dem das Verfahren 300 angewendet wird, verfügt über einen Sensor zur physikalischen Erfassung von Messdaten 42a aus mindestens einem Teil 41a des Fahrzeugumfelds 41. Die Klassifikation, welche Objekte 5a bzw. Situationen 5b in den Messdaten 42a verkörpert sind, wird in Schritt 330 von dem

Klassifikator 43 vorgenommen. Gemäß Schritt 320 wurde ein zuvor in Schritt 310 mit Trainingsdaten 43a trainiertes Kl-Modul als Klassifikator 43 gewählt.

In Antwort darauf, dass ein bestimmtes Objekt 5a, bzw. eine bestimmte Situation 5b, erkannt wurde, wird gemäß Schritt 340 eine Warneinrichtung 44a, ein

Antriebssystem 44b, ein Lenksystem 44c, und/oder ein Bremssystem 44d, des Fahrzeugs 4 angesteuert, um eine Kollision mit dem Objekt 5a zu vermeiden, bzw. um Nachteile für den Fahrer des Fahrzeugs 4 oder für andere

Verkehrsteilnehmer in der Situation 5b zu vermeiden.