Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020200557 - PROCÉDÉ ET DISPOSITIF POUR INTERACTION AVEC UN OBJET ENVIRONNANT DANS L'ENVIRONNEMENT D’UN VÉHICULE

Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique

[ DE ]

Beschreibung

Verfahren und Vorrichtung zur Interaktion mit einem Umgebungsobjekt im Umfeld eines

Fahrzeugs

Die vorliegende Erfindung betrifft ein Verfahren zur Interaktion mit einem Umgebungsobjekt im Umfeld eines Fahrzeugs. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.

Bei den Nutzern eines Kraftfahrzeuges kann während der Fahrt der Wunsch auftreten, Informationen über einen„Ort von Interesse“ entlang der Fahrtroute, mittlerweile als Point of Interest (POI) geläufig, zu erfahren. Diese POI sind in dem digitalen Kartenmaterial von Navigationssystemen und Routenplanern mit ihrer jeweiligen Kategorie, wie beispielsweise Übernachten / Hotel oder Service / Tankstelle, Raststätte, Restaurant, ihren Koordinaten auf der Karte und gegebenenfalls weiteren Informationen wie einer zugeordneten

Telefonnummer gespeichert. Neben der Informationsausgabe zu einem POI kann auch vorgesehen werden, basierend auf dem ausgewählten POI zugeordnete Funktionen auszuführen, beispielsweise den POI als neues Fahrziel zu übernehmen und in Verbindung mit einer Bestimmung der aktuellen Fahrzeugposition aus GPS-Signalen eine angepasste Fahrtroute zu berechnen oder die zugeordnete Telefonnummer direkt anzuwählen.

Hierfür muss zunächst der betreffende POI ermittelt werden. Dieses kann durch eine Suche im fahrzeugeigenen Navigationsgerät oder in einer Navigationsanwendung eines

mitgeführten Mobilfunkgerätes erfolgen, wobei gegebenenfalls zunächst der Name des entsprechenden POI ermittelt werden muss um dann die gewünschte Information in einer Webbrowseranwendung zu suchen.

Um die Auswahl des POI zu vereinfachen, ist es aus der EP 3 252 432 A1 bekannt, den Nutzer in einem Fahrzeug zu beobachten und verschiedene Merkmale wie die Position oder eine Bewegung von Augen oder Kopf des Nutzers zu erfassen. Ebenso können für diesen Zweck Gesten des Nutzers ermittelt werden. So offenbart die DE 10 2010 017 931 A1 ein Informationssystem zur Bereitstellung von POI-lnformationen, bei dem eine Benutzergeste zur Anzeige der Richtung des POI mittels einer Gestenerfassungsvorrichtung erfasst wird. Informationen über den gewünschten POI werden auf der Grundlage der Richtung der Benutzergeste und dem Ort und der Ausrichtung des Fahrzeugs abgerufen und auf einer Anzeigevorrichtung angezeigt. Ähnliche Systeme mit einer Auswertung von Gesten zur POI- Identifizierung werden auch in der US 2017/0268897 A1 und der US 2018/0348886 A1 beschrieben, wobei es optional auch vorgesehen sein kann, das der Benutzer einen

Sprachbefehl ausgeben kann, um zusätzliche Informationen über das zu identifizierende Objekt bereitzustellen und so die Auswahl des POI zu verbessern.

Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren und eine verbesserte

Vorrichtung zur Interaktion mit einem Umgebungsobjekt im Umfeld eines Fahrzeugs zur Verfügung zu stellen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , sowie durch eine entsprechende Vorrichtung gemäß Anspruch 7 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Bei dem erfindungsgemäßen Verfahren zur Interaktion mit einem Umgebungsobjekt im Umfeld eines Fahrzeugs wird eine Zeigegeste eines in dem Fahrzeug befindlichen Nutzers in Richtung eines Umgebungsobjekts sensorisch erfasst. Aus der erfassten Zeigegeste wird das Umgebungsobjekt ermittelt. Eine Bestätigung wird an den Nutzer ausgegeben, dass das Umgebungsobjekt erkannt worden ist. Eine Spracheingabe des Nutzers wird erfasst. Mittels einer automatischen Spracherkennung und Interpretation der Spracheingabe wird ein das erkannte Umgebungsobjekt betreffender Sprachbefehl ermittelt. Der ermittelte Sprachbefehl wird ausgeführt, indem eine Information zu dem erkannten Umgebungsobjekt an den Nutzer ausgegeben und/oder eine mit dem erkannten Umgebungsobjekt in Zusammenhang stehende Fahrzeugfunktion ausgeführt wird.

Das erfindungsgemäße Verfahren stellt eine optimierte Möglichkeit für den Fahrer, aber auch andere Fahrzeugnutzer, dar um Umgehungsobjekte im Fahrzeugumfeld anzuwählen und mit diesen zu interagieren. Diese kann durch die Trennung der Identifizierung des

Umgebungsobjekts mittels Gestenerkennung einerseits und die Interaktion mit dem

Umgebungsobjekt mittels Spracherkennung andererseits auf eine besonders einfache, schnelle und intuitive Weise bei gleichzeitig möglichst geringer Ablenkung vom

Fahrgeschehen erfolgen. Insbesondere für den Fahrer, der zur sicheren Führung des Fahrzeugs permanent das Fahrzeugumfeld betrachten muss, ermöglicht dieses eine Anwahl eines Umgehungsobjektes sowie eine gewünschte von einer Vielzahl möglicher

Interaktionen für das ausgewählte Umgehungsobjekt auszuführen ohne hierfür den Blick von der Fahrbahn zu nehmen. Hierbei ist es nicht notwendig, dass der Fahrzeugnutzer die Sprachbedienung zunächst durch ein Aktivierungswort (englisch:„wake-up word“) einschalten muss, da die Spracherkennung nach der gestengesteuerten Selektierung des

Umgebungsobjekts automatisch gestartet werden kann. Die Interaktion wird dadurch schneller und kürzer.

Vorteilhafterweise wird die Information visuell und/oder akustisch durch eine Sprachausgabe ausgegeben.

Weiterhin ist es von Vorteil, wenn eine Übersicht über die verfügbaren Sprachbefehle an den Nutzer ausgegeben wird.

Gemäß einer Ausführungsform der Erfindung wird hierbei eine Ausrichtung eines Fingers des Nutzers und daraus eine Raumrichtung relativ zum Fahrzeug in Richtung des

Umgebungsobjekts ermittelt und das Umgebungsobjekt in der ermittelten Raumrichtung angewählt.

So kann vorzugsweise die Position und Orientierung des Fahrzeugs ermittelt, aus der ermittelten Position und Orientierung des Fahrzeugs und der ermittelten Raumrichtung eine Positionsangabe des Umgebungsobjekts ermittelt und mittels der Positionsangabe des Umgebungsobjekts das Umgebungsobjekt in digitalen Kartendaten erkannt werden.

Ebenso kann vorzugsweise das Umgebungsobjekt optisch erfasst und durch eine

Bildanalyse erkannt werden.

Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Interaktion mit einem

Umgebungsobjekt im Umfeld eines Fahrzeugs,

eine Gestenerfassungseinheit, welche eine Zeigegeste eines in dem Fahrzeug befindlichen Nutzers in Richtung eines Umgebungsobjekts erfasst;

eine Eingabeeinheit zum Erfassen der Spracheingabe des Nutzers;

eine Sprachverarbeitungseinheit, die mittels einer automatischen Spracherkennung und Interpretation der erfassten Spracheingabe einen das Umgebungsobjekt betreffenden Sprachbefehl ermittelt; und

eine Auswerte- und Steuereinheit, der von der Gestenerfassungseinheit Daten über die erfasste Zeigegeste und von der Sprachverarbeitungseinheit der ermittelte Sprachbefehl zugeführt werden, und die aus den zugeführten Daten über die erfasste Zeigegeste das Umgebungsobjekt ermittelt und den ermittelten Sprachbefehl ausführt, indem eine Information zu dem erkannten Umgebungsobjekt an den Nutzer ausgegeben und/oder eine mit dem erkannten Umgebungsobjekt in Zusammenhang stehende Fahrzeugfunktion ausgeführt wird; und

eine Ausgabeeinheit, mittels der an den Nutzer eine Bestätigung, dass das

Umgebungsobjekt erkannt worden ist, und/oder die Information zu dem erkannten Umgebungsobjekt ausgebbar ist.

Gemäß einer Ausführungsform der Erfindung umfasst hierbei

die Gestenerfassungseinheit einen Bild-, Radar- und/oder Ultraschallsensor;

und/oder

die Eingabeeinheit mindestens ein Mikrofon; und/oder

die Ausgabeeinheit ein Display und/oder einen oder mehrere Lautsprecher.

Gemäß einer weiteren Ausführungsform der Erfindung ist eine Telekommunikationseinheit und/oder eine Navigationseinheit vorgesehen, mit der eine mit dem erkannten Umgebungsobjekt in Zusammenhang stehende Fahrzeugfunktion ausgeführt wird.

Gemäß einer weiteren Ausführungsform der Erfindung ist eine Posenbestimmungseinheit zur Ermittlung der Position und Orientierung des Fahrzeugs und/oder ein Kamerasensor zur optischen Erfassung des Umgebungsobjekts sowie eine Bildanalyseeinheit zur Erkennung des Umgebungsobjekts vorgesehen.

Die Erfindung betrifft auch ein Kraftfahrzeug, in dem das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung eingesetzt wird.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur

Interaktion mit einem Umgebungsobjekt im Umfeld eines Fahrzeugs;

Fig. 2 zeigt schematisch einen Fahrzeugnutzer mit einem Blockschaltbild einer

erfindungsgemäßen Vorrichtung;

Fig. 3 zeigt eine grafische Benutzerschnittstelle eines Infotainmentsystems mit einem

Popupfenster zur Informationsabfrage über ein Umgebungsobjekt im Fahrzeugumfeld;

Fig. 4 zeigt die grafische Benutzerschnittstelle mit einem Popupfenster mit

Informationen zu einem angewählten Umgebungsobjekt; und

Fig. 5 zeigt drei mögliche Zusatzoptionen zu dem Popupfenster mit Informationen zu dem angewählten Umgebungsobjekt.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.

Figur 1 zeigt schematisch ein Ausführungsbeispiel für das erfindungsgemäße Verfahren zur Interaktion mit Umgebungsobjekten im Umfeld eines Fahrzeugs. Die Umgebungsobjekte können hierbei POI oder auch beliebige andere statische Objekte im Umfeld des Fahrzeugs sein, beispielsweise Verkehrsschilder, Straßenschilder oder Gebäude. Es ist aber auch eine Anwendung für bewegte Umgebungsobjekt denkbar. So kann durch ein Zeigen auf andere Verkehrsteilnehmer, wie insbesondere andere fahrende Kraftfahrzeuge, eine

Kontaktaufnahme initiiert werden.

Gemäß einem ersten Verfahrensschritt 1 wird hierbei ein Finger, insbesondere Zeigefinger, des Fahrzeugnutzers sensorisch erfasst und ausgewertet, ob dieser eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt.

Ist dieses der Fall, so wird in einem Verfahrensschritt 2 die Ausrichtung des Fingers und daraus eine Raumrichtung relativ zum Fahrzeug in Richtung des Umgebungsobjekts ermittelt. In Verbindung mit einer Bestimmung der aktuellen Fahrzeugposition und der aktuellen Orientierung des Fahrzeugs kann die Position des Umgebungsobjektes aus digitalen Kartendaten ermittelt werden. Insbesondere bei Umgebungsobjekten, die nicht in diesen digitalen Kartendaten verzeichnet sind, wie beispielsweise Verkehrszeichen, kann stattdessen das Umgebungsobjekt optisch erfasst und durch eine Bildanalyse erkannt werden. Ebenso können die Positionsbestimmung mit der optischen Erfassung und

Bildanalyse kombiniert werden, um die Erkennungsrate zu optimieren.

Ist auf diese Weise ein Umgebungsobjekt angewählt worden, so wird dieses dem Nutzer in einem Verfahrensschritt 3 optisch oder akustisch bestätigt. Damit wird dem Nutzer vermittelt, dass basierend auf seiner Zeigegeste die Anwahl des Umgebungsobjekts erfolgreich war und er mit einem Sprachbefehl Informationen zu diesem Umgebungsobjekt abfragen kann oder auch eine mit diesem Umgebungsobjekt in Zusammenhang stehende Fahrzeugfunktion

ausführen kann. Da nun bekannt ist, um welches Umgebungsobjekt es sich handelt, ist über den Bezug zu diesem Umgebungsobjekt eine einfache gesprochene Abfrage wie„Was ist das?“ ohne weiteres möglich. Hierbei kann optional zunächst eine Wiedergabe der möglichen Sprachbefehle, beispielsweise durch eine Anzeige, erfolgen, um dem Nutzer einen Überblick über die Bedienmöglichkeiten zu geben. Diese Bedienhilfe erleichtert dem Nutzer den Gebrauch, da dem Nutzer noch bevor er etwas gesagt hat, mitgeteilt wird, welche Bedienoptionen bei dem erkannten Umgebungsobjekt zur Verfügung stehen und welche Bedienoptionen bei dem erkannten Umgebungsobjekt dagegen nicht unterstützt werden.

In Verfahrensschritt 4 wird dann eine Spracheingabe des Nutzers mittels eines oder mehrerer in dem Fahrzeug integrierter Mikrofone erfasst. Das so erfasste Audiosignal wird dann einer Vorverarbeitung zugeführt, in der das analoge Audiosignal zunächst digitalisiert wird. Durch eine anschließende Filterung werden Umgebungsgeräusche wie beispielsweise Motorengeräusche möglichst gut unterdrückt. Nach einer Transformation des gefilterten Signals in den Frequenzbereich werden dann Merkmalsvektoren mit aus dem

transformierten Sprachsignal erzeugten Merkmalen generiert.

Anschließend findet in Verfahrensschritt 5 die tatsächliche Erkennung des Sprachbefehls mit Hilfe akustischer Modelle, Wörterbücher und Sprachmodelle statt. Hierfür kann auf vordefinierte Vokabulare und vordefinierte Sprachbefehle zurückgegriffen werden, die in dem Fahrzeug vorinstalliert sind. Ebenso ist aber auch eine natürlich-sprachliche Bedienung möglich, wobei dann ggfs das Sprachsignal des Nutzers mittels Datenfunkübertragung zu einer Erkennungssoftware auf einem hierfür vorgesehenen Server in der Cloud übertragen wird und der erkannte Sprachbefehl an das Fahrzeug zurückgesendet wird.

In Verfahrensschritt 6 wird dann der ermittelte Sprachbefehl ausgeführt. So können für das angewählte Umgehungsobjekt Informationen abgefragt und an den Nutzer ausgegeben werden. Die Informationen können hierbei bereits im Fahrzeug, beispielsweise im Rahmen des digitalen Kartenmaterials eines Navigationssystems vorliegen, oder aber auch über ein Kommunikationsnetzwerk, insbesondere das Internet, von externen Datenbanken abgefragt werden. Ebenso kann eine mit dem erkannten Umgebungsobjekt in Zusammenhang stehende Fahrzeugfunktion ausgeführt werden, so kann beispielsweise die Navigationsroute angepasst werden oder ein telefonischer Kontakt zu dem erkannten Umgebungsobjekt hergestellt werden.

Figur 2 zeigt schematisch einen Fahrzeugnutzer 8 mit einem Blockschaltbild einer

Ausführungsform einer erfindungsgemäßen Vorrichtung. Bei dem Fahrzeugnutzer kann es sich hierbei insbesondere um den Fahrer des Fahrzeugs, aber auch um den Beifahrer oder einen anderen Fahrzeugnutzer handeln.

Um mit einem Umgebungsobjekt 9 zu interagieren, zeigt der Fahrzeugnutzer in dem dargestellten Beispiel mit dem Zeigefinger seiner rechten Hand auf dieses

Umgebungsobjekt. Das Umgebungsobjekt befindet sich hierbei, anders als der

Fahrzeuginsasse und die für die Erfindung verwendeten und im folgenden beschriebenen Einheiten und Bauteile des Fahrzeugs, außerhalb des Fahrzeuges in der

Fahrzeugumgebung, symbolisiert durch eine gestrichelte Linie, die das Fahrzeug und die Fahrzeugumgebung voneinander trennt. Die Raumrichtung 10 in Richtung des

Umgebungsobjekts ist hierbei unterbrochen dargestellt, da sich das Umgebungsobjekt in einiger Entfernung von dem Fahrzeugnutzer befindet.

Der Zeigefinger des Fahrzeugnutzers wird mit einer im Innenraum des Fahrzeugs angeordneten 3D-Kamera 7 erfasst. Die 3D-Kamera ist hierbei so im Innenraum verbaut, dass der Finger des Nutzers während einer Zeigegeste gut erfasst werden kann, beispielsweise in Bereichen des Armaturenbretts, der Mittelkonsole, des Rückspiegels oder des Dachhimmels. Vorzugsweise wird die 3D-Kamera im nahen Infrarotbereich betrieben, da dann auch bei Dunkelheit durch eine nicht dargestellte Infrarotbeleuchtung der Betrieb gewährleistet ist, ohne dass hierdurch der Fahrzeuginsasse gestört oder geblendet wird.

Statt mit einer 3D-Kamera kann die Position der Fingerspitze aber auch mit anderen geeigneten Sensoren erfasst werden, die eine ausreichende Genauigkeit aufweisen, wie beispielsweise Radarsensoren.

Die Bildsignale der 3D-Kamera 7 werden in dem dargestellten Beispiel zur Analyse einer Auswerte- und Steuereinheit 12 zugeführt, dieses kann aber ebenso durch eine separate oder auch eine in der 3D-Kamera integrierte Analyseeinheit erfolgen. Die Auswerte- und Steuereinheit 12 kann hierbei einen Mikroprozessor, einen internen elektronischen Speicher und eine oder mehrere elektrische Schnittstellen aufweisen.

Die Auswerte- und Steuereinheit 12 bestimmt durch eine Bildverarbeitung der Bildsignale, ob der Fahrzeuginsasse eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt. Hierfür können aus den Bildsignalen Merkmale ermittelt werden, die dann mit entsprechenden, abgespeicherten Mustern von Händen bzw. Fingern, die eine Zeigegeste ausführen, verglichen werden. Wenn die Auswerte- und Steuereinheit 12 ermittelt, dass eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausgeführt wird, bestimmt sie aus dieser eine Raumrichtung relativ zum Fahrzeugnutzer bzw. Fahrzeug. Daraufhin ermittelt die Auswerte- und Steuereinheit 12 ob sich ein Umgebungsobjekt in der ermittelten

Raumrichtung befindet.

Hierfür ist eine Posenbestimmungseinheit 20 vorgesehen, welche die aktuelle

Fahrzeugposition aus GPS-Daten eines fahrzeuginternen GPS-Sensors und die aktuelle Orientierung des Fahrzeugs mittels eines elektronischen Kompass ermittelt und eine

Information hierüber der Auswerte- und Steuereinheit 12 zuführt. Die Auswerte- und

Steuereinheit 12 ermittelt dann mittels dieser Information in Verbindung mit der aus der Zeigegeste bestimmten Raumrichtung und beispielsweise in der Navigationseinheit 19 vorliegenden digitalen Kartendaten die Position des Umgebungsobjekts und hieraus die Identität des Umgebungsobjekts.

Stattdessen oder zusätzlich kann das Umfeld des Fahrzeugs durch einen Kamerasensor 11 erfasst werden und das erfasste Bild einer Bildanalyseeinheit 17 zugeführt werden. Das Ergebnis der Bildanalyse wird dann wiederum der Auswerte- und Steuereinheit 12 zugeführt. Auf diese kann durch geeignete Algorithmen zur Bildverarbeitung und Bilderkennung auch eine semantische Erkennung bzw. Auswertung des Umgebungsobjekts und ggfs auf dem Umgebungsobjekt befindlicher Bild- und/oder Textinformationen erfolgen. Zur weiteren Verbesserung der Erkennung, beispielsweise bei ungünstigen Lichtverhältnissen, können außerdem Radar- oder Ultraschallsensoren verwendet werden.

Wenn sich ein Umgebungsobjekt in der ermittelten Raumrichtung befindet, so kann dieses unmittelbar angewählt werden. Es kann aber auch vorgesehen werden, dass diese Anwahl nur erfolgt, wenn der Fahrzeugnutzer mindestens für einen vordefinierten Zeitraum auf dieses Umgebungsobjekt zeigt oder die Anwahl durch eine mittels des Fingers angedeuteten Klick- oder Doppelklick-Bewegung vornimmt.

Weiterhin ist ein Mikrofon 13 zur Erfassung einer Spracheingabe des Nutzers vorgesehen. Das von dem Mikrofon 13 erfasste Audiosignal wird einer Sprachverarbeitungseinheit 16 zugeführt, die aus der Spracheingabe einen Sprachbefehl ermittelt und an die Auswerte- und Steuereinheit 12 zur Ausführung ausgibt.

Für ein angewähltes Umgebungsobjekt können dann von einer Datenbank, die im Fahrzeug als Teil des Navigationssystems vorliegen kann oder aber auch bei einem

Serviceunternehmen online abgefragt werden kann, Informationen abgefragt werden. Die Informationen können dann durch die Auswerte- und Steuereinheit 12 über eine Ausgabeeinheit oder mehrere Ausgabeeinheiten an den Fahrzeugnutzer ausgegeben werden. So können die abgefragten Informationen über eine optische Anzeige auf einem Display 15 ausgegeben werden. Dieses kann beispielsweise auf dem Display eines im Fahrzeug integrierten Infotainmentsystems oder auch durch eine Einblendung mittels eines HUD-Displays erfolgen. Stattdessen oder zusätzlich kann eine akustische Ausgabe über Lautsprecher 14 im Fahrzeug erfolgen. Anstatt einer solchen Informationswiedergabe kann die Auswerte- und Steuereinheit 12 aber auch eine Navigationseinheit 19 zur Anpassung der Navigationsroute oder eine Telekommunikationseinheit 18 zur Herstellung eines

telefonischen Kontakts zu dem erkannten Umgebungsobjekt ansteuern.

In den Figuren 3 bis 5 werden Beispiele für Popupfenster einer grafischen

Benutzerschnittstelle 21 eines Infotainmentsystems zur Interaktion mit dem Fahrzeugumfeld dargestellt, die zu verschiedenen Zeitpunkten nach der gestengesteuerten Erkennung eines POI an den Fahrzeugnutzer ausgegeben werden können.

Hat der Fahrzeugnutzer einen POI in Form eines aktuell von dem Fahrzeug passierten Gebäudes per Geste ausgewählt um hierüber Informationen zu erhalten, so kann er diese anfordern indem er beispielsweise„was ist das?“ sagt. Zur Bestätigung, dass dieser

Sprachbefehl zur Informationswiedergabe erfasst und korrekt erkannt wurde, kann der Sprachbefehl in dem in Figur 3 gezeigten Popupfenster 22 wiedergegeben werden.

Vorzugsweise ist hierbei eine natürlich-sprachliche Bedienung vorgesehen, so dass der Nutzer nicht auf bestimmte Wörter oder Anfragen beschränkt ist, sondern beliebige

Sprachbefehle äußern kann. So kann der Nutzer die gewünschte Information über das Gebäude ebenso beispielsweise durch„was ist das für ein Gebäude?“,„erzähl mir etwas darüber“,„Info“,„Infos“,„Informationen“,„Details“ erfragen. Ist eine natürlich-sprachliche Bedienung nicht möglich, so kann optional, und hier nicht dargestellt, auch zunächst eine Anzeige erfolgen, in der die für den erkannten POI möglichen Sprachbefehle aufgeführt werden. Zusätzlich kann eine Lichtleiste 23 eingeblendet werden, die den Fortschritt der Spracherkennung oder die verschiedenen Aktivitäten der Sprachbedienung wie„Zuhören“ oder„Verarbeiten“ an den Nutzer zurückmeldet.

Nach der Verarbeitung des Sprachbefehls, in diesem Fall der Anfrage von Informationen über das Gebäude, werden diese in einem in Figur 4 gezeigten Popupfenster 24 mit Informationen über Name und Hintergrund des angewählten historischen Gebäudes angezeigt. Ebenso kann beispielsweise auch ein sich in einem Gebäude befindliches

Restaurant angewählt werden um Informationen über die Art der angebotenen Speisen, Öffnungszeiten oder auch Bewertungen anzuzeigen.

Falls erwünscht, kann der Nutzer dann per Geste Zusatzoptionen 25 zu diesem

Popupfenster öffnen und die erhaltenen Informationen dadurch weiternutzen. Es sind hier eine Vielzahl von Zusatzoptionen möglich, von denen drei in Figur 5 dargestellt sind. So kann gemäß Figur 5A ein Parkplatz in der Nähe des POI gesucht werden und dann in die Zielführung übernommen werden. Ebenso kann, wie in Figur 5B dargestellt, per

Sprachbefehl das Vorlesen der ermittelten Informationen angefordert werden, um so insbesondere dem Fahrer des Fahrzeugs zu ermöglichen, auch detaillierte Informationen zur Kenntnis zu nehmen ohne dabei seinen Blick von dem Straßenverkehr nehmen zu müssen. Schließlich kann, wie in Figur 5C dargestellt, das Navigationssystem aufgefordert werden, eine Zielführung zu dem POI zu starten, um den POI anzusteuern.

Einige weitere, nicht dargestellte Zusatzoptionen sind beispielsweise die Möglichkeit, automatisch eine mit einem POI oder auch einem Fremdfahrzeug verknüpfte Telefonnummer anzurufen, eine mit dem POI verknüpfte Webseite zu öffnen oder einen POI als Favorit zu speichern. Ebenso kann durch Zeigen auf Verkehrsschilder deren genaue Bedeutung gemäß der Straßenverkehrsordnung oder durch Zeigen auf ein Ortsschild eine Information zu der darauf genannten Stadt abgefragt werden, oder durch Zeigen auf eine in Sicht befindliche Straße die Navigationsroute angepasst werden.

Hierbei ist es nicht erforderlich, dass zunächst eine allgemeine Informationsanfrage und dann erst eine der erwähnten Zusatzoptionen angefragt wird. Vielmehr ist auch denkbar, dass der Nutzer bereits im ersten Schritt anstelle einer Informationsanfrage die oben bei den Zusatzoptionen genannten Funktionen anfragt, also z.B. auf einen POI zeigt und sagt„bitte rufe dort an“ oder„bitte suche mir einen Parkplatz in der Nähe“.

Die abgefragten Informationen können nach der Ausgabe an den Fahrzeugnutzer gelöscht werden, aber ebenso abgespeichert werden um so dem Fahrzeugnutzer auch später noch zur Verfügung zu stehen.

Die Erfindung kann in beliebigen Bereichen der Fahrzeugtechnik eingesetzt werden.

Bezugszeichenliste

Erfassung Zeigegeste

Ermittlung Umgebungsobjekt

Ausgabe Bestätigung

Erfassung Spracheingabe

Ermittlung Sprachbefehl

Ausführung Sprachbefehl

Gestenerfassungseinheit

Fahrzeuginsasse

Umgebungsobjekt

Raumrichtung in Richtung des Umgebungsobjekts

Kamera zur Erfassung des Umgebungsobjekts

Auswerte- und Steuereinheit

Mikrophon

Lautsprecher

Display

Sprachverarbeitungseinheit

Bildanalyseeinheit

Telekommunikationseinheit

Navigationseinheit

Posenbestimmungseinheit

grafische Benutzerschnittstelle eines Infotainmentsystems

Popupfenster zur Informationsabfrage

Lichtleiste

Popupfenster mit Informationen zu Umgebungsobjekt Popupfenster mit Zusatzoptionen