このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018180756) 運転支援システム
Document

明 細 書

発明の名称 運転支援システム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088  

符号の説明

0089  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9  

明 細 書

発明の名称 : 運転支援システム

技術分野

[0001]
 本発明は、車両の運転支援を行う運転支援システムに関する。

背景技術

[0002]
 近年、車両に対する運転支援の一つとして、例えば特開2009-64088号公報には、自車両に搭載されたカメラやセンサ等によって自車両の周辺に位置する他車両の位置や移動速度等を検出し、その検出結果に基づいて他車両の今後の進路を予測し、他車両が所定値を超える確率で進路をとる可能性がある領域を表示する運転支援システムが開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2009-64088号公報(第7-10頁、図5)

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、上記特許文献1では、実景上に他車両が今後に移動すると予測される領域(以下、移動予測領域という)を表示しているが、他車両の今後の移動の確率に基づいて候補となる複数の移動予測領域を予測し、予測された複数の移動予測領域を表示している。また、自車両への影響を考慮せずに移動予測領域を表示しているため、自車両の走行に影響のない他車両の移動予測領域も表示され、他車両が自車両に影響するかどうかについては運転者が表示された画像から判断しなければならなかった。
[0005]
 本発明は前記従来における問題点を解消するためになされたものであり、実景の重畳表示を用いたより適切な運転支援を行うことを可能にした運転支援システムを提供することを目的とする。

課題を解決するための手段

[0006]
 前記目的を達成するため本発明に係る運転支援システムは、自車両と他車両においてそれぞれ取得された車両情報に基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する行動予測手段と、前記行動予測手段により予測された前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する影響判定手段と、前記影響判定手段によって前記自車両の今後の行動に影響すると判定された前記他車両の今後の行動を実景に重畳して表示する行動表示手段と、を有する。
 尚、「自車両」及び「他車両」は特定の車両を指すものではなく、各車両は運転支援システムに含まれる車両のいずれかが該当する。また、「他車両」は複数の車両が該当する場合もある。

発明の効果

[0007]
 前記構成を有する本発明に係る運転支援システムによれば、個々の車両が予測した自身の行動予測に基づいて自車両の今後の行動に影響する他車両の今後の行動を特定し、自車両の今後の行動に影響する他車両の今後の行動を実景に重畳して表示するので、自車両の走行に影響のない他車両の予測が表示される煩わしさがなくなり、より適切な運転支援を行うことを可能にした運転支援システムを提供することが可能となる。

図面の簡単な説明

[0008]
[図1] 本実施形態に係る運転支援システムを示した概略構成図である。
[図2] 本実施形態に係る運転支援システムの構成を示したブロック図である。
[図3] 行動予測情報DBに記憶される行動予測情報の一例を示した図である。
[図4] 本実施形態に係るナビゲーション装置の制御系を模式的に示すブロック図である。
[図5] 本実施形態に係る運転支援処理プログラムのフローチャートである。
[図6] 他車両の今後の行動の案内例を示した図である。
[図7] 影響度判定処理のサブ処理プログラムのフローチャートである。
[図8] 影響度判定テーブルを示した図である。
[図9] 自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複する場合について説明した図である。

発明を実施するための形態

[0009]
 以下、本発明に係る運転支援システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る運転支援システム1の概略構成について図1及び図2を用いて説明する。図1は本実施形態に係る運転支援システム1を示した概略構成図である。図2は本実施形態に係る運転支援システム1の構成を示したブロック図である。
[0010]
 図1に示すように、本実施形態に係る運転支援システム1は、情報配信センタ2が備えるサーバ装置3と、車両4に搭載された通信端末であるナビゲーション装置5と、を基本的に有する。また、サーバ装置3とナビゲーション装置5は通信ネットワーク網6を介して互いに電子データを送受信可能に構成されている。尚、ナビゲーション装置5の代わりに、その他の車載器や、車両に接続された携帯電話機、スマートフォン、タブレット型端末、パーソナルコンピュータ等を用いても良い。
[0011]
 ここで、情報配信センタ2が備えるサーバ装置3は、国単位或いは国を区分する区画単位(例えば市区町村単位)で設置され、対象となるエリアを走行する各車両から、各車両で予測された自車の今後の行動を特定する情報(以下、行動予測情報という)を収集し、取集された行動予測情報を用いて他車両の今後の行動が自車両の今後の行動に影響する車両を特定し、当該車両に対して行動が影響すると判定された他車両の行動予測情報を配信する情報配信サーバである。
[0012]
 但し、上記処理については必ずしも全てをサーバ装置3で行う必要は無く、その一部をナビゲーション装置5で行っても良い。例えば、ナビゲーション装置5が他車両の行動予測情報を車車間の通信で直接或いはサーバ装置3を介して取得し、自車両の行動予測情報と比較することによって、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定しても良い。
[0013]
 一方、ナビゲーション装置5は、車両4に搭載され、格納する地図データに基づいて自車位置周辺の地図を表示したり、地図画像上において車両の現在位置を表示したり、設定された案内経路に沿った移動案内を行う車載機である。特に本実施形態では自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示することについても行う。尚、ナビゲーション装置5の詳細については後述する。
[0014]
 また、通信ネットワーク網6は全国各地に配置された多数の基地局と、各基地局を管理及び制御する通信会社とを含み、基地局及び通信会社を有線(光ファイバー、ISDN等)又は無線で互いに接続することにより構成されている。ここで、基地局はナビゲーション装置5との通信をするトランシーバー(送受信機)とアンテナを有する。そして、基地局は通信会社の間で無線通信を行う一方、通信ネットワーク網6の末端となり、基地局の電波が届く範囲(セル)にあるナビゲーション装置5の通信をサーバ装置3との間で中継する役割を持つ。
[0015]
 続いて、運転支援システム1におけるサーバ装置3の構成について図2を用いてより詳細に説明する。サーバ装置3は、図2に示すようにサーバ制御ECU11と、サーバ制御ECU11に接続された情報記録手段としての行動予測情報DB12と、サーバ側地図DB13と、サーバ側通信装置14とを備える。
[0016]
 サーバ制御ECU11(エレクトロニック・コントロール・ユニット)は、サーバ装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU21、並びにCPU21が各種の演算処理を行うにあたってワーキングメモリとして使用されるRAM22、制御用のプログラムのほか、後述の運転支援処理プログラム(図5)等が記録されたROM23、ROM23から読み出したプログラムを記憶するフラッシュメモリ24等の内部記憶装置を備えている。尚、サーバ制御ECU11は、後述のナビゲーション装置5のECUとともに処理アルゴリズムとしての各種手段を有する。例えば、行動予測手段は、自車両と他車両においてそれぞれ取得された車両情報に基づいて、自車両と他車両のそれぞれの車両の今後の行動を予測する。影響判定手段は、行動予測手段により予測された自車両と他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定する。行動表示手段は、影響判定手段によって自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示する。
[0017]
 また、行動予測情報DB12は、対象エリアを走行する各車両4から収集した行動予測情報を累積的に記憶する記憶手段である。尚、行動予測情報は、各車両が自ら取得した自車の車両情報に基づいて予測した、自車の今後の行動を特定する情報である。本実施形態では特に所定時間後(例えば3秒後)の自車の今後の行動を特定する情報とし、所定時間後の車両の位置、車速、所定時間後に車両で行われると予測される具体的な行動内容(例えば右左折、直進、レーン移動)を含む。また、後述のように各車両が今後の行動の予測を行う際において本実施形態では、特に多層構造の畳み込みニューラルネットワークを用いた機械学習(Deep Learning)を用いる。
[0018]
 例えば図3は、行動予測情報DB12に記憶される行動予測情報の一例である。図3に示すように行動予測情報DB12は、車両を識別する車両IDと紐付けて車両の所定時間後の位置、車速、行われると予測される行動内容が記憶されている。例えば、車両ID『abc123』の車両は、所定時間後の位置が(x1、y1)であり、所定時間後の車速は45km/hで、所定時間後に右側の車線に移動することが予測されている。
[0019]
 そして、サーバ装置3は、行動予測情報DB12に記憶される行動予測情報を車両間で比較することによって、他車両の今後の行動が自車両の今後の行動に影響する車両を特定する。そして、特定された車両に対して行動が影響すると判定された他車両の行動予測情報を配信する。
[0020]
 一方、サーバ側地図DB13は、外部からの入力データや入力操作に基づいて登録された最新のバージョンの地図情報であるサーバ側地図情報25が記憶される記憶手段である。ここで、サーバ側地図情報25は、ナビゲーション装置5に格納されている地図情報と基本的に同一の構成を有しており、道路網を始めとして経路探索、経路案内及び地図表示に必要な各種情報から構成されている。例えば、道路(リンク)に関するリンクデータ、ノード点に関するノードデータ、各交差点に関する交差点データ、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等からなる。
[0021]
 一方、サーバ側通信装置14は行動予測情報の収集対象となる各車両4やナビゲーション装置5と通信ネットワーク網6を介して通信を行う為の通信装置である。また、ナビゲーション装置5以外にインターネット網や、交通情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報の受信についても可能である。
[0022]
 次に、ナビゲーション装置5の概略構成について図4を用いて説明する。図4は本実施形態に係るナビゲーション装置5の制御系を模式的に示すブロック図である。
[0023]
 図4に示すように本実施形態に係るナビゲーション装置5は、ナビゲーション装置5が搭載された車両4の現在位置を検出する現在位置検出部31と、各種のデータが記録されたデータ記録部32と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU33と、ユーザからの操作を受け付ける操作部34と、ユーザに対して地図や目的地までの案内経路を表示する液晶ディスプレイ35と、経路案内に関する音声ガイダンスを出力するスピーカ36と、記憶媒体であるDVDを読み取るDVDドライブ37と、サーバ装置3やVICSセンタ等との間で通信を行う通信モジュール38と、を有する。また、ナビゲーション装置5はCAN等の車載ネットワークを介して、車両ECU39、HUD40及びフロントカメラ41等が接続されている。
[0024]
 以下に、ナビゲーション装置5を構成する各構成要素について順に説明する。
 現在位置検出部31は、GPS42、車速センサ43、ステアリングセンサ44、ジャイロセンサ45等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ43は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU33に出力する。そして、ナビゲーションECU33は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置5が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置5が備える構成としても良い。
[0025]
 また、データ記録部32は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された端末側地図DB46、配信情報DB47及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部32をハードディスクの代わりに不揮発性メモリ、メモリーカード、CDやDVD等の光ディスクにより構成しても良い。
[0026]
 ここで、端末側地図DB46は、ナビゲーション装置5における経路探索や走行案内に用いられる地図情報が記憶される記憶手段である。尚、地図情報を外部のサーバから取得する場合については端末側地図DB46は必ずしも必要でない。
[0027]
 また、配信情報DB47は、サーバ装置3から配信された配信情報(道路に関する支援情報)が記憶される記憶手段である。特に本実施形態では、他車両の今後の行動が自車両の今後の行動に影響すると判定された場合に、自車両の今後の行動に影響すると判定された他車両の行動予測情報がサーバ装置3から配信され、配信情報DB47に格納される。
[0028]
 一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)33は、ナビゲーション装置5の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU51、並びにCPU51が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM52、制御用のプログラムの他、後述の運転支援処理プログラム(図5)等が記録されたROM53、ROM53から読み出したプログラムを記憶するフラッシュメモリ54等の内部記憶装置を備えている。
[0029]
 操作部34は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU33は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部34は液晶ディスプレイ35の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。
[0030]
 また、液晶ディスプレイ35には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
[0031]
 また、スピーカ36は、ナビゲーションECU33からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
[0032]
 また、DVDドライブ37は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、端末側地図DB46の更新等が行われる。尚、DVDドライブ37に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
[0033]
 また、通信モジュール38は、例えば、サーバ装置3やVICSセンタや地図配信センタ等から送信された地図更新情報、支援情報、交通情報等の各情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
[0034]
 また、車両ECU39は、エンジン、ブレーキ等の車両に関する各種制御行う制御ユニットである。本実施形態ではナビゲーション装置5は、車両ECU39から今後の自車両の行動を予測する為の材料となる車両情報を取得する。
[0035]
 一方、HUD40は、車両4のダッシュボード内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイやスクリーンを有する。そして、液晶ディスプレイやスクリーンに表示された映像を、HUD40が備える凹面鏡等を介し、更に運転席の前方のフロントウィンドウに反射させて車両4の乗員に視認させるように構成されている。尚、フロントウィンドウを反射して乗員が液晶ディスプレイやスクリーンに表示された映像を視認した場合に、乗員にはフロントウィンドウの位置ではなく、フロントウィンドウの先の遠方の位置に液晶ディスプレイやスクリーンに表示された映像が虚像として視認されるように構成される。その結果、実景に虚像を重畳して乗員に視認させることが可能となる。
[0036]
 尚、液晶ディスプレイやスクリーンに表示される映像としては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。特に本実施形態では、自車両の今後の行動に影響すると判定された他車両の今後の行動が表示される。
[0037]
 また、フロントカメラ41は、車両のフロントバンパの上方やルームミラーの裏側等に設置され、例えばCCD等の固体撮像素子を用いた撮像装置である。また、光軸方向は車両の進行方向前方に向けて設置される。そして、フロントカメラ41により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ越しに乗員に視認される前方環境(即ち虚像が重畳される環境)の状況等が検出される。尚、フロントカメラ41の代わりにミリ波レーダ等のセンサを用いても良い。
[0038]
 続いて、上記構成を有する本実施形態に係る運転支援システム1において、サーバ装置3及びナビゲーション装置5が実行する運転支援処理プログラムについて図5に基づき説明する。図5は本実施形態に係る運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両のACC(accessory power supply)がONされた後に所定間隔(例えば1秒間隔)で実行され、各車両での今後の行動を予測するとともに、予測された車両の今後の行動に基づく各種案内を行うプログラムである。また、以下の図5及び図7にフローチャートで示されるプログラムは、サーバ装置3が備えるRAM22やROM23或いはナビゲーション装置5が備えるRAM52やROM53等に記憶されており、CPU21又はCPU51により実行される。尚、S1~S4の処理を実施するナビゲーション装置5と、S21及びS22の処理を実施するナビゲーション装置5は同一のナビゲーション装置であっても良いし、異なるナビゲーション装置5であっても良い。
[0039]
 先ず、図5に基づいてナビゲーション装置5が実行する運転支援処理プログラムについて説明する。先ず、機械学習処理プログラムでは、ステップ(以下、Sと略記する)1において、CPU51は車両ECU39から自車両の車両情報を取得する。具体的には、“現在の車速”、“舵角(ステアリング角)”、“現在位置”を取得する。尚、上記3つの車両情報は必ずしも全て取得する必要は無く、1或いは2つの車両情報のみを取得するようにしても良い。また、上記3つの車両情報以外の車両情報(例えば加速度、案内経路)等について取得しても良い。
[0040]
 次に、S2においてCPU51は、車両内に設置されたカメラで運転者を撮像した撮像画像を取得し、取得した撮像画像から運転者の現在の動作を取得する。特に本実施形態では車両の今後の行動を行う前の予備動作について取得対象とする。例えば、車両がレーン移動を行う際には、一般的に運転者は事前に右後方や左後方を視認したり、サイドミラーの視認を行う。従って、右後方や左後方を視認したり、サイドミラーの視認を行う動作が予備動作に該当する。他には、ブレーキ操作、アクセル操作、シフトレバーの操作、ウィンカーの操作、ルームミラーの視認、右側方や左側方の視認等が予備動作として挙げられる。尚、ブレーキ操作やアクセル操作などが行われたことは車両ECU39から取得することも可能である。
[0041]
 続いて、S3においてCPU51は、前記S1で取得した自車両の車両情報及びS2で取得した運転者の予備動作に基づいて、今後の自車両の行動を予測する。具体的には、所定時間後(例えば3秒後)の自車の今後の行動を予測する。特に本実施形態では、多層構造の畳み込みニューラルネットワークを用いた機械学習(Deep Learning)を用いて車両の今後の行動を予測するのが望ましい。上記機械学習を用いることによって、学習段階が進むに従って車両のより正確な行動予測を行うことが可能となる。
[0042]
 また、前記S2の自車両の行動予測では、具体的に所定時間後の車両の位置、車速、所定時間後に車両で行われると予測される具体的な行動内容について予測する。また、行動内容としては右左折、直進及びレーン移動の少なくとも1つの行動を予測する。そして、予測された結果を示す情報を行動予測情報(図3参照)として生成し、フラッシュメモリ54等に一旦格納する。
[0043]
 S4においてCPU51は、前記S3で生成された行動予測情報をサーバ装置3に対して送信する。尚、行動予測情報には送信元の車両を識別する車両IDが含まれる。また、車両の現在位置や現在の速度に関する情報についても行動予測情報とともに送信する。尚、前記S1~S4の処理は全国を走行する各車両のナビゲーション装置5において所定時間間隔で繰り返し実施され、生成された行動予測情報が順次サーバ装置3へと送信されることとなる。
[0044]
 次に、図5に基づいてサーバ装置3が実行する運転支援処理プログラムについて説明する。先ず、S11においてCPU21は、対象エリアを走行する各車両から送信された行動予測情報を受信する。そして、図3に示すように車両IDに紐付けて受信した行動予測情報を行動予測情報DB12に順次格納する。尚、対象エリアは全国としても良いし、特定の地図区画(例えば市区町村)としても良い。
[0045]
 次に、S12においてCPU21は、後述の影響度判定処理(図7)を行う。尚、影響度判定処理は、前記S11で各車両から取得した行動予測情報に基づいて、対象エリア内の各車両に対して他車両の今後の行動が自車両の今後の行動に影響するか否かを判定する処理である。具体的には、対象エリア内の各車両に対して他車両の今後の行動が自車両の今後の行動に影響する影響度合い(以下、影響度という)を算出する。例えば、自車両において他車両を回避する為の運転操作(減速操作、旋回操作等)を強いられる場合、自車両と他車両が所定距離以内に接近したり、所定速度以上で接近することが予想される場合、自車両と他車両の進路が重複する場合等に、対象の車両(2台とは限らずに3台以上の場合もある)に対して、高い影響度を算出する。
[0046]
 その後、S13においてCPU21は、前記S12で判定された影響度が閾値以上(例えば50以上)の各車両、即ち他車両の今後の行動が自車両の今後の行動に影響すると判定された車両に対して、当該行動が影響すると判定された他車両(1台とは限らずに2台以上の場合もある)の行動予測情報を配信する。
[0047]
 次に、図5に基づいて再びナビゲーション装置5が実行する運転支援処理プログラムについて説明する。尚、S21及びS22の処理は、前記S13において行動予測情報が配信されたナビゲーション装置5でのみ行われる。
[0048]
 先ず、S21においてCPU51は、サーバ装置3から送信された行動予測情報を受信する。
[0049]
 次に、S22においてCPU51は、前記S21で受信した行動予測情報に基づいて、自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示する。具体的には、他車両の所定時間後(例えば3秒後)の予測位置、進行方向の少なくとも1を表示する。
[0050]
 例えば、図6は前記S22において他車両の今後の行動を案内する際の案対態様の一例を示した図である。例えば、図6に示す例では片側複数車線からなる道路において車両の前方で車両の右側の車線を自車両と同方向に走行する他車両61が、所定時間後に左側(即ち自車両が走行する車線)にレーン移動すると予測された場合を示した図である。この場合においては、自車両の進路が他車両の進路と重複することになるので他車両61の今後の行動が自車両の今後の行動に影響すると判定され、他車両61の今後の行動を案内することとなる。具体的には、図6に示すように他車両61の所定時間後の位置を示す位置マークの虚像62と進行方向を示す矢印の虚像63をそれぞれ生成する。そして、位置マークの虚像62は、他車両61が所定時間後に実施に位置すると予想される路面に対して重畳して表示する。また、進行方向を示す矢印の虚像63は、他車両61の現在位置付近の路面に対して重畳して表示する。その結果、乗員は他車両の今後の行動を実景と対応させてより正確に把握することが可能となる。
[0051]
 次に、前記S12において実行される影響度判定処理のサブ処理について図7に基づき説明する。図7は影響度判定処理のサブ処理プログラムのフローチャートである。
[0052]
 先ず、S31において、CPU21は前記S11で受信した各車両の行動予測情報に基づいて、行動予測情報を受信した各車両の今後の予測される位置を地図上にマッピングする。尚、行動予測情報は上述したように所定時間後(例えば3秒後)の自車の今後の行動を予測した情報であるが、現在の車両の位置や車速に関する情報と組み合わせることによって、所定時間後のみではなく現在時刻から所定時間後までの間の位置情報(即ち予想される走行軌跡や位置座標列)についてもマッピングするのが望ましい。
[0053]
 以降のS32~S35の処理については前記S31において行動予測情報を受信した車両毎に行う。そして、行動予測情報を受信した全ての車両に対してS32~S35の処理を行った後にS13へと移行する。
[0054]
 S32においてCPU21は、処理対象の車両とその他の車両のマッピングされた位置情報や行動予測情報を比較することによって、処理対象の車両が他車両を回避する為の運転操作を行う必要があるか否かを判定する。例えば、処理対象の車両と他車両の予測される位置が同タイミングで重複する場合、或いは前後方向の所定距離以内(例えば3m以内)に接近する場合に、処理対象の車両が他車両を回避する為の運転操作を行う必要があると判定する。尚、他車両を回避する為の運転操作としては、所定の減速度より大きな減速度で減速する減速操作と、所定量以上のハンドル操作(より具体的には車線を変更する為の操作)を含む。
[0055]
 続いて、S33においてCPU21は、処理対象の車両とその他の車両のマッピングされた位置情報や行動予測情報を比較することによって、処理対象の車両が所定時間以内において他車両と最も接近する距離(最短距離)を取得する。
[0056]
 更に、S34においてCPU21は、処理対象の車両とその他の車両のマッピングされた位置情報や行動予測情報を比較することによって、処理対象の車両と該車両から最も近い位置を走行する他車両との接近(相対)速度を取得する。
[0057]
 その後、S35においてCPU21は、前記S31~S34で取得した各情報に基づいて、処理対象の車両の影響度を算出する。具体的には、フラッシュメモリ24等に格納された影響度判定テーブルを用いて影響度を算出する。ここで、図8は影響度判定テーブルの一例を示した図である。
[0058]
 図8に示すように影響度判定テーブルは、前記S32で判定された回避する為の運転操作の必要有無、前記S33で算出された他車両との最短距離、前記S34で算出された他車両との接近速度に対応付けてそれぞれ影響度が設定されている。更に、自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複するか否かに対しても影響度が設定されている。尚、“自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複する”場合とは、自車両と他車両の現在時刻から所定時間後までの走行軌跡が少なくとも一部重なったり交わる(重なったり交わる際の車両の位置関係は問わない)場合や、現在時刻から所定時間後までの間に自車両と他車両の走行車線が同一車線となる場合等がある。但し、現時点において既に自車両と他車両が同一車線を走行している場合や、自車両と他車両の間の距離が十分離れている場合については対象から除外しても良い。
[0059]
 例えば図9に示すように片側2車線の道路を自車両71と他車両72が走行する場合において、自車両71が現在走行する車線73を維持して走行すると予測され、他車両72が現在走行する車線74から左側の車線73へとレーン変更すると予測された場合には、自車両71の進路と他車両72の進路が重複すると判定される。尚、図9に図示していないが、例えば片側2車線の道路を自車両71と他車両72が走行する場合において、自車両71が現在走行する車線73から右側の車線74へとレーン変更して走行すると予測され、他車両72が現在走行する車線74を維持して走行すると予測された場合においても、自車両71の進路と他車両72の進路が重複すると判定する。更に、例えば片側2車線の道路を自車両71と他車両72が走行する場合において、自車両71が現在走行する車線73から右側の車線74へとレーン変更して走行すると予測され、他車両72が現在走行する車線74から左側の車線73へとレーン変更すると予測された場合においても、自車両71の進路と他車両72の進路が重複すると判定する。
[0060]
 また、影響度判定テーブルでは、他車両の今後の行動が自車両の今後の行動に影響する度合いが高い状況程、より高い影響度が対応付けられている。例えば、自車両が他車両を回避する為に所定の減速度より大きな減速度で減速する操作或いは所定量以上のハンドル操作を強いられる場合には、そのような操作を強いられない場合よりも明らかに他車両の行動が影響する度合いが高いので、影響度も高い値が対応付けられている。また、自車両と他車両との間の距離が狭いほど、他車両の行動が影響する度合いが高いので、影響度もより高い値が対応付けられている。また、自車両と他車両との接近速度が速いほど、他車両の行動が影響する度合いが高いので、影響度もより高い値が対応付けられている。更に、自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複する場合には、進路が重複しない場合よりも他車両の行動が影響する度合いが高いので、影響度も高い値が対応付けられている。
[0061]
 そして、前記S35では処理対象の車両について影響度判定テーブルに含まれる4つの要因ごとに影響度を特定し、その内で最も高い影響度を当該車両の影響度として算出する。例えば、他車両を回避する為の運転操作を強いられず、他車両との最短距離は25mであり、他車両との接近速度は5km/hで、進路の重複は無い場合には、影響度が『30』となる。尚、要因毎の影響度を合算した値や平均値を最終的な影響度として算出しても良い。その後、S13へと移行し、算出された影響度が閾値以上(例えば50以上)の車両に対して、行動が影響すると判定された他車両(即ち、自車両が回避する必要のある車両、接近する車両、進路が重複する車両等)の行動予測情報を配信する。
[0062]
 以上詳細に説明した通り、本実施形態に係る運転支援システム1では、自車両と他車両においてそれぞれ取得された車両情報に基づいて、自車両と他車両のそれぞれの車両の今後の行動を予測し(S3)、予測された自車両と他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定し(S13)、自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示する(S22)ので、自車両の走行に影響のない他車両の予測が表示される煩わしさがなくなり、より適切な運転支援を行うことを可能にした運転支援システムを提供することが可能となる。
[0063]
 尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
 例えば、本実施形態では、車両の今後の行動を予測する(S3)処理において、所定時間後(例えば3秒後)の自車の今後の行動を予測しているが、現時刻から所定時間後までの期間における自車の今後の行動を予測しても良い。或いは、1秒後、2秒後、3秒後、・・・のように複数時点の行動を予測しても良い。
[0064]
 また、本実施形態では、車両の今後の行動を予測する(S3)処理において、自車両の車両情報及び運転者の予備動作に基づいて、今後の自車両の行動を予測しているが、自車両の車両情報のみ或いは運転者の予備動作のみに基づいて予測することも可能である。
[0065]
 また、本実施形態では、図8に示すように(1)他車両を回避する為の運転操作の必要有無、(2)他車両との最短距離、(3)他車両との接近速度、(4)自車両と他車両の進路の重複有無の全てを考慮して、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定しているが、必ずしも上記(1)~(4)の全てを考慮する必要は無く一部のみを考慮して判定しても良い。例えば、(1)のみを考慮し、他車両を回避する為の運転操作を強いられる場合に、他車両の今後の行動が自車両の今後の行動に影響すると判定することも可能である。或いは、(4)のみを考慮し、自車両と他車両の進路の重複する場合に、他車両の今後の行動が自車両の今後の行動に影響すると判定することも可能である。
[0066]
 また、本実施形態では、HUDによって他車両の今後の行動を実景に重畳して表示しているが、実景に重畳させる案内方法としては、他にウィンドシールドディスプレイを用いることも可能である。
[0067]
 また、本実施形態では、車両の今後の行動を予測する(S3)処理において、機械学習として特に多層構造の畳み込みニューラルネットワークを用いた機械学習(Deep Learning)を用いているが、その他の機械学習を用いることも可能である。また、機械学習を用いずに予測することも可能である。
[0068]
 また、本実施形態では運転支援プログラム(図5)の内、S1~S3、S21、S22の処理をナビゲーション装置5が実施し、S11~S13の処理をサーバ装置3が実施しているが、S3の処理についてもサーバ装置3が実施しても良い。その場合には、本発明の“行動予測手段”をサーバ装置3が実施することとなり、対象エリア内にある各車両の車両情報を収集したサーバ装置3が、収集した各車両の車両情報に基づいて各車両の今後の行動を予測することとなる。
[0069]
 また、S12及びS13の処理をナビゲーション装置5が実施しても良い。その場合には、本発明の“影響判定手段”をナビゲーション装置5が実施することとなり、自車両で予測された今後の行動と他車両から取得した他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定する。尚、他車両の今後の行動に関する行動予測情報については車車間通信で直接取得しても良いし、サーバ装置3を介して取得しても良い。特に行動予測情報を車車間通信で取得すれば、運転支援システム1においてサーバ装置3は必須ではなくなる。
[0070]
 更に、S1~S3、S21、S22の処理についてはナビゲーション装置ではなくナビゲーション装置以外の車載器が実施する構成としても良い。例えば車両ECUが実施しても良い。
[0071]
 また、本発明に係る運転支援システムを具体化した実施例について上記に説明したが、運転支援システムは以下の構成を有することも可能であり、その場合には以下の効果を奏する。
[0072]
 例えば、第1の構成は以下のとおりである。
 自車両と他車両においてそれぞれ取得された車両情報に基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する行動予測手段(21、51)と、前記行動予測手段により予測された前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する影響判定手段(21、51)と、前記影響判定手段によって前記自車両の今後の行動に影響すると判定された前記他車両の今後の行動を実景に重畳して表示する行動表示手段(51)と、を有する。
 上記構成を有する運転支援システムによれば、個々の車両が予測した自身の行動予測に基づいて自車両の今後の行動に影響する他車両の今後の行動を特定し、自車両の今後の行動に影響する他車両の今後の行動を実景に重畳して表示するので、自車両の走行に影響のない他車両の予測が表示される煩わしさがなくなり、より適切な運転支援を行うことを可能にした運転支援システムを提供することが可能となる。
[0073]
 また、第2の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両と前記他車両との間の距離又は接近速度に基づいて前記行動の影響を判定する。
 上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを車間距離や相対速度を考慮することによって正確に判定することが可能となる。
[0074]
 また、第3の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両が前記他車両を回避する為の運転操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
 上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを、他車両を回避する為の運転操作の必要有無を考慮することによって正確に判定することが可能となる。
[0075]
 また、第4の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両が前記他車両を回避する為に前記自車両が所定の減速度より大きな減速度で減速する減速操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
 上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを、他車両を回避する為の減速操作の必要有無を考慮することによって正確に判定することが可能となる。
[0076]
 また、第5の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両が前記他車両を回避する為に前記自車両が所定量以上のハンドル操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
 上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを、他車両を回避する為のハンドル操作の必要有無を考慮することによって正確に判定することが可能となる。
[0077]
 また、第6の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両の今後の行動に基づいて予測された進路に、前記他車両の今後の行動に基づいて予測された進路が重複する場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
 上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを自車両と他車両の進路の重複を考慮することによって正確に判定することが可能となる。
[0078]
 また、第7の構成は以下のとおりである。
 前記車両情報は、車速、舵角、位置情報の少なくとも1つの情報であり、前記行動予測手段(21、51)は、前記車両情報に基づいて前記自車両と前記他車両の行動として、右左折、直進及びレーン移動の少なくとも1つの行動を予測する。
 上記構成を有する運転支援システムによれば、今後に自車両がどのような行動をするかについて右左折、直進及びレーン移動の候補を用いて明確に特定することが可能となる。従って、他車両の今後の行動が自車両の今後の行動に影響するか否かの判定についても容易に行うことが可能となる。
[0079]
 また、第8の構成は以下のとおりである。
 前記自車両と前記他車両のそれぞれの車両で取得された車両情報に加えてそれぞれの車両を運転する運転者の動作についても取得され、前記行動予測手段(21、51)は、前記車両情報と前記運転者の動作とに基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する。
 上記構成を有する運転支援システムによれば、運転者の動作についても考慮することによって車両の今後の行動の予測をより正確に行うことが可能となる。
[0080]
 また、第9の構成は以下のとおりである。
 前記車両を運転する運転者の動作は、それぞれの車両の今後の行動を行う前の予備動作であり、運転者を撮像することによって取得する。
 上記構成を有する運転支援システムによれば、運転者の動作として特に予備動作を対象とすることによって、車両の今後の行動の予測をより正確に行うことが可能となる。
[0081]
 また、第10の構成は以下のとおりである。
 前記行動表示手段(51)によって実景に重畳して表示される前記他車両の今後の行動は、前記他車両の予測位置、進行方向の少なくとも1つである。
 上記構成を有する運転支援システムによれば、他車両の予測位置又は進行方向を実景に重畳して案内することによって、自車両の運転者は他車両の予測位置や進行方向を視覚的により容易に把握することが可能となる。
[0082]
 また、第11の構成は以下のとおりである。
 前記行動予測手段は、多層構造のニューラルネットワークを用いた機械学習によって前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する。
 上記構成を有する運転支援システムによれば、多層構造のニューラルネットワークを用いた機械学習によって、車両の今後の行動についてより正確な予測が可能となる。
[0083]
 また、第12の構成は以下のとおりである。
 前記行動予測手段は、前記自車両と前記他車両に載置された各車載器(5)が、それぞれの車両の車両情報に基づいて今後の行動を予測する。
 上記構成を有する運転支援システムによれば、車載器において自車両や他車両の今後の行動を予測することが可能である。
[0084]
 また、第13の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両と前記他車両から各車両で予測された今後の行動を収集したサーバ装置(3)が、前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
 上記構成を有する運転支援システムによれば、サーバ装置において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。
[0085]
 また、第14の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両に載置された各車載器(5)が、自車両で予測された今後の行動と他車両から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
 上記構成を有する運転支援システムによれば、車載器において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。
[0086]
 また、第15の構成は以下のとおりである。
 前記行動予測手段(21、51)は、前記自車両と前記他車両から各車両の車両情報を収集したサーバ装置(3)が、収集した各車両の車両情報に基づいて前記自車両と前記他車両の今後の行動を予測する。
 上記構成を有する運転支援システムによれば、サーバ装置において自車両や他車両の今後の行動を予測することが可能である。
[0087]
 また、第16の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記サーバ装置(3)が、予測した前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
 上記構成を有する運転支援システムによれば、サーバ装置において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。
[0088]
 また、第17の構成は以下のとおりである。
 前記影響判定手段(21、51)は、前記自車両に載置された各車載器(5)が、自車両で予測された今後の行動と前記サーバ装置(3)から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
 上記構成を有する運転支援システムによれば、車載器において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。

符号の説明

[0089]
  1       運転支援システム
  2       情報配信センタ
  3       サーバ装置
  4       車両
  5       ナビゲーション装置
  12      行動予測情報DB
  21      CPU
  22      RAM
  23      ROM
  39      車両ECU
  40      フロントカメラ
  41      HUD
  51      CPU
  52      RAM
  53      ROM
  62、63   虚像

請求の範囲

[請求項1]
 自車両と他車両においてそれぞれ取得された車両情報に基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する行動予測手段と、
 前記行動予測手段により予測された前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する影響判定手段と、
 前記影響判定手段によって前記自車両の今後の行動に影響すると判定された前記他車両の今後の行動を実景に重畳して表示する行動表示手段と、を有する運転支援システム。
[請求項2]
 前記影響判定手段は、前記自車両と前記他車両との間の距離又は接近速度に基づいて前記行動の影響を判定する請求項1に記載の運転支援システム。
[請求項3]
 前記影響判定手段は、前記自車両が前記他車両を回避する為の運転操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項1又は請求項2に記載の運転支援システム。
[請求項4]
 前記影響判定手段は、前記自車両が前記他車両を回避する為に前記自車両が所定の減速度より大きな減速度で減速する減速操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項3に記載の運転支援システム。
[請求項5]
 前記影響判定手段は、前記自車両が前記他車両を回避する為に前記自車両が所定量以上のハンドル操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項3に記載の運転支援システム。
[請求項6]
 前記影響判定手段は、前記自車両の今後の行動に基づいて予測された進路に、前記他車両の今後の行動に基づいて予測された進路が重複する場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項1又乃至請求項3のいずれかに記載の運転支援システム。
[請求項7]
 前記車両情報は、車速、舵角、位置情報の少なくとも1つの情報であり、
 前記行動予測手段は、前記車両情報に基づいて前記自車両と前記他車両の行動として、右左折、直進及びレーン移動の少なくとも1つの行動を予測する請求項1乃至請求項6のいずれかに記載の運転支援システム。
[請求項8]
 前記自車両と前記他車両のそれぞれの車両で取得された車両情報に加えてそれぞれの車両を運転する運転者の動作についても取得され、
 前記行動予測手段は、前記車両情報と前記運転者の動作とに基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する請求項1乃至請求項7のいずれかに記載の運転支援システム。
[請求項9]
 前記車両を運転する運転者の動作は、それぞれの車両の今後の行動を行う前の予備動作であり、運転者を撮像することによって取得する請求項8に記載の運転支援システム。
[請求項10]
 前記行動表示手段によって実景に重畳して表示される前記他車両の今後の行動は、前記他車両の予測位置、進行方向の少なくとも1つである請求項1乃至請求項9のいずれかに記載の運転支援システム。
[請求項11]
 前記行動予測手段は、多層構造のニューラルネットワークを用いた機械学習によって前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する請求項1乃至請求項10のいずれかに記載の運転支援システム。
[請求項12]
 前記行動予測手段は、前記自車両と前記他車両に載置された各車載器が、それぞれの車両の車両情報に基づいて今後の行動を予測する請求項1乃至請求項11のいずれかに記載の運転支援システム。
[請求項13]
 前記影響判定手段は、前記自車両と前記他車両から各車両で予測された今後の行動を収集したサーバ装置が、前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項12に記載の運転支援システム。
[請求項14]
 前記影響判定手段は、前記自車両に載置された各車載器が、自車両で予測された今後の行動と他車両から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項12に記載の運転支援システム。
[請求項15]
 前記行動予測手段は、前記自車両と前記他車両から各車両の車両情報を収集したサーバ装置が、収集した各車両の車両情報に基づいて前記自車両と前記他車両の今後の行動を予測する請求項1乃至請求項11のいずれかに記載の運転支援システム。
[請求項16]
 前記影響判定手段は、前記サーバ装置が、予測した前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項15に記載の運転支援システム。
[請求項17]
 前記影響判定手段は、前記自車両に載置された各車載器が、自車両で予測された今後の行動と前記サーバ装置から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項15に記載の運転支援システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]