処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020129656 - 情報処理装置、および情報処理方法、並びにプログラム

Document

明 細 書

発明の名称 情報処理装置、および情報処理方法、並びにプログラム

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008   0009  

課題を解決するための手段

0010   0011   0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196  

符号の説明

0197  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9  

明 細 書

発明の名称 : 情報処理装置、および情報処理方法、並びにプログラム

技術分野

[0001]
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、勾配路における障害物に対する適切な衝突判定を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

背景技術

[0002]
 ACC(Adaptive Cruise Control)やPCS(Pre-Crash Safety)のような利便性と、安全性の向上を目的としたADAS(Advanced Driver Assistance System)において、システムの誤作動を防止するために、障害物の有無を確認したうえで、走行可能か否かを判定する必要がある。
[0003]
 特にPCSにおいては、勾配路面上のマンホールやグレーチングに対して、衝突の可能性があると誤った判定により、急ブレーキがかかってしまう恐れがあった。
[0004]
 このため、路面の勾配を認識したうえで、衝突判定を行う必要がある。
[0005]
 勾配を認識する技術としては、カメラを使って先行車のテールランプ部分の垂直位置の変化から勾配を推定する技術が提案されている(特許文献1参照)。

先行技術文献

特許文献

[0006]
特許文献1 : 特開2012-088217号公報

発明の概要

発明が解決しようとする課題

[0007]
 しかしながら、特許文献1の技術においては、カメラを使用しているため、夜間や荒天時など、画像が撮像される環境の変化による影響を受けることがあるので、先行車の認識精度が低下して、誤判定を発生させる恐れがある。
[0008]
 また、先行車のテールランプ部分の垂直位置の変化を検出する必要があるため、先行車が存在しないときには、勾配を推定することができない。
[0009]
 本開示は、このような状況に鑑みてなされたものであり、特に、環境や先行車の有無による影響を受けることなく、勾配路における障害物に対する適切な衝突判定を実現するものである。

課題を解決するための手段

[0010]
 本開示の一側面の情報処理装置は、複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部とを備える情報処理装置である。
[0011]
 本開示の一側面の情報処理方法およびプログラムは、情報処理装置に対応する。
[0012]
 本開示の一側面においては、複数の認識方式で、車両の前方の物体が認識され、前記複数の認識方式のそれぞれの物体認識結果が出力され、前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果が選択され、選択された前記物体認識結果に基づいて、前記物体との衝突の有無が判定される。

図面の簡単な説明

[0013]
[図1] 衝突判定における誤検出を説明する図である。
[図2] ミリ波レーダによる衝突判定の概要を説明する図である。
[図3] LiDARによる衝突判定の概要を説明する図である。
[図4] 本開示の車両制御システムの構成例を説明するブロック図である。
[図5] 図4における誤判定を抑制するようにした車両制御システムの構成例を説明するブロック図である。
[図6] LiDARによる衝突判定を説明する図である。
[図7] LiDARによる衝突判定を説明する図である。
[図8] 運転制御処理を説明するフローチャートである。
[図9] 汎用のコンピュータの構成例を説明する図である。

発明を実施するための形態

[0014]
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[0015]
 以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
 1.本開示の概要
 2.本開示の車両を制御する車両制御システムの構成例
 3.勾配路における障害物の誤判定を抑制する構成
 4.衝突判定処理
 5.ソフトウェアにより実行させる例
[0016]
 <<1.本開示の概要>>
 <衝突判定における誤検出>
 本開示の概要について説明する。
[0017]
 本開示の車両は、利便性と、安全性の向上を目的としたADAS(Advanced Driver Assistance System)による勾配路の障害物に対する適切な衝突判定を実現するものである。
[0018]
 例えば、図1の上段で示されるように、自動運転機能や運転支援機能を備えた車両1-1が、平面路FL1上を図中の右方向に走行する場合について考える。ここで、図1の上段は、図中を右方向に走行する車両1-1を側面方向から見た様子が示されており、平面路FL1の図中の右端には、勾配路SL1が接続されている。
[0019]
 さらに、勾配路SL1には、マンホール2-1が路面に埋設された状態とされている。
[0020]
 車両1-1は、自動運転機能や運転支援機能を実現させるため、外界認識センサ1a-1を備えている。そして、車両1-1は、点線で示されるように、走行方向の前方を外界認識センサ1a-1によりセンシングしており、路面上の障害物の有無を検出し、障害物を検出したときには、緊急停止動作や緊急回避動作をとることにより、安全を確保する。
[0021]
 外界認識センサ1a-1は、例えば、カメラ、ミリ波レーダ、およびLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)等である。
[0022]
 ここで、外界認識センサ1a-1がカメラである場合、晴天時の日中の明るい環境であれば、画像認識により前方に存在する物体の大きさや種類まで認識できるので、図1の場合、勾配路SL1にマンホール2-1が埋設されていることを認識することができる。
[0023]
 このため、路面上にマンホール2-1が存在することが認識されるものの、マンホール2-1が障害物であるとの認識はなされないことになる。
[0024]
 しかしながら、夜間や荒天時など、周辺の環境に変化が生じると、外界認識センサ1a-1がカメラであるときには、撮像される画像では、前方が勾配路SL1であることやマンホール2-1が埋設されていることを認識できない恐れがある。このような場合、車両1-1の自動運転機能や運転支援機能は機能できない状態となる。
[0025]
 ただし、図1における状況において、夜間や荒天時など、周辺の環境に変化が生じでも、外界認識センサ1a-1がカメラである場合については、マンホール2-1を検出することができないのみで、誤検出等に起因する問題は発生しない。
[0026]
 次に、外界認識センサ1a-1がミリ波レーダである場合について考える。
[0027]
 外界認識センサ1a-1がミリ波レーダである場合には、夜間や荒天時などでも、対象物が勾配路SL1やマンホール2-1等であるか否かについては、認識ができないものの、マンホール2-1の存在する位置に、何らかの物体が存在ことを認識することはできる。
[0028]
 しかしながら、外界認識センサ1a-1がミリ波レーダの場合、外界認識センサ1a-1は、走行方向の前方に何らかの対象物が存在することは認識できても、勾配路SL1の路面上にマンホール2-1が埋設されていることを認識することはできない。
[0029]
 このため、外界認識センサ1a-1がミリ波レーダである場合、図1の上段であるときには、平面路FL1上に何らかの高さを有する、衝突する可能性のある障害物が存在するものと誤検出する恐れがあった。
[0030]
 結果として、車両1-1は、例えば、障害物との衝突が発生する可能性があるものと誤検出し、衝突を回避するため、緊急停止動作や緊急回避動作を取ってしまい、この緊急停止動作や緊急回避動作により事故等を誘発させる恐れがあった。
[0031]
 ところで、図1の下段で示されるように、車両1-2が、カメラやミリ波レーダからなる外界認識センサ1a-2を備えて、勾配路SL2を図中右方向に下りながら走行し、勾配路SL2の先に平面路FL2が接続され、平面路FL2上にマンホール2-2が設けられている場合についても同様の現象が発生する可能性がある。
[0032]
 ところで、ミリ波レーダは、先行車が存在する場合、先行車の車体の下の路面に反射させながら、先行車よりも前方を照射し、その反射波を受信することで、先行車の、さらに前方の物体の有無も検出することができる。
[0033]
 ここで、図2の上段で示されるように、車両11がミリ波レーダからなる外界認識センサ11aを備えて、平面路FL上を、走行方向前方をセンシングしながら図中右方向に走行する際、前方に勾配路SLが存在して、マンホール12が埋設されている場合について考える。
[0034]
 図2の上段の場合、車両11は、外界認識センサ11aにより前方に存在するマンホール12からの反射波により、どのような物体であるかについては認識できないが、障害物が存在する可能性があることだけは認識することができる。
[0035]
 従って、この情報だけでは、車両11は、前方に存在する物体が、衝突の可能性がない勾配路SLに埋設されたマンホール12であるのか、衝突の可能性のある障害物であるのかについて判断することができない。
[0036]
 このような場合、誤検出の発生を抑制するには、車両11は、運転者に対して、判断できないが何らかの物体が存在することを通知するしかない状態となる。
[0037]
 しかしながら、図2の下段で示されるように、先行車11’が、車両11の前方に存在し、図中の右方向に走行している場合、先行車11’が勾配路SLやマンホール12と同じ位置を通過したか否かを検出することはできる。このようなとき、マンホール12が障害物であるか否かが不明ではあるが、何らかの物体が存在した位置を先行車11’が通過したとき、車両11は、少なくとも検出された物体が衝突の恐れがある障害物ではないことを認識することができる。
[0038]
 そこで、本開示においては、図2の車両11のように、外界認識センサ11aにミリ波レーダを用いる場合、図2の下段で示されるように、自らの走行が継続されることにより、障害物である可能性のある物体を認識するときには、先行車11’が、障害物である可能性のあるものとして認識した物体の位置を通過したか否かにより検出した物体の衝突の可能性の有無を判定するようにする。
[0039]
 すなわち、本開示の車両11は、前方に存在する物体を認識する場合、先行車11’が認識した物体の位置を通過するときには、その物体が障害物ではないものとみなすようにすることで、誤検出の発生を抑制する。
[0040]
 ただし、外界認識センサ11aをミリ波レーダとした場合、障害物の可能性がある物体が存在する位置を走行する先行車が存在しないと、誤検出の発生を抑制することができない。
[0041]
 ここで、外界認識センサ11aとして、LiDARを用いた場合について考える。
[0042]
 LiDARは、測距する方向に対してレーザ光を投光し、反射光を受光することで、往復時間から距離を求め、水平方向および垂直方向に所定の間隔で点群情報を取得する。
[0043]
 すなわち、例えば、図3で示されるような場合、外界認識センサ11aは、平面路FLを図中右方向に走行しながら、例えば、垂直方向に対して、5本のレーザ光を投光し、それぞれの投光タイミングと、前方の勾配路SL上におけるマンホール12からの反射光を受光する受光タイミングとの差分から距離を求めることで、マンホール12の点群情報を取得する。
[0044]
 このとき、車両11が図中の右方向に走行すると、勾配路SLは、時刻の経過に伴って、時刻t1,t2,t3のように、車両11との距離が短くなっていく。
[0045]
 ここで、時刻t1においては、5本のレーザ光のうち、2本のレーザ光が勾配路SLに埋設されたマンホール12により反射される。そして、時刻t2においては、3本のレーザ光が、時刻t3においては、4本のレーザ光が、それぞれ勾配路SLに埋設されたマンホール12により反射される。
[0046]
 すなわち、車両11が勾配路SL近付くにつれて、マンホール12から反射されるレーザ光の本数が増える。
[0047]
 つまり、LiDARからなる外界認識センサ11aは、マンホール12への接近に伴って、マンホール12から反射されるレーザ光の本数が変化することにより、3次元の点群情報に基づいて、マンホール12の大きさや、マンホール12の時系列の大きさの変化に基づいた勾配路SLの勾配を認識することができる。
[0048]
 結果として、この点群情報を用いることで、車両11は、前方に存在する物体が勾配路SLであって、マンホール12が勾配路SLに埋設されていることを認識でき、障害物であるといった誤検出を抑制することが可能となる。
[0049]
 そこで、本開示においては、カメラ、ミリ波レーダ、およびLiDARからなる3種類の外界認識センサ11aを組み合わせ、それぞれのセンシング結果を環境に応じて使い分けることで、物体検出に係る誤検出を抑制する。
[0050]
 すなわち、晴天時の明るい日中等は、外界認識センサ11aとしてカメラにより撮像された画像の認識結果を用いることにし、例えば、夜間や荒天時であって、先行車が存在するときには、ミリ波レーダのセンシング結果を使用し、夜間や荒天時であって、先行車が存在しないときには、LiDARのセンシング結果を用いるようにする。
[0051]
 このように、環境に応じて複数のセンサからなる外界認識センサ11aのセンシング結果を使い分けるようにすることで、それぞれの特性に応じて適切に衝突判定を実現することが可能となり、誤検出の発生を抑制することが可能となる。
[0052]
 <<2.本開示の車両を制御する車両制御システムの構成例>>
 次に、図4のブロック図を参照して、本開示の車両の車両制御システムについて説明する。
[0053]
 図4は、本技術が適用され得る移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。車両制御システム100は、車両11に搭載されている。
[0054]
 なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
[0055]
 車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
[0056]
 なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
[0057]
 入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
[0058]
 データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
[0059]
 例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
[0060]
 また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
[0061]
 さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
[0062]
 また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
[0063]
 通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である。
[0064]
 例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
[0065]
 さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
[0066]
 車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
[0067]
 出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
[0068]
 出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
[0069]
 駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
[0070]
 駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
[0071]
 ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
[0072]
 ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
[0073]
 記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
[0074]
 自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
[0075]
 検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
[0076]
 車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
[0077]
 車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
[0078]
 車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
[0079]
 自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
[0080]
 状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
[0081]
 マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
[0082]
 交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
[0083]
 状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
[0084]
 認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
[0085]
 状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
[0086]
 状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
[0087]
 予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
[0088]
 状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
[0089]
 ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
[0090]
 行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する。
[0091]
 動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
[0092]
 動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
[0093]
 緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
[0094]
 加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[0095]
 方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[0096]
 <<3.勾配路における障害物の誤判定を抑制する構成>>
 次に、図5のブロック図を参照して、勾配路における障害物の誤判定を抑制する構成について説明する。尚、図5は、図4を参照して説明した車両制御システム100を実現する機能の構成例のうち、勾配路における障害物の誤判定を抑制する構成を抜粋した構成を示している。
[0097]
 データ取得部102は、カメラ201、ミリ波レーダ202、およびLiDAR203を備えている。カメラ201、ミリ波レーダ202、およびLiDAR203は、いずれも車両11の前方やフロントウィンドウの上部など、車両11の走行方向の前方における物体を検出する。カメラ201、ミリ波レーダ202、およびLiDAR203は、例えば、図2,図3の車両11における外界認識センサ11aに対応するものである。
[0098]
 カメラ201は、走行方向の前方の画像を撮像し、自動運転制御部112における検出部131の車外情報検出部141に出力する。
[0099]
 ミリ波レーダ202は、走行方向の前方にミリ波帯の電波を照射し、物体からの反射波を受信して物体の位置と速度の情報を検出し、自動運転制御部112における検出部131の車外情報検出部141に出力する。
[0100]
 LiDAR203は、走行方向の前方に対して、水平方向および垂直方向に対して所定の間隔でレーザ光を投光し、物体からの反射光を受光することで、物体の位置や形状に応じた点群情報を検出し、自動運転制御部112における検出部131の車外情報検出部141に出力する。
[0101]
 車外情報検出部141は、カメラ201により撮像された画像、ミリ波レーダ202の検出結果、およびLiDAR203のセンシング結果に基づいて、車両11の前方の物体認識を行うと共に、認識結果に基づいた衝突判定を行う。より詳細には、車外情報検出部141は、物体認識部221、勾配認識部222、および衝突判定部223を備えている。
[0102]
 物体認識部221は、カメラ201、ミリ波レーダ202、およびLiDAR203のそれぞれのセンシング結果に基づいて、物体を認識する。
[0103]
 より詳細には、物体認識部221は、カメラ201のセンシング結果である、撮像された画像に基づいて、画像内の情報から、例えば、セマンティックセグメンテーション等により画素単位で画像内に映し出されている進路上の物体を個別に認識する。このため、例えば、進路上の路面が勾配路であるような場合、またはマンホールやグレーチングが存在するような場合には、物体認識部221は、画像から前方に勾配路が存在すること、またはマンホールやグレーチングが存在することを認識することができる。
[0104]
 また、物体認識部221は、ミリ波レーダ202のセンシング結果に基づいて、進路上の物体の有無を認識する。このとき、物体認識部221は、前方を照射したミリ波帯の電波のうち、反射強度の高いものを物体からの反射波として認識する。しかしながら、物体認識部221は、ミリ波レーダ202のセンシング結果のみでは、物体の位置(距離と方向)を認識することはできても、物体が、例えば、車両であるのか、通行人であるのかなど、何であるのかや、大きさ等を認識することはできない。
[0105]
 ただし、ミリ波帯の電波は、先行車が存在しても、一部が先行車の車体の下の路面に反射することで、先行車よりも、さらに前方の物体からの反射波が受信される。このため、物体認識部221は、ミリ波レーダ202のセンシング結果に基づいて、例えば、先行車よりも、さらに前方の物体の存在を認識することができる。
[0106]
 さらに、物体認識部221は、LiDAR203のセンシング結果に基づいて、進路上の物体を認識する。このとき、LiDAR203のセンシング結果は、3次元の点群情報であるので、物体認識部221は、ミリ波レーダ同様に、前方に物体が存在することを認識できる。しかしながら、LiDAR203のセンシング結果からでは、検出される物体がどのような物体であるのかを認識することはできない。また、LiDAR203のセンシング結果は、レーザ光であるので、例えば、先行車などが存在する場合、その先行車の前方の情報は取得できない。このため、LiDAR203のセンシング結果による物体認識においては、先行車が存在する場合には、衝突判定に使用するような物体認識をすることができない。ただし、LiDAR203のセンシング結果を用いる場合、図3を参照して説明したように、物体が存在し、時間の経過に伴って接近するようなとき、物体への接近に伴って、反射するレーザ光が増える。この結果、物体認識部221は、反射するレーザ光の数の変化により、物体の大きさや勾配を認識することができる。
[0107]
 勾配認識部222は、物体認識部221による認識結果のうち、カメラ201により撮像された画像による物体認識結果やLiDAR203のセンシング結果による物体検出結果に基づいて、進路上の路面の勾配を認識する。例えば、カメラ201により撮像された画像を用いた物体認識結果を用いる場合、勾配認識部222は、物体認識結果に基づいて、路面の領域の情報から路面の勾配を認識する。
[0108]
 また、例えば、LiDARによるセンシング結果を用いた物体認識結果を用いる場合、勾配認識部222は、3次元点群情報内で認識される物体の時系列の変化に基づいて物体を認識する。より詳細には、ミリ波レーダによるセンシング結果を用いた場合、物体への接近に伴って、反射されるレーザ光の本数(面積)が増えることになる。このため、物体認識部221が、物体により反射されるレーザ光の本数(面積)に基づいて物体の大きさを認識する。また、勾配認識部222は、物体により反射されるレーザ光の本数の時系列の変化に基づいて路面の勾配を認識する。
[0109]
 尚、例えば、ミリ波レーダによるセンシング結果から路面の勾配を求めることはできない。
[0110]
 衝突判定部223は、物体認識部221の物体認識結果に基づいて、進路上の物体との衝突の有無である衝突判定を実施する。
[0111]
 衝突判定部223は、環境条件に応じて、物体認識結果を使い分けて、衝突判定を行う。
[0112]
 衝突判定部223は、日中の晴天時においては、カメラ201により撮像された画像に基づいた物体認識結果に基づいて、衝突判定を行う。
[0113]
 また、衝突判定部223は、夜間や荒天時においては、ミリ波レーダ202のセンシング結果を用いた物体認識結果と、LiDAR203のセンシング結果を用いた物体認識結果とを用いて衝突判定を行う。
[0114]
 この際、先行車が存在する場合、衝突判定部223は、ミリ波レーダ202のセンシング結果を用いた物体認識結果により進路上に物体が存在することを認識すると共に、認識した物体の位置を先行車が通過したか否かにより衝突判定を行う。
[0115]
 すなわち、ミリ波レーダ202のセンシング結果を用いた物体認識結果により衝突判定を行う場合、衝突判定部223は、先行車の存在と共に、先行車のさらに前方の物体の存在を認識することができる。
[0116]
 しかしながら、ミリ波レーダ202のセンシング結果を用いた物体認識結果からでは、物体の存在を認識することができても、衝突の可能性を考慮する必要のある物体であるか否かを識別することはできない。
[0117]
 そこで、衝突判定部223は、ミリ波レーダ202のセンシング結果を用いた物体認識結果により衝突判定を行う場合、先行車が存在するときについては、認識した物体の位置を先行車が通過したときには衝突の可能性がないものとみなす。
[0118]
 また、衝突判定部223は、ミリ波レーダ202のセンシング結果を用いた物体認識結果により衝突判定を行う場合、先行車が存在するときについては、先行車が認識した物体の位置を通過しないときには、すなわち、避けて通過することが認識できるようなときは、認識した物体への衝突の可能性があるものとみなす。
[0119]
 さらに、先行車が存在しない場合、衝突判定部223は、LiDAR203のセンシング結果を用いた物体認識結果により進路上に物体が存在することを認識することにより衝突判定を行う。
[0120]
 すなわち、LiDAR203のセンシング結果を用いた物体認識結果により衝突判定を行う場合、衝突判定部223は、物体の接近に伴って、投光したレーザ光のうち、物体により反射されるレーザ光の本数が時系列に増え、反射されるレーザ光の本数の変化に対応して物体の大きさや勾配を認識することができる。
[0121]
 より詳細には、図6で示されるように、車両11が平面路FLを図中の右方向に走行し、平面路FLは右端部が勾配路SLに接続されており、さらに、勾配路SLにはマンホール12が設けられているものとする。ここで、車両11の前方には、カメラ201、ミリ波レーダ202、およびLiDAR203からなるデータ取得部102の各構成が組み込まれた外界認識センサ11aが設けられている。このデータ取得部102である外界認識センサ11aのうちのLiDAR203により、例えば、図6で示されるように、走行方向前方に向けてレーザ光L1乃至L13が投光され、それぞれの反射光が受光されることで3次元点群情報が物体認識結果として取得されるものとする。
[0122]
 ここで、図6においては、レーザ光L1乃至L13のうち、レーザ光L3乃至L8からなる6本のレーザ光がマンホール12に照射されて、反射光として受光されることが示されている。
[0123]
 この状態から時間の経過に伴って車両11が勾配路SLのマンホール12に接近するとき、経過時刻t1乃至t3においては、図7で示されるように徐々にマンホール12から反射されるレーザ光の本数が増える。
[0124]
 すなわち、図6の状態から所定時間が経過した時刻t1においては、図7の上段で示されるように、レーザ光L1乃至L13のうち、レーザ光L2乃至L9からなる8本のレーザ光がマンホール12に照射されて、LiDAR203において反射光として受光される。
[0125]
 また、その後、時刻t2においては、図7の中段で示されるように、レーザ光L1乃至L13のうち、レーザ光L1乃至L10からなる10本のレーザ光がマンホール12に照射されて、LiDAR203において反射光として受光される。
[0126]
 さらに、その後、時刻t3においては、図7の下段で示されるように、レーザ光L1乃至L13のうち、レーザ光L1乃至L13の13本全てのレーザ光がマンホール12に照射されて、LiDAR203において反射光として受光される。
[0127]
 このように、車両11の外界認識センサ11aとして設けられたLiDAR203から照射されるレーザ光のうち、マンホール12により反射されるレーザ光の本数は、車両11のマンホール12への接近に伴って、時系列に増大する。また、この反射されるレーザ光の本数の時系列の変化は、マンホール12の表面の勾配により変化する。すなわち、勾配が大きい程、時系列に変化するレーザ光の本数は多く、勾配が小さい程、時系列に変化するレーザ光の本数は少ない。
[0128]
 そこで、衝突判定部223は、物体により反射されるレーザ光の本数の時系列の変化に基づいて、物体の表面の勾配を求め、物体が所定の大きさより大きく、かつ、所定の勾配より大きな勾配であるか否かにより衝突判定を行う。
[0129]
 <<4.衝突判定処理>>
 次に、図8のフローチャートを参照して、本開示の車両11による衝突判定処理について説明する。
[0130]
 ステップS11において、データ取得部102のカメラ201、ミリ波レーダ202、およびLiDAR203は、それぞれのセンシング結果(カメラ201においては撮像された画像)を自動運転制御部112の検出部131に出力する。
[0131]
 ステップS12において、物体認識部221は、カメラ201により撮像された画像による物体の認識が可能であるか否かを判定する。より詳細には、物体認識部221は、夜間や荒天時などにより十分な明るさが足りないなどの環境の影響に起因する理由により、カメラ201により撮像された画像から物体を適切に認識できるか否かを判定する。
[0132]
 ステップS12において、カメラ201により撮像された画像による物体の認識が可能であると判定された場合、処理は、ステップS13に進む。
[0133]
 ステップS13において、物体認識部221は、カメラ201のセンシング結果である撮像された画像に基づいて、例えば、セマンティックセグメンテーション等により、画素単位で物体を認識する。
[0134]
 ステップS14において、衝突判定部223は、カメラ201のセンシング結果である撮像された画像に基づいた物体認識部221の物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
[0135]
 ステップS14において、例えば、進路上に障害物となり得る物体が存在すると判定された場合、処理は、ステップS15に進む。
[0136]
 ステップS15において、勾配認識部222は、物体認識部221により路面として認識された領域の勾配を認識する。
[0137]
 ステップS16において、衝突判定部223は、路面の勾配と進路上の障害物となり得る物体の情報に基づいて、衝突の有無を判定する。
[0138]
 ステップS16において、例えば、人物や駐車車両など、物体としてのサイズが大きい、または、路面の勾配が大きく、壁や塀である可能性がある場合、衝突の可能性があるものとみなして、処理は、ステップS17に進む。
[0139]
 ステップS17において、衝突判定部223は、動作制御部135の緊急事態回避部171に衝突の可能性があることを通知する。
[0140]
 ステップS18において、緊急事態回避部171は、衝突判定部223からの通知に基づいて、加減速制御部172、および方向制御部173を制御して、障害物となり得る物体との衝突を回避するように駆動系制御部107により駆動系システム108を駆動させる。
[0141]
 ステップS19において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。そして、ステップS19において、処理の終了が指示された場合、処理は、終了する。
[0142]
 また、ステップS14において、進路上に障害物となり得る物体がないと判定された場合、または、ステップS16において、衝突の可能性がないと判定された場合、処理は、ステップS26に進む。
[0143]
 ステップS26において、衝突判定部223は、動作制御部135の緊急事態回避部171に衝突の可能性がないことを通知する。尚、衝突の可能性がない場合については、緊急事態回避部171への通知は必須ではないので、ステップS26の処理は、必要に応じてスキップされるようにしてもよいし、処理そのものを削除するようにしてもよい。
[0144]
 さらに、ステップS12において、画像による物体認識が不能であるとみなされた場合、処理は、ステップS20に進む。
[0145]
 ステップS20において、物体認識部221は、LiDAR203のセンシング結果による物体の認識が可能であるか否かを判定する。より詳細には、LiDAR203は、夜間や荒天時等、カメラ201による画像を撮像するには、光量が足らないといった条件が厳しい状況でもセンシングは可能である。そこで、物体認識部221は、LiDAR203に動作不良等がなくセンシングできるか否かを判定する。
[0146]
 ステップS20において、LiDAR203のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップS21に進む。
[0147]
 ステップS21において、物体認識部221は、LiDAR203のセンシング結果に基づいて、物体を認識する。
[0148]
 ステップS22において、衝突判定部223は、LiDAR203のセンシング結果に基づいた物体認識結果に基づいて、先行車が存在するか否かを判定する。衝突判定部223は、物体認識結果に基づいて、例えば、自車との位置関係が所定の状態で維持される前方の物体があるとき、先行車が存在するものと判定する。
[0149]
 ステップS22において、先行車が存在しないとみなされた場合、処理は、ステップS23に進む。
[0150]
 ステップS23において、衝突判定部223は、LiDAR203のセンシング結果に基づいた物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
[0151]
 ステップS23において、障害物となり得る物体が存在しない場合、処理は、ステップS24に進む。
[0152]
 ステップS24において、勾配認識部222は、LiDAR203のセンシング結果に基づいた物体認識結果に基づいて、路面の勾配を認識する。
[0153]
 ステップS25において、衝突判定部223は、LiDAR203のセンシング結果に基づいた物体認識結果と勾配に基づいて、物体が所定の大きさよりも、大きい、または、勾配が所定の勾配よりも大きいか否かに基づいて、衝突の可能性があるか否かを判定する。
[0154]
 ステップS25において、衝突の可能性があるとみなされた場合、または、ステップS23において、進路上に障害物となり得る物体がないとみなされた場合、処理は、ステップS17に進み、衝突の可能性があることが通知される。
[0155]
 また、ステップS25において、衝突の可能性がないとみなされた場合、処理は、ステップS26に進み、衝突の可能性がないことが通知される。
[0156]
 また、ステップS22において、先行車が存在する場合、処理は、ステップS27に進む。
[0157]
 すなわち、LiDAR203のセンシング結果に基づいた物体認識結果のみでは、先行車が存在する場合、先行車が障害となり、先行車のさらに前方に存在する可能性のある障害物を検出することはできない。このため、先行車が存在するときには、LiDAR203の動作不良時と同様に衝突判定が不能となる。
[0158]
 ステップS27において、物体認識部221は、ミリ波レーダ202のセンシング結果による物体の認識が可能であるか否かを判定する。より詳細には、ミリ波レーダ202は、夜間や荒天時等、カメラ201による画像を撮像するには、光量が足らないといった条件が厳しい状況でもセンシングは可能である。そこで、物体認識部221は、ミリ波レーダ202に動作不良等がなくセンシングできるか否かを判定する。
[0159]
 ステップS27において、ミリ波レーダ202のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップS28に進む。
[0160]
 ステップS28において、物体認識部221は、ミリ波レーダ202のセンシング結果に基づいて、物体を認識する。
[0161]
 ステップS29において、衝突判定部223は、ミリ波レーダ202のセンシング結果に基づいた物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
[0162]
 ステップS29において、障害物となり得る物体が存在しない場合、処理は、ステップS26に進み、衝突の可能性なしが通知される。
[0163]
 一方、ステップS29において、障害物となり得る物体が存在する場合、処理は、ステップS30に進む。
[0164]
 ステップS30において、衝突判定部223は、先行車が、障害物となり得る物体が存在する位置を通過したか否かを判定する。
[0165]
 ステップS30において、先行車が、障害物となり得る物体が存在する位置を通過した場合、処理は、ステップS26に進み、衝突の可能性がないことが通知される。
[0166]
 また、ステップS30において、例えば、先行車が障害物となり得る物体の位置を回避して通過するような場合、処理は、ステップS17に進み、衝突の可能性ありが通知される。
[0167]
 すなわち、この場合、先行車は、障害物として物体を認識して、衝突を回避すべく、避けて通過したものとみなされるので、検出した物体に対して衝突の可能性があるものとみなされる。
[0168]
 ステップS20において、LiDAR23のセンシング結果による物体の認識が不能であると判定された場合、処理は、ステップS31に進む。
[0169]
 ステップS31において、物体認識部221は、ミリ波レーダ202のセンシング結果による物体の認識が可能であるか否かを判定する。
[0170]
 ステップS31において、ミリ波レーダ202のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップS32に進む。
[0171]
 ステップS32において、物体認識部221は、ミリ波レーダ202のセンシング結果に基づいて、物体を認識する。
[0172]
 ステップS33において、衝突判定部223は、ミリ波レーダ202のセンシング結果に基づいた物体認識結果に基づいて、先行車が存在するか否かを判定する。
[0173]
 ステップS33において、先行車が存在する場合、処理は、ステップS29に進み、進路上に障害物となり得る物体の有無が判定されて、先行車が物体の位置を通過したか否かで衝突判定がなされる。
[0174]
 一方、ステップS33において、先行車が存在しないとみなされた場合、または、ステップS31において、ミリ波レーダ202のセンシング結果に基づいた物体認識結果では、物体認識が不能であれるとみなされた場合、処理は、ステップS34に進む。
[0175]
 ステップS34において、衝突判定部223は、衝突判定が不能であることを出力する。すなわち、カメラ201により撮像された画像による物体認識結果、ミリ波レーダ202のセンシング結果による物体認識結果、およびLiDAR203のセンシング結果による物体認識結果のいずれにおいても、衝突判定が不能であることが通知される。
[0176]
 以上の処理により、晴天時等の明るい条件においては、カメラ201のセンシング結果(撮像された画像)に基づいて、衝突判定を行うようにした。これにより画像を用いた高精度な物体認識結果に基づいて、高精度な衝突判定を実現することが可能となる。
[0177]
 また、画像による物体認識が不能となる場合、すなわち、荒天時や夜間などの場合であって、先行車が存在しないときには、LiDARのセンシング結果に基づいて、衝突判定を行うようにした。
[0178]
 さらに、画像による物体認識が不能となる場合、すなわち、荒天時や夜間などの場合であって、先行車が存在するときには、ミリ波レーダのセンシング結果に基づいて、先行車が検出した物体の位置を通過するか否かにより衝突判定を行うようにした。
[0179]
 これにより、画像による衝突判定が不能な状態でも、先行車の有無に関わらず、衝突判定を実現することが可能となる。
[0180]
 結果として、いずれにおいても、環境の変化に影響されることなく、適切な衝突判定を実現することが可能となる。
[0181]
 <<5.ソフトウェアにより実行させる例>>
 ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
[0182]
 図9は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
[0183]
 入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブル記録媒体1011に対してデータを読み書きするドライブ1010が接続されている。
[0184]
 CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
[0185]
 以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
[0186]
 コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
[0187]
 コンピュータでは、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
[0188]
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
[0189]
 尚、図9におけるCPU1001が、図4における自動運転制御部112の機能を実現させる。また、図9における記憶部1008が、図4における記憶部111を実現する。
[0190]
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0191]
 なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
[0192]
 例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0193]
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
[0194]
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
[0195]
 尚、本開示は、以下のような構成も取ることができる。
[0196]
<1> 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
 前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
 を備える情報処理装置。
<2> 前記車両の前方の画像を撮像するカメラと、
 ミリ波帯の電波を前方に照射し、前記物体からの反射波を検出するミリ波レーダと、
 前記車両の前方にレーザ光を照射し、前記物体からの反射光を検出するLiDARとをさらに含み、
 前記物体認識部は、前記カメラにより撮像された画像に基づいた画像物体認識結果、前記ミリ波レーダの検出結果に基づいたミリ波レーダ物体認識結果、および前記LiDARの検出結果に基づいたLiDAR物体認識結果を出力する
 <1>に記載の情報処理装置。
<3> 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が可能である場合、前記衝突判定部は、前記画像物体認識結果に基づいて、前記物体との衝突の有無を判定する
 <2>に記載の情報処理装置。
<4> 前記画像物体認識結果に基づいて、前記車両の前方の路面の勾配を認識する勾配認識部をさらに含み、
 前記衝突判定部は、前記画像物体認識結果と、前記路面の勾配とに基づいて、前記物体との衝突の有無を判定する
 <2>または<3>に記載の情報処理装置。
<5> 前記勾配認識部は、前記物体との時系列の距離の変化に伴った、前記LiDARにより検出される前記反射光の本数の時系列の変化に基づいて、前記車両の前方の路面の勾配を認識する
 <4>に記載の情報処理装置。
<6> 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合、前記衝突判定部は、前記ミリ波レーダ物体認識結果、または、前記LiDAR物体認識結果のいずれかに基づいて、前記物体との衝突の有無を判定する
 <2>乃至<5>のいずれかに記載の情報処理装置。
<7> 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記LiDAR物体認識結果に基づいた物体認識が可能であるとき、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
 <6>に記載の情報処理装置。
<8> 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されないとき、前記LiDAR物体認識結果に基づいた物体認識が可能であるとみなされ、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
 <7>に記載の情報処理装置。
<9> 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されるとき、前記LiDAR物体認識結果に基づいた物体認識が不能であるとみなされ、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
 <8>に記載の情報処理装置。
<10> 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
 <9>に記載の情報処理装置。
<11> 前記LiDAR物体認識結果に基づいた物体認識が不能であるとき、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
 <6>に記載の情報処理装置。
<12> 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、先行車の存在が認識されるとき、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
 <11>に記載の情報処理装置。
<13> 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
 <12>に記載の情報処理装置。
<14> 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記ミリ波レーダ物体認識結果、および前記LiDAR物体認識結果によるいずれの物体認識も不能であるとき、前記衝突判定部は、前記物体との衝突の有無の判定が不能であることを示す情報を出力する
 <2>に記載の情報処理装置。
<15> 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識処理と、
 前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定処理と
 を含む情報処理方法。
<16> 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
 前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
 してコンピュータを機能させるプログラム。

符号の説明

[0197]
 11 車両, 100 車両制御システム, 102 データ取得部, 112 自動運転制御部, 133 状況分析部, 134 計画部, 135 動作制御部, 153 状況認識部, 154 状況予測部, 172 加減速制御部, 173 方向制御部, 201 カメラ, 202 ミリ波レーダ, 203 LiDAR, 221 物体認識部, 222 勾配認識部, 223 衝突判定部

請求の範囲

[請求項1]
 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
 前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
 を備える情報処理装置。
[請求項2]
 前記車両の前方の画像を撮像するカメラと、
 ミリ波帯の電波を前方に照射し、前記物体からの反射波を検出するミリ波レーダと、
 前記車両の前方にレーザ光を照射し、前記物体からの反射光を検出するLiDARとをさらに含み、
 前記物体認識部は、前記カメラにより撮像された画像に基づいた画像物体認識結果、前記ミリ波レーダの検出結果に基づいたミリ波レーダ物体認識結果、および前記LiDARの検出結果に基づいたLiDAR物体認識結果を出力する
 請求項1に記載の情報処理装置。
[請求項3]
 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が可能である場合、前記衝突判定部は、前記画像物体認識結果に基づいて、前記物体との衝突の有無を判定する
 請求項2に記載の情報処理装置。
[請求項4]
 前記画像物体認識結果に基づいて、前記車両の前方の路面の勾配を認識する勾配認識部をさらに含み、
 前記衝突判定部は、前記画像物体認識結果と、前記路面の勾配とに基づいて、前記物体との衝突の有無を判定する
 請求項2に記載の情報処理装置。
[請求項5]
 前記勾配認識部は、前記物体との時系列の距離の変化に伴った、前記LiDARにより検出される前記反射光の本数の時系列の変化に基づいて、前記車両の前方の路面の勾配を認識する
 請求項4に記載の情報処理装置。
[請求項6]
 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合、前記衝突判定部は、前記ミリ波レーダ物体認識結果、または、前記LiDAR物体認識結果のいずれかに基づいて、前記物体との衝突の有無を判定する
 請求項2に記載の情報処理装置。
[請求項7]
 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記LiDAR物体認識結果に基づいた物体認識が可能であるとき、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
 請求項6に記載の情報処理装置。
[請求項8]
 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されないとき、前記LiDAR物体認識結果に基づいた物体認識が可能であるとみなされ、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
 請求項7に記載の情報処理装置。
[請求項9]
 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されるとき、前記LiDAR物体認識結果に基づいた物体認識が不能であるとみなされ、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
 請求項8に記載の情報処理装置。
[請求項10]
 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
 請求項9に記載の情報処理装置。
[請求項11]
 前記LiDAR物体認識結果に基づいた物体認識が不能であるとき、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
 請求項6に記載の情報処理装置。
[請求項12]
 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、先行車の存在が認識されるとき、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
 請求項11に記載の情報処理装置。
[請求項13]
 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
 請求項12に記載の情報処理装置。
[請求項14]
 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記ミリ波レーダ物体認識結果、および前記LiDAR物体認識結果によるいずれの物体認識も不能であるとき、前記衝突判定部は、前記物体との衝突の有無の判定が不能であることを示す情報を出力する
 請求項2に記載の情報処理装置。
[請求項15]
 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識処理と、
 前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定処理と
 を含む情報処理方法。
[請求項16]
 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
 前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
 してコンピュータを機能させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]