このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018235304) 障害物検知装置、車両、および、障害物検知システム
Document

明 細 書

発明の名称 障害物検知装置、車両、および、障害物検知システム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004  

課題を解決するための手段

0005  

発明の効果

0006  

図面の簡単な説明

0007  

発明を実施するための形態

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124  

符号の説明

0125  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

補正された請求の範囲(条約第19条)

1  *   2  *   3  *   4  *   5   6  *   7  *   8  *   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 障害物検知装置、車両、および、障害物検知システム

技術分野

[0001]
 本発明は、障害物検知装置、車両、および、障害物検知システムに関する。

背景技術

[0002]
 車両の周囲に存在する障害物を検知する技術が知られている。このような技術は、例えば、自走運転技術に適用される。また、特許文献1には、カーブミラーに映った近接物体を自動的に認識する技術が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 日本国公開特許公報「特開2010-122821号公報(2010年6月3日公開)」

発明の概要

発明が解決しようとする課題

[0004]
 ところで、障害物を検知する技術において、カーブミラーに映った障害物であっても精度よく推定できることが好ましい。

課題を解決するための手段

[0005]
 かかる目的のもと、本発明に係る障害物検知装置は、カーブミラーに映ったミラー内画像を取得する取得部と、前記ミラー内画像を参照して、障害物の位置を推定する推定部とを備えている。

発明の効果

[0006]
 本発明によれば、カーブミラーに映った障害物を精度よく推定することができる。

図面の簡単な説明

[0007]
[図1] 本発明の実施形態1に係る車両の概略構成を示す図である。
[図2] 本発明の実施形態1に係るECUの概略構成を示すブロック図である。
[図3] 本発明の実施形態1に係る障害物検知部の概略構成を示すブロック図である。
[図4] 本発明の実施形態1に係るカーブミラーに映ったミラー内画像の一例を示す図である。
[図5] 本発明の実施形態1に係るマッチング処理を説明するための模式図である。
[図6] 本発明の実施形態1に係る障害物検知処理の流れを示すフローチャートである。
[図7] 本発明の実施形態2に係る車両システムの概略構成を示す図である。
[図8] 本発明の実施形態2に係る障害物検知処理の流れを示すシーケンス図である。
[図9] 本発明の実施形態3に係る車両システムの概略構成を示す図である。
[図10] 本発明の実施形態3に係る障害物検知処理の流れを示すシーケンス図である。

発明を実施するための形態

[0008]
 〔実施形態1〕
 以下、本発明の実施形態1について、詳細に説明する。
 (車両900の構成)
 図1は、本実施形態に係る車両900の概略構成を示す図である。図1に示すように、車両900は、懸架装置(サスペンション)100、車体200、車輪300、タイヤ310、操舵部材410、ステアリングシャフト420、トルクセンサ430、舵角センサ440、トルク印加部460、ラックピニオン機構470、ラック軸480、エンジン500、ECU(Electronic Control Unit)(制御部)600、発電装置700およびバッテリ800を備えている。
[0009]
 タイヤ310が装着された車輪300は、懸架装置100によって車体200に懸架されている。車両900は、四輪車であるため、懸架装置100、車輪300およびタイヤ310については、それぞれ4つ設けられている。
[0010]
 なお、左側の前輪、右側の前輪、左側の後輪および右側の後輪のタイヤ及び車輪をそれぞれ、タイヤ310A及び車輪300A、タイヤ310B及び車輪300B、タイヤ310C及び車輪300C、並びに、タイヤ310D及び車輪300Dとも称する。以下、同様に、左側の前輪、右側の前輪、左側の後輪および右側の後輪にそれぞれ付随した構成を、符号「A」「B」「C」及び「D」を付して表現することがある。
[0011]
 懸架装置100は、油圧緩衝装置、アッパーアーム及びロアーアームを備えている。また、油圧緩衝装置は、当該油圧緩衝装置が発生させる減衰力を調整する電磁弁であるソレノイドバルブを備えている。ただし、これは本実施形態を限定するものではなく、油圧緩衝装置は、減衰力を調整する電磁弁として、ソレノイドバルブ以外の電磁弁を用いてもよい。例えば、上記電磁弁として、電磁流体(磁性流体)を利用した電磁弁を備える構成としてもよい。
[0012]
 エンジン500には、発電装置700が付設されており、発電装置700によって生成された電力がバッテリ800に蓄積される。また、エンジン500は、ECU600から供給される車速制御量に応じて回転数を制御可能に構成されている。
[0013]
 運転者の操作する操舵部材410は、ステアリングシャフト420の一端に対してトルク伝達可能に接続されており、ステアリングシャフト420の他端は、ラックピニオン機構470に接続されている。
[0014]
 ラックピニオン機構470は、ステアリングシャフト420の軸周りの回転を、ラック軸480の軸方向に沿った変位に変換するための機構である。ラック軸480が軸方向に変位すると、タイロッド及びナックルアームを介して車輪300A及び車輪300Bが転舵される。
[0015]
 トルクセンサ430は、ステアリングシャフト420に印加される操舵トルク、換言すれば、操舵部材410に印加される操舵トルクを検出し、検出結果を示すトルクセンサ信号をECU600に提供する。より具体的には、トルクセンサ430は、ステアリングシャフト420に内設されたトーションバーの捩れを検出し、検出結果をトルクセンサ信号として出力する。なお、トルクセンサ430として、ホールIC,MR素子、磁歪式トルクセンサなどの周知のセンサを用いてもよい。
[0016]
 舵角センサ440は、操舵部材410の舵角を検出し、検出結果をECU600に提供する。
[0017]
 トルク印加部460は、ECU600から供給されるステアリング制御量に応じたアシストトルク又は反力トルクを、ステアリングシャフト420に印加する。トルク印加部460は、ステアリング制御量に応じたアシストトルク又は反力トルクを発生させるモータと、当該モータが発生させたトルクをステアリングシャフト420に伝達するトルク伝達機構とを備えている。
[0018]
 なお、本明細書における「制御量」の具体例として、電流値、デューティー比、減衰率、減衰比等が挙げられる。
[0019]
 操舵部材410、ステアリングシャフト420、トルクセンサ430、舵角センサ440、トルク印加部460、ラックピニオン機構470、ラック軸480、及びECU600は、本実施形態に係るステアリング装置を構成する。
[0020]
 なお、上述の説明において「トルク伝達可能に接続」とは、一方の部材の回転に伴い他方の部材の回転が生じるように接続されていることを指し、例えば、一方の部材と他方の部材とが一体的に成形されている場合、一方の部材に対して他方の部材が直接的又は間接的に固定されている場合、及び、一方の部材と他方の部材とが継手部材等を介して連動するよう接続されている場合を少なくとも含む。
[0021]
 また、上記の例では、操舵部材410からラック軸480までが常時機械的に接続されたステアリング装置を例に挙げたが、これは本実施形態を限定するものではなく、本実施形態に係るステアリング装置は、例えばステア・バイ・ワイヤ方式のステアリング装置であってもよい。ステア・バイ・ワイヤ方式のステアリング装置に対しても本明細書において以下に説明する事項を適用することができる。
[0022]
 また、車両900は、車輪300毎に設けられ各車輪300の車輪速を検出する車輪速センサ320、車両900の横方向の加速度を検出する横Gセンサ330、車両900の前後方向の加速度を検出する前後Gセンサ340、車両900のヨーレートを検出するヨーレートセンサ350、エンジン500が発生させるトルクを検出するエンジントルクセンサ510、エンジン500の回転数を検出するエンジン回転数センサ520、及びブレーキ装置が有するブレーキ液に印加される圧力を検出するブレーキ圧センサ530を備えている。これらの各種センサから出力される情報は、CAN(Controller Area Network)370を介してECU600に供給される。
[0023]
 また、車両900は、車両900の現在位置を特定し、当該現在位置を示す現在位置情報を出力するGPS(Global Positioning System)センサ550と、目的地に関するユーザ入力を受け付け、当該目的地を示す目的地情報を出力するユーザ入力受付部560とを備えており、現在位置情報及び目的地情報も、CAN370を介してECU600に供給される。また、車両900は、後述する障害物検知部610が生成した経路情報の示す経路をユーザに対して視覚的又は聴覚的に提示する経路情報提示部を更に備える構成としてもよい。
[0024]
 また、車両900は、前方を含む車両900の周囲を所定の時間間隔毎に撮像するためのカメラ570を備えている。当該所定の時間間隔は本実施形態を限定するものではないが、一例として、カメラ570は1秒間に15回の撮像を行う。カメラ570によって撮像された撮像画像は、CAN370を介してECU600に供給される。
[0025]
 また、図示は省略するが、車両900は、ブレーキ時の車輪ロックを防ぐためのシステムであるABS(Antilock Brake System)、加速時等における車輪の空転を抑制するTCS(Traction Control System)、及び、旋回時のヨーモーメント制御やブレーキアシスト機能等のための自動ブレーキ機能を備えた車両挙動安定化制御システムであるVSA(Vehicle Stability Assist)制御可能なブレーキ装置を備えている。
[0026]
 ここで、ABS、TCS、及びVSAは、推定した車体速に応じて定まる車輪速と、車輪速センサ320によって検出された車輪速とを比較し、これら2つの車輪速の値が、所定の値以上相違している場合にスリップ状態であると判定する。ABS、TCS、及びVSAは、このような処理を通じて、車両900の走行状態に応じて最適なブレーキ制御やトラクション制御を行うことにより、車両900の挙動の安定化を図るものである。
[0027]
 車両900が備えるブレーキ装置は、ECU600から供給される車速制御量に応じて、ブレーキ動作を行うことができるよう構成されている。
[0028]
 ECU600は、車両900が備える各種の電子機器を統括制御する。例えば、ECU600は、トルク印加部460に供給するステアリング制御量を調整することにより、ステアリングシャフト420に印加するアシストトルク又は反力トルクの大きさを制御する。
[0029]
 また、ECU600は、懸架装置100に含まれる油圧緩衝装置が備えるソレノイドバルブに対して、サスペンション制御量を供給することによって当該ソレノイドバルブの開閉を制御する。この制御を可能とするために、ECU600からソレノイドバルブへ駆動電力を供給する電力線が配されている。
 (ECU600)
 以下では、参照する図面を替えて、ECU600について具体的に説明する。図2は、ECU600の概略構成を示す図である。
[0030]
 図2に示すように、ECU600は、障害物検知部(障害物検知装置)610、ステアリング制御部630、サスペンション制御部650、及び車速制御部670を備えている。
[0031]
 障害物検知部610は、カメラ570による撮像画像を参照して、障害物の有無及び位置に関する推定を行う。障害物検知部610による障害物に関する推定結果は、ステアリング制御部630、サスペンション制御部650、及び車速制御部670の少なくとも何れかに供給される。
[0032]
 ステアリング制御部630は、CAN370に含まれる各種のセンサ検出結果、及び、障害物検知部610から供給される推定結果の少なくとも何れかを参照し、トルク印加部460に供給するステアリング制御量の大きさを決定する。
[0033]
 なお、本明細書において「~を参照して」との表現には、「~を用いて」「~を考慮して」「~に依存して」などの意味が含まれ得る。
[0034]
 サスペンション制御部650は、CAN370に含まれる各種のセンサ検出結果、及び障害物検知部610から供給される推定結果の少なくとも何れかを参照し、懸架装置100に含まれる油圧緩衝装置が備えるソレノイドバルブに対して供給するサスペンション制御量の大きさを決定する。
[0035]
 車速制御部670は、CAN370に含まれる各種のセンサ検出結果、及び障害物検知部610から供給される推定結果の少なくとも何れかを参照し、エンジン500及びブレーキ装置に供給する車速制御量の大きさを決定する。
[0036]
 なお、障害物検知部610、ステアリング制御部630、サスペンション制御部650、及び車速制御部670は、それぞれ別々のECUとして実現される構成であってもよい。このような構成の場合、障害物検知部610と、ステアリング制御部630、サスペンション制御部650、及び車速制御部670とが通信手段を用いて相互に通信を行うことにより、本明細書に記載の制御が実現される。
[0037]
 (障害物検知部)
 続いて、図3を参照して、障害物検知部610についてより具体的に説明する。図3は、障害物検知部610の構成を示すブロック図である。図3に示すように、障害物検知部610は、ミラー内画像抽出部611、ミラー内画像取得部(取得部)612、障害物推定部(推定部)613、及び地図データ格納部620を備えている。地図データ格納部620には、障害物の有無及び位置を推定するために参照される地図データ4200が格納されている。
[0038]
 ミラー内画像抽出部611は、CAN370を介して取得したカメラ570による撮像画像から、ミラー内画像を抽出する。ミラー内画像抽出部611によるミラー内画像の具体的抽出処理については、後述する。
[0039]
 ミラー内画像取得部612は、ミラー内画像抽出部611が抽出したミラー内画像を取得し、取得したミラー内画像を、特徴点抽出部614に供給する。
[0040]
 障害物推定部613は、ミラー内画像取得部612が取得したミラー内画像を参照して、障害物の有無及び位置を推定する。障害物推定部613は、特徴点抽出部614、及びマッチング部615を備えている。
 特徴点抽出部614は、ミラー内画像取得部612が供給したミラー内画像から、特徴点を抽出し、マッチング部615に供給する。特徴点抽出部614によるミラー内画像の特徴点の具体的抽出処理については、後述する。
[0041]
 マッチング部615は、特徴点抽出部614が抽出したミラー内画像に含まれる特徴点を、地図データ格納部620から取得した地図データに含まれる特徴点と比較し、ミラー内画像に含まれる特徴点と地図データに含まれる特徴点との対応付け処理(マッチング処理)を行う。また、マッチング部615は、マッチング処理の結果を含む障害物に関する推定結果を出力する。なお、マッチング部615による具体的なマッチング処理については、後述する。
[0042]
 障害物推定部613は、特徴点抽出部614が抽出した1又は複数の特徴点と、地図データ4200とを比較することによって、障害物の位置を補正する。
 (ミラー内画像抽出処理)
 続いて、図4を参照して、ミラー内画像抽出部611によるミラー内画像の抽出処理について具体的に説明する。
[0043]
 図4は、カメラ570による撮像画像4000の一例を示している。撮像画像4000内には、カーブミラー4010が映っている。
[0044]
 ミラー内画像抽出部611は、例えば、以下の処理1~4を行うことによってカーブミラー4010のミラー内画像4012を抽出する。
[0045]
 (処理1)
 撮像画像4000に対して色相フィルタによる色相制限処理を適用することにより、撮像画像4000から不要な背景を削除する。
[0046]
 (処理2)
 撮像画像4000に対してエッジ検出処理及びハフ変換処理を適用することにより、カーブミラーの外縁を検出し、カーブミラーの候補を検出する。
[0047]
 (処理3)
 検出したカーブミラーの候補が複数存在する場合には、各候補の彩度、明度、形状等に関するスコアを算出し、当該スコアに応じて、カーブミラー4010を特定する。
[0048]
 (処理4)
 特定したカーブミラー4010の外縁4011によって囲まれる画像を、ミラー内画像4012として抽出する。
 (特徴点抽出処理)
 次に、図5の(a)~(d)を参照して、特徴点抽出部614による特徴点抽出処理について具体的に説明する。まず、図5の(a)に示す例では、ミラー内画像4012内に、障害物4001(図5の(a)の例では車両)、道路標識4002、車線境界線(センターライン)4003、車道外側線(サイドライン)4004~4005が映り込んでいる。
[0049]
 特徴点抽出部614は、まず、ミラー内画像4012に対して、前処理を適用することによって前処理済ミラー内画像4100を生成する。この前処理は、本実施形態を限定するものではないが、例えば、色相フィルタを適用することによる不要な背景を削除する処理、及びエッジ強調フィルタを適用することによるエッジを明確化する処理などを含み得る。なお、上述の前処理は必須ではなく、ミラー内画像4012をそのまま前処理済ミラー内画像4100として用いてもよい。
[0050]
 図5の(b)に示すように、前処理済ミラー内画像4100には、障害物4001、道路標識4002、車線境界線4003、及び車道外側線4004~4005に対応する障害物4101、道路標識4102、車線境界線4103、及び車道外側線4104~4105が含まれている。
[0051]
 続いて、特徴点抽出部614は、前処理済ミラー内画像4100に対して、フィルタ処理を施すことによって前処理済ミラー内画像4100から1又は複数の特徴点を抽出する。ここで、特徴点を抽出するためのフィルタ処理の具体的な形式は本実施形態を特定するものではないが、例えば、ソーベルフィルタ、ガウシアンフィルタ、及びラプラシアンフィルタなどの各種のフィルタを組み合わせて用いることができる。また、特徴点抽出部614は、抽出した特徴点を参照して、特徴量を算出する構成としてもよい。
 特徴点抽出部614による具体的な特徴点抽出処理及び特徴量算出処理として例えば以下の手法が挙げられる。ただし、これらは本実施形態を限定するものではない。
[0052]
 ・MSER(Maximally Stable Extermal Regions)
 ・FAST(Features from Accelerated Segment Test)
 ・Harris point、ORB(Oriented-BRIEF)
 ・SIFT(Scale-Invariant Feature Transform)
 ・SURF(Speed-Up Robust Features)
 なお、ORB、SIFT、およびSURFでは、特徴点の抽出に加えて、特徴量の算出まで行うことができる。一方、MSER、FAST、およびHarris pointを用いる場合は、例えば、特徴点の抽出を行った後、ORB、SIFT、およびSURFなどを用いて特徴量の算出を行えばよい。
[0053]
 一例として、SIFTを用いて特徴点抽出処理を行う場合、特徴点抽出部614は、まず、前処理済ミラー内画像4100にガウシアンフィルタを適用して、平均化処理を行う。続いて特徴点抽出部614は、平均化処理後の画像データに対して二次微分を適用することにより特徴点を抽出する。
[0054]
 また、一例としてSIFTを用いて特徴量算出処理を行う場合、特徴点抽出部614は、抽出した特徴点の周囲の輝度変化から、最も輝度変化が大きい向き(輝度勾配が最大となる向き)を検出し、検出した向きを示す情報を当該特徴点に関連付ける。次に、特徴点抽出部614は、当該特徴点の向きを参照して特徴量を算出する。
 なお、特徴点抽出部614が抽出する特徴点の数は、複数であることが好ましい。特徴点抽出部614が複数の特徴点を抽出することにより、後述するマッチング処理の精度を向上させることができるので、障害物の位置をより精度よく補正することができる。
 図5の(d)には、特徴点抽出部614が、前処理済ミラー内画像4100に含まれる道路標識4102、車線境界線4103、及び車道外側線4104から、それぞれ、特徴点4302、特徴点4303、及び特徴点4304を抽出した場合の例が示されている。
[0055]
 また、特徴点抽出部614は、前処理済ミラー内画像4100における障害物4101を検出し、検出した障害物4101の位置を特定する。障害物4101の検出は、上述した特徴点抽出処理により行うことができる。また、障害物4101の位置の特定は、例えば、前処理済ミラー内画像4100における障害物4101の座標を特定することにより、又は、抽出した1又は複数の特徴点のそれぞれからの相対座標を特定することにより行われる。
[0056]
 特徴点抽出部614は、図5の(c)に例示した地図データ4200に対しても同様に特徴点抽出処理を適用し、地図データ4200から1又は複数の特徴点を抽出し、抽出した特徴点を参照して特徴量を算出する。
[0057]
 図5の(c)~(d)には、特徴点抽出部614が、地図データ4200に含まれる道路標識4202、車線境界線4203、及び車道外側線4204から、それぞれ、特徴点4312、特徴点4313、及び特徴点4314を抽出した場合の例が示されている。
[0058]
 (マッチング処理)
 マッチング部615は、前処理済ミラー内画像4100から抽出した1又は複数の特徴点を参照して算出した特徴量と、地図データ4200から抽出した1又は複数の特徴点を参照して算出した特徴量とを用いてマッチング処理を行う。
 なお、マッチング部615は、1又は複数の特徴点を含む前処理済ミラー内画像4100に対して、回転処理、拡大処理、縮小処理、及び平行移動処理の少なくとも何れかを適用することによって、前処理済ミラー内画像4100に含まれる1又は複数の特徴点を参照して算出した特徴量と、地図データ4200に含まれる1又は複数の特徴点を参照して算出した特徴量との一致度を最大化させることによりマッチング処理を行う構成としてもよい。この処理は、例えば、前処理済ミラー内画像4100に含まれる1又は複数の特徴点のそれぞれの位置と、地図データ4200に含まれる1又は複数の特徴点のそれぞれの位置とのずれを表す指標を最小化することによって行われる。ここで、前処理済ミラー内画像に含まれる特徴点の一部が過剰にずれている場合には、その過剰にずれている点を無視してずれを表す指標を最小化してもよい。
[0059]
 マッチング部615は、上述のマッチング処理を行うことによって、前処理済ミラー内画像4100に含まれる各物体の位置と、地図データ4200に含まれる各物体の位置とを対応付ける。また、上述のマッチング処理において、特徴点同士を対応付けるために用いたパラメータであるマッチングパラメータが特定される。ここで、マッチングパラメータは、一例として、上述した回転処理、拡大処理、縮小処理、及び平行移動処理の少なくとも何れかに関するパラメータを含み得る。
[0060]
 図5の(d)には、前処理済ミラー内画像4100に含まれる特徴点4302、特徴点4303、及び特徴点4304と、地図データ4200に含まれる特徴点4312、特徴点4313、及び特徴点4314とをそれぞれマッチングする場合が模式的に示されている。図5の(d)に示すように、特徴点4302が特徴点4312に対応付けられ、特徴点4303が特徴点4313に対応付けられ、特徴点4304が特徴点4314に対応付けられる。
[0061]
 また、マッチング部615は、前処理済ミラー内画像4100に含まれる障害物4101の、地図データ4200内における位置を推定する。地図データ4200内における障害物の位置の推定は、障害物4101の前処理済ミラー内画像4100における位置を、上述したマッチングパラメータを用いて変換することによって行われる。
[0062]
 また、マッチング部615は、前処理済ミラー内画像4100から抽出した特徴点のうち、所定の割合以上の特徴点(例えば95%以上)が、地図データ4200に含まれる特徴点に対応付けられる場合、前処理済ミラー内画像4100には障害物が存在しないと推定する。
 マッチング部615は、地図データ4200内における障害物の有無及び位置に関する情報を、障害物に関する推定結果として出力する。
[0063]
 図5の(a)~(d)に示す例では、マッチング部615は、前処理済ミラー内画像4100に含まれる障害物4101の位置を、地図データ4200内において障害物4301として示した位置に特定しており、マッチング部615は、地図データ4200内における障害物4301の位置を含む情報を、当該障害物に関する推定結果として出力する。
[0064]
 なお、上述のマッチング処理により、ミラー内画像4012の歪みも解消される。換言すれば、上述のマッチング処理により、ミラー内画像4012の歪みに起因した障害物の位置のずれも補正される。ここで、当該ミラー内画像4012の歪みには、カーブミラー4010の鏡面が平面ではないことに起因した歪み、カーブミラー4010の鏡面のサイズに起因した歪み、及び、ミラー内画像4012がカーブミラー4010を正面視した画像ではないことに起因する歪み(換言すればカーブミラー4010の取り付け角に起因した歪み)等が含まれ得る。
[0065]
 したがって、マッチング部615によるマッチング処理は、ミラー内画像4012から抽出された1又は複数の特徴点と、地図データ4200とを比較することによって、前記障害物の位置を補正する処理であると表現することもできる。
 (障害物検知処理の流れ)
 続いて、図6を参照して、障害物検知部610による障害物の有無及び位置の推定処理の流れについて説明する。図6は、障害物検知部610による障害物の有無及び位置の推定処理の流れを示すフローチャートである。
[0066]
 (ステップS100)
 まず、ステップS100において、車両900に備えられたカメラ570が、前方を含む車両900の周囲を撮像する。撮像画像を示すデータはCAN370を介して障害物検知部610に供給される。
[0067]
 (ステップS101)
 続いて、ステップS101において、ミラー内画像抽出部611が、撮像画像から、ミラー内画像を抽出する。ミラー内画像の抽出処理については上述したためここでは説明を省略する。
[0068]
 (ステップS102)
 続いて、ステップS102において、ミラー内画像取得部612が、ステップS101において抽出されたミラー内画像を取得する。そして取得したミラー内画像を特徴点抽出部614に供給する。
[0069]
 (ステップS103)
 続いて、ステップS103において、特徴点抽出部614が、ミラー内画像および地図データから、それぞれ1又は複数の特徴点を抽出する。特徴点の抽出処理については上述したためここでは説明を省略する。
[0070]
 (ステップS104)
 続いて、ステップS104において、マッチング部615が、ミラー内画像から抽出した特徴点と、地図データの特徴点とをマッチングする。特徴点のマッチング処理については上述したためここでは説明を省略する。
[0071]
 (ステップS105)
 続いて、ステップS105において、マッチング部615は、地図データ4200内における障害物の有無及び位置を推定する。具体的な障害物の有無及び位置の推定処理については上述したためここでは説明を省略する。
[0072]
 (ステップS106)
 続いて、ステップS106において、マッチング部615は、ステップS106にて推定した障害物の有無及び位置に関する推定結果を、ステアリング制御部630、サスペンション制御部650、及び車速制御部670に供給する。
[0073]
 障害物検知部610は、上述したステップS100~S105の各処理を複数回実行したうえで、推定結果を出力する構成としてもよい。換言すれば、障害物推定部613は、撮像時刻が互いに異なる複数のミラー内画像を参照して、前記障害物の位置を推定する構成としてもよいし、撮像位置が互いに異なる複数のミラー内画像を参照して、前記障害物の有無及び位置を推定する構成としてもよい。
[0074]
 ステップS100~S105の各処理を複数回実行することにより、撮像場所が互いに異なる複数のミラー内画像を参照して障害物の位置を推定するので、障害物の位置の推定精度を高めることができる。
[0075]
 また、ステップS100~S105の各処理を複数回実行することにより、撮像時刻が互いに異なる複数のミラー内画像を参照することができるので、障害物が移動中の物体である場合、当該障害物の移動方向、及び当該障害物の移動の速さを推定することもできる。障害物検知部610は、このようにして推定した障害物の移動方向、及び移動の速さも上記推定結果に含めて出力する。
 なお、上述の説明において、一枚のミラー内画像に、特徴点と障害物とが同時に映っている必要はない。車両900及び障害物の少なくとも何れかが移動している間、複数の撮像画像を撮像し、これら複数の撮像画像を参照した障害物の推定処理を行うことにより、カーブミラーに映り込み得るより広い範囲における特徴点をより多く抽出し、障害物についての推定処理に用いることができるので、推定精度の向上を図ることができる。
[0076]
 また、障害物検知部610は、障害物の位置、障害物の移動方向、障害物の移動の速さを推定する処理において、操舵部材410の操舵に関する情報である操舵情報を更に参照して、障害物の位置、障害物の移動方向、障害物の移動の速さを推定する構成としてもよい。このような構成とすることにより、推定精度を更に向上させることができる。
[0077]
 <推定結果に応じた車両制御>
 以下では、障害物検知部610による推定結果を参照したECU600による車両900の制御例1~2について説明する。ECU600は制御例1と制御例2とを組み合わせた制御を行ってもよい。
[0078]
 (制御例1)
 ECU600は、障害物検知部610による推定結果が示す障害物の位置が危険な位置であると判定した場合、車両900を停車させる。より具体的には、車速制御部670は、障害物検知部610による推定結果を参照し、当該推定結果が示す障害物の位置が危険な位置であるか否かを判定する。危険な位置であると判定した場合、車速制御部670は、車速制御量を変更することにより車両900を停車させる。また、サスペンション制御部650は、車両900がより安定的に停車できるようサスペンション制御量を調整する。
[0079]
 なお、車速制御部670は、車両900の現在位置を示す現在位置情報を更に参照して、車速制御量を変更してもよい。これにより、車両制御の精度を向上させることができる。
[0080]
 (制御例2)
 ECU600は、障害物検知部610による推定結果が示す障害物の位置が危険な位置であると判定した場合、当該障害物を回避するよう車両900を制御する。より具体的には、ステアリング制御部630は、障害物検知部610による推定結果を参照し、当該推定結果が示す障害物の位置が危険な位置であるか否かを判定する。危険な位置であると判定した場合、ステアリング制御部630は、ステアリング制御量を変更することにより車両900が障害物を回避するよう制御する。また、また、サスペンション制御部650は、車両900がより安定的に障害物を回避できるようサスペンション制御量を調整する。
[0081]
 なお、ステアリング制御部630は、車両900の現在位置を示す現在位置情報を更に参照して、ステアリング制御量を変更してもよい。これにより、車両制御の精度を向上させることができる。
[0082]
 〔実施形態2〕
 以下、参照する図面を替えて、本発明の実施形態2について、詳細に説明する。以下の説明では、上記実施形態において既に説明した部材については同じ参照符号を付して説明を省略し、上記実施形態とは異なる点について説明を行う。
[0083]
 図7は、本実施形態に係る車両システム(障害物検知システム)2000の要部構成を示す図である。車両システム2000は、車両900とサーバ1000とを有する。車両900は、車両900を制御するECU600aと、サーバ1000と車両900との間のデータのやり取りを行う送受信部910とを備えている。
[0084]
 サーバ1000は、障害物検知部610を備えた制御部1200と、サーバ1000と車両900との間のデータのやり取りを行う送受信部1100とを備えている。本実施形態においては、サーバ1000が障害物検知部610を備え、実施形態1において説明したミラー内画像抽出処理、特徴点抽出処理、マッチング処理、並びに、障害物の有無及び位置の推定処理を行い、推定結果がサーバ1000から車両900に送信される構成である。
[0085]
 図8は、本実施形態に係る車両システム2000による障害物検知のシーケンス図である。
[0086]
 (ステップS110)
 実施形態1のステップS100と同様、ステップS110において、車両900に備えられたカメラ570が、前方を含む車両900の周囲を撮像する。撮像画像を示すデータはCAN370を介して送受信部910に供給される。
[0087]
 (ステップS111)
 続いて、ステップS111において、送受信部910が、撮像画像を、サーバ1000の送受信部1100に送る。
[0088]
 (ステップS112)
 続いて、ステップS112において、送受信部1100が、ステップS111において、送受信部910が送った撮像画像を受け取る。そして取得した撮像画像を障害物検知部610に供給する。
[0089]
 (ステップS113)
 続いて、ステップS113において、障害物検知部610がミラー内画像抽出処理を行う。ミラー内画像抽出処理の具体的な内容は実施形態1と同様である。
[0090]
 (ステップS114)
 続いて、ステップS114において、障害物検知部610がミラー内画像取得処理を行う。ミラー内画像取得処理の具体的な内容は実施形態1と同様である。
[0091]
 (ステップS115)
 続いて、ステップS115において、障害物検知部610が特徴点抽出処理を行う。特徴点抽出処理の具体的な内容は実施形態1と同様である。
[0092]
 (ステップS116)
 続いて、ステップS116において、障害物検知部610がマッチング処理を行う。マッチング処理の具体的な内容は実施形態1と同様である。
[0093]
 (ステップS117)
 続いて、ステップS117において、障害物検知部610が障害物の有無及び位置の推定処理を行う。具体的な障害物の有無及び位置の推定処理は実施形態1と同様である。
[0094]
 (ステップS118)
 続いて、ステップS118において、障害物検知部610のマッチング部615は、ステップS117にて推定した障害物の有無及び位置に関する推定結果を、送受信部1100に供給する。
[0095]
 (ステップS119)
 続いて、ステップS119において、送受信部1100が、推定結果を車両900の送受信部910に送る。
[0096]
 (ステップS120)
 続いて、ステップS120において、車両900の送受信部910が、推定結果を送受信部1100から受け取る。送受信部910は、推定結果をECU600aに供給する。
[0097]
 (ステップS121)
 続いて、ステップS121において、ECU600aは、推定結果を参照して、実施形態1において説明したように推定結果に応じた車両制御を行う。
[0098]
 本実施形態では、ミラー内画像抽出処理、特徴点抽出処理、マッチング処理、並びに、障害物の有無及び位置の推定処理がサーバ1000において行われるため、ECU600aを比較的簡易な構成によって実現できる。また、ECU600aが地図データを保持しなくてもよいのでECU600aにおけるメモリ負荷が低減される。
[0099]
 〔実施形態3〕
 以下、参照する図面を替えて、本発明の実施形態3について、詳細に説明する。以下の説明では、上記実施形態において既に説明した部材については同じ参照符号を付して説明を省略し、上記実施形態とは異なる点について説明を行う。
[0100]
 図9は、本実施形態に係る車両システム(障害物検知システム)3000の要部構成を示す図である。車両システム3000は、車両900とサーバ1000とを有する。車両900は、車両900を制御するECU600b及び送受信部910を備えており、ECU600bは、障害物検知部610a、ステアリング制御部630、サスペンション制御部650、及び車速制御部670を備えている。
[0101]
 サーバ1000は、障害物検知部610bを備えた制御部1200bと、送受信部1100とを備えている。
[0102]
 本実施形態においては、車両900及びサーバ1000が、それぞれ障害物検知部610a及び610bを備えており、実施形態1において説明した障害物検知部610による各処理が、本実施形態では、障害物検知部610a及び610bによって分散処理される。
[0103]
 一例として、以下では、車両900が、実施形態1において説明したミラー内画像抽出処理、及び特徴点抽出処理を行い、特徴点のデータをサーバ1000に送信し、サーバ1000が、受け取った特徴点のデータを用いて、実施形態1において説明したマッチング処理、及び障害物の有無及び位置の推定処理を行い、推定結果を車両900に送信する構成について説明する。
[0104]
 図10は、本実施形態に係る車両システム3000による障害物検知のシーケンス図である。
[0105]
 (ステップS130)
 まず、ステップS130において、車両900に備えられたカメラ570が、前方を含む車両900の周囲を撮像する。撮像画像を示すデータはCAN370を介して障害物検知部610aに供給される。
[0106]
 (ステップS131)
 続いて、ステップS131において、障害物検知部610aがミラー内画像抽出処理を行う。ミラー内画像抽出処理の具体的な内容は実施形態1と同様である。
[0107]
 (ステップS132)
 続いて、ステップS132において、障害物検知部610aがミラー内画像取得処理を行う。ミラー内画像取得処理の具体的な内容は実施形態1と同様である。
[0108]
 (ステップS133)
 続いて、ステップS133において、障害物検知部610aが、ミラー内画像から1又は複数の特徴点を抽出する。特徴点の抽出処理については上述したためここでは説明を省略する。障害物検知部610aは、抽出した特徴点を示すデータを、送受信部910に供給する。
[0109]
 (ステップS134)
 続いて、ステップS134において、送受信部910は、サーバ1000の送受信部1100に、ステップ133にて抽出した特徴点を示すデータを送る。
[0110]
 (ステップS135)
 続いて、ステップS135において、送受信部1100は、送受信部910から供給された特徴点を示すデータを受け取る。送受信部1100は、特徴点を示すデータを、障害物検知部610bに供給する。
[0111]
 (ステップS136)
 続いて、ステップS136において、障害物検知部610bがマッチング処理を行う。ここで、マッチング処理に用いられる地図データの特徴点は、障害物検知部610aによって抽出されたものでもよいし、障害物検知部610bによって抽出されたものでもよい。また、マッチング処理の具体的な内容は実施形態1と同様である。
[0112]
 (ステップS137)
 続いて、ステップS137において、障害物検知部610bが障害物の有無及び位置の推定処理を行う。障害物の有無及び位置の推定処理の具体的な内容は実施形態1と同様である。
[0113]
 (ステップS138)
 続いて、ステップS138において、障害物検知部610bは、ステップS137にて推定した障害物の有無及び位置に関する推定結果を、送受信部1100に供給する。
[0114]
 (ステップS139)
 続いて、ステップS139において、送受信部1100は、推定結果を車両900が備える送受信部910に送る。
[0115]
 (ステップS140)
 続いて、ステップS140において、送受信部910は、送受信部1100から、推定結果を受け取る。送受信部910は、推定結果をECU600bに供給する。
[0116]
 (ステップS141)
 続いて、ステップS141において、ECU600bは、推定結果を参照して、実施形態1において説明したように推定結果に応じた車両制御を行う。
[0117]
 本実施形態では、マッチング処理、並びに、障害物の有無及び位置の推定処理がサーバ1000において行われるため、ECU600bを比較的簡易な構成によって実現できる。また、ECU600bが地図データを保持することは必須ではないのでECU600bにおけるメモリ負荷を図ることもできる。
[0118]
 なお、本実施形態において説明した分散処理はあくまで一例であり、本明細書に記載の発明を限定するものではない。例えば、ミラー内画像取得部612、障害物推定部613、及び特徴点抽出部614の何れか又はそれらの組み合わせを、車両900側に設ける構成とし、ミラー内画像取得処理、障害物検知処理、及び特徴点抽出処理の何れか又はそれらの組み合わせを車両900側で行う構成としてもよい。
[0119]
 〔実施形態4〕
 上述の実施形態1~3では、車両900において撮像された撮像画像を参照した障害物に関する推定結果を、車両900で用いる構成を例に挙げたが、これは本明細書に記載の発明を限定するものではない。
[0120]
 例えば、実施形態1~3は、車両900において撮像された撮像画像を参照した障害物に関する推定結果を、他の車両に供給する構成としてもよい。このような構成は、例えば、複数の車両と通信可能に構成されているサーバを用いることによって可能となる。より具体的な例を挙げれば、実施形態2において説明したサーバ1000を、車両900以外の1又は複数の車両とも通信可能に構成しておき、車両900にて撮像された撮像画像を参照してECU600にて推定した障害物に関する推定結果(障害物の位置に関する情報)を記録し、記録した推定結果を車両900以外の1又は複数の車両に送信する構成としてもよい。また、推定結果を受信した車両は、当該推定結果に応じた車両制御を行うように構成されていてもよいし、推定結果を受信した車両が、当該推定結果を参照して当該障害物の位置を推定し、当該推定結果に応じて車両制御を行うように構成されていてもよい。
[0121]
 このように、推定結果を複数の車両で共有することにより、推定結果をより有効に活用することができる。
[0122]
 〔ソフトウェアによる実現例〕
 ECU600、600a、600b、制御部1200、1200bとして記載した制御ブロック(特に、障害物検知部610、610a、610b、ステアリング制御部630、サスペンション制御部650、車速制御部670)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
[0123]
 後者の場合、ECU600、600a、600b、制御部1200、1200bは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
[0124]
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

符号の説明

[0125]
 600 ECU(制御部)
 610 障害物検知部
 612 ミラー内画像取得部(取得部)
 613 障害物推定部(推定部)
 630 ステアリング制御部
 650 サスペンション制御部
 670 車速制御部
 900 車両

請求の範囲

[請求項1]
 カーブミラーに映ったミラー内画像を取得する取得部と、
 前記ミラー内画像を参照して、障害物の位置を推定する推定部と、
を備えていることを特徴とする障害物検知装置。
[請求項2]
 前記推定部は、前記ミラー内画像から抽出された1又は複数の特徴点と、地図データとを比較することによって、前記障害物の位置を補正する請求項1に記載の障害物検知装置。
[請求項3]
 前記推定部は、複数の前記特徴点を用いて、前記障害物の位置を補正する請求項2に記載の障害物検知装置。
[請求項4]
 前記推定部は、撮像時刻が互いに異なる、複数の前記ミラー内画像を参照して、前記障害物の位置を推定する請求項1から3の何れか1項に記載の障害物検知装置。
[請求項5]
 前記推定部は、前記障害物の移動速度及び移動方向の少なくとも何れかをも推定する請求項4に記載の障害物検知装置。
[請求項6]
 前記推定部は、撮像位置が互いに異なる、複数の前記ミラー内画像を参照して、前記障害物の位置を推定する請求項1から5の何れか1項に記載の障害物検知装置。
[請求項7]
 前記推定部は、他の車両が備える障害物検知装置から取得した前記障害物の位置に関する情報を参照して、前記障害物の位置を推定する請求項1から6の何れか1項に記載の障害物検知装置。
[請求項8]
 請求項1から7の何れか1項に記載の障害物検知装置を備えた車両。
[請求項9]
 制御部を備え、
 前記制御部は、前記障害物が危険な位置にあると判定した場合には、当該車両を停車させる請求項8に記載の車両。
[請求項10]
 制御部を備え、
 前記制御部は、前記障害物が危険な位置にあると判定した場合には、前記障害物を回避するように当該車両を制御する請求項8に記載の車両。
[請求項11]
 カーブミラーに映ったミラー内画像を取得する取得部と、
 前記ミラー内画像から1又は複数の特徴点を抽出する抽出部と、
 前記抽出部によって抽出された1又は複数の特徴点と、地図データとを比較することによって、障害物の位置を推定する推定部と、
を備えている障害物検知システム。
[請求項12]
 複数の車両と通信可能なサーバを備え、
 前記サーバは、複数の車両から得られた前記障害物の位置に関する情報を記録し、複数の車両に対して、前記障害物の位置に関する情報を送信する請求項11に記載の障害物検知システム。

補正された請求の範囲(条約第19条)
[ 2018年1月15日 ( 15.01.2018 )  国際事務局受理 ]

[1]
[補正後] カーブミラーに映ったミラー内画像を取得する取得部と、
 前記ミラー内画像を参照して、障害物の位置を推定する推定部とを備え、
 前記推定部は、前記ミラー内画像から抽出された1又は複数の特徴点と、地図データとを比較することによって、前記障害物の位置を補正する障害物検知装置。
[2]
[削除]
[3]
[補正後] 前記推定部は、複数の前記特徴点を用いて、前記障害物の位置を補正する請求項1に記載の障害物検知装置。
[4]
[補正後] 前記推定部は、撮像時刻が互いに異なる、複数の前記ミラー内画像を参照して、前記障害物の位置を推定する請求項1または3に記載の障害物検知装置。
[5]
 前記推定部は、前記障害物の移動速度及び移動方向の少なくとも何れかをも推定する請求項4に記載の障害物検知装置。
[6]
[補正後] 前記推定部は、撮像位置が互いに異なる、複数の前記ミラー内画像を参照して、前記障害物の位置を推定する請求項1、3~5の何れか1項に記載の障害物検知装置。
[7]
[補正後] 前記推定部は、他の車両が備える障害物検知装置から取得した前記障害物の位置に関する情報を参照して、前記障害物の位置を推定する請求項1、3~6の何れか1項に記載の障害物検知装置。
[8]
[補正後] 請求項1、3~7の何れか1項に記載の障害物検知装置を備えた車両。
[9]
 制御部を備え、
 前記制御部は、前記障害物が危険な位置にあると判定した場合には、当該車両を停車させる請求項8に記載の車両。
[10]
 制御部を備え、
 前記制御部は、前記障害物が危険な位置にあると判定した場合には、前記障害物を回避するように当該車両を制御する請求項8に記載の車両。
[11]
 カーブミラーに映ったミラー内画像を取得する取得部と、
 前記ミラー内画像から1又は複数の特徴点を抽出する抽出部と、
 前記抽出部によって抽出された1又は複数の特徴点と、地図データとを比較することによって、障害物の位置を推定する推定部と、
を備えている障害物検知システム。
[12]
 複数の車両と通信可能なサーバを備え、
 前記サーバは、複数の車両から得られた前記障害物の位置に関する情報を記録し、複数の車両に対して、前記障害物の位置に関する情報を送信する請求項11に記載の障害物検知システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]