処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2010070920 - 車両周囲画像生成装置

Document

明 細 書

発明の名称 車両周囲画像生成装置

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058  

産業上の利用可能性

0059  

符号の説明

0060  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19  

明 細 書

発明の名称 : 車両周囲画像生成装置

技術分野

[0001]
 本発明は、複数の車載カメラと接続可能に構成され、車両の運転手が車両周囲の状況を確認可能な画像を生成する車両周囲画像生成装置に関する。

背景技術

[0002]
 上記のような車両周囲画像生成装置の例示として、以下のような駐車支援装置がある。この駐車支援装置は、車載カメラを用いて、車両上方から見下ろしたときの該車両周辺の状況、特に駐車枠の状況を示す俯瞰画像を作成する。より具体的には、駐車支援装置は、運転手が目標駐車枠、つまり、これから車両を駐車させようとする駐車枠の位置及び方向を運転手が指定する操作を直感的に行えるようにする為、枠図形を俯瞰画像における駐車枠位置に重畳表示する。これによって、目標駐車枠が運転手に教示される(例えば、特許文献1を参照)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2007-230371号公報(第5-7頁、第1図)

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、俯瞰画像では立体物が歪んで表示されるので、運転手は、表示された俯瞰画像を見ても、駐車枠内に存在する立体物をはっきりと認識できないという問題点がある。
[0005]
 それゆえに、本発明の目的は、運転手が目標駐車枠内の状況をより明確に認識可能にする車両周囲画像生成装置を提供することである。

課題を解決するための手段

[0006]
 上記目的を達成するために、本発明は、車両に取り付けられる複数のカメラと接続可能な車両周囲画像生成装置であって、車両の目標駐車枠を特定する駐車枠特定部と、特定された目標駐車枠に基づき、複数のカメラから、該目標駐車枠の撮影に適した少なくとも1つのカメラを選択し、選択したカメラからの撮影画像を選択する選択部と、選択されたカメラによる撮影画像を使って、特定された目標駐車枠の状況を表す表示用画像を生成する描画部とを備える。

発明の効果

[0007]
 上記の通り、本発明は、特定された駐車枠に基づき選ばれたカメラからの画像を用いて、その駐車枠の状況を表す表示用画像を生成する。この表示用画像は、選択されたカメラからの画像を用いているので、特定された駐車枠内及び/又は駐車枠周辺に映り得る立体物の歪みを相対的に小さくすることができる。このように、本発明によれば、駐車枠内の立体物の歪みを小さくできる表示用画像を生成するので、これが表示された場合、運転手は目標駐車枠内及び/又は目標駐車枠周辺の状況をより明確に認識することができる。

図面の簡単な説明

[0008]
[図1] 本発明の第1の実施形態に係る車両周囲画像表示システム1の全体構成を示すブロック図
[図2] 図1に示すカメラ2a~2dの、車両αへの取り付け例を示す模式図
[図3] 図1に示すカメラ2a~2dからの撮影画像CPa~CPdの一例を示す模式図
[図4] 図1に示す車両周囲画像生成装置3の詳細な構成を示すブロック図
[図5] 図1に示す車両周囲画像表示システム1の処理の流れを示すフローチャート
[図6] 図5のステップS308で生成された俯瞰画像LDPの一例を表す模式図
[図7] 図5のステップS309で得られた最適撮影画像ATPの一例を示す模式図
[図8] 図8Aは、図5のステップS310で生成された表示用画像DPである俯瞰画像LDPの一例を示す模式図、図8Bは、図5のステップS310で生成された表示用画像DPである最適撮影画像ATPの一例を示す模式図
[図9] 図9Aは、目標駐車枠TPLと車両αとの位置関係の一例を示す模式図、図9Bは、目標駐車枠TPLと車両αとの位置関係の他の例を示す模式図
[図10] カメラ2bからの距離に相関する、立体物MMSの倒れ込みを示す模式図
[図11] 図11Aは、ステップS309における最適カメラの選択基準である、目標駐車枠TPLと各カメラ2a~2dとの位置関係の第1例を示す模式図、図11Bは、ステップS309における最適カメラの選択基準である、目標駐車枠TPLと各カメラ2a~2dとの位置関係の第2例を示す模式図、図11Cは、ステップS309における最適カメラの選択基準である、目標駐車枠TPLと各カメラ2a~2dとの位置関係の第3例を示す模式図、図11Dは、ステップS309における最適カメラの選択基準である、目標駐車枠TPLと各カメラ2a~2dとの位置関係の第4例を示す模式図
[図12] 図12Aは、目標駐車枠TPLがオーバーラップ領域に存在する場合における最適カメラの選択手法の第1例を示す模式図、図12Bは、目標駐車枠TPLがオーバーラップ領域に存在する場合における最適カメラの選択手法の第2例を示す模式図
[図13] 図5のステップS310で生成された表示用画像DPの代替例を示す模式図
[図14] 本発明の第2の実施形態に係る車両周辺画像表示システム1aの全体構成を示すブロック図
[図15] 図14に示す車両周囲画像生成装置3aの詳細な構成を示すブロック図
[図16] 図14に示す車両周囲画像表示システム1aの処理の流れを示すフローチャート
[図17] 図17Aは、俯瞰画像LDPを用い、さらに障害物アイコンOBSが重畳された表示用画像DPの一例を示す模式図、図17Bは、最適撮影画像ATPを用い、さらに障害物アイコンOBSが重畳された表示用画像DPの一例を示す模式図
[図18] 図15に示す付加画像描画部35が保持するテーブル351を示す模式図
[図19] 目標駐車枠TPLの近くに移動する障害物Xが存在する場合における接近度の判定手法を示す模式図

発明を実施するための形態

[0009]
 以下、本発明を実施するための最良の形態に係る車両周囲画像表示システムについて、図面を用いて説明する。
[0010]
(第1の実施形態)
 図1は、本発明の第1の実施形態に係る車両周囲画像表示システム1の全体構成を示すブロック図である。図1において、車両周囲画像表示システム1は、例えば4個のカメラ2a,2b,2c,2dと、車両周囲画像生成装置3と、表示装置4とを備えている。
[0011]
 カメラ2a~2dは、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)のような固体撮像素子を有している。カメラ2a~2dは、カラー画像又はモノクロ画像を撮像可能なデジタルカメラである。また、これらカメラ2a~2dは、さらに好ましくは、例えば魚眼レンズのような広視野角(広画角)のレンズを有しており、車両α(図2参照)の周囲を広範囲にわたって撮影できることが好ましい。
[0012]
 図2に示すように、カメラ2a~2dは車両αの周囲に取り付けられる。具体例として、本実施形態では、車両の前方に向けられかつ路面に対しそれぞれの光軸が所定の俯角で交わるように、カメラ2aは車両αの前端中央に取り付けられる。また、残りのカメラ2b,2c,2dは、車両αの左側、後端中央、右側に、車両の左側方、後方、右側方に向けて取り付けられる。カメラ2b,2c,2dもまた、それぞれの光軸が路面と所定の俯角で交わるように取り付けられる。
[0013]
 また、図2は、車両αの周辺領域において、カメラ2a~2dが撮像する範囲を模式的に示している。カメラ2aは、車両αの前方の撮像範囲CAMaの状況を撮影して、撮影画像CPaを示す画像データを生成する。カメラ2bは、車両αの左側方の撮像範囲CAMbを撮影して、撮影画像CPbを示す画像データを生成する。カメラ2cは、車両αの後方の撮像範囲CAMcを撮影して、撮影画像CPcを示す画像データを生成する。さらに、カメラ2dは、車両αの右側方の撮像範囲CAMdを撮影して、撮影画像CPdを示す画像データを生成する。これら撮影画像CPa~CPdは、図3に例示される。撮影画像CPa~CPdをそれぞれ示す画像データは、車両周囲画像生成装置3(図1参照)に伝送路を介して送信される。なお、以下の説明では、車両周囲画像表示システム1において処理(生成、送信、バッファへの格納等)される「画像を示す画像データ」を、説明簡略化のため単に「画像」と呼ぶ。
[0014]
 ここで、再度図2を参照する。カメラ2a~2dにより、車両αの全周囲をカバーするために、撮像範囲CAMaは撮像範囲CAMbと重なり合う。同様の観点から、撮像範囲CAMb及び撮像範囲CAMcも、撮像範囲CAMc及び撮像範囲CAMdも、撮像範囲CAMd及び撮像範囲CAMaも重なり合う。以降、撮像範囲CAMa,CAMbの重なり部分をオーバーラップ領域Faと呼ぶ。同様に、撮像範囲CAMb,CAMcの重なり部分、撮像範囲CAMc,CAMdの重なり部分、及び撮像範囲CAMd,CAMaの重なり部分をそれぞれ、オーバーラップ領域Fb,Fc,Fdと呼ぶ。
[0015]
 ここで、各種画像を生成する為に、各カメラ2a~2dの位置及び姿勢(向き)と、各カメラ2a~2dのレンズの歪みとを表すカメラパラメータが、実測等により予め取得されており、車両周囲画像生成装置3に保持されていることが望ましい。また、これらカメラパラメータについては、キャリブレーション用のターゲット(マーク)を用いて算出されても構わない。
[0016]
 再度図1を参照する。車両周囲画像生成装置3は、例えばECU(Electronic Control Unit)であり、プロセッサ、不揮発性メモリ等を含んでいる。図4に示すように、車両周囲画像生成装置3は、カメラの個数と同数の入力バッファ31a,31b,31c,31dと、俯瞰画像生成部32と、駐車枠特定部33と、撮影画像選択部34と、付加画像描画部35と、出力バッファ36とを備えている。本実施形態では、俯瞰画像生成部32と、駐車枠特定部33と、撮影画像選択部34と、付加画像描画部35とは、上記不揮発性メモリに予め蓄積されたソフトウェアを実行するプロセッサにより実現されるとする。このような車両周囲画像生成装置3は、後段の表示装置4により出力される表示用画像DPを生成する。
[0017]
 再度、図1を参照する。車両周囲画像生成装置3には、表示装置4も伝送路を介して接続されている。表示装置4は、例えば液晶ディスプレイであり、車両周囲画像生成装置3で生成された表示用画像DPを表示する。
[0018]
 次に、図5を参照して、上記のような構成の車両周囲画像表示システム1の処理の流れを説明する。
[0019]
 図5において、まず、駐車枠特定部33は、駐車枠検出の開始トリガーを受け付ける(図5;ステップS301)。このトリガーの例としては、特定のシフト位置情報及び操作情報が入力された場合がある。シフト位置情報は、車両のシフト位置を示す情報であり、例えばリバースレンジを示すシフト位置情報が入力された場合に、駐車枠特定部33は開始トリガーを受け付けたと判断する。また、操作情報は、本車両周囲画像表示システム1に設けられた物理的なボタン(図示を省略)又はグラフィカルなボタン(図示を省略)が運転手により操作されたことを示す情報である。駐車枠特定部33は、例えば、それらボタンの一つである駐車枠検出ボタンが押下されたことを示す操作情報が入力された場合に、開始トリガーを受け付けたと判断する。
[0020]
 カメラ2a~2dは、図4に示すように、入力バッファ31a~31dと接続される。カメラ2a~2dによる撮影画像CPa~CPdは、遅くとも駐車枠特定部33が開始トリガーを受け付けると、入力バッファ31a~31dに定期的に格納され始める。ステップS301の次に、駐車枠特定部33は、入力バッファ31a~31dに格納された撮影画像CPa~CPdを取得する(ステップS302)。
[0021]
 次に、駐車枠特定部33は、目標駐車枠の検出処理を行う(ステップS304)。目標駐車枠の検出処理の例示として、前述の特許文献1(特開2007-230371号公報)で開示された手法がある。代替例としては、駐車枠特定部33は、ステップS302で取得した撮影画像CPa~CPdに対して周知の画像処理を実行して撮影画像CPa~CPdの中から、路面上の白線を検出する。さらに、駐車枠特定部33は、白線で囲まれた領域又は白線で挟まれた領域を駐車領域(以下、駐車枠という)として検出する。さらなる代替例として、レーダー、又は近赤外線を照射する近赤外線カメラで白線領域を検出するなどのアクティブセンサーを用いて、駐車枠特定部33は目標駐車枠を検出してもかまわない。
[0022]
 ステップS304の次に、駐車枠特定部33は、目標駐車枠の検出が成功したか否かを判定する(ステップS305)。
[0023]
 ステップS305で否定判定を行った場合、処理の流れはステップS302に戻り、駐車枠特定部33は、更新された撮影画像CPa~CPdを取得して、改めてステップS304を行う。
[0024]
 ステップS305で肯定判定を行った場合、駐車枠特定部33は、自車両(つまり、車両周囲画像表示システム1が搭載された車両)と目標駐車枠との相対的な位置関係を算出する(ステップS306)。具体的には、検出された目標駐車枠の世界座標と、自車両の世界座標とから、相対的な位置関係が算出される。例えば、前述のカメラパラメータに基づき、それぞれのカメラが撮影可能な撮像範囲CAMa~CAMd(図2を参照)が計算され、それぞれの計算値が前述の不揮発性メモリ等に格納される。この不揮発性メモリに格納された各撮像範囲CAMa~CAMdを特定可能な世界座標値と、各カメラ2a~2dの取り付け位置の世界座標値と、検出された目標駐車枠の世界座標値とから、自車両に対する目標駐車枠の相対的な位置関係が算出される。ここで、相対的な位置関係としては、自車両に対する目標駐車枠の距離・方向及び両者の世界座標値が典型的である。
[0025]
 ステップS306の次に、駐車枠特定部33は、車両周囲画像生成装置3が今回生成する画像として俯瞰画像が良いのか否かを判定する(ステップS307)。なお、本実施形態では、俯瞰画像か撮影画像が生成されるので、ステップS307で否定判定であれば、撮影画像が生成される。また、ステップS307の判定基準としては、自車両から目標駐車枠までの距離が用いられる。例えば、この距離が所定の閾値未満であれば、つまり相対的に近距離であれば、俯瞰画像が良いと判断されるように、また、この距離が同閾値以上であれば、つまり相対的に遠距離であれば、カメラ画像が良いと判断されるように、予めプログラミングされる。
[0026]
 ステップS307で肯定判定が行われると、駐車枠特定部33は、ステップS308において、俯瞰画像生成部32に対して、俯瞰画像を生成するよう指示を渡す。この指示に応答して、俯瞰画像生成部32は、入力バッファ31a~31dに格納された撮影画像CPa~CPdを取得して、取得した撮影画像CPa~CPdに対し幾何学変換などを行う。これによって、自車両の上方に予め設定される仮想視点から、自車両周辺を見下ろした時の状況を表す俯瞰画像が生成される(ステップS308)。この俯瞰画像を生成する処理については周知であるため、その詳説を省略する。
[0027]
 ここで、図6は、ステップS308で生成された俯瞰画像の一例を表す模式図である。図6において、俯瞰画像LDPは、予め定められた位置に自車両を模したモデル画像Mαが合成される。また、モデル画像Mαの周囲には、路面RS(ハッチングを付けた部分を参照)と、いくつかの駐車枠PLを示す白線WLとが描画される。なお、図6では代表的に、1つの駐車枠PLが一点鎖線で仮想的に示され、また、1台の他車両Vaも示されている。以上のような俯瞰画像は、付加画像描画部35に渡される。
[0028]
 再度、図5を参照する。前述のステップS307で否定判定が行われた場合、処理の流れはステップS309に進む。この場合、駐車枠特定部33は、自車両に対する目標駐車枠の相対的な位置関係(ステップS306で算出)に基づき、カメラ2a~2dの中から、ステップS304で検出に成功した目標駐車枠に最も近いものを、最適カメラとして選択する。この後、駐車枠特定部33は、最適カメラを示す情報を、撮影画像選択部34に渡す。この情報に応答して、撮影画像選択部34は、最適カメラ(カメラ2a~2dのいずれか)と接続されている入力バッファ(入力バッファ31a~31dのいずれか)から、そこに格納される撮影画像を、最適撮影画像として取得する。撮影画像選択部34は、取得した最適撮影画像を付加画像描画部35に渡す(ステップS309)。
[0029]
 ここで、図7は、ステップS309で選択された最適撮影画像の一例を示す模式図である。図7の例では、最適撮影画像ATPは、最適カメラの視点で撮影された画像であり、路面RS(ハッチングを付けた部分を参照)と、目標駐車枠TPLを示す白線WLと、自車両の一部分αとが少なくとも描画される。なお、図7では、目標駐車枠TPLが一点鎖線で仮想的に描かれている。
[0030]
 以上のステップS308又はS309が終了すると、駐車枠特定部33は、ステップS310において、付加画像描画部35に対し、予め定められた各種付加画像を描画するよう指示を渡す。この指示とともに、目標駐車枠TPLの相対的位置関係も渡される。この指示に応答して、付加画像描画部35は、図8A,図8Bに示すように、入力された俯瞰画像LDP又は最適撮影画像ATPに付加画像を重畳して、少なくとも目標駐車枠TPLの状況を表す表示用画像DPを生成する(ステップS310)。付加画像の一例としては、目標駐車枠画像FP、マスク画像MKP(斜線を付けた部分を参照)、アイコンICN及びグラフィックの操作ボタンGBのうち、予め定められたものがある。
[0031]
 目標駐車枠画像FPは、本実施形態では、目標駐車枠TPLを示すための、例えば四角形の枠状のグラフィックである。その重畳位置は、駐車枠特定部33から送られてくる相対的位置関係及び予め格納されているカメラパラメータにより特定される。マスク画像MKPは、本実施形態では、俯瞰画像又は最適撮影画像において不必要な箇所(例えば表示したく無い箇所)を覆い被せるための画像である。また、アイコンICNは、目標駐車枠TPLが自車両に対しどの方向にあるかを示す図形である。操作ボタンGBは、例えば、駐車枠の再検出用のボタンであり、運転手により操作され、各種機能が予め割り当てられている。マスク画像MKP、アイコンICN及び操作ボタンGBは、入力俯瞰画像又は入力最適撮影画像に対して予め定められた位置に重畳される。
[0032]
 各種付加画像が重畳された俯瞰画像又は最適撮影画像は、表示用画像DPとして出力バッファ36(図4参照)に出力される。表示装置4は、出力バッファ36より表示用画像DPを受け取り表示する(ステップS311)。
[0033]
 図1に示す車両周囲画像表示システム1の処理が繰り返し行われる。
[0034]
 ここで、図9A,図9B及び図10を参照して、ステップS307の詳細な処理について説明する。図9A,図9Bは、目標駐車枠と自車両との位置関係を示す模式図である。図9A,図9Bには、実際の目標駐車枠TPLと、自車両αと、俯瞰画像として描画される描画領域LDA(二点鎖線で囲まれた領域を参照)が示されている。目標駐車枠TPLと、自車両αとの世界座標位置から、予め定められた広さを有する描画領域LDAが、車両周囲表示システム1では設定される。この描画領域LDAの中に、図9Aに示すように、目標駐車枠TPLの一部又は全体が含まれる場合には、ステップS307において、俯瞰画像を生成すると、駐車枠特定部33は判定する。逆に、この描画領域LDAの中に、図9Bに示すように、目標駐車枠TPLの一部又は全体が含まれない場合には、ステップS307において、最適撮影画像を選択すると、駐車枠特定部33は判定する。
[0035]
 上記の理由として、一般的に俯瞰画像においては、そこに描かれる立体物が路面上に倒れ込んだように歪むことが知られている。図10は、このような倒れ込みの一例として、カメラ2bからの距離に相関する、立体物MMSの倒れ込みを示す模式図である。図10に示すように、俯瞰画像上では、この立体物MMSは路面RS上に投影された状態で描画される。また、カメラ2bの取り付け高さ自体には実質的に変化はない。従って、立体物MMSとカメラ2bとの位置関係により歪み方が変わってきて、両者の距離が大きくなればなるほど、立体物MMSの歪み(長さ)Lfがより大きくなる。つまり、目標駐車枠TPLが近くにある場合、俯瞰画像が表示装置4で表示されたとしても、俯瞰画像に描画される、目標駐車枠TPLの周辺に存在しうる立体物には、小さな歪みしか生じない。以上の観点から、目標駐車枠TPLが近くに存在する場合には、図8Aに示すように、俯瞰画像LDPが表示用画像DPに用いられる。逆に、目標駐車枠TPLが遠くに存在する場合には、図8Bに示すように、最適撮影画像ATPが表示用画像DPに用いられる。
[0036]
 次に、図11A~図11Dを参照して、ステップS309における最適カメラの選択基準について説明する。図11A~図11Dは、目標駐車枠TPLと各カメラ2a~2dとの位置関係に基づく、最適撮影画像の選択基準を示す模式図である。図11A~図11Dに示すように、どのカメラの撮影画像を用いるかの判定は、各カメラ2a~2dの撮像範囲CAMa~CAMd(図2を参照)を規定する世界座標値を予めカメラパラメータの一種類として、駐車枠特定部33は保持している。そして、目標駐車枠TPLの世界座標値がステップS305で得られる。よって、目標駐車枠TPLが、撮像範囲CAMa~CAMdのうちどの撮像範囲に入っているかを駐車枠特定部33は判定し、目標駐車枠TPLを含む撮像範囲を有するカメラを最適カメラとして選択する。
[0037]
 ここで、図2に示すように、本実施形態では、隣り合うカメラの撮像範囲がオーバーラップ領域Fa~Fdにて重なり合うように、カメラ2a~2dは車両αに対し設置されている。これらオーバーラップ領域Fa~Fdに目標駐車枠TPLの一部又は全体が含まれる場合がある。このような場合、図12A,図12Bに示すように、駐車枠特定部33は最適カメラを選択する。なお、図12A,図12Bでは、目標駐車枠TPL(ドットを付けた部分を参照)はオーバーラップ領域Fa(格子状のハッチング部分を参照)にあるものと仮定する。この仮定下では、駐車枠特定部33は、図12A,図12Bに示すように、カメラ2a,2bのいずれか一方を最適カメラとして選択する。選択手法としては、以下の2つが例示される。1つ目の手法では、図12Aに示すように、目標駐車枠TPLにおいて最も車両αに近い点と、カメラ2a~2dのいずれか2つとの距離Da,Dbが求められ、両距離Da,Dbのうち小さな方を有するカメラが最適カメラとして選択される。2つ目の手法では、図12Bに示すように、まず、目標駐車枠TPLにおいて最も車両αに近い点と、カメラ2a,2bを結んだ2つ線La,Lbが求められる。さらに、線Laとカメラ2aの光軸Xaとが成す角度θaと、線Lbとカメラ2bの光軸Xbとが成す角度θbとが求められる。その後、両角度θa,θbのうち小さい方を有するものが最適カメラとして選択される。
[0038]
 以上で、本実施形態の説明を終了する。上記のように、本車両周囲画像表示システム1では、駐車枠特定部33が、目標駐車枠TPLを特定した後、自車両αに対する目標駐車枠TPLの相対的な位置関係を求める。駐車枠特定部33はさらに、目標駐車枠TPLが自車両αから相対的に遠い場合には、特定した目標駐車枠TPLを運転手に見せるのに最も適したカメラを選択し、これによって選択された最適カメラからの撮影画像を用いて表示画像を作成する。図10を参照して前述したとおり、表示装置4に表示された撮影画像では、目標駐車枠TPLの周辺の立体物の歪みが俯瞰画像に比べて少ない。このように、本車両周囲画像表示システム1によれば、運転手は、目標駐車枠TPLとの位置関係に応じて最適カメラが選択されるので、運転手は目標駐車枠内及び/又はその周辺の状況をより明確に認識することが可能となる。
[0039]
 なお、以上の実施形態では、自車両αに対し目標駐車枠TPLが遠くに存在する場合、撮影画像そのものを用いて表示画像を作成していた。しかし、これに限らず、1つ又は複数の撮影画像が、例えば運転手の視点から目標駐車枠TPLを見た時の画像となるように、画像の視点を変換し、変換後の画像を表示画像として用いてもかまわない。
[0040]
 また、以上の実施形態では、自車両αに対し、目標駐車枠TPLが遠くに存在する場合には、表示用画像DPに最適撮影画像ATPが用いられ、目標駐車枠TPLが近くに存在する場合には、表示用画像DPに俯瞰画像LDPが用いられていた。しかし、これに限らず、目標駐車枠TPLが遠くに存在する場合に、図13に示すように、表示用画像DPとして、俯瞰画像LDPと最適撮影画像ATPの双方が合成されたものが作成されてもかまわない。
[0041]
(第2の実施形態)
 図14は、本発明の第2の実施形態に係る車両周辺画像表示システム1aの全体構成を示すブロック図である。図14の車両周辺画像表示システム1aは、図1に示す車両周辺画像表示システム1と比較すると、車両周囲画像生成装置3が車両周囲画像生成装置3aに代わる点で相違する。それ以外の構成については同様であるため、以下では、図1の構成に相当するものには同一の参照符号を付け、それぞれの詳説を省略する。
[0042]
 また、図15は、図14に示す車両周囲画像生成装置3aの詳細な構成を示すブロック図である。図15の車両周囲画像生成装置3aは、機能ブロックに関しては、図4に示すに車両周囲画像生成装置3と比較すると、障害物検出部37が追加される点で相違する。それ以外の構成については同様であるため、以下では、図15において、図4の構成に相当するものには同一の参照符号を付け、それぞれの詳説を省略する。
[0043]
 障害物検出部37は、例えば、上記不揮発性メモリに予め蓄積されたソフトウェアを実行するプロセッサにより実現される。障害物検出部37は、入力バッファ31a~31dから撮影画像CPa~CPdと、駐車枠特定部33からの相対的位置関係とを受け取る。その後、障害物検出部37は、目標駐車枠TPL周辺に存在しうる障害物(立体物)を検出する。障害物の検出に成功すると、障害物検出部37は、検出した障害物が存在する世界座標値を付加画像描画部35に渡す。
[0044]
 次に、図16を参照して、上記のような構成の車両周囲画像表示システム1aの処理の流れを説明する。なお、図16は、図5と比較すると、ステップS310の代わりに、ステップS601,S602及びS603が追加されている点で相違する。それ以外のステップについては同様であるため、以下では、図5のステップに相当するものには、同一のステップ番号を付け、それぞれの詳説を省略する。
[0045]
 ステップS308かS309が終わると、障害物検出部37は障害物検出を行う(ステップS601)。障害物とは、駐車場に存在する壁、既に駐車されている他車両、又は柱といった静止物や、動いている人、他車両又は自転車といった移動物のことである。
[0046]
 例えば、障害物検出部37は、各入力バッファ31a~31dから得られる撮影画像CPa~CPdを過去数フレーム分保持する。障害物検出部37は、現在から過去数フレーム分の撮影画像CPaを用いて、動きを示すフロー(周知のオプティカルフロー)を検出することで移動物を検出する。また、障害物検出部37は、動きステレオといった時間差のある2フレーム分の撮影画像CPaを用い、ステレオの原理を用いて静止物を検出する。他の撮影画像CPb~CPdについても同様にして、移動物及び静止物が検出される。
[0047]
 ここで、好ましくは、障害物検出部37は、処理負荷軽減のために、駐車枠特定部33で選択された最適カメラがどれかを得て、その最適カメラから得られる最適撮影画像に対し障害物検出を行うことが好ましい。
[0048]
 次に、障害物検出部37は、ステップS601で障害物の検出に成功すると、検出された障害物の位置を特定する世界座標値を求める。また、障害物が移動物であれば、障害物検出部37は、求めた世界座標値と、移動物の移動方向の情報とから、ステップS304で検出された目標駐車枠TPLに移動物が接近しているのか、あるいは、自車両αがこれから動く方向に接近しているのか、を判定する。なお、この判定手法に関しては、後で詳説する。さらに、障害物検出部37は、移動物の移動速度も求める。
[0049]
 障害物検出部37は、以上のようにして得られた障害物の世界座標値、移動方向及び移動速度を示す情報を、付加画像描画部35に渡す。以上でステップS602の判定処理が終了する。
[0050]
 付加画像描画部35は、前述のステップS310の処理に加え、障害物検出部37から受け取った情報に基づき、障害物アイコンを、表示用画像DPにおける俯瞰画像LDP又は最適撮影画像ATPにおいて対応する位置に重畳する(ステップS603)。障害物アイコンは、静止物が目標駐車枠TPLの近くに存在すること、あるいは、移動体が目標駐車枠TPL又は自車両αのこれからの進路に接近していることを示す。
[0051]
 ここで、図17Aは、俯瞰画像LDPを用い、さらに障害物アイコンOBSが重畳された表示用画像DPの一例を示す模式図であり、図17Bは、最適撮影画像ATPを用い、さらに障害物アイコンOBSが重畳された表示用画像DPの一例を示す模式図である。図17A,図17Bは、図8A,図8Bに示す表示用画像DPと比較すると、障害物アイコンOBSが重畳されている点で相違するため、その説明を省略する。なお、本実施形態では、俯瞰画像LDPには、目標駐車枠TPLの周辺領域において車両αから近距離の部分が描かれる。しかし、目標駐車枠TPLの周辺領域であっても障害物が車両αから遠距離にある場合であっても、障害物アイコンOBSは何らかの形で表示用画像DPに描かれることが好ましい。これを考慮して、本実施形態では、障害物アイコンOBSは、図17Aに示すように、マスク画像MKP上にも描画可能である。
[0052]
 ここで、付加画像描画部35は、図18に示すようなテーブル351を、前述の不揮発性メモリに保持していても良い。図18において、テーブル351には、接近度毎に、アイコンOBSの色、障害物の移動速度の範囲、及び自車両αから障害物までの距離範囲の情報セットが記述される。図示した例では、接近度がレベル1の場合、アイコンOBSの色は、運転手に最も注意喚起できるように赤色と記述され、移動速度範囲は、V2<Vth≦V3と記述され、距離範囲は、0<Dth≦D1と記述される。また、接近度がレベル2の場合、アイコンOBSの色は、運転手に中程度に注意喚起できるように黄色と記述され、移動速度範囲は、V1<Vth≦V2と記述され、距離範囲は、D1<Dth≦D2と記述される。また、接近度がレベル3の場合、アイコンOBSの色は、運転手に最も緩やかに注意喚起できるように青色と記述され、移動速度範囲は、0<Vth≦V1と記述され、距離範囲は、D2<Dth≦D3と記述される。
[0053]
 このようなテーブル351を参照して、付加画像描画部35は、障害物検出部37から受け取った情報に基づき、前述の障害物アイコンOBSの色を変えることが好ましい。また、障害物アイコンOBSと同じ色に、目標駐車枠画像FPの色を変えてもかまわない。
[0054]
 次に、図19を参照して、上記の接近度の判定方法について詳細に説明する。図19は、目標駐車枠TPLの近くに移動する障害物Xが存在する場合における接近度の判定手法を示す模式図である。図19には、目標駐車枠TPL及び障害物Xのほかにも、自車両αと、障害物Xの移動速度を示すベクトルVが示されている。前述のように、目標駐車枠TPLの世界座標値が分っており、かつ障害物Xの移動速度と移動方向とを示すベクトルVも障害物検出部37により算出されている。このため、これら情報から、障害物Xが目標駐車枠TPLへ接近しているか、接近していないのかを、まず、付加画像描画部35は判定することができる。
[0055]
 障害物Xが目標駐車枠TPLに接近していると判定されれば、次に、付加画像描画部35は、障害物アイコンOBSの色を決定する。障害物Xの現在の移動速度が、図18に示すレベル1の移動速度範囲に入るならば、障害物アイコンOBSの色を赤色と決定する。レベル2の移動速度範囲に入るならば、障害物アイコンOBSの色を黄色と決定する。また、レベル3の移動速度範囲に入るならば、障害物アイコンOBSの色を青色と決定する。この決定された色を用いて、例えば、図17A,図17Bのような表示用画像DPを作成する。
[0056]
 上記の説明では、障害物としての移動物を例に説明したが、付加画像描画部35は、静止物も同様で、検出された静止物の位置と目標駐車枠TPLとの距離を求め、図18のテーブル351に従って、障害物アイコンOBSの色を判定して、表示用画像DPにおける俯瞰画像LDP又は最適撮影画像ATPにおいて対応する位置に重畳する。この場合も、目標駐車枠TPLの色は、障害物アイコンOBSと同色に描画されてもかまわない。
[0057]
 なお、レーダー、又は近赤外線を照射して近赤外線カメラなどのアクティブセンサーを用いて、障害物が検出されてもかまわない。
[0058]
 2008年12月19日出願の特願2008-323706の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

産業上の利用可能性

[0059]
 本発明に係る車両周囲画像生成装置は、運転手が目標駐車枠内の状況をより明確に認識可能にすることが求められる、駐車支援装置、運転支援装置等に有用である。

符号の説明

[0060]
 1,1a 車両周囲画像表示システム
 2a,2b,2c,2d カメラ
 3,3a 車両周囲画像生成装置
 31a,31b,31c,31d 入力バッファ
 32 俯瞰画像生成部
 33 駐車枠特定部
 34 撮影画像選択部
 35 付加画像描画部
 36 出力バッファ
 37 障害物検出部
 4 表示装置

請求の範囲

[請求項1]
 車両に取り付けられる複数のカメラと接続可能な車両周囲画像生成装置であって、
 前記車両の目標駐車枠を特定する駐車枠特定部と、
 前記特定された目標駐車枠に基づき、前記複数のカメラから、該目標駐車枠の撮影に適した少なくとも1つのカメラを選択し、選択したカメラからの撮影画像を選択する選択部と、
 前記選択されたカメラによる撮影画像を使って、前記特定された目標駐車枠の状況を表す表示用画像を生成する描画部と、
 を備える、車両周囲画像生成装置。
[請求項2]
 前記車両周囲画像生成装置は、前記複数のカメラによる撮影画像を使って、所定の仮想視点から車両の車両周囲を見た時の状況を表す俯瞰画像を生成する俯瞰画像生成部をさらに備え、
 前記駐車枠特定部は、前記目標駐車枠を特定した後、前記描画部が俯瞰画像を用いて表示用画像を生成するのか、前記選択されたカメラによる撮影画像を用いて表示用画像を生成するのかを判断し、
 前記描画部は、前記駐車枠特定部の判断結果に従って、前記表示用画像を生成する、
 請求項1に記載の車両周囲画像生成装置。
[請求項3]
 前記駐車枠特定部は、前記車両と前記目標駐車枠との相対的な位置関係に基づき、前記描画部が俯瞰画像を用いて表示用画像を生成するのか、前記選択されたカメラによる撮影画像を用いて表示用画像を生成するのかを判断する、
 請求項2に記載の車両周囲画像生成装置。
[請求項4]
 前記相対的な位置関係とは、前記車両と前記目標駐車枠との間の距離であって、
 前記駐車枠特定部は、前記距離が所定閾値未満の場合、前記描画部が俯瞰画像を用いて表示用画像を生成すると判断し、前記距離が所定閾値以上の場合、前記選択されたカメラによる撮影画像を用いて表示用画像を生成すると判断する、
 請求項3に記載の車両周囲画像生成装置。
[請求項5]
 前記描画部は、前記選択されたカメラによる撮影画像を視点変換することなく用いて、前記特定された目標駐車枠の状況を表す表示用画像を生成する、
 請求項1に記載の車両周囲画像生成装置。
[請求項6]
 前記描画部は、前記選択されたカメラによる撮影画像を視点変換して用いて、前記特定された目標駐車枠の状況を表す表示用画像を生成する、
 請求項1に記載の車両周囲画像生成装置。
[請求項7]
 前記描画部は、前記選択されたカメラの撮影画像の周囲に、マスク画像、アイコン及びグラフィックの操作ボタンのうち、予め定められたものを重畳し、
 前記マスク画像は、前記撮影画像のマスクに用いられ、前記アイコンは、前記目標駐車枠が前記車両に対しどの方向にあるかを示し、前記操作ボタンは、前記車両の運転手により操作される、
 請求項1に記載の車両周囲画像生成装置。
[請求項8]
 前記車両周囲画像生成装置は、前記特定された目標駐車枠内又はその周辺に存在する障害物を検出する立体物検出部をさらに備え、
 前記描画部は、
  前記特定された目標駐車枠内又はその周辺に障害物が前記立体物検出部で検出された場合、そのことを示す障害物アイコンを、前記表示用画像に重畳する、
 請求項1に記載の車両周囲画像生成装置。
[請求項9]
 前記車両周囲画像生成装置には、前記表示用画像を出力する表示装置が接続される、
 請求項1に記載の車両周囲画像生成装置。
[請求項10]
 車両周囲画像表示システムであって、
 車両に取り付けられる複数のカメラと、
 前記車両の目標駐車枠を特定する駐車枠特定部と、
 前記特定された駐車枠に基づき、前記複数のカメラから、該目標駐車枠の撮影に適した少なくとも1つのカメラを選択する選択部と、
 前記選択されたカメラによる撮影画像を使って、前記特定された目標駐車枠の状況を表す表示用画像を生成する描画部と、
 前記生成された表示用画像を出力する表示装置と、
 を備える、車両周囲画像表示システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]