Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020017336 - DISPOSITIF DE DÉTECTION D'OBJET

Document

明 細 書

発明の名称 物体検知装置

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

実施例 1

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066  

実施例 2

0067   0068   0069   0070   0071   0072  

符号の説明

0073  

請求の範囲

1   2   3   4  

図面

1   2   3   4   5   6   7   8   9   10   11  

明 細 書

発明の名称 : 物体検知装置

技術分野

[0001]
 本発明は、物体検知装置に関する。

背景技術

[0002]
 本技術分野の背景技術として、WO13/062087号公報(特許文献1)がある。
該公報の要約欄には、「視点画像の一方に入力される測定点と、視点画像の他方に設定される対応点とのズレを抑えて3次元測定の精度を高める。左視点画像(6L)に3次元測定の基準となる測定点(7)を入力する。測定点(7)から右視点画像6(R)に向かって水平に延ばした延長線上に対応点(8a)が設定される。キャリブレーションで位置調整したときに左右の視点画像(6L,6R)に垂直ズレDが生じ、各視点画像(6L,6R)の測定点(7),対応点(8a)を通る直線(24,27)が水平線と小さい角度θで交差している場合には、真の対応点(8)とは大きく離れた位置に対応点(8a)が誤設定される。これを防ぐために、角度θが閾値S以下になる左右の視点画像(6L,6R)は、3次元測定に適していないと判定して警告する。」と記載されている。

先行技術文献

特許文献

[0003]
特許文献1 : WO13/062087号公報

発明の概要

発明が解決しようとする課題

[0004]
 前記特許文献1では、測定点近傍で直線検出を実施し、直線の傾きに応じて警告を発生する手段が記載されている。しかしながら、高精度な視差を必要としない場合にも処理を実行するため、物体を未検知とする恐れがある、処理コストが増大する、などの問題があった。
[0005]
 本発明の目的は、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することである。

課題を解決するための手段

[0006]
 上記目的を達成するために、本発明は、複数の画像を得る撮像部と、前記撮像部から取得した画像から視差画像を生成する視差画像生成部と、前記視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、前記信頼度算出を実施するか否かの判定を行う信頼度実施判定部と、前記信頼度実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、を備える。

発明の効果

[0007]
 本発明によれば、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図面の簡単な説明

[0008]
[図1] ステレオカメラに垂直方向ずれが生じた場合の視差誤差に関する説明図
[図2] 車載ステレオカメラの構成を示す説明図
[図3] 物体検知装置の構成を示す説明図
[図4] 視差の排除に伴う跳ね返りの説明図
[図5] 実施例1における信頼度算出実施判定部のフローチャート
[図6] 測距限界距離に関する説明図
[図7] 物体検知限界距離に関する説明図
[図8] 信頼度算出部のフローチャート
[図9] 信頼度とエッジ角度の関係の説明図
[図10] 物体検知部のフローチャート
[図11] 実施例2における物体検知部のフローチャート

発明を実施するための形態

実施例 1
[0009]
 対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式1で表される。
[0010]
[数1]


[0011]
 ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、w[mm/px]は画素ピッチ、B[mm]はカメラ間の距離(基線長)、D[px]は視差を表す。
[0012]
 視差を算出するにあたっては、複数の位置から撮像された画像を水平に並べ、左画像内の特定の点に対して右画像内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。
[0013]
 平行化とは、画像の縦方向の位置合わせを意味する。すなわち、左右画像で同一の点は同一の高さに撮像されているよう画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。しかしながら、組み立て時の誤差や経年劣化によって平行化するためのパラメタに変化が生じ、平行化処理を実施した左右画像であっても垂直方向にずれを有することがある。このとき、特に斜め方向の直線が撮像されているような領域においては、異なる高さに良く似たテクスチャが撮像されているため、誤った対応点を検出し三次元位置に誤差が生じてしまう。
[0014]
 図1は、垂直方向にdj[px]のずれを生じたときの視差誤差dD[px]の説明図である。左画像100LAと右画像100RAは高さずれが発生していない場合を示す。左画像100LAにおける探索対象121に対して、同一の物体が撮像されている位置を右画像100RAから探索してマッチングしたマッチング対象122との画像位置のずれ量を視差として得る。
[0015]
 一方、左画像100LBと右画像100RBは高さずれが発生した場合を示す。同様の探索対象121に対してマッチング対象123との画像位置のずれ量を視差として得る。このとき122と123の位置のずれが視差誤差dD[px]として発生する。水平に対する直線の傾きをθ[rad]とすれば、視差誤差dDは以下の数式2で表される。
[0016]
[数2]


[0017]
 すなわち、ある垂直ずれdjが発生したとき、視差誤差dDは直線の傾きθの関数となり、θが0に近づく、すなわち水平に近づくほどdDは大きくなることがわかる。よって、水平に近い角度θ方向にエッジを持つ視差を排除することで、大きな誤差を含む可能性のある視差を排除することができる。
[0018]
 また、ここで数式1より、視差誤差dDが発生したときの距離誤差dZ[mm]は以下の数式3で表される。
[0019]
[数3]


[0020]
 f,B,wはカメラによって固定であるから、視差誤差dDに伴う距離誤差dZは、視差Dが小さいほど大きくなることがわかる。一方で、dDに対してDが十分に大きい場合にはdZは小さくなるため、物体の検知や測距に対する影響は無視できる。
以下、図面を用いて実施例を説明する。
[0021]
 まず、図2を用いて物体検知装置を搭載したステレオカメラを用いた車両制御システムの概要を説明する。車両200にステレオカメラ201が搭載される。ステレオカメラ201には物体検知装置が搭載されており、例えば前方の物体210までの距離や相対速度を計測して車両制御部202に送信する。車両制御部は受け取った距離や相対速度からブレーキやアクセル、ステアリングを制御する。
[0022]
 次に、図3を用いて本発明の物体検知装置の概要を説明する。
[0023]
 図3は本発明の第1の実施形態における物体検知装置の構成を示す。物体検知装置は、ステレオカメラ310、メモリ320、CPU330、画像処理部340、外部出力部350などを備える。ステレオカメラ310はステレオカメラの左撮像部311と右撮像部312とを備え、ステレオカメラ310を搭載した車両の前方を撮像する。撮像された画像を画像処理部340によって処理し、画像処理部340の視差画像生成部(図示せず)によって生成された視差情報に基づいて物体の検知を行う。信頼度算出実施判定部341において信頼度に応じた視差の棄却が必要か否かを判断し、必要であると判断された場合に信頼度算出部342において視差の信頼度を算出し、物体検知部343において視差と信頼度に基づいて立体物の検知を行う。検知結果は外部通信部350から処理装置の画部に送信され、車載ステレオカメラであればアクセルやブレーキ、ステアリングなど車両制御の判断に利用される。
[0024]
 以下、信頼度算出実施判定部341の詳細について説明する。
[0025]
 本実施例において課題とする、視差ずれの影響が特に大きくなる状況のひとつは、ステレオカメラ310から遠方を監視する場合である。よって、遠方を監視する必要のあるシーンでは、エッジ角度を用いた信頼度の算出及び信頼度を用いた視差の排除によって距離精度を向上したり、物体の誤検知を抑制する。遠方を監視する必要のないシーンでは、信頼度の算出及び信頼度を用いた視差の排除を実施しないことで、物体の未検知などの跳ね返りを抑制しつつ、処理コストを削減する。
[0026]
 物体の未検知が発生するようなケースを図4に示している。カメラ画像400が正対したガードレール410を撮像している場合、領域420においてはほぼ水平方向の直線のみで構成された物体が撮像されている。特に制限なく水平に近いエッジを持つ視差を排除した場合、領域420においてはほとんどの視差が排除され、ガードレールを検知出来ない恐れがある。なお、ここではガードレールを一例として示したが、背面から見た車両など水平に近いエッジが多く含まれる物体であれば、同様に視差の排除による未検知につながる可能性がある。
[0027]
 次に、信頼度算出実施判定部341の処理フローの一例を図5に示している。遠方を監視する必要があるか否かをS501からS506で判定し、S507・S508で判定結果に応じてフラグを立てる。
[0028]
 (S501)後段の処理であるS502で用いる距離閾値TH1を算出する。算出手段については後述する。
[0029]
 (S502)処理時刻tに対して時刻t-1以前の物体検知結果を参照し、閾値TH1より近傍に物体を検知していた場合、信頼度算出を実施しないと判定する。例えば自車正面の近傍に物体を検知している場合、遠方における物体の検知結果は自車両の制御に影響を与えないためである。
[0030]
 (S503)後段の処理であるS504で用いる移動速度閾値TH2を算出する。算出手段については後述する。
[0031]
 (S504)ステレオカメラの移動速度が閾値TH2より低い場合、信頼度算出を実施しないと判定する。車などの移動体にステレオカメラを搭載して、検知結果を元に制御を行うとき、高速で移動するほど遠方の物体を検知し制御に反映する必要がある。低速で移動している場合は、遠方の検知結果が制御に影響を及ぼす可能性は低く、遠方の監視は不要である。
[0032]
 (S505)後段の処理であるS506で用いる曲率閾値TH3を算出する。算出手段については後述する。
[0033]
 (S506)想定進行路の曲率が閾値TH3より高い場合、信頼度算出を実施しないと判定する。自車が左右方向にカーブ走行する場合、正面遠方で物体を検知したとしても検知位置を走行しないため、制御に影響を及ぼす可能性は低いため、遠方の監視が不要となる。曲率の算出手段については、例えば車両であれば舵角やヨーレートを用いて物理モデルから算出してもよいし、白線や道路端検知機能を用いて算出してもよいし、あるいはGPSと地図情報を元に走行予定路の曲率を算出してもよい。曲率の算出にあたっては、少なくともこれらいずれかの算出手法に限らず、これら算出手法と同様に算出が可能な公知の手法を採用した構成であればよい。また、複数の閾値を用いたり、重み付け平均などによって算出した閾値を用いて判定を実施してもよい。
[0034]
 各種判定処理の結果、いずれかにおいて信頼度算出を実施すべきでないと判断された場合、S508において信頼度算出実施フラグをOFFにし、信頼度算出処理は実施されない。
[0035]
 各種判定処理の閾値の算出方法について説明する。視差に誤差が発生した場合、物体検知には2種類の悪影響が発生する可能性がある。
第一に、測距の誤りである。数式3に示した通り、視差の誤差に伴う測距誤差は遠方ほど大きい。図6に測距に使える視差の限界距離の算出方法を説明する図を示している。ステレオカメラの搭載された車両601に対して、点線で示した物体602を配置したとき、ある視差誤差によって実際には黒丸で示した位置603に物体があるように測距を誤る。このときの距離と測距誤差の関係を、図6下部のグラフに符号605で示している。この測距誤差が許容値を越えるところを測距限界距離DIST_MAX_a[m]とする。許容値は例えば実際の距離に対して5%以内と設定すると符号604のように表され、符号604と符号605の交わる点が測距限界となる。
第二に、高さあるいは左右方向の位置の誤りである。視差の誤差はカメラの光学中心方向の位置誤差を発生させるため、例えば高さ方向についての誤差dYは、実際のカメラに対する高さYに対して以下の数式4で表される。
[0036]
[数4]


[0037]
 この誤差が大きい場合、地面から得られた視差に対して障害物があると誤検知してしまう可能性がある。図7に高さ方向の誤差に起因する物体検知の限界距離の算出方法を説明する図を示している。ステレオカメラ701に対して、点線で示した道路面上の観測点702に対して、ある視差誤差によって実際には黒丸で示した位置703に物体があるように位置の測定を誤る。このときの距離と高さ方向誤差の関係を、図7下部のグラフに符号704で示している。この高さ誤差が許容値を越えるところを物体検知限界距離DIST_MAX_b[m]とする。許容値は例えば後段の物体検知機能が路面から50[cm]以上の高さを持つ視差のグループだけを物体として検知する仕様であれば、許容値50[cm]として符号705のように表され、符号704と符号705の交わる点が物体検知限界となる。測距限界距離と物体検知限界距離は機能に応じて別々に使ってもよいが、ここでは簡単のため2つの値を比較し、より近傍側の限界値をDIST_MAX[m]として、視差を物体検知に用いることのできる限界距離として設定する。各判定処理では、DIST_MAXより遠方で物体検知を実施するべきかどうかを判定し、遠方で物体検知をする必要があった場合には信頼度による視差の排除が必要であるとして、信頼度算出を実施するようフラグを立てればよい。
[0038]
 図5のS502では、前フレームまでで検知している物体の距離がDIST_MAXより近傍であれば視差の排除の必要はない。
[0039]
 S504では、例えば衝突回避のための緊急ブレーキ機能向けであれば、移動体のブレーキ性能とからDIST_MAXだけ離れた物体に対して衝突回避の出来る最大の移動速度を算出することができる。この速度より低速で移動している場合には、視差の排除の必要はない。
[0040]
 S506であれば、DIST_MAXだけ進んだときにステレオカメラの画角外を走行する最小の曲率を算出することができ、この曲率よりも進行路の曲率が大きい場合、DIST_MAXより遠方の物体が見えたとしてもその位置を走行することはなく、視差の排除の必要はない。
[0041]
 各種判定処理は互いに独立であるので、全てを判定する必要はなく、この順序で実施する必要もない。実施時の構成要素に合わせて必要な判定だけを実施すればよい。
[0042]
 次に、信頼度算出部342の詳細について説明する。
[0043]
 本実施例は、水平に近い斜め線の撮像された位置における視差の排除が目的である。ステレオカメラではある点の視差を算出するにあたって、点の周辺領域をマッチングブロックとして指定し、マッチングブロック内の画像情報を元に左右画像のマッチングを行う。
よってマッチングブロック内の画像情報のエッジを算出し、エッジ角度に応じて信頼度を算出すればよい。
[0044]
 信頼度算出部のフローチャートを図8に示している。S801において、マッチングブロック内のエッジ向きを検出する。一般的なエッジ検出手段としては、Sobelフィルタなどが挙げられる。Sobelフィルタとは、ある注目画素を中心とした3×3の9つの画素値に対して以下の数式5,6ような行列を乗算し、結果を合計することでエッジを検出するフィルタである。
[0045]
[数5]


[0046]
[数6]


[0047]
 EdgeHは水平方向のエッジ強度、EdgeVは垂直方向のエッジ強度である。この2つの値を用いて、最終的なエッジの強度Sと向きφは以下の数式7,8で表現される。
[0048]
[数7]


[0049]
[数8]


[0050]
 以上の計算によって、1画素ごとにエッジ情報が算出される。なお、視差の信頼度は1画素だけでなくマッチングブロック全体に対して考える必要があるが、後段の信頼度算出と合わせて述べる。
[0051]
 次に、S802において視差の信頼度を算出する。例えば簡単のために信頼度を信頼できる・できないの1・0で表現する場合には、マッチングブロック内において角度φが水平方向±αの範囲内である画素の数を数え、閾値以上であるときに信頼度0とすればよい。あるいは、前述の通りエッジ角度が水平に近いほど誤差は大きくなることから、エッジ角度に応じて信頼度を変化させてもよい。図9(a)のようにエッジ角度は0°で信頼度が最も低くなり、90°で最も高くなる。更に、距離に変換したときの影響度を考えると、同じエッジ角度であっても視差値が小さい時は信頼度が低くなり、大きい時には信頼度が高くなる。図9(b)のように、同じエッジ角度であっても視差値が小さいほど信頼度を低く設定することができる。この関係を、例えば、以下のような数式9で表現することが考えられる。Dmax[px]は視差の取りうる最大値である。
[0052]
[数9]


[0053]
上記数式9における、下記数式10は、エッジの角度に関する項である。
[0054]
[数10]


[0055]
 ここで用いるφは、1画素だけのエッジ角度でなく、マッチングブロックの代表的な角度とする必要がある。算出方法としては、一定角度ごとのヒストグラムを作成してピーク位置を代表的な角度とする、ピークとなった範囲に投票された全エッジからエッジ強度を用いた重みづけ平均をとる、などの手法が考えられる。
[0056]
 上記数式9における、下記数式11は、視差の大小に関する項である。
[0057]
[数11]


[0058]
 後段の物体検知機能の要求仕様に依るため、信頼度の算出はこの数式11に限ったものではないが、エッジ角度が水平の時は低く・垂直の時は高くなり、視差が小さい時は低く・大きいときは高くなるような関数として設計する。
[0059]
 次に、物体検知部343の詳細について説明する。
[0060]
 物体検知部343では、視差情報と視差情報に対応する画像座標から、実空間における点の座標を算出する。それぞれの点について点同士の距離を算出し、近傍にある点同士をグルーピングし、一つの立体物として検知する。本実施例における物体検知部のフローチャートを図10に示している。
[0061]
 (S1001)信頼度が算出済みであるかを判定する。これは信頼度算出部実施判定部341の結果を参照し、視差を排除するべきでないシーンとして信頼度の算出が未実施であった場合、視差だけを用いた立体物検知を実施するためである。以下、S1002,S1003で、視差全体に対するループ処理を実施する。
[0062]
 (S1002)信頼度が閾値以上の視差を物体検知に使って良い視差と判定する。
[0063]
 (S1003)視差を登録し、物体検知に用いて良い視差点群データを生成する。
[0064]
 (S1004)視差の登録が終わった後に、実空間において近傍にある点同士をグルーピングする。
[0065]
 (S1005)グルーピングした結果から距離や物体の縦横サイズを算出し、物体検知結果として整形して出力する。
[0066]
 上記した実施例1の物体検知装置によれば、ステレオカメラシステムにおいて画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することができる。
実施例 2
[0067]
 実施例2は実施例1の変形例であり、物体検知部343において視差を信頼度に応じて複数種類に分類する実施の形態を示す。実施例1で示した通り、視差の誤差による影響としては、(1)奥行き方向のずれに起因するものであって、正しく物体を検知したが距離を誤るケースと、(2)高さあるいは左右方向のずれに起因するものであって、物体のない領域において物体を誤検知するケースが存在し、それぞれの特性に応じて限界距離を設定することができる。それぞれの限界距離を考慮して信頼度を算出することで、物体検知部343において視差を測距に用いて良い視差、物体検知に用いて良い視差、いずれにも用いてはならない視差に分類し利用することができる。本実施例における物体検知部343のフローチャートを図11に示している。実施例1では測距誤差が大きい視差も物体検知には用いないようにしていたが、本実施例では物体検知の段階では該視差を利用し、測距の際に排除するフローとなる。
[0068]
 (S1102)、(S1103)図10のS1002、S1003とは異なる閾値で信頼度を参照し、測距に用いてよい視差を登録する。
[0069]
 (S1105)検知した物体の位置・速度を算出する際に、測距用視差として登録された視差だけを用いて推定することで、視差を過分に排除することによる未検知を抑制しつつ、測距精度を向上することができる。
[0070]
 上記した物体検知装置によれば、ステレオカメラシステムにおいて、視差の排除によって検知すべき物体を未検出とすることのない物体検知装置を提供することができる。
[0071]
 なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
[0072]
 また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

符号の説明

[0073]
310 撮像部、342 信頼度算出部、341 信頼度算出実施判定部、343 物体検知部

請求の範囲

[請求項1]
 複数の画像を得る撮像部と、
 前記撮像部から取得した画像から視差画像を生成する視差画像生成部と、
 前記視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、
 前記信頼度算出を実施するか否かの判定を行う信頼度算出実施判定部と、
 前記信頼度算出実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、を備えた物体検知装置。
[請求項2]
 請求項1記載の物体検知装置であって、
 前記信頼度算出部は、前記マッチングウィンドウ内のエッジ向きと得られた視差値を用いて前記信頼度を算出する物体検知装置。
[請求項3]
 請求項1記載の物体検知装置であって、
 前記信頼度算出実施判定部は、前記物体の検知情報か、自車の移動速度情報か、前記自車の前方の走行路情報のうちいずれかを用いて前記信頼度を算出するか否かの判定を行う物体検知装置。
[請求項4]
 請求項1記載の物体検知装置であって、
 前記物体検知部は、前記信頼度に応じて前記視差画像を物体検知用の視差と測距用の視差に分類する物体検知装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]