処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020121973 - 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Document

明 細 書

発明の名称 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008   0009   0010   0011  

課題を解決するための手段

0012   0013   0014   0015   0016   0017   0018   0019  

発明の効果

0020  

図面の簡単な説明

0021  

発明を実施するための形態

0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241  

産業上の利用可能性

0242  

符号の説明

0243  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42  

明 細 書

発明の名称 : 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

技術分野

[0001]
 本発明は、物体識別システムに関する。

背景技術

[0002]
 自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
[0003]
 一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
[0004]
 奥行き情報が得られるカメラとして、TOFカメラが知られている。TOF(Time Of Flight)カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2009-257983号公報
特許文献2 : 国際公開WO2017/110413A1

発明の概要

発明が解決しようとする課題

[0006]
(項目1) 演算処理装置は、分類器を含む。分類器は、予め学習データ(訓練データともいう)を用いた機械学習により最適化される。分類器の識別率は、ひとえに学習データの選び方によるところが大きい。
[0007]
 本発明の第1側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、物体識別システムの識別率の改善あるいは学習コストの低減にある。
[0008]
(項目2、3) 本出願人は、TOFカメラに代わるセンサ(以下、本明細書においてゲーティングカメラと称する)を提案している(特許文献1,2)。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジごとに露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジごとに画像が得られ、各画像は対応するレンジに含まれる物体のみを含む。
[0009]
 本発明の第2側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラを用いた物体識別システムの提供にある。また本発明の第3側面は、ゲーティングカメラを用いた物体識別システムの識別率の改善、あるいは学習コストの低減にある。
[0010]
(項目4、5)
 ゲーティングカメラを用いた物体識別システムでは、複数のレンジに対応する複数の画像を処理する必要があるため、画像処理の負荷が大きくなる。したがって、低速な演算処理装置を用いる場合、フレームレートが低下し、フレームレートを高めようとすれば、高速な、言い換えれば高価な演算処理装置が必要となる。
[0011]
 本発明の第4側面および第5側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラを用いた物体識別システムの演算処理量の削減および/または識別率の改善にある。

課題を解決するための手段

[0012]
1. 本発明の第1側面のある態様は、物体識別システムに関する。物体識別システムは、カメラと、カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、を備える。分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されている。
[0013]
2. 本発明の第2側面のある態様は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備える。演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行う。
[0014]
3. 本発明の第3側面のある態様は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、を備える。
[0015]
4. 本発明の第4側面のある態様は物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、物体が存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、を備える。
[0016]
 本発明の第4側面の別の態様は、演算処理装置である。演算処理装置は、ゲーティングカメラとともに使用され、物体識別システムを構成する。ゲーティングカメラは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成する。演算処理装置は、物体が存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される。
[0017]
5. 本発明の第5側面のある態様は物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、許容範囲にもとづいて各画像に写る物体像の種類を識別可能に構成される演算処理装置と、を備える。
[0018]
 本発明の第5側面の別の態様は、演算処理装置に関する。この演算処理装置は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、各画像について、それに写る物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体像のサイズが、許容範囲に含まれるか否かを判定する後処理部と、を備える。
[0019]
 本発明の第5側面のさらに別の態様もまた、演算処理装置である。この演算処理装置は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、前処理部により切り分けられたサブ画像のサイズが許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、を備える。

発明の効果

[0020]
 本発明のある側面によれば、識別率を改善でき、あるいは学習コストを下げることができる。

図面の簡単な説明

[0021]
[図1] 実施の形態1に係る物体識別システムのブロック図である。
[図2] ゲーティングカメラの動作を説明する図である。
[図3] 図3(a)、(b)は、ゲーティングカメラを用いた学習データの取得を説明する図である。
[図4] 図4(a)は、単眼カメラで撮影した画像IMGxを示す図である。
[図5] 物体識別システムを備える自動車のブロック図である。
[図6] 物体検出システムを備える車両用灯具を示すブロック図である。
[図7] 変形例1に係る物体識別システムのブロック図である。
[図8] 実施の形態2に係る物体識別システムのブロック図である。
[図9] ゲーティングカメラの動作を説明する図である。
[図10] 図10(a)は、図8の物体識別システムの動作を説明するタイムチャートであり、図10(b)は、比較技術に係る物体識別システムの動作を説明するタイムチャートである。
[図11] 物体識別システムを備える自動車のブロック図である。
[図12] 物体検出システムを備える車両用灯具を示すブロック図である。
[図13] 実施の形態3に係る物体識別システムのブロック図である。
[図14] ゲーティングカメラの動作を説明する図である。
[図15] 図15(a)、(b)は、ゲーティングカメラにより得られる画像を説明する図である。
[図16] 図16(a)、(b)は、ゲーティングカメラにより得られる画像を説明する図である。
[図17] 図17(a)~(c)は、スケーラによるスケーリング処理の一例を説明する図である。
[図18] 物体識別システムを備える自動車のブロック図である。
[図19] 物体検出システムを備える車両用灯具を示すブロック図である。
[図20] 図20(a)、(b)は、ゲーティングカメラにより得られる画像を説明する図である。
[図21] 実施の形態4-1に係る物体識別システムのブロック図である。
[図22] ゲーティングカメラの動作を説明する図である。
[図23] 図23(a)、(b)は、ゲーティングカメラにより得られる画像を説明する図である。
[図24] 図24(a)、(b)は、ROIを説明する図である。
[図25] 図25(a)、(b)は、図21の物体識別システムの動作を説明する図である。
[図26] 実施の形態4-2に係る物体識別システムのブロック図である。
[図27] 図27(a)、(b)は、図26の物体識別システムの動作を説明する図である。
[図28] 図28(a)、(b)は、ROIの変形例を説明する図である。
[図29] 図29(a)、(b)は、ROIの変形例を説明する図である。
[図30] 図30(a)、(b)は、変形例3に係る物体識別システムの動作を説明する図である。
[図31] 物体識別システムを備える自動車のブロック図である。
[図32] 物体検出システムを備える車両用灯具を示すブロック図である。
[図33] 実施の形態5-1に係る物体識別システムのブロック図である。
[図34] ゲーティングカメラの動作を説明する図である。
[図35] 図35(a)、(b)は、ゲーティングカメラにより得られる画像を説明する図である。
[図36] 図36(a)、(b)は、レンジ毎に撮影される画像を説明する図である。
[図37] サイズの許容範囲を説明する図である。
[図38] 図38(a)、(b)は、図33の物体識別システムの動作を説明する図である。
[図39] 実施の形態5-2に係る物体識別システムのブロック図である。
[図40] 図40(a)、(b)は、図39の物体識別システムの動作を説明する図である。
[図41] 物体識別システムを備える自動車のブロック図である。
[図42] 物体検出システムを備える車両用灯具を示すブロック図である。

発明を実施するための形態

[0022]
I 本発明の第1側面
I-1. 概要
 本発明の第1側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、カメラと、カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、を備える。分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されている。
[0023]
 ゲーティングカメラを用いることにより、奥行き方向に重なった複数の物体を分離した複数の画像を得ることができ、それらを別々の学習データとして用いることで、個々の物体に対する識別率を高めることができる。また、いわゆるかさ増しの効果が得られるため、学習コストを下げることができる。
[0024]
 カメラは、単眼カメラであってもよい。カメラは、ゲーティングカメラであってもよい。
[0025]
I-2. 詳細な説明
 以下、本発明の第1側面を、好適な実施の形態をもとに図面を参照しながら説明する。本明細書において、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
[0026]
 図1は、実施の形態1に係る物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ)を判定する。
[0027]
 物体識別システム10は、主としてカメラ30および演算処理装置40を備える。カメラ30は、単眼カメラであり、車両の周囲を撮影する。演算処理装置40は、分類器42を含む。分類器42は、カメラ30の出力画像IMGにもとづいて、物体OBJを識別できるように機械学習により得られた学習済みモデルにもとづいて実装されている。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
[0028]
 図1には、物体識別システム10に加えて、機械学習を行う際のセットアップが示される。分類器42の機械学習には、ゲーティングカメラ50が用いられる。ゲーティングカメラ50は、奥行き方向について複数N個(N≧2)のレンジRNG ~RNG に区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するカメラである。ゲーティングカメラ50は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。物体OBJの種類や向きなどを変えながら、ゲーティングカメラ50によって撮影することにより、物体OBJの種類ごとに、複数の画像IMG ~IMG のセットが得られる。
[0029]
 こうして得られた複数の画像IMG ~IMG のセットは、物体OBJの種類と対応付けて、コンピュータ60に入力される。コンピュータ60は、複数の画像IMG ~IMG のセットを学習データ(訓練データ)として、分類器42の機械学習を実行する。コンピュータ60における機械学習の方法は公知技術を用いればよいため、説明を省略する。コンピュータ60によって最終的に得られた学習結果が、演算処理装置40に与えられて、分類器42が構成される。
[0030]
 ゲーティングカメラ50は、投光器52、イメージセンサ54およびコントローラ56を含む。ゲーティングカメラ50による撮像は、奥行き方向について複数N個(N≧2)のレンジRNG ~RNG に区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
[0031]
 投光器52は、コントローラ56から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
[0032]
 イメージセンサ54は、コントローラ56から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、画像IMGを生成可能に構成される。イメージセンサ54は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
[0033]
 コントローラ56は、レンジ毎RNGに、投光タイミング信号S1と撮影タイミング信号S2を変化させて、投光器52による投光と、イメージセンサ54の露光の時間差を変化させる。カメラ30は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。i番目の画像IMG には、対応するレンジRNG に含まれる物体のみが写ることとなる。
[0034]
 図2は、ゲーティングカメラ50の動作を説明する図である。図2にはi番目のレンジRNG を測定するときの様子が示される。投光器52は、投光タイミング信号S1と同期して、時刻t ~t の間の発光期間τ の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。カメラ30から、レンジRNG の手前の境界までの距離をd MINi、レンジRNG の奥側の境界までの距離をd MAXiとする。
[0035]
 ある時刻に投光器52を出発した光が、距離d MINiに到達してその反射光がイメージセンサ54に戻ってくるまでのラウンドトリップ時間T MINiは、
 T MINi=2×d MINi/c
である。cは光速である。
[0036]
 同様に、ある時刻に投光器52を出発した光が、距離d MAXiに到達してその反射光がイメージセンサ54に戻ってくるまでのラウンドトリップ時間T MAXiは、
 T MAXi=2×d MAXi/c
である。
[0037]
 レンジRNG に含まれる物体OBJのみを撮影したいとき、コントローラ56は、時刻t =t +T MINiに露光を開始し、時刻t =t +T MAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
[0038]
 i番目のレンジRNG を撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ56は、所定の周期τ で、上述の露光動作を複数回にわたり繰り返せばよい。
[0039]
 以上が物体識別システム10の構成である。続いて物体識別システム10の機械学習について説明する。
[0040]
 図3(a)、(b)は、ゲーティングカメラを用いた学習データの取得を説明する図である。この例ではN=2である。学習データの取得に際して、図3(a)に示すように、複数の物体OBJ ,OBJ が異なるレンジRNG ,RNG に配置された状況を考える。この例では、OBJ は歩行者であり、OBJ は自動車である。
[0041]
 図3(b)には、図3(a)の状況で得られる、複数の画像IMG ,IMG が示される。画像IMG には、手前側のレンジRNG に含まれる物体OBJ のみが含まれ、画像IMG には、奥側の物体OBJ のみが含まれる。つまり物体識別システム10のカメラ30から見たときに、重なって見える複数の物体OBJ ,OBJ を分離することができる。そして、複数の画像IMG ,IMG を別々の学習データとしてコンピュータ60に入力することで、物体OBJ ,OBJ を別々の物体として識別可能な分類器42を構成することができる。
[0042]
 本実施の形態の利点は比較技術との対比によって明確となる。比較技術では、学習データとして、物体識別システム10のカメラ30と同様に、単眼カメラで撮影した画像IMGxを用いるものとする。図4(a)は、単眼カメラで撮影した画像IMGxを示す図である。図4(a)に示すように、画像IMGxでは、2つの物体OBJ ,OBJ が重なっている。
[0043]
 図4(b)には、歩行者(OBJ )を含むバウンディングボックスBB が示される。このバウンディングボックスBB の内側には、歩行者(OBJ )のみでなく、背景の車両(OBJ )の情報が含まれている。したがって図4(a)の画像IMGxを学習データとして用いると、車両の情報を込みで、歩行者OBJ と識別できるように、学習が進む。言い換えれば、背景に車両が存在しない単独の歩行者を、歩行者と識別しにくくなるかもしれない。
[0044]
 図4(c)には、車両(OBJ )を含むバウンディングボックスBB が示される。このバウンディングボックスBB の内側には、車両(OBJ )のみでなく、手前側の歩行者(OBJ )の情報が含まれている。したがって図4(a)の画像IMGxを学習データとして用いると、歩行者の情報を込みで、車両OBJ と識別できるように、学習が進む。言い換えれば、手前側に歩行者が存在しない単独の車両を、車両と識別しにくくなるかもしれない。
[0045]
 翻って本実施の形態に係る学習方法によれば、ゲーティングカメラを用いて、手前側の物体OBJ と奥側の物体OBJ を分離して、別々の画像として学習を行うことで、各物体OBJ (#=1,2)それぞれを、それ自身OBJ のみの情報にもとづいて識別できるように学習が進むこととなる。これにより、ある物体OBJ が単独で存在する状況であっても、それらが他の物体OBJ (i≠j)と重なっている状況であっても、物体OBJ を正しく識別することができるようになる。
[0046]
 機械学習には、膨大な学習データが必要となるところ、状況や条件を変えて物体の画像を撮影すると、学習コストが高くなる。そこで、通常、「かさ増し」によって、1枚の基本画像を、複数の画像に増やす工夫がなされる。一般的なかさ増しの手法としては、基本画像の左右反転、回転、拡大縮小、輝度値の変更、コントラストの変更などが例示される。図4(a)の画像を基本画像として捉えた場合、ゲーティングカメラを用いることにより、それを2枚の画像に増やしているとも把握できる。つまりゲーティングカメラを用いることで、かさ増しの効果も得られている。
[0047]
 図5は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。物体識別システム10は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、カメラ30の設置箇所として最も有利である。
[0048]
 図6は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、カメラ30および演算処理装置40を含む。
[0049]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
[0050]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0051]
 続いて、実施の形態1に関連する変形例を説明する。
[0052]
(変形例1)
 図7は、変形例1に係る物体識別システム10Aのブロック図である。物体識別システム10Aは、図1のカメラ30に代えて、ゲーティングカメラ20を備える。ゲーティングカメラ20の構成は、図1のゲーティングカメラ50と同様である。ゲーティングカメラ20は、奥行き方向について複数M個(M≧2)のレンジRNG ~RNG に区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するカメラである。ゲーティングカメラ20は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。
[0053]
 分類器42は、ゲーティングカメラ20から、複数M個(M≧2)のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を受ける。分類器42は、複数の画像IMG ~IMG にもとづいて、それらに含まれる物体の種類を識別可能に構成される。分類器42の学習には、ゲーティングカメラ50によって得られた複数の画像IMG ~IMG が用いられる。ゲーティングカメラ50のレンジの個数Nと、ゲーティングカメラ20のレンジの個数Mは同一であってもよいし、異なっていてもよい。
[0054]
II 本発明の第2側面
II-1. 概要
 本発明の第2側面に関連するある実施の形態は、車載用の物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備える。演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行う。
[0055]
 この態様によると、近い物体と遠い物体とで異なるアルゴリズムを適用することにより、識別率を高めることができる。
[0056]
 演算処理装置は、距離が近いレンジの画像処理に、YOLO(You Only Look Once)アルゴリズムの分類器を用いてもよい。YOLOは、小さい物体の識別に不適であるが、高速であるという利点を有する。画像に含まれる物体は、物体までの距離が短い方が大きいため、YOLOを用いることで、距離が近いレンジに含まれる物体を高精度かつ高速に検出・識別できる。
[0057]
 演算処理装置は、距離が遠いレンジの画像処理に、SSD(Single Shot MultiBox Detector)アルゴリズムの分類器を用いてもよい。SSDは、処理速度は劣るが、小さい物体まで高精度に検出できるという利点がある。画像に含まれる物体は、物体までの距離が長い方が小さいため、SSDを用いることで、距離が遠いレンジに含まれる物体を高精度に検出・識別できる。
[0058]
 演算処理装置は、相対的に距離が近いレンジの画像処理に、相対的に高速なアルゴリズムの分類器を用いてもよい。
[0059]
 また演算処理装置は、相対的に距離が遠いレンジの画像処理に、相対的に高精度なアルゴリズムの分類器を用いてもよい。
[0060]
II-2. 詳細な説明
 図8は、実施の形態2に係る物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ)を判定する。
[0061]
 物体識別システム10は、主としてゲーティングカメラ20および演算処理装置40を備える。ゲーティングカメラ20は、投光器22、イメージセンサ24、コントローラ26を含む。ゲーティングカメラ20による撮像は、奥行き方向について複数N個(N≧2)のレンジRNG ~RNG に区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
[0062]
 投光器22は、コントローラ26から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
[0063]
 イメージセンサ24は、コントローラ26から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、画像IMGを生成可能に構成される。イメージセンサ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
[0064]
 コントローラ26は、レンジ毎RNGに、投光タイミング信号S1と撮影タイミング信号S2を変化させて、投光器22による投光と、イメージセンサ24の露光の時間差を変化させる。ゲーティングカメラ20は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。i番目の画像IMG には、対応するレンジRNG に含まれる物体のみが写ることとなる。
[0065]
 図9は、ゲーティングカメラ20の動作を説明する図である。図9にはi番目のレンジRNG を測定するときの様子が示される。投光器22は、投光タイミング信号S1と同期して、時刻t ~t の間の発光期間τ の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNG の手前の境界までの距離をd MINi、レンジRNG の奥側の境界までの距離をd MAXiとする。
[0066]
 ある時刻に投光器22を出発した光が、距離d MINiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MINiは、
 T MINi=2×d MINi/c
である。cは光速である。
[0067]
 同様に、ある時刻に投光器22を出発した光が、距離d MAXiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MAXiは、
 T MAXi=2×d MAXi/c
である。
[0068]
 レンジRNG に含まれる物体OBJのみを撮影したいとき、コントローラ26は、時刻t =t +T MINiに露光を開始し、時刻t =t +T MAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
[0069]
 i番目のレンジRNG を撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ26は、所定の周期τ で、上述の露光動作を複数回にわたり繰り返せばよい。
[0070]
 図8に戻る。演算処理装置40は、ゲーティングカメラ20によって得られる複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG にもとづいて、物体の種類を識別可能に構成される。演算処理装置40は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40はハードウェアのみで構成してもよい。
[0071]
 演算処理装置40は、アルゴリズムの異なる複数M個(M≧2)の分類器42_1~42_Mを含む。セレクタ44は、各画像IMGを、レンジRNGに応じて選択された分類器42に対して供給する。分類器42は、与えられた画像IMGを処理して、それに含まれる物体の検出・クラス分類(識別)を行う。
[0072]
 分類器42の個数Mは、レンジRNGの個数Nと同数であってもよいし、それより少なくてもよい。
[0073]
 複数のアルゴリズムのひとつは、高速であるが、精度が低い(言い換えれば、小さい物体の検出精度が低い)アルゴリズムであってもよい。また複数のアルゴリズムの別のひとつは、低速であるが、精度が高い(言い換えれば、小さい物体の検出精度が高い)アルゴリズムであってもよい。
[0074]
 演算処理装置40は、相対的に距離が近いレンジの画像処理に、相対的に高速で精度が低いアルゴリズムの分類器を用いるとよい。また演算処理装置40は、相対的に距離が遠いレンジの画像処理に、相対的に低速で精度が高いアルゴリズムの分類器を用いるとよい。
[0075]
 たとえば複数のアルゴリズムのひとつは、YOLO(You Only Look Once)アルゴリズムが好適である。また、複数のアルゴリズムの別のひとつは、SSD(Single Shot MultiBox Detector)アルゴリズムが好適である。
[0076]
 以上が物体識別システム10の構成である。続いてその動作を説明する。
[0077]
 図10(a)は、図8の物体識別システム10の動作を説明するタイムチャートである。ここでは、M=2,N=2として、1番目のレンジRNG の画像IMG の処理に、YOLOアルゴリズムの分類器42_1を割り当て、2番目のレンジRNG の画像IMG の処理に、SSDアルゴリズムの分類器42_2を割り当てるものとする。
[0078]
 ゲーティングカメラ20によって、レンジRNG の画像IMG が取得され、それがYOLOアルゴリズムの分類器42_1によって処理される。続いてゲーティングカメラ20によって、レンジRNG の画像IMG が取得され、それSSDアルゴリズムの分類器42_2によって処理される。
[0079]
 以上が物体識別システム10の動作である。この物体識別システム10によれば、互いに相補的な関係にある2つ、あるいは3個以上のアルゴリズムの分類器を用い、撮影レンジごとに分類器を割り当てることにより、近い物体と遠い物体を高精度に、短時間で検出できる。
[0080]
 より詳しくは、YOLOは、小さい物体の識別に不適であるが、高速であるという利点を有する。画像に含まれる物体は、物体までの距離が短い方が大きく写る。したがって、距離が近いレンジRNG の画像処理に、YOLOを用いることで、距離が近いレンジに含まれる物体を高精度かつ高速に検出・識別できる。
[0081]
 またSSDは、処理速度はYOLOに劣るが、小さい物体まで高精度に検出できるという利点がある。画像に含まれる物体は、物体までの距離が長い方が小さいため、SSDを用いることで、距離が遠いレンジに含まれる物体を高精度に検出・識別できる。
[0082]
 図8の物体識別システム10の利点は、比較技術との対比によって明確となる。比較技術では、レンジにかかわらず、高精度なアルゴリズム(SSD)の分類器によって処理する。図10(b)には、比較技術に係る物体識別システムの動作を説明するタイムチャートである。すべての画像IMG ,IMG に対してSSDアルゴリズムを適用すれば、物体の距離にかかわらず高精度な検出が可能である。しかしながら、すべてのレンジについて物体認識を行うのに要する検出時間が、図10(a)と比べて長くなる。言い換えれば、比較技術ではフレームレートが低下することを意味する。比較技術において高いフレームレートを実現しようとすれば、演算処理装置40に高速なCPUやマイコンが必要となり、物体識別システム10のコストが高くなる。
[0083]
 翻って実施の形態2に係る物体識別システム10によれば、複数のアルゴリズムを組み合わせることにより、それほど高価(高速な)なハードウェアを用いなくても、高い検出精度と、高いフレームレートを両立させることができる。
[0084]
 図11は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。物体識別システム10は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ20の設置箇所として最も有利である。
[0085]
 図12は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、ゲーティングカメラ20および演算処理装置40を含む。
[0086]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
[0087]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0088]
 続いて、実施の形態2に関連する変形例を説明する。
[0089]
(変形例1)
 M=2,N≧3である場合、1番目~k番目のレンジRNG ~RNG の画像IMG ~IMG の処理に、YOLOアルゴリズムの分類器42_1を割り当て、k+1番目~N番目のレンジRNG k+1~RNG の画像IMG k+1~IMG の処理に、SSDアルゴリズムの分類器42_2を割り当てるとよい。
[0090]
(変形例2)
 実施の形態2では、複数のアルゴリズムとして、YOLOとSSDを説明したが、その限りでない。物体認識のアルゴリズムとしては、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどが知られており、それらのいずれかを採用することができ、あるいは、将来開発されるアルゴリズムを採用してもよいことはいうまでもない。
[0091]
III 本発明の第3側面
III-1. 概要
 本発明の第3側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、を備える。
[0092]
 この態様によると、分類器に入力される複数の画像において、同じ物体のサイズを揃えることができる。これにより分類器の識別力を高め、あるいは学習コストを下げることができる。
[0093]
 係数は、近いレンジほど小さく、遠いレンジほど大きくてもよい。
[0094]
 複数のレンジのひとつを基準レンジとしてもよい。基準レンジの係数を1とし、基準レンジより近いレンジの係数は1より小さく、基準レンジより遠いレンジの係数は1より大きく定めてもよい。これによりスケーラの処理を簡素化できる。また、学習に際しては、基準レンジに物体を配置して撮影した画像を重点化的に用いればよく、基準レンジ以外に物体を配置した撮影の回数を減らすことができる。
[0095]
III-2. 詳細な説明
 以下、本発明の第3側面を、好適な実施の形態をもとに図面を参照しながら説明する。
[0096]
 図13は、実施の形態3に係る物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ)を判定する。
[0097]
 物体識別システム10は、主としてゲーティングカメラ20および演算処理装置40を備える。ゲーティングカメラ20は、投光器22、イメージセンサ24、コントローラ26を含む。ゲーティングカメラ20による撮像は、奥行き方向について複数N個(N≧2)のレンジRNG ~RNG に区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
[0098]
 投光器22は、コントローラ26から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
[0099]
 イメージセンサ24は、コントローラ26から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、画像IMGを生成可能に構成される。イメージセンサ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
[0100]
 コントローラ26は、レンジ毎RNGに、投光タイミング信号S1と撮影タイミング信号S2を変化させて、投光器22による投光と、イメージセンサ24の露光の時間差を変化させる。ゲーティングカメラ20は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。i番目の画像IMG には、対応するレンジRNG に含まれる物体のみが写ることとなる。
[0101]
 図14は、ゲーティングカメラ20の動作を説明する図である。図14にはi番目のレンジRNG を測定するときの様子が示される。投光器22は、投光タイミング信号S1と同期して、時刻t ~t の間の発光期間τ の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNG の手前の境界までの距離をd MINi、レンジRNG の奥側の境界までの距離をd MAXiとする。
[0102]
 ある時刻に投光器22を出発した光が、距離d MINiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MINiは、
 T MINi=2×d MINi/c
である。cは光速である。
[0103]
 同様に、ある時刻に投光器22を出発した光が、距離d MAXiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MAXiは、
 T MAXi=2×d MAXi/c
である。
[0104]
 レンジRNG に含まれる物体OBJのみを撮影したいとき、コントローラ26は、時刻t =t +T MINiに露光を開始し、時刻t =t +T MAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
[0105]
 i番目のレンジRNG を撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ26は、所定の周期τ で、上述の露光動作を複数回にわたり繰り返せばよい。
[0106]
 図15(a)、(b)は、ゲーティングカメラ20により得られる画像を説明する図である。図15(a)の例では、レンジRNG に物体(歩行者)OBJ が存在し、レンジRNG に物体(車両)OBJ が存在している。図15(b)には、図15(a)の状況で得られる複数の画像IMG ~IMG が示される。画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG にはいかなる物体も写らない。
[0107]
 画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG には、物体OBJ のみが写る。同様に画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG には、物体OBJ のみが写る。このようにゲーティングカメラ20によれば、レンジごとに物体を分離して撮影することができる。
[0108]
 図13に戻る。演算処理装置40は、ゲーティングカメラ20によって得られる複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG にもとづいて、物体の種類を識別可能に構成される。演算処理装置40は、機械学習によって生成されたモデルにもとづいて実装される分類器42を備える。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
[0109]
 演算処理装置40は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40はハードウェアのみで構成してもよい。
[0110]
 本発明者は、分類器42のトレーニングについて検討した結果、以下の課題を認識するに至った。
[0111]
 分類器42のトレーニングには、膨大な数の学習データ(トレーニングデータ)が用いられる。学習データには、ゲーティングカメラあるいは通常のカメラによって撮影された画像データが用いられる。
[0112]
 図16(a)、(b)は、ゲーティングカメラ20により得られる画像を説明する図である。図16(a)に示すように、同じ物体(ここでは歩行者とする)OBJが異なるレンジに存在する状況を考える。ゲーティングカメラ20はそれ自身のセンササイズおよび光学系で定まる水平画角(視野角)θおよび垂直画角を有する。ゲーティングカメラ20は、レンジにかかわらず同じ画角で撮影するため、異なる距離に位置する同じ物体を撮影すると、物体までの距離によって撮影倍率が異なることとなる。したがって図16(b)に示すように、遠くの物体ほど小さく、近くの物体ほど大きく写ることとなる。なお、この特徴はゲーティングカメラに限ったものではなく、通常のカメラで撮影した場合も同様である。
[0113]
 演算処理装置40には、画像IMG ~IMG のいずれに対しても、それぞれに含まれる物体OBJ ~OBJ を歩行者に分類する識別力が要求される。このためには、あるカテゴリの物体を、異なる複数の距離で撮影した画像を用意し、それらを学習データとして用いる手法が採られる。また、ある距離で物体を撮影した基本画像を、拡大あるいは縮小して複数の画像を生成し、それらを学習データとして用いる手法も採られる(かさ増しという)。
[0114]
 しかしながら、これらの手法は学習コストの増加となりうる。また、これらの手法を採ったとしても、やはり十分な認識率が得られないケースが想定される。
[0115]
 そこで本実施の形態3では、図13に示すように、演算処理装置40は、分類器42の前段に設けられたスケーラ46を備える。スケーラ46は、ゲーティングカメラ20によって得られる複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を、レンジRNG (#=1,2,…N)ごとに規定された係数K でスケーリングする。レンジと係数の関係は、テーブルに保持しておいてもよいし、演算式の形で保持しておいてもよい。
[0116]
 図17(a)~(c)は、スケーラ46によるスケーリング処理の一例を説明する図である。この例では、N=3である。係数K ~K は、スケーリング処理後の画像IMGs ~IMGs に含まれる物体OBJの大きさ(縦横のピクセル数x、y)が近づくように定められる。
[0117]
 複数のレンジから、基準レンジを選択してもよい。そして基準レンジの係数を1、もしくはその近傍に定める。レンジRNG が基準レンジであり、係数K =1であるとき、IMG =IMGs とすることができる。この例では、中央のレンジRNG が基準レンジであり、係数K が1に選ばれる。
[0118]
 基準レンジよりもゲーティングカメラ20からの距離が近いレンジについては、K<1となる。係数K <1の場合、元の画像IMG が縮小される。縮小する際には、画素を間引いてもよい。結果として得られる画像IMGs のピクセル数は、元の画像IMG に比べて減少する。図17(a)の例では、K =0.8に選ばれる。
[0119]
 基準レンジよりもゲーティングカメラ20からの距離が遠いレンジについては、K>1となる。係数K >1の場合、元の画像IMG が拡大される。拡大する際には、画素補間を行えばよい。結果として得られる画像IMGs のピクセル数は、元の画像IMG に比べて増加する。図17(c)の例では、K =1.4に選ばれている。
[0120]
 図13に戻る。分類器42には、スケーラ46によるスケーリング処理後の画像データIMGs ~IMGs が入力される。分類器42は、画像データIMGs ~IMGs それぞれにもとづいて、各画像データに含まれる物体OBJの種類を識別する。
[0121]
 以上が物体識別システム10の構成である。この物体識別システム10では、分類器42に入力される画像は、同じ物体が同じサイズ(ピクセル数)に近づくようにスケーリングされる。したがって分類器42は、物体までの距離に依存せずに、物体を検出し、そのカテゴリを識別することが可能となる。これは、分類器42の識別率(正答率)の改善をもたらす。
[0122]
 この物体識別システム10を採用することで、分類器42の学習コストを下げることができるという利点もある。すなわち、学習時には、スケーリングの係数が1に近いレンジに重点的に物体を配置し、そのときに得られた画像を学習データとして分類器42のパラメータの最適化に利用すればよく、スケーリングの係数が1から大きく外れたレンジについては、撮影の回数を減らすことができる。
[0123]
 図18は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。物体識別システム10は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ20の設置箇所として最も有利である。
[0124]
 図19は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、ゲーティングカメラ20および演算処理装置40を含む。
[0125]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
[0126]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0127]
 続いて、実施の形態3に関連する変形例を説明する。
[0128]
(変形例1)
 実施の形態では、複数のレンジのうち中央付近のレンジを基準にとり、基準レンジの係数を1、それ以外のレンジの係数を1より小さく、あるいは大きくしたがその限りでない。たとえば手前のレンジを基準レンジとし、奥側のレンジの係数を1より大きくしてもよい。反対に、たとえば一番奥側のレンジを基準レンジとし、それより手前側のレンジの係数を1より小さくしてもよい。
[0129]
(変形例2)
 基準レンジを1個としたが、基準レンジを複数としてもよい。図20を参照して変形例2を説明する。図20(a)、(b)は、ゲーティングカメラ20により得られる画像を説明する図である。ここではレンジの数Nを4個としている。複数のレンジは、複数のセットに分けられる。各セットは、少なくともひとつのレンジを含み、基準レンジは、セット毎に設けられる。たとえば、RNG ,RNG を第1のセット、RNG ,RNG を第2のセットに定める。第1のセットに着目すると、それに含まれるレンジRNG ,RNG のひとつを基準レンジと定め、残りのレンジの係数を、物体のサイズが基準レンジのそれに近づくように定めればよい。
[0130]
 同様に、第2のセットに着目すると、それに含まれるレンジRNG ,RNG の一方を基準レンジと定め、残りのレンジの係数を、物体のサイズが基準レンジのそれに近づくように定めればよい。
[0131]
 変形例2では、レンジのセット毎に、基準レンジに物体が位置する状況で得られた画像を用いて重点的に用いて機械学習を行えばよい。
[0132]
IV 本発明の第4側面
IV-1. 概要
 本発明の第4側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、画像ごとに物体が存在しうる領域が限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、を備える。
[0133]
 識別対象の物体は、その種類ごとに、存在する位置が制限される。たとえば歩行者や自動車の交通参加者は地上に存在しており、空中には存在しない。つまり、画像内で交通参加者等が存在しうる位置は、地上付近の領域内に制約される。ゲーティングカメラにおいて、複数の画像が同じ画角で撮影される場合、カメラからの距離ごと、すなわち画像ごとに、地上付近の領域が変化する。
[0134]
 そこで一実施の形態では、画像ごとに固有の興味領域を定めておき、分類器の画像処理の範囲を制限することで、演算処理量を削減できる。
[0135]
 物体識別システムは、複数の画像それぞれについて、興味領域内の画像をトリミングする前処理部と、前処理部の出力を処理する分類器と、を含んでもよい。この場合、分類器に与えられる画像のサイズが小さくなるため、演算処理量を削減できる。
[0136]
 物体識別システムは、複数の画像それぞれについて、興味領域外の画像をマスクする前処理部と、前処理部の出力を処理する分類器と、を含んでもよい。前処理部は、興味領域外を、単一色で塗りつぶしてもよい。
[0137]
 また別の実施の形態において、分類器の後段あるいは内部において、物体の種類の判断に、物体の位置情報を反映させてもよい。
[0138]
 演算処理装置は、複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の興味領域に含まれるか否かを判定する後処理部と、を含んでもよい。
[0139]
 興味領域は、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さくてもよい。
[0140]
 興味領域は、遠いレンジの画像ほど高さが小さくてもよい。これにより、地上付近の物体を検出するための演算処理量を削減できる。
[0141]
 興味領域は、遠いレンジの画像ほど幅が狭くてもよい。
[0142]
IV-2. 詳細な説明
 以下、本発明の第4側面を、好適な実施の形態をもとに図面を参照しながら説明する。
[0143]
(実施の形態4-1)
 図21は、実施の形態4-1に係る物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリあるいはクラスともいう)を判定する。
[0144]
 物体識別システム10は、主としてゲーティングカメラ20および演算処理装置40を備える。ゲーティングカメラ20は、投光器22、イメージセンサ24、コントローラ26を含む。ゲーティングカメラ20による撮像は、奥行き方向について複数N個(N≧2)のレンジRNG ~RNG に区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
[0145]
 投光器22は、コントローラ26から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
[0146]
 イメージセンサ24は、コントローラ26から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、画像IMGを生成可能に構成される。イメージセンサ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
[0147]
 コントローラ26は、レンジRNGごとに、投光タイミング信号S1と撮影タイミング信号S2を変化させて、投光器22による投光と、イメージセンサ24の露光の時間差を変化させる。ゲーティングカメラ20は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。i番目の画像IMG には、対応するレンジRNG に含まれる物体のみが写ることとなる。
[0148]
 図22は、ゲーティングカメラ20の動作を説明する図である。図22にはi番目のレンジRNG を測定するときの様子が示される。投光器22は、投光タイミング信号S1と同期して、時刻t ~t の間の発光期間τ の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNG の手前の境界までの距離をd MINi、レンジRNG の奥側の境界までの距離をd MAXiとする。
[0149]
 ある時刻に投光器22を出発した光が、距離d MINiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MINiは、
 T MINi=2×d MINi/c
である。cは光速である。
[0150]
 同様に、ある時刻に投光器22を出発した光が、距離d MAXiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MAXiは、
 T MAXi=2×d MAXi/c
である。
[0151]
 レンジRNG に含まれる物体OBJのみを撮影したいとき、コントローラ26は、時刻t =t +T MINiに露光を開始し、時刻t =t +T MAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
[0152]
 i番目のレンジRNG を撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ26は、所定の周期τ で、上述の露光動作を複数回にわたり繰り返せばよい。
[0153]
 図23(a)、(b)は、ゲーティングカメラ20により得られる画像を説明する図である。図23(a)の例では、レンジRNG に物体(歩行者)OBJ が存在し、レンジRNG に物体(車両)OBJ が存在している。図23(b)には、図23(a)の状況で得られる複数の画像IMG ~IMG が示される。画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG にはいかなる物体も写らない。
[0154]
 画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG には、物体OBJ のみが写る。同様に画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG には、物体OBJ のみが写る。このようにゲーティングカメラ20によれば、レンジごとに物体を分離して撮影することができる。
[0155]
 図21に戻る。演算処理装置40は、ゲーティングカメラ20によって得られる複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG にもとづいて、物体の種類を識別可能に構成される。演算処理装置40は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器42を備える。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
[0156]
 演算処理装置40は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40はハードウェアのみで構成してもよい。
[0157]
 画像ごと、すなわちレンジ毎に、固有の興味領域(ROI:Region Of Interest)が定められる。ROIは、物体が存在しうる領域である。i番目(i=1,2,…N)の画像に対応するROIを、ROI と表記する。分類器42は、各画像IMG について、物体OBJが存在しうる位置が、画像IMG に固有のROI 内に限定されているとの制約条件のもと、画像IMG に含まれる物体の種類を識別する。
[0158]
 たとえば、分類器42の出力(検出データという)OUT (i=1,2,…N)は、i番目の画像データIMG に含まれる各物体の位置情報と、その種類(カテゴリ)の情報を含む。種類の情報は、複数の種類それぞれに該当する可能性(確率)を示してもよいし、最も確率が高い種類の識別子を含んでもよい。
[0159]
 図24(a)、(b)は、ROIを説明する図である。図24(a)は横から見た図であり、図24(b)にはゲーティングカメラ20により撮影される画像が示される。図24(a)に示すように、ゲーティングカメラ20による撮像範囲が画角換算で水平軸を中心に上下に±θであるとする。地面2の高さをゼロとしたとき、i番目のレンジRNG の画像IMG には、高さH より下の範囲の物体が写る。
[0160]
 一方、歩行者や自動車が存在する範囲は、所定の範囲(0~H ROI)に限定される。そうすると、H ROI~H の範囲には、検出対称の物体は存在しないとみなすことができる。したがって図24(b)に示すように、各画像IMG について、H ROIより下の範囲をROI とし、H ROIより上の範囲を除外領域(ハッチング)とすることができる。具体的にはi番目の画像IMG について、下端からH ROI/H の割合の範囲をROI とすればよい。ROIは、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さくなる。
[0161]
 ゲーティングカメラ20のイメージセンサ24の地上高をhcとする。またイメージセンサ24からi番目のレンジRNG の奥側の境界までの距離をd MAXiとする。この場合、
 H =hc+d MAXi×tanθ
となる。
[0162]
 図21に戻る。本実施の形態において、分類器42の前段には、前処理部46が設けられる。前処理部46は、各画像IMG からROI内の画像をトリミングする。分類器42は前処理部46の出力であるトリミング画像IMGt ~IMGt を処理する。
[0163]
 以上が物体識別システム10の構成である。続いてその動作を説明する。図25(a)、(b)は、図21の物体識別システム10の動作を説明する図である。図25(a)はi番目のレンジの画像IMG を、図25(b)は、トリミング後の画像IMGt を示す。
[0164]
 図25(a)の画像IMG には、3個の図形X,Y,Xが写っている。そのうち図形XはROI 内に含まれており、図形Y,Zは、ROI 外である。したがって図形YやZが、歩行者や自動車である可能性は低い。
[0165]
 図25(b)に示すように、前処理部46によってトリミングされた画像IMGt には、図形Xのみが含まれる。分類器42によって、トリミング後の画像を処理することにより、図形Y,Zについては、演算処理の対象から除外され、図形Xのみが識別処理の対象となる。これにより演算処理装置40の演算処理量を削減できる。
[0166]
 また、図形Y,Zを処理の対象から除外することにより、図形Y,Zが、自動車や歩行者と誤って認識されることを防止できる。すなわち、物体識別システム10の識別率を改善することができる。
[0167]
(実施の形態4-2)
 実施の形態4-1では、分類器42の前処理によって、演算処理の対象をROI内に制限したがその限りでない。実施の形態4-2では、分類器42の後処理、あるいは内部処理によって、物体OBJが存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件を課す。
[0168]
 図26は、実施の形態4-2に係る物体識別システム10Aのブロック図である。演算処理装置40Aは、分類器42の後段に設けられた後処理部48を備える。分類器42は、ゲーティングカメラ20が生成する複数の画像IMG ~IMG それぞれについて、各画像に含まれる物体の位置と種類を示す検出データOUT ~OUT を生成する。後処理部48は、分類器42が生成する検出データOUT ~OUT を受ける。後処理部48は、各検出データOUT (i=1~N)について、それに含まれる物体の位置が、元の画像IMG に固有のROI に含まれるか否かを判定する。そして物体の位置が、ROI 外であるとき、その物体を削除する。
[0169]
 図27(a)、(b)は、図26の物体識別システム10Aの動作を説明する図である。図27(a)は、i番目のレンジに関する検出データOUT を画像データとして模式的に示す図である。検出データOUT は、2個のバウンディングボックスX,Yを含む。一方のバウンディングボックスXに含まれる物体は、歩行者(Human)である確率が90%と判定されており、別のバウンディングボックスYに含まれる物体は、自動車(Car)である確率が80%と判定されている。
[0170]
 上述のように自動車は、ROI外に存在する可能性は低い。したがって、ROI外に位置するバウンディングボックスYに含まれる物体が自動車である確率は低いといえる。そこで後処理部48は、ROI外の物体を削除し、削除後の検出データOUT ’を出力する。
[0171]
 実施の形態4-2によれば、分類器42における演算処理量を減らすことはできないが、物体の識別率を改善できる。
[0172]
 続いて、実施の形態4-1,4-2に関連する変形例を説明する。
[0173]
(変形例1)
 図28(a)、(b)は、ROIの変形例を説明する図である。図28(a)に示すように、各画像には、地面より下が含まれる場合がある。この場合において図28(b)に示すように、各画像の上側の範囲(H ROI~H )に加えて、地面2より下側の範囲(<0)についても、物体が存在しえない領域として扱ってもよい。これにより、演算処理装置40における演算処理量をさらに減らすことができる。
[0174]
(変形例2)
 これまでの説明では、物体が存在し得ない範囲を除外したが、その限りでなく、物体が存在したとしても検出する必要がない領域を定めておいてもよい。図29(a)、(b)は、ROIの変形例を説明する図である。図29(a)は上から見た図であり、図29(b)にはゲーティングカメラ20により撮影される画像が示される。
[0175]
 車載用途では、物体を検出すべき範囲を、左右方向にも制限することができる。たとえば自車から数十mも横方向に離れた歩行者は、直ちに検出する必要は無いと言える。そこで、自車を中心として、横方向に検出範囲を定め、各画像IMG について、検出範囲に対応する部分をROI としてもよい。これにより、演算処理量をさらに減らすことができる。
[0176]
 もちろん、上下方向のトリミングと左右方向のトリミングとを組み合わせてもよい。
[0177]
(変形例3)
 実施の形態4-1において、前処理部46の処理は上述のそれに限定されない。前処理部46は、各画像IMG から、ROI外の画像をマスクしてもよい。たとえば前処理部46は、ROI外を、単一色(たとえば黒や白)で塗りつぶしてもよい。分類器42は、マスク後の画像IMGm を処理対象とする。図30(a)、(b)は、変形例3に係る物体識別システム10の動作を説明する図である。
[0178]
 図30(a)の画像IMG には、3個の図形X,Y,Xが写っている。そのうち図形XはROI内に含まれており、図形Y,Zは、ROI外である。したがって図形YやZが、歩行者や自動車である可能性は低い。
[0179]
 図30(b)に示すように、前処理部46が、ROI外をマスクすることにより、マスク後の画像IMGm からは図形Y,Zが除去される。分類器42によって、マスク後の画像IMGm を処理することにより、図形Y,Zについては、演算処理の対象から除外され、図形Xのみが識別処理の対象となる。これにより演算処理装置40の演算処理量を削減できる。
[0180]
(変形例4)
 実施の形態では、レンジの異なる画像を、同じ分類器42で処理したがその限りでなく、レンジ毎に異なる分類器を用いてもよい。
[0181]
(用途)
 図31は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。物体識別システム10は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ20の設置箇所として最も有利である。
[0182]
 図32は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、ゲーティングカメラ20および演算処理装置40を含む。
[0183]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
[0184]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0185]
V 本発明の第5側面
V-1. 概要
 本発明の第5側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、許容範囲にもとづいて各画像に写る物体像の種類を識別可能に構成される演算処理装置と、を備える。
[0186]
 画像に写る物体像のサイズは、物体までの距離に応じて変化する。撮像デバイスとしてゲーティングカメラを用いる場合、一枚の画像に含まれる物体までの距離は、対応するレンジの奥行き方向の情報から得ることができる。つまり、あるレンジに位置する物体を写したときに、画像に写る物体像のサイズは、ある範囲に制約される。そこで、この範囲を許容範囲として定めておくことにより、物体の識別率を高め、あるいは演算処理量を削減できる。
[0187]
 演算処理装置は、複数の画像それぞれについて、それに写る物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体像のサイズが、許容範囲に含まれるか否かを判定する後処理部と、を含んでもよい。
[0188]
 演算処理装置は、複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、前処理部により切り分けられたサブ画像のサイズが許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、を含んでもよい。
[0189]
 許容範囲は、垂直方向について規定されてもよい。許容範囲は、横方向について規定されてもよい。
[0190]
 許容範囲は、物体像の種類ごとに個別に規定されてもよい。これにより物体の識別率をさらに高めることができる。
[0191]
 許容範囲は、近いレンジほど大きく、遠いレンジほど小さくてもよい。許容範囲は、遠いレンジほど高さが小さくてもよい。許容範囲は、遠いレンジほど幅が狭くてもよい。
[0192]
V-2. 詳細な説明
 以下、本発明の第5側面を、好適な実施の形態をもとに図面を参照しながら説明する。
[0193]
(実施の形態5-1)
 図33は、実施の形態5-1に係る物体識別システム10Cのブロック図である。この物体識別システム10Cは、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ、あるいはクラスともいう)を判定する。
[0194]
 物体識別システム10Cは、主としてゲーティングカメラ20および演算処理装置40Cを備える。ゲーティングカメラ20は、投光器22、イメージセンサ24、コントローラ26を含む。ゲーティングカメラ20による撮像は、奥行き方向について複数N個(N≧2)のレンジRNG ~RNG に区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
[0195]
 投光器22は、コントローラ26から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
[0196]
 イメージセンサ24は、コントローラ26から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、画像IMGを生成可能に構成される。イメージセンサ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
[0197]
 コントローラ26は、レンジRNGごとに、投光タイミング信号S1と撮影タイミング信号S2を変化させて、投光器22による投光と、イメージセンサ24の露光の時間差を変化させる。ゲーティングカメラ20は、複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG を生成する。i番目の画像IMG には、対応するレンジRNG に含まれる物体のみが写ることとなる。
[0198]
 図34は、ゲーティングカメラ20の動作を説明する図である。図34にはi番目のレンジRNG を測定するときの様子が示される。投光器22は、投光タイミング信号S1と同期して、時刻t ~t の間の発光期間τ の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNG の手前の境界までの距離をd MINi、レンジRNG の奥側の境界までの距離をd MAXiとする。
[0199]
 ある時刻に投光器22を出発した光が、距離d MINiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MINiは、
 T MINi=2×d MINi/c
である。cは光速である。
[0200]
 同様に、ある時刻に投光器22を出発した光が、距離d MAXiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間T MAXiは、
 T MAXi=2×d MAXi/c
である。
[0201]
 レンジRNG に含まれる物体OBJのみを撮影したいとき、コントローラ26は、時刻t =t +T MINiに露光を開始し、時刻t =t +T MAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
[0202]
 i番目のレンジRNG を撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ26は、所定の周期τ で、上述の露光動作を複数回にわたり繰り返せばよい。
[0203]
 図35(a)、(b)は、ゲーティングカメラ20により得られる画像を説明する図である。図35(a)の例では、レンジRNG に物体(歩行者)OBJ が存在し、レンジRNG に物体(車両)OBJ が存在している。図35(b)には、図35(a)の状況で得られる複数の画像IMG ~IMG が示される。画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG にはいかなる物体像も写らない。
[0204]
 画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG には、物体像OBJ のみが写る。同様に画像IMG を撮影するとき、イメージセンサはレンジRNG からの反射光のみにより露光されるため、画像IMG には、物体像OBJ のみが写る。このようにゲーティングカメラ20によれば、レンジ毎に物体を分離して撮影することができる。
[0205]
 図33に戻る。演算処理装置40Cは、ゲーティングカメラ20によって得られる複数のレンジRNG ~RNG に対応する複数の画像IMG ~IMG にもとづいて、物体の種類を識別可能に構成される。演算処理装置40Cは、機械学習によって生成された学習済みモデルにもとづいて実装される分類器42を備える。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
[0206]
 演算処理装置40Cは、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40Cは、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40Cはハードウェアのみで構成してもよい。
[0207]
 複数のレンジそれぞれについて、対応する画像に写る物体像の大きさの範囲(許容範囲という)が規定されている。分類器42は、検出対象の物体像のサイズは、許容範囲に含まれるという前提(制約)のもと、複数の画像IMGそれぞれに含まれる物体像の種類を識別する。
[0208]
 たとえば、分類器42の出力(検出データという)OUT (i=1,2,…N)は、i番目の画像データIMG に含まれる各物体像のサイズ情報と、その種類(カテゴリ)の情報を含む。検出データOUTが、物体ごとのバウンディングボックスの情報を含む場合、バウンディングボックスの高さと幅を、物体のサイズ情報とすることができる。種類の情報は、複数の種類それぞれに該当する可能性(所属確率)を示してもよいし、最も所属確率が高い種類の識別子を含んでもよい。
[0209]
 図36(a)、(b)は、レンジ毎に撮影される画像を説明する図である。図36(a)は横から見た図であり、図36(b)にはゲーティングカメラ20により撮影される画像が示される。図36(a)に示すように、ゲーティングカメラ20による撮像範囲が画角換算で水平軸を中心に上下に±θであるとする。図36(b)に示すように、各画像に写る物体像の大きさは、遠いレンジほど小さくなる。
[0210]
 図37は、許容範囲を説明する図である。ここでは、許容範囲は、垂直方向について規定されるものとする。i番目のレンジRNG に着目する。物体像が最も大きく写るのは、物体OBJが手前側の境界(A)に位置するときであり、物体像が最も小さく写るのは、物体OBJが奥側の境界(B)に位置するときである。
[0211]
 物体OBJの高さの最小値をh MIN、最大値をh MAXとする。物体OBJが、位置(A)に存在し、かつその高さが最大h MAXであるときを考える。画像IMG の垂直方向の画素数をYとするとき、画像内の物体の垂直方向の画素数yは、
 y MAXi=Y×h MAX/(d MINi×tanθ×2)
 このy MAXiは、レンジRNG における許容範囲の最大値を与える。
[0212]
 物体OBJが、位置(B)に存在し、かつその高さが最大h MINであるときを考える。このとき画像内の物体の垂直方向の画素数y MINiは、
 y MINi=Y×h MIN/(d MAXi×tanθ×2)
 このy MINiは、レンジRNG における許容範囲の最小値を与える。
[0213]
 つまり、許容範囲(垂直方向のピクセル数)は、y MINi~y MAXiとなる。なお、許容範囲の決め方は、上述のそれには限定されない。
[0214]
 図33に戻る。演算処理装置40Cは、検出した物体像のサイズが、許容範囲から外れているとき、その物体像を処理対象から除外してもよい。あるいは、検出した物体像のサイズと許容範囲の関係を、種類(カテゴリ/クラス)の所属確率に反映させてもよい。
[0215]
 本実施の形態において、分類器42の後段には、後処理部48が設けられる。分類器42は、複数の画像IMG ~IMG それぞれについて、それに含まれる物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データOUT ~OUT を生成する。
[0216]
 後処理部48は、分類器42が生成する検出データOUT ~OUT を受ける。後処理部48は、各検出データOUT (i=1~N)について、それに含まれる物体像のサイズが、そのレンジRNG の許容範囲に含まれるか否かを判定する。そして、判定結果にもとづいて、検出データOUT を修正する。
[0217]
 たとえば後処理部48は、ある物体像のサイズが許容範囲から外れている場合、検出データOUT ’の中から、その物体に関する情報を削除してもよい。あるいは後処理部48は、ある物体像のサイズが許容範囲から外れている場合、検出その物体が、ある種類(カテゴリ、クラス)である所属確率を、低下させてもよい。
[0218]
 以上が物体識別システム10Cの構成である。続いてその動作を説明する。図38(a)、(b)は、図33の物体識別システム10Cの動作を説明する図である。図38(a)は、i番目のレンジRNG に関する検出データOUT を画像データとして模式的に示しており、図38(b)は、補正後の検出データOUT ’を画像データとして模式的に示す。
[0219]
 図38(a)に示すように、補正前の検出データOUT は、3個のバウンディングボックスα,β,γを含む。バウンディングボックスαに含まれる物体は、歩行者(Human)である所属確率が90%と判定されており、バウンディングボックスβに含まれる物体は、歩行者(Human)である所属確率が60%と判定されており、バウンディングボックスγには、電柱やビルに人が描かれたポスターが貼られているような物体の像が含まれる。この物体は、歩行者(Human)である所属確率が20%と判定されている。
[0220]
 バウンディングボックスαに含まれる物体については、その高さhが、y MINi<h <y MAXiの関係を満たしている。したがって、バウンディングボックスα内の物体は、検出対象(Human)である確度が高いと言える。したがって、補正後の検出データOUT は、バウンディングボックスαの物体を含んでいる。
[0221]
 バウンディングボックスβに含まれる物体については、その高さhが、h<y MINiとなっており、許容範囲から外れている。したがってその物体は、検出対象である確度が低いと言える。バウンディングボックスγに含まれる物体については、その高さhが、y MAXi<hとなっており、許容範囲から外れている。したがって補正後の検出データOUT ’から、バウンディングボックスβ,γに含まれる物体は、検出対象である確度が低いと言える。したがって、バウンディングボックスβ,γについては、補正後の検出データOUT ’から削除することができる。
[0222]
 以上が物体識別システム10Cの動作である。物体識別システム10Cによれば、物体の識別率を改善できる。
[0223]
(実施の形態5-2)
 図39は、実施の形態5-2に係る物体識別システム10Dのブロック図である。演算処理装置40Dは、分類器42と、その前段に設けられた前処理部46を含む。
[0224]
 前処理部46は、複数の画像IMG ~IMG それぞれについて、それに含まれる物体像ごとのサブ画像に切り分ける。
[0225]
 実施の形態5-1と同様に、複数のレンジRNG ~RNG それぞれについて、対応する画像に写る物体像の大きさの許容範囲が規定されている。
[0226]
 分類器42は、サブ画像SUBそれぞれについて、それに含まれる物体像の種類を判別可能に構成される。分類器42は、前処理部46により切り分けられたサブ画像SUBのサイズが許容範囲に含まれる場合に、当該サブ画像SUBに含まれる物体像の種類を判定する。
[0227]
 図40(a)、(b)は、図39の物体識別システム10Dの動作を説明する図である。図40(a)は、i番目のレンジRNG に関連して得られる画像IMG を示し、図40(b)は、画像IMG から切り出された複数のサブ画像SUB i-1~SUB i-3を示す。この例では、元の画像IMG には3個の物体が含まれている。
[0228]
 サブ画像SUB i-1については、その高さ(ピクセル数)が許容範囲の最大y MAXiを超えている。反対にサブ画像SUB i-3については、その高さ(ピクセル数)が許容範囲の最小値y MINiより小さい。したがって、サブ画像SUB i-1,SUB i-3については、分類器42が、物体の識別演算を行う前に除去される。サブ画像SUB i-2については、その高さ(ピクセル数)が許容範囲に含まれている。したがって、分類器42による識別演算の対象となる。
[0229]
 以上が物体識別システム10Dの動作である。物体識別システム10Dによれば、サイズにもとづいて、分類器42による識別処理の対象となるサブ画像を選別することにより、演算処理装置40Dの演算処理量を削減できる。
[0230]
 また、サブ画像SUB i-1,SUB i-3を処理の対象から除外することにより、サブ画像SUB i-1,SUB i-3が、歩行者と誤って認識されることを防止できる。すなわち、物体識別システム10Dの識別率を改善することができる。
[0231]
 以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
[0232]
(変形例1)
 許容範囲は、水平方向についても考えることができる。ゲーティングカメラ20による撮像範囲が画角換算で左右方向に±φであるとする。また、物体の横方向の幅の最小値をw MIN、最大値をw MAXとする。このとき、あるレンジRNG における許容範囲の最小値X MINi,最大値X MAXiは以下のように表すことができる。
 x MAX=X×w MAX/(d MINi×tanφ×2)
 x MIN=X×w MIN/(d MAXi×tanφ×2)
[0233]
 演算処理装置において、垂直方向のみ、水平方向のみ、あるいはそれらの両方について、検出した物体像のサイズが、許容範囲に含まれるか否かを判定してもよい。
[0234]
(変形例2)
 実施の形態では、レンジの異なる画像を、同じ分類器42で処理したがその限りでなく、レンジ毎に異なる分類器を用いてもよい。
[0235]
(変形例3)
 許容範囲は、物体の種類ごとに個別に設定してもよい。たとえば、歩行者と自動車が検出対象である場合、歩行者の幅と、自動車の幅について、異なる許容範囲を設定してもよい。
[0236]
(変形例4)
 実施の形態5-1,5-2では、許容範囲について、上限と下限の両方を規定したが、それらの一方のみを規定してもよい。
[0237]
(用途)
 図41は、物体識別システム10を備える自動車のブロック図である。自動車300は、前照灯302L,302Rを備える。物体識別システム10は、前照灯302L,302Rの少なくとも一方に内蔵される。前照灯302は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ20の設置箇所として最も有利である。
[0238]
 図42は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、ゲーティングカメラ20および演算処理装置40を含む。
[0239]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
[0240]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0241]
 実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

産業上の利用可能性

[0242]
 本発明は、物体識別システムに関する。

符号の説明

[0243]
 S1 投光タイミング信号、 S2 撮影タイミング信号、 10 物体識別システム、 20 ゲーティングカメラ、 30 カメラ、 40 演算処理装置、 42 分類器、 50 ゲーティングカメラ、 52 投光器、 54 イメージセンサ、 56 コントローラ、 60 コンピュータ、 200 車両用灯具、 202 光源、 204 点灯回路、 206 光学系、 300 自動車、 302 前照灯、 304 車両側ECU、 310 灯具システム。

請求の範囲

[請求項1]
 カメラと、
 前記カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、
 を備え、
 前記分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されていることを特徴とする物体識別システム。
[請求項2]
 前記カメラは、単眼カメラであることを特徴とする請求項1に記載の物体識別システム。
[請求項3]
 前記カメラは、ゲーティングカメラであることを特徴とする請求項1に記載の物体識別システム。
[請求項4]
 請求項1から3のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
[請求項5]
 請求項1から3のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
[請求項6]
 カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を備え、
 前記分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されていることを特徴とする演算処理装置。
[請求項7]
 カメラの出力画像にもとづいて物体を識別する分類器の学習方法であって、
 ゲーティングカメラを用いて、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するステップと、
 前記ゲーティングカメラにより得られた複数の画像を学習データとして、前記分類器を機械学習するステップと、
 を備えることを特徴とする学習方法。
[請求項8]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、
 前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、
 を備え、
 前記演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行うことを特徴とする物体識別システム。
[請求項9]
 前記演算処理装置は、距離が近いレンジの画像処理に、YOLO(You Only Look Once)アルゴリズムの分類器を用いることを特徴とする請求項8に記載の物体識別システム。
[請求項10]
 前記演算処理装置は、距離が遠いレンジの画像処理に、SSD(Single Shot MultiBox Detector)アルゴリズムの分類器を用いることを特徴とする請求項8に記載の物体識別システム。
[請求項11]
 前記演算処理装置は、相対的に距離が近いレンジの画像処理に、相対的に高速なアルゴリズムの分類器を用いることを特徴とする請求項8から10のいずれかに記載の物体識別システム。
[請求項12]
 前記演算処理装置は、相対的に距離が遠いレンジの画像処理に、相対的に高精度なアルゴリズムの分類器を用いることを特徴とする請求項8から11のいずれかに記載の物体識別システム。
[請求項13]
 請求項8から12のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
[請求項14]
 請求項8から13のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
[請求項15]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラとともに物体識別システムを構成する演算処理装置であって、
 前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能に構成され、
 アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行うことを特徴とする演算処理装置。
[請求項16]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、
 前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、
 スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、
 を備えることを特徴とする物体識別システム。
[請求項17]
 前記係数は、近いレンジほど小さく、遠いレンジほど大きいことを特徴とする請求項16に記載の物体識別システム。
[請求項18]
 前記複数のレンジのひとつを基準レンジとし、前記基準レンジの係数は1であり、前記基準レンジより近いレンジの係数は1より小さく、前記基準レンジより遠いレンジの係数は1より大きいことを特徴とする請求項16または17に記載の物体識別システム。
[請求項19]
 請求項16から18のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
[請求項20]
 請求項16から18のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
[請求項21]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
 前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、
 スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、
 を備えることを特徴とする演算処理装置。
[請求項22]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、
 物体が存在しうる位置が、前記複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、前記複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、
 を備えることを特徴とする物体識別システム。
[請求項23]
 前記演算処理装置は、
 前記複数の画像それぞれについて、前記興味領域内の画像をトリミングする前処理部と、
 前記前処理部の出力を処理する分類器と、
 を含むことを特徴とする請求項22に記載の物体識別システム。
[請求項24]
 前記演算処理装置は、
 前記複数の画像それぞれについて、前記興味領域外の画像をマスクする前処理部と、
 前記前処理部の出力を処理する分類器と、
 を含むことを特徴とする請求項22に記載の物体識別システム。
[請求項25]
 前記演算処理装置は、
 前記複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
 前記複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の前記興味領域に含まれるか否かを判定する後処理部と、
 を含むことを特徴とする請求項22に記載の物体識別システム。
[請求項26]
 前記興味領域は、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さいことを特徴とする請求項22から25のいずれかに記載の物体識別システム。
[請求項27]
 前記興味領域は、遠いレンジの画像ほど高さが小さいことを特徴とする請求項22から26のいずれかに記載の物体識別システム。
[請求項28]
 前記興味領域は、遠いレンジの画像ほど幅が狭いことを特徴とする請求項22から27のいずれかに記載の物体識別システム。
[請求項29]
 請求項22から28のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
[請求項30]
 請求項22から29のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
[請求項31]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
 前記複数の画像ごとに固有の興味領域が定められており、前記複数の画像それぞれについて、前記興味領域内の画像をトリミングし、または前記興味領域外の画像をマスクする前処理部と、
 前記前処理部の出力を処理する分類器と、
 を備えることを特徴とする演算処理装置。
[請求項32]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
 前記複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
 前記複数の画像ごとに固有の興味領域が定められており、前記複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の前記興味領域に含まれるか否かを判定する後処理部と、
 を備えることを特徴とする演算処理装置。
[請求項33]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラと、
 レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、前記許容範囲にもとづいて前記複数の画像それぞれに含まれる前記物体像の種類を識別可能に構成される演算処理装置と、
 を備えることを特徴とする物体識別システム。
[請求項34]
 前記演算処理装置は、
 前記複数の画像それぞれについて、それに含まれる物体像の種類とサイズを検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
 前記複数の検出データを受け、各検出データに含まれる物体像のサイズが、前記許容範囲に含まれるか否かを判定する後処理部と、
 を含むことを特徴とする請求項33に記載の物体識別システム。
[請求項35]
 前記演算処理装置は、
 前記複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、
 前記前処理部により切り分けられた前記サブ画像のサイズが前記許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、
 を含むことを特徴とする請求項33に記載の物体識別システム。
[請求項36]
 前記許容範囲は、垂直方向について規定されることを特徴とする請求項33から35のいずれかに記載の物体識別システム。
[請求項37]
 前記許容範囲は、横方向について規定されることを特徴とする請求項33から36のいずれかに記載の物体識別システム。
[請求項38]
 前記許容範囲は、物体の種類ごとに個別に規定されることを特徴とする請求項33から37のいずれかに記載の物体識別システム。
[請求項39]
 請求項33から38のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
[請求項40]
 請求項33から38のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
[請求項41]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
 レンジ毎に、対応する画像における物体像のサイズの許容範囲が規定されており、前記複数の画像それぞれについて、それに含まれる物体像の種類とサイズを検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
 前記複数の検出データを受け、各検出データに含まれる物体像のサイズが、前記許容範囲に含まれるか否かを判定する後処理部と、
 を備えることを特徴とする演算処理装置。
[請求項42]
 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
 前記複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、
 レンジ毎に、対応する画像における物体像のサイズの許容範囲が規定されており、前記前処理部により切り分けられた前記サブ画像のサイズが前記許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、
 を備えることを特徴とする演算処理装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41]

[ 図 42]