Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020116036 - OBJECT RECOGNITION DEVICE, OBJECT RECOGNITION METHOD, AND PROGRAM

Document

明 細 書

発明の名称 物体認識装置、物体認識方法、およびプログラム

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007  

先行技術文献

特許文献

0008  

発明の概要

発明が解決しようとする課題

0009  

課題を解決するための手段

0010   0011  

発明の効果

0012   0013  

図面の簡単な説明

0014  

発明を実施するための形態

0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261  

産業上の利用可能性

0262  

符号の説明

0263  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19  

図面

1   2   3   4A   4B   5   6A   6B   7   8   9A   9B   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28A   28B   29   30  

明 細 書

発明の名称 : 物体認識装置、物体認識方法、およびプログラム

技術分野

[0001]
 本開示は、物体認識装置、物体認識方法、およびプログラムに関する。

背景技術

[0002]
 従来、光で空間をスキャンできる種々のデバイスが提案されている。
[0003]
 特許文献1は、2次元的に配列された複数のナノフォトニックアンテナ素子を有する光フェーズドアレイを開示している。それぞれのアンテナ素子は位相シフタに光学的に結合される。この光フェーズドアレイでは、コヒーレント光ビームが導波路によってそれぞれのアンテナ素子に誘導され、位相シフタによって光ビームの位相がシフトされる。これにより、遠視野放射パターンの振幅分布を変化させることができることが開示されている。
[0004]
 特許文献2は、内部を光が導波する光導波層、および光導波層の上面および下面に形成された第1分布ブラッグ反射鏡を備える導波路と、導波路内に光を入射させるための光入射口と、光入射口から入射して導波路内を導波する光を出射させるために導波路の表面に形成された光出射口とを備える光偏向素子を開示している。
[0005]
 特許文献3から5は、空間的にランダムに変調された光を出射し、反射光を受光することで得られた信号に解析的な信号処理を施すことによって距離画像を生成する装置を開示している。
[0006]
 特許文献6は、観測対象からの光の信号に基づいて観測対象の判別を機械学習を用いて最適化する方法を開示している。
[0007]
 特許文献7は、スローライト導波路と呼ばれる光導波路を利用して、任意の方向に光を出射することのできる発光デバイスを開示している。

先行技術文献

特許文献

[0008]
特許文献1 : 特表2016-508235号公報
特許文献2 : 特開2013-16591号公報
特許文献3 : 特開2016-099346号公報
特許文献4 : 米国特許出願公開2013/0088726号
特許文献5 : 米国特許出願公開2015/0378011号
特許文献6 : 国際公開台2017/073737号
特許文献7 : 米国特許出願公開2018/224709号

発明の概要

発明が解決しようとする課題

[0009]
 本開示は、比較的低いエネルギーで対象シーン内の物体を認識する新規な技術を提供する。

課題を解決するための手段

[0010]
 本開示の一態様に係る物体認識装置は、光源と、受光装置と、前記光源および前記受光装置を制御する制御回路と、信号処理回路とを備える。前記受光装置は、複数の受光素子を備え、指示された露光期間中に前記複数の受光素子の各々に入射した光の量に応じた受光データを出力する。前記制御回路は、前記光源に、第1の空間分布を有する第1の光をシーンに向けて出射させ、その後、第2の空間分布を有する第2の光を前記シーンに向けて出射させ、前記受光装置の前記複数の受光素子の少なくとも一部に、前記第1の光によって生じた前記シーンからの第1の反射光、および前記第2の光によって生じた前記シーンからの第2の反射光を、同一の露光期間内に検出させる。前記信号処理回路は、前記受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識し、前記受光データに基づいて前記物体までの距離を導出し、前記物体および前記距離を示す情報を出力する。
[0011]
 本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc‐Read Only Memory)等の不揮発性の記録媒体を含み得る。装置は、1つ以上の装置で構成されてもよい。装置が2つ以上の装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されてもよく、分離した2つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

発明の効果

[0012]
 本開示の一態様によれば、比較的低いエネルギーで、対象シーン内の物体を認識することができる。
[0013]
 本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、この恩恵及び/又は有利な点の1つ以上を得るために態様および特徴の全てが必要ではない。

図面の簡単な説明

[0014]
[図1] 図1は、実施形態1に係る物体認識装置の概略構成を示すブロック図である。
[図2] 図2は、物体認識装置の利用シーンの一例を模式的に示す図である。
[図3] 図3は、実施形態1に係る物体認識装置の構成の一例を示すブロック図である。
[図4A] 図4Aは、遠距離ビーム情報の一例を示す図である。
[図4B] 図4Bは、近距離ビーム情報の一例を示す図である。
[図5] 図5は、複数の遠距離用ビームと複数の近距離用ビームとが投光される様子を模式的に示す図である。
[図6A] 図6Aは、間接ToF方式における投光および露光のタイミングの例を示す図である。
[図6B] 図6Bは、間接ToF方式における投光および露光のタイミングの他の例を示す図である。
[図7] 図7は、発光デバイスの一例を模式的に示す斜視図である。
[図8] 図8は、光導波路素子の断面の構造および伝搬する光の例を模式的に示す図である。
[図9A] 図9Aは、光導波路アレイの出射面に垂直な方向に光が出射されている様子を示す模式図である。
[図9B] 図9Bは、光導波路アレイの出射面に垂直な方向とは異なる方向に光が出射されている様子を示す模式図である。
[図10] 図10は、3次元空間における光導波路アレイを模式的に示す斜視図である。
[図11] 図11は、光導波路アレイおよび位相シフタアレイの一例を示す図である。
[図12] 図12は、光源の一例を示す図である。
[図13] 図13は、光源の他の例を示す図である。
[図14] 図14は、光源のさらに他の例を示す図である。
[図15] 図15は、実施形態1に係る物体認識装置の動作の概要を示すフローチャートである。
[図16] 図16は、実施形態1における各光ビームの投光および露光のタイミングの例を示す模式図である。
[図17] 図17は、実施形態1における各光ビームの投光および露光のタイミングの他の例を示す模式図である。
[図18] 図18は、電荷計測動作の例を示すフローチャートである。
[図19] 図19は、距離情報生成の動作の例を示すフローチャートである。
[図20] 図20は、図19におけるステップS1403の動作の具体例を示すフローチャートである。
[図21] 図21は、物体認識システムの一例を示す図である。
[図22] 図22は、物体認識システムの他の例を示す図である。
[図23] 図23は、物体認識システムのさらに他の例を示す図である。
[図24] 図24は、表示装置に表示され得る画面の一例を示す図である。
[図25] 図25は、実施形態1の他の変形例を示す図である。
[図26] 図26は、実施形態2に係る学習システムの構成の一例を示すブロック図である。
[図27] 図27は、実施形態3に係る物体認識装置の構成の一例を示すブロック図である。
[図28A] 図28Aは、実施形態3における遠距離ビーム情報の一例を示す図である。
[図28B] 図28Bは、実施形態3における遠距離ビーム情報の一例を示す図である。
[図29] 図29は、実施形態3に係る物体認識装置の動作の一例を示すフローチャートである。
[図30] 図30は、実施形態1の変形例における動作を説明するための図である。

発明を実施するための形態

[0015]
 以下、本開示の実施形態を、図面を参照しながら具体的に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化されることがある。
[0016]
 本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路(IC)、またはLSI(large scale integration)を含む1つまたは複数の電子回路によって実行され得る。LSIまたはICは、1つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、1つのチップに集積されてもよい。ここでは、LSIまたはICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、もしくはULSI(ultra large scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、またはLSI内部の接合関係の再構成またはLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
[0017]
 さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは1つまたは複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置(processor)によって実行されたときに、そのソフトウェアで特定された機能が処理装置(processor)および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている1つまたは複数の非一時的記録媒体、処理装置(processor)、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
[0018]
 (実施形態1)
 図1は、実施形態1に係る物体認識装置の概略構成を示すブロック図である。物体認識装置は、光源100と、受光装置150と、制御回路300と、信号処理回路400とを備える。
[0019]
 光源100は、例えば同時に複数の光ビームを異なる方向に出射することが可能な構成を備え得る。受光装置150は、複数の受光素子を有する。複数の受光素子は複数の画素にそれぞれ対応する。本明細書において、受光素子を画素と呼ぶ場合もある。受光装置150は、指示された露光期間において各受光素子が受けた光の量に応じた受光データを出力する。受光装置150は、例えば、1次元的または2次元的に配列された複数の受光素子を有するイメージセンサであり得る。制御回路300は、光源100および受光装置150を制御する。信号処理回路400は、受光装置150から出力された受光データに基づいて、シーン内の物体を認識し、認識した物体の距離情報を生成して出力する。
[0020]
 本実施形態における制御回路300は、概略的には、以下の動作を実行する。
[0021]
(1)光源100に、第1の空間分布を有する第1の光をシーンに向けて出射させる。第1の光は、複数の第1の光ビームを含んでいてもよく、ひとつながりのパターンをもつ単一の光ビームであってもよい。
[0022]
(2)光源100に、第2の空間分布を有する第2の光をシーンに向けて出射させる。第2の光は、複数の第2の光ビームを含んでいてもよく、ひとつながりのパターンをもつ単一の光ビームであってもよい。
[0023]
 第1の光の到達距離と第2の光の到達距離とが異なっていてもよい。例えば、第2の光は、第1の光に比して、光源から所定の距離の照射面における単位面積当たりのエネルギーが低いものとしてもよい。第1の光と第2の光との到達距離を異ならせる他の例として、第1の光の波長と第2の光の波長とが異なっていてもよい。例えば、第2の光の波長として、第1の光の波長よりも大気中での吸収率が高い波長を選択としてもよい。後述するように、第1の光の到達距離と第2の光の到達距離とが同一であってもよい。
[0024]
 本実施形態において、第2の空間分布は、第1の空間分布とは異なる。本開示において、光ビームの「空間分布」は、その光ビームが到達し得る3次元(即ち、距離、方向および角度範囲)的な空間の範囲を意味する。第1の光と第2の光とが同一の方向および同一の角度範囲に出射される場合であっても、両者の到達可能な距離が異なる場合には、第1の空間分布と第2の空間分布とが異なるといえる。「2次元の空間分布」は、「空間分布」の3次元から光ビームが到達可能な距離の次元を除いた、光の方向および角度範囲を意味する。後述するように、第1の空間分布と第2の空間分布とが同一であってもよい。また、本開示において、「放射強度」とは、点状の放射源から「ある方向」へ時間あたりに放射される放射エネルギーを指し、放射される光の放射束を、放射源からみた立体角すなわち、光の広がる角度範囲の大きさで微分することで求められる。また、本開示において、「光の到達距離」とは、障害物が無いと仮定した場合に、光源の位置から、所定の光量子束密度(photpsynthetic photon flux density)以上の光が届き得る最も遠い位置までの距離をいう。
[0025]
(3)受光装置150の複数の受光素子の少なくとも一部に、第1の光によって生じたシーンからの第1の反射光、および第2の光によって生じたシーンからの第2の反射光を、同一の露光期間において受光させる。
[0026]
 信号処理回路400は、受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて、シーンに含まれる1つ以上の物体を認識する。信号処理回路400は、さらに、受光データに基づいて、当該物体までの距離を導出し、当該物体および当該物体までの距離を示す情報を出力する。
[0027]
 以上の構成によれば、第1の光および第2の光は、シーンの全体をカバーする必要がない。このため、出射光のエネルギーを低減することができる。さらに、相対的に近い距離範囲と相対的に遠い距離範囲のそれぞれでの物体認識および測距を、同時に行うことができる。近距離での物体認識および測距と遠距離での物体認識および測距とを別々に行う場合に比べて、処理全体の時間を短縮することができる。
[0028]
 露光期間は、シーンにおける、受光装置から第1の距離だけ離れた位置で生じた第1の反射光の一部が受光装置に到達する時点を含まず、受光装置から第1の距離よりも長い第2の距離だけ離れた位置で生じた第1の反射光の他の一部が受光装置に到達する時点を含み、受光装置から第1の距離だけ離れた位置で生じた第2の反射光の一部が受光装置に到達する時点を含むように設定され得る。このような構成により、装置から相対的に近い第1の距離にある物体からの第1の反射光は検出されず、第1の距離にある物体からの第2の反射光は検出され、装置から相対的に遠い第2の距離にある物体からの第1の反射光は検出されるようにすることができる。これにより、近距離にある物体の測距と遠距離にある物体の測距とを同時に行うことができる。
[0029]
 図2は、本実施形態の利用シーンの一例を模式的に示す図である。この例では、受光装置150は、2次元画像を取得するイメージセンサ200によって実現されている。光源100は、複数の第1の光ビーム210を含む第1の光と、複数の第2の光ビーム220を含む第2の光とを、順に出射する。各第1の光ビーム210は、光源から所定の距離の照射面において、相対的に高い単位面積あたりのエネルギーを有し、遠方まで届く。これに対し、各第2の光ビーム220は、当該照射面において、相対的に低い単位面積あたりのエネルギーを有し、それほど遠方までは届かない。以下の説明において、第1の光ビーム210を「遠距離用ビーム」と称し、第2の光ビーム220を「近距離用ビーム」と称することがある。図2に示す例では、いずれの光ビームも、全体として同程度のエネルギーを有する。このため、各第2の光ビーム220の広がり角は、各第1の光ビーム210の広がり角よりも大きい。
[0030]
 図2では、4本の第1の光ビーム210と2本の第2の光ビーム220とが例示されているが、実際にはさらに多くの第1の光ビーム210および第2の光ビーム220が出射され得る。
[0031]
 イメージセンサ200は、第1の光によって生じたシーンからの第1の反射光230と、第2の光によって生じたシーンからの第2の反射光240とを、同一の露光期間において受光する。信号処理回路400は、イメージセンサ200から出力された受光データに、機械学習アルゴリズムによって予め訓練された学習済みモデルである物体認識モデルを適用して、シーン内の少なくとも1つの物体を認識する。信号処理回路400は、さらに、受光データに基づいて、認識した物体と物体認識装置との距離を導出し、当該物体および距離の情報を出力する。本実施形態では、距離は、間接ToF(Time-of-Flight)法に基づく計算によって導出される。後述するように、予め訓練された学習済みモデルである距離画像生成モデルを用いて、受光データから物体までの距離を導出することもできる。
[0032]
 物体認識モデルは、各々が、学習用受光データと、学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む複数の訓練データセットによって予め訓練されている。
[0033]
 複数の第1の光ビーム210の本数は、撮影対象のシーン全体をカバーする光ビームの本数よりも少ない。同様に、複数の第2の光ビーム220の本数は、撮影対象のシーン全体をカバーする光ビームの本数よりも少ない。言い換えれば、第1の光ビーム210および第2の光ビームのいずれも、「疎な光ビーム」である。イメージセンサ200における複数の受光素子は、第1の反射光を受光し第2の反射光を受光しない複数の第1の受光素子と、第2の反射光を受光し第1の反射光を受光しない複数の第2の受光素子と、第1の反射光および第2の反射光のいずれも受光しない複数の第3の受光素子とを含み得る。本実施形態の物体認識装置は、疎な光ビームを用いて物体を認識し、その距離を推定する。これにより、撮影対象のシーン全体をカバーする光ビームを用いる場合と比較して、低い消費電力で物体を認識することができる。
[0034]
 以下、本実施形態の構成および動作をより具体的に説明する。
[0035]
 [1-1 物体認識装置の構成]
 図3は、実施形態1に係る物体認識装置の構成の一例を示すブロック図である。図3に示される物体認識装置は、光源100と、イメージセンサ200と、制御回路300と、信号処理回路400と、記憶装置500と、ディスプレイ600とを備える。制御回路300は、記憶媒体310と、プロセッサ320とを備える。
[0036]
 光源100は、例えばレーザ光を出射する発光デバイスであり得る。光源100は、より遠くまで届く複数の遠距離用ビームと、遠距離用ビームよりも到達距離の短い複数の近距離用ビームとを出射する。光源100は、複数の遠距離用ビーム、および複数の近距離用ビームを、例えばランダムな方向に出射する。遠距離用ビームの到達距離は、例えば100mから200mであり得る。近距離用ビームの到達距離は、例えば0mから100mであり得る。これらの光ビームの到達距離は、この例に限らず、任意に設定できる。
[0037]
 イメージセンサ200は、2次元的に配列された複数の受光素子を有する。各受光素子は、例えばフォトダイオードなどの光電変換素子を含み得る。各受光素子は、光を受けると光電変換を行い、受光量に応じた電気信号を出力する。
[0038]
 制御回路300は、光源100、イメージセンサ200、および信号処理回路400の動作を制御する。制御回路300は、例えばマイクロコントローラユニット(MCU)などの電子回路によって実現され得る。図3に示す制御回路300は、プロセッサ320と、記憶媒体310とを備える。プロセッサ320は、例えばCPU(Central Processing Unit)によって実現され得る。記憶媒体310は、例えばROM(Read Only Memory)などの不揮発性メモリ、およびRAM(Random Access Memory)などの揮発性メモリを含み得る。記憶媒体310は、プロセッサ320によって実行されるコンピュータプログラム314を格納する。プロセッサ320は、当該プログラム314を実行することにより、後述する動作を実行することができる。
[0039]
 制御回路300は、光源100による光ビームの投光のタイミングと、イメージセンサ200の露光のタイミングとを決定し、決定したタイミングに従って、投光制御信号と、露光制御信号とを出力する。投光制御信号は、予め記憶媒体310に格納された投光パターン情報に従って生成される。投光パターン情報は、各光ビームの空間分布を示すデータである。投光パターン情報は、遠距離ビーム情報311および近距離ビーム情報312を含む。遠距離ビーム情報311は、複数の遠距離用ビームの出射方向およびビーム形状に関する情報を含み得る。近距離ビーム情報312は、複数の近距離用ビームの出射方向およびビーム形状に関する情報を含み得る。
[0040]
 信号処理回路400は、イメージセンサ200から露光期間ごとに出力される受光データを取得する。信号処理回路400は、受光データが示す画素ごとの電荷の情報に基づき、予め機械学習によって訓練された物体認識モデルに従い、シーン内の物体を認識する。信号処理回路400は、さらに、受光データから、認識した物体の領域に対応する画素領域の情報を抽出し、その情報から距離を計算する。距離の計算方法の詳細は後述する。信号処理回路400は、認識した物体およびその距離の情報を出力する。出力結果は、記憶装置500に記憶され、ディスプレイ600などの表示装置に表示され得る。
[0041]
 [1-1-1 制御回路300の構成]
 以下、制御回路300の構成のより具体的な例を説明する。制御回路300は、プロセッサ320と、記憶媒体310とを備える。プロセッサ320は、投光/露光タイミング決定部322と、計時部324と、投光制御信号出力部326と、露光制御信号出力部328とを備える。記憶媒体310は、遠距離ビーム情報311と、近距離ビーム情報312と、プロセッサ320が実行するコンピュータプログラム314とを格納する。
[0042]
 物体認識装置は、間接ToF(Time-of-Fright)方式による測距を行う。物体認識装置は、予め機械学習によって生成された物体認識モデルに基づいてシーン中の物体を認識する。物体認識モデルを生成する際に圧縮センシングの技術が利用される。圧縮センシングの技術を用いることで、複数の近距離用ビームと複数の近距離用ビームとが、いずれも空間的に疎であったとしても、適切な物体認識モデルを生成することができる。言い換えれば、複数の近距離用ビームの数、および複数の遠距離用ビームの数の各々は、測距対象のシーンの全体を網羅するビーム数よりも少なくてもよい。
[0043]
 図4Aは、遠距離ビーム情報311の一例を示す図である。図4Bは、近距離ビーム情報312の一例を示す図である。この例では、遠距離ビーム情報311および近距離ビーム情報312の各々は、各光ビームに共通する情報として、ビームの形状、ビームの広がり角、および距離レンジの情報を含む。ここで距離レンジは、そのビームによって測定される距離の範囲を指す。遠距離ビーム情報311および近距離ビーム情報312の各々は、さらに、各光ビームについて、ビーム番号と、出射方向の情報とを含む。図4Aおよび図4Bの例では、イメージセンサ200の受光面に平行に、互いに直交するx軸およびy軸が設定され、受光面に垂直でシーンに向けた方向にz軸が設定されている。各光ビームの出射方向は、xz平面に投影した場合のz軸からの角度と、yz平面に投影した場合のz軸からの角度とによって指定される。
[0044]
 図4Aおよび図4Bに示す例において、複数の近距離用ビームおよび複数の遠距離用ビームの方向はランダムに決定されている。さらに、近距離用ビームの数および遠距離用ビーム数のいずれについても、測距対象のシーン全体を網羅する光ビームの数よりも少ない。
[0045]
 なお、図4Aおよび図4Bに示す遠距離ビーム情報311および近距離ビーム情報312は、一例に過ぎず、上記とは異なる情報を含んでいてもよい。また、図4Aおよび図4Bの例では、xz平面およびyz平面にそれぞれ投影した場合の角度によって投光方向が記述されるが、これ以外の方法で投光の方向を記述してもよい。
[0046]
 図5は、本実施形態における複数の遠距離用ビーム210と複数の近距離用ビーム220とが投光される様子を模式的に示す図である。図5の例では、光源100に最も近い位置に自転車があり、続いて人、乗用車、トラックの順に、より遠方にある様子が示されている。小さい円は遠距離用ビーム210の投光領域を示し、大きい円は近距離用ビーム220の投光領域を示す。図5におけるマス目は、イメージセンサ200の画素を示す。なお、イメージセンサ200の画素は、実際には微細であるが、図5では、見易さのため、実際よりも粗く示されている。この例では、近距離用ビーム220の放射強度は、遠距離用ビーム210の放射強度よりも低い。
[0047]
 図5の例において、遠距離用ビーム210および近距離用ビーム220は、それぞれランダムな方向に投光されている。投光される領域は、イメージセンサ200の全画素を網羅しない。投光の方向には、遠距離用ビーム210も近距離用ビーム220も照射されない方向と、遠距離用ビーム210のみ照射される方向と、近距離用ビーム220のみ照射される方向と、遠距離用ビーム210および近距離用ビーム220の両方が照射される方向とが含まれる。反射光を受光するイメージセンサ200の受光面においても上記の4種類の方向にそれぞれ対応する4種類の画素領域が存在する。
[0048]
 ここで、光源100とイメージセンサ200との間の距離は、例えば数mm程度であり得る。一方、測距の距離レンジは、例えば0mから200m程度の範囲であり、多くの場合数m以上である。このことを考慮すると、光源100およびイメージセンサ200は、空間座標において同一の点に位置するとみなすことができる。従って、光源100から出射した光ビームは、光ビームの方向にある物体によって反射され、光源100とほぼ同じ位置にあるイメージセンサ200によって受光される。遠距離にある物体と近距離にある物体とが光ビームの方向に存在する場合、近距離にある物体によって光ビームが反射され、遠距離にある物体には光ビームが届かない。
[0049]
 一方、本実施形態では、相対的に遠い第1の距離レンジにある物体によって遠距離用ビーム210が反射されてイメージセンサ200に到達する期間と、相対的に近い第2の距離レンジにある物体によって近距離用ビーム220が反射されてイメージセンサ200に到達する期間とが、少なくとも部分的に重なる。そのような条件が満たされるように、各光ビームの出射のタイミングおよび露光のタイミングが調整される。第1の距離レンジは、例えば100mから200mの範囲に設定され、第2の距離レンジは、例えば0mから100mの範囲に設定され得る。第1の距離レンジ以外の距離にある物体によって反射された遠距離用ビーム210、および第2の距離レンジ以外の距離にある物体によって反射された近距離用ビーム220は、イメージセンサ200によって検出されない。すなわち、遠距離用ビーム210および近距離用ビーム220の両方が照射される方向に物体が存在していたとしても、イメージセンサ200によって検出されるのは、それらのビームの一方のみである。
[0050]
 画素ピッチが十分に小さく、物体の輪郭線によって当該物体の内側と外側とに分割される画素がない場合、イメージセンサ200の受光面には、遠距離用ビーム210と近距離用ビーム220の両方を受光する画素はない。この場合、遠距離用ビーム210も近距離用ビーム220も受光しない画素、遠距離用ビーム210のみ受光する画素、近距離用ビーム220のみ受光する画素の3種類のみが生じ得る。ただし、物体の輪郭線によって当該物体の内側と外側とに分割される画素がある場合、そのような画素は、遠距離用ビーム210および近距離用ビーム220の両方を受光し得る。その場合には、第1の光ビームも第2の光ビームも受光しない画素、第1の光ビームのみ受光する画素、第1の光ビームのみ受光する画素、第1の光ビームおよび第2の光ビームの両方を受光する画素の4種類が生じ得る。
[0051]
 図3に示す投光/露光タイミング決定部322は、光源100が複数の遠距離用ビーム210を出射するタイミングと、光源100が複数の近距離用ビーム220を出射するタイミングと、イメージセンサ200が露光を行うタイミングとを決定する。
[0052]
 計時部324は、時間を計測する。
[0053]
 投光制御信号出力部326は、光源100を制御する投光制御信号を出力する。投光制御信号には、複数の遠距離用ビームを投光するための第1の制御信号と、複数の遠距離用ビームを投光するための第2の制御信号とがある。第1の制御信号は、各遠距離用ビームの方向、ビーム形状、および強度を規定する遠距離ビーム情報311に基づいて生成される。第2の制御信号は、各近距離用ビームの方向、ビーム形状、および強度を規定する近距離ビーム情報312に基づいて生成される。
[0054]
 露光制御信号出力部328は、イメージセンサ200の露光を制御する露光制御信号を出力する。イメージセンサ200は、出力された露光制御信号に従って露光を実行する。
[0055]
 投光/露光タイミング決定部322、計時部324、投光制御信号出力部326、露光制御信号出力部328のそれぞれの機能は、例えばプロセッサ320がプログラム314を実行することによって実現され得る。その場合、プロセッサ320が、投光/露光タイミング決定部322、計時部324、投光制御信号出力部326、および露光制御信号出力部328として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。
[0056]
 ここで、一般的な間接ToF方式による測距方法の一例を説明する。ToF方式は、光源から出射した光が物体によって反射されて光源の近傍の光検出器まで戻ってくるまでの飛行時間を測定することで、装置から物体までの距離を測定する方式である。飛行時間を直接計測する方式を直接ToFと呼ぶ。複数の露光期間を設け、露光期間ごとの反射光のエネルギー分布から、飛行時間を計算する方式を間接ToFと呼ぶ。
[0057]
 図6Aは、間接ToF方式における投光タイミング、反射光の到達タイミング、および2回の露光タイミングの例を示す図である。横軸は時間を示している。矩形部分は、投光、反射光の到達、および2回の露光のそれぞれの期間を表している。図6Aの(a)は、光源から光が出射するタイミングを示している。T0は測距用の光ビームのパルス幅である。図6Aの(b)は、光源から出射して物体で反射された光ビームがイメージセンサに到達する期間を示している。Tdは光ビームの飛行時間である。図6Aの例では、光パルスの時間幅T0よりも短い時間Tdで反射光がイメージセンサに到達している。図6Aの(c)は、イメージセンサの第1の露光期間を示している。この例では、投光の開始と同時に露光が開始され、投光の終了と同時に露光が終了している。第1の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Q1は、第1の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーQ1は、第1の露光期間の間に蓄積された電荷の量に比例する。
[0058]
 図6Aの(d)は、イメージセンサの第2の露光期間を示している。この例では、第2の露光期間は、投光の終了と同時に開始し、光ビームのパルス幅T0と同一の時間、すなわち第1の露光期間と同一の時間が経過した時点で終了する。Q2は、第2の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーQ2は、第2の露光期間の間に蓄積された電荷の量に比例する。第2の露光期間では、反射光のうち、第1の露光期間が終了した後に到達した光が受光される。第1の露光期間の長さが光ビームのパルス幅T0に等しいことから、第2の露光期間で受光される反射光の時間幅は、飛行時間Tdに等しい。
[0059]
 ここで、第1の露光期間の間に画素に蓄積される電荷の積分容量をCfd1、第2の露光期間の間に画素に蓄積される電荷の積分容量をCfd2、光電流をIph、電荷転送クロック数をNとする。第1の露光期間における画素の出力電圧は、以下のVout1で表される。
 Vout1=Q1/Cfd1=N×Iph×(T0-Td)/Cfd1
[0060]
 第2の露光期間における画素の出力電圧は、以下のVout2で表される。
 Vout2=Q2/Cfd2=N×Iph×Td/Cfd2
[0061]
 図6Aの例では、第1の露光期間の時間長と第2の露光期間の時間長とが等しいため、Cfd1=Cfd2である。従って、Tdは以下の式で表すことができる。
 Td={Vout2/(Vout1+Vout2)}×T0
[0062]
 光速をC(≒3×10 m/s)とすると、装置と物体との距離Lは、以下の式で表される。
 L=C×Td/2=C×{Vout2/(Vout1+Vout2)}×T0/2
[0063]
 イメージセンサ200は、実際には露光期間に蓄積した電荷を出力するため、時間的に連続して2回の露光を行うことができない場合がある。図6Bは、連続で2つの露光期間を設けることができない場合の投光と露光、および電荷出力のタイミングを模式的に示す図である。図6Bの例では、まず、光源100が投光を開始すると同時にイメージセンサ200は露光を開始し、光源100が投光を終了すると同時にイメージセンサ200は露光を終了する。この露光期間P1は、図6Aにおける露光期間1に相当する。イメージセンサ200は、露光直後にこの露光期間P1で蓄積された電荷を出力する。次に、光源100は再度投光を開始し、1回目と同一の時間T0が経過すると投光を終了する。イメージセンサ200は、光源100が投光を終了すると同時に露光を開始し、第1の露光期間P1と同一の時間長が経過すると露光を終了する。この露光期間P2は、図6Aにおける露光期間2に相当する。イメージセンサ200は、露光直後にこの露光期間P2で蓄積された電荷を出力する。
[0064]
 このように、図6Bの例では、上記の距離計算のための電圧を取得するために、光源100は投光を2回行い、イメージセンサ200はそれぞれの投光に対して異なるタイミングで露光する。このようにすることで、2つの露光期間を時間的に連続して設けることができない場合でも、露光期間ごとに電圧を取得できる。このように、露光期間ごとに電荷の出力を行うイメージセンサ200では、予め設定された複数の露光期間の各々で蓄積される電荷の情報を得るために、同一条件の光を、設定された露光期間の数と等しい回数だけ投光することになる。
[0065]
 なお、実際の測距では、イメージセンサ200は、光源100から出射されて物体で反射された光のみではなく、バックグラウンド光、すなわち太陽光または周辺の照明等の外部からの光を受光し得る。そこで、一般には、光ビームが出射されていない状態でイメージセンサ200に入射するバックグラウンド光による蓄積電荷を計測するための露光期間が設けられる。バックグランド用の露光期間で計測された電荷量を、光ビームの反射光を受光したときに計測される電荷量から減算することで、光ビームの反射光のみを受光した場合の電荷量を求めることができる。本実施形態では、簡便のため、バックグランド光についての動作の説明を省略する。
[0066]
 [1-1-2 光源100の構成]
 光源100の構成例を説明する。光源100は、例えば特許文献4に開示されているような、光源および符号化マスクを利用して、任意の空間パターンの光を出射する光源であり得る。あるいは、光源100は、例えば特許文献1に開示されているような、任意の空間パターンの光を出射できる光フェーズドアレイの構成を備えていてもよい。さらには、特許文献7に開示されている発光デバイスを利用してもよい。以下、光源100の構成の一例を説明する。
[0067]
 図7は、光源100において使用され得る発光デバイスの一例を模式的に示す斜視図である。光源100は、各々が異なる方向に光を出射する複数の発光デバイスの組み合わせによって構成され得る。図7は、そのうちの1つの発光デバイスの構成を簡略化して示している。
[0068]
 発光デバイスは、複数の光導波路素子10を含む光導波路アレイを備える。複数の光導波路素子10の各々は、第1の方向(図7におけるX方向)に延びた形状を有する。複数の光導波路素子10は、第1の方向に交差する第2の方向(図7におけるY方向)に規則的に配列されている。複数の光導波路素子10は、第1の方向に光を伝搬させながら、第1および第2の方向に平行な仮想的な平面に交差する第3の方向D3に光を出射させる。
[0069]
 複数の光導波路素子10のそれぞれは、互いに対向する第1のミラー30および第2のミラー40と、ミラー30とミラー40の間に位置する光導波層20とを有する。ミラー30およびミラー40の各々は、第3の方向D3に交差する反射面を、光導波層20との界面に有する。ミラー30およびミラー40、ならびに光導波層20は、第1の方向に延びた形状を有している。
[0070]
 第1のミラー30の反射面と第2のミラー40の反射面とは略平行に対向している。2つのミラー30およびミラー40のうち、少なくとも第1のミラー30は、光導波層20を伝搬する光の一部を透過させる特性を有する。言い換えれば、第1のミラー30は、当該光について、第2のミラー40よりも高い光透過率を有する。このため、光導波層20を伝搬する光の一部は、第1のミラー30から外部に出射される。このようなミラー30および40は、例えば誘電体による多層膜(「多層反射膜」と称することもある。)によって形成される多層膜ミラーであり得る。
[0071]
 それぞれの光導波路素子10に入力する光の位相を調整し、さらに、これらの光導波路素子10における光導波層20の屈折率もしくは厚さ、または光導波層20に入力される光の波長を調整することで、任意の方向に光を出射させることができる。
[0072]
 図8は、1つの光導波路素子10の断面の構造および伝搬する光の例を模式的に示す図である。図8では、図7に示すX方向およびY方向に垂直な方向をZ方向とし、光導波路素子10のXZ面に平行な断面が模式的に示されている。光導波路素子10において、一対のミラー30とミラー40が光導波層20を挟むように配置されている。光導波層20のX方向における一端から導入された光22は、光導波層20の上面に設けられた第1のミラー30および下面に設けられた第2のミラー40によって反射を繰り返しながら光導波層20内を伝搬する。第1のミラー30の光透過率は第2のミラー40の光透過率よりも高い。このため、主に第1のミラー30から光の一部を出力することができる。
[0073]
 通常の光ファイバーなどの光導波路では、全反射を繰り返しながら光が光導波路に沿って伝搬する。これに対して、本実施形態における光導波路素子10では、光は光導波層20の上下に配置されたミラー30および40によって反射を繰り返しながら伝搬する。このため、光の伝搬角度に制約がない。ここで光の伝搬角度とは、ミラー30またはミラー40と光導波層20との界面への入射角度を意味する。ミラー30またはミラー40に対して、より垂直に近い角度で入射する光も伝搬できる。すなわち、全反射の臨界角よりも小さい角度で界面に入射する光も伝搬できる。このため、光の伝搬方向における光の群速度は自由空間における光速に比べて大きく低下する。これにより、光導波路素子10は、光の波長、光導波層20の厚さ、および光導波層20の屈折率の変化に対して光の伝搬条件が大きく変化するという性質を持つ。このような光導波路を、「反射型光導波路」または「スローライト光導波路」と称する。
[0074]
 光導波路素子10から空気中に出射される光の出射角度θは、以下の式1によって表される。
[数1]


[0075]
 式1からわかるように、空気中での光の波長λ、光導波層20の屈折率n および光導波層20の厚さdのいずれかを変えることで光の出射方向を変えることができる。
[0076]
 例えば、n =2、d=387nm、λ=1550nm、m=1の場合、出射角度は0°である。この状態から、屈折率をn =2.2に変化させると、出射角度は約66°に変化する。一方、屈折率を変えずに厚さをd=420nmに変化させると、出射角度は約51°に変化する。屈折率も厚さも変化させずに波長をλ=1500nmに変化させると、出射角度は約30°に変化する。このように、光の波長λ、光導波層20の屈折率n 、および光導波層20の厚さdのいずれかを変化させることにより、光の出射方向を変化させることができる。
[0077]
 光の波長λは、例えば一般的なシリコン(Si)により光を吸収することで光を検出するイメージセンサで高い検出感度が得られる400nmから1100nm(可視光から近赤外光)の波長域に含まれ得る。他の例では、波長λは、光ファイバーまたはSi光導波路において伝送損失の比較的小さい1260nmから1625nmの近赤外光の波長域に含まれ得る。なお、これらの波長範囲は一例である。使用される光の波長域は、可視光または赤外光の波長域に限定されず、例えば紫外光の波長域であってもよい。
[0078]
 発光デバイスは、各光導波路素子10における光導波層20の屈折率、厚さ、および波長の少なくとも1つを変化させる第1調整素子を備え得る。これにより、出射光の方向を調製することができる。
[0079]
 光導波層20の少なくとも一部の屈折率を調整するために、光導波層20は、液晶材料または電気光学材料を含んでいてもよい。光導波層20は、一対の電極によって挟まれ得る。一対の電極に電圧を印加することにより、光導波層20の屈折率を変化させることができる。
[0080]
 光導波層20の厚さを調整するために、例えば、第1のミラー30および第2のミラー40の少なくとも一方に少なくとも1つのアクチュエータが接続されてもよい。少なくとも1つのアクチュエータによって第1のミラー30と第2のミラー40との距離を変化させることにより、光導波層20の厚さを変化させることができる。光導波層20が液体から形成されていれば、光導波層20の厚さは容易に変化し得る。
[0081]
 複数の光導波路素子10が一方向に配列された光導波路アレイにおいて、それぞれの光導波路素子10から出射される光の干渉により、光の出射方向は変化する。各光導波路素子10に供給する光の位相を調整することにより、光の出射方向を変化させることができる。以下、その原理を説明する。
[0082]
 図9Aは、光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。図9Aには、各光導波路素子10を伝搬する光の位相シフト量も記載されている。ここで、位相シフト量は、左端の光導波路素子10を伝搬する光の位相を基準にした値である。本実施形態における光導波路アレイは、等間隔に配列された複数の光導波路素子10を含んでいる。図9Aにおいて、破線の円弧は、各光導波路素子10から出射される光の波面を示している。直線は、光の干渉によって形成される波面を示している。矢印は、光導波路アレイから出射される光の方向(すなわち、波数ベクトルの方向)を示している。図9Aの例では、各光導波路素子10における光導波層20を伝搬する光の位相はいずれも同じである。この場合、光は光導波路素子10の配列方向(Y方向)および光導波層20が延びる方向(X方向)の両方に垂直な方向(Z方向)に出射される。
[0083]
 図9Bは、光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。図9Bに示す例では、複数の光導波路素子10における光導波層20を伝搬する光の位相が、配列方向に一定量(Δφ)ずつ異なっている。この場合、光は、Z方向とは異なる方向に出射される。このΔφを変化させることにより、光の波数ベクトルのY方向の成分を変化させることができる。隣接する2つの光導波路素子10の間の中心間距離をpとすると、光の出射角度α は、以下の式2によって表される。
[数2]


[0084]
 光導波路素子10の本数がNのとき、光の出射角度の広がり角Δαは、以下の式3によって表される。
[数3]


[0085]
 したがって、光導波路素子10の本数が多いほど、広がり角Δαを小さくすることができる。
[0086]
 図10は、3次元空間における光導波路アレイを模式的に示す斜視図である。図10に示す太い矢印は、発光デバイスから出射される光の方向を表す。θは、光の出射方向とYZ平面とがなす角度である。θは式1を満たす。α は、光の出射方向とXZ平面とがなす角度である。α は式2を満たす。
[0087]
 それぞれの光導波路素子10から出射される光の位相を制御するために、例えば、光導波路素子10に光を導入する前段に、光の位相を変化させる位相シフタが設けられ得る。発光デバイスは、複数の光導波路素子10のそれぞれに接続された複数の位相シフタと、各位相シフタを伝搬する光の位相を調整する第2調整素子とを備え得る。各位相シフタは、複数の光導波路素子10の対応する1つにおける光導波層20に直接的にまたは他の光導波路を介して繋がる光導波路を含む。第2調整素子は、複数の位相シフタから複数の光導波路素子10へ伝搬する光の位相の差をそれぞれ変化させることにより、複数の光導波路素子10から出射される光の方向(すなわち、第3の方向D3)を変化させる。以下の説明では、光導波路アレイと同様に、配列された複数の位相シフタを「位相シフタアレイ」と称することがある。
[0088]
 図11は、光導波路アレイ10Aおよび位相シフタアレイ80Aを、光出射面の法線方向(Z方向)から見た模式図である。図11に示す例では、全ての位相シフタ80が同じ伝搬特性を有し、全ての光導波路素子10が同じ伝搬特性を有する。それぞれの位相シフタ80およびそれぞれの光導波路素子10は同じ長さであってもよいし、長さが異なっていてもよい。それぞれの位相シフタ80の長さが等しい場合は、例えば、駆動電圧によってそれぞれの位相シフト量を調整することができる。
[0089]
 また、それぞれの位相シフタ80の長さを等ステップで変化させた構造にすることで、同じ駆動電圧で等ステップの位相シフトを与えることもできる。さらに、この発光デバイスは、複数の位相シフタ80に光を分岐して供給する光分岐器90と、各光導波路素子10を駆動する第1駆動回路110と、各位相シフタ80を駆動する第2駆動回路120とをさらに備える。図11における直線の矢印は光の入力を示している。別々に設けられた第1駆動回路110と第2駆動回路120とをそれぞれ独立に制御することにより、2次元的に光の出射方向を変化させることができる。この例では、第1駆動回路110は、第1調整素子の1つの要素として機能し、第2駆動回路120は、第2調整素子の1つの要素として機能する。
[0090]
 第1駆動回路110は、各光導波路素子10における光導波層20の屈折率および厚さの少なくとも一方を変化させることにより、光導波層20から出射する光の角度を変化させる。第2駆動回路120は、各位相シフタ80における光導波路20aの屈折率を変化させることにより、光導波路20aの内部を伝搬する光の位相を変化させる。光分岐器90は、全反射によって光が伝搬する光導波路で構成してもよいし、光導波路素子10と同様の反射型光導波路で構成してもよい。
[0091]
 なお、光分岐器90で分岐したそれぞれの光の位相を制御した後に、それぞれの光を位相シフタ80に導入してもよい。この位相制御には、例えば、位相シフタ80に至るまでの光導波路の長さを調整することによるパッシブな位相制御構造を用いることができる。あるいは、位相シフタ80と同様の機能を有する電気信号で制御可能な位相シフタを用いても良い。このような方法により、例えば、全ての位相シフタ80に等位相の光が供給されるように、位相シフタ80に導入される前に位相を調整してもよい。そのような調整により、第2駆動回路120による各位相シフタ80の制御をシンプルにすることができる。
[0092]
 上記の発光デバイスの動作原理、および動作方法などの詳細は、特許文献7に開示されている。特許文献7の開示内容全体を本明細書に援用する。
[0093]
 本実施形態における光源100は、各々が異なる方向に光を出射する複数の導波路アレイを組み合わせることによって実現され得る。以下、そのような光源100の構成例を説明する。
[0094]
 図12は、光源100の一例を示す図である。この例における光源100は、光導波路アレイ10Aと、光導波路アレイ10Aに接続された位相シフタアレイ80Aとを備える。光導波路アレイ10Aは、Y方向に並ぶ複数の光導波路群10gを含む。各光導波路群10gは、1つ以上の光導波路素子10を含む。位相シフタアレイ80Aは、Y方向に並ぶ複数の位相シフタ群80gを含む。各位相シフタ群80gは、1つ以上の位相シフタ80を含む。この例において、位相シフタ群80gのまとまりは、光導波路群10gのまとまりとは異なっている。より具体的には、1つの光導波路群10gに、2つの位相シフタ群80gが接続されている。
[0095]
 各位相シフタ80の位相シフト量は、制御回路300によって個別に制御される。各位相シフタ80の位相シフト量は、その配列の順序に応じた第1の位相シフト量(Δφの整数倍)と、位相シフタ群80gごとに異なる第2の位相シフト量(Va、Vb、Vc、Vdのいずれか)との和になるように制御される。第2の位相シフト量を位相シフタ群80gごとに変化させることにより、光ビームの出射方向のY成分、およびスポットサイズのY方向の広がり角が制御される。
[0096]
 一方、制御回路300は、光導波路群10gごとに、印加される電圧の値を個別に決定する。各光導波路群10gへの印加電圧の制御により、光ビームの出射方向のX成分が制御される。位相シフタ群80gと光導波路群10gとの組み合わせに依存して、光の出射方向が決定される。図12の例では、1つの位相シフタ群80gに接続された隣り合う2つの光導波路群10sから同一の方向に光が出射する。1つの光導波路群10gから出射される光の放射束を1つの光ビームとすると、図12の例では、2本の光ビームを同時に出射することができる。光導波路素子10および位相シフタ80の数を増やせば、さらにビーム本数を増やすことができる。
[0097]
 図13は、光源100の他の構成例を示す図である。この例における光源100は、各々が異なる方向に光ビームを出射する複数の発光デバイス700を備える。この例では、1つのチップ上に複数の位相シフタ80および複数の光導波路素子10が実装される。制御回路300は、各発光デバイス700における各位相シフタ80および各光導波路素子10への印加電圧を制御する。これにより、制御回路300は、各発光デバイス700から出射する光ビームの方向を制御する。この例では、光源100は3つの発光デバイス700を備えるが、さらに多数の発光デバイス700を備えていてもよい。近距離用ビームおよび遠距離用ビームの各々は、複数の発光デバイス700から出射する光ビームの集合によって構成され得る。
[0098]
 図14は、光源100のさらに他の構成例を示す図である。この例における光源100は、各々が異なるチップに実装された複数の発光デバイス700を備える。複数の発光デバイス700は、異なる方向に光ビームを出射する。各発光デバイス700は、複数の位相シフタ80および複数の光導波路素子10に印加する電圧を決定する制御回路300aを備える。各発光デバイス700における制御回路300aは、外部の制御回路300によって制御される。この例でも、光源100は3つの発光デバイス700を備えるが、さらに多数の発光デバイス700を備えていてもよい。近距離用ビームおよび遠距離用ビームの各々は、複数の発光デバイス700から出射する光ビームの集合によって構成され得る。
[0099]
 [1-1-3 イメージセンサ200の構成]
 次に、図3に示すイメージセンサ200の構成を説明する。
[0100]
 イメージセンサ200は、受光面に2次元的に配列された複数の受光素子を備える。イメージセンサ200は、例えばCCD(Charge-Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ、または赤外線アレイセンサであり得る。受光素子は、例えばフォトダイオードなどの光電変換素子と、1つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。
[0101]
 このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「受光データ」と称する。イメージセンサ200は、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、R/G/B、R/G/B/IR、またはR/G/B/Wのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ200は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ200は、SPAD(Single Photon Avalanche Diode)を利用したセンサであってもよい。イメージセンサ200は、全画素の信号を一括で露光することが可能な電子シャッタ、すなわちグローバルシャッタの機構を備え得る。
[0102]
 なお、本実施形態ではイメージセンサ200が用いられるが、イメージセンサ200とは異なる受光装置を用いてもよい。例えば、一次元的に配列された複数の受光素子を備えた受光装置を用いてもよい。
[0103]
 [1-1-4 信号処理回路400の構成]
 信号処理回路400は、イメージセンサ200から出力された信号を処理するCPUおよび/またはGPUなどの1つ以上のプロセッサを含み得る。図3に示す信号処理回路400は、認識処理部410と、物体距離計算部430とを備える。認識処理部410は、イメージセンサ200から出力された信号に基づいて、シーン中の1つ以上の物体を認識する。物体距離計算部430は、認識されたそれぞれの物体までの距離を計算する。認識処理部410および物体距離計算部430の機能は、例えば信号処理回路400のプロセッサがコンピュータプログラムを実行することによって実現され得る。その場合、当該プロセッサが、認識処理部410および物体距離計算部430として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。
[0104]
 [1-2 物体認識装置の動作]
 実施形態1に係る物体認識装置の動作を説明する。図15は、実施形態1に係る物体認識装置の動作の概要を示すフローチャートである。物体認識装置は、図15に示すステップS1100からS1500の動作を実行する。以下、各ステップの動作を説明する。
[0105]
 <ステップS1100>
 まず、制御回路300は、光源100による近距離用ビームおよび遠距離用ビームのそれぞれの投光のタイミングと、イメージセンサ200の露光のタイミングとを決定する。投光と露光のタイミングの詳細については後述する。
[0106]
 <ステップS1200>
 次に、制御回路300は、決定した投光タイミングに従って、光源100に、投光を指示する制御信号を送信する。さらに、決定した露光タイミングに従って、イメージセンサ200に、露光の開始および終了を指示する制御信号を送信する。これにより、光源100から複数の遠距離用ビームおよび複数の近距離用ビームが出射され、イメージセンサ200の各受光素子に電荷が蓄積される。本実施形態では、前述のように、2回の露光期間が設定される。イメージセンサ200は、それぞれの露光期間で各受光素子に蓄積された電荷量に応じた受光データを出力する。
[0107]
 <ステップS1300>
 次に、信号処理回路400は、ステップS1200で出力された受光データを取得する。信号処理回路400における認識処理部410は、取得した受光データに基づき、シーン中の物体を認識する。認識処理は、機械学習アルゴリズムに従って予め訓練された学習済みモデルである物体認識モデルに従って行われる。物体認識モデルは、後述する物体認識システムにおける学習装置によって生成され、信号処理回路400が備える記憶媒体または信号処理回路400に電気的に接続された記憶媒体に予め格納されている。認識処理部410は、イメージセンサ200から出力された受光データに物体認識モデルを適用することにより、シーン中に存在する1つ以上の物体を認識する。認識される物体は、例えば人、自転車、および自動車を含み得る。認識処理部410は、物体の認識結果、例えば「人」、「自動車」、または「自転車」等のラベルとともに、その物体の画像上での位置、例えば画素領域を特定する情報を出力する。
[0108]
 <ステップS1400>
 信号処理回路400における物体距離計算部430は、ステップS1300で認識された物体ごとに、物体が位置する複数の画素の受光データから、当該物体までの距離を計算する。距離の計算方法の詳細については後述する。
[0109]
 (ステップS1500)
 信号処理回路400は、ステップS1300で認識された物体と、ステップS1400で計算された当該物体までの距離とを示す情報とを出力する。出力結果は、例えば記憶装置500に記録され、ディスプレイ600に表示され得る。
[0110]
 [1-2-1 投光/受光タイミング]
 次に、本実施形態における各光ビームの投光および露光のタイミングの例を説明する。
[0111]
 図16は、本実施形態における各光ビームの投光および露光のタイミングの例を示す模式図である。図16の(a)は、遠距離ビームの投光のタイミングを示している。図16の(b)は、近距離用ビームの投光のタイミングを示している。図16の(c)は、第1の露光期間を示している。図16の(d)は、第2の露光期間を示している。
[0112]
 第1の露光期間は、近距離用ビームの投光が終了すると同時に開始し、各ビームのパルス幅と同一の時間が経過すると終了する。第2の露光期間は、第1の露光期間が終了すると開始し、第1の露光期間と同一の時間が経過すると終了する。
[0113]
 図16の(e)における実線のパルスは、遠距離用ビームが遠方(例えば装置から100mから200mの範囲)に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図16の(e)における点線のパルスは、遠距離用ビームが近距離(例えば装置から100m未満の範囲)に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図16の(f)は、近距離用ビームが近距離(例えば装置から100m未満の範囲)にある物体で反射されて装置に戻ってくるタイミングを示している。
[0114]
 遠距離用ビームの投光は近距離用ビームの投光に先行する。遠方で反射された遠距離用ビームと近くで反射された近距離用ビームの両方が、少なくとも一方の露光期間で受光されるように各露光期間が設定される。
[0115]
 図16の(e)において点線で示されたパルスは、近距離にある物体で反射して戻ってきた遠距離用ビームの反射光を示している。この反射光は、すべての露光期間の外側のタイミングで装置に戻ってくる。このため、イメージセンサ200は、このような光を検出しない。イメージセンサ200は、例えば100m未満にある物体によって反射された遠距離用の光ビームを検出しない。一方、近距離用の光ビームについては、遠距離用の光ビームよりも照射面における単位面積あたりのエネルギーが小さいため、遠距離用の光ビームよりも到達距離が短い。よって、装置から例えば100m以上離れた物体で反射された場合には、強度の減衰により、検出することができなくなる。このため、近距離用の光ビームが、次回以降の投光に対する露光期間で検出されることはない。なお、近距離用の光ビームと遠距離用の光ビームの到達距離が同一であってもよい。その場合でも、次回の投光までの時間間隔を十分に空けることにより、遠距離物体で反射された近距離用の光ビームが次回以降の露光期間に検出されることを回避できる。
[0116]
 図16に示す例では、第1の露光期間が終了すると直ちに第2の露光期間が開始する。イメージセンサ200は各画素につき2つの電荷蓄積部を備えており、電荷を蓄積する電荷蓄積部を露光期間毎に切替えることができる。この例では、第1の露光期間および第2の露光期間が終了した後、各電荷蓄積部に蓄積された電荷を出力する期間が設けられ得る。
[0117]
 これに対し、イメージセンサ200が各画素に1つの電荷蓄積部を備える場合は、各露光期間の終了後に、蓄積された電荷を出力する期間が設けられる。そのような場合には、図17に示すように、遠距離用ビームおよび近距離用ビームの1回の投光については露光を1回のみ行い、次回の投光時に、前回と異なるタイミングで露光してもよい。
[0118]
 図17は、露光期間の後に電荷出力のための期間が設けられる場合の投光および露光のタイミングの例を示す図である。この例では、遠距離用ビームおよび近距離用ビームの投光が行われた後、第1の露光期間において、イメージセンサ200は、各ビームの反射光による電荷を蓄積し、出力する。続いて、所定の時間が経過した後、前回と同一の条件で遠距離用ビームおよび近距離用ビームの投光が行われる。この2回目の近距離用ビームの投光が終了してから、第1の露光期間に相当する時間が経過すると、第2の露光期間が開始される。第2の露光期間において、イメージセンサ200は、各ビームの反射光による電荷を蓄積し、出力する。このように、図17の例では、イメージセンサ200は、露光が終了する度に電荷出力を行う。このため、光源100は、同一の条件の遠距離用ビームと近距離用ビームの組み合わせで投光を連続して複数回行う。イメージセンサ200は、投光ごとに、異なるタイミングで露光する。これにより、各露光期間で蓄積された電荷による電圧を取得することができる。
[0119]
 なお、露光期間は2つに限らず、連続する3つ以上の露光期間を設けてもよい。また、投光および露光のタイミングは、上記のタイミングとは異なっていてもよい。投光と受光のタイミングは、各光ビームの距離範囲の設定などの種々の条件に応じて調整され得る。
[0120]
 図17の例のように、遠距離用ビームおよび近距離用ビームの投光のたびに露光を1回だけ行う場合においても、イメージセンサ200が各画素に2つの電荷蓄積部を備え、露光期間ごとに蓄積される電荷蓄積部を切替えてもよい。この場合、イメージセンサ200は、複数回の投光と露光を繰り返したのちに、各電荷蓄積部に蓄積された電荷を出力してもよい。
[0121]
 [1-2-2 投光/露光による電荷計測の動作]
 次に、ステップS1200における電荷計測の動作の詳細を説明する。
[0122]
 図18は、図17に示す例における電荷計測の動作を示すフローチャートである。物体認識装置は、図18に示すステップS1201からS1212の動作を実行する。以下、各ステップの動作を説明する。
[0123]
 <ステップS1201>
 制御回路300は、ステップS1100で決定された全ての露光期間での電荷計測が終了したか否かを判断する。全ての露光期間での電荷計測が終了している場合、ステップS1300に進む。全ての露光期間の電荷計測が終了していない場合、ステップS1202に進む。
[0124]
 <ステップS1202>
 制御回路300は、投光と露光とを制御するために時間の計時を開始する。
[0125]
 <ステップS1203>
 制御回路300は、ステップS1100で決定された遠距離用ビームの投光タイミングで、投光制御信号を光源100に出力する。投光制御信号は、遠距離ビーム情報311が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップS1100で決定された投光のパルス時間長の情報とを含む。
[0126]
 <ステップS1204>
 光源100は、ステップS1203で出力された投光制御信号に従って、遠距離用ビームを生成して投光する。
[0127]
 <ステップS1205>
 制御回路300は、ステップS1100で決定された近距離用ビームの投光タイミングになると、投光制御信号を光源100に出力する。この投光制御信号は、近距離ビーム情報312が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップS1100で決定された投光のパルス時間長の情報とを含む。
[0128]
 <ステップS1206>
 光源100は、ステップS1203で出力された投光制御信号に従って、近距離用ビームを生成して投光する。
[0129]
 <ステップS1207>
 制御回路300は、ステップS1100で決定された複数の露光期間のうち、まだ露光を行っていない1つの露光期間を選択する。制御回路300は、選択した露光期間の開始のタイミングでイメージセンサ200に露光開始信号を出力する。
[0130]
 <ステップS1208>
 イメージセンサ200は、ステップS1207で出力された露光開始信号に従って露光を開始する。
[0131]
 <ステップS1209>
 制御回路300は、ステップS1207で選択した露光期間の終了のタイミングでイメージセンサ200に露光終了信号を出力する。
[0132]
 <ステップS1210>
 イメージセンサ200は、ステップS1209で出力された露光終了信号に従って露光を終了する。
[0133]
 <ステップS1211>
 イメージセンサ200は、露光開始から露光終了までの期間に各画素に蓄積した電荷の量に応じた受光データを出力する。
[0134]
 <ステップS1212>
 制御回路300は、計時を終了する。ステップS1212の後、ステップS1201に戻る。
[0135]
 ステップS1201からステップS1212の一連の動作により、光源100による投光とイメージセンサ200による露光が行われる。露光期間ごとにイメージセンサ200の画素ごとに蓄積された電荷の量に応じた受光データが出力される。
[0136]
 [1-2-3 認識された物体の距離情報生成]
 次に、図15に示すステップS1400における距離情報生成の動作の詳細を説明する。図19は、ステップS1400における距離情報生成の動作の例を示すフローチャートである。
[0137]
 信号処理回路400は、ステップS1401からS1403の動作を実行することにより、ステップS1300において認識された1つ以上の物体のそれぞれについての距離情報を生成する。これらの各ステップの動作は、信号処理回路400における距離計算部430によって実行される。以下、各ステップの動作を説明する。
[0138]
 <ステップS1401>
 まず、信号処理回路400は、ステップS1300において認識された1つ以上の物体のすべてについての距離情報の生成が終了したか否かを判定する。すべての物体についての距離情報の生成が終了している場合、ステップS1500に進む。すべての物体についての距離情報の生成が終了していない場合、ステップS1402に進む。
[0139]
 <ステップS1402>
 信号処理回路400は、ステップS1300において認識された物体のうち、まだ距離が計算されていない物体を選択する。
[0140]
 <ステップS1403>
 信号処理回路400は、ステップS1402で選択された物体と物体認識装置との間の距離を計算する。距離を計算すると、ステップS1401に戻る。距離計算の詳細については後述する。
[0141]
 ステップS1401からステップS1403を繰り返すことで、ステップS1300において認識された1つ以上の物体のすべてについての距離情報を生成することができる。
[0142]
 次に、図20を参照しながら、ステップS1403における距離計算の具体例を説明する。図20は、図19におけるステップS1403の動作の具体例を示すフローチャートである。
[0143]
 <ステップS1411>
 信号処理回路400は、ステップS1402において選択された物体が、画像上のどの画素領域に位置するかを特定する。本実施形態では、ステップS1300において、認識処理部410が、物体の認識結果、例えば「人」または「自動車」等のラベルとともに、その物体の画像上の位置を示す情報を出力している。その情報に基づき、物体距離計算部430が、当該物体に対応する画素領域を特定する。
[0144]
 <ステップS1412>
 信号処理回路400は、ステップS1411で特定した画素領域内の画素のうち、ステップS1200において反射光を受光し、測定結果のある全ての画素についての距離の計算が終了したか否かを判定する。この判定がYesの場合、ステップS1419に進む。この判定がNoの場合、ステップS1413に進む。
[0145]
 <ステップS1413>
 信号処理回路400は、各画素領域内の測定結果のある画素のうち、まだ距離の計算が終了していない画素を選択する。
[0146]
 <ステップS1414>
 信号処理回路400は、ステップS1413で選択した画素が、各露光期間中に近距離用ビームの反射光を受光した画素であるかを判定する。信号処理回路400は、近距離ビーム情報312に含まれる投光方向の情報に基づいて、当該画素が各露光期間中に近距離用ビームの反射光を受光する画素であるかを判定することができる。当該画素が各露光期間中に近距離用ビームの反射光を受光した画素である場合、ステップS1415に進む。当該画素が各露光期間中に近距離用ビームの反射光を受光した画素ではない場合、ステップS1418に進む。
[0147]
 <ステップS1415>
 信号処理回路400は、ステップS1413で選択した画素が、各露光期間中に遠距離用ビームの反射光を受光した画素であるかを判定する。信号処理回路400は、遠距離ビーム情報311に含まれる投光方向の情報に基づいて、当該画素が各露光期間中に近距離用ビームの反射光を受光した画素であるかを判定することができる。当該画素が各露光期間中に遠距離用ビームの反射光を受光した画素である場合、ステップS1416に進む。当該画素が各露光期間中に遠距離用ビームの反射光を受光した画素ではない場合、ステップS1417に進む。
[0148]
 <ステップS1416>
 信号処理回路400は、当該物体の画素領域内で、ステップS1413で選択した画素の近傍の領域が近距離の範囲に該当するか否かを判定する。例えば、当該画素に最も近い予め定められた数(例えば5個)の測定値をもつ画素の各々が、近距離用ビームの距離範囲に該当するか、遠距離用ビームの距離範囲に該当するかが判定される。そして、近距離用ビームの距離範囲に該当する画素の数が遠距離用ビームの距離範囲に該当する画素の数以上である場合、ステップS1417に進む。近距離用ビームの距離範囲に該当する画素が遠距離用ビームの距離範囲に該当する画素よりも少ない場合、ステップS1418に進む。各画素が近距離用ビームの距離範囲に該当するか、遠距離用ビームの距離範囲に該当するかは、遠距離ビーム情報311および近距離ビーム情報312のそれぞれに含まれる投光方向の情報によって判断することができる。
[0149]
 <ステップS1417>
 信号処理回路400は、イメージセンサ200が出力した第1および第2の露光期間の各々における当該画素の信号値から、間接ToFによる方法で距離を計算する。距離の計算方法は、例えば図6Aを参照して説明した方法と同様である。ただし、図16および図17の例では、露光期間の設定方法が図6Aの例とは異なるため、その差異を考慮した計算方法が用いられる。ステップS1417の動作終了後、ステップS1412に戻る。
[0150]
 <ステップS1418>
 信号処理回路400は、イメージセンサ200が出力した当該画素の第1および第2の露光期間の各々における信号値から、間接ToFによる方法で距離を計算する。信号処理回路400は、計算した距離を、遠距離用ビームの反射光が検出される場合の最小の距離(例えば100m)に加算することにより、当該物体と物体認識装置との距離を求める。ステップS1418の動作終了後はステップS1412に戻る。
[0151]
 ステップS1412からステップS1418の動作を繰り返すことで、当該物体に対応する画素領域内で測定値をもつ全ての画素についての距離情報を生成することができる。
[0152]
 <ステップS1419>
 信号処理回路400は、当該物体に対応する画素領域内で測定値をもつ全ての画素の距離についての度数分布を作成する。度数分布の階級は、例えば計測距離範囲で、距離の対数に関して線形に20分割したものであり得る。信号処理回路400は、作成した度数分布における最頻値を特定する。
[0153]
 <ステップS1420>
 信号処理回路400は、ステップS1419で特定した最頻値の階級に属する画素の距離の値の平均値を求め、これを当該物体の距離の値とする。
[0154]
 [1-3 物体認識システムの構成]
 次に、本実施形態の物体認識装置を含む物体認識システムの構成例を説明する。
[0155]
 図21は、物体認識システムの構成の一例を示す図である。この物体認識システムは、物体認識装置800と、機械学習によって物体認識モデルを作成および訓練する学習装置900とを備える。物体認識装置800は、図3に示す前述の構成を備える。学習装置900は、プロセッサ910と、記憶媒体920とを備える。プロセッサ910は、距離画像生成部912と、認識処理部914と、機械学習部916とを備える。距離画像生成部912、認識処理部914、および機械学習部916は、プロセッサ910が記憶媒体920に格納されたコンピュータプログラムを実行することによって実現され得る。記憶媒体920は、光源100から発せられる複数の近距離用ビームの空間分布および複数の遠距離用ビームの空間分布に基づく重み情報を格納する。重み情報は、イメージセンサ200から出力される受光データから各画素の距離を計算または推定するために用いられる。
[0156]
 学習装置900は、物体認識装置800におけるイメージセンサ200から各画素の観測値を示す受光データを取得し、受光データと重み情報とに基づいて距離画像を生成する。学習装置900は、生成した距離画像を解析することにより、シーン内に存在する1つ以上の物体を認識する。一方、学習装置900は、イメージセンサ200から出力された受光データを学習データとし、距離画像に基づいて認識したシーン内の物体の認識結果を教師データとして、機械学習を行う。これにより、学習装置900は、受光データから物体認識モデルを作成することができる。
[0157]
 イメージセンサ200は、露光期間ごとに、各画素の観測値を示す受光データD1を出力する。この受光データD1は、後述する圧縮センシングによる処理に用いられる。
[0158]
 距離画像生成部912は、イメージセンサ200から出力された受光データD1と、記憶媒体920に格納された重み情報Wとを取得する。距離画像生成部912は、受光データD1と重み情報Wとを用いて、画素ごとに距離の値を持つ距離画像を生成して出力する。距離画像の生成方法の詳細については後述する。
[0159]
 認識処理部914は、距離画像生成部912から出力された距離画像を取得し、当該距離画像が示すシーン内の1つ以上の物体を認識し、認識結果を出力する。認識は、例えば公知の認識アルゴリズムを用いて行われ得る。例えば、距離画像から、距離の近い隣接する画素群からなる1つ以上の領域を抽出し、その領域の形状および距離分布に基づいて、物体を特定することができる。イメージセンサ200がカラー画像を取得できる場合は、取得される色情報も利用して物体の認識精度を高めることもできる。認識結果は、例えばその物体を示すラベルとその物体の座標または座標群のデータであり得る。認識処理部914は、予め機械学習によって訓練された学習済みモデルを利用して、距離画像から物体を認識してもよい。その場合には、学習済みモデルが別途作成され、記憶媒体920に予め格納される。
[0160]
 機械学習部916は、イメージセンサ200から出力された受光データを学習データD2として取得し、認識処理部914から出力された認識結果のデータを教師データD3として取得する。機械学習部916は、学習データD2と教師データD3とを用いて、物体認識モデルをさらに訓練する。学習済みの物体認識モデルMは、信号処理回路400に提供され、前述の物体認識処理に利用される。
[0161]
 このように、信号処理回路400による物体の認識に利用される物体認識モデルは、複数の訓練データセットによって予め訓練される。各訓練データセットは、学習用受光データと、学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む。学習用受光データは、イメージセンサ200から信号処理回路400に送られる各画素の受光データと同じデータである。言い換えれば、イメージセンサ200から以前に出力された受光データが、学習用受光データとして用いられる。このような構成では、物体認識装置800と学習装置900とを共に実装し、実際に使用しながら学習を続けることができる。
[0162]
 なお、学習用受光データは、イメージセンサ200と同等の性能を持つ他のイメージセンサの受光データであってもよい。すなわち、本実施形態における学習用受光データは、圧縮センシングデータ、言い替えれば、一部の画素の情報が欠落した受光データである。
[0163]
 本実施形態では、光源100が出射する近距離用ビームおよび長距離用ビームのそれぞれの空間パターンは露光期間によらず一定である。しかし、近距離用ビームおよび長距離用ビームのそれぞれの空間パターンは、露光期間によって異なっていてもよい。その場合には、パターン数に応じた数の重み情報が用意され、重み情報ごとに物体認識モデルの学習が行われ得る。その場合、信号処理回路400における認識処理部410は、認識を行うとき、受光データに加えて、制御回路300から投光パターン情報も取得し、その投光パターン情報に対応する物体認識モデルを利用するように構成され得る。ラベルデータは、投光パターン情報および受光データを基に生成され得る。より具体的には、ラベルデータは、投光パターン情報に基づく重み情報と受光データとに基づいて生成された距離画像を認識することによって生成され得る。
[0164]
 学習装置900における認識処理部914が距離画像中の物体を認識する際に用いられ得る学習済みモデルの作成には、ToFカメラにより取得された非圧縮の距離画像、あるいは圧縮センシングデータと重み情報Wとを基に復元された非圧縮の距離画像が用いられる。なお、この際に用いられる重み情報Wは、圧縮センシングデータを取得する際の投光パターン情報に対応し、制御回路300から取得される。認識処理部914は、これらの非圧縮の距離画像を基に、教師データD3を生成し物体認識モデルを学習することができる。
[0165]
 図21に示す例では、認識処理部914が教師データD3を生成するが、本開示はこのような例に限定されない。例えば、教師データD3が、外部から与えられてもよい。
[0166]
 図22は、物体認識システムの構成の他の例を示す図である。この例では、学習装置900は、図21に示す距離画像生成部912および認識処理部914を備えていない。学習装置900は、外部の装置に電気的に接続される入力インターフェース(IF)930を備える。プロセッサ910における機械学習部916は、入力インターフェース930を介して外部の装置から教師データD3を取得する。この場合、教師データD3が示すシーン中の物体の情報は、予め圧縮センシングによって復元された各画素の観測値のデータを用いて予め生成される。
[0167]
 教師データは、ユーザによって作成されてもよい。例えば、図21に示す距離画像生成部912によって生成された距離画像を、人が確認して距離画像中の物体の領域を指定してラベルを付けることによって教師データを生成してもよい。その場合、認識処理部914は不要である。
[0168]
 図21および図22に示す物体認識システムにおける学習装置900は、物体認識装置800におけるイメージセンサ200から出力された受光データをオンラインで取得して学習する。このような形態に限らず、例えばイメージセンサ200から出力された受光データを予め記憶装置に記録しておき、記録された当該受光データを用いて、オフラインで物体認識モデルの学習を行ってもよい。
[0169]
 [1-4 距離画像生成処理の例]
 次に、図21に示す学習装置900における距離画像生成部912による距離画像生成処理の例を説明する。距離画像生成部912は、各画素の観測値と重み情報とに基づいて、圧縮センシングを利用して距離画像を生成する。
[0170]
 本実施形態の物体認識システムは、間接ToF法による測距を行う。距離画像生成部912は、教師データD3を作成するために利用される距離画像を、以下の方法で生成する。距離画像の生成には、イメージセンサ200から露光期間ごとに出力された各画素の信号と、近距離用ビームおよび遠距離用ビームのそれぞれの分布を反映した重み情報とが用いられる。
[0171]
 本実施形態における重み情報は、近距離用ビームおよび遠距離用ビームのそれぞれの投光パターンに基づく重み行列を表す。重み行列の行数はイメージセンサ200の画素数Lの2倍であり、列数は画素数Lと距離の解析数Nとを掛けた値である。距離の解析数Nは、測距範囲の分割数であり、測距の分解能を表す。
[0172]
 イメージセンサ200の画素i(i=1,2,・・・,L)の距離ベクトルをx とする。x は、要素数Nのベクトルであり、画素iに位置する物体の距離の範囲を表す。例えば、x =[1,0,0,0,…,0] は16.7メートル未満、x =[0,1,0,0,…,0] は16.7メートル以上33.3メートル未満、x =[0,0,0,0,…,1] は(N-1)×16.7メートル以上N×16.7メートル未満を示す。以下、説明を簡略化するため、N=12の場合の例を説明する。ここでは、近距離用ビームは、0メートルから100メートルの範囲にある物体を検出するために使用され、遠距離用ビームは、100メートルから200メートルの範囲にある物体を検出するために使用されるものと仮定する。
[0173]
 画素iについて、露光期間1で蓄積された電荷量に対応する電圧をy 1i、露光期間2で蓄積された電荷量に対応する電圧をy 2iとする。ただし、以下の式4が満たされるように正規化する。
[数4]


[0174]
 近距離用ビームのみが照射される画素については、y 1iおよびy 2iは、例えば以下の式5のように表される。
[数5]


[0175]
 a1からa6、およびb1からb6は、0以上1以下の実数であり、式4を満たす数である。この例では、装置から100メートルを超える距離に位置する物体からの近距離用ビームの反射光は、強度の減衰によって検出されない。このため、式5における行列の第7列から第12列の各値は0に設定される。
[0176]
 遠距離用ビームのみが照射される画素については、y 1iおよびy 2iは、例えば以下の式6のように表される。
[数6]


[0177]
 a7からa12、およびb7からb12は、0以上1以下の実数であり、式4を満たす数である。この例では、装置から100メートル未満の距離に位置する物体からの遠距離用ビームの反射光が検出されないように各露光期間が設定される。このため、式6における行列の第1列から第6列の各値は0に設定される。
[0178]
 近距離用ビームと遠距離用ビームとが同時に照射される画素については、y 1iおよびy 2iは、例えば以下の式7のように表される。
[数7]


[0179]
 いずれのビームも照射されない画素については、y 1iおよびy 2iは、ゼロになるため、以下の式8のように表される。
[数8]


[0180]
 ここで、式5から式8における行列の各要素の数値は、x 、y 1iおよびy 2iの形式に依存する。上記の行列の各要素の数値は一例にすぎず、実装によって異なる。
[0181]
 式5から式8をまとめると、以下の式9のように表現できる。
 Y=WX (9)
 ここで、画素数をLとして、Yは以下の式10で表され、Xは以下の式11で表される。
[数9]


[0182]
 Yは、画素ごとに、露光期間1および露光期間2でそれぞれ検出された、正規化された電荷量または電圧値を並べたベクトルである。Xは、前述の要素数Nのx がL個並べられたベクトルであり、要素数はL×Nである。Xは、各画素の距離を表す。より具体的には、Xは、各画素に対応する位置にある物体が、測距範囲を解析数Nで分割した場合の何番目の距離レンジにあるかを示す。画素ごとに、分割された複数の距離レンジの各々を示す要素に、0または1の値を持つことにより、距離が表現される。物体が装置から200メートル未満の位置に存在する画素については、x は、N個の要素中1つだけが1であり、他の要素が0のベクトルである。物体が装置から200メートル未満の位置に存在しない画素については、x は、N個の要素の全てが0のベクトルである。
[0183]
 Wは、行数が2Lで列数がL×Nの行列である。上述の[y 1i,y 2i]およびx の定義より、行列Wは、以下の式12で表される。
[数10]


[0184]
 ここで、式12における行列Wの各要素wは、式5から8におけるいずれかの行列を表す。各wが、式5から8のいずれの行列に該当するかは、例えば予めキャリブレーションを行うことによって決定され得る。本実施形態では、式12に示す重み行列Wが、重み情報として用いられる。
[0185]
 前述の式9を、ベクトルYと行列Wが既知という条件で、ベクトルXについて解くことにより、画素ごとの距離の値を得ることができる。しかしながら、この式では、ベクトルYの要素数よりもベクトルXの要素数の方が多いため、一意に解を求めることができない。そこで、拘束条件を導入し、式9を以下のように変形する。
[数11]


ここで、行列Mは、以下の式14で表されるL×(L×N)行列である。
[数12]


すなわち、ベクトルMXは、画素ごとの距離を示す要素数Lのベクトルである。
[0186]
 式13において、第1項は、式9を2乗誤差に緩和したものである。第2項は、ベクトルXのL1ノルムを示しており、ベクトルXの要素の多くが0になるための拘束項である。第3項におけるTV(MX)は、距離画像を表すMXにおける近傍の画素との輝度変化の絶対値和であるtotal variationである。αおよびβは、重み係数を示している。total variationの詳細は、例えば、Rudin L. I., Osher S. J., and Fatemi E., "Nonlinear total variation based noise removal algorithms", Physica D, vol. 60, pp. 259-268, 1992.に開示されている。この文献の開示内容の全体を本明細書に援用する。
[0187]
 式13は、括弧内の値が最小になるベクトルXを求める演算を示している。式13は、例えば、ADMM(Alternating Direction Method of Multipliers)を利用することで解くことができる。ADMMの詳細は、例えばD. Gabay and B. Mercier, “A dual algorithm for the solution of nonlinear variational problems via finite-element approximations”, Computers & Mathematics with Applications, vol. 2, pp. 17-40, 1976.に開示されている。この文献の開示内容の全体を本明細書に援用する。
[0188]
 [1-5.効果]
 以上のように、本実施形態における物体認識装置は、光源100と、イメージセンサ200と、制御回路300と、信号処理回路400とを備える。光源100は、同時に複数の光ビームを異なる方向に出射することが可能な構成を備える。イメージセンサ200は、複数の受光素子を有し、指示された露光期間において各受光素子が受けた光の量に応じた受光データを出力する。制御回路300は、光源100に、複数の遠距離用ビームを含み、第1の空間分布を有する第1の光をシーンに向けて出射させる。その後、制御回路300は、光源100に、複数の近距離用ビームを含み、第2の空間分布を有する第2の光をシーンに向けて出射させる。
[0189]
 ここで第2の空間分布は、第1の空間分布とは異なる。また、光源から所定の距離の照射面における各近距離用ビームの単位面積当たりのエネルギーは、当該照射面における各遠距離用ビームの単位面積あたりのエネルギーよりも低い。制御回路300は、イメージセンサ200の複数の受光素子に、第1の光によって生じたシーンからの第1の反射光と、第2の光によって生じたシーンからの第2の反射光とを、同一の露光期間において検出させる。信号処理回路400は、機械学習によって予め訓練された物体認識モデルを、イメージセンサ200から出力された受光データに適用することにより、前記シーンに含まれる物体を認識する。信号処理回路400は、受光データに基づいて、認識した物体までの距離を推定することもできる。
[0190]
 以上の構成により、疎な光ビームを用いた場合であっても、シーン中の物体を認識し、その物体までの距離を推定することができる。複数の光ビームは、シーンの全体をカバーする必要がない。このため、出射光のエネルギーを低減することができる。
[0191]
 遠距離用の光ビームの投光のタイミングと近距離用の光ビームの投光のタイミングとを適切に調整し、反射光を同一の露光期間で受光することで、遠距離の範囲での測距と近距離の範囲での測距とを同時に行うことができる。遠距離の測距と近距離の測距とを別々に行う場合に比べて測距の時間を短縮することができる。これにより、大きな距離範囲にわたって測距する場合でも、測距に要する時間を短縮することができる。距離画像を動画像として生成する場合には、より高いフレームレートで物体の認識ラベルと距離の情報とを生成することができる。
[0192]
 <実施形態1の変形例>
 実施形態1では、光の到達距離が異なる2種類の光ビームが用いられる。そのような構成に限定されず、例えば、光の到達距離が等しく、イメージセンサ200の受光面に平行な平面上での分布が異なる2組の光ビームを用いてもよい。各組の光ビームは、複数の光ビームを含み得る。
[0193]
 図30は、本変形例における各光ビームの投光および露光のタイミングの例を示す模式図である。図30の(a)は、第1の光ビームの投光のタイミングを示している。左側のパルスはk回目の投光を示し、右側のパルスはk+1回目の投光を示す。図30の(b)は、第2の光ビームの投光のタイミングを示している。図30の(c)は、第1の露光期間を示している。図30の(d)は、第2の露光期間を示している。
[0194]
 第1の露光期間は、第2の光ビームの投光が終了すると同時に開始し、各ビームのパルス幅と同一の時間が経過すると終了する。第2の露光期間は、第1の露光期間が終了すると開始し、第1の露光期間と同一の時間が経過すると終了する。
[0195]
 図30の(e)における実線のパルスは、第1の光ビームが遠方(例えば装置から100mから200mの範囲)に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図30の(e)における点線のパルスは、第1の光ビームが近距離(例えば装置から100m未満の範囲)に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図30の(f)における実線のパルスは、第2の光ビームが近距離(例えば装置から100m未満の範囲)にある物体で反射されて装置に戻ってくるタイミングを示している。図30の(f)における点線のパルスは、第2の光ビームが遠方に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。
[0196]
 第1の光ビームの投光は第2の光ビームの投光に先行する。遠方で反射された第1の光ビームと近くで反射された第2の光ビームの両方が、少なくとも一方の露光期間で受光されるように各露光期間が設定される。
[0197]
 図30の(e)において点線で示された近距離からの第1の光ビームの反射光は、すべての露光期間の外側で装置に戻ってくる。このため、イメージセンサ200は、このような光を検出しない。イメージセンサ200は、例えば100m未満にある物体によって反射された第1の光ビームを検出しない。すなわち、イメージセンサ200は、例えば100m未満にある物体によって反射された第1の光ビームが装置に到達する時間区間では露光を行わない。図30の(f)において点線で示された遠距離からの第2の光ビームの反射光も、すべての露光期間の外側で装置に戻ってくる。このため、イメージセンサ200は、このような光を検出しない。イメージセンサ200は、例えば装置から100m以上の距離にある物体によって反射された第2の光ビームを検出しない。
[0198]
 さらに、図30の(a)の右側に示すk+1回目のパルスのタイミングは、左側に示すk回目のパルスのタイミングから十分に時間間隔を空けて設定される。この時間間隔は、k回目の第2の光ビームを投光してから、当該第2の光ビームが遠方にある物体で反射されて戻ってくるまでの時間よりも長い時間に設定され得る。このようにすることにより、遠距離の物体で反射された第2の光ビームが次回以降の露光期間に検出されることを回避できる。より具体的には、第2の光ビームを投光してから、当該第2の光ビームの反射光が装置に到達するまでの時間のうち、最長の時間が経過した後に、次の投光に対する最初の露光期間が開始するように、次回の投光までの時間が設定され得る。
[0199]
 本変形例では、到達距離が同一である2種類の光ビームを用いて、複数の距離レンジの測距を、投光と露光のタイミングの制御により実現する。このようにすることで、到達距離の異なる2種類の光ビームを用いた場合と同様の効果を得ることができる。
[0200]
 上記の各例において、2種類の光ビームは、2次元的な空間分布が全く同一、あるいは3次元的な空間分布が全く同一であってもよい。空間分布が同一の場合、重み情報は、各画素の状態として、第1の光ビームと第2の光ビームの両方が照射される画素とどちらの光も照射されない画素の2種類の情報のみを含む。距離画像生成部912は、各画素について2種類の状態のいずれであるかを規定する重み情報に基づいて、全画素の距離を計算を行うことができる。シーンの状況および画素の位置によっては、遠近の2つの距離レンジのいずれを選択すべきかについての情報が不足する場合がある。そこで、たとえば「より近距離の候補を優先する」というような拘束条件を加えることにより、距離の推定を行ってもよい。
[0201]
 以上の実施形態では、2つの距離レンジを2種類の光ビームに割り当てているが、本開示の技術はそのような形態に限定されない。3つ以上の距離レンジを3種類以上の光ビームに割り当ててもよい。
[0202]
 図23は、物体認識システムの他の例を示す図である。図23の例では、画素ごとに距離情報を取得するToFカメラ850を用いて取得した距離画像D4が、学習装置900の入力データとして用いられる。学習装置900は、距離画像D4に基づいて学習を行う。
[0203]
 ToFカメラ850は、光源101と、イメージセンサ201と、制御回路301と、プロセッサ860とを備える。プロセッサ860は、距離画像生成部862を備える。距離画像生成部862は、イメージセンサ201から出力される信号に基づいて距離画像を生成して出力する。ToFカメラ850は、直接ToFまたは間接ToFのいずれの方法で距離画像を生成する。
[0204]
 学習装置900におけるプロセッサ910は、認識処理部914と、機械学習部916と、圧縮データ生成部918とを備える。記憶媒体920は、図21の例と同様、重み情報Wを記憶する。認識処理部914は、予め学習された認識モデルに従って距離画像D4からシーン中の物体を認識する。圧縮データ生成部918は、ToFカメラ850から出力された距離画像D4を、式9のベクトルXの形式に変形し、重み情報Wが示す行列を用いて、圧縮データYを生成する。機械学習部916は、圧縮データ生成部918が生成した圧縮データYを学習データD2とし、認識処理部914が出力した認識結果を教師データD3として学習を行う。これにより、物体認識モデルMが生成される。機械学習部916によって生成された物体認識モデルMは、物体認識装置800の信号処理回路400に設定される。これにより、物体認識装置800は、圧縮データから高い精度で物体を認識することができる。
[0205]
 このように、本変形例では、学習用受光データD2は、投光パターン情報に基づく重み情報W、および予め用意された距離画像データD4に基づいて生成される。
[0206]
 この例では、認識処理部914が距離画像から物体を認識することで教師データを生成する。このような形態に限らず、例えば図22に示す例のように、距離画像に対応する物体の情報を外部から取得し、教師データを得るようにしてもよい。
[0207]
 図15に示すステップS1500において、認識結果は、例えばディスプレイ600などの表示装置に表示され得る。ディスプレイ600は、ステップS1300において認識された物体の情報と、その物体のイメージセンサ200の2次元座標上での位置情報と、ステップS1400で生成された当該物体の距離情報と、当該シーンの輝度画像または距離画像を取得し、それらに関する画像を表示してもよい。
[0208]
 図24は、ディスプレイ600に表示され得る画面の一例を示す図である。図24に示すように、ディスプレイ600は、取得された輝度画像または距離画像と、認識された1つ以上の物体の画像上での位置を、枠または点で表示してもよい。また、画像上の物体の位置を示す表示の内部または周辺に、当該物体までの距離を表示してもよい。このように、ディスプレイ600は、認識された物体を強調する画像と、距離情報を示す画像とが合成された合成画像を出力してもよい。
[0209]
 図25は、実施形態1の他の変形例を示す図である。この変形例では、学習が2段階で行われる。第1の段階は、イメージセンサ200から出力される圧縮センシングによる受光データを入力として距離画像を生成するための距離画像生成モデルの学習である。第2の段階は、圧縮センシングによる受光データから復元された距離画像を入力として、物体を認識するための物体認識モデルの学習である。
[0210]
 図25に示す例では、学習装置900におけるプロセッサ910は、2つの機械学習部915および916を備える。機械学習部915は、物体認識装置800のイメージセンサ200から受光データD1を取得する。機械学習部915は、イメージセンサ200によって撮像されたシーンと同一のシーンをToFカメラで測距することによって生成された距離画像データも取得する。機械学習部915は、受光データD1を学習データD2aとし、距離画像データを教師データD3aとして、受光データから距離画像を復元するための距離画像生成モデルを学習する。
[0211]
 図21に示す例とは異なり、式13を用いて距離画像を計算によって復元するのではなく、機械学習アルゴリズムによって訓練された学習済みモデルに従ってイメージセンサ200から出力された受光データから距離画像が復元される。機械学習部915は、生成した距離画像を、他の機械学習部916に入力する。機械学習部916は、イメージセンサ200によって撮像されたシーン中の物体の情報を外部の装置から取得する。機械学習部916は、機械学習部915が生成した距離画像を学習データD2bとし、取得した物体の情報を教師データD3bとして物体認識モデルを学習する。
[0212]
 物体認識装置800の信号処理回路400における認識処理部は、機械学習部915によって学習された距離画像生成モデルMaと、機械学習部916によって学習された物体認識モデルMbとを取得する。信号処理回路400は、これらの2つの学習済みモデルを利用して直列に処理する。すなわち、信号処理回路400は、まず、イメージセンサ200から出力された受光データに、距離画像生成モデルMaを適用することにより、全画素の距離情報を含む距離画像を生成する。続いて、信号処理回路400は、生成した距離画像に物体認識モデルMbを適用することにより、物体を認識する。これにより、信号処理回路400は、イメージセンサ200から出力された受光データから物体を認識し、物体までの距離情報を生成することができる。本変形例では、信号処理回路400は、ToFによる距離計算を行うことなく、距離情報を生成する。
[0213]
 このように、本変形例では、信号処理回路400は、機械学習アルゴリズムによって予め訓練された距離情報生成モデルに基づいて物体までの距離を導出する。
[0214]
 図25に示す物体認識システムにおける学習装置900は、物体認識装置800におけるイメージセンサ200から出力された受光データをオンラインで取得して学習する。このような形態に限らず、例えばイメージセンサ200から出力された受光データを、対応するToFカメラによる距離画像および物体の情報に関連付けて予め記憶装置に記録しておいてもよい。記録された当該受光データと、距離画像および物体の情報とを用いて、オフラインで距離画像生成モデルおよび物体認識モデルの学習を行うことができる。
[0215]
 図25の例では、機械学習部916のための教師データである物体情報を外部から取得する。このような形態に限定されず、図21の例のように、プロセッサ910が自ら認識処理を行うことによって教師データを生成してもよい。
[0216]
 図25に示す物体認識システムは、物体認識装置800および学習装置900に加えて、図23に示す例のように、ToFカメラをさらに備えていてもよい。あるいは、ToFカメラと学習装置とを備える学習システムを構築してもよい。そのような学習システムにおける学習装置は、図23に示すように、ToFカメラによって生成された距離画像と、重み情報とを取得し、それらを利用して、圧縮センシング用のスパースな距離画像を生成してもよい。学習装置は、圧縮センシング用のスパースな距離画像を学習データとし、ToFカメラから取得した距離画像を教師データとして、距離画像生成モデルを学習することができる。
[0217]
 (実施形態2)
 次に、本開示の例示的な実施形態2による学習システムを説明する。
[0218]
 本実施形態における学習システムは、イメージセンサから出力された受光データを用いて物体を認識するためのモデルを学習するだけでなく、物体の認識精度がより高い投光パターンを学習によって決定する。物体認識装置における制御回路300は、記憶媒体310に格納された、第1の光の空間分布および第2の光の空間分布を示す投光パターン情報に基づいて、第1の光の出射方向と、第2の光の出射方向とを決定する。投光パターン情報は、複数の訓練データセットを用いた機械学習アルゴリズムによって予め学習されている。
[0219]
 実施形態2の物体認識装置の構成は、実施形態1の物体認識装置の構成(図3参照)と同様である。このため、物体認識装置についての詳細な説明を省略する。
[0220]
 [2-1 学習システムの構成]
 実施形態2の学習システムの構成を説明する。図26は、実施形態2に係る学習システムの機能的な構成の一例を示すブロック図である。本実施形態の学習システムは、ToFカメラ850と、学習装置900とを備える。学習装置900は、機械学習部916と、投光パターン生成部911とを備える。機械学習部916および投光パターン生成部911の各々は、いずれも、記憶媒体に格納されたプログラムを実行するプロセッサによって実現され得る。ToFカメラ850は、光源101と、イメージセンサ201と、制御回路301と、プロセッサ860とを備える。プロセッサ860は、距離画像生成部862を含む。機械学習部916は、距離画像入力レイヤと、複数のレイヤを含む重みレイヤと、出力レイヤとを含む。
[0221]
 光源101は、1つ以上の光ビームを投光する。光ビームの反射光は、イメージセンサ201の全画素を網羅する。
[0222]
 イメージセンサ201は、対象物によって反射された光源101から投光された光を受光する。イメージセンサ201は、光源101の投光からイメージセンサ201での受光までの時間を、直接ToF法または間接ToF法によって計測する。これにより、ToFカメラ850から対象物までの距離を測定する。
[0223]
 制御回路301は光源101から出射される光ビームの到達距離、ビーム形状、ビーム方向、および投光タイミングを制御する。制御回路301は、イメージセンサ201の露光タイミングも制御する。
[0224]
 プロセッサ860における距離画像生成部862は、イメージセンサ201が測定した各画素での距離の情報を1つまたは複数種類(例えばRGB)の輝度情報に変換して距離画像を生成する。
[0225]
 機械学習部916は、例えばDNN(Deep Neural Network)などの、複数層のネットワークによって機械学習を行うアルゴリズムに従って学習を行う。複数の層のうち、最初の層である入力レイヤは、学習データである距離画像を取得する。それに続く複数の層のうち、第1層は、圧縮センシングの重み情報に相当する。すなわち第1層は、前述の式9のWに相当する。第1層では、図3に示すイメージセンサ200から出力される圧縮センシング用の受光データに相当する圧縮データが生成され、続くレイヤへと出力される。加えて、第1層では圧縮データの生成に使用する重み情報Wが学習される。第1層の重み情報Wは投光パターン生成部911に出力される。投光パターン生成部911は、学習により最適化された第1層の重み情報Wに基づき、図3に示す光源100によって投光される圧縮センシング用の光ビームの投光パターン情報を生成する。投光パターン情報は物体認識装置の制御回路300内の記憶媒体310で保持され、光源100の投光の制御に利用される。すなわち、第1層では光源100の投光パターンが学習される。
[0226]
 第1層に続くレイヤから出力レイヤまでが、物体認識モデルに相当する。物体認識モデルは、物体認識装置の信号処理回路400で保持され、認識処理に利用される。物体認識モデルを学習する際の教師データは、例えば図22または図25に示す例のように、外部から入力され得る。あるいは、図21または図23に示す例のように、学習装置900が認識処理によって教師データを生成してもよい。
[0227]
 第1層での学習と投光パターンの生成の具体例を以下に説明する。
[0228]
 図3に示すイメージセンサ200の複数の画素のうちのi番目の画素iにおける、光源100から投光された光ビームの反射光の受光可能性を、便宜上「投光パターン」と呼ぶ。すなわち、投光パターンは、画素iが受光可能な位置にある物体の方向に光源100が投光しているか否かを表す。ここで、画素iにおける投光パターンを表現する2要素の投光ベクトルL を定義する。L =[1,0]の場合、画素iは、近距離用ビームの反射光のみを受光することを示す。L =[0,1]の場合、画素iは、遠距離用ビームの反射光のみを受光することを示す。L =[1,1]の場合、画素iは、近距離用ビームの反射光および遠距離用ビームの反射光を同時に受光することを示す。L =[0,0]の場合、画素iは、近距離用ビームおよび遠距離用ビームのいずれの反射光も受光しないことを示す。
[0229]
 図21に示す距離画像生成部912の動作について説明したように、画素iの距離ベクトルをx とし、第1の露光期間における画素iの電荷量に対応する電圧をy 1i、第2の露光期間における画素iの電荷量に対応する電圧をy 2iとする。さらに、式4に示すようにy 1iおよびy 2iを正規化する。
[0230]
 投光ベクトルL について、以下の各式が成立する。
[数13]


ただし、z1iおよびz2iは、以下の式で表される。
[数14]


[0231]
 上記の各行列におけるa1からa12およびb1からb12は、0以上1以下の実数であり、式4を満たす数である。これらの数値は、実装に応じて適切な値に設定される。
[0232]
 識別用ネットワークの第1層(即ち入力レイヤの次の層)に、投光ベクトルLに対応する重み層を導入し、識別用ネットワークと同時にLも学習することで、最適な投光パターンを選択することができる。
[0233]
 実際の学習においては、Lは上記以外の数値も選択され得る。このため、学習後、以下のように行列Lを修正し、Lを固定した状態で、識別用ネットワークを再学習するようにしてもよい。
[数15]


[0234]
 また、Lに対応する層の学習には、係数がスパースになるように、すなわちL =[0,0]となる画素iの数を最大化するように、Lに対するL 拘束とその重み係数λ を導入し、投光ビーム数を調整するようにしてもよい。すなわち、識別のための損失関数をf(w,L)とすると、新しい損失関数として、以下のものを利用してもよい。
[数16]


[0235]
 この損失関数において、光ビーム数を減らしたい場合には、λ を大きくし、光ビーム数を増やしたい場合にはλ を小さくする。
[0236]
 [2-2 効果]
 本実施形態の学習システムによれば、物体認識装置の信号処理回路400が保持する物体認識モデルと、記憶媒体310に格納される投光パターンの情報とが、機械学習を用いて生成される。これにより、物体認識に最も適した投光パターンによって圧縮センシングを行うことができる。これにより、より疎なデータ取得、すなわち少ない光ビームで、より精度の高い物体認識が可能になる。
[0237]
 (実施形態3)
 前述の各実施形態では、光源100から出射される近距離用ビームおよび遠距離用ビームの各投光パターンは1種類であり、前述の式9におけるWは1つの行列である。信号処理回路400は1つの投光パターンに対して物体認識モデルを保持し、そのモデルに従って物体の認識を行う。これに対し、実施形態3では、物体認識装置は複数の投光パターンの情報を保持する。記憶媒体310は、複数種類の投光パターン情報を格納する。各種類の投光パターン情報は、第1の光の空間分布および第2の光の空間分布を示す。
[0238]
 制御回路300は、記憶媒体310に格納された複数種類の投光パターン情報のうちの1つに基づいて、第1の光の出射方向と、第2の光の出射方向とを決定する。すなわち、制御回路300は、投光パターンを選択し、選択した投光パターンに従って、光源100およびイメージセンサ200を制御する。制御回路300は、選択した投光パターンの情報を信号処理回路400に出力する。本実施形態における物体認識モデルは、複数種類の投光パターン情報にそれぞれ対応する複数のモデルを含む。信号処理回路400は、その投光パターンに対応する物体認識モデルに従って、イメージセンサ200から出力された受光データから、1つ以上の物体を認識する。
[0239]
 [3-1 物体認識装置の構成]
 図27は、実施形態3に係る物体認識装置の構成の一例を示すブロック図である。図27の構成は、図3の構成と比較して、プロセッサ320が投光パターン選択部329をさらに含み、認識処理部410が記憶装置500から物体認識モデルを取得する点で異なっている。以下、図3の構成と異なる点を中心に説明し、重複する事項についての説明は省略する。
[0240]
 本実施形態における制御回路300は、光源100による光ビームの投光のタイミングと、イメージセンサ200の露光のタイミングとを決定し、そのタイミングに従って、露光制御信号と投光制御信号とを出力する。制御回路300は、複数の投光パターンから1つを選択し、選択した投光パターンに従って投光信号を出力する。投光制御信号は、投光パターンごとに、予め定められた遠距離ビーム情報311および近距離ビーム情報312に従って生成される。
[0241]
 記憶装置500は、投光パターンごとに予め学習された物体認識モデルを記憶する。それらの物体認識モデルは、予め機械学習によって学習されている。
[0242]
 信号処理回路400における認識処理部410は、露光期間ごとにイメージセンサ200が出力した画素ごとの電荷量を示す信号から、制御回路300の投光パターン選択部329から出力された投光パターンを示す情報に対応する物体認識モデルを選択する。認識処理部410は、選択した物体認識モデルに従って、シーン内の物体を認識する。
[0243]
 信号処理回路400における物体距離計算部430は、露光期間ごとにイメージセンサ200が出力した受光データから、認識された対象物の領域に該当する画素のデータを抽出し、当該データに基づいて距離を計算する。
[0244]
 制御回路300における投光パターン選択部329は、予め定められた複数の投光パターンのうちの1つを選択する。ここで、選択された投光パターンは、複数の近距離用ビームおよび複数の遠距離用ビームの各々の投光方向を決定する。
[0245]
 本実施形態でも、実施形態1と同様に圧縮センシングの技術を利用してToF方式による測距が行われる。測距方法は実施形態1と同様である。
[0246]
 図28Aは、本実施形態における遠距離ビーム情報の一例を示している。図28Bは、本実施形態における近距離ビーム情報の一例を示している。本実施形態では、遠距離ビーム情報および近距離ビーム情報の各々が、複数の投光パターンを規定している。各透光パターンの情報は、実施形態1と同様である。
[0247]
 遠距離ビーム情報および近距離ビーム情報が示す複数の投光パターンのうち、同一の露光期間で受光される遠距離用ビームおよび近距離用ビームの投光パターンは、対応付けされて記録されている。対応付けは、例えば対応するパターンに同一のIDを付与することによって行われ得る。
[0248]
 遠距離ビーム情報および近距離ビーム情報は、図28Aおよび図28Bに示す情報とは異なっていてもよい。図4Aおよび図4Bを参照して説明したとおり、遠距離ビーム情報および近距離ビーム情報の表現形式は様々である。
[0249]
 [3-2 物体認識装置の動作]
 実施形態3に係る物体認識装置の動作を説明する。
[0250]
 図29は、実施形態3に係る物体認識装置の動作の一例を示すフローチャートである。以下、各ステップの動作を説明する。
[0251]
 (ステップS1000)
 制御回路300の投光パターン選択部329は、測距に用いる投光パターンを選択する。
[0252]
 (ステップS1100)
 制御回路300の投光/露光タイミング決定部322は、近距離用ビームおよび遠距離用ビームのそれぞれの投光のタイミングと、イメージセンサ200の露光のタイミングとを決定する。投光と露光のタイミングについては実施形態1と同様である。
[0253]
 (ステップS1200)
 次に、制御回路300の計時部330は、投光/露光タイミング決定部322から出力された投光のタイミング情報に従って、投光制御信号出力部340に投光を指示する。投光制御信号出力部340は、投光/露光タイミング決定部322から出力された近距離用ビームと遠距離用ビームの投光制御信号を光源100に出力する。また、計時部330は投光/露光タイミング決定部322から出力された露光のタイミング情報に従って、イメージセンサ200に露光の開始と終了の制御信号を出力する。イメージセンサ200は、反射光によって蓄積された電荷の計測を画素ごとに行う。
[0254]
 (ステップS1250)
 信号処理回路400の認識処理部401は、制御回路300の投光パターン選択部329から出力された投光パターンを示すID情報に従って、その投光パターンに対応する物体認識モデルを記憶装置500から抽出する。
[0255]
 (ステップS1300)
 信号処理回路400の認識処理部401は、ステップS1200で計測された各画素の電荷量に基づき、当該シーン中に含まれる1つ以上の物体を認識する。認識処理はステップS1250で抽出された物体認識モデルに従って、前述の方法で行われる。
[0256]
 (ステップS1400)
 信号処理回路400の物体距離計算部430は、ステップS1300で認識された物体ごとに、物体の画素位置と、当該物体までの距離を計算する。距離の計算方法は前述のとおりである。
[0257]
 (ステップS1500)
 信号処理回路400は、ステップS1300で認識された物体を示す情報と、当該物体までの距離を示す情報とを、記憶装置500および/またはディスプレイ600に出力する。
[0258]
 本実施形態において記憶装置500に記憶される物体認識モデルは、例えば実施形態1の物体認識システムもしくは学習システム、実施形態1の変形例の物体認識システム、または実施形態2の学習システムと同様のシステムによってあらかじめ学習され得る。
[0259]
 以上のように、本実施形態では、制御回路300は、記憶媒体310に格納された、近距離用ビームの空間分布を示す第1の分布情報、および遠距離用ビームの空間分布を示す第2の分布情報に基づいて、各近距離用ビームの出射方向と、各遠距離用ビームの出射方向とを決定する。信号処理回路400は、受光データ、第1の分布情報、第2の分布情報、および物体認識モデルに基づいて、当該シーンに含まれる物体を認識する。物体認識モデルは、各々が、学習用受光データ、および学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む複数の訓練データセットによって予め訓練されている。
[0260]
 実施形態1とその変形例、実施形態2および実施形態3において、物体認識装置は、物体の認識結果と認識された物体までの距離の情報を出力する。本開示はそのような実施形態に限定されない。例えば、物体認識装置は、移動ロボットまたは自動車等の移動体の制御システムに含まれていてもよい。物体認識装置の出力に基づいて、移動体の制御システムは、進行速度と方向を制御してもよい。例えば、進行方向の比較的遠方にヒト等の物体が認識された場合には、移動体はその速度を低下させる制御を行ってもよい。
[0261]
 前述の各実施形態および変形例において、空間分布の異なる光ビームを順次照射したが、空間分布が同一の光ビームを順次照射してもよい。例えば、2次元の空間分布が同一である光ビームを順次照射してもよい。あるいは、3次元の空間分布が同一の光ビームを順次照射してもよい。

産業上の利用可能性

[0262]
 本開示の技術は、測距を行う装置に広く利用可能である。例えば、本開示の技術は、LiDAR(Light Detecting and Ranging)を利用した物体認識システムに利用可能である。認識結果は、例えば、移動体またはロボットの制御に利用され得る。

符号の説明

[0263]
100 光源
150 受光装置
200 イメージセンサ
210 遠距離用ビーム
220 近距離用ビーム
230 遠距離用ビームの反射光
240 近距離用ビームの反射光
300 制御回路
310 記憶媒体
311 遠距離ビーム情報
312 近距離ビーム情報
320 プロセッサ
322 投光/露光タイミング決定部
324 計時部
326 投光制御信号出力部
328 露光制御信号出力部
400 信号処理回路
410 認識処理部
430 物体距離計算部
500 記憶装置
600 ディスプレイ
700 発光デバイス
800 物体認識装置
850 ToFカメラ
860 プロセッサ
862 距離画像生成部
900 学習装置
910 プロセッサ
911 投光パタン生成部
912 距離画像生成部
914 認識処理部
915、916 機械学習部
918 圧縮データ生成部
920 記憶媒体
930 入力IF

請求の範囲

[請求項1]
 光源と、
 複数の受光素子を備え、指示された露光期間中に前記複数の受光素子の各々に入射した光の量に応じた受光データを出力する受光装置と、
 前記光源および前記受光装置を制御する制御回路であって、
  前記光源に、第1の空間分布を有する第1の光をシーンに向けて出射させ、その後、第2の空間分布を有する第2の光を前記シーンに向けて出射させ、
  前記受光装置の前記複数の受光素子の少なくとも一部に、前記第1の光によって生じた前記シーンからの第1の反射光、および前記第2の光によって生じた前記シーンからの第2の反射光を、同一の露光期間内に検出させる、制御回路と、
 前記受光装置から出力された前記受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識し、前記受光データに基づいて前記物体までの距離を導出し、前記物体および前記距離を示す情報を出力する信号処理回路と、を備える物体認識装置。
[請求項2]
 前記受光装置における前記複数の受光素子の前記少なくとも一部は、前記第1の反射光を受光し前記第2の反射光を受光しない複数の第1の受光素子と、前記第2の反射光を受光し前記第1の反射光を受光しない複数の第2の受光素子と、を含み、
前記複数の受光素子は、前記第1の反射光および第2の反射光のいずれも受光しない複数の第3の受光素子をさらに含む、請求項1に記載の物体認識装置。
[請求項3]
 前記物体認識モデルは、各々が、学習用受光データと、前記学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む複数の訓練データセットによって予め訓練されている、請求項1または2に記載の物体認識装置。
[請求項4]
 前記学習用受光データは、前記受光装置から以前に出力された受光データである、請求項3に記載の物体認識装置。
[請求項5]
 前記制御回路は、記憶媒体に格納された、前記第1の空間分布および前記第2の空間分布を示す投光パターン情報に基づいて、前記第1の光の出射方向と、前記第2の光の出射方向とを決定し、
 前記学習用受光データは、前記投光パターン情報および予め用意された距離画像データを基に生成される、請求項3に記載の物体認識装置。
[請求項6]
 前記制御回路は、記憶媒体に格納された、前記第1の空間分布および前記第2の空間分布を示す投光パターン情報に基づいて、前記第1の光の出射方向と、前記第2の光の出射方向とを決定し、
 前記ラベルデータは、前記投光パターン情報、および前記受光装置から以前に出力された受光データを基に生成される、請求項3に記載の物体認識装置。
[請求項7]
 前記制御回路は、記憶媒体に格納された、前記第1の空間分布および前記第2の空間分布を示す投光パターン情報に基づいて、前記第1の光の出射方向と、前記第2の光の出射方向とを決定し、
 前記投光パターン情報は、前記複数の訓練データセットを用いた前記機械学習アルゴリズムによって予め学習されている、
 請求項3に記載の物体認識装置。
[請求項8]
 前記制御回路は、記憶媒体に格納された、前記第1の空間分布および前記第2の空間分布を示す複数種類の投光パターン情報のうちの1つに基づいて、前記第1の光の出射方向と、前記第2の光の出射方向とを決定し、
 前記物体認識モデルは、前記複数種類の投光パターン情報にそれぞれ対応する複数のモデルを含む、
 請求項1に記載の物体認識装置。
[請求項9]
 表示装置をさらに備え、前記表示装置は、認識された前記物体を強調する画像と、前記距離情報を示す画像とが合成された合成画像を出力する、請求項1から8のいずれかに記載の物体認識装置。
[請求項10]
 前記距離は、前記機械学習アルゴリズムまたは他の機械学習アルゴリズムによって予め訓練された距離情報生成モデルに基づいて導出される、請求項1から9のいずれかに記載の物体認識装置。
[請求項11]
 前記第2の空間分布は、前記第1の空間分布とは異なる、請求項1から10のいずれかに記載の物体認識装置。
[請求項12]
 前記第1の光は、互いに出射方向の異なる複数の第1の光ビームを含み、
 前記第2の光は、互いに出射方向の異なる複数の第2の光ビームを含む、請求項1から11のいずれかに記載の物体認識装置。
[請求項13]
 前記第2の光の到達距離は、前記第1の光の到達距離よりも短い、請求項1から12のいずれかに記載の物体認識装置。
[請求項14]
 前記光源から離れた照射面における前記第2の光の単位面積あたりのエネルギーは、前記照射面における前記第1の光の単位面積あたりのエネルギーよりも低い、請求項1から13のいずれかに記載の物体認識装置。
[請求項15]
 前記第1の光は第1の波長を有し、
 前記第2の光は第2の波長を有し、
 前記第2の波長の大気中の吸収率は、前記第1の波長の大気中の吸収率よりも高い、請求項1から14のいずれかに記載の物体認識装置。
[請求項16]
 前記制御回路は、
 前記光源に、第3の空間分布を有する第3の光を、前記第2の光の出射後に前記シーンに向けて出射させ、
 前記受光装置に、前記第3の光によって生じた前記シーンからの第3の反射光を、前記同一の露光期間内に検出させ、
 前記第3の光の到達距離は、前記第2の光の到達距離よりも短い、
 請求項1から15のいずれかに記載の物体認識装置。
[請求項17]
 前記露光期間は、
 前記シーンにおける、前記受光装置から第1の距離だけ離れた位置で生じた前記第1の反射光の一部が前記受光装置に到達する時点を含まず、
 前記受光装置から前記第1の距離よりも長い第2の距離だけ離れた位置で生じた前記第1の反射光の他の一部が前記受光装置に到達する時点を含み、
 前記受光装置から前記第1の距離だけ離れた位置で生じた前記第2の反射光の一部が前記受光装置に到達する時点を含む、請求項1から16のいずれかに記載の物体認識装置。
[請求項18]
 物体認識方法であって、
 光源に、第1の空間分布を有する第1の光をシーンに向けて出射させ、その後、第2の空間分布を有する第2の光を前記シーンに向けて出射させることと、
 受光装置の複数の受光素子の少なくとも一部に、前記第1の光によって生じた前記シーンからの第1の反射光、および前記第2の光によって生じた前記シーンからの第2の反射光を、同一の露光期間内に検出させることと、
 受光装置から出力された前記受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識することと、
 記受光データに基づいて前記物体までの距離を導出することと、
 前記物体および前記距離を示す情報を出力することと、を含む物体認識方法。
[請求項19]
 コンピュータに、
 光源に、第1の空間分布を有する第1の光をシーンに向けて出射させ、その後、第2の空間分布を有する第2の光を前記シーンに向けて出射させることと、
 受光装置の複数の受光素子の少なくとも一部に、前記第1の光によって生じた前記シーンからの第1の反射光、および前記第2の光によって生じた前記シーンからの第2の反射光を、同一の露光期間内に検出させることと、
 前記受光装置から出力された前記受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識することと、
 前記受光データに基づいて前記物体までの距離を導出することと、
 前記物体および前記距離を示す情報を出力することと、を実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4A]

[ 図 4B]

[ 図 5]

[ 図 6A]

[ 図 6B]

[ 図 7]

[ 図 8]

[ 図 9A]

[ 図 9B]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28A]

[ 図 28B]

[ 図 29]

[ 図 30]