Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020137908 - LIGHTING FIXTURE FOR VEHICLE, AND VEHICLE

Document

明 細 書

発明の名称 車両用灯具および車両

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019  

課題を解決するための手段

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032  

発明の効果

0033  

図面の簡単な説明

0034  

発明を実施するための形態

0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245  

産業上の利用可能性

0246  

符号の説明

0247  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40  

明 細 書

発明の名称 : 車両用灯具および車両

技術分野

[0001]
 本発明は、車両用灯具に関する。

背景技術

[0002]
 自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
[0003]
 イメージング装置(センサ)のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、参照光の強度分布(パターン)をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の画像を再構成(reconstruct)する。

先行技術文献

特許文献

[0004]
特許文献1 : 特許第6412673号公報

発明の概要

発明が解決しようとする課題

[0005]
課題1. 物体の画像を正しく復元するためには、参照光の強度分布を高精度に制御し、物体に照射する必要がある。イメージング装置を車載する場合、数十m先の物体を検出する必要があり、したがって数十m先まで、強度分布を保ったまま参照光を照射する必要がある。
[0006]
 本発明の第1態様の例示的な目的のひとつは、参照光を遠方の物体に精度よく照射することにある。
[0007]
課題2. 相関計算の量は、復元画像の画素数に応じて爆発的に増加する。具体的には、ランダムな参照光の照射回数をM、画素数を(X×Y)とするとき、演算回数は、
 M×(X×Y)
となる。
[0008]
 1画素の復元に1回のパターン照射が必要と仮定すると、全画素(X×Y)の復元には、M=(X×Y)回の照射が必要である。また、1回の照射当たりの相関計算の演算回数は、(X×Y)である。したがって、1回のセンシングあたりの演算回数Oは、
 O=(X×Y)
となる。
[0009]
 実験室に設置されるイメージング装置の場合、演算処理装置として高速なコンピュータやワークステーションを利用できるため、演算回数の増加はそれほど問題にならない。ところが車載用途のイメージング装置では、コストやスペースの関係から、演算処理装置の性能が制約を受ける。したがって、相関計算の演算量を低減することが求められる。
[0010]
 本発明の第2態様の例示的な目的のひとつは、演算量を低減したイメージング装置あるいはイメージング方法の提供にある。
[0011]
課題3. 参照光のパターニングには、DMD(Digital Micromirror Device)や液晶などのパターニングデバイスを用いられる。DMDや液晶は、マトリクス状に配置される複数の画素を有し、画素毎に、反射率や透過率が制御可能となっている。
[0012]
 車載用のイメージング装置の検出対象は、車、人、バイクや自転車、構造物や動植物とさまざまである。またイメージング装置が使用される状況も、天候、時間帯、走行道路、走行速度などの走行環境に応じて大きく変化する。また、イメージング装置自体が移動するとともに、対象物も移動し、それらの相対的な移動方向もさまざまである。
[0013]
 このように、ある特定用途のイメージングでは、パターニングデバイスの全画素をランダムに制御することが必ずしも最適であるとは限らない。
[0014]
 本発明の第3態様の例示的な目的のひとつは、特定の用途のイメージングに適した照明装置の提供にある。
[0015]
課題4. ニアフィールドを観察する顕微鏡では、画素ごとの光束の広がりは問題とならない。しかしながら車載用などのイメージング装置100は、ファーフィールドの物体を検出する必要がある。遠方の物体をセンシング対象とするイメージング装置では、パターニングデバイスの全画素をランダムに制御することが必ずしも最適であるとは限らない。
[0016]
 本発明の第4態様の例示的な目的のひとつは、遠方のイメージング装置に適した照明装置の提供にある。
[0017]
課題5. 従来、物体の画像を再構成するために必要な測定回数(照射回数)は、数千にも達しており、データ測定に時間がかかっていた。加えて、もとの画像を再構成するために必要な演算量、演算時間は、照射回数の増加にともない爆発的に増加する。
[0018]
 物体が実質的に静止しているアプリケーションでは、大きな照射回数や演算量はそれほど問題とならないが、物体が移動するアプリケーションでは、高いフレームレートが要求されるため、照射回数を減らすことが求められる。
[0019]
 本発明の第5態様の例示的な目的のひとつは、照射回数を低減可能なイメージング装置の提供にある。

課題を解決するための手段

[0020]
1. 本発明の第1態様は、車両用灯具に関する。車両用灯具は、前照灯と、疑似熱光源と、を備える。疑似熱光源は、参照光の強度分布をランダムに変化させながら物体に照射可能である。疑似熱光源は、物体からの反射光を測定する光検出器、ならびに光検出器の出力と参照光の強度分布にもとづいて、物体の復元画像を再構成する演算処理装置とともにイメージング装置を構成する。前照灯の少なくとも一部の構成要素は、疑似熱光源と共有される。
[0021]
 前照灯は、数十m先まで光を照射することを目的として、光源や光学系が設計されている。そこで、イメージング装置の疑似熱光源を車両用灯具に内蔵し、前照灯の構成要素の一部を疑似熱光源に流用することで、遠方の物体に、精度よく参照光を照射することができる。また全体のコストを下げることができる。
[0022]
 疑似熱光源は、前照灯と光学系を共有してもよい。前照灯の光学系は、配光を制御するパターニングデバイスを含んでもよい。疑似熱光源と前照灯は、パターニングデバイスを共有してもよい。
[0023]
 前照灯の光学系は、光源の出射光を車両前方に反射するリフレクタを含んでもよい。疑似熱光源と前照灯は、リフレクタを共有してもよい。
[0024]
 参照光は、赤外または紫外であってもよい。
[0025]
 疑似熱光源は、前照灯と光源を共有してもよい。この場合、参照光は白色光であってもよい。さらには、前照灯全体が、イメージング装置の疑似熱光源として動作可能であってもよい。
[0026]
2. 本発明の第2態様は、車載用イメージング装置に関する。車載用イメージング装置は、測定範囲を複数の区画に分割し、区画を切り替えながら強度分布がランダムな参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、複数の区画それぞれについて、前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて前記物体の当該区画に含まれる部分の復元画像を再構成する演算処理装置と、を備える。
[0027]
 この態様によると、演算時間を減らすことができる。
[0028]
 複数の区画の個数は、分割にともなう演算時間の減少量が、測定時間の増加量より大きくなるように定められてもよい。これにより高速なセンシングが可能となる。
[0029]
3. 本発明の第3態様は、ゴーストイメージングにもとづくイメージング装置に使用される照明装置に関する。照明装置は、マトリクス状に配置された複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布を変調可能に構成される。少なくともひとつの画素を含むピクセルブロックを単位として強度分布が制御され、ピクセルブロックは可変である。
[0030]
 本発明の別の態様もまた、照明装置である。照明装置は、マトリクス状に配置された複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布を変調可能に構成される。二以上のオン画素とオフ画素を含む所定パターンの組み合わせにより、強度分布が制御される。
[0031]
4. 本発明の第4態様は、照明装置である。照明装置は、マトリクス状に配置された複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布を変調可能に構成される。所定の制約条件のもと、複数の画素のオン、オフが制御される。
[0032]
5. 本発明の第5態様はイメージング装置に関する。イメージング装置は、参照光の強度分布を複数M通りで変化させながら物体に照射する照明と、複数の強度分布I ~I それぞれについて、物体からの反射光を測定する光検出器と、複数の強度分布I ~I と、光検出器の出力にもとづく複数の検出強度b ~b の相関をとることにより、物体の復元画像を再構成する演算処理装置と、を備える。複数の強度分布I ~I は、(i)照明から物体を経て光検出器に至る経路の伝達特性をモデル化するステップと、(ii)基準物体およびそれに対応する基準画像を定義するステップと、(iii)複数の強度分布I ~I に初期値を与えるステップと、(iv)伝達特性にもとづいて、複数の強度分布I ~I それぞれを有する参照光を基準物体に照射したときの、検出強度b ~b の推定値(あるいは計算値)b^ ~b^ を計算するステップと、(v)複数の強度分布I ~I と複数の推定値b^ ~b^ の相関をとることにより、基準物体の復元画像を再構築するステップと、(vi)復元画像と基準画像の誤差が小さくなるように、複数の強度分布I ~I それぞれを修正するステップと、(vii)ステップ(iv)~(vi)を繰り返すことにより複数の強度分布I ~I を決定するステップにより得られる。

発明の効果

[0033]
 1. 本発明の第1態様によれば、参照光を遠方に正確に照射できる。
 2. 本発明の第2態様によれば、高い分解能を得つつ、演算量を低減できる。
 3. 本発明の第3態様によれば、特定用途のイメージングに適した照明装置を提供できる。
 4. 本発明の第4態様によれば、遠方の物体のイメージング装置に適した照明装置を提供できる。
 5. 本発明の第5態様によれば、照射回数を減らすことができる。

図面の簡単な説明

[0034]
[図1] 実施の形態1に係る車両用灯具を示す図である。
[図2] 図1のイメージング装置を示す図である。
[図3] 実施例1に係る車両用灯具を示す図である。
[図4] 実施例2に係る車両用灯具を示す図である。
[図5] 実施例2における第1パターン制御を説明する図である。
[図6] 実施例2における第2パターン制御を説明する図である。
[図7] 実施例3に係る車両用灯具を示す図である。
[図8] 実施例3における第1制御を説明する図である。
[図9] 実施例3における第3制御を説明する図である。
[図10] 物体識別システムのブロック図である。
[図11] 自動車を示す図である。
[図12] 物体検出システムを備える車両用灯具を示すブロック図である。
[図13] 実施の形態2に係るイメージング装置を示す図である。
[図14] 実施の形態2に係る参照光の強度分布を説明する図である。
[図15] 演算時間と測定時間のトレードオフを説明する図である。
[図16] 図16(a)、(b)は、区画の変形例を示す図である。
[図17] 実施の形態3に係るイメージング装置を示す図である。
[図18] 図18(a)~(c)は、パターニングデバイスであるDMDの画素を説明する図である。
[図19] 図19(a)~(d)は、サイズが異なるピクセルブロックBを示す図である。
[図20] 図20(a)、(b)は、サイズが異なるピクセルブロックBにもとづくパターン信号PTNの例を示す図である。
[図21] パターン制御の変形例を示す図である。
[図22] 図22(a)、(b)は、走行シーンに応じたサイズの異なるピクセルブロックBのレイアウトを説明する図である。
[図23] サイズの異なるピクセルブロックBの動的なレイアウトを説明する図である。
[図24] 図24(a)~(c)は、変形例3.1に係るピクセルブロックBを示す図である。
[図25] 図25(a)~(d)は、変形例3.2に係るピクセルブロックBを示す図である。
[図26] 図26(a)~(d)は、形状が異なるピクセルブロックBを示す図である。
[図27] 図27(a)~(c)は、形状が異なるピクセルブロックにもとづくパターン信号PTNの例を示す図である。
[図28] 図28(a)、(b)は、形状に特徴を有するピクセルブロックBを有するパターン信号PTNにもとづくセンシングを説明する図である。
[図29] 図29(a)~(d)は、実施例3.5に係るパターンブロックPBを説明する図である。
[図30] 図30(a)、(b)は、パターンブロックの組み合わせにもとづくパターン信号の例を示す図である。
[図31] 図31(a)、(b)は、参照光の空間インコヒーレント性の改善を説明する図である。
[図32] 図32(a)、(b)は、空間インコヒーレント性を改善できる強度分布の例を示す図である。
[図33] 図33(a)~(d)は、点灯率を制約条件としたパターン制御を説明する図である。
[図34] 図34(a)、(b)は、変形例に係る点灯率の制御を説明する図である。
[図35] 実施の形態4に係るイメージング装置を示す図である。
[図36] 複数の強度分布I ~I のセットの決定方法を示すフローチャートである。
[図37] 基準物体と基準画像T(x,y)の関係を説明する図である。
[図38] M=100に対して得られる100通りの強度分布I ~I 100からなるセットI 100^示す図である。
[図39] 最適化された強度分布のセットを用いたときの復元画像を示す図である。
[図40] ランダムな強度分布のセットを用いたときの復元画像を示す図である。

発明を実施するための形態

[0035]
(実施の形態1)
 以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
[0036]
 本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
[0037]
 図1は、実施の形態1に係る車両用灯具400を示す図である。車両用灯具(もしくは灯具システム)400は、前照灯410と、疑似熱光源420を備える。前照灯410および疑似熱光源420は、筐体402に収容されている。筐体402の前面は透明のカバー404で覆われている。前照灯410は、ロービーム、ハイビームのいずれか、あるいはそれらの両方を含み、車両前方の配光を形成するためのビームSbを照射する。
[0038]
 疑似熱光源420は、光検出器120および演算処理装置130とともに、イメージング装置100を構成する。光検出器120および演算処理装置130は、筐体402に内蔵されてもよいし、筐体402の外部に設けられてもよい。
[0039]
 図2は、図1のイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いた相関関数イメージセンサ(シングルピクセルイメージングともいう)であり、疑似熱光源110(図1の疑似熱光源420)、光検出器120、演算処理装置130を備える。イメージング装置100を、量子レーダカメラとも称する。
[0040]
 疑似熱光源110は、実質的にランダムとみなしうる強度分布I(x,y)を有する参照光S1を生成し、物体OBJに照射する。物体OBJへの参照光S1の照射は、その強度分布を、複数のM通りのパターンに応じて変化させながら行われる。疑似熱光源110は、たとえば均一な強度分布を有する光S0を生成する光源112と、この光S0の強度分布Iを空間的に変調可能なパターニングデバイス114を含みうる。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。
[0041]
 パターニングデバイス114としては、DMD(Digital Micromirror Device)や液晶デバイスを用いることができる。パターニングデバイス114には、演算処理装置130から、強度分布Iを指定するパターン信号PTN(画像データ)が与えられており、したがって演算処理装置130は、現在、物体OBJに照射される参照光S1の強度分布I を知っている。
[0042]
 光検出器120は、物体OBJからの反射光を測定し検出信号D を出力する。検出信号D は、強度分布I を有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルの光検出器(フォトディテクタ)を用いることができる。光検出器120からは、複数M通りの強度分布I ~I それぞれに対応する複数の検出信号D ~D が出力される。
[0043]
 演算処理装置130は、パターン発生器132および再構成処理部134を含む。パターン発生器132は、参照光S1の強度分布Iを指定するパターン信号PTN を発生し、時間とともにパターン信号PTN を切り替える(r=1,2,…M)。
[0044]
 演算処理装置130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置130は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置130はハードウェアのみで構成してもよい。
[0045]
 疑似熱光源110が発生する参照光S1の強度分布は、その都度、ランダムに生成してもよい。あるいは、複数の強度分布I ~I のセットは、予め規定しておいてもよい。この場合、複数の強度分布I ~I を規定する複数のパターン信号PTN ~PTN のセットは、パターン発生器132の内部のメモリ(パターンメモリ)に予め保持しておいてもよい。
[0046]
 再構成処理部134は、複数の強度分布I ~I と、複数の検出強度b ~b の相関をとることにより、物体OBJの復元画像G(x,y)を再構成する。検出強度b ~b は、検出信号D ~D にもとづいている。検出強度と検出信号の関係は、光検出器120の種類や方式などを考慮して定めればよい。
[0047]
 ある強度分布I の参照光S1を、ある照射期間にわたり照射するとする。また検出信号D は、ある時刻(あるいは微小時間)の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号D を複数回サンプリングし、検出強度b を、検出信号D の全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
[0048]
 光検出器120として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器120の出力D をそのまま、検出強度b とすることができる。
[0049]
 検出信号D から検出強度b への変換は、演算処理装置130が実行してもよいし、演算処理装置130の外部で行ってもよい。
[0050]
 相関には、式(1)の相関関数が用いられる。I は、r番目の強度分布であり、b はr番目の検出強度の値である。
[数1]


[0051]
 以上がイメージング装置100の全体の基本構成である。図1に戻る。
[0052]
 本実施の形態において、疑似熱光源420は、車両用灯具400に内蔵される。そして前照灯410の少なくとも一部の構成要素(共通部材)430は、疑似熱光源420と共有される。
[0053]
 以上が車両用灯具400の構成である。
[0054]
 前照灯410は、数十m先まで光を照射することを目的として、光源や光学系が設計されている。そこで、イメージング装置の疑似熱光源420を車両用灯具400に内蔵し、前照灯410の構成要素の一部を疑似熱光源420に流用することで、遠方の物体に、精度よく参照光S1を照射することができる。また重複する部材を減らすことができるため、全体のコストを下げることができる。
[0055]
 本発明は、図1のブロック図として把握され、あるいは上述の説明から導かれるさまざまな装置、方法に及ぶものであり、特定の構成に限定されるものではない。以下、本発明の範囲を狭めるためではなく、発明の本質や動作の理解を助け、またそれらを明確化するために、より具体的な構成例や実施例を説明する。
[0056]
(実施例1)
 図3は、実施例1に係る車両用灯具400Aを示す図である。疑似熱光源420は、前照灯410と光学系を共有する。前照灯410は、光源412と、リフレクタ414を備える。光源412は白色の発光ダイオード(あるいは半導体レーザ)およびその点灯回路を含む。リフレクタ414は、光源412の出射光を、車両前方に反射する。
[0057]
 実施例1では、前照灯410のリフレクタ414が図1の共通部材430であり、疑似熱光源420と共有される。疑似熱光源420は、光源422と、パターニングデバイス424を含む。パターニングデバイス424によって強度分布がランダム化されたビームは、リフレクタ414によって車両前方に反射される。
[0058]
 光源422が生成する光S0は、赤外光あるいは紫外光であってもよい。この場合、光検出器120は、可視波長帯において不感であり、光S0(参照光S1)の波長にのみ、感度を有するように構成すればよい。これにより、イメージング装置100によるセンシングは、前照灯の影響を受けない。
[0059]
 光源422が生成する光S0は、可視域の単一波長を含んでもよいし、白色光であってもよい。この場合、光検出器120は、前照灯410のビームSbと参照光S1の両方に感度を有することとなる。この場合、演算処理によって、光検出器120の出力から、ビームSbの影響を低減してもよい。たとえば、ビームSbが直流とみなせる一方、参照光S1は交流とみなせる場合には、ハイパスフィルタによりビームSbの影響を低減してもよい。あるいは単純に、ビームSbに起因する成分の推定値を、減算するオフセット処理を行ってもよい。
[0060]
(実施例2)
 図4は、実施例2に係る車両用灯具400Bを示す図である。実施例2においても、疑似熱光源420は、前照灯410と光学系を共有する。
[0061]
 実施例2において、前照灯410は配光可変ランプ(ADB:Adaptive Driving Beam)であり、光源412と、パターニングデバイス416と、リフレクタ414を備える。光源412は白色のLEDあるいはLDおよびその点灯回路を含む。パターニングデバイス416は、たとえばDMDであり、光源412の出射光の強度分布を、所望の配光パターンが得られるように、空間的に変調する。リフレクタ414は、パターニングデバイス416の反射光のうち、オンピクセルに相当する光束を車両前方に反射する。
[0062]
 実施例2では、パターニングデバイス416およびリフレクタ414が、疑似熱光源420と共有される共通部材430である。光源422の出射光S0は、パターニングデバイス416に入射し、ランダムに変調され、参照光S1が生成される。
[0063]
 実施例2では、パターニングデバイス416が共有されるため、ビームSbのパターン(強度分布)と、参照光S1のパターンの相互の影響を抑える必要がある。そのためには、光源422と光源412を相補的に点灯させればよい。たとえば光源412と光源422を時分割で交互に点灯させ、光源412の点灯期間は、配光パターンに応じた画像データ(配光画像データ)PTNbをパターニングデバイス416に与え、光源422の点灯期間は、ランダムな画像データ(ランダム画像データ)PTN ~PTN をパターニングデバイス416に与えればよい(第1パターン制御)。図5は、実施例2における第1パターン制御を説明する図である。
[0064]
 あるいは、ビームSbが照射される範囲(照射領域)内でのみ、イメージング装置100によるセンシングを行えば足りるケースも想定される。この場合、光源412と光源422を同時点灯させて、パターニングデバイス416には、配光画像データPTNbと、ランダム画像データPTN (i=1,2,…M)をピクセルごとに演算し、パターニングデバイス416に与えてもよい(第2パターン制御)。図6は、実施例2における第2パターン制御を説明する図である。ONは、配光パターンで規定される照射領域を、OFFは、配光パターンで規定される遮光領域を示す。点灯に対応する画素値を1、消灯に対応する画素値を0とすれば、画像データSbの画素値は、照射領域ON内で1、遮光領域OFF内で0となる。ランダム画像データPTN は、画素値はランダムに1と0が分布する。ランダム画像データPTN と配光画像データPTNbの論理積を計算すれば、図6のパターンを生成できる。
[0065]
(実施例3)
 図7は、実施例3に係る車両用灯具400Cを示す図である。実施例3では、前照灯410のすべての構成要素が、疑似熱光源420と共有される。すなわち前照灯410が、疑似熱光源420の機能を有する。実施例3では、参照光S1は、自ずと白色光となる。
[0066]
 実施例3におけるパターニングデバイス416の制御を説明する。
・第1制御
 実施例3では、通常点灯期間Tbとセンシング期間Tsを時分割で切り替えてもよい。図8は、実施例3における第1制御を説明する図である。図8に示すように、1回のセンシング期間Tsの間に、参照光S1のパターンを複数回、切り替えてもよい。
[0067]
・第2制御
 実施例2の第2パターン制御を行ってもよい。
[0068]
・第3制御
 図9は、実施例3における第3制御を説明する図である。DMDなどのパターニングデバイスは、階調制御可能なものが存在する。この場合、ランダム画像データPTN と配光画像データPTNbについて、対応する画素値同士を加算し、パターニングデバイス416に与えてもよい。この場合、車両用灯具400の出射ビームの強度分布は、配光画像データPTNbで決まるベースレベルを基準として、時間とともにランダムに変化する。
[0069]
(実施例4)
 実施例1~実施例3では、疑似熱光源420を、光源422とパターニングデバイス424の組み合わせで構成したがその限りでない。疑似熱光源420は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
[0070]
 実施の形態1では、照明装置110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。照明装置110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
[0071]
 続いてイメージング装置100の用途を説明する。
[0072]
 図10は、物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ)を判定する。
[0073]
 物体識別システム10は、イメージング装置100と、演算処理装置40を備える。イメージング装置100は、上述のように、物体OBJに参照光S1を照射し、反射光S2を測定することにより、物体OBJの復元画像Gを生成する。
[0074]
 演算処理装置40は、イメージング装置100の出力画像Gを処理し、物体OBJの位置および種類(カテゴリ)を判定する。
[0075]
 演算処理装置40の分類器42は、画像Gを入力として受け、それに含まれる物体OBJの位置および種類を判定する。分類器42は、機械学習によって生成されたモデルにもとづいて実装される。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
[0076]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成することができる。
[0077]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECUに送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0078]
 以上が物体識別システム10の構成である。物体識別システム10のセンサとして、イメージング装置100を用いることで、ノイズ耐性が格段に高まる。たとえば降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体OBJを認識しにくいが、このような状況でも、雨、雪、霧の影響を受けずに、物体OBJの復元画像Gを得ることができる。
[0079]
 図11は、自動車を示す図である。自動車300は、車両用灯具302L,302Rを備える。上述のように、疑似熱光源420は、車両用灯具302L,302Rの少なくとも一方に、前照灯とハードウェアの一部を共有した態様にて内蔵される。
[0080]
 図12は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、イメージング装置100および演算処理装置40を含む。
[0081]
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
[0082]
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
[0083]
(実施の形態2)
 図13は、実施の形態2に係るイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置110、光検出器120、演算処理装置130を備える。イメージング装置100を、量子レーダカメラとも称する。
[0084]
 照明装置110は疑似熱光源であり、実質的にランダムとみなしうる強度分布Iを有する参照光S1を生成し、物体OBJに照射する。図14は、実施の形態2に係る参照光S1の強度分布を説明する図である。図中、強度がゼロの部分を白で、強度が非ゼロの部分を黒で示す。
[0085]
 本実施の形態では、測定範囲600を複数の区画602_1~602_Nに分割される。この例では、縦方向に4、横方向に4に分割され、N=16である。照明装置110は、光を照射する区画(照射区画という)602_iを切り替えながら、照射区画内の強度分布I(x,y)が実質的にランダムな参照光S1を照射する。照射区画以外の区画(非照射区画という)内の強度はゼロである。
[0086]
 複数の区画602_1~602_Nそれぞれについて、M通りのランダムな強度分布の参照光S1が照射される。したがって1回のセンシングあたり、トータルの照射回数はM×Nとなる。i番目の区画(1≦i≦N)を選択しているときの、j回目の強度分布をI i,j、そのときの参照光S1を、S1 i,jのように示すこととする。
[0087]
 図13に戻る。光検出器120は、物体OBJからの反射光を測定し検出信号Dを出力する。検出信号D i,jは、強度分布I i,jを有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルの光検出器(フォトディテクタ)を用いることができる。
[0088]
 M×N通りの強度分布I 1,1~I 1,M、I 2,1~I 2,M、I N,1~I N,Mを有する参照光S1 i,j(i∈1~N,j∈1~M)を照射すると、光検出器120からは、M×N個の検出信号D i,j(i∈1~N,j∈1~M)が出力される。なお、照射の順番は特に限定されない。
[0089]
 たとえば、ある照射区画について、M個の強度分布を設定し終わった後に、次の照射区画を選択してもよい。照射区画を選択する順序は特に限定されず、所定の規則で選択することができる。たとえば1行目の区画を左から右に順に選択し、一番右まで移動したら、次の行に移動してもよい。あるいは1列目の区画を上から下に順に選択し、一番下まで移動したら、次の列に移動してもよい。
[0090]
 照明装置110は、たとえば均一な強度分布を有する光S0を生成する光源112と、この光S0の強度分布を空間的に変調可能なパターニングデバイス114を含みうる。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。
[0091]
 パターニングデバイス114としては、DMD(Digital Micromirror Device)や液晶デバイスを用いることができる。本実施の形態において、パターニングデバイス114は、測定範囲600全体をカバーしており、測定範囲600全体を同時照射可能な能力を有するが、パターニングデバイス114の非照射区画に対応する画素をオフにすることで、照射区画にのみランダムなパターンを与えることが可能となっている。
[0092]
 パターニングデバイス114には、演算処理装置130から、強度分布I i,jを指定するパターン信号PTN i,j(画像データ)が与えられている。したがって演算処理装置130は、現在の照射区画の位置と参照光S1の強度分布I i,jを知っている。
[0093]
 演算処理装置130は、パターン発生器132および再構成処理部134を含む。
[0094]
 パターン発生器132は、参照光S1の強度分布I i,jを、その都度、ランダムに生成してもよい。この場合、パターン発生器132は、擬似ランダム信号発生器を含むことができる。
[0095]
 あるいは、複数の強度分布I i,jのセットは、予め規定しておいてもよい。たとえば、区画602と同じサイズを有する複数(たとえばM個)の強度分布のセットI ~I を予め規定していてもよい。i番目の区画を照射区画とするとき、照射区画に、I ~I を順に、あるいはランダムに割り当てればよい。
[0096]
 この場合、複数の強度分布I ~I を規定する複数のパターン信号のセットを、パターン発生器132の内部のメモリ(パターンメモリ)に予め保持しておいてもよい。
[0097]
 演算処理装置130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置130は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置130はハードウェアのみで構成してもよい。
[0098]
 再構成処理部134は、複数の区画602_1~602_Nそれぞれ(602_i)について、複数の検出強度b i,1~b i,Mと参照光S1 i,1~S1 i,Mの強度分布I i,1~I i,Mの相関をとることにより、物体OBJの当該区画602_iに含まれる部分の復元画像G を再構成する。
[0099]
 検出強度b i,1~b i,Mは、検出信号D i,1~D i,Mにもとづいている。検出強度b i,jと検出信号D i,jの関係は、光検出器120の種類や方式などを考慮して定めればよい。
[0100]
 ある強度分布I i,jの参照光S1を、ある照射期間にわたり照射するとする。また検出信号D i,jは、ある時刻(あるいは微小時間)の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号D i,jを複数回サンプリングし、検出強度b i,jを、検出信号D i,jの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
[0101]
 光検出器120として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器120の出力D i,jをそのまま、検出強度b i,jとすることができる。
[0102]
 検出信号D i,jから検出強度b i,jへの変換は、演算処理装置130が実行してもよいし、演算処理装置130の外部で行ってもよい。
[0103]
 i番目(1≦i≦N)の区画602_iの画像G の復元には、式(2)の相関関数が用いられる。I i,jは、j番目(1≦j≦M)の強度分布であり、b i,jはj番目の検出強度の値である。
[数2]


[0104]
 N個すべての区画602_1~602_Nそれぞれの復元画像G ~G を結合することにより、測定範囲全体の像を得ることができる。
[0105]
 以上がイメージング装置100の構成である。続いてその利点を説明する。
[0106]
 このイメージング装置100における演算回数は以下の通りである。
 測定範囲全体の画素数をX×Yとし、1区画の水平および垂直方向の画素数をx,yとする。ただし、X×Y=(x×y)×Nである。
[0107]
 1画素の復元に1回のパターン照射が必要と仮定するとき、x×y画素の復元に必要な照射回数M’は、
 M’=(x×y)
となる。なお、実際の照射回数は、M’より多いあるいは少ない場合があるが、おおよそ(x×y)に比例することに留意されたい。したがって1区画あたりの計算回数は、(x×y) となる。N個すべての区間に対するトータルの演算回数O’は、
 O’=N×(x×y)
となる。
[0108]
 従来の測定範囲全体を照射する手法の計算回数Oは、
 O=(X×Y)
であった。X×Y=(x×y)×Nの関係が成り立つから、本実施の形態によれば従来に比べて、計算回数をO’/O=1/N倍に減らすことができる。
[0109]
 たとえば、X=Y=1024のケースを考える。この場合、x=y=32の区画に区切ると、N=32×32=1024となり、計算回数は1/1024倍に減らすことができる。
[0110]
 また、パターン発生器132に、参照光の強度分布をメモリに格納しておく場合、照射領域全体(X×Y)ではなく、1区画(x×y)の強度分布を保持すればよいため、メモリの容量を減らすことができる。
[0111]
 計算回数の減少は、同じ速度の演算処理装置を用いた場合、演算時間を短縮できることを意味する。あるいは、同じ時間で処理を終了するために、より遅い(したがって安価な)演算処理装置を採用することができる。
[0112]
 なお、車載用途では、ある程度大きなフレームレートで、測定範囲のセンシングを行う必要がある。本実施の形態では、計算回数(ひいては演算時間)の減少と引き換えに、照射回数Mは、N倍(Nは区画の個数)に増えており、測定時間の増加をもたらす。図15は、演算時間と測定時間のトレードオフを説明する図である。
[0113]
 区画の個数Nは、分割にともなう演算時間の減少量δ1が、測定時間の増加量δ2より大きくなるように定めるとよい。これにより車載用途で必要なフレームレートを実現できる。
[0114]
 続いて実施の形態2に関連する変形例を説明する。
[0115]
(変形例2.1)
 実施の形態では、区画ごとに、照射回数Mを同一としたが、区画毎に照射回数Mは異なっていてもよい。i番目の区画の照射回数をM と書くとき、演算回数は、
 O=Σ i=1:N×(x×y)
となる。
[0116]
 照射回数M が多いほど、正確な画像を復元できるが、区画の位置によっては、それほどの正確さが要求されない場合もある。そこで区画毎に照射回数を最適化することで、区画毎に、計算回数(演算時間)と測定時間を調整できる。
[0117]
(変形例2.2)
 区画の区切り方は、上述のそれに限定されない。図16(a)、(b)は、区画の変形例を示す図である。図16(a)に示すように、横長の区画に区切ってもよい。あるいは縦長の区画に区切ってもよい。
[0118]
 実施の形態では、複数の区画のサイズ(画素数)を同一としたがその限りでない。図16(b)に示すように、区画ごとに画素数が異なっていてもよい。
[0119]
(変形例2.3)
 実施の形態では、測定範囲600全体をカバーするパターニングデバイス114を利用したがその限りでない。1区画分の照射能力を有する照明装置110を設け、その出射光を可動ミラーを用いて水平方向あるいは水平方向にスキャンしてもよい。
[0120]
(変形例2.4)
 実施の形態2では、照明装置110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。照明装置110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
[0121]
(用途)
 続いて実施の形態2に係るイメージング装置100の用途を説明する。イメージング装置100は、図10の物体識別システム10に利用できる。物体識別システム10のセンサとして、実施の形態2で説明したイメージング装置100を用いることで、以下の利点を得ることができる。
[0122]
 第1に、イメージング装置100すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体OBJを認識しにくいが、イメージング装置100を用いることで、雨、雪、霧の影響を受けずに、物体OBJの復元画像Gを得ることができる。
[0123]
 第2に、測定範囲を複数の区画に分割して、区画毎に画像を復元することで、演算量を減らすことができる。これによりフレームレートを高め、あるいは演算処理装置として安価なプロセッサを選択できるようになる。
[0124]
 なお、イメージング装置100において、区画の個数Nを、走行環境に応じて適応的に変化させてもよい。
[0125]
 実施の形態2で説明したイメージング装置100は、図11の自動車に搭載でき、図12の車両用灯具に内蔵してもよい。
[0126]
(実施の形態3)
 図17は、実施の形態3に係るイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置110、光検出器120、演算処理装置130を備える。イメージング装置100を、量子レーダカメラとも称する。
[0127]
 照明装置110は、疑似熱光源であり、実質的にランダムとみなしうる強度分布I(x,y)を有する参照光S1を生成し、物体OBJに照射する。物体OBJへの参照光S1の照射は、その強度分布を、複数のM通りのパターンに応じて変化させながら行われる。
[0128]
 照明装置110は、光源112とパターニングデバイス114を含む。光源112は、均一な強度分布を有する光S0を生成する。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光S1の波長は、赤外あるいは紫外であってもよい。
[0129]
 パターニングデバイス114は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Iを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの2値(1,0)のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
[0130]
 パターニングデバイス114としては、反射型のDMD(Digital Micromirror Device)や透過型の液晶デバイスを用いることができる。パターニングデバイス114には、パターン発生器116が発生するパターン信号PTN(画像データ)が与えられている。パターニングデバイス114はDMDであるとする。
[0131]
 パターン発生器116は、参照光S1の強度分布I を指定するパターン信号PTN を発生し、時間とともにパターン信号PTN を切り替える(r=1,2,…M)。
[0132]
 光検出器120は、物体OBJからの反射光を測定し検出信号D を出力する。検出信号D は、強度分布I を有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルの光検出器(フォトディテクタ)を用いることができる。光検出器120からは、複数M通りの強度分布I ~I それぞれに対応する複数の検出信号D ~D が出力される。
[0133]
 演算処理装置130は、再構成処理部134を含む。再構成処理部134は、複数の強度分布I ~I と、複数の検出強度b ~b の相関をとることにより、物体OBJの復元画像G(x,y)を再構成する。
[0134]
 検出強度b ~b は、検出信号D ~D にもとづいている。検出強度と検出信号の関係は、光検出器120の種類や方式などを考慮して定めればよい。
[0135]
 ある強度分布I の参照光S1を、ある照射期間にわたり照射するとする。また検出信号D は、ある時刻(あるいは微小時間)の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号D を複数回サンプリングし、検出強度b を、検出信号D の全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
[0136]
 光検出器120として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器120の出力D をそのまま、検出強度b とすることができる。
[0137]
 検出信号D から検出強度b への変換は、演算処理装置130が実行してもよいし、演算処理装置130の外部で行ってもよい。
[0138]
 相関には、式(3)の相関関数が用いられる。I は、r番目の強度分布であり、b はr番目の検出強度の値である。
[数3]


[0139]
 演算処理装置130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置130は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置130はハードウェアのみで構成してもよい。パターン発生器116は、演算処理装置130の内部に実装してもよい。
[0140]
 以上がイメージング装置100の全体の基本構成である。続いて、パターニングデバイス114の制御について、いくつかの実施例をもとに説明する。
[0141]
(実施例3.1)
 図18(a)~(c)は、パターニングデバイス114であるDMDの画素を説明する図である。図18(a)に示すように、DMDは、m行n列のマトリクス状に配置される複数の画素PIXのアレイである。図18(b)に示すように、各画素PIXは、正方形のミラーであり、対角に設けられたヒンジを軸として、ON方向とOFF方向に傾動可能となっている。パターニングデバイス114は、全画素を独立してオン、オフ制御可能に構成される。以下の説明では、マトリクスの形状を図18(c)のように簡略化して示す。
[0142]
 パターン発生器116は、少なくともひとつの画素からなるピクセルブロックBを単位として、参照光の強度分布(すなわちパターン信号PTN)を制御し、さらにピクセルブロックBは、可変である。ピクセルブロックBは、連続(隣接)するオン画素の集合(またはオフ画素の集合、もしくはオン画素とオフ画素の集合)と把握することができる。実施例3.1では、ピクセルブロックBのサイズが可変であるものとする。
[0143]
 図19(a)~(d)は、サイズが異なるピクセルブロックBを示す図である。サイズは、ピクセルブロックBに含まれるピクセル数(すなわち面積)と把握できる。図19(a)~(d)はそれぞれ、縦横1×1ピクセル、2×2ピクセル、3×3ピクセル、4×4ピクセルのピクセルブロックB 1×1~B 4×4を示す。同じピクセルブロックBに含まれる画素は、同じ状態(オン、オフ)とされる。
[0144]
 図20(a)、(b)は、サイズが異なるピクセルブロックBにもとづくパターン信号(画像データ)PTNの例を示す図である。以下では、m=n=16のパターニングデバイス114を想定する。
[0145]
 図20(a)では、図19(b)の2×2ピクセルのピクセルブロックB 2×2が適用され、ピクセルブロックB 2×2ごとにオン、オフが制御される。1回のセンシングあたり、パターン信号PTNはM通りで変化する。なお、ハッチングを付した画素PIXがオン画素であり、そうでない画素PIXはオフ画素である。
[0146]
 図20(b)では、図19(d)の4×4ピクセルのピクセルブロックB 4×4が適用され、ピクセルブロックB 4×4ごとにオン、オフが制御される。パターン信号PTNの個数Mは、ピクセルブロックのサイズに応じて異なっていてもよく、一般的には、ピクセルブロックのサイズを大きくし、ピクセルブロックの数を減らすことで、1回のセンシング当たりのパターンの個数Mを減らすことができる。
[0147]
 図21は、パターン制御の変形例を示す図である。4×4ピクセルのピクセルブロックB 4×4の配置が、横方向に関して完全に揃っておらず、いくつかの行において横方向に2ピクセル、オフセットしている。
[0148]
 以上が実施例3.1に係るパターン制御である。このパターン制御は、パターニングデバイス114の実効的な解像度を動的に変化させているものと把握できる。再構成処理部134における演算量は、解像度に応じて増加するところ、空間的な分解能がそれほど必要とされない状況では、ピクセルブロックBのサイズを大きくすることで、演算量を減らすことができる。
[0149]
 あるいは、高速に移動する物体OBJを捉えたい場合には、ピクセルブロックBのサイズを大きくし、パターンの個数を減らして照射時間を減らすことで、ブレのない画像を復元できる。また演算量、照射回数を減らすことにより、フレームレートを高めることができ、物体OBJの移動に追従することができる。
[0150]
(実施例3.2)
 実施例3.1では、1つのパターンには、同じピクセルブロックBが含まれたがその限りでない。実施例3.2では、サイズが異なるピクセルブロックのレイアウトを予め規定しておき、走行シーンに応じて選択する。図22(a)、(b)は、走行シーンに応じたサイズの異なるピクセルブロックBのレイアウトを説明する図である。
[0151]
 図22(a)を参照すると、下側の領域には、サイズが小さいピクセルブロックB が配置され、上側ほど、サイズが大きいピクセルブロックB が配置される。郊外の走行シーンでは、車両前方の上方には、空(車両や歩行者が存在しない空間)が広がっているため、ピクセルブロックBのサイズを大きくして、解像度を低下させる。反対に、下側は路面に対応し、重要な物体(あるいは路面標識)が存在する可能性が高いため、ピクセルブロックBのサイズを小さくして、解像度を高めている。
[0152]
 図22(b)を参照すると、中央に近いほどサイズが小さいピクセルブロックB が配置され、外周側ほど、サイズが大きいピクセルブロックB が配置される。高速道路などの走行シーンでは、画面中央付近に消失点が位置しており、遠方の対向車は消失点から出現し、出現当初はサイズが小さく、実車に接近するにしたがって、サイズが大きくなる。図22(b)のレイアウトによれば、遠方の小さく見える物体OBJを検出しやすくなる。
[0153]
(実施例3.3)
 実施例3.2では、予め複数のレイアウトを規定しておき、複数のレイアウトの中から走行シーンに適したひとつを適応的に選択したが、その限りでなく、サイズの異なるピクセルブロックBのレイアウトを動的に変化させてもよい。
[0154]
 図23は、サイズの異なるピクセルブロックBの動的なレイアウトを説明する図である。あるフレーム1において、均一なサイズ(2×2ピクセル)のピクセルブロックB 2×2からなるパターンが使用される。このフレーム1において復元された画像から、物体OBJの位置が推定される。そして、次のフレーム2では、物体OBJが存在する領域には、サイズが小さいピクセルブロックBを配置し、そこから遠ざかるほど、ピクセルブロックBのサイズを大きくしてもよい。
[0155]
(実施例3.1~3.3に関連する変形例)
(変形例1)
 これまでの説明では、ピクセルブロックBの形状が正方形であったが、その限りでない。図24(a)~(c)は、変形例1に係るピクセルブロックBを示す図である。ピクセルブロックBは横に長い長方形であり、そのサイズが動的に変化する。
[0156]
(変形例2)
 実施例3.1~3.3では、縦方向と横方向を同じスケールで変化させたが、縦方向のピクセル数のみ、あるいは横方向のピクセル数のみを変化させてもよい。図25(a)~(d)は、変形例2に係るピクセルブロックBを示す図である。この例では、ピクセルブロックBは横方向のピクセル数が可変である。
[0157]
(実施例3.4)
 実施例3.1~3.3では、ピクセルブロックBのサイズを変化させる場合を説明した。実施例3.4では、ピクセルブロックBの形状を適応的に変化させる。
[0158]
 図170(a)~(d)は、形状が異なるピクセルブロックBを示す図である。図170(a)には横方向(X方向)に長いピクセルブロックB が、図170(b)には、縦方向(Y方向)に長いピクセルブロックB が、図170(c)には、斜め方向に長いピクセルブロックB XYが示される。図170(d)には基本となる正方形のピクセルブロックB が示される。図170(a)~(d)のピクセルブロックBのサイズはすべて等しい。
[0159]
 図27(a)~(c)は、形状が異なるピクセルブロックにもとづくパターン信号PTNの例を示す図である。ピクセルブロックBの長さおよび位置の少なくとも一方は、ランダムに決定される。図27(a)は、横長のピクセルブロックB を用いたパターン信号PTN の一例を、図27(b)は、縦長のピクセルブロックB を用いたパターン信号PTN の一例を、図27(c)は、斜め方向のピクセルブロックB XYを用いたパターン信号PTN XYの一例を示す。
[0160]
 物体OBJとイメージング装置100の相対的な運動を考える。
[0161]
 物体OBJがイメージング装置100に対して相対的に水平方向に移動するとき、横長のピクセルブロックB からなるパターン信号PTN を用いると、正方形のピクセルブロックB を用いた場合に比べて、横方向の実効的な解像度は低下するため、横方向の画像のシャープさは低下し、あるいは横方向の位置の検出精度は低下するが、捕捉時間(言い換えれば露光時間)が長くなり、検出強度Dが増加するため、S/N比を高めて検出がしやすくなる(つまり感度が上がる)。
[0162]
 同じパターン信号PTN を用いて、縦方向に移動する物体OBJをセンシングする場合、正方形のピクセルブロックB を用いた場合に比べて、捕捉時間は短くなるため検出強度Dが低下し、検出感度は下がるが、縦方向の解像度は改善され、縦方向の位置の検出精度が高まる。
[0163]
 パターン信号PTN 、パターン信号PTN にも同様の考えが適用できる。一般化すると、ピクセルブロックBが伸びる方向に運動する物体に対して検出感度を高め、それと垂直な方向に移動する物体についてはシャープな像が得られ、あるいは位置の検出精度を高めることができる。
[0164]
 図28(a)、(b)は、形状に特徴を有するピクセルブロックBを有するパターン信号PTNにもとづくセンシングを説明する図である。はじめは図28(a)に示すように、とある形状(5×5ピクセルの正方形)のピクセルブロックB を含むパターン信号PTN を利用してセンシングしている。このセンシングにより、物体OBJは自動車であり、横方向に移動していることが検出される。パターン信号PTN にもとづくセンシングでは、物体OBJの先端の位置はX’と判定され、実際の物体OBJの先端の位置Xとは誤差がある。
[0165]
 そこで、物体OBJの横方向の位置を正確に検出するために、縦長のピクセルブロックB を含むパターン信号PTN に切り替える。これにより、横方向の解像度が高まるため、物体OBJの先端の位置はX”と判定され、実際の物体OBJの先端の位置Xに近づけることができる。
[0166]
 縦方向に関しては、物体OBJは移動しないため、縦長のピクセルブロックB を用いることのデメリットはほとんど存在しないと言える。
[0167]
 図28(a)、(b)の例では、ある物体OBJを積極的に捕捉するために、ピクセルブロックBの形状を切り替えたが、その限りでなく、特定の物体OBJを消すために、ピクセルブロックBの形状を利用してもよい。たとえば、車載のセンシング装置にとって、雨や雪はノイズであり、画像を復元する必要がないといえる。そして雨や雪の移動方向は一定であるから、ピクセルブロックBの形状を最適化すると、雨や雪の影響を排除しやすくなる。
[0168]
 たとえば雨が鉛直方向に降っている場合、縦方向(鉛直方向)に短い、言い換えれば横方向に長い形状のピクセルブロックBが好適である。複数のパターンを連続して照射する一連のセンシング動作において、特定のピクセルブロックの光が、雨の向こう側の物体OBJへ到達し、雨の手前側の光検出器120に戻ってくる過程で、特定のピクセルブロックの光が雨粒によって大きく影響を受ける(遮蔽される)確率が小さくなる。つまり各画素の雨の影響が均一化されることで、雨の影響を除去する処理(ノイズキャンセリング)が容易になる。
[0169]
(実施例3.5)
 これまでの実施例3.1~3.4では、同一のピクセルブロックBに含まれる画素はすべてオン(もしくはオフ)であった。これに対して、実施例3.5では、同一のピクセルブロックBは、オン画素とオフ画素の両方を含む。つまり、ピクセルブロックBは、所定配置された二以上のオン画素とオフ画素を含む。このようなピクセルブロックをパターンブロック(Patterned Block)と称する。照明装置110は、パターンブロックの組み合わせによって、強度分布を規定する。
[0170]
 図29(a)~(d)は、実施例3.5に係るパターンブロックPBを説明する図である。図29(a)~(d)には、パターンブロックPB内のオン画素とオフ画素の分布(パターン)が示される。
[0171]
 図29(a)では、パターンブロックPBの4辺に沿ってオフ画素が配置されており、図29(b)では、パターンブロックPBの隣接する2辺に沿ってオフ画素が配置されている。
[0172]
 図29(c)では、オン画素が斜め方向にクロスするように配置される。図29(d)では、オン画素が縦横でクロスするように配置される。
[0173]
 図30(a)、(b)は、パターンブロックの組み合わせにもとづくパターン信号の例を示す図である。図30(a)は、図29(a)のパターンブロックにより形成されるパターン信号の一例である。図30(b)は、図29(d)のパターンブロックにより形成されるパターン信号の一例である。図30(a)と図30(b)とは、オンであるパターンブロックの配置は同じである。
[0174]
 パターンブロックの概念を導入し、オン画素とオフ画素の分布を最適化することで、ある特定のシーンや物体に対して適したセンシングを提供することができる。
[0175]
 さらに、パターンブロックを複数規定しておき、それらを、物体OBJの形状や動き、あるいは走行シーンに合わせて適応的に選択することにより、物体OBJを正確に検出できるようになり、あるいは、演算量やフレームレートを制御できるようになる。
[0176]
 ゴーストイメージングによるセンシングでは、参照光S1のランダム性、空間インコヒーレント性が画質に大きな影響を与える。図29(a)や(b)のパターンブロックによれば、以下で説明するように、空間インコヒーレント性を改善できる。
[0177]
 図31(a)、(b)は、参照光の空間インコヒーレント性の改善を説明する図である。一般に、ある光源から出射する光束は、ある広がり角を持って進む。ニアフィールドを観察する顕微鏡では、画素ごとの光束の広がりは問題とならない。しかしながら車載用のイメージング装置100は、ファーフィールドの物体を検出する必要があるため、光束の広がりが問題を引き起こす。具体的には図31(a)に示すように、照明装置110の隣接する2つのオン領域(あるいは画素)A,Bから出射した2つの光束は、照明装置110から遠く離れた物体OBJの位置においてオーバーラップする。このような光束の重なりは、空間インコヒーレント性を低下させる。
[0178]
 図29(a)や(b)のパターンブロックを利用すると、連続するオン画素の個数を2個に制限することができる。これは、隣接する2個のオン領域の間に、オフ画素が挿入されることを意味する。これにより、図31(b)に示すように、隣接する2つのオン領域A,Bを空間的に分離できるため、物体OBJに照射される参照光に関しても、光束の重なりを低減することができ、空間インコヒーレント性を改善できる。図29(c)のパターンブロックBを用いた場合も、横方向、縦方向に関しては、連続するオン画素の個数を1個または2個とすることができる。
[0179]
 たとえば、遠方に物体OBJが存在する場合には、図29(a)~(c)のパターンブロックBを用い、物体OBJが近い場合には通常のパターンブロック(あるいはピクセルブロック)を用いてもよい。
[0180]
(実施例3.6)
 ピクセルブロックBあるいはパターンブロックPBにもとづく強度分布の制御のいくつかは、照明装置110の複数の画素のオン、オフ制御に、制約条件を課していると把握することができる。
[0181]
 たとえば、図29(a)のパターンブロックPBを利用した強度分布制御は、隣接する2個のオン画素の間には、2+4×n個(n≧0)のオフ画素が挿入されるという制約条件と把握できる。
[0182]
 あるいは、図29(b)のパターンブロックPBを利用した強度分布制御は、隣接する3個のオン画素の間には、1+4×n個(n≧0)のオフ画素が挿入されるという制約条件と把握できる。
[0183]
 言い換えれば、空間インコヒーレント性を改善できる強度分布は、パターンブロックPBを用いずに、所定の制約条件にもとづいて生成してもよい。
[0184]
 図32(a)、(b)は、空間インコヒーレント性を改善できる強度分布の例を示す図である。図32(a)、(b)では、隣接する画素がオンとならないという制約条件のもと、複数の画素のオン、オフがランダムに決定されている。図32(a)では、縦方向、横方向、斜め方向に関するオン画素の隣接が禁止される。図32(b)では、斜め方向のオン画素の隣接は許容され、縦方向と横方向に関するオン画素の隣接が禁止される。
[0185]
(実施例3.7)
 制約条件にもとづく強度分布の制御の別の例を説明する。図33(a)~(d)は、点灯率を制約条件としたパターン制御を説明する図である。図33(a)~(d)では、点灯率(全画素数に対するオン画素の個数の比率)が異なっており、それぞれ、点灯率は20%、40%、60%、80%である。パターン発生器を擬似ランダム信号(PRBS:Pseudo Random Bit Sequence)発生器で構成する場合、点灯率は、RPBSのマーク率に対応付けられる。
[0186]
 点灯率を高めると、光量が増加するため、より遠方の物体をセンシングすることが可能となる。あるいは、より反射率が低い物体や、反射面積が小さい物体の検出が可能となる。点灯率を高めることで、光の減衰率が高い濃霧環境下でも、反射光の量を増やすことができるため、検出感度を高めることができる。
[0187]
 反対に、近い物体をセンシングする場合、反射率が高い物体、大きい物体を検出する際には、点灯率を低下させてもよい。
[0188]
 また参照光S1を白色光とする場合、走行環境に応じて点灯率を動的に制御することにより、運転者からの視認性を高めたり、他の交通参加者に注意や警報を与えたり、先行車や対向車、歩行者へのグレアを低減できる。
[0189]
 たとえば、点灯率を低下させれば、前方が暗くなるため、対向車や歩行者へのグレアを防止することができる。反対に点灯率を高めれば、前方が明るくなるため、運転者からの視認性を高めたりできる。また点灯率を時間的に増減させれば、参照光S1を擬似的に点滅させることができ、自車の運転者や、他の交通参加者に注意や警報を与えることができる。
[0190]
 図33(a)~(d)の例では、全画素に関する点灯率を規定しているが、複数の領域に分割して、領域ごとに、点灯率を規定してもよい。図34(a)、(b)は、変形例に係る点灯率の制御を説明する図である。たとえば点灯率が50%とする場合に、全画素を通してのマーク率を50%としてPRBSを生成すると、上半分にオン画素が集中し、下半分にオフ画素が集中し、明るさにムラが生ずる。そこで図34(a)に示すように、上半分の領域と下半分の領域それぞれについて、マーク率が50%のPRBSを生成して強度分布を規定すれば、明るさのムラを低減できる。
[0191]
 図34(b)に示すように、複数の領域に分割し、領域ごとに点灯率を独立に指定可能としてもよい。この場合、対向車や先行車が存在する領域については点灯率を下げるなどの制御を行うことができる。
[0192]
 続いて実施の形態3に関連する変形例を説明する。
[0193]
(変形例3.1)
 実施の形態では、照明装置110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。たとえば照明装置110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
[0194]
(用途)
 続いて実施の形態3に係るイメージング装置100の用途を説明する。このイメージング装置100は、図10の物体識別システム10に利用できる。物体識別システム10のセンサとして、実施の形態2で説明したイメージング装置100を用いることで、以下の利点を得ることができる。
[0195]
 イメージング装置100すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体OBJを認識しにくいが、イメージング装置100を用いることで、雨、雪、霧の影響を受けずに、物体OBJの復元画像Gを得ることができる。
[0196]
 車載用のイメージング装置100の検出対象は、車、人、バイクや自転車、構造物や動植物とさまざまである。またイメージング装置が使用される状況も、天候、時間帯、走行道路、走行速度などの走行環境に応じて大きく変化する。また、イメージング装置自体が移動するとともに、対象物も移動し、それらの相対的な移動方向もさまざまである。参照光の強度分布を、ピクセルブロックやパターンブロックにもとづいて動的に制御することにより、車載用途に適したセンシングが可能となる。
[0197]
 実施の形態3で説明したイメージング装置100は、図11の自動車に搭載でき、図12の車両用灯具に内蔵してもよい。
[0198]
(実施の形態4)
(実施の形態4の概要)
 以下で説明する実施の形態4は、ゴーストイメージングの原理を用いたイメージング装置に関する。イメージング装置は、参照光の強度分布を複数M通りで変化させながら物体に照射する照明と、複数の強度分布I ~I それぞれについて、物体からの反射光を測定する光検出器と、複数の強度分布I ~I と光検出器の出力にもとづく複数の検出強度b ~b の相関をとることにより、物体の復元画像を再構成する演算処理装置と、を備える。
[0199]
 複数の強度分布I ~I は以下の処理によって決定することができる。
 (i)照明から物体を経て光検出器に至る経路の伝達特性をモデル化する。
 (ii)基準物体およびそれに対応する基準画像を定義する。
 (iii)複数の強度分布I ~I に初期値を与える。
 (iv)モデル化した伝達特性にもとづいて、複数の強度分布I ~I それぞれを有する参照光を基準物体に照射したときの、検出強度b ~b の推定値b^ ~b^ を計算する。
 (v)複数の強度分布I ~I と複数の推定値b^ ~b^ の相関をとることにより、基準物体の復元画像を再構築する。
 (vi)復元画像と基準画像の誤差が小さくなるように、複数の強度分布I ~I それぞれを修正する。処理(iv)~(vi)を繰り返すことにより、複数の強度分布I ~I を決定することができる。
[0200]
 この実施の形態によれば、想定される被写体などに応じて基準画像を定義して、パターンを最適化することにより、照射回数を減らすことができる。
[0201]
 基準物体および基準画像は、複数Nセット(N≧2)、定義されてもよい。この場合、複数の被写体を想定できるため、より汎用性を高めることができる。
[0202]
 誤差は、式(4)の目的関数F(I)で表されてもよい。
[数4]


 但し、Wは画像の幅、Hは画像の高さ、T (x,y)はi番目の基準画像、G (x,y,I)はi番目の復元画像を表す。
[0203]
 複数の強度分布I ~I を、複数セット用意しておき、走行環境に応じたひとつのセットを選択的に使用してもよい。これにより、さまざまな走行環境において常に同じ強度分布のセットを用いる場合に比べて、画質を改善できる。
[0204]
(実施の形態4の詳細な説明)
 図35は、実施の形態4に係るイメージング装置100を示す図である。イメージング装置100はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明110、光検出器120、演算処理装置130を備える。イメージング装置100を、量子レーダカメラとも称する。
[0205]
 照明110は、疑似熱光源であり、実質的にランダムとみなしうる強度分布I(x,y)を有する参照光S1を生成し、物体OBJに照射する。物体OBJへの参照光S1の照射は、その強度分布を、複数のM通りのパターンに応じて変化させながら行われる。照明110は、たとえば均一な強度分布を有する光S0を生成する光源112と、この光S0の強度分布Iを空間的に変調可能なパターニングデバイス114を含みうる。光源112は、レーザや発光ダイオードなどを用いてもよい。参照光S1の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。
[0206]
 パターニングデバイス114としては、DMD(Digital Micromirror Device)や液晶デバイスを用いることができる。パターニングデバイス114には、演算処理装置130から、強度分布Iを指定するパターン信号PTN(画像データ)が与えられており、したがって演算処理装置130は、現在、物体OBJに照射される参照光S1の強度分布I を知っている。
[0207]
 光検出器120は、物体OBJからの反射光を測定し、検出信号D を出力する。検出信号D は、強度分布I を有する参照光を物体OBJに照射したときに、光検出器120に入射する光エネルギー(あるいは強度)の空間的な積分値である。したがって光検出器120は、シングルピクセルのデバイス(フォトディテクタ)を用いることができる。光検出器120からは、複数M通りの強度分布I ~I それぞれに対応する複数の検出信号D ~D が出力される。
[0208]
 演算処理装置130は、パターン発生器132および再構成処理部134を含む。パターン発生器132は、参照光S1の強度分布Iを指定するパターン信号PTN を発生し、時間とともにパターン信号PTN を切り替える(r=1,2,…M)。従来では、照明110が発生する参照光S1の強度分布は、ランダムに生成していたが、本実施の形態では、予め決められた複数の強度分布I ~I のセットが用いられる。したがって複数の強度分布I ~I を規定する複数のパターン信号PTN ~PTN のセットは、パターン発生器132の内部のメモリ(パターンメモリ)に予め保持されている。
[0209]
 再構成処理部134は、複数の強度分布I ~I と、複数の検出強度b ~b の相関をとることにより、物体OBJの復元画像G(x,y)を再構成する。検出強度b ~b は、検出信号D ~D にもとづいている。検出強度bと検出信号Dの関係は、光検出器120の種類や方式などを考慮して定めればよい。
[0210]
 ある強度分布I の参照光S1を、ある照射期間にわたり照射するとする。また検出信号D は、ある時刻(あるいは微小時間)の受光量すなわち瞬時値を表すとする。この場合、照射期間において検出信号D を複数回サンプリングし、検出強度b を、検出信号D の全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列x番目からy番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
[0211]
 光検出器120として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器120の出力D をそのまま、検出強度b とすることができる。
[0212]
 検出信号D から検出強度b への変換は、演算処理装置130が実行してもよいし、演算処理装置130の外部で行ってもよい。
[0213]
 相関には、式(5)の相関関数が用いられる。I は、r番目の強度分布であり、b はr番目の検出強度の値である。
[数5]


[0214]
 以上がイメージング装置100の全体の基本構成である。以下、複数の強度分布I ~I の決め方を説明する。複数の強度I ~I は、予めコンピュータを用いて決定される。
[0215]
 図36は、複数の強度分布I ~I のセットの決定方法を示すフローチャートである。照明110から物体OBJを経て光検出器120に至る経路の伝達特性をモデル化する(S100)。この伝達特性には、照明110から物体OBJまでの光の伝達特性と、物体OBJの反射特性と、物体OBJから光検出器120までの光の伝搬特性と、光検出器120の変換特性が含まれる。
[0216]
 基準物体およびそれに対応する基準画像T(x,y)を定義する(S102)。基準画像T(x,y)は、基準物体の反射特性を規定する。図37は、基準物体と基準画像T(x,y)の関係を説明する図である。
[0217]
 ここでは説明の簡素化、理解の容易化のために、グレースケールとして考える。基準画像T(x,y)の画素値は0~1で正規化されるものとする。この場合、各画素pの画素値は、基準物体の対応する部分の反射率を表す。たとえばある画素pの画素値が1であるとき、それに対応する基準物体の反射率は1(すなわち100%)であり、画素値が0であるとき、それに対応する基準物体の反射率は0(すなわち0%)であり、画素値が0.5であるとき、それに対応する基準物体の反射率は0.5(すなわち50%)のように対応付けることができる。
[0218]
 図36に戻る。複数のパターンに初期値を与えるステップと、(iv)伝達特性にもとづいて、複数の強度分布I ~I それぞれを有する参照光S1を基準物体OBJに照射したときの、検出強度b ~b の推定値b^ ~b^ を計算する(S106)。
[0219]
 たとえば照明110から物体OBJまでの光路において光は減衰せず、参照光S1は、基準物体OBJを包含する矩形(図37の右の破線で示す矩形)の全体にわたって照射されるものとする。また物体OBJから光検出器120までの光路において光は減衰せず、物体OBJからの反射光はすべて光検出器120に入射するものと仮定する。この仮定のもとでは、強度分布がI (x,y)である参照光を基準物体に照射したときの検出強度の推定値b^ は、式(6)で表される。但し、Wは画像の幅、Hは画像の高さを表す。
[数6]


[0220]
 現在の強度分布I (x,y)~I (x,y)の組み合わせ(あるいは状態)をIと表記する。式(7)の相関関数にもとづいて、強度分布のセットIを用いて、復元画像G(x,y,I)を再構成する(S108)。式(7)は、式(5)の検出強度b を、推定値b^ に置き換えたものである。
[数7]


[0221]
 基準画像T(x,y)は、復元画像G(x,y,I)の正解に相当する。そこで、復元画像G(x,y,I)と、基準画像T(x,y)の誤差εを計算し(S110)、誤差ε小さくなるように、複数の強度分布I ~I それぞれを修正する(S114)。
[0222]
 この処理は誤差εがその許容値ε MAXより大きい間繰り返される(S112のY)。ε<ε MAXとなると(S112のN)、そのときの複数の強度分布I ~I のセットIを保存し(S116)、最適化処理が終了する。
[0223]
 この実施の形態によれば、想定される被写体などに応じて基準画像を定義して、パターンを最適化することにより、照射回数を減らすことができる。
[0224]
 好ましくは、基準画像T(x,y)と基準物体を、複数Nセット用意し、それらについて総合的な誤差εが小さくなるように、複数の強度分布I ~I を最適化するとよい。この場合、複数の被写体を想定できるため、より汎用性を高めることができる。
[0225]
 この場合の誤差εは、式(8)の目的関数F(I)で表されてもよい。
[数8]


 T (x,y)は、i番目のセットの基準画像を表す。
[0226]
 誤差εを最小化するアルゴリズムは特に限定されず、公知のものを用いることができる。たとえば最小化には、確率的勾配降下法を用いることができる。この問題は以下の式(9)で定式化できる。
[数9]


 I^は、最適な強度分布I ~I のセットである。なお、強度分布I ~I の画素値は負をとらないから、非負の制約条件を設けることができる。
[0227]
(検証)
 以下、具体的な強度分布I ~I のセットの決定および検証について説明する。基準画像(基準物体)としては、notMNISTと呼ばれるさまざまなフォントで表されたアルファベット等の画像データのセットを利用した(https://kaggle.com/lubaroli/notmnist/home)。このデータセットに含まれる画像は529114枚である。機械学習において、データの多様性は性能向上につながる可能性が高いため、以下の処理を加えて擬似的にデータ数を増加させた(かさ増し)。これらのデータを用いて、バッチサイズ64で10エポック学習を行った。
 ・ランダムに上下方向、左右方向に10%シフト
 ・ランダムに10%ズーム
 ・ランダムに10%回転
 ・ランダムに上下、左右反転
[0228]
 強度分布I ~I の数Mは、100、500,1000として、それぞれの最適な強度分布のセットI 100^、I 500^、I 1000^を求めた。最適化アルゴリズムとしては、Adam(Kingma Diederik, Jimmy Ba, "Adam-: A Method for Stochastic Optimization", arXiv:1412.6980,2014)を用いた。パラメータは文献にしたがい、α=0.001、β =0.9、β =0.999とした。
[0229]
 図38は、M=100に対して得られる100通りの強度分布I ~I 100からなるセットI 100^示す図である。各画素の値は、0~255の範囲に正規化されている。M=500,M=1000についても同様のセットが得られるが、スペースの関係で図示は省略する。
[0230]
 図39は、最適化された強度分布のセットを用いたときの復元画像を示す図である。一番左は正解画像であり、上から順に、アルファベットのK、カエル、電車、トラックの写真を用いている。復元画像の下には、正解画像との誤差を表すPSNRの数値を示す。カエル、電車、トラックの画像は、CIFAR-10から引用した(Alex Krizhevsky, "Learning multiple layers of features from tiny images" 2009)。PSNRは、数値が大きいほど、誤差が小さいことを示す。
[0231]
 最適化された強度分布のセットを用いることにより、M=100の場合であっても、元の物体をある程度復元できており、M=500ではさらに正確に復元でき、M=1000ではさらに正確に復元できることがわかる。
[0232]
 比較のために、従来のランダムな強度分布のセットを用いたときの復元画像を計算した。ここではアルファベットのKについての結果を示す。図40は、ランダムな強度分布のセットを用いたときの復元画像を示す図である。ランダムな強度分布を用いると、10000回照射を行う場合でも、PSNRは9.578程度である。これに対して、本実施の形態によれば、100回照射でPSNR=14.20、500回照射でPSNR=18.63、1000回照射でPSNR=22.13が得られており、従来に比べてPSNRは著しく改善されることがわかる。
[0233]
 続いて実施の形態4に関する変形例を説明する。
[0234]
(変形例4.1)
 イメージング装置100において、強度分布のセットを複数用意しておき、走行環境に応じてそれらを切り替えるようにしてもよい。
[0235]
 上述の説明では、イメージング装置100から物体OBJの間で、光の減衰等が存在しないとした。これは、晴天時の見通しがよい場合に対応付けることができる。もちろん、この仮定のもとで得られた強度分布のセットは、降雨、降雪あるいは濃霧の中を走行する状況でも有効であるが、降雨、降雪、あるいは濃霧などの走行環境に応じて、強度分布のセットを切り替えれば、さらに復元画像Gの誤差を小さくできる。
[0236]
 たとえばイメージング装置100と物体OBJの間に、雨、雪、霧が存在する走行環境を想定する場合、それぞれ影響を考慮して、伝達特性(光の伝搬特性)をモデル化すればよい。この場合、検出強度b の推定値b^ の計算式が式(6)から修正されることとなる。そして、修正された推定値b^ にもとづいて、強度分布のセットを最適化すればよい。
[0237]
 複数の走行環境を想定し、各走行環境に適した強度分布のセットを最適化する際には、各走行環境(すなわち降雨、降雪、濃霧)において基準物体を撮影し、得られた画像を基準画像として、上述の機械学習を行ってもよい。この場合、伝達特性(光の伝搬特性)のモデル化を簡略化できる。
[0238]
 あるいは、走行環境としては、雨、雪、霧などの違いに加えて、あるいはそれらに変えて、昼の走行と夜の走行、低速走行と高速走行などを考慮して、各走行環境に適した強度分布のセットを用意してもよい。
[0239]
(変形例4.2)
 実施の形態4では、照明110を、光源112とパターニングデバイス114の組み合わせで構成したがその限りでない。たとえば照明110は、マトリクス状に配置される複数の半導体光源(LED(発光ダイオード)やLD(レーザダイオード))のアレイで構成し、個々の半導体光源のオン、オフ(あるいは輝度)を制御可能に構成してもよい。
[0240]
 続いて実施の形態4に係るイメージング装置100の用途を説明する。このイメージング装置100は、図10の物体識別システム10に利用できる。物体識別システム10のセンサとして、実施の形態4で説明したイメージング装置100を用いることで、以下の利点を得ることができる。
[0241]
 第1に、イメージング装置100すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体OBJを認識しにくいが、イメージング装置100を用いることで、雨、雪、霧の影響を受けずに、物体OBJの復元画像Gを得ることができる。
[0242]
 第2に、参照光S1として、予め機械学習によって最適化した強度分布I ~I のセットを用いることで、少ない照射回数で、物体OBJの像を復元できる。上の対比では従来のランダムな強度分布では、数千回にも及ぶ照射回数が必要であったのに対して、本実施形態では、100~1000回程度の照射回数まで減らすことができる。これにより、1枚の復元画像を得るために要する時間、すなわちフレームレートを従来よりも増やすことができる。これにより、イメージング装置100と物体OBJが相対的に移動する車載用途において必要なフレームレートを達成することができる。
[0243]
 実施の形態4で説明したイメージング装置100は、図11の自動車に搭載でき、図12の車両用灯具に内蔵してもよい。
[0244]
 実施の形態1~4において、ゴーストイメージング(あるいはシングルピクセルイメージング)の手法として、相関計算を用いた手法を説明したが、画像の再構築の手法はそれに限定されない。いくつかの実施の形態では、相関計算に変えて、フーリエ変換やアダマール逆変換を使用した解析的手法や、スパースモデリングなどの最適化問題を解く手法、およびAI・機械学習を利用したアルゴリズムによって、画像を再構築してもよい。
[0245]
 実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

産業上の利用可能性

[0246]
 本発明は、車両用灯具に関する。

符号の説明

[0247]
OBJ…物体、10…物体識別システム、20…イメージング装置、40…演算処理装置、42…分類器、100…イメージング装置、110…照明、120…光検出器、130…演算処理装置、132…パターン発生器、134…再構成処理部、200…車両用灯具、202…光源、204…点灯回路、206…光学系、300…自動車、302…前照灯、310…灯具システム、304…車両側ECU、400…車両用灯具、402…筐体、404…カバー、410…前照灯、412…光源、414…リフレクタ、416…パターニングデバイス、420…疑似熱光源、422…光源、424…パターニングデバイス、430…共通部材。

請求の範囲

[請求項1]
 車両用灯具であって、
 前照灯と、
 参照光の強度分布をランダムに切り替えながら物体に照射する疑似熱光源と、
 を備え、
 前記疑似熱光源は、前記物体からの反射光を測定する光検出器、および、前記検出器の出力と前記参照光の強度分布にもとづいて、前記物体の復元画像を再構成する演算処理装置とともにイメージング装置を構成するものであり、
 前記前照灯の少なくとも一部の構成要素は、前記疑似熱光源と共有されることを特徴とする車両用灯具。
[請求項2]
 前記疑似熱光源は、前記前照灯と光学系を共有することを特徴とする請求項1に記載の車両用灯具。
[請求項3]
 前記前照灯の前記光学系は、配光を制御するパターニングデバイスを含み、前記疑似熱光源と前記前照灯は、前記パターニングデバイスを共有することを特徴とする請求項2に記載の車両用灯具。
[請求項4]
 前記前照灯の前記光学系は、光源の出射光を車両前方に反射するリフレクタを含み、前記疑似熱光源と前記前照灯は、前記リフレクタを共有することを特徴とする請求項2に記載の車両用灯具。
[請求項5]
 前記参照光は、赤外または紫外であることを特徴とする請求項2から4のいずれかに記載の車両用灯具。
[請求項6]
 前記疑似熱光源は、前記前照灯と光源を共有することを特徴とする請求項1から5のいずれかに記載の車両用灯具。
[請求項7]
 前記参照光は白色光であることを特徴とする請求項6に記載の車両用灯具。
[請求項8]
 請求項1から7のいずれかに記載の車両用灯具を備えることを特徴とする車両。
[請求項9]
 測定範囲を複数の区画に分割し、区画を切り替えながら強度分布がランダムな参照光を照射する照明装置と、
 物体からの反射光を測定する光検出器と、
 前記複数の区画それぞれについて、前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて、前記物体の当該区画に含まれる部分の復元画像を再構成する演算処理装置と、
 を備えることを特徴とする車載用イメージング装置。
[請求項10]
 前記複数の区画の個数は、分割にともなう演算時間の減少量が、測定時間の増加量より大きくなるように定められることを特徴とする請求項9に記載の車載用イメージング装置。
[請求項11]
 請求項9または10に記載の車載用イメージング装置を備えることを特徴とする車両用灯具。
[請求項12]
 請求項9または10に記載の車載用イメージング装置を備えることを特徴とする車両。
[請求項13]
 測定範囲を複数の区画に分割し、区画を切り替えながら強度分布がランダムな参照光を照射するステップと、
 光検出器によって物体からの反射光を測定するステップと、
 前記複数の区画それぞれについて、前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて前記物体の当該区画に含まれる部分の復元画像を再構成するステップと、
 を備えることを特徴とするイメージング方法。
[請求項14]
 前記複数の区画の個数は、分割にともなう演算時間の減少量が、測定時間の増加量より大きくなるように定められることを特徴とする請求項13に記載のイメージング方法。
[請求項15]
 ゴーストイメージングにもとづくイメージング装置に使用される照明装置であって、
 マトリクス状に配置された複数の画素を有し、前記複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布を変調可能に構成され、
 少なくともひとつの画素を含むピクセルブロックを単位として前記強度分布が制御され、前記ピクセルブロックは可変であることを特徴とする照明装置。
[請求項16]
 前記ピクセルブロックのサイズが可変であることを特徴とする請求項15に記載の照明装置。
[請求項17]
 過去のセンシングにより物体が存在すると判定される領域において前記ピクセルブロックのサイズを小さくすることを特徴とする請求項16に記載の照明装置。
[請求項18]
 前記ピクセルブロックの形状が可変であることを特徴とする請求項15から17のいずれかに記載の照明装置。
[請求項19]
 前記ピクセルブロックの形状は、横長の図形、縦長の図形、斜め方向に伸びる図形のうち少なくとも二種類で変化することを特徴とする請求項18に記載の照明装置。
[請求項20]
 前記ピクセルブロックの形状は、物体の移動方向にもとづいて選択されることを特徴とする請求項18または19に記載の照明装置。
[請求項21]
 前記ピクセルブロックは、所定のパターンにしたがって配置されるオン画素とオフ画素を含むことを特徴とする請求項15から20のいずれかに記載の照明装置。
[請求項22]
 前記ピクセルブロックの隣接する少なくとも2辺に沿ってオフ画素が配置されることを特徴とする請求項21に記載の照明装置。
[請求項23]
 ゴーストイメージングにもとづくイメージング装置に使用される照明装置であって、
 マトリクス状に配置された複数の画素を有し、前記複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布を変調可能に構成され、
 を備え、
 二以上のオン画素とオフ画素を含む所定パターンを用いて、前記強度分布が制御されることを特徴とする照明装置。
[請求項24]
 前記所定パターンが複数規定され、前記強度分布は、複数の所定パターンから動的に選択される少なくともひとつにもとづいて制御されることを特徴とする請求項23に記載の照明装置。
[請求項25]
 物体に参照光を照射する請求項15から24のいずれかに記載の照明装置と、
 前記物体からの反射光を測定する光検出器と、
 前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて前記物体の復元画像を再構成する演算処理装置と、
 を備えることを特徴とするイメージング装置。
[請求項26]
 請求項25に記載のイメージング装置を備えることを特徴とする車両用灯具。
[請求項27]
 請求項25に記載のイメージング装置を備えることを特徴とする車両。
[請求項28]
 ゴーストイメージングにもとづくイメージング装置に使用される照明装置であって、
 マトリクス状に配置された複数の画素を有し、前記複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布を変調可能に構成され、
 所定の制約条件のもと、前記複数の画素のオン、オフが制御されることを特徴とする照明装置。
[請求項29]
 前記所定の制約条件は、隣接する画素がオンとならないことを含むことを特徴とする請求項28に記載の照明装置。
[請求項30]
 前記所定の制約条件は、動的に変化することを特徴とする請求項28または29に記載の照明装置。
[請求項31]
 前記所定の制約条件は、オン画素とオフ画素の比率である点灯率を規定することを特徴とする請求項28から30のいずれかに記載の照明装置。
[請求項32]
 前記複数の画素が複数の領域に分割され、領域それぞれにおいて、オンとオフの画素の割合が規定されることを特徴とする請求項28から31のいずれかに記載の照明装置。
[請求項33]
 物体に参照光を照射する請求項28から32のいずれかに記載の照明装置と、
 前記物体からの反射光を測定する光検出器と、
 前記光検出器の出力にもとづく検出強度と前記参照光の強度分布にもとづいて前記物体の復元画像を再構成する演算処理装置と、
 を備えることを特徴とするイメージング装置。
[請求項34]
 請求項33に記載のイメージング装置を備えることを特徴とする車両用灯具。
[請求項35]
 請求項33に記載のイメージング装置を備えることを特徴とする車両。
[請求項36]
 参照光の強度分布を複数M通りに変化させながら物体に照射する照明と、
 複数の強度分布I ~I それぞれについて、前記物体からの反射光を測定する光検出器と、
 前記複数の強度分布I ~I と、前記光検出器の出力にもとづく複数の検出強度b ~b の相関をとることにより、前記物体の復元画像を再構成する演算処理装置と、
 を備え、
 前記複数の強度分布I ~I は、機械学習によって予め生成されていることを特徴とするイメージング装置。
[請求項37]
 前記複数の強度分布I ~I が、複数の走行環境に対応して複数セット用意され、走行環境に応じたひとつのセットが選択的に使用されることを特徴とする請求項37に記載のイメージング装置。
[請求項38]
 参照光の強度分布を複数M通りに変化させながら物体に照射する照明と、
 複数の強度分布I ~I それぞれについて、前記物体からの反射光を測定する光検出器と、
 前記複数の強度分布I ~I と、前記光検出器の出力にもとづく複数の検出強度b ~b の相関をとることにより、前記物体の復元画像を再構成する演算処理装置と、
 を備え、
 前記複数の強度分布I ~I は、
 (i)前記照明から前記物体を経て前記光検出器に至る経路の伝達特性をモデル化するステップと、
 (ii)基準物体およびそれに対応する基準画像を定義するステップと、
 (iii)前記複数の強度分布I ~I に初期値を与えるステップと、
 (iv)前記伝達特性にもとづいて、前記複数の強度分布I ~I それぞれを有する参照光を前記基準物体に照射したときの、前記検出強度b ~b の推定値b^ ~b^ を計算するステップと、
 (v)前記複数の強度分布I ~I と、前記複数の推定値b^ ~b^ の相関をとることにより、前記基準物体の復元画像を再構築するステップと、
 (vi)前記復元画像と、前記基準画像の誤差が小さくなるように、前記複数の強度分布 ~I それぞれを修正するステップと、
 (vii)ステップ(iv)~(vi)を繰り返すことにより前記複数の強度分布I ~I を決定するステップと、
 によって得られることを特徴とするイメージング装置。
[請求項39]
 前記基準物体および前記基準画像は、複数Nセット(N≧2)、定義されることを特徴とする請求項38に記載のイメージング装置。
[請求項40]
 前記誤差は、式(1)の目的関数F(I)で表されることを特徴とする請求項39に記載のイメージング装置。
[数1]


 但し、Wは画像の幅、Hは画像の高さ、T (x,y)はi番目の基準画像、G (x,y,I)はi番目の復元画像を表す。
[請求項41]
 ステップ(vi)において確率的勾配降下法を用いることを特徴とする請求項38から40のいずれかに記載のイメージング装置。
[請求項42]
 前記基準物体および前記基準画像として、アルファベットの画像データのセットを用いることを特徴とする請求項39に記載のイメージング装置。
[請求項43]
 異なる複数の環境を想定し、前記複数の環境それぞれについて、前記複数の強度分布I ~I が用意されることを特徴とする請求項39から42のいずれかに記載のイメージング装置。
[請求項44]
 請求項36から43のいずれかに記載のイメージング装置と、
 前記イメージング装置によって得られる画像にもとづいて、物体の種類を識別可能な演算処理装置と、
 を備えることを特徴とする物体識別システム。
[請求項45]
 請求項44に記載の物体識別システムを備えることを特徴とする車両用灯具。
[請求項46]
 請求項44に記載の物体識別システムを備えることを特徴とする車両。
[請求項47]
 イメージング装置に用いる複数の強度分布のセットを決定する方法であって、
 前記イメージング装置は、
 参照光の強度分布を複数M通りで変化させながら物体に照射する照明と、
 前記複数の強度分布I ~I それぞれについて、前記物体からの反射光を測定する光検出器と、
 前記複数の強度分布I ~I と、前記光検出器の出力にもとづく複数の検出強度b ~b の相関をとることにより、前記物体の復元画像を再構成する演算処理装置と、
 を備え、
 前記方法は、
 (i)前記照明から前記物体を経て前記光検出器に至る経路の伝達特性をモデル化するステップと、
 (ii)基準物体およびそれに対応する基準画像を定義するステップと、
 (iii)前記複数の強度分布I ~I に初期値を与えるステップと、
 (iv)前記伝達特性にもとづいて、前記複数の強度分布I ~I それぞれを有する参照光を前記基準物体に照射したときの、前記検出強度b ~b の推定値b^ ~b^ を計算するステップと、
 (v)前記複数の強度分布I ~I と、前記複数の推定値b^ ~b^ の相関をとることにより、前記基準物体の復元画像を再構築するステップと、
 (vi)前記復元画像と、前記基準画像の誤差が小さくなるように、前記複数の強度分布I ~I それぞれを修正するステップと、
 を備え、ステップ(iv)~(vi)を繰り返すことにより前記複数の強度分布I ~I のセットを決定することを特徴とする方法。
[請求項48]
 前記基準物体および前記基準画像は、複数Nセット(N≧2)、定義されることを特徴とする請求項47に記載の方法。
[請求項49]
 前記誤差は、式(1)の目的関数F(I)で表されることを特徴とする請求項48に記載の方法。
[数2]


 但し、Wは画像の幅、Hは画像の高さ、T (x,y)はi番目の基準画像、G (x,y,I)はi番目の復元画像を表す。
[請求項50]
 ステップ(vi)において確率的勾配降下法を用いることを特徴とする請求項47から49のいずれかに記載の方法。
[請求項51]
 前記基準物体および前記基準画像として、アルファベットの画像データのセットを用いることを特徴とする請求項47から50のいずれかに記載の方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]