Некоторое содержание этого приложения в настоящий момент недоступно.
Если эта ситуация сохраняется, свяжитесь с нами по адресуОтзывы и контакты
1. (WO2019065218) SENSOR SYSTEM
Document

明 細 書

発明の名称 センサシステム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008  

課題を解決するための手段

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062  

図面の簡単な説明

0063  

発明を実施するための形態

0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19  

明 細 書

発明の名称 : センサシステム

技術分野

[0001]
 本開示は、車両に搭載されるセンサシステムに関する。より具体的には、ステレオカメラシステムを含むセンサシステムに関する。

背景技術

[0002]
 ステレオカメラシステムは、左カメラユニットと右カメラユニットを備えている。左カメラユニットと右カメラユニットは、それぞれ車両の外部の画像を取得する。両カメラの視野内に物体が存在する場合、両カメラの視差に基づき、三角法を利用して当該物体までの距離を特定できる。特許文献1に記載されたステレオカメラシステムにおいては、左カメラユニットと右カメラユニットは、車室内におけるルームミラーの近傍に配置されている。
[0003]
 車両の運転支援技術を実現するためには、当該車両の外部の情報を検出するためのセンサを車体に搭載する必要がある。そのようなセンサの例としては、特許文献2に記載されたカメラユニットが挙げられる。
[0004]
 車両の外部の情報を効率的に取得可能なカメラユニットの配置場所として、車体の四隅(左前隅、右前隅、左後隅、および右後隅)が検討されている。これらは、車両の外部に照明光を供給するランプ装置が搭載されている場所でもある。特許文献3は、そのようなランプ装置の一例を開示している。当該ランプ装置は、光源から出射される光の照射方向を周期的に変化させる走査部を備えている。

先行技術文献

特許文献

[0005]
特許文献1 : 日本国特許出願公開2013-112314号公報
特許文献2 : 日本国特許出願公開2017-094967号公報
特許文献3 : 国際公開2012/144144号明細書

発明の概要

発明が解決しようとする課題

[0006]
 本開示の第一の課題は、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上することである。
[0007]
 本開示の第二の課題は、ステレオカメラシステムを含むセンサシステムの情報取得能力の低下を抑制することである。
[0008]
 本開示の第三の課題は、光源から出射される光の照射方向を周期的に変化させる走査部とともに使用されるカメラユニットを含むセンサシステムの情報取得能力の低下を抑制することである。

課題を解決するための手段

[0009]
 上記の第一の課題を達成するための第一態様は、車両に搭載されるセンサシステムであって、
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
 前記左灯室に収容されており、第一画角を有している第一左カメラユニットと、
 前記左灯室に収容されており、前記第一画角よりも広い第二画角を有している第二左カメラユニットと、
 前記右灯室に収容されており、第三画角を有している第一右カメラユニットと、
 前記右灯室に収容されており、前記第三画角よりも広い第四画角を有している第二右カメラユニットと、
 前記第一左カメラユニットにより取得された第一左画像と前記第二左カメラユニットにより取得された第二左画像の一方から選ばれた左画像、および前記第一右カメラユニットにより取得された第一右画像と前記第二右カメラユニットにより取得された第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する画像認識部と、
を備えている。
[0010]
 左灯室に収容されている第一左カメラユニットと右灯室に収容されている第一右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0011]
 しかしながら、基線長が長くなることによって遠方の視認性能は向上するものの、近距離における死角領域が広くなることを避けられない。本態様においては、この死角領域を補うために、より画角の広い第二左カメラユニットと第二右カメラユニットからなるステレオカメラシステムを採用している。画角が広くなると、遠方の視認性能は低下する。しかしながら、近距離において広い視認可能領域を確保可能であり、第一左カメラユニットと第一右カメラユニットからなるステレオカメラシステムの死角領域がカバーされうる。
[0012]
 上記の構成によれば、遠方の視認性能が相対的に高い第一左カメラユニットおよび第一右カメラユニットによって取得された画像と、近傍の視認性能が相対的に高い第二左カメラユニットと第二右カメラユニットによって取得された画像を適宜に組み合わせることにより、画像認識部により行なわれる画像認識を最適化できる。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0013]
 この場合、前記左画像と前記右画像は、前記車両の車速に基づいて選ばれうる。
[0014]
 車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。この構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。
[0015]
 上記の第一の課題を達成するための第二態様は、車両に搭載されるセンサシステムであって、
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
 前記左灯室に収容されており、第一画角を有する左カメラユニットと、
 前記右灯室に収容されており、前記第一画角と異なる第二画角を有している右カメラユニットと、
 前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像の少なくとも一方に基づいて、画像認識を実行する画像認識部と、
を備えている。
[0016]
 左灯室に収容されている左カメラユニットと右灯室に収容されている右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0017]
 しかしながら、第一態様に係るセンサシステムのように四つのカメラユニットを必要とする場合、レイアウトやコストに係る要求を満足できない場合がある。本態様においては、一定の条件下でステレオカメラシステムを成立させ、必要に応じて単眼カメラシステムに切り替える構成を採用している。この場合、レイアウトやコストに係る要求を満たしつつ、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0018]
 この場合、前記左画像と前記右画像の少なくとも一方は、前記車両の車速に基づいて選ばれうる。
[0019]
 車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。この構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。
[0020]
 上記の第一の課題を達成するための第三態様は、車両に搭載されるセンサシステムであって、
 第一方向を向いた第一光軸を有している第一カメラユニットと、
 前記第一方向と異なる方向を向いた第二光軸を有している第二カメラユニットと、
 前記第一カメラユニットにより取得された第一画像と前記第二カメラユニットにより取得された第二画像に基づいて、画像認識を実行する画像認識部と、
を備えている。
[0021]
 このような構成によれば、第一カメラユニットの第一光軸と第二カメラユニットの第二光軸が異なる方向を向いているため、平行等位ステレオカメラシステムよりも画像認識に係る演算処理が複雑になるものの、より広い角度範囲にわたってステレオカメラシステムによる画像認識を成立させることが可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0022]
 第三態様に係るセンサシステムは、以下のように構成されうる。
 ランプユニットを収容する灯室の一部を区画しているランプハウジングを備えており、
 前記第一カメラユニットと前記第二カメラユニットの少なくとも一方は、前記灯室内に収容されている。
[0023]
 この場合、構成を平行等位ステレオカメラシステムに近づけることが可能であり、画像認識に係る負荷の増大を抑制できる。
[0024]
 上記の第一課題を達成するための第四態様は、車両に搭載されるセンサシステムであって、
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
 前記左灯室に収容されている左カメラユニットと、
 前記右灯室に収容されている右カメラユニットと、
 基準光を出射する光源と、
 前記左カメラユニットにより取得された左画像における前記基準光の像と前記右カメラユニットにより取得された右画像における前記基準光の像の少なくとも一方に基づいて、前記左カメラユニットの光軸と前記右カメラユニットの光軸の少なくとも一方のずれを検出する検出部と、
を備えている。
[0025]
 検出結果は、保守業者などにより必要に応じて読み出され、車両に対する左ランプハウジングと右ランプハウジングの位置や姿勢を調整する作業に利用されうる。あるいは、左ランプハウジングと右ランプハウジングに機械的な調整を施すことなく、右画像が処理される際に検出結果を補正情報として利用してもよい。例えば、右カメラユニットの光軸にずれが検出された場合、右カメラユニットから出力される右画像信号に対して必要な調整に対応する補正が加えられ、補正された右画像信号に基づいて画像処理が行なわれる。
[0026]
 左灯室に収容されている左カメラユニットと右灯室に収容されている右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0027]
 他方、車室内にステレオカメラシステムが設置される場合と比較して、各カメラユニットの光軸にずれが生じる可能性が生じる。左ランプハウジングと右ランプハウジングの車体に対する位置や姿勢のずれがランプハウジングごとに独立して生じうるからである。しかしながら、基準光を利用した調節や補正が可能とされることにより、結果としてステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0028]
 第四態様に係るセンサシステムは、以下のように構成されうる。
 前記光源は、前記左カメラユニットの画像取得可能領域と前記右カメラユニットの画像取得可能領域が重なる領域に前記基準光を照射する。
[0029]
 このような構成によれば、基準光の出射に必要な光源の数を必要最小限にできる。
[0030]
 第四態様に係るセンサシステムは、以下のように構成されうる。
 前記左ランプハウジングと前記右ランプハウジングの双方を支持しており、前記車両に取り付けられる支持体を備えている。
[0031]
 このような構成によれば、各カメラユニットと光源の事前位置合わせを不要にできる。
[0032]
 第四態様に係るセンサシステムは、以下のように構成されうる。
 前記光源は、前記左ランプハウジングおよび前記右ランプハウジングに対して相対変位可能な位置に支持されている。
[0033]
 このような構成によれば、左ランプハウジングと右ランプハウジングの相対変位に起因する左カメラユニットと右カメラユニットの光軸ずれを抑制できる。
[0034]
 上記の第二の課題を達成するための第五態様は、車両に搭載されるセンサシステムであって、
 前記車両の外部を含む左画像を取得する左カメラユニットと、
 前記車両の外部を含む右画像を取得する右カメラユニットと、
 前記左カメラユニットおよび前記右カメラユニットと通信可能である制御部と、
を備えており、
 前記制御部は、
  前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
  前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
  前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方を較正するための較正情報を生成する。
[0035]
 較正情報は、第一距離情報を第二距離情報に一致させるために必要な調整量として生成される。較正情報は、制御部によって保持される。較正情報は、保守業者などにより必要に応じて読み出され、左カメラユニットと右カメラユニットの較正作業に利用されうる。あるいは、左カメラユニットと右カメラユニットに機械的な較正を施すことなく、制御部によって測距処理が行なわれる際に補正情報として利用されてもよい。例えば、左カメラユニットに較正が必要との情報が得られた場合、左カメラユニットから出力される左画像信号に対して必要な較正に対応する補正が加えられ、補正された左画像信号に基づいて測距処理が行なわれる。これにより、ステレオカメラシステムを含むセンサシステムの情報取得能力の低下を抑制できる。
[0036]
 第五態様に係るセンサシステムは、以下のように構成されうる。
 前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
 前記第二距離情報は、前記センサユニットより取得される。
[0037]
 このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
[0038]
 第五態様に係るセンサシステムは、以下のように構成されうる。
 通信を介してインフラ情報を取得する通信部を備えており、
 前記第二距離情報は、前記通信部より取得される。
[0039]
 このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
[0040]
 上記の第二の課題を達成するための第六態様は、車両に搭載されるセンサシステムであって、
 前記車両の外部を含む左画像を取得する左カメラユニットと、
 前記車両の外部を含む右画像を取得する右カメラユニットと、
 前記左カメラユニットおよび前記右カメラユニットと通信可能な制御部と、
を備えており、
 前記制御部は、
  前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
  前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
  前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方の異常を検出する。
[0041]
 このような構成によれば、ユーザは、検出された異常を解消するために、透光カバーの洗浄やカメラユニットの保守点検を行ないうる。これにより、ステレオカメラシステムを含むセンサシステムの情報取得能力の低下を抑制できる。
[0042]
 第六態様に係るセンサシステムは、以下のように構成されうる。
 前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
 前記第二距離情報は、前記センサユニットより取得される。
[0043]
 このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、異常検出に使用される対象物の選定および異常検出を行なうタイミングに係る自由度が向上する。
[0044]
 第六態様に係るセンサシステムは、以下のように構成されうる。
 通信を介してインフラ情報を取得する通信部を備えており、
 前記第二距離情報は、前記通信部より取得される。
[0045]
 このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
[0046]
 第六態様に係るセンサシステムは、以下のように構成されうる。
 前記左カメラユニットと前記右カメラユニットの一方に異常が検出された場合、前記制御部は、前記第一距離情報の取得を中止し、正常なカメラユニットから取得された画像に基づく前記対象物の認識処理を続行する。
[0047]
 このような構成によれば、左カメラユニットと右カメラユニットの少なくとも一方に異常が存在する場合であっても、センサシステムの情報取得能力の低下を最小限に抑えることができる。
[0048]
 上記の第二の課題を達成するための第七態様は、車両に搭載されるセンサシステムであって、
 車両に搭載されるセンサシステムであって、
 前記車両の外部を含む左画像を取得する左カメラユニットと、
 前記車両の外部を含む右画像を取得する右カメラユニットと、
 前記車両の外部に位置する物体の位置情報を取得するセンサユニットと、
 前記左カメラユニット、前記右カメラユニット、および前記センサユニットと通信可能な制御部と、
を備えており、
 前記制御部は、前記左カメラユニットにより取得された前記物体を含む前記左画像の処理範囲と前記右カメラユニットにより取得された前記物体を含む前記右画像の処理範囲の少なくとも一方を、前記位置情報に基づいて狭める。
[0049]
 このような構成によれば、左画像全体と右画像全体について画像処理を行なう場合と比較して、処理負荷の軽減と処理速度の向上が可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報処理能力の低下を抑制できる。
[0050]
 第五態様から第七態様の各々に係るセンサシステムは、以下のように構成されうる。
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
を備えており、
 前記左カメラユニットは、前記左灯室内に収容されており、
 前記右カメラユニットは、前記右灯室内に収容されている。
[0051]
 左灯室に収容されている左カメラユニットと右灯室に収容されている右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0052]
 上記の第三の課題を達成するための第八態様は、車両に搭載されるセンサシステムであって、
 光源と、
 前記光源から出射される光の照射方向を周期的に変化させる走査部と、
 前記車両の外部を含む画像を周期的に取得するカメラユニットと、
 前記走査部により前記光が基準方向へ照射される時点と、前記画像を取得するための露光期間内の基準時点とを一致させる制御部と、
を備えている。
[0053]
 このような構成によれば、光の照射方向が走査部により変化する周期と、カメラユニットによる画像の取得周期とが一致する。したがって、取得される画像に含まれる光の像の位置が一定となる。これにより、光の像が画像認識に与える影響の除去が容易となる。例えば、光が現れる特定の領域を画像認識の対象から除外するなどの処理が可能であり、取得された画像を用いて行なわれる画像認識処理の負荷増大を抑制できる。結果として、光源から出射される光の照射方向を周期的に変化させる走査部とともに使用されるカメラユニットを含むセンサシステムの情報取得能力の低下を抑制できる。
[0054]
 第八態様に係るセンサシステムは、以下のように構成されうる。
 前記基準方向は、前記画像の端部に対応する方向である。
[0055]
 カメラユニットの視野は、その中央部に認識を要する対象物が位置するように設計されることが一般的である。換言すると、カメラユニットの視野の端部に含まれる情報は、当該視野の中央部に含まれる情報よりも重要度が低い傾向にある。そのような位置に光の像が常に現れるようにすることにより、当該光像が画像認識に与える影響をさらに抑制できる。
[0056]
 上記の第三の課題を達成するための第九態様は、車両に搭載されるセンサシステムであって、
 光源と、
 前記光源から出射される光の照射方向を周期的に変化させる走査部と、
 前記車両の外部を含む画像を周期的に取得するカメラユニットと、
 前記照射方向に対応する情報と前記画像を取得するための露光期間に対応する情報に基づいて、前記画像に含まれる前記光の像の位置を特定する制御部と、
を備えている。
[0057]
 光の照射方向が走査部により変化する周期と、カメラユニットによる画像の取得周期が既知であれば、例えば走査部による走査動作の回数とカメラユニットによる露光動作の回数をカウントすることにより、特定の露光動作時における光の照射方向を特定できる。結果として、取得される画像における光の像の位置を特定できる。このような構成によれば、光の像が現れる領域の予測に基づく画像認識処理を行なうことができる。したがって、光源から出射される光の照射方向を周期的に変化させる走査部とともに使用されるカメラユニットを含むセンサシステムの情報取得能力の低下を抑制できる。
[0058]
 第八態様と第九態様の各々に係るセンサシステムは、以下のように構成されうる。
 前記制御部は、前記画像に含まれる前記光の像の位置に基づいて、前記走査部の異常を判断する。
[0059]
 走査部が正常に動作していれば、取得される画像に現れる光の像の位置は一定あるいは予測可能である。したがって、光の像の位置が所定の位置あるいは予測された位置からずれている場合、走査部に何らかの異常があると判断されうる。したがって、光源から出射される光を、走査部の異常検出にも利用できる。
[0060]
 本明細書において、「ランプユニット」とは、所望の照明機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。
[0061]
 本明細書において、「カメラユニット」とは、所望の画像取得機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。
[0062]
 本明細書において、「センサユニット」とは、所望の情報取得機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。

図面の簡単な説明

[0063]
[図1] 第一実施形態に係るセンサシステムの構成を示している。
[図2] 図1のセンサシステムが搭載される車両を示している。
[図3] 図1のセンサシステムの動作を説明するための図である。
[図4] 第二実施形態に係るセンサシステムの一部の構成を示している。
[図5] 図4のセンサシステムの動作を説明するための図である。
[図6] 第三実施形態に係るセンサシステムの一部の構成を示している。
[図7] 第四実施形態に係るセンサシステムの構成を示している。
[図8] 第五実施形態に係るセンサシステムの構成を示している。
[図9] 第六実施形態に係るセンサシステムの構成を示している。
[図10] 第七実施形態に係るセンサシステムの構成を示している。
[図11] 第八実施形態に係るセンサシステムの構成を示している。
[図12] マーキング光源によるピッチング検出機能を説明する図である。
[図13] 第九実施形態に係るセンサシステムの構成を示している。
[図14] 図13のセンサシステムの第一動作例を示すフローチャートである。
[図15] 図13のセンサシステムの第二動作例を示すフローチャートである。
[図16] 図13のセンサシステムの第三動作例を説明するための図である。
[図17] 第十実施形態に係るセンサシステムの構成を示している。
[図18] 図17のセンサシステムの動作を説明するための図である。
[図19] 図17のセンサシステムの変形例を示している。

発明を実施するための形態

[0064]
 添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。
[0065]
 添付の図面において、矢印Fは、図示された構造の前方向を示している。矢印Bは、図示された構造の後方向を示している。矢印Lは、図示された構造の左方向を示している。矢印Rは、図示された構造の右方向を示している。以降の説明に用いる「左」および「右」は、運転席から見た左右の方向を示している。
[0066]
 図1は、第一実施形態に係るセンサシステム1001の構成を模式的に示している。センサシステム1001は、左ランプ装置1002、右ランプ装置1003、および制御装置1004を備えている。
[0067]
 図2は、センサシステム1001が搭載される車両100を模式的に示している。左ランプ装置1002は、車両100の左前隅部LFに搭載される。右ランプ装置1003は、車両100の右前隅部RFに搭載される。制御装置1004は、車両100における適宜の箇所に配置される。
[0068]
 図1に示されるように、左ランプ装置1002は、左ランプハウジング1021と左透光カバー1022を備えている。左透光カバー1022は、車両100の外面の一部を形成する。左透光カバー1022は、左ランプハウジング1021とともに左灯室1023を区画している。すなわち、左ランプハウジング1021は、左灯室1023の一部を区画している。
[0069]
 左ランプ装置1002は、左ランプユニット1024を備えている。左ランプユニット1024は、車両100の前方を含む領域に向けて光を出射する灯具である。左ランプユニット1024は、例えば前照灯である。
[0070]
 左ランプ装置1002は、第一左カメラユニット1025を備えている。第一左カメラユニット1025は、左灯室1023に収容されている。図3に示されるように、第一左カメラユニット1025は、第一画角θ1を有している。第一左カメラユニット1025は、第一画角θ1内に含まれる車両100の外部の画像(第一左画像)を取得し、第一左画像に対応する第一左画像信号LS1を出力する。
[0071]
 図1に示されるように、左ランプ装置1002は、第二左カメラユニット1026を備えている。第二左カメラユニット1026は、左灯室1023に収容されている。図3に示されるように、第二左カメラユニット1026は、第二画角θ2を有している。第二画角θ2は、第一画角θ1よりも広い。第二左カメラユニット1026は、第二画角θ2内に含まれる車両100の外部の画像(第二左画像)を取得し、第二左画像に対応する第二左画像信号LS2を出力する。
[0072]
 図1に示されるように、右ランプ装置1003は、右ランプハウジング1031と右透光カバー1032を備えている。右透光カバー1032は、車両100の外面の一部を形成する。右透光カバー1032は、右ランプハウジング1031とともに右灯室1033を区画している。すなわち、右ランプハウジング1031は、右灯室1033の一部を区画している。
[0073]
 右ランプ装置1003は、右ランプユニット1034を備えている。右ランプユニット1034は、車両100の前方を含む領域に向けて光を出射する灯具である。右ランプユニット1034は、例えば前照灯である。
[0074]
 右ランプ装置1003は、第一右カメラユニット1035を備えている。第一右カメラユニット1035は、右灯室1033に収容されている。図3に示されるように、第一右カメラユニット1035は、第三画角θ3を有している。第一右カメラユニット1035は、第三画角θ3内に含まれる車両100の外部の画像(第一右画像)を取得し、第一右画像に対応する第一右画像信号RS1を出力する。
[0075]
 図1に示されるように、右ランプ装置1003は、第二右カメラユニット1036を備えている。第二右カメラユニット1036は、右灯室1033に収容されている。図3に示されるように、第二右カメラユニット1036は、第四画角θ4を有している。第四画角θ4は、第三画角θ3よりも広い。第二右カメラユニット1036は、第四画角θ4内に含まれる車両100の外部の画像(第二右画像)を取得し、第二右画像に対応する第二右画像信号RS2を出力する。
[0076]
 本実施形態においては、第一画角θ1と第三画角θ3は等しく、例えば40°程度である。他方、第二画角θ2と第四画角θ4は等しく、例えば100°を上回る。すなわち、第二左カメラユニット1026と第二右カメラユニット1036は、いわゆる広角カメラに分類されうる。
[0077]
 図1に示されるように、本実施形態においては、第一左カメラユニット1025の光軸AL1と第一右カメラユニット1035の光軸AR1は平行に延びている。車両100の上下方向における光軸AL1と光軸AR1の高さ位置は一致している。すなわち、第一左カメラユニット1025と第一右カメラユニット1035は、平行等位ステレオカメラシステムを構成している。
[0078]
 他方、第二左カメラユニット1026の光軸AL2と第二右カメラユニット1036の光軸AR2は平行に延びている。車両100の上下方向における光軸AL2と光軸AR2の高さ位置は一致している。すなわち、第二左カメラユニット1026と第二右カメラユニット1036は、平行等位ステレオカメラシステムを構成している。
[0079]
 第一左画像信号LS1、第二左画像信号LS2、第一右画像信号RS1、および第二右画像信号RS2は、制御装置1004に入力される。制御装置1004は、左セレクタ1041、右セレクタ1042、および画像認識部1043を備えている。
[0080]
 左セレクタ1041は、第一左画像信号LS1と第二左画像信号LS2のいずれか一方を選択可能に構成されている。すなわち、左セレクタ1041は、第一左画像と第二左画像のいずれか一方を、左画像として選択可能に構成されている。左画像に対応する選択された信号は、画像認識部1043に入力される。
[0081]
 右セレクタ1042は、第一右画像信号RS1と第二右画像信号RS2のいずれか一方を選択可能に構成されている。すなわち、右セレクタ1042は、第一右画像と第二右画像のいずれか一方を、右画像として選択可能に構成されている。右画像に対応する選択された信号は、画像認識部1043に入力される。
[0082]
 画像認識部1043は、左セレクタ1041から入力された信号と右セレクタ1042から入力された信号に基づいて、画像認識を実行するように構成されている。すなわち、画像認識部1043は、第一左画像と第二左画像の一方から選ばれた左画像、および第一右画像と第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する。
[0083]
 左灯室1023に収容されている第一左カメラユニット1025と右灯室1033に収容されている第一右カメラユニット1035でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0084]
 しかしながら、図3に実線で示されるように、基線長が長くなることによって遠方の視認性能は向上するものの、近距離における死角領域が広くなることを避けられない。本実施形態においては、この死角領域を補うために、より画角の広い第二左カメラユニット1026と第二右カメラユニット1036からなるステレオカメラシステムを採用している。画角が広くなると、遠方の視認性能は低下する。しかしながら、図3に破線で示されるように、近距離において広い視認可能領域を確保可能であり、第一左カメラユニット1025と第一右カメラユニット1035からなるステレオカメラシステムの死角領域がカバーされうる。
[0085]
 本実施形態の構成によれば、遠方の視認性能が相対的に高い第一左カメラユニット1025および第一右カメラユニット1035によって取得された画像と、近傍の視認性能が相対的に高い第二左カメラユニット1026と第二右カメラユニット1036によって取得された画像を適宜に組み合わせることにより、画像認識部1043により行なわれる画像認識を最適化できる。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0086]
 例えば、不図示の車速センサから制御装置1004に入力される車両100の車速に応じた信号に基づいて、画像認識部1043において画像認識に使用される画像が切り替えられる。
[0087]
 具体的には、車速が所定の閾値以上である場合、遠方の視認性能が相対的に高い第一左カメラユニット1025と第一右カメラユニット1035が選択される。すなわち、左セレクタ1041は、第一左画像信号LS1を選択し、右セレクタ1042は、第一右画像信号RS1を選択する。画像認識部1043は、選択された第一左画像と第一右画像に基づいて画像認識を実行する。
[0088]
 車速が所定の閾値未満である場合、近傍の視認性能が相対的に高い第二左カメラユニット1026と第二右カメラユニット1036が選択される。すなわち、左セレクタ1041は、第二左画像信号LS2を選択し、右セレクタ1042は、第二右画像信号RS2を選択する。画像認識部1043は、選択された第二左画像と第二右画像に基づいて画像認識を実行する。
[0089]
 車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。上記の構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。
[0090]
 相対的に画角が狭い第一左カメラユニット1025と相対的に画角が広い第二右カメラユニット1036の組合せ、または相対的に画角が広い第二左カメラユニット1026と相対的に画角が広い第一右カメラユニット1035の組合せを選択することも可能である。例えば、不図示のセンサ(LiDARセンサ、ミリ波レーダなど)により検出された物体の位置と当該物体までの距離に応じて、適切なカメラユニットが選択されうる。
[0091]
 この場合、第一左カメラユニット1025と第二右カメラユニット1036もまた平行等位ステレオカメラシステムを構成していることが好ましい。同様に、第二左カメラユニット1026と第一右カメラユニット1035もまた平行等位ステレオカメラシステムを構成していることが好ましい。
[0092]
 制御装置1004は、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上記の処理を実行しうる。
[0093]
 上述した左セレクタ1041、右セレクタ1042、および画像認識部1043の各機能の少なくとも一部は、上記のプロセッサおよびメモリとは異なる少なくとも一つのハードウェア資源(例えば、ASICやFPGAなどの集積回路)によって実現されてもよいし、上記のプロセッサおよびメモリによって実行されるソフトウェアの一機能として実現されてもよい。例えば、画像認識部1043は、第一左画像信号LS1、第二左画像信号LS2、第一右画像信号RS1、および第二右画像信号RS2を常時受け付けるGPUとして構成されうる。この場合、左セレクタ1041と右セレクタ1042の機能は、当該GPU内で行なわれる処理に統合されうる。
[0094]
 本実施形態においては、第一左画像信号LS1、第二左画像信号LS2、第一右画像信号RS1、および第二右画像信号RS2を、制御装置1004が受動的に受け付けている。しかしながら、第一左カメラユニット1025、第二左カメラユニット1026、第一右カメラユニット1035、および第二右カメラユニット1036のいずれか二つに対し、制御装置1004が能動的に必要な信号を出力させるように構成されてもよい。
[0095]
 本実施形態においては、制御装置1004は、左ランプ装置1002と右ランプ装置1003が搭載される車両100に配置されている。しかしながら、制御装置1004は、左ランプ装置1002と右ランプ装置1003のいずれか一方に搭載されうる。
[0096]
 図4は、第二実施形態に係るセンサシステム1001Aの構成を模式的に示している。センサシステム1001Aは、左ランプ装置1002A、右ランプ装置1003A、および制御装置1004Aを備えている。第一実施形態に係るセンサシステム1001の構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
[0097]
 左ランプ装置1002Aは、図2に示される車両100の左前隅部LFに搭載される。右ランプ装置1003Aは、車両100の右前隅部RFに搭載される。制御装置1004Aは、車両100における適宜の箇所に配置される。
[0098]
 図4に示されるように、左ランプ装置1002Aは、左カメラユニット1027を備えている。左カメラユニット1027は、左灯室1023に収容されている。図5に示されるように、左カメラユニット1027は、第一画角θ1を有している。左カメラユニット1027は、第一画角θ1内に含まれる車両100の外部の画像(左画像)を取得し、左画像に対応する左画像信号LSを出力する。
[0099]
 図4に示されるように、右ランプ装置1003Aは、右カメラユニット1037を備えている。右カメラユニット1037は、右灯室1033に収容されている。図5に示されるように、右カメラユニット1037は、第二画角θ2を有している。右カメラユニット1037は、第二画角θ2内に含まれる車両100の外部の画像(右画像)を取得し、右画像に対応する右画像信号RSを出力する。
[0100]
 本実施形態においては、第二画角θ2は、第一画角θ1と異なる。第二画角θ2は、第一画角θ1よりも狭い。第一画角θ1は、例えば100°を上回る。第二画角θ2は、例えば40°程度である。すなわち、左カメラユニット1027は、いわゆる広角カメラに分類されうる。
[0101]
 図4に示されるように、本実施形態においては、左カメラユニット1027の光軸ALと右カメラユニット1037の光軸ARは平行に延びている。車両100の上下方向における光軸ALと光軸ARの高さ位置は一致している。すなわち、左カメラユニット1027と右カメラユニット1037は、平行等位ステレオカメラシステムを構成している。
[0102]
 左画像信号LSと右画像信号RSは、制御装置1004Aに入力される。制御装置1004Aは、セレクタ1044と画像認識部1045を備えている。
[0103]
 セレクタ1044は、左画像信号LSと右画像信号RSの少なくとも一方を選択可能に構成されている。すなわち、セレクタ1044は、左画像と右画像の少なくとも一方を選択可能に構成されている。選択された信号は、画像認識部1045に入力される。
[0104]
 画像認識部1045は、セレクタ1044から入力された信号に基づいて、画像認識を実行するように構成されている。すなわち、画像認識部1045は、左画像と右画像の少なくとも一方に基づいて、画像認識を実行する。
[0105]
 左灯室1023に収容されている左カメラユニット1027と右灯室1033に収容されている右カメラユニット1037でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0106]
 しかしながら、第一実施形態に係るセンサシステム1001のように四つのカメラユニットを必要とする場合、レイアウトやコストに係る要求を満足できない場合がある。本実施形態においては、一定の条件下でステレオカメラシステムを成立させ、必要に応じて単眼カメラシステムに切り替える構成を採用している。この場合、レイアウトやコストに係る要求を満たしつつ、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0107]
 例えば、不図示の車速センサから制御装置1004Aに入力される車両100の車速に応じた信号に基づいて、画像認識部1045において画像認識に使用される画像が切り替えられる。
[0108]
 具体的には、車速が所定の第一閾値以上である場合、遠方の視認性能が相対的に高い右カメラユニット1037が選択される。すなわち、セレクタ1044は、右画像信号RSを選択する。画像認識部1045は、選択された右画像に基づいて画像認識を実行する。
[0109]
 車速が所定の第二閾値未満である場合、近傍の視認性能が相対的に高い左カメラユニット1027が選択される。すなわち、セレクタ1044は、左画像信号LSを選択する。画像認識部1045は、選択された左画像に基づいて画像認識を実行する。
[0110]
 車速が第二閾値以上第一閾値未満である場合、左カメラユニット1027と右カメラユニット1037の双方が選択され、ステレオカメラシステムが成立する。すなわち、セレクタ1044は、左画像信号LSと右画像信号RSの双方を選択する。画像認識部1045は、左画像と右画像の双方に基づいて画像認識を実行する。
[0111]
 車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。上記の構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。
[0112]
 あるいは、不図示のセンサ(LiDARセンサ、ミリ波レーダなど)により検出された物体の位置と当該物体までの距離に応じて、適切なカメラユニットが選択されうる。
[0113]
 制御装置1004Aは、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上記の処理を実行しうる。
[0114]
 上述したセレクタ1044と画像認識部1045の各機能の少なくとも一部は、上記のプロセッサおよびメモリとは異なる少なくとも一つのハードウェア資源(例えば、ASICやFPGAなどの集積回路)によって実現されてもよいし、上記のプロセッサおよびメモリによって実行されるソフトウェアの一機能として実現されてもよい。例えば、画像認識部1045は、左画像信号LSと右画像信号RSを常時受け付けるGPUとして構成されうる。この場合、セレクタ1044の機能は、当該GPU内で行なわれる処理に統合されうる。
[0115]
 本実施形態においては、左画像信号LSと右画像信号RSを、制御装置1004Aが受動的に受け付けている。しかしながら、左カメラユニット1027と右カメラユニット1037の少なくとも一方に対し、制御装置1004Aが能動的に必要な信号を出力させるように構成されてもよい。
[0116]
 本実施形態においては、制御装置1004Aは、左ランプ装置1002Aと右ランプ装置1003Aが搭載される車両100に配置されている。しかしながら、制御装置1004Aは、左ランプ装置1002Aと右ランプ装置1003Aのいずれか一方に搭載されうる。
[0117]
 本実施形態においては、左カメラユニット1027の第一画角θ1の方が、右カメラユニット1037の第二画角θ2よりも広い。しかしながら、右カメラユニット1037の第二画角θ2の方が左カメラユニット1027の第一画角θ1よりも広い構成も採用されうる。好ましくは、対向車線により近い側に位置する灯室に配置されるカメラユニットの画角の方が狭く設定される。
[0118]
 遠方の情報をカメラ以外のセンサ(LiDARセンサやミリ波レーダなど)で取得するのであれば、左カメラユニット1027と右カメラユニット1037の双方を広角カメラユニットで構成してもよい。
[0119]
 図6は、第三実施形態に係るセンサシステム1001Bの構成を模式的に示している。センサシステム1001Bは、右ランプ装置1003Bと制御装置1004Bを備えている。第一実施形態に係るセンサシステム1001の構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
[0120]
 右ランプ装置1003Bは、車両100の右前隅部RFに搭載される。車両100の左前隅部LFには、右ランプ装置1003Bと左右対称の構成を有する左ランプ装置が搭載される。制御装置1004Bは、車両100における適宜の箇所に配置される。
[0121]
 右ランプ装置1003Bは、第一カメラユニット1038を備えている。第一カメラユニット1038は、右灯室1033に収容されている。第一カメラユニット1038は、第一画角θ1を有している。第一カメラユニット1038は、第一画角θ1内に含まれる車両100の前方を含む画像(第一画像)を取得し、第一画像に対応する第一画像信号S1を出力する。
[0122]
 右ランプ装置1003Bは、第二カメラユニット1039を備えている。第二カメラユニット1039は、右灯室1033に収容されている。第二カメラユニット1039は、第二画角θ2を有している。第二カメラユニット1039は、第二画角θ2内に含まれる車両100の右方を含む画像(第二画像)を取得し、第二画像に対応する第二画像信号S2を出力する。
[0123]
 本実施形態においては、第一画角θ1と第二画角θ2は等しい。第一画角θ1と第二画角θ2は、例えば100°を上回る。すなわち、第一カメラユニット1038と第二カメラユニット1039は、いわゆる広角カメラに分類されうる。しかしながら、第一画角θ1と第二画角θ2は、異なっていてもよい。
[0124]
 本実施形態においては、第一カメラユニット1038の第一光軸A1と第二カメラユニット1039の第二光軸A2は、異なる方向を向いている。
[0125]
 第一画像信号S1と第二画像信号S2は、制御装置1004Bに入力される。制御装置1004Bは、画像認識部1046を備えている。
[0126]
 画像認識部1046は、第一カメラユニット1038と第二カメラユニット1039から入力された信号に基づいて、画像認識を実行するように構成されている。すなわち、画像認識部1046は、第一画像と第二画像に基づいて、画像認識を実行する。
[0127]
 このような構成によれば、第一カメラユニット1038の第一光軸A1と第二カメラユニット1039の第二光軸A2が異なる方向を向いているため、平行等位ステレオカメラシステムよりも画像認識に係る演算処理が複雑になるものの、より広い角度範囲にわたってステレオカメラシステムによる画像認識を成立させることが可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0128]
 本実施形態においては、第一カメラユニット1038と第二カメラユニット1039の双方が右灯室1033内に収容されている。この場合、構成を平行等位ステレオカメラシステムに近づけることが可能であり、画像認識に係る負荷の増大を抑制できる。
[0129]
 しかしながら、第一光軸A1と第二光軸A2が異なる方向を向いていれば、第一カメラユニット1038と第二カメラユニット1039の少なくとも一方は、右灯室1033の外に配置されうる。
[0130]
 制御装置1004Bは、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上記の処理を実行しうる。
[0131]
 上述した画像認識部1046の機能の少なくとも一部は、上記のプロセッサおよびメモリとは異なる少なくとも一つのハードウェア資源(例えば、ASICやFPGAなどの集積回路)によって実現されてもよいし、上記のプロセッサおよびメモリによって実行されるソフトウェアの一機能として実現されてもよい。
[0132]
 本実施形態においては、制御装置1004Bは、左ランプ装置と右ランプ装置1003Bが搭載される車両100に配置されている。しかしながら、制御装置1004Bは、左ランプ装置と右ランプ装置1003Bのいずれか一方に搭載されうる。
[0133]
 上記の第一実施形態から第三実施形態は、本開示の理解を容易にするための例示にすぎない。第一実施形態から第三実施形態に係る各構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
[0134]
 本明細書において、「左ランプハウジング」とは、車両側から見て右ランプハウジングよりも左側に位置しているランプハウジングを意味する。本明細書において、「右ランプハウジング」とは、車両側から見て左ランプハウジングよりも右側に位置しているランプハウジングを意味する。
[0135]
 したがって、ステレオカメラシステムが成立するのであれば、左ランプハウジングは、車両100の左部に配置される必要はなく、右ランプハウジングは、車両100の右部に配置される必要はない。例えば、左ランプ装置1002は、図2に示される車両100の右後隅部RBに配置されうる。この場合、右ランプ装置1003は、車両100の左後隅部LBに配置されうる。あるいは、左ランプ装置1002は、車両100の左後隅部LBに配置されうる。この場合、右ランプ装置1003は、車両100の左前隅部LFに配置されうる。
[0136]
 図7は、第四実施形態に係るセンサシステム2001の構成を模式的に示している。センサシステム2001は、左ランプ装置2002と右ランプ装置2003を備えている。
[0137]
 左ランプ装置2002は、図2に示される車両100の左前隅部LFに搭載される。右ランプ装置2003は、車両100の右前隅部RFに搭載される。
[0138]
 図7に示されるように、左ランプ装置2002は、左ランプハウジング2021と左透光カバー2022を備えている。左透光カバー2022は、車両100の外面の一部を形成する。左透光カバー2022は、左ランプハウジング2021とともに左灯室2023を区画している。すなわち、左ランプハウジング2021は、左灯室2023の一部を区画している。
[0139]
 左ランプ装置2002は、左ランプユニット2024を備えている。左ランプユニット2024は、車両100の前方を含む領域に向けて光を出射する灯具である。左ランプユニット2024は、例えば前照灯である。
[0140]
 左ランプ装置2002は、左カメラユニット2025を備えている。左カメラユニット2025は、左灯室2023に収容されている。左カメラユニット2025は、視野内に含まれる車両100の外部の画像(左画像LI)を取得し、左画像LIに対応する左画像信号LSを出力する。
[0141]
 左ランプ装置2002は、左マーキング光源2026を備えている。左マーキング光源2026は、左灯室2023に収容されている。左マーキング光源2026は、左カメラユニット2025の視野内に左マーキング光LMを出射可能に構成されている。左マーキング光源2026の例としては、発光ダイオードやレーザダイオードが挙げられる。左マーキング光LMの波長は、左カメラユニット2025が感度を有する波長として定められる。左マーキング光LMは、基準光の一例である。
[0142]
 右ランプ装置2003は、右ランプハウジング2031と右透光カバー2032を備えている。右透光カバー2032は、車両100の外面の一部を形成する。右透光カバー2032は、右ランプハウジング2031とともに右灯室2033を区画している。すなわち、右ランプハウジング2031は、右灯室2033の一部を区画している。
[0143]
 右ランプ装置2003は、右ランプユニット2034を備えている。右ランプユニット2034は、車両100の前方を含む領域に向けて光を出射する灯具である。右ランプユニット2034は、例えば前照灯である。
[0144]
 右ランプ装置2003は、右カメラユニット2035を備えている。右カメラユニット2035は、右灯室2033に収容されている。右カメラユニット2035は、視野内に含まれる車両100の外部の画像(右画像RI)を取得し、右画像RIに対応する右画像信号RSを出力する。
[0145]
 左カメラユニット2025の視野と右カメラユニット2035の視野は、一部が重複している。したがって、左カメラユニット2025と右カメラユニット2035は、ステレオカメラシステムを構成している。
[0146]
 右ランプ装置2003は、右マーキング光源2036を備えている。右マーキング光源2036は、右灯室2033に収容されている。右マーキング光源2036は、右カメラユニット2035の視野内に右マーキング光RMを出射可能に構成されている。右マーキング光源2036の例としては、発光ダイオードやレーザダイオードが挙げられる。右マーキング光RMの波長は、右カメラユニット2035が感度を有する波長として定められる。右マーキング光RMは、基準光の一例である。
[0147]
 センサシステム2001は、検出部2004を備えている。検出部2004は、左カメラユニット2025および右カメラユニット2035と通信可能である。左画像信号LSと右画像信号RSは、検出部2004に入力される。
[0148]
 検出部2004は、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して所定の処理を実行する。検出部2004は、ASICやFPGAなどの集積回路(ハードウェア資源)によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによっても実現されうる。
[0149]
 検出部2004は、左カメラユニット2025により取得された左画像LIにおける左マーキング光LMの像に基づいて、左カメラユニット2025の光軸のずれを検出するように構成されている。また、検出部2004は、右カメラユニット2035により取得された右画像RIにおける右マーキング光RMの像に基づいて、右カメラユニット2035の光軸のずれを検出するように構成されている。
[0150]
 具体的には、左カメラユニット2025の視野内に配置された壁Wに向けて、左マーキング光源2026が左マーキング光LMを出射する。壁Wと左カメラユニット2025の間の距離は、予め定められている。壁W上には、左マーキング光LMの像が形成される。左マーキング光LMの像は、左カメラユニット2025により取得される左画像LI内に含まれる。
[0151]
 左カメラユニット2025と左マーキング光源2026の位置関係は予め調整されている。したがって、壁Wと左カメラユニット2025の間の距離が既知であれば、左画像LI内に現れる左マーキング光LMの像の位置がわかる。左画像LI内に示される破線の円は、左マーキング光LMの像が本来現れるべき位置を示している。
[0152]
 図示のように左マーキング光LMの像の位置が本来現れるべき位置からずれている場合、左カメラユニット2025の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、左ランプ装置2002が車両100に搭載される際に生じたずれや、車両100の使用に伴う左ランプ装置2002の位置や姿勢の変化が挙げられる。検出部2004は、このずれを検出する。検出結果は、検出部2004により保持される。
[0153]
 検出結果は、保守業者などにより必要に応じて読み出され、車両100に対する左ランプ装置2002の位置や姿勢を調整する作業に利用されうる。あるいは、左ランプ装置2002に機械的な調整を施すことなく、左画像LIが処理される際に検出結果を補正情報として利用してもよい。例えば、左カメラユニット2025の光軸にずれが検出された場合、左カメラユニット2025から出力される左画像信号LSに対して必要な調整に対応する補正が加えられ、補正された左画像信号LSに基づいて画像処理が行なわれる。
[0154]
 同様に、右カメラユニット2035の視野内に配置された壁Wに向けて、右マーキング光源2036が右マーキング光RMを出射する。壁Wと右カメラユニット2035の間の距離は、予め定められている。壁W上には、右マーキング光RMの像が形成される。右マーキング光RMの像は、右カメラユニット2035により取得される右画像RI内に含まれる。
[0155]
 右カメラユニット2035と右マーキング光源2036の位置関係は予め調整されている。したがって、壁Wと右カメラユニット2035の間の距離が既知であれば、右画像RI内に現れる右マーキング光RMの像の位置がわかる。右画像RI内に示される破線の円は、右マーキング光RMの像が本来現れるべき位置を示している。
[0156]
 図示のように右マーキング光RMの像の位置が本来現れるべき位置からずれている場合、右カメラユニット2035の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、右ランプ装置2003が車両100に搭載される際に生じたずれや、車両100の使用に伴う右ランプ装置2003の位置や姿勢の変化が挙げられる。検出部2004は、このずれを検出する。検出結果は、検出部2004により保持される。
[0157]
 検出結果は、保守業者などにより必要に応じて読み出され、車両100に対する右ランプ装置2003の位置や姿勢を調整する作業に利用されうる。あるいは、右ランプ装置2003に機械的な調整を施すことなく、右画像RIが処理される際に検出結果を補正情報として利用してもよい。例えば、右カメラユニット2035の光軸にずれが検出された場合、右カメラユニット2035から出力される右画像信号RSに対して必要な調整に対応する補正が加えられ、補正された右画像信号RSに基づいて画像処理が行なわれる。
[0158]
 左灯室2023に収容されている左カメラユニット2025と右灯室2033に収容されている右カメラユニット2035でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0159]
 他方、車室内にステレオカメラシステムが設置される場合と比較して、各カメラユニットの光軸にずれが生じる可能性が生じる。左ランプ装置2002と右ランプ装置2003の車両100に対する位置や姿勢のずれがランプ装置ごとに独立して生じうるからである。しかしながら、前述のようにマーキング光を利用した調節や補正が可能とされることにより、結果としてステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
[0160]
 検出部2004は、左ランプ装置2002と右ランプ装置2003が搭載される車両100における適宜の位置に設けられてもよいし、左ランプ装置2002と右ランプ装置2003のいずれかに設けられてもよい。また、左カメラユニット2025の光軸のずれを検出する検出部と右カメラユニット2035の光軸のずれを検出する検出部が独立して設けられてもよい。
[0161]
 図8は、第五実施形態に係るセンサシステム2001Aの構成を模式的に示している。センサシステム2001Aは、左ランプ装置2002、右ランプ装置2003、検出部2004A、およびマーキング光源2005を備えている。第四実施形態に係るセンサシステム2001の構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
[0162]
 マーキング光源2005は、左ランプ装置2002の左灯室2023と右ランプ装置2003の右灯室のいずれか一方に配置される。図示の例においては、マーキング光源2005は、左灯室2023内に配置されている。マーキング光源2005は、左カメラユニット2025の視野と右カメラユニット2035の視野が重複する領域A内にマーキング光Mを出射可能に構成されている。マーキング光源2005の例としては、発光ダイオードやレーザダイオードが挙げられる。マーキング光Mの波長は、左カメラユニット2025と右カメラユニット2035が感度を有する波長として定められる。マーキング光Mは、基準光の一例である。
[0163]
 検出部2004Aは、左カメラユニット2025および右カメラユニット2035と通信可能である。左画像信号LSと右画像信号RSは、検出部2004Aに入力される。
[0164]
 検出部2004Aは、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して所定の処理を実行する。検出部2004Aは、ASICやFPGAなどの集積回路(ハードウェア資源)によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによっても実現されうる。
[0165]
 検出部2004Aは、左カメラユニット2025により取得された左画像LIにおけるマーキング光Mの像に基づいて、左カメラユニット2025の光軸のずれを検出するように構成されている。また、検出部2004Aは、右カメラユニット2035により取得された右画像RIにおけるマーキング光Mの像に基づいて、右カメラユニット2035の光軸のずれを検出するように構成されている。
[0166]
 具体的には、左カメラユニット2025の視野と右カメラユニット2035の視野が重複する領域A内に配置された壁Wに向けて、マーキング光源2005がマーキング光Mを出射する。壁Wと左カメラユニット2025の間の距離は、予め定められている。壁W上には、マーキング光Mの像が形成される。マーキング光Mの像は、左カメラユニット2025により取得される左画像LI内に含まれる(図7参照)。
[0167]
 左カメラユニット2025とマーキング光源2005の位置関係は予め調整されている。したがって、壁Wと左カメラユニット2025の間の距離が既知であれば、左画像LI内に現れるマーキング光Mの像の位置がわかる。左画像LI内に示される破線の円は、マーキング光Mの像が本来現れるべき位置を示している。
[0168]
 図示のようにマーキング光Mの像の位置が本来現れるべき位置からずれている場合、左カメラユニット2025の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、左ランプ装置2002が車両100に搭載される際に生じたずれや、車両100の使用に伴う左ランプ装置2002の位置や姿勢の変化が挙げられる。検出部2004Aは、このずれを検出する。検出結果は、検出部2004Aにより保持される。
[0169]
 検出結果は、保守業者などにより必要に応じて読み出され、車両100に対する左ランプ装置2002の位置や姿勢を調整する作業に利用されうる。あるいは、左ランプ装置2002に機械的な調整を施すことなく、左画像LIが処理される際に検出結果を補正情報として利用してもよい。例えば、左カメラユニット2025の光軸にずれが検出された場合、左カメラユニット2025から出力される左画像信号LSに対して必要な調整に対応する補正が加えられ、補正された左画像信号LSに基づいて画像処理が行なわれる。
[0170]
 他方、右カメラユニット2035により取得される右画像RI内にもマーキング光Mの像が含まれる。壁Wとマーキング光源2005に対する右カメラユニット2035の位置関係は既知であれば、右画像RI内に現れるマーキング光Mの像の位置がわかる。右画像RI内に示される破線の円は、マーキング光Mの像が本来現れるべき位置を示している(図7参照)。
[0171]
 図示のようにマーキング光Mの像の位置が本来現れるべき位置からずれている場合、右カメラユニット2035の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、右ランプ装置2003が車両100に搭載される際に生じたずれや、車両100の使用に伴う右ランプ装置2003の位置や姿勢の変化が挙げられる。検出部2004Aは、このずれを検出する。検出結果は、検出部2004Aにより保持される。
[0172]
 検出結果は、保守業者などにより必要に応じて読み出され、車両100に対する右ランプ装置2003の位置や姿勢を調整する作業に利用されうる。あるいは、右ランプ装置2003に機械的な調整を施すことなく、右画像RIが処理される際に検出結果を補正情報として利用してもよい。例えば、右カメラユニット2035の光軸にずれが検出された場合、右カメラユニット2035から出力される右画像信号RSに対して必要な調整に対応する補正が加えられ、補正された右画像信号RSに基づいて画像処理が行なわれる。
[0173]
 本実施形態の構成によれば、第四実施形態を参照して説明した利点に加え、マーキングに必要な光源の数を必要最小限にできるというメリットがある。
[0174]
 図9は、第六実施形態に係るセンサシステム2001Bの構成を模式的に示している。第五実施形態に係るセンサシステム2001Aの構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
[0175]
 本実施形態においては、マーキング光源2005は、左ランプ装置2002と右ランプ装置2003が搭載される車両100に固定されている。すなわち、左ランプ装置2002と右ランプ装置2003は、マーキング光源2005に対して相対変位可能である。換言すると、マーキング光源2005は、左ランプハウジング2021と右ランプハウジング2031に対して相対変位可能な位置に支持されている。
[0176]
 本実施形態においても、マーキング光源2005は、左カメラユニット2025の視野と右カメラユニット2035の視野が重複する領域A内に配置された壁Wに向けて、マーキング光Mを出射する。マーキング光Mの像は、左カメラユニット2025により取得される左画像LI内と右カメラユニット2035により取得される右画像RI内に含まれる(図7参照)。
[0177]
 壁Wとマーキング光源2005に対する左カメラユニット2025と右カメラユニット2035の各位置が既知であれば、左画像LI内と右画像RI内に現れるマーキング光Mの像の位置がわかる。左画像LIにおいてマーキング光Mの像の位置が本来現れるべき位置からずれている場合、左カメラユニット2025の光軸が所定の位置または方向からずれていることがわかる。同様に、右画像RIにおいてマーキング光Mの像の位置が本来現れるべき位置からずれている場合、右カメラユニット2035の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、左ランプ装置2002と右ランプ装置2003が車両100に搭載される際に生じたずれや、車両100の使用に伴う左ランプ装置2002と右ランプ装置2003の位置や姿勢の変化が挙げられる。検出部2004Aは、このずれを検出する。検出結果は、検出部2004Aにより保持される。
[0178]
 検出結果は、保守業者などにより必要に応じて読み出され、車両100に対する左ランプ装置2002と右ランプ装置2003の位置や姿勢を調整する作業に利用されうる。あるいは、左ランプ装置2002と右ランプ装置2003に機械的な調整を施すことなく、左画像LIと右画像RIが処理される際に検出結果を補正情報として利用してもよい。例えば、左カメラユニット2025の光軸にずれが検出された場合、左カメラユニット2025から出力される左画像信号LSに対して必要な調整に対応する補正が加えられ、補正された左画像信号LSに基づいて画像処理が行なわれる。右カメラユニット2035の光軸にずれが検出された場合、右カメラユニット2035から出力される右画像信号RSに対して必要な調整に対応する補正が加えられ、補正された右画像信号RSに基づいて画像処理が行なわれる。
[0179]
 本実施形態の構成によれば、第四実施形態と第五実施形態を参照して説明した利点に加え、各灯室内におけるカメラユニットとマーキング光源の事前位置合わせ作業を不要にできるというメリットがある。
[0180]
 図10は、第七実施形態に係るセンサシステム2001Cの構成を模式的に示している。第六実施形態に係るセンサシステム2001Bの構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
[0181]
 センサシステム2001Cは、支持体2006を備えている。支持体2006は、左ランプ装置2002の左ランプハウジング2021と右ランプ装置2003の右ランプハウジング2031の双方を支持している。支持体2006は、車両100に取り付けられる。これにより、左ランプ装置2002と右ランプ装置2003の車両100に対する位置が一括して定まる。マーキング光源2005は、支持体2006に支持されている。
[0182]
 本実施形態においても、マーキング光源2005は、左カメラユニット2025の視野と右カメラユニット2035の視野が重複する領域A内に配置された壁Wに向けて、マーキング光Mを出射する。マーキング光Mの像は、左カメラユニット2025により取得される左画像LI内と右カメラユニット2035により取得される右画像RI内に含まれる(図7参照)。
[0183]
 検出部2004Aは、左カメラユニット2025により取得された左画像LIにおけるマーキング光Mの像と右カメラユニット2035により取得された右画像RIにおけるマーキング光Mの像の少なくとも一方に基づいて、左カメラユニット2025の光軸と右カメラユニット2035の光軸の少なくとも一方のずれを検出する。
[0184]
 本実施形態の構成によれば、第四実施形態と第五実施形態を参照して説明した利点に加え、左ランプハウジング2021と右ランプハウジング2031の相対変位に起因する左カメラユニット2025と右カメラユニット2035の光軸ずれを抑制できるというメリットがある。
[0185]
 図11は、第八実施形態に係るセンサシステム2001Dの構成を模式的に示している。第七実施形態に係るセンサシステム2001Cの構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
[0186]
 本実施形態においては、マーキング光源2005は、支持体2006が搭載される車両100に固定されている。すなわち、左ランプ装置2002と右ランプ装置2003は、マーキング光源2005に対して相対変位可能である。換言すると、マーキング光源2005は、左ランプハウジング2021と右ランプハウジング2031に対して相対変位可能な位置に支持されている。
[0187]
 本実施形態においても、マーキング光源2005は、左カメラユニット2025の視野と右カメラユニット2035の視野が重複する領域A内に配置された壁Wに向けて、マーキング光Mを出射する。マーキング光Mの像は、左カメラユニット2025により取得される左画像LI内と右カメラユニット2035により取得される右画像RI内に含まれる(図7参照)。
[0188]
 検出部2004Aは、左カメラユニット2025により取得された左画像LIにおけるマーキング光Mの像と右カメラユニット2035により取得された右画像RIにおけるマーキング光Mの像の少なくとも一方に基づいて、左カメラユニット2025の光軸と右カメラユニット2035の光軸の少なくとも一方のずれを検出する。
[0189]
 本実施形態の構成によれば、第四実施形態、第五実施形態、および第七実施形態を参照して説明した利点に加え、各カメラユニットと支持体2006に支持されたマーキング光源2005の事前位置合わせ作業を不要にできるというメリットがある。
[0190]
 第四実施形態から第八実施形態は、本開示の理解を容易にするための例示にすぎない。第四実施形態から第八実施形態に係る各構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
[0191]
 第五実施形態から第八実施形態の各々においては、マーキング光Mは、左ランプ装置2002と右ランプ装置2003の前方に配置された壁Wに照射されている。しかしながら、マーキング光Mは、左カメラユニット2025の視野と右カメラユニット2035の視野が重複する領域Aであれば、図12の(A)に示されるように、路面Gなどにも照射されうる。
[0192]
 この場合、マーキング光Mを車両100のピッチング検出に利用できる。路面G上におけるマーキング光Mの投影像MIまでの距離は、左カメラユニット2025と右カメラユニット2035によって測定される。図12の(A)は、車両100のピッチング角がゼロである場合を示している。当該距離を所定値として記憶しておくことにより、その変化から車両100のピッチングを検出できる。図12の(B)に示されるように、投影像MIまでの距離が所定値よりも長ければ、車両100が上方にピッチングしていることが判る。図12の(C)に示されるように、投影像MIまでの距離が所定値よりも短ければ、車両100が下方にピッチングしていることが判る。
[0193]
 前述の通り、本明細書において、「左ランプハウジング」とは、車両側から見て右ランプハウジングよりも左側に位置しているランプハウジングを意味する。本明細書において、「右ランプハウジング」とは、車両側から見て左ランプハウジングよりも右側に位置しているランプハウジングを意味する。
[0194]
 したがって、ステレオカメラシステムが成立するのであれば、左ランプハウジングは、車両100の左部に配置される必要はなく、右ランプハウジングは、車両100の右部に配置される必要はない。例えば、左ランプ装置2002は、図2に示される車両100の右後隅部RBに配置されうる。この場合、右ランプ装置2003は、車両100の左後隅部LBに配置されうる。あるいは、左ランプ装置2002は、車両100の左後隅部LBに配置されうる。この場合、右ランプ装置2003は、車両100の左前隅部LFに配置されうる。
[0195]
 図13は、第九実施形態に係るセンサシステム3001の構成を模式的に示している。センサシステム3001は、左ランプ装置3002、右ランプ装置3003、および制御部3004を備えている。
[0196]
 左ランプ装置3002は、図2に示される車両100の左前隅部LFに搭載される。右ランプ装置3003は、車両100の右前隅部RFに搭載される。制御部3004は、車両100における適宜の箇所に配置される。
[0197]
 図13に示されるように、左ランプ装置3002は、左ランプハウジング3021と左透光カバー3022を備えている。左透光カバー3022は、車両100の外面の一部を形成する。左透光カバー3022は、左ランプハウジング3021とともに左灯室3023を区画している。すなわち、左ランプハウジング3021は、左灯室3023の一部を区画している。
[0198]
 左ランプ装置3002は、左ランプユニット3024を備えている。左ランプユニット3024は、車両100の前方を含む領域に向けて光を出射する灯具である。左ランプユニット3024は、例えば前照灯である。
[0199]
 左ランプ装置3002は、左カメラユニット3025を備えている。左カメラユニット3025は、左灯室3023に収容されている。左カメラユニット3025は、画角内に含まれる車両100の外部の画像(左画像)を取得し、左画像に対応する左画像信号LSを出力する。
[0200]
 右ランプ装置3003は、右ランプハウジング3031と右透光カバー3032を備えている。右透光カバー3032は、車両100の外面の一部を形成する。右透光カバー3032は、右ランプハウジング3031とともに右灯室3033を区画している。すなわち、右ランプハウジング3031は、右灯室3033の一部を区画している。
[0201]
 右ランプ装置3003は、右ランプユニット3034を備えている。右ランプユニット3034は、車両100の前方を含む領域に向けて光を出射する灯具である。右ランプユニット3034は、例えば前照灯である。
[0202]
 右ランプ装置3003は、右カメラユニット3035を備えている。右カメラユニット3035は、右灯室3033に収容されている。右カメラユニット3035は、画角内に含まれる車両100の外部の画像(右画像)を取得し、右画像に対応する右画像信号RSを出力する。
[0203]
 左カメラユニット3025の視野と右カメラユニット3035の視野は、一部が重複している。したがって、左カメラユニット3025と右カメラユニット3035は、ステレオカメラシステムを構成している。
[0204]
 制御部3004は、左カメラユニット3025および右カメラユニット3035と通信可能である。左画像信号LSと右画像信号RSは、制御部3004に入力される。
[0205]
 制御部3004は、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上記の処理を実行しうる。制御部3004は、ASICやFPGAなどの集積回路(ハードウェア資源)によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによって実現されうる。
[0206]
 図14は、制御部3004により実行される処理の第一の例を示している。
[0207]
 制御部3004は、左カメラユニット3025により取得された左画像と右カメラユニット3035により取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得する(STEP1)。対象物の例としては、車両100の前方に設置された較正用の目標物が挙げられる。マッチング技術を用いたステレオカメラによる測距の方法それ自体は周知であるので、詳細な説明は省略する。
[0208]
 次に制御部3004は、取得された第一距離情報を、第二距離情報と比較する(STEP2)。第二距離情報は、左カメラユニット3025および右カメラユニット3035とは独立して取得された上記対象物までの距離に対応する情報である。例えば較正用の目標物までの距離が予め定められている場合、第二距離情報は、制御部3004が予め保持しうる。
[0209]
 次に制御部3004は、第一距離情報と第二距離情報の比較結果に基づいて、左カメラユニット3025と右カメラユニット3035の少なくとも一方を較正するための較正情報を生成する(STEP3)。
[0210]
 第一距離情報と第二距離情報が一致しない場合がある。その原因としては、左カメラユニット3025と右カメラユニット3035の少なくとも一方の光軸の位置や向きの所定値からのずれが挙げられる。そのようなずれが生じる原因としては、左ランプ装置3002と右ランプ装置3003を車両100に搭載する際に生じる位置ずれや、車両100の使用に伴う光軸の位置や姿勢の経年変化が挙げられる。
[0211]
 較正情報は、第一距離情報を第二距離情報に一致させるために必要な調整量として生成される。較正情報は、制御部3004によって保持される。較正情報は、保守業者などにより必要に応じて読み出され、左カメラユニット3025と右カメラユニット3035の較正作業に利用されうる。あるいは、左カメラユニット3025と右カメラユニット3035に機械的な較正を施すことなく、制御部3004によって測距処理が行なわれる際に補正情報として利用されてもよい。例えば、左カメラユニット3025に較正が必要との情報が得られた場合、左カメラユニット3025から出力される左画像信号LSに対して必要な較正に対応する補正が加えられ、補正された左画像信号LSに基づいて測距処理が行なわれる。これにより、ステレオカメラシステムを含むセンサシステム3001の情報取得能力の低下を抑制できる。
[0212]
 図13に示されるように、センサシステム3001は、センサユニット3005を備えている。センサユニット3005は、車両100の外部に位置する対象物までの距離を検出可能なセンサを備えている。そのようなセンサの例として、LiDARセンサやミリ波レーダが挙げられる。
[0213]
 上記の第二距離情報は、センサユニット3005により取得されうる。すなわち、車両100の外部に位置する同一の対象物について、左カメラユニット3025および右カメラユニット3035を用いた測距と、センサユニット3005を用いた測距が行なわれ、両測距結果が比較される。比較結果に基づく較正情報の生成については、前述の例と同じである。
[0214]
 このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
[0215]
 図13に示されるように、センサシステム3001は、通信部3006を備えている。通信部3006は、制御部3004と通信可能に構成されている。通信は、有線接続を介して電気的あるいは光学的に行なわれてもよいし、無線通信を介して非接触に行なわれてもよい。制御部3004は、所定のタイミングで通信部3006へ制御信号を出力するように構成されている。通信部3006は、当該制御信号に応じてインフラ情報を取得するように構成されている。通信部3006は、取得したインフラ情報を制御部3004へ出力するように構成されている。
[0216]
 インフラ情報は、道路に関する情報と道路上の建造物に関する情報の少なくとも一方を含みうる。道路に関する情報の例としては、車線数、交差点の存在、横断歩道の存在、高速道路の出入口の存在、カーブの存在などが挙げられる。建造物の例としては、信号機、カーブミラー、歩道橋、バス停、有料道路の料金所などが挙げられる。
[0217]
 上記の第二距離情報は、通信部3006より取得されうる。すなわち、インフラ情報を参照することにより距離を特定可能な対象物に対して、左カメラユニット3025および右カメラユニット3035を用いた測距が行なわれる。測距結果より得られる第一距離情報は、インフラ情報より得られる第二距離情報と比較される。比較結果に基づく較正情報の生成については、前述の例と同じである。
[0218]
 このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
[0219]
 図15は、制御部3004により実行される処理の第二の例を示している。
[0220]
 制御部3004は、左カメラユニット3025により取得された左画像と右カメラユニット3035により取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得する(STEP11)。対象物の例としては、車両100の前方に設置された異常検出用の目標物が挙げられる。マッチング技術を用いたステレオカメラによる測距の方法それ自体は周知であるので、詳細な説明は省略する。
[0221]
 次に制御部3004は、取得された第一距離情報を、第二距離情報と比較する(STEP12)。第二距離情報は、左カメラユニット3025および右カメラユニット3035とは独立して取得された上記対象物までの距離に対応する情報である。例えば異常検出用の目標物までの距離が予め定められている場合、第二距離情報は、制御部3004が予め保持しうる。
[0222]
 次に制御部3004は、第一距離情報と第二距離情報の比較結果に基づいて、左カメラユニット3025と右カメラユニット3035の少なくとも一方について異常の有無を判断する(STEP13)。例えば、第一距離情報が示す対象物までの距離と第二距離情報が示す当該対象物までの距離の差異が所定の閾値を上回る場合、左カメラユニット3025と右カメラユニット3035の少なくとも一方に異常があると判断される(STEP13においてY)。異常がないと判断されると(STEP13においてN)、処理は終了する。
[0223]
 異常の原因の例としては、左カメラユニット3025と右カメラユニット3035の少なくとも一方の故障、少なくとも測距に係る左カメラユニット3025の視野に含まれる左透光カバー3022上の傷や汚れ、少なくとも測距に係る右カメラユニット3035の視野に含まれる右透光カバー3032上の傷や汚れなどが挙げられる。
[0224]
 続いて制御部3004は、異常の報知を行なう(STEP14)。報知は、視覚的報知、聴覚的報知、および触覚的報知の少なくとも一つを通じてなされる。左カメラユニット3025と右カメラユニット3035のいずれかに異常がある事実のみが報知されてもよいし、異常の原因となるカメラユニットが特定されて報知されてもよい。
[0225]
 異常な第一距離情報の原因となるカメラユニットの特定は、測距に用いられた各カメラユニットから対象物までの距離情報を、第二距離情報から推定される各カメラユニットから対象物までの距離情報と比較することにより行なわれうる。
[0226]
 これに加えてあるいは代えて、異常な第一距離情報の原因となるカメラユニットの特定は、左カメラユニット3025により取得された左画像と右カメラユニット3035により取得された右画像に対して画像認識処理を実行し、傷や汚れを原因とする不鮮明な箇所や故障を原因とする欠損が画像中に存在するかを判断することにより行なわれうる。
[0227]
 報知を受けたユーザは、異常を解消するために、透光カバーの洗浄やカメラユニットの保守点検を行ないうる。これにより、ステレオカメラシステムを含むセンサシステム3001の情報取得能力の低下を抑制できる。
[0228]
 上記の第二距離情報は、センサユニット3005により取得されうる。すなわち、車両100の外部に位置する同一の対象物について、左カメラユニット3025および右カメラユニット3035を用いた測距と、センサユニット3005を用いた測距が行なわれ、両測距結果が比較される。比較結果に基づく異常の検出については、前述の例と同じである。
[0229]
 このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、異常検出に使用される対象物の選定および異常検出を行なうタイミングに係る自由度が向上する。例えば、図15に破線で示されるように、異常が検出されなかった場合(STEP13においてN)において処理を終了するのではなく、定期的に処理を繰り返してもよい。
[0230]
 上記の第二距離情報は、通信部3006より取得されうる。すなわち、インフラ情報を参照することにより距離を特定可能な対象物に対して、左カメラユニット3025および右カメラユニット3035を用いた測距が行なわれる。測距結果より得られる第一距離情報は、インフラ情報より得られる第二距離情報と比較される。比較結果に基づく異常検出については、前述の例と同じである。
[0231]
 このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。例えば、図15に破線で示されるように、異常が検出されなかった場合(STEP13においてN)において処理を終了するのではなく、インフラ情報を取得する度に処理を繰り返してもよい。
[0232]
 図15に破線で示されるように、左カメラユニット3025と右カメラユニット3035の少なくとも一方に異常があると判断された場合(STEP13においてY)、第一距離情報の取得を中止してもよい(STEP15)。このとき、異常がないと判断されたカメラユニットから取得された画像に基づく対象物の認識処理は続行される。すなわち、ステレオカメラシステムを用いた測距機能のみを無効にする。
[0233]
 このような構成によれば、左カメラユニット3025と右カメラユニット3035の少なくとも一方に異常が存在する場合であっても、センサシステム3001の情報取得能力の低下を最小限に抑えることができる。
[0234]
 次に図16を参照しつつ、制御部3004により実行される処理の第三の例を説明する。図16の(A)は、左カメラユニット3025により取得された左画像LIと右カメラユニット3035により取得された右画像RIを示している。左画像LIと右画像RIの双方に、車両100の外部に位置する物体OBが含まれている。
[0235]
 物体OBまでの距離を測定するためには、物体OBに対する左カメラユニット3025と右カメラユニット3035の視差を特定する必要がある。視差を取得するためには、左画像LIと右画像RIの各々において物体OBの像の位置を特定する必要がある。物体OBの位置の特定は、左画像LIに含まれる画素の値と右画像RIに含まれる画素の値を比較し、値が類似する画素の集合を特定することにより行なわれる。値が類似する画素の集合が、物体OBの像に対応する。この画像処理は、ブロックマッチングと称される。
[0236]
 本例においては、制御部3004は、センサユニット3005により特定された物体OBの位置に係る情報に基づき、物体OBを含む左画像LIと右画像RIの各処理範囲を狭めるように構成されている。
[0237]
 具体的には、センサユニット3005によって車両100に対する物体OBの位置が特定されることにより、左カメラユニット3025により取得される左画像LIにおける物体OBの位置が大まかに推定されうる。同様に、右カメラユニット3035により取得される右画像RIにおける物体OBの位置が大まかに推定されうる。
[0238]
 図16の(B)における領域LAは、そのように推定された左画像LIにおいて物体OBが存在する可能性のある位置に対応している。同様に、領域RAは、そのように推定された右画像RIにおいて物体OBが存在する可能性のある位置に対応している。この場合、制御部3004は、領域LAと領域RAのみについて上述のブロックマッチングを実行する。
[0239]
 このような構成によれば、左画像LI全体と右画像RI全体について画像処理を行なう場合と比較して、処理負荷の軽減と処理速度の向上が可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報処理能力の低下を抑制できる。
[0240]
 第九実施形態は、本開示の理解を容易にするための例示にすぎない。第九実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
[0241]
 第九実施形態において、制御部3004は、左ランプ装置3002と右ランプ装置3003が搭載される車両100に配置されている。しかしながら、制御部3004は、左ランプ装置3002と右ランプ装置3003のいずれか一方に搭載されうる。
[0242]
 上記の実施形態において、左カメラユニット3025は、左ランプ装置3002の左灯室3023に収容されており、右カメラユニット3035は、右ランプ装置3003の右灯室3033に収容されている。このような左カメラユニット3025と右カメラユニット3035でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0243]
 しかしながら、左カメラユニット3025と右カメラユニット3035は、車両100における車室外の適宜の箇所に配置されうる。車室外に配置されることにより、長い基線長を確保できる一方で、各カメラユニットが熱や振動の影響を受けやすくなる。しかしながら、上述した較正情報の生成や異常検出を通じて、ステレオカメラシステムの情報処理能力の低下を抑制できる。
[0244]
 前述のように、本明細書において、「左カメラユニット」とは、車両側から見て右カメラユニットよりも左側に位置しているカメラユニットを意味する。本明細書において、「右カメラユニット」とは、車両側から見て左カメラユニットよりも右側に位置しているカメラユニットを意味する。
[0245]
 したがって、ステレオカメラシステムが成立するのであれば、左カメラユニット3025は、車両100の左部に配置される必要はなく、右カメラユニット3035は、車両100の右部に配置される必要はない。例えば、左カメラユニット3025は、図2に示される車両100の右後隅部RBに配置されうる。この場合、右カメラユニット3035は、車両100の左後隅部LBに配置されうる。あるいは、左カメラユニット3025は、車両100の左後隅部LBに配置されうる。この場合、右カメラユニット3035は、車両100の左前隅部LFに配置されうる。
[0246]
 図17は、第十実施形態に係るセンサシステム4001の構成を模式的に示している。センサシステム4001は、左ランプ装置4002と右ランプ装置4003を備えている。
[0247]
 左ランプ装置4002は、図2に示される車両100の左前隅部LFに搭載される。右ランプ装置4003は、車両100の右前隅部RFに搭載される。
[0248]
 図17に示されるように、左ランプ装置4002は、左ランプハウジング4021と左透光カバー4022を備えている。左透光カバー4022は、車両100の外面の一部を形成する。左透光カバー4022は、左ランプハウジング4021とともに左灯室4023を区画している。すなわち、左ランプハウジング4021は、左灯室4023の一部を区画している。
[0249]
 左ランプ装置4002は、左光源4024を備えている。左光源4024は、車両100の前方を含む領域に向けて所定の波長を有する光を出射する。左光源4024の例としては、発光ダイオードやレーザダイオードが挙げられる。左光源4024は、例えば前照灯やマーキング灯具の光源として使用される。左光源4024は、左灯室4023に収容されている。
[0250]
 左ランプ装置4002は、左走査部4025を備えている。左走査部4025は、左光源4024から出射される光の照射方向を周期的に変化させる機構である。左走査部4025の例としては、左光源4024から出射される光の反射方向を周期的に変化させるポリゴンミラー機構やブレードスキャン機構、左光源4024を支持する部材の方向を周期的に変化させるMEMS機構が挙げられる。左走査部4025は、左灯室4023に収容されている。
[0251]
 左ランプ装置4002は、左カメラユニット4026を備えている。左カメラユニット4026は、左灯室4023に収容されている。左カメラユニット4026は、視野内に含まれる車両100の外部の画像(左画像LI)を取得し、左画像LIに対応する左画像信号LSを出力する。
[0252]
 左画像LIの取得は、周期的に行なわれる。具体的には、左カメラユニット4026のシャッタが所定の周期で所定の時間だけ開放される。シャッタの開放時間は、左画像LIの取得に必要な露出時間に対応している。シャッタは、機械的シャッタでも電子的シャッタでもよい。
[0253]
 右ランプ装置4003は、右ランプハウジング4031と右透光カバー4032を備えている。右透光カバー4032は、車両100の外面の一部を形成する。右透光カバー4032は、右ランプハウジング4031とともに右灯室4033を区画している。すなわち、右ランプハウジング4031は、右灯室4033の一部を区画している。
[0254]
 右ランプ装置4003は、右光源4034を備えている。右光源4034は、車両100の前方を含む領域に向けて所定の波長を有する光を出射する。右光源4034の例としては、発光ダイオードやレーザダイオードが挙げられる。右光源4034は、例えば前照灯やマーキング灯具の光源として使用される。右光源4034は、右灯室4033に収容されている。
[0255]
 右ランプ装置4003は、右走査部4035を備えている。右走査部4035は、右光源4034から出射される光の照射方向を周期的に変化させる機構である。右走査部4035の例としては、右光源4034から出射される光の反射方向を周期的に変化させるポリゴンミラー機構やブレードスキャン機構、右光源4034を支持する部材の方向を周期的に変化させるMEMS機構が挙げられる。右走査部4035は、右灯室4033に収容されている。
[0256]
 右ランプ装置4003は、右カメラユニット4036を備えている。右カメラユニット4036は、右灯室4033に収容されている。右カメラユニット4036は、視野内に含まれる車両100の外部の画像(右画像RI)を取得し、右画像RIに対応する右画像信号RSを出力する。
[0257]
 右画像RIの取得は、周期的に行なわれる。具体的には、右カメラユニット4036のシャッタが所定の周期で所定の時間だけ開放される。シャッタの開放時間は、右画像RIの取得に必要な露出時間に対応している。シャッタは、機械的シャッタでも電子的シャッタでもよい
[0258]
 左カメラユニット4026の視野LVと右カメラユニット4036の視野RVは、一部が重複している。したがって、左カメラユニット4026と右カメラユニット4036は、ステレオカメラシステムを構成している。
[0259]
 センサシステム4001は、制御部4004を備えている。制御部4004は、左カメラユニット4026および右カメラユニット4036と通信可能である。左画像信号LSと右画像信号RSは、制御部4004に入力される。
[0260]
 制御部4004は、プロセッサとメモリを備えている。プロセッサの例としては、CPU、MPU、GPUが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ROMやRAMが挙げられる。ROMには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上記の処理を実行しうる。制御部4004は、ASICやFPGAなどの集積回路(ハードウェア資源)によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによって実現されうる。
[0261]
 左光源4024から出射される光4024aは、左カメラユニット4026の視野LV内を周期的に移動する。符号Pで示される直線は、左画像LIに対応する投影面を示している。具体的には、光4024aが方向L1に照射されるとき、光4024aは、左カメラユニット4026の視野LV内に進入する。すなわち、光4024aの照射方向が方向L1と方向L2の間の範囲内にあるとき、光4024aの像が左画像LI内に含まれうる。
[0262]
 図18の(A)は、左走査部4025による光4024aの照射方向の経時変化を示している。同図において、斜線が付された矩形状の領域は、左カメラユニット4026が左画像LIを取得している期間(すなわち左カメラユニット4026のシャッタが開放されている露光期間)を表している。
[0263]
 同図においては、光4024aの照射方向が左走査部4025により変化する周期と、左カメラユニット4026による左画像LIの取得周期とが一致していない。したがって、光4024aが投影面Pと交差する位置が、左画像LIの取得タイミング毎に異なる。すなわち、左画像LIに含まれる光4024aの像の位置が、左画像LIが取得される度に変化する。光4024aの像が左画像LI中に含まれる画像認識を要する他の像に重なると、画像認識処理を妨げるおそれが生ずる。
[0264]
 本実施形態に係る制御部4004は、左走査部4025により光4024aが基準方向へ照射される時点と、左画像LIを取得するための露光期間内の基準時点を一致させるように構成されている。具体的には、図17に示される基準方向L0へ光4024aが照射される時点が検出され、当該時点を基準として左カメラユニット4026による左画像LIの取得が行なわれる。例えば、左走査部4025を駆動するモータの回転量をエンコーダで検出するなどして方向L0へ光4024aが照射される時点が検出されうる。この検出に際して生成される信号が、左カメラユニット4026による左画像LIの取得のトリガとされうる。
[0265]
 その結果、図18の(B)に示されるように、光4024aの照射方向が左走査部4025により変化する周期と、左カメラユニット4026による左画像LIの取得周期とが一致する。したがって、光4024aが投影面Pと交差する位置が、左画像LIの取得タイミング毎に変化しない。すなわち、左画像LIに含まれる光4024aの像の位置が一定となる。
[0266]
 これにより、光4024aの像が画像認識に与える影響の除去が容易となる。例えば、光4024aが現れる特定の領域を画像認識の対象から除外するなどの処理が可能であり、左画像LIを用いて行なわれる画像認識処理の負荷増大を抑制できる。結果として、左光源4024から出射される光4024aの照射方向を周期的に変化させる左走査部4025とともに使用される左カメラユニット4026を含むセンサシステム4001の情報取得能力の低下を抑制できる。
[0267]
 図17に示されるように、上記の基準方向L0は、左画像LIの左端部に対応する方向である。したがって、光4024aの像は、常に左画像LIの左端部に現れる。
[0268]
 左カメラユニット4026の視野は、その中央部に認識を要する対象物が位置するように設計されることが一般的である。換言すると、左カメラユニット4026の視野の端部に含まれる情報は、当該視野の中央部に含まれる情報よりも重要度が低い傾向にある。そのような位置に光4024aの像が常に現れるようにすることにより、当該光像が画像認識に与える影響をさらに抑制できる。
[0269]
 制御部4004は、左画像LIに含まれる光4024aの像の位置に基づいて、左走査部4025の異常を判断するように構成されうる。具体的には、左画像LIに含まれる光4024aの像の位置が、所定のタイミングで検出される。所定のタイミングの例としては、左画像LIが取得される毎、所定時間の経過毎、ユーザの指示入力時などが挙げられる。
[0270]
 左走査部4025が正常に動作していれば、左画像LIに現れる光4024aの像の位置は一定である。したがって、光4024aの像の位置が所定の位置からずれている場合、左走査部4025に何らかの異常があると判断されうる。したがって、左光源4024から出射される光4024aを、左走査部4025の異常検出にも利用できる。
[0271]
 制御部4004は、光4024aの照射方向に対応する情報と左画像LIを取得するための露光期間に対応する情報に基づいて、左画像LIに含まれる光4024aの像の位置を特定するようにも構成されうる。
[0272]
 図18の(A)において、光4024aの照射方向が左走査部4025により変化する周期と、左カメラユニット4026による左画像LIの取得周期が既知であれば、例えば左走査部4025による走査動作の回数と左カメラユニット4026による露光動作の回数をカウントすることにより、特定の露光動作時における光4024aの照射方向を特定できる。結果として、取得される左画像LIにおける光4024aの像の位置を特定できる。
[0273]
 このような構成によれば、光4024aの像が現れる領域の予測に基づく画像認識処理を行なうことができる。したがって、左光源4024から出射される光4024aの照射方向を周期的に変化させる左走査部4025とともに使用される左カメラユニット4026を含むセンサシステム4001の情報取得能力の低下を抑制できる。
[0274]
 この場合においても、制御部4004は、左画像LIに含まれる光4024aの像の位置に基づいて、左走査部4025の異常を判断するように構成されうる。左走査部4025が正常に動作していれば、左画像LIに現れる光4024aの像の位置は予測可能である。したがって、光4024aの像の位置が予想された位置からずれている場合、左走査部4025に何らかの異常があると判断されうる。したがって、左光源4024から出射される光4024aを、左走査部4025の異常検出にも利用できる。
[0275]
 図18の(A)と(B)を参照する上記の説明は、右光源4034、右走査部4035、および右カメラユニット4036を含む右ランプ装置4003についても同様に適用できる。すなわち、右画像RIを用いて行なわれる画像認識処理の負荷増大を抑制できる。結果として、右光源4034から出射される光の照射方向を周期的に変化させる右走査部4035とともに使用される右カメラユニット4036を含むセンサシステム4001の情報取得能力の低下を抑制できる。
[0276]
 第十実施形態は、本開示の理解を容易にするための例示にすぎない。第十実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
[0277]
 第十実施形態において、制御部4004は、左ランプ装置4002と右ランプ装置4003が搭載される車両100に配置されている。しかしながら、制御部4004は、左ランプ装置4002と右ランプ装置4003のいずれか一方に搭載されうる。
[0278]
 上記の実施形態において、左カメラユニット4026は、左ランプ装置4002の左灯室4023に収容されており、右カメラユニット4036は、右ランプ装置4003の右灯室4033に収容されている。このような左カメラユニット4026と右カメラユニット4036でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長(両カメラの光軸間距離)を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
[0279]
 しかしながら、左カメラユニット4026と右カメラユニット4036は、車両100における車室外の適宜の箇所に配置されうる。車室外に配置されることにより、長い基線長を確保できる一方で、各カメラユニットが走査光の影響を受けやすくなる。しかしながら、上述した制御部4004による処理を通じて、ステレオカメラシステムの情報処理能力の低下を抑制できる。
[0280]
 図19に二点鎖線で示されるように、上記の実施形態においては、左透光カバー4022の内面4022aと外面4022bは、左カメラユニット4026の光軸Axに対して傾斜している。同図に実線で示されるように、変形例に係る左透光カバー4022Aにおいては、内面4022aと外面4022bの少なくとも一方は、光軸Axに直交する平坦面とされうる。これにより、左透光カバー4022の外側から入射する光(すなわち左カメラユニット4026による画像取得に関与する光)の挙動を単純化できる。特に内面4022aが平坦面とされる場合、左カメラユニット4026を内面4022aと接触するように配置できる。この場合、左光源4024から出射され左走査部4025により走査される光が左カメラユニット4026による画像取得に与える影響を抑制できる。左カメラユニット4026は、内面4022aから離間して配置されてもよい。
[0281]
 この説明は、右ランプ装置4003における右透光カバー4032と右カメラユニット4036についても同様に適用可能である。
[0282]
 前述の通り、本明細書において、「左カメラユニット」とは、車両側から見て右カメラユニットよりも左側に位置しているカメラユニットを意味する。本明細書において、「右カメラユニット」とは、車両側から見て左カメラユニットよりも右側に位置しているカメラユニットを意味する。
[0283]
 したがって、ステレオカメラシステムが成立するのであれば、左カメラユニット4026は、車両100の左部に配置される必要はなく、右カメラユニット4036は、車両100の右部に配置される必要はない。例えば、左カメラユニット4026は、図2に示される車両100の右後隅部RBに配置されうる。この場合、右カメラユニット4036は、車両100の左後隅部LBに配置されうる。あるいは、左カメラユニット4026は、車両100の左後隅部LBに配置されうる。この場合、右カメラユニット4036は、車両100の左前隅部LFに配置されうる。
[0284]
 本出願の記載の一部を構成するものとして、2017年9月28日に提出された日本国特許出願2017-188548号、2017年9月28日に提出された日本国特許出願2017-188549号、2017年9月28日に提出された日本国特許出願2017-188550号、および2017年9月28日に提出された日本国特許出願2017-188551号の内容が援用される。

請求の範囲

[請求項1]
 車両に搭載されるセンサシステムであって、
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
 前記左灯室に収容されており、第一画角を有している第一左カメラユニットと、
 前記左灯室に収容されており、前記第一画角よりも広い第二画角を有している第二左カメラユニットと、
 前記右灯室に収容されており、第三画角を有している第一右カメラユニットと、
 前記右灯室に収容されており、前記第三画角よりも広い第四画角を有している第二右カメラユニットと、
 前記第一左カメラユニットにより取得された第一左画像と前記第二左カメラユニットにより取得された第二左画像の一方から選ばれた左画像、および前記第一右カメラユニットにより取得された第一右画像と前記第二右カメラユニットにより取得された第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する画像認識部と、
を備えている、
センサシステム。
[請求項2]
 前記左画像と前記右画像は、前記車両の車速に基づいて選ばれる、
請求項1に記載のセンサシステム。
[請求項3]
 車両に搭載されるセンサシステムであって、
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
 前記左灯室に収容されており、第一画角を有する左カメラユニットと、
 前記右灯室に収容されており、前記第一画角と異なる第二画角を有している右カメラユニットと、
 前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像の少なくとも一方に基づいて、画像認識を実行する画像認識部と、
を備えている、
センサシステム。
[請求項4]
 前記左画像と前記右画像の少なくとも一方は、前記車両の車速に基づいて選ばれる、
請求項3に記載のセンサシステム。
[請求項5]
 車両に搭載されるセンサシステムであって、
 第一方向を向いた第一光軸を有している第一カメラユニットと、
 前記第一方向と異なる方向を向いた第二光軸を有している第二カメラユニットと、
 前記第一カメラユニットにより取得された第一画像と前記第二カメラユニットにより取得された第二画像に基づいて、画像認識を実行する画像認識部と、
を備えている、
センサシステム。
[請求項6]
 ランプユニットを収容する灯室の一部を区画しているランプハウジングを備えており、
 前記第一カメラユニットと前記第二カメラユニットの少なくとも一方は、前記灯室内に収容されている、
請求項5に記載のセンサシステム。
[請求項7]
 車両に搭載されるセンサシステムであって、
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
 前記左灯室に収容されている左カメラユニットと、
 前記右灯室に収容されている右カメラユニットと、
 基準光を出射する光源と、
 前記左カメラユニットにより取得された左画像における前記基準光の像と前記右カメラユニットにより取得された右画像における前記基準光の像の少なくとも一方に基づいて、前記左カメラユニットの光軸と前記右カメラユニットの光軸の少なくとも一方のずれを検出する検出部と、
を備えている、
センサシステム。
[請求項8]
 前記光源は、前記左カメラユニットの画像取得可能領域と前記右カメラユニットの画像取得可能領域が重なる領域に前記基準光を照射する、
請求項7に記載のセンサシステム。
[請求項9]
 前記左ランプハウジングと前記右ランプハウジングの双方を支持しており、前記車両に取り付けられる支持体を備えている、
請求項7または8に記載のセンサシステム。
[請求項10]
 前記光源は、前記左ランプハウジングおよび前記右ランプハウジングに対して相対変位可能な位置に支持されている、
請求項7から9のいずれか一項に記載のセンサシステム。
[請求項11]
 車両に搭載されるセンサシステムであって、
 前記車両の外部を含む左画像を取得する左カメラユニットと、
 前記車両の外部を含む右画像を取得する右カメラユニットと、
 前記左カメラユニットおよび前記右カメラユニットと通信可能である制御部と、
を備えており、
 前記制御部は、
  前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
  前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
  前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方を較正するための較正情報を生成する、
センサシステム。
[請求項12]
 前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
 前記第二距離情報は、前記センサユニットより取得される、
請求項11に記載のセンサシステム。
[請求項13]
 通信を介してインフラ情報を取得する通信部を備えており、
 前記第二距離情報は、前記通信部より取得される、
請求項11または12に記載のセンサシステム。
[請求項14]
 車両に搭載されるセンサシステムであって、
 前記車両の外部を含む左画像を取得する左カメラユニットと、
 前記車両の外部を含む右画像を取得する右カメラユニットと、
 前記左カメラユニットおよび前記右カメラユニットと通信可能な制御部と、
を備えており、
 前記制御部は、
  前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
  前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
  前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方の異常を検出する、
センサシステム。
[請求項15]
 前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
 前記第二距離情報は、前記センサユニットより取得される、
請求項14に記載のセンサシステム。
[請求項16]
 通信を介してインフラ情報を取得する通信部を備えており、
 前記第二距離情報は、前記通信部より取得される、
請求項14または15に記載のセンサシステム。
[請求項17]
 前記左カメラユニットと前記右カメラユニットの一方に異常が検出された場合、前記制御部は、前記第一距離情報の取得を中止し、正常なカメラユニットから取得された画像に基づく前記対象物の認識処理を続行する、
請求項14から16のいずれか一項に記載のセンサシステム。
[請求項18]
 車両に搭載されるセンサシステムであって、
 前記車両の外部を含む左画像を取得する左カメラユニットと、
 前記車両の外部を含む右画像を取得する右カメラユニットと、
 前記車両の外部に位置する物体の位置情報を取得するセンサユニットと、
 前記左カメラユニット、前記右カメラユニット、および前記センサユニットと通信可能な制御部と、
を備えており、
 前記制御部は、前記左カメラユニットにより取得された前記物体を含む前記左画像の処理範囲と前記右カメラユニットにより取得された前記物体を含む前記右画像の処理範囲の少なくとも一方を、前記位置情報に基づいて狭める、
センサシステム。
[請求項19]
 左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
 右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
を備えており、
 前記左カメラユニットは、前記左灯室内に収容されており、
 前記右カメラユニットは、前記右灯室内に収容されている、
請求項11から18のいずれか一項に記載のセンサシステム。
[請求項20]
 車両に搭載されるセンサシステムであって、
 光源と、
 前記光源から出射される光の照射方向を周期的に変化させる走査部と、
 前記車両の外部を含む画像を周期的に取得するカメラユニットと、
 前記走査部により前記光が基準方向へ照射される時点と、前記画像を取得するための露光期間内の基準時点とを一致させる制御部と、
を備えている、
センサシステム。
[請求項21]
 前記基準方向は、前記画像の端部に対応する方向である、
請求項20に記載のセンサシステム。
[請求項22]
 車両に搭載されるセンサシステムであって、
 光源と、
 前記光源から出射される光の照射方向を周期的に変化させる走査部と、
 前記車両の外部を含む画像を周期的に取得するカメラユニットと、
 前記照射方向に対応する情報と前記画像を取得するための露光期間に対応する情報に基づいて、前記画像に含まれる前記光の像の位置を特定する制御部と、
を備えている、
センサシステム。
[請求項23]
 前記制御部は、前記画像に含まれる前記光の像の位置に基づいて、前記走査部の異常を判断する、
請求項20から22のいずれか一項に記載のセンサシステム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]