Processing

Please wait...

Settings

Settings

1. WO2020004074 - IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, MOBILE DEVICE, AND PROGRAM

Document

明 細 書

発明の名称 画像処理装置、画像処理方法、移動機器、並びにプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007  

課題を解決するための手段

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019  

発明の効果

0020   0021  

図面の簡単な説明

0022  

発明を実施するための形態

0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205  

符号の説明

0206  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

明 細 書

発明の名称 : 画像処理装置、画像処理方法、移動機器、並びにプログラム

技術分野

[0001]
 本技術は画像処理装置、画像処理方法、移動機器、並びにプログラムに関し、例えば、撮像された画像を用いて距離測定を行うときに、より精度良く距離を測定できるようにした画像処理装置、画像処理方法、移動機器、並びにプログラムに関する。

背景技術

[0002]
 近年、ステレオカメラなど複数のカメラを用いて歩行者や車両などの障害物を検出することが実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ(視差)を算出し、算出した視差をもとに対象物の実空間上の位置を算出する装置である。このステレオカメラは、左右2つの撮像素子で撮像した1対の画像を用いて、対象物の距離を算出し、対象物の認識を行うものである。
[0003]
 特許文献1では、露光時間のことなる第1の画像と第2の画像を取得し、取得した第1の画像または第2の画像に対して輝度補正を行い、補正した画像を用いて視差を算出することが提案されている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2013-88587号公報

発明の概要

発明が解決しようとする課題

[0005]
 特許文献1によると、取得された画像に対して輝度補正を行うため、例えば画素値が飽和や黒潰れしている領域においては正しく輝度補正できず、結果として正しく視差を算出できない可能性があった。また、飽和や黒潰れが発生するような撮像が行われないように、適切な撮像が行われる必要があった。例えば、明暗が激しいシーンなどでは、飽和や黒潰れが発生しない撮像を行うのは難しく、画像内の一部の領域で飽和や黒潰れが発生してしまう可能性が高まり、正しい視差を算出できない可能性があった。
[0006]
 どのようなシーンであっても、正しい視差を算出できる、換言すれば精度良く、対象物までの距離を測定できることが望まれている。
[0007]
 本技術は、このような状況に鑑みてなされたものであり、対象物までの距離を精度良く測定することができるようにするものである。

課題を解決するための手段

[0008]
 本技術の一側面の第1の画像処理装置は、長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。
[0009]
 本技術の一側面の第1の画像処理方法は、画像処理装置が、長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する。
[0010]
 本技術の一側面の第1のプログラムは、コンピュータに、長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する処理を実行させる。
[0011]
 本技術の一側面の第1の移動機器は、長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラと、短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラと、前記第1の長時間露光カメラからの第1の長時間露光画像と、前記第2の長時間露光カメラからの第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、前記第1の短時間露光カメラからの第1の短時間露光画像と、前記第2の短時間露光カメラからの第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。
[0012]
 本技術の一側面の第2の画像処理装置は、長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成する第1の画像生成部と、前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成する第2の画像生成部と、前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。
[0013]
 本技術の一側面の第2の画像処理方法は、画像処理装置が、長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成し、前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成し、前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成し、前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する。
[0014]
 本技術の一側面の第2のプログラムは、コンピュータに、長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成し、前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成し、前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成し、前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する処理を実行させる。
[0015]
 本技術の一側面の第2の移動機器は、長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラと、短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラと、前記第1の長時間露光カメラからの第1の長時間露光画像と、前記第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成する第1の画像生成部と、前記第2の長時間露光カメラからの第2の長時間露光画像と、前記第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成する第2の画像生成部と、前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。
[0016]
 本技術の一側面の第1の画像処理装置、画像処理方法、プログラム、移動機器においては、長時間露光で画像が撮像され、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差が算出され、長時間露光距離画像が生成され、短時間露光で画像が撮像され、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差が算出され、短時間露光距離画像が生成され、長時間露光距離画像と短時間露光距離画像が合成されて距離画像が生成される。
[0017]
 本技術の一側面の第2の画像処理装置、画像処理方法、プログラム、移動機器においては、長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像が合成されることで、広ダイナミックレンジの第1の画像が生成され、第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像が合成されることで、広ダイナミックレンジの第2の画像が生成され、第1の画像と第2の画像とから視差が算出され、基準となる基準距離画像が生成され、第1の長時間露光画像と第2の長時間露光画像とから視差が算出され、長時間露光距離画像が生成され、基準距離画像と長時間露光距離画像が合成されて距離画像が生成される。
[0018]
 なお、画像処理装置、移動機器は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。また移動機器は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
[0019]
 また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

発明の効果

[0020]
 本技術の一側面によれば、対象物までの距離を精度良く測定することができる。
[0021]
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

図面の簡単な説明

[0022]
[図1] 本発明を適用した画像処理装置の第1の実施の形態における構成を示す図である。
[図2] 露光時間に関するタイミングチャートである。
[図3] カメラの配置について説明するための図である。
[図4] ラインまたは画素の配置について説明するための図である。
[図5] カメラの配置について説明するための図である。
[図6] カメラの配置について説明するための図である。
[図7] 画像処理装置の動作について説明するためのフローチャートである。
[図8] 距離画像の生成の仕方について説明するための図である。
[図9] 距離画像の生成の仕方について説明するための図である。
[図10] 本発明を適用した画像処理装置の第2の実施の形態における構成を示す図である。
[図11] 画像処理装置の動作について説明するためのフローチャートである。
[図12] 距離画像の生成の仕方について説明するための図である。
[図13] 距離画像の生成の仕方について説明するための図である。
[図14] 距離画像の生成の仕方について説明するための図である。
[図15] 距離画像の生成の仕方について説明するための図である。
[図16] 記録媒体について説明するための図である。

発明を実施するための形態

[0023]
 以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
[0024]
 本技術は、自己と所定の物体までの距離を測定する測定装置に適用できる。また、以下に説明する本実施の形態における距離の測定は、画像を撮像し、撮像した画像を解析することで行われる。以下の説明においては、撮像された画像を処理する画像処理装置に、本技術を適用した場合を例に挙げて説明を続ける。
[0025]
 また、画像処理装置は、例えば、車、ドローン、ロボットなどの移動物体に搭載され、物体までの距離を測定し、その物体との衝突を避けるなどの処理を行うときに用いることができる。本技術は、自律して移動する移動物体や、工場の製造ラインに設置されている機械などに適用可能である。以下の説明では、車に本技術を適用した画像処理装置を搭載した場合を例に挙げて説明を行う。
[0026]
 <第1の実施の形態における画像処理装置の構成>
 図1は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。図1に示した第1の実施の形態における画像処理装置12は、撮像装置11-1と撮像装置11-2でそれぞれ撮像された画像を処理する構成とされている。
[0027]
 撮像装置11-1と撮像装置11-2は、所定の間隔を有して配置され、例えば、車の左右にそれぞれ搭載されたカメラである。ここでは、撮像装置11-1は、車の左側に装着されたカメラであるとし、以下、左撮像装置11-1と記述する。また、撮像装置11-2は、車の右側に装着されたカメラであるとし、以下、右撮像装置11-2と記述する。なお、左撮像装置11-1と右撮像装置11-2を、個々に区別する必要が無い場合、単に撮像装置11と記述する。他の部分も同様に記述する。
[0028]
 左撮像装置11-1と右撮像装置11-2は、1組のステレオカメラを構成し、左撮像装置11-1で撮像された画像と、右撮像装置11-2で撮像された画像に視差があることを利用し、この2枚の画像が処理されることで、距離が測定され、距離画像が生成されるようにすることができる。
[0029]
 距離画像とは、距離に応じた色づけされた画像である。ここでの距離は、撮像装置11からの測定対象とされている物体までの距離であるとするが、例えば、車の中心から物体までの距離や、車の先端から物体までの距離であっても良く、距離としては、画像処理装置12を搭載している機器の任意の位置を基準とし、その基準とした位置からの距離であるとすることができる。
[0030]
 左撮像装置11-1は、長時間露光カメラ21-1と短時間露光カメラ22-1を備える。以下、左撮像装置11-1に含まれる長時間露光カメラ21-1と短時間露光カメラ22-1を、左長時間露光カメラ21-1と左短時間露光カメラ22-1と記述する。
[0031]
 同様に右撮像装置11-2は、長時間露光カメラ21-2と短時間露光カメラ22-2を備える。以下、右撮像装置11-2に含まれる長時間露光カメラ21-2と短時間露光カメラ22-2を、右長時間露光カメラ21-2と右短時間露光カメラ22-2と記述する。
[0032]
 以下の説明において、左長時間露光カメラ21-1と右長時間露光カメラ21-2を、個々に区別する必要が無い場合、単に長時間露光カメラ21と記述する。同様に、左短時間露光カメラ22-1と右短時間露光カメラ22-2を、個々に区別する必要が無い場合、単に短時間露光カメラ22と記述する。
[0033]
 長時間露光カメラ21は、短時間露光カメラ22の露光時間よりも長い時間露光し、画像を撮像する。長時間露光カメラ21で撮像された長時間露光画像と、短時間露光カメラ22で撮像された短時間露光画像を合成することで、広ダイナミックレンジ画像(HDR画像)を得ることができる。
[0034]
 長時間露光画像と短時間露光画像を個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、1つの画像を生成することで、広ダイナミックレンジ画像(HDR画像)を得ることができる。
[0035]
 長時間露光カメラ21の露光と短時間露光カメラ22の露光は、例えば、図2に示すようなタイミングで制御される。時刻t1において、長時間露光カメラ21と短時間露光カメラ22は、ともに露光を開始する。時刻t2において、短時間露光カメラ22は、露光を停止する。その後、時刻t3において、長時間露光カメラ21は、露光を停止する。
[0036]
 長時間露光カメラ21は、時刻t1から時刻t3まで(時間T1とする)露光し、短時間露光カメラ22は、時刻t1から時刻t2まで(時間T2とする)露光する。時間T1は、時間T2よりも長い時間である。このように露光が制御されることで、長時間露光カメラ21は、短時間露光カメラ22の露光時間よりも長い時間露光し、画像を撮像する。
[0037]
 なお、露光開始や終了のタイミングは、一例であり、長時間露光カメラ21の露光時間が、短時間露光カメラ22の露光時間よりも長くなるように制御されれば、露光開始のタイミングなどは、どのようなタイミングであっても、本技術に適用することができる。
[0038]
 またここでは、長時間露光と短時間露光を例に挙げて説明を続けるが、さらに他の露光時間を設けて、複数の露光時間の画像が合成されることで、HDR画像が生成されるようにしても良い。
[0039]
 例えば、一例として、図3に示すように、長時間露光用の長時間露光カメラ21、短時間露光用の短時間露光カメラ22、および長時間露光と短時間露光の中間の中時間露光用の中時間露光カメラ23を備える構成としても良い。
[0040]
 図3に示した左撮像装置11-1は、左長時間露光カメラ21―1、左短時間露光カメラ22―1、左中時間露光カメラ23―1の3台のカメラを備える構成とされている。同様に、右撮像装置11-2は、右長時間露光カメラ21―2、右短時間露光カメラ22―2、右中時間露光カメラ23―2の3台のカメラを備える構成とされている。
[0041]
 このような多眼ステレオカメラを、本技術に用いることもできる。すなわち、本技術は、1台の撮像装置11が、n(nは2以上)個の異なる露光時間で、それぞれ画像を撮像するn台のカメラで構成されている場合に適用できる。また、図4に示すように、1台の撮像装置11が、1台のカメラで構成されているようにすることもできる。
[0042]
 図4は、1台の撮像装置11を、1台のカメラで構成した場合について説明するための図である。図4では、長時間露光と短時間露光を、1台のカメラで行う場合を例に挙げて説明するが、図3を参照して説明したように、n個の異なる露光時間を、1台のカメラで行う場合にも適用できる。
[0043]
 図4のAに示すように、長時間露光のライン21Lと短時間露光のライン22Sを交互に配置し、長時間露光のライン21Lで長時間露光カメラ21を構成し、短時間露光のライン22Sで短時間露光カメラ22を構成する。
[0044]
 図4のBに示すように、長時間露光の画素21Lと短時間露光の画素22Sを縦方向および横方向にそれぞれ交互に配置し、長時間露光の画素21Lで長時間露光カメラ21を構成し、短時間露光の画素22Sで短時間露光カメラ22を構成する。
[0045]
 図4に示したように、撮像装置11を、ライン毎に長時間露光と短時間露光を行う構成としても良いし、画素毎にライン毎に長時間露光と短時間露光を行う構成としても良い。
[0046]
 ここでは1台の撮像装置11を、図1に示したように、長時間露光カメラ21と短時間露光カメラ22の2台のカメラで構成するようにした場合を例に挙げて説明を続ける。そして、長時間露光カメラ21と短時間露光カメラ22の2台のカメラの配置は、図5に示したように配置とすることができる。
[0047]
 図5のAに示した配置例は、長時間露光カメラ21と短時間露光カメラ22を横方向に配置した配置例である。また、図5のAに示した配置例は、長時間露光カメラ21を外側に配置し、短時間露光カメラ22を内側に配置した配置例である。左撮像装置11-1の左長時間露光カメラ21-1は、外側に配置され、左短時間露光カメラ22-1は、内側に配置されている。同様に、右撮像装置11-2の右長時間露光カメラ21-2は、外側に配置され、右短時間露光カメラ22-2は、内側に配置されている。
[0048]
 このように配置した場合、左長時間露光カメラ21-1と右長時間露光カメラ21-2の距離は、左短時間露光カメラ22-1と右短時間露光カメラ22-2の距離は、異なる距離となる。この配置の場合、ベースラインと露光時間がともに異なる配置となる。
[0049]
 図5のBに示した配置例は、長時間露光カメラ21と短時間露光カメラ22を横方向に配置した配置例である。また、図5のBに示した配置例は、左撮像装置11-1を構成する左長時間露光カメラ21-1と左短時間露光カメラ22-1の配置と、右撮像装置11-2を構成する右長時間露光カメラ21-2と右短時間露光カメラ22-2の配置を、同一の配置とした配置例である。
[0050]
 左撮像装置11-1の左長時間露光カメラ21-1は、外側に配置され、左短時間露光カメラ22-1は、内側に配置されている。一方、右撮像装置11-2の右長時間露光カメラ21-2は、内側に配置され、右短時間露光カメラ22-2は、外側に配置されている。
[0051]
 このように配置した場合、左長時間露光カメラ21-1と右長時間露光カメラ21-2の距離と、左短時間露光カメラ22-1と右短時間露光カメラ22-2の距離は、同じ距離となる。この配置の場合、ベースラインは共通となり、露光時間が異なる配置となる。
[0052]
 図5のCに示した配置例は、長時間露光カメラ21と短時間露光カメラ22を縦方向に配置した配置例である。また、図5のCに示した配置例は、長時間露光カメラ21を上側に配置し、短時間露光カメラ22を下側に配置した配置例である。
[0053]
 左撮像装置11-1の左長時間露光カメラ21-1は、縦方向において上側に配置され、左短時間露光カメラ22-1は、縦方向において下側に配置されている。同様に、右撮像装置11-2の右長時間露光カメラ21-2は、縦方向において上側に配置され、右短時間露光カメラ22-2は、縦方向において下側に配置されている。
[0054]
 このように配置した場合、左長時間露光カメラ21-1と右長時間露光カメラ21-2の距離と、左短時間露光カメラ22-1と右短時間露光カメラ22-2の距離は、同じ距離となる。この配置の場合、ベースラインは共通となり、露光時間が異なる配置となる。
[0055]
 図示はしないが、長時間露光カメラ21を縦方向において下側に配置し、短時間露光カメラ22を縦方向において上側に配置しても良い。
[0056]
 ここでは図示していない配置例で配置されていても良い。以下の説明では、図5のAまたは図5のBに示した横配置である配置例を例に挙げて説明を続ける。また、以下の説明においては、図1に示したように、2台の撮像装置11がある場合を例に挙げて説明を続けるが、図6に示すように、2台の撮像装置11に、長時間露光カメラまたは短時間露光カメラをさらに追加した構成とした場合にも、本技術を適用できる。
[0057]
 図6を参照するに、左撮像装置11-1と右撮像装置11-2との間に、中撮像装置11-3が追加された構成とされている。また、中撮像装置11-3は、長時間露光で画像を撮像する中長時間露光カメラ21-3を含む構成とされている。このように構成した場合、長時間露光カメラ21においては3つのペアでステレオ対応を取ることができる。
[0058]
 1つめのペアは、左長時間露光カメラ21-1と右長時間露光カメラ21-2とのペアである。2つめのペアは、左長時間露光カメラ21-1と中長時間露光カメラ21-3とのペアである。3つめのペアは、右長時間露光カメラ21-2と中長時間露光カメラ21-3とのペアである。
[0059]
 さらに、図6に示した構成によると、ステレオ対応としては左短時間露光カメラ22-1と右短時間露光カメラ22-2とのペアもある。このように、複数のステレオ対応で処理を行う構成としても良い。
[0060]
 なお、中撮像装置11-3を、中短時間露光カメラ22-3(不図示)で構成されるようにしても良い。この場合、短時間露光カメラ22において、3つのペアでのステレオ対応を取ることができる。
[0061]
 図6を参照して説明した構成にすると、例えば、左撮像装置11-1で撮像が行えなかった場合であっても、中撮像装置11-3で撮像を行うことで、中撮像装置11-3と右撮像装置11-2のペアにより、ステレオ対応を取ることができ、距離を測定することができる。
[0062]
 例えば、撮像装置11が車に搭載されている場合、泥や葉などが、カメラに付着し、画像を撮像できない状態になる可能性もある。このような状態が発生したときにも、図6に示したような構成とすることとで、画像を撮像できないカメラの代わりに、中撮像装置11-3で撮像を行うことで、ステレオ対応をとれるようにすることができる。
[0063]
 なお、撮像装置11を構成するカメラは、モノクロ画像を撮像するカメラであっても良いし、カラー画像を撮像するカメラであっても良い。また、近赤外(NIR:Near infrared)カメラ、遠赤外(FIR:Far infrared)カメラであっても良い。また、カラーカメラと近赤外カメラを組み合わせた構成や、カラーカメラと遠赤外カメラを組み合わせた構成とすることも可能である。
[0064]
 図1を参照した説明に戻る。
[0065]
 画像処理装置12は、左撮像装置11-1と右撮像装置11-2でそれぞれ撮像された画像を取得し、処理する。撮像装置11は、静止画像を所定の間隔で撮像し、撮像したタイミングで、画像処理装置12に供給することで、画像処理装置12に、画像が入力されるようにしても良い。
[0066]
 または、撮像装置11は、動画像を撮影し、画像処理装置12に画像(フレーム)を供給し続けることで、画像処理装置12に、画像が入力されるようにしても良い。または、画像処理装置12が、所定のタイミングで、撮像装置11を制御し、画像を撮像させ、その撮像させた画像を撮像装置11から取得するようにしても良い。
[0067]
 左撮像装置11-1の左長時間露光カメラ21―1で撮像された画像(以下、左長時間露光画像と記述する)と、右撮像装置11-2の右長時間露光カメラ21―2で撮像された画像(以下、右長時間露光画像と記述する)は、それぞれ長時間露光画像入力部31に供給される。
[0068]
 左撮像装置11-1の左短時間露光カメラ22―1で撮像された画像(以下、左短時間露光画像と記述する)と、右撮像装置11-2の右短時間露光カメラ22―2で撮像された画像(以下、右短時間露光画像と記述する)は、それぞれ短時間露光画像入力部32に供給される。
[0069]
 長時間露光画像入力部31に入力された左長時間露光画像と右長時間露光画像は、長時間露光マスク画像生成部33に供給される。短時間露光画像入力部32に入力された左短時間露光画像と右短時間露光画像は、短時間露光マスク画像生成部34に供給される。
[0070]
 長時間露光マスク画像生成部33は、供給された左長時間露光画像と右長時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした画像を生成する。左長時間露光画像をマスクした結果生成される画像を、左長時間露光マスク画像と記述し、右長時間露光画像をマスクした結果生成される画像を、右長時間露光マスク画像と記述する。
[0071]
 短時間露光マスク画像生成部34は、供給された左短時間露光画像と右短時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした画像を生成する。左短時間露光画像をマスクした結果生成される画像を、左短時間露光マスク画像と記述し、右短時間露光画像をマスクした結果生成される画像を、右短時間露光マスク画像と記述する。
[0072]
 長時間露光マスク画像生成部33で生成された左長時間露光マスク画像と右長時間露光マスク画像は、長時間露光距離画像生成部35に供給される。長時間露光距離画像生成部35は、左長時間露光マスク画像と右長時間露光マスク画像から、視差を計算し、距離画像を生成する。生成された距離画像を、長時間露光距離画像と記述する。なおここでは、マスクされた長時間露光マスク画像を用いて視差が算出される場合を例に挙げて説明を続けるが、例えば、長時間露光マスク画像生成部33におけるマスク処理をせずに、左長時間露光画像と右長時間露光画像から、視差が算出されるようにしても良い。
[0073]
 短時間露光マスク画像生成部34で生成された左短時間露光マスク画像と右短時間露光マスク画像は、短時間露光距離画像生成部36に供給される。短時間露光距離画像生成部36は、左短時間露光マスク画像と右短時間露光マスク画像から、視差を計算し、距離画像を生成する。生成された距離画像を、短時間露光距離画像と記述する。なおここでは、マスクされた短時間露光マスク画像を用いて視差が算出される場合を例に挙げて説明を続けるが、例えば、短時間露光マスク画像生成部34におけるマスク処理をせずに、左短時間露光画像と右短時間露光画像から、視差が算出されるようにしても良い。
[0074]
 長時間露光距離画像生成部35で生成された長時間露光距離画像と、短時間露光距離画像生成部36で生成された短時間露光距離画像は、合成画像生成部37に供給される。合成画像生成部37は、長時間露光距離画像と短時間露光距離画像を合成することで、距離画像を生成する。長時間露光距離画像と短時間露光距離画像は、それぞれマスクされた領域には、距離画像が生成されていないため、距離画像がない領域を補うような合成が行われる。
[0075]
 合成画像生成部37により生成された距離画像は、距離画像出力部38に供給され、図示されていない後段の処理部へと出力される。
[0076]
 <第1の実施の形態における画像処理装置の動作>
 図1に示した画像処理装置12の動作について、図7のフローチャートを参照して説明する。また、図7のフローチャートの各処理の具体的な処理例を、図8、図9を参照して説明する。
[0077]
 ステップS11において、長時間露光画像入力部31は、左撮像装置11-1の左長時間露光カメラ21―1で撮像された左長時間露光画像と、右撮像装置11-2の右長時間露光カメラ21―2で撮像された右長時間露光画像を取得する。取得された左長時間露光画像と右長時間露光画像は、長時間露光マスク画像生成部33に供給される。
[0078]
 ステップS12において、短時間露光画像入力部32は、左撮像装置11-1の左短時間露光カメラ22―1で撮像された左短時間露光画像と、右撮像装置11-2の右短時間露光カメラ22―2で撮像された右短時間露光画像を取得する。取得された左短時間露光画像と右短時間露光画像は、短時間露光マスク画像生成部34に供給される。
[0079]
 ステップS13において、長時間露光マスク画像生成部33は、供給された左長時間露光画像と右長時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした左長時間露光マスク画像と右長時間露光マスク画像を、それぞれ生成する。長時間露光により得られる画像は、撮像素子の飽和容量を超えてしまっている飽和領域、所謂白飛びが発生して領域がある可能性がある。
[0080]
 長時間露光マスク画像生成部33は、長時間露光画像の画素値が、所定の閾値V1より大きい否かを判定し、閾値V1より大きい画素をマスクした長時間露光マスク画像を生成する。このような判定を行うことで、飽和している領域を抽出し、飽和していると判定される領域をマスクしたマスク画像を生成することができる。
[0081]
 ステップS14において、短時間露光マスク画像生成部34は、供給された左短時間露光画像と右短時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした左短時間露光マスク画像と右短時間露光マスク画像を、それぞれ生成する。短時間露光により得られる画像は、黒潰れしてしまっている領域がある可能性がある。
[0082]
 短時間露光マスク画像生成部34は、短時間露光画像の画素値が、所定の閾値V2より小さいか否かを判定し、閾値V2より小さい画素をマスクした短時間露光マスク画像を生成する。このような判定を行うことで、黒潰れしている領域を抽出し、黒潰れしていると判定される領域をマスクしたマスク画像を生成することができる。
[0083]
 ここまでの処理を、図8を参照して再度説明を加える。図8の上部に示した4枚の画像は、それぞれ左長時間露光画像111、右長時間露光画像112、左短時間露光画像113、および右短時間露光画像114を表している。これらの画像は、同時刻に露光が開始され、撮像された画像であるとする。
[0084]
 左長時間露光画像111と右長時間露光画像112は、視差分のずれがある画像であるが、露光時間が同じであるため、飽和している領域は、略同じとなる。また、左短時間露光画像113と右短時間露光画像114は、視差分のずれがある画像であるが、露光時間が同じであるため、黒潰れしている領域は、略同じとなる。
[0085]
 これらの画像には、太陽、木、車、標識などが撮像されている。左長時間露光画像111と右長時間露光画像112において、例えば、空や木が撮像されている領域は、飽和領域であるとする。また、左短時間露光画像113と右短時間露光画像114において、例えば、車や標識が撮像されている領域は、黒潰れ領域であるとする。
[0086]
 このような画像を、長時間露光マスク画像生成部33と短時間露光マスク画像生成部34が、それぞれ処理した場合、図8の下部に示すようなマスク画像が生成される。
[0087]
 左長時間露光画像111と右長時間露光画像112が、それぞれ長時間露光マスク画像生成部33により処理されることで、車と標識が撮像されている以外の領域がマスクされた左長時間露光マスク画像121と右長時間露光マスク画像122が生成される。
[0088]
 左短時間露光画像113と右短時間露光画像114が、それぞれ短時間露光マスク画像生成部34により処理されることで、車と標識が撮像されている領域がマスクされた左短時間露光マスク画像123と右短時間露光マスク画像124が生成される。
[0089]
 このような処理が、ステップS11乃至S14において実行される。
[0090]
 図7のフローチャートを参照した説明にもどり、ステップS15において、長時間露光距離画像生成部35は、長時間露光距離画像を生成する。長時間露光距離画像生成部35には、長時間露光マスク画像生成部33から、飽和領域がマスクされたマスク画像が供給される。例えば、図8を参照して説明したように、車と標識以外の領域がマスクされた左長時間露光マスク画像121と右長時間露光マスク画像122が、長時間露光距離画像生成部35に供給される。
[0091]
 左長時間露光マスク画像121と右長時間露光マスク画像122は、視差分のずれがある画像であり、長時間露光距離画像生成部35は、左長時間露光マスク画像121と右長時間露光マスク画像122を用いて視差を算出する。例えば、ステレオマッチングにより視差が算出され、視差を基に計算された深度マップ、すなわち距離画像を生成する。
[0092]
 例えば、左長時間露光マスク画像121と右長時間露光マスク画像122は、車と標識の領域がマスクされずに残っている画像であるため、この車と標識までの視差(距離)が算出され、図9に示したような長時間露光距離画像131が生成される。
[0093]
 図7のフローチャートを参照した説明にもどり、ステップS16において、短時間露光距離画像生成部36は、短時間露光距離画像を生成する。短時間露光距離画像生成部36には、短時間露光マスク画像生成部34から、黒潰れ領域がマスクされたマスク画像が供給される。例えば、図8を参照して説明したように、車と標識の領域がマスクされた左短時間露光マスク画像123と右短時間露光マスク画像124が、短時間露光距離画像生成部36に供給される。
[0094]
 左短時間露光マスク画像123と右短時間露光マスク画像124は、視差分のずれがある画像であり、短時間露光距離画像生成部36は、左短時間露光マスク画像123と右短時間露光マスク画像124を用いて視差を算出する。例えば、左短時間露光マスク画像123と右短時間露光マスク画像124は、車と標識の領域がマスクされた画像であるため、この車と標識以外の物体までの距離が算出され、図9に示したような短時間露光距離画像132が生成される。
[0095]
 ステップS17において、合成画像生成部37は、長時間露光距離画像生成部35で生成された長時間露光距離画像131と、短時間露光距離画像生成部36で生成された短時間露光距離画像132を合成する処理を行う。
[0096]
 例えば、図9に示したように、車までの距離と標識までの距離が情報として含まれる長時間露光距離画像131と、車と標識以外の物体までの距離が情報として含まれる短時間露光距離画像132が合成されることで、距離画像141が生成される。この場合、長時間露光距離画像131では距離情報が欠落している部分は、短時間露光距離画像132で補われるため、生成される距離画像141は、距離情報が欠落している部分がない画像とすることができる。
[0097]
 長時間露光距離画像131と短時間露光距離画像132が合成されるとき、長時間露光距離画像131で欠落している領域の距離情報を、短時間露光距離画像132から抽出して補うように合成される。例えば、長時間露光距離画像131と短時間露光距離画像132の両方に、距離情報があるような領域は、長時間露光距離画像131の距離情報が優先的に用いられる。
[0098]
 長時間露光距離画像131と短時間露光距離画像132が合成されることで、ダイナミックレンジが広い画像から距離画像を生成した場合と同等の距離画像を得ることができる。すなわち、ダイナミックレンジが広い距離画像を生成することができる。さらに、得られる距離画像は、ゴーストなどの影響を受けていない画像とすることができる。
[0099]
 長時間露光画像と短時間露光画像を個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、1つの画像を生成することで、広ダイナミックレンジ画像(HDR画像)を得ることができる。
[0100]
 しかしながら、移動物体がある場合、長時間露光画像内の移動物体の位置と短時間露光画像内の移動物体の位置は異なるときがあり、そのようなときに、長時間露光画像と短時間露光画像を合成すると、合成された画像は、ぼけたり、物体が二重、三重になってしまったりするなどの現象、俗にゴーストなどと称される現象が発生してしまう。
[0101]
 上記した本実施の形態における処理では、左長時間露光画像111と右長時間露光画像112(図8)から長時間露光距離画像131(図9)を生成するため、生成された長時間露光距離画像131には、ゴースト現象は発生していない。
[0102]
 すなわち、左長時間露光画像111と右長時間露光画像112は、露光時間が同じであり、違いは視差のみであるため、合成時にゴーストが一切生じないステレオ画像が得られる。そのような画像から、距離画像を生成するため、長時間露光距離画像131にも、ゴースト現象は発生しない。
[0103]
 同様に、左短時間露光画像113と右短時間露光画像114(図8)から短時間露光距離画像132(図9)を生成するため、生成された短時間露光距離画像132には、ゴースト現象は発生していない。
[0104]
 すなわち、左短時間露光画像113と右短時間露光画像114は、露光時間が同じであり、違いは視差のみであるため、ゴーストが一切生じない正しい距離画像が得られる。そのような画像から、距離画像を生成するため、短時間露光距離画像132にも、ゴースト現象は発生しない。
[0105]
 そして、ゴースト現象が発生していない長時間露光距離画像131と短時間露光距離画像132を合成することで、最終的な距離画像141が生成されるため、生成された距離画像141も、ゴーストによる影響が一切ない正しい距離画像となる。
[0106]
 仮に、ゴースト現象が発生している画像から、距離画像を生成した場合、ゴーストの部分は、ゴーストであるのか、視差によるずれであるのか判定できず、誤った距離情報を含む距離画像が生成される可能性がある。しかしながら、本技術を用いて距離画像を生成することで、上記したように正しい距離情報を含む距離画像を生成することが可能となる。
[0107]
 また、長時間露光距離画像131(図9)は、飽和領域がマスキングされている左長時間露光マスク画像121と右長時間露光マスク画像122(図8)が用いられて生成されるため、この点においても、正しい距離情報を得ることができる。
[0108]
 仮に飽和領域から距離情報を取得するようにした場合、飽和領域の画素値は、正しい画素値ではないため、そのような画素値を用いて算出された距離情報も、正しい距離情報ではない可能性が高い。
[0109]
 しかしながら、本技術によれば、上記したように、飽和領域はマスキングして用いないようにしているため、換言すれば、正しい画素値が得られていると想定される領域から距離情報を算出しているため、得られる距離情報は、正しい距離情報である可能性が高い。
[0110]
 同様に、短時間露光距離画像132(図9)は、黒潰れの領域がマスキングされている左短時間露光マスク画像123と右短時間露光マスク画像124(図8)が用いられて生成されるため、この点においても、正しい距離情報を得ることができる。
[0111]
 すなわち、正しい画素値ではない可能性が高い黒潰れの領域はマスキングして用いないようにしているため、正しい画素値が得られていると想定される領域からのみ距離情報を算出することができ、得られる距離情報は、正しい距離情報である可能性が高い。
[0112]
 また、長時間露光距離画像131と短時間露光距離画像132(図9)を合成することで、距離画像141が生成されるが、この合成の処理のとき、露光時間の違いを吸収するための所定の係数を乗算するといったような処理を行わなくても良い。
[0113]
 通常、長時間露光時の画像と短時間露光時の画像を合成する場合、露光時間による差、例えば輝度値の差を吸収し、同一の露光時間で撮像された画像として扱えるようにするといった処理、例えば係数を乗算するといった処理が含まれる。
[0114]
 本実施の形態によれば、画像同士を合成するのではなく、距離画像(距離情報)を合成するため、このような処理を行わなくても良い。よって、適切な係数を設定したり、係数を乗算するといった処理を省いたりすることができるため、このような設定や処理を行うことにより発生する可能性のある誤差をなくすことができ、より精度良い距離測定を可能とすることができる。
[0115]
 また、通常、撮影するシーンにより、露光時間を変更する必要があるが、換言すれば、飽和や黒潰れができるだけ発生しないよう、シーンに合わせた露光時間を設定して撮像を行う必要がある。
[0116]
 本実施の形態によれば、露光時間の設定は必要無いため、急激なシーンの変化、例えば、暗いトンネルから抜け、明るいところに出たことにより、明るさが急減に変化するようなシーンにも対応でき、急激なシーンの変化が発生したような場合にも、正しい距離測定を行うことができる。
[0117]
 上記したように、本技術によると、飽和や黒潰れが発生した場合、その領域はマスキングして、距離測定には用いないようにしている。一方で、マスキングされた領域の情報は、その領域がマスクキングされてない他の画像から得ることができる(補間される)ようにしている。よって、飽和や黒潰れが発生したようなときにも対応できるため、そのような飽和や黒潰れが発生しないように、露光時間をシーンに合わせて設定しなくても良い。
[0118]
 よって、上記したように、急激なシーンの変化が発生したような場合にも、正しい距離測定を行うことができ、安定して処理を行うことができる。
[0119]
 <第2の実施の形態における画像処理装置の構成>
 図10は、本技術を適用した画像処理装置の他の実施の形態(第2の実施の形態)の構成を示す図である。
[0120]
 第2の実施の形態における画像処理装置211は、第1の実施の形態の画像処理装置12と同じく、左撮像装置11-1と右撮像装置11-2でそれぞれ撮像された画像を用いて、距離画像を生成する。左撮像装置11-1と右撮像装置11-2の構成やカメラの配置は、第1の実施の形態と同じようにすることができる。
[0121]
 画像処理装置211は、左撮像装置11-1を構成する左長時間露光カメラ21-1で撮像された左長時間露光画像を入力する左長時間露光画像入力部231と、左撮像装置11-1を構成する左短時間露光カメラ22-1で撮像された左短時間露光画像を入力する左短時間露光画像入力部232を備える。
[0122]
 また、画像処理装置211は、右撮像装置11-2を構成する右長時間露光カメラ21-2で撮像された右長時間露光画像を入力する右長時間露光画像入力部233と、右撮像装置11-2を構成する右短時間露光カメラ22-2で撮像された右短時間露光画像を入力する右短時間露光画像入力部234を備える。
[0123]
 左長時間露光画像入力部231に入力された左長時間露光画像と左短時間露光画像入力部232に入力された左短時間露光画像は、左マスク画像生成部235に供給される。左マスク画像生成部235は、左長時間露光画像と左短時間露光画像を用いて、動被写体を判定し、動被写体と判定された領域をマスクしたマスク画像を生成する。
[0124]
 左マスク画像生成部235は、左長時間露光画像をマスクした左長時間露光マスク画像と、左短時間露光画像をマスクした左短時間露光マスク画像を生成し、左HDR生成部237に供給する。
[0125]
 右長時間露光画像入力部233に入力された右長時間露光画像と右短時間露光画像入力部234に入力された右短時間露光画像は、右マスク画像生成部236に供給される。右マスク画像生成部236は、右長時間露光画像と右短時間露光画像を用いて、動被写体を判定し、動被写体と判定された領域をマスクしたマスク画像を生成する。
[0126]
 右マスク画像生成部236は、右長時間露光画像をマスクした右長時間露光マスク画像と、右短時間露光画像をマスクした右短時間露光マスク画像を生成し、右HDR生成部238に供給する。
[0127]
 左HDR生成部237は、左長時間露光マスク画像と左短時間露光マスク画像を合成することで、HDR画像(左HDR画像と記述)を生成する。生成される左HDR画像マスク画像から生成されているため、マスクされている領域は、マスクされたままの画像である。この場合、動被写体がマスクされているため、動被写体がマスクされた左HDR画像が生成される。生成された左HDR画像は、基準距離画像生成部239に供給される。なおここでは、マスクされた長時間露光マスク画像と短時間露光マスク画像を用いてHDR画像が生成される場合を例に挙げて説明を続けるが、例えば、左マスク画像生成部235におけるマスク処理をせずに、左長時間露光画像と左短時間露光画像から、左HDR画像が生成されるようにしても良い。
[0128]
 右HDR生成部238は、右長時間露光マスク画像と右短時間露光マスク画像を合成することで、HDR画像(右HDR画像と記述)を生成する。生成される右HDR画像マスク画像から生成されているため、マスクされている領域は、マスクされたままの画像である。この場合、動被写体がマスクされているため、動被写体がマスクされた右HDR画像が生成される。生成された右HDR画像は、基準距離画像生成部239に供給される。なおここでは、マスクされた長時間露光マスク画像と短時間露光マスク画像を用いてHDR画像が生成される場合を例に挙げて説明を続けるが、例えば、右マスク画像生成部236におけるマスク処理をせずに、右長時間露光画像と右短時間露光画像から、右HDR画像が生成されるようにしても良い。
[0129]
 基準距離画像生成部239は、左HDR画像と右HDR画像を用いて、距離画像を生成する。左HDR画像は、左撮像装置11-1で撮像された画像から生成されたHDR画像であり、右HDR画像は、右撮像装置11-2で撮像された画像から生成されたHDR画像である。左HDR画像と右HDR画像を用いて、例えばステレオマッチングにより距離画像が生成される。
[0130]
 左HDR画像と右HDR画像は、それぞれ動被写体がマスクされた画像から生成された画像であるため、距離画像も、動被写体の領域の距離情報が欠落している画像となる。この欠落している部分の距離画像は、長時間露光画像と短時間露光画像を処理することで生成され、補間(合成)される。ここでは、基準距離画像生成部239は、合成される距離画像の基準となる画像とし、基準距離画像と記述する。
[0131]
 基準距離画像生成部239により生成された基準距離画像は、第1の距離画像合成部242に供給される。第1の距離画像合成部242には、長時間露光距離画像生成部240で生成された長時間露光距離画像も供給される。
[0132]
 長時間露光距離画像生成部240には、左長時間露光画像入力部231から左長時間露光画像と、右長時間露光画像入力部233から右長時間露光画像と、左マスク画像生成部235からマスクされた領域に関する情報が、供給される。
[0133]
 長時間露光距離画像生成部240は、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左長時間露光画像と右長時間露光画像を用いて生成する。左長時間露光画像と右長時間露光画像は、ともに長時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。
[0134]
 第1の距離画像合成部242は、基準距離画像生成部239からの基準距離画像と、長時間露光距離画像生成部240の長時間露光距離画像を合成する。基準距離画像のマスキングされている領域に該当する領域の距離画像が、長時間露光距離画像から抽出され、合成される。合成後の距離画像は、第2の距離画像合成部243に供給される。
[0135]
 第2の距離画像合成部243には、短時間露光距離画像生成部241で生成された短時間露光距離画像も供給される。短時間露光距離画像生成部241には、左短時間露光画像入力部232から左短時間露光画像と、右短時間露光画像入力部234から右短時間露光画像と、右マスク画像生成部236からマスクされた領域に関する情報が、供給される。
[0136]
 短時間露光距離画像生成部241は、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左短時間露光画像と右短時間露光画像を用いて生成する。左短時間露光画像と右短時間露光画像は、ともに短時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。
[0137]
 第2の距離画像合成部243は、第1の距離画像合成部242からの距離画像と、短時間露光距離画像生成部241の短時間露光距離画像を合成する。第1の距離画像合成部242からの距離画像は、既に、長時間露光画像から生成された距離画像で、マスクされていた領域の距離画像が補間されている。補間仕切れてない領域に対して、その該当する距離画像が、短時間露光距離画像から抽出され、合成される。合成後の距離画像は、距離画像出力部244に供給される。
[0138]
 距離画像出力部244は、供給された距離画像を、図示されていない後段の処理部へと出力する。
[0139]
 <第2の実施の形態における画像処理装置の動作>
 図10に示した画像処理装置211の動作について、図11のフローチャートを参照して説明する。また、図11のフローチャートの各処理の具体的な処理例を、図12乃至15を参照して説明する。
[0140]
 ステップS111において、左長時間露光画像入力部231は、左撮像装置11-1の左長時間露光カメラ21―1で撮像された左長時間露光画像を取得し、左マスク画像生成部235に供給する。また、左短時間露光画像入力部232は、左撮像装置11-1の左短時間露光カメラ22―1で撮像された左短時間露光画像を取得し、左マスク画像生成部235に供給する。
[0141]
 ステップS112において、左マスク画像生成部235は、供給された左長時間露光画像と左短時間露光画像の動被写体を抽出し、それらの領域をマスクした左長時間露光マスク画像と左短時間露光マスク画像を、それぞれ生成する。
[0142]
 左マスク画像生成部235は、動被写体の検出を、例えば、以下の判定式(1)に基づく判定を行うことで行い、判定式(1)に該当する画素をマスクする。
 |(左長時間露光画像)×(係数g1)―(左短時間露光画像)×(係数g2)|
               > (閾値Th1)  ・・・(1)
[0143]
 左長時間露光画像と左短時間露光画像は、露光時間が異なるため、係数g1と係数g2を、それぞれ左長時間露光画像と左短時間露光画像に乗算し、露光時間が同一の画像として比較できるようにしてから、減算が行われる。
[0144]
 左長時間露光画像と左短時間露光画像は、露光時間が異なるだけで、同一のシーンを撮影しているため、同一の位置の画素値は、基本的に同一となる。しかしながら動被写体の場合、長時間露光と短時間露光の時間差の間に、動被写体が移動し、同一の位置の画素値であっても同一とはならない可能性がある。
[0145]
 式(1)は、左長時間露光画像の画素値に係数g1を乗算した値から、左短時間露光画像の画素値に係数g2を乗算した値を減算し、その絶対値が、閾値Th1より大きいか否かを判定する式である。絶対値が、閾値Th1よりも大きい場合は、左長時間露光画像の画素値と左短時間露光画像の画素値の差分が大きいことを示し、上記したように、動被写体が撮像されている領域である可能性が高い。
[0146]
 ステップS112において、左マスク画像生成部235により、左長時間露光画像のうち動被写体がマスクされた左長時間露光マスク画像と、左短時間露光画像のうち動被写体がマスクされた左短時間露光マスク画像とが生成され、左HDR生成部237に供給される。
[0147]
 ステップS113において、左HDR生成部237は、供給された左長時間露光マスク画像と左短時間露光マスク画像を合成し、左HDR画像を生成し、基準距離画像生成部239に供給する。長時間露光画像と短時間露光画像を合成することで、広ダイナミックレンジの画像を生成する処理は、既存の処理を適用できる。例えば、式(1)と同じく、露光時間の違いを吸収するための係数が乗算された後、合成されるなどの処理がなされる。
[0148]
 左撮像装置11-1で撮像された画像に対するステップS111乃至S113の処理と同様に、ステップS114乃至S116において右撮像装置11-2で撮像された画像に対する処理が実行される。
[0149]
 ステップS114において、右長時間露光画像入力部233は、右撮像装置11-2の右長時間露光カメラ21―2で撮像された右長時間露光画像を取得し、右マスク画像生成部236に供給する。また、右短時間露光画像入力部234は、右撮像装置11-2の右短時間露光カメラ22―2で撮像された右短時間露光画像を取得し、右マスク画像生成部236に供給する。
[0150]
 ステップS115において、右マスク画像生成部236は、供給された右長時間露光画像と右短時間露光画像の動被写体を抽出し、それらの領域をマスクした右長時間露光マスク画像と右短時間露光マスク画像を、それぞれ生成する。ステップS115におけるマスク処理は、ステップS112におけるマスク処理と、基本的に同様に行われる。
[0151]
 すなわち、動被写体の検出は、以下の判定式(2)に基づく判定が行われることで行われ、判定式(2)に該当する画素がマスクされる。
 |(右長時間露光画像)×(係数g1)―(右短時間露光画像)×(係数g2)|
               > (閾値Th2)  ・・・(2)
[0152]
 式(2)においては、閾値Th2としたが、閾値Th1(式(1))と同一の閾値であっても良い。また、式(2)では、係数g1、係数g2とし、式(1)と同じ係数が用いられるとして記載しているが、式(1)とは異なる係数が用いられるようにしても良い。
[0153]
 式(2)の判定式により、絶対値が、閾値Th2よりも大きいと判定された画素値(領域)は、動被写体が撮像されている領域であるとしてマスクされる。
[0154]
 ステップS115において、右マスク画像生成部236により、右長時間露光画像のうち動被写体がマスクされた右長時間露光マスク画像と、右短時間露光画像のうち動被写体がマスクされた右短時間露光マスク画像とが生成され、右HDR生成部238に供給される。
[0155]
 ステップS116において、右HDR生成部238は、供給された右長時間露光マスク画像と右短時間露光マスク画像を合成し、右HDR画像を生成し、基準距離画像生成部239に供給する。
[0156]
 ステップS117において、基準距離画像生成部239は、左HDR画像と右HDR画像を用いて、基準距離画像を生成する。左HDR画像と右HDR画像は、視差分のずれがある画像であり、基準距離画像生成部239は、左HDR画像と右HDR画像を用いて視差を算出する。例えば、ステレオマッチングにより視差が算出され、視差を基に計算された深度マップ、すなわち距離画像を生成する。
[0157]
 ここまでの処理について、図12、図13を参照して再度説明する。図12の上部に示した4枚の画像は、それぞれ左長時間露光画像111、右長時間露光画像112、左短時間露光画像113、および右短時間露光画像114を表している。これらの画像は、図8に示した画像と同じである場合を例に挙げて説明を続ける。
[0158]
 左長時間露光画像111が、左マスク画像生成部235により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた左長時間露光マスク画像311が生成される。
[0159]
 同じく左短時間露光画像113が、左マスク画像生成部235により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた左短時間露光マスク画像313が生成される。
[0160]
 このようにして生成された左長時間露光マスク画像311と左短時間露光マスク画像313から、左HDR画像321(図13)が生成される。左HDR画像321も、車の領域はマスクされた画像である。
[0161]
 このように、動被写体の領域は、マスクされ、マスクされた画像が用いられて、HDR画像が生成されるため、生成された左HDR画像321は、ゴーストが発生していない画像とすることができる。
[0162]
 左撮像装置11-1で撮像された左長時間露光画像111と左短時間露光画像113に対する処理と同じ処理が、右撮像装置11-2で撮像された右長時間露光画像112と右短時間露光画像114に対しても行われる。
[0163]
 右長時間露光画像112(図12)が、右マスク画像生成部236により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた右長時間露光マスク画像312が生成される。
[0164]
 同じく右短時間露光画像114が、右マスク画像生成部236により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた右短時間露光マスク画像314が生成される。
[0165]
 このようにして生成された右長時間露光マスク画像312と右短時間露光マスク画像314から、右HDR画像322(図13)が生成される。右HDR画像322も、車の領域はマスクされた画像である。
[0166]
 このように、動被写体の領域は、マスクされ、マスクされた画像が用いられて、HDR画像が生成されるため、生成された右HDR画像322は、ゴーストが発生していない画像とすることができる。
[0167]
 基準距離画像生成部239は、左HDR画像321と右HDR画像322を用いて、基準距離画像331を生成する。基準距離画像331も、動被写体と判定された車の領域はマスクされた画像(車の領域の距離画像がない画像)である。
[0168]
 このように基準距離画像331が生成されるため、基準距離画像331は、ゴーストによる影響を受けていない距離情報(距離画像)とすることができ、精度良く距離測定できた画像とすることができる。
[0169]
 基準距離画像331は、動被写体の領域の距離情報が無い画像であるため、この動被写体の領域の距離情報を生成する処理が、実行される。
[0170]
 図11のフローチャートを参照した説明に戻り、ステップS117において、基準距離画像が生成されると、処理は、ステップS118に進められる。ステップS118において、長時間露光距離画像生成部240により、マスク領域の距離画像の生成が、長時間露光画像を用いて行われる。
[0171]
 長時間露光距離画像生成部240は、左長時間露光画像入力部231からの左長時間露光画像と、右長時間露光画像入力部233からの右長時間露光画像と、左マスク画像生成部235からのマスクされた領域に関する情報を用い、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左長時間露光画像と右長時間露光画像を用いて生成する。左長時間露光画像と右長時間露光画像は、ともに長時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。
[0172]
 ステップS119において、第1の距離画像合成部242は、基準距離画像生成部239からの基準距離画像と、長時間露光距離画像生成部240の長時間露光距離画像を合成する。基準距離画像のマスクされている領域に該当する領域の距離画像が、長時間露光距離画像から抽出され、基準距離画像に合成される。合成後の距離画像は、第2の距離画像合成部243に供給される。
[0173]
 なお、第1の距離画像合成部242における合成において、基準距離画像で欠落している距離情報が、全て長時間露光距離画像で補完できた場合には、合成後の距離画像は、第2の距離画像合成部243ではなく、距離画像出力部244に供給されるようにし、また、ステップS123以降の処理は行われないようにしても良い。
[0174]
 ステップS120において、短時間露光距離画像生成部241により、短時間露光画像を用いた、マスク領域の距離画像の生成が行われる。
[0175]
 短時間露光距離画像生成部241は、左短時間露光画像入力部232からの左短時間露光画像と、右短時間露光画像入力部234からの右短時間露光画像と、右マスク画像生成部236からのマスクされた領域に関する情報を用い、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左短時間露光画像と右短時間露光画像を用いて生成する。左短時間露光画像と右短時間露光画像は、ともに短時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。
[0176]
 第2の距離画像合成部243は、第1の距離画像合成部242からの距離画像と、短時間露光距離画像生成部241の短時間露光距離画像を合成する。第1の距離画像合成部242からの距離画像は、既に、長時間露光画像から生成された距離画像で、マスクされていた領域の距離画像が補間されている。さらに必要に応じて、短時間露光距離画像の結果を合成することもできる。また、用途に応じて、短時間露光距離画像、長時間露光距離画像のどちらを優先的に採用するかは選択できる。合成後の距離画像は、距離画像出力部244に供給される。
[0177]
 このようにして、ゴーストの影響を受けない距離画像が生成される。
[0178]
 ステップS118乃至S121の処理について、再度、図14、図15を参照して説明する。
[0179]
 図14に示したように、長時間露光距離画像生成部240は、左長時間露光画像111と右長時間露光画像112から、長時間露光距離画像341を生成する。生成される長時間露光距離画像341は、左マスク画像生成部235により動被写体の領域であるとしてマスクされた領域の情報に基づき、マスクされている領域に該当する領域の距離画像のみを生成する。
[0180]
 この場合、車の領域が、マスクされた領域であるため、長時間露光距離画像341は、車の領域の距離画像となる。
[0181]
 同様に、短時間露光距離画像生成部241は、左短時間露光画像113と右短時間露光画像114から、短時間露光距離画像342を生成する。生成される短時間露光距離画像342は、右マスク画像生成部236により動被写体の領域であるとしてマスクされた領域の情報に基づき、マスクされている領域に該当する領域の距離画像のみを生成する。
[0182]
 この場合、車の領域が、マスクされた領域であるため、短時間露光距離画像342は、車の領域の距離画像となる。
[0183]
 図15に示すように、第1の距離画像合成部242と第2の距離画像合成部243の処理により、基準距離画像331、長時間露光距離画像341、および短時間露光距離画像342が合成されることで、最終的な距離画像351が生成される。
[0184]
 このようにして、ゴーストの影響を受けていない距離画像351を生成することができる。よって、本技術によれば、精度良い距離測定を行い、距離画像を生成することができる。
[0185]
 <第3の実施の形態における画像処理装置の構成、動作>
 第3の実施の形態における画像処理装置の構成と動作について説明する。第3の実施の形態における画像処理装置は、図10に示した第2の実施の形態における画像処理装置211と同様の構成とすることができるため、ここではその説明を省略する。また、第3の実施の形態における画像処理装置211は、図11に示した第2の実施の形態における画像処理装置211の動作と基本的に同様の動作を行うため、ここではその詳細な説明は省略する。
[0186]
 第3の実施の形態における画像処理装置211(図10)は、左マスク画像生成部235と右マスク画像生成部236が、マスク画像を生成するときのマスクの仕方が、第2の実施の形態における画像処理装置211と異なる。
[0187]
 換言すれば、第3の実施の形態における画像処理装置211が、ステップS112またはステップS115の処理を実行するときの、マスクする領域を設定する際の設定の仕方が異なる。
[0188]
 左マスク画像生成部235と右マスク画像生成部236は、セマンティックセグメンテーション(Semantic Segmentation)に基づき、マスクする領域を設定する。セマンティックセグメンテーションとは、画像を画素レベルで把握し、画像内の各画素をオブジェクト、例えば、人、車、木、空といったクラスに割り当てる処理である。
[0189]
 例えば、セマンティックセグメーションによると、図14の上部に示したような画像、例えば、左長時間露光画像111が解析されると、太陽、空、木、車、地面、標識等に、各画素が関連付けられる。
[0190]
 本実施の形態における画像処理装置211に、セマンティックセグメンテーションを適用することができる。左マスク画像生成部235と右マスク画像生成部236が、セマンティックセグメンテーションによりマスクする領域を設定する場合、例えば、車、人などの動体となる可能性のある物体を検出し、その検出された車、人などをマスクする領域として設定する。
[0191]
 セマンティックセグメンテーションにより、静止している車や人なども、検出される。車、人などは動被写体(動体となる可能性のある物体)であるため、第2の実施の形態と同じく、動被写体を検出し、そのような領域をマスクすることができる。
[0192]
 第3の実施の形態においても、ゴーストの影響を受けていない距離画像を生成することができる。また、精度良い距離測定を行い、距離画像を生成することができる。
[0193]
 上記した実施の形態における画像処理装置12(211)は、例えば、車、ドローン、ロボットなどの移動機器に搭載することができる。また、移動機器の前方、後方、左方、右方などに、撮像装置11が搭載され、搭載された撮像装置11からの画像が、画像処理装置12(211)により処理されることで、所定の物体と移動機器との距離が測定される。
[0194]
 なお、上記した実施の形態においては、距離画像が生成されるとして説明を行ったが、距離情報として、画像まで生成しなくても良い。本実施の形態は、撮像された画像を解析することで、所定の物体までの距離を測定する際に適用できる。また、撮像された画像を全て測定対象とするのではなく、所定の領域、例えば、車や人などの所定の物体が検出された領域内の距離情報が生成されるようにしても良い。
[0195]
 <記録媒体について>
 上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
[0196]
 図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503は、バス504により相互に接続されている。バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
[0197]
 入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
[0198]
 以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
[0199]
 コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージ記録媒体等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
[0200]
 コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
[0201]
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
[0202]
 また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
[0203]
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
[0204]
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0205]
 なお、本技術は以下のような構成も取ることができる。
(1)
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える画像処理装置。
(2)
 前記第1の長時間露光画像と前記第2の長時間露光画像のそれぞれに対して、所定の領域をマスクした第1の長時間露光マスク画像と第2の長時間露光マスク画像とを生成し、
 前記第1の短時間露光画像と前記第2の短時間露光画像のそれぞれに対して、所定の領域をマスクした第1の短時間露光マスク画像と第2の短時間露光マスク画像とを生成し、
 前記第1の長時間露光マスク画像と前記第2の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成し、
 前記第1の短時間露光マスク画像と前記第2の短時間露光マスク画像とから視差を算出し、前記短時間露光距離画像を生成する
 前記(1)に記載の画像処理装置。
(3)
 前記第1の長時間露光マスク画像と前記第2の長時間露光マスク画像は、画素値が所定の閾値より大きい画素がマスクされた画像である
 前記(2)に記載の画像処理装置。
(4)
 前記第1の短時間露光マスク画像と前記第2の短時間露光マスク画像は、画素値が所定の閾値より小さい画素がマスクされた画像である
 前記(2)または(3)に記載の画像処理装置。
(5)
 前記距離画像生成部は、前記長時間露光距離画像のマスクされている領域を、前記短時間露光距離画像で補完する
 前記(2)乃至(4)のいずれかに記載の画像処理装置。
(6)
 画像処理装置が、
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
 画像処理方法。
(7)
 コンピュータに、
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
 処理を実行させるためのプログラム。
(8)
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラと、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラと、
 前記第1の長時間露光カメラからの第1の長時間露光画像と、前記第2の長時間露光カメラからの第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 前記第1の短時間露光カメラからの第1の短時間露光画像と、前記第2の短時間露光カメラからの第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える移動機器。
(9)
 長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成する第1の画像生成部と、
 前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成する第2の画像生成部と、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える画像処理装置。
(10)
 前記第1の長時間露光画像と前記第1の短時間露光画像のそれぞれに対して、所定の領域をマスクした第1の長時間露光マスク画像と第1の短時間露光マスク画像とを生成し、
 前記第2の長時間露光画像と前記第2の短時間露光画像のそれぞれに対して、所定の領域をマスクした第2の長時間露光マスク画像と第2の短時間露光マスク画像とを生成し、
 前記第1の長時間露光マスク画像と前記第1の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第1の画像を生成し、
 前記第2の長時間露光マスク画像と前記第2の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第2の画像を生成し、
 前記第1の長時間露光マスク画像と前記第2の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成する
 前記(9)に記載の画像処理装置。
(11)
 前記第1の長時間露光マスク画像と前記第1の短時間露光マスク画像は、画像内の動被写体と判定された領域がマスクされた画像である
 前記(10)に記載の画像処理装置。
(12)
 前記第1の長時間露光マスク画像と前記第1の短時間露光マスク画像は、セマンティックセグメンテーションにより所定の物体が検出され、前記所定の物体として検出された領域がマスクされた画像である
 前記(10)に記載の画像処理装置。
(13)
 前記距離画像生成部は、前記基準距離画像のマスクされている領域を、前記長時間露光距離画像で補完する
 前記(10)乃至(12)のいずれかに記載の画像処理装置。
(14)
 前記第1の短時間露光マスク画像と前記第2の短時間露光マスク画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
 前記距離画像生成部により生成された前記距離画像に前記短時間露光距離画像を合成する合成部と
 をさらに備える前記(10)乃至(13)のいずれかに記載の画像処理装置。
(15)
 画像処理装置が、
 長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成し、
 前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成し、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成し、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
 画像処理方法。
(16)
 コンピュータに、
 長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成し、
 前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成し、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成し、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
 処理を実行させるプログラム。
(17)
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラと、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラと、
 前記第1の長時間露光カメラからの第1の長時間露光画像と、前記第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成する第1の画像生成部と、
 前記第2の長時間露光カメラからの第2の長時間露光画像と、前記第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成する第2の画像生成部と、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える移動機器。

符号の説明

[0206]
 11 撮像装置, 12 画像処理装置, 21 長時間露光カメラ, 22 短時間露光カメラ, 23 中時間露光カメラ, 31 長時間露光画像入力部, 32 短時間露光画像入力部, 33 長時間露光マスク画像生成部, 34 短時間露光マスク画像生成部, 35 長時間露光距離画像生成部, 36 短時間露光距離画像生成部, 37 合成画像生成部, 38 距離画像出力部, 111 左長時間露光画像, 112 右長時間露光画像, 113 左短時間露光画像, 114 右短時間露光画像, 121 左長時間露光マスク画像, 122 右長時間露光マスク画像, 123 左短時間露光マスク画像, 124 右短時間露光マスク画像, 131 長時間露光距離画像, 132 短時間露光距離画像, 141 距離画像, 211 画像処理装置, 231 左長時間露光画像入力部, 232 左短時間露光画像入力部, 233 右長時間露光画像入力部, 234 右短時間露光画像入力部, 235 左マスク画像生成部, 236 右マスク画像生成部, 237 左HDR生成部, 238 右HDR生成部, 239 基準距離画像生成部, 240 長時間露光距離画像生成部, 241 短時間露光距離画像生成部, 242 第1の距離画像合成部, 243 第2の距離画像合成部, 244 距離画像出力部, 311 左長時間露光マスク画像, 312 右長時間露光マスク画像, 313 左短時間露光マスク画像, 314 右短時間露光マスク画像, 321 左HDR画像, 322 右HDR画像, 331 基準距離画像, 341 長時間露光距離画像, 342 短時間露光距離画像, 351 距離画像

請求の範囲

[請求項1]
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える画像処理装置。
[請求項2]
 前記第1の長時間露光画像と前記第2の長時間露光画像のそれぞれに対して、所定の領域をマスクした第1の長時間露光マスク画像と第2の長時間露光マスク画像とを生成し、
 前記第1の短時間露光画像と前記第2の短時間露光画像のそれぞれに対して、所定の領域をマスクした第1の短時間露光マスク画像と第2の短時間露光マスク画像とを生成し、
 前記第1の長時間露光マスク画像と前記第2の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成し、
 前記第1の短時間露光マスク画像と前記第2の短時間露光マスク画像とから視差を算出し、前記短時間露光距離画像を生成する
 請求項1に記載の画像処理装置。
[請求項3]
 前記第1の長時間露光マスク画像と前記第2の長時間露光マスク画像は、画素値が所定の閾値より大きい画素がマスクされた画像である
 請求項2に記載の画像処理装置。
[請求項4]
 前記第1の短時間露光マスク画像と前記第2の短時間露光マスク画像は、画素値が所定の閾値より小さい画素がマスクされた画像である
 請求項2に記載の画像処理装置。
[請求項5]
 前記距離画像生成部は、前記長時間露光距離画像のマスクされている領域を、前記短時間露光距離画像で補完する
 請求項2に記載の画像処理装置。
[請求項6]
 画像処理装置が、
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
 画像処理方法。
[請求項7]
 コンピュータに、
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラからの第1の長時間露光画像と第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラからの第1の短時間露光画像と第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
 処理を実行させるためのプログラム。
[請求項8]
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラと、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラと、
 前記第1の長時間露光カメラからの第1の長時間露光画像と、前記第2の長時間露光カメラからの第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 前記第1の短時間露光カメラからの第1の短時間露光画像と、前記第2の短時間露光カメラからの第2の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
 前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える移動機器。
[請求項9]
 長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成する第1の画像生成部と、
 前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成する第2の画像生成部と、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える画像処理装置。
[請求項10]
 前記第1の長時間露光画像と前記第1の短時間露光画像のそれぞれに対して、所定の領域をマスクした第1の長時間露光マスク画像と第1の短時間露光マスク画像とを生成し、
 前記第2の長時間露光画像と前記第2の短時間露光画像のそれぞれに対して、所定の領域をマスクした第2の長時間露光マスク画像と第2の短時間露光マスク画像とを生成し、
 前記第1の長時間露光マスク画像と前記第1の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第1の画像を生成し、
 前記第2の長時間露光マスク画像と前記第2の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第2の画像を生成し、
 前記第1の長時間露光マスク画像と前記第2の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成する
 請求項9に記載の画像処理装置。
[請求項11]
 前記第1の長時間露光マスク画像と前記第1の短時間露光マスク画像は、画像内の動被写体と判定された領域がマスクされた画像である
 請求項10に記載の画像処理装置。
[請求項12]
 前記第1の長時間露光マスク画像と前記第1の短時間露光マスク画像は、セマンティックセグメンテーションにより所定の物体が検出され、前記所定の物体として検出された領域がマスクされた画像である
 請求項10に記載の画像処理装置。
[請求項13]
 前記距離画像生成部は、前記基準距離画像のマスクされている領域を、前記長時間露光距離画像で補完する
 請求項10に記載の画像処理装置。
[請求項14]
 前記第1の短時間露光マスク画像と前記第2の短時間露光マスク画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
 前記距離画像生成部により生成された前記距離画像に前記短時間露光距離画像を合成する合成部と
 をさらに備える請求項10に記載の画像処理装置。
[請求項15]
 画像処理装置が、
 長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成し、
 前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成し、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成し、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
 画像処理方法。
[請求項16]
 コンピュータに、
 長時間露光で画像を撮像する第1の長時間露光カメラからの第1の長時間露光画像と、短時間露光で画像を撮像する第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成し、
 前記第1の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第2の長時間露光カメラからの第2の長時間露光画像と、前記第1の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成し、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成し、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
 処理を実行させるプログラム。
[請求項17]
 長時間露光で画像を撮像し、所定の間隔を有して配置されている第1の長時間露光カメラと第2の長時間露光カメラと、
 短時間露光で画像を撮像し、所定の間隔を有して配置されている第1の短時間露光カメラと第2の短時間露光カメラと、
 前記第1の長時間露光カメラからの第1の長時間露光画像と、前記第1の短時間露光カメラからの第1の短時間露光画像を合成することで、広ダイナミックレンジの第1の画像を生成する第1の画像生成部と、
 前記第2の長時間露光カメラからの第2の長時間露光画像と、前記第2の短時間露光カメラからの第2の短時間露光画像を合成することで、広ダイナミックレンジの第2の画像を生成する第2の画像生成部と、
 前記第1の画像と前記第2の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
 前記第1の長時間露光画像と前記第2の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
 前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
 を備える移動機器。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]