処理中

しばらくお待ちください...

設定

設定

1. WO2020012756 - ステレオ撮像装置

Document

明 細 書

発明の名称 ステレオ撮像装置

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022  

発明の効果

0023  

図面の簡単な説明

0024  

発明を実施するための形態

0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057  

符号の説明

0058  

請求の範囲

1   2   3   4   5   6   7  

図面

1   2   3   4   5   6  

明 細 書

発明の名称 : ステレオ撮像装置

技術分野

[0001]
 本発明は、ステレオ撮像装置に関する。

背景技術

[0002]
 近年の画像認識技術の向上に伴って、車載カメラの映像の画像認識を利用した自動車運転時の危険回避および自動運転や、監視カメラの映像の画像認識による既知の犯罪者の検出等が可能となっている。また、車載カメラや監視カメラとして一対のカメラを有するステレオカメラを用いて、例えば、被写体上の同じ対象点に対応する各画像上の対応点同士の位置の違い(視差)に基づいて、ステレオカメラから画像上の各点に対応する被写体上の点までの距離を検知して、画像認識を行うことが行なわれている(例えば、特許文献1)。ステレオカメラを用いた画像認識においては、距離情報を用いて画像認識が行なえるため、対象物(例えば、人、動物、車両等)の識別を容易かつ高精度に行うことが可能となる。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2013-109779号公報

発明の概要

発明が解決しようとする課題

[0004]
 ところで、車載カメラや監視カメラにおいては、広範囲を撮影しつつ物体の検知をできるものが求められている。しかし、広範囲の画像を撮影するために広角のレンズを使用すると、画像は周辺部が圧縮されたものとなってしまう。すなわち、広角のレンズを使用した場合、周辺部の歪が大きい画像が得られることとなる。そして、このような歪の大きい画像を用いて検知対象を検知しようとすると、検知精度が低くなってしまうという問題があった。
[0005]
 また、検知精度を考慮した場合には、高解像度のイメージセンサを用いることが好ましいが、特に広範囲を撮影しようとした場合画素数がとても多くなってしまう。そして、画素数が多い画像を用いて検知に関する演算処理を行うと、計算量が膨大な量となり、車載カメラや監視カメラの映像のような動画を処理する場合に1フレームの処理に長い時間がかかってしまう。このため、演算処理を行う集積回路の演算速度によっては、1フレームの演算処理時間が長くなり過ぎて、リアルタイムでの対応が要求される場合に処理が間に合わなくなってしまうという問題があった。
[0006]
 本発明は、前記事情に鑑みてなされたもので、広範囲を撮影しつつ、検知対象の検知を高精度で行うことができるステレオ撮像装置を提供することを目的とする。

課題を解決するための手段

[0007]
 前記目的を達成するために、本発明のステレオ撮像装置は、歪が所定量よりも小さい部分である低歪領域と歪が前記低歪領域よりも大きい部分である高歪領域とを有するレンズおよび撮像センサを備える撮像手段と、
 一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
 前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えることを特徴とする。
[0008]
 このような構成によれば、検知手段は、撮像手段により撮影された画像のうち、歪が小さい低歪領域を通して撮影された領域内であって、検知対象が含まれる範囲が切り出された画像に基づいて検知対象の検知を行う。すなわち、検知手段は歪の小さい画像に基づいて検知対象の検知を行う。したがって、検知対象の検知を高精度で行うことができる。
[0009]
 また、検知手段が検知に用いる画像は、切り出し手段により切り出された画像のため、撮像手段により撮影された画像に比べて表示範囲が狭くなる。したがって、解像度を必要以上に低下させることなく、画像のデータ量を低減することができる。すなわち、表示範囲を狭くせずに、画像のデータ量を小さくしようとした場合(画素数を少なくしようとした場合)、画素を間引いて(デシメーションをして)画像を圧縮し、画像の解像度を下げる必要があるが、本発明においては、検知において必要な部分のみを切り出すため、当該切り出しにより解像度を低下させることなく画像のデータ量を小さくすることができる。そして、当該切り出しにより解像度を必要以上に低下させることなく、画像のデータ量が低減されるため、検知手段における処理速度を高速に保ちつつ、高精度の検知を行うことが可能となる。
 なお、切り出した画像についても、検知手段による検知を行う前に画素を間引いて画像の解像度を下げることとしてもよい。この場合においても、切り出す前の画像について画素を間引く場合に比べて、間引く画素数を低減することができるので、解像度の低下を抑えることができる。
[0010]
 このように、本発明によれば、高歪領域を通して広い範囲の撮影を可能としつつ、低歪領域を利用した検知を行うことにより、高精度の検知が可能となる。
[0011]
 本発明の前記構成において、前記低歪領域の歪の量が、5%以下であることが好ましい。
[0012]
 このような構成によれば、検知手段における検知を特に高精度で行うことができる。
[0013]
 また、本発明の前記構成において、前記レンズの歪に基づく画像の歪を除去する歪補正手段を備え、
 前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることが好ましい。
[0014]
 このような構成によれば、撮像手段により撮影され、切り出し手段により切り出される前または後の画像について、レンズの歪に基づく画像の歪が除去される。したがって、検知手段における検知精度を向上させることができる。
[0015]
 また、本発明の前記構成において、前記切り出し手段は、前記高歪領域を通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないこととしてもよい。
[0016]
 このような構成によれば、高歪領域にある検知対象に対しては、当該検知対象を含む画像の切り出しおよび切り出した画像に基づく検知対象の検知が行なわれない。したがって、検知手段における処理を減らすことができ、検知手段にかかる負荷を低減させることができる。また、余分な検知を省くことができるので、低歪領域にある検知対象についての検知の回数を増やすことができ、検知精度を向上させることができる。
[0017]
 また、本発明の前記構成において、
 前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
 前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することとしてもよい。
[0018]
 このような構成によれば、切り出し手段により切り出される画像は、縮小画像よりも表示範囲が狭いので、縮小画像と同じデータ量で解像度の高い画像とすることができる。よって、例えば、解像度が比較的低いが表示範囲の広い縮小画像に基づいて、粗い検知をした後に、この粗い検知を行った範囲の一部について、解像度の高い画像で高精度な検知を行うことができる。したがって、例えば、撮像手段で撮影された範囲全体について、粗いが広範な検知をした後に、低歪領域にある検知対象について切り出して高精度な検知をしたりすることができる。また、粗い検知の結果が高精度な検知の結果で補正されるので、より正確あるいは精密な検知結果を得ることができる。すなわち、このように広範な検知と高精度な検知とを両立させることができる。
 なお、ここで検知結果の補正とは、検知の結果を修正することのみならず、第一の検知の結果に、第二の検知により得られた新たな情報を加えること等を含む。
[0019]
 また、本発明の前記構成において、前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲とは表示範囲が少なくとも一部異なるように前記切り出し手段により切り出された第三の切り出し画像に基づいて検知対象の検知をする第三の検知を行い、前の検知の結果を前記第三の検知の結果で補正することとしてもよい。
[0020]
 このような構成によれば、第二の切り出し画像と第三の切り出し画像との表示範囲が少なくとも一部異なるので、第二の検知における検知範囲と第三の検知における検知範囲が少なくとも一部異なるようになる。すなわち、ある程度広い範囲を高精度に検知したい場合に、当該範囲を第二の切り出し画像と第三の切り出し画像とに分けて、それぞれについて検知を行うことで、当該範囲について高精度の検知を行うことができる。また、第三の検知の結果により、第一の検知の結果あるいは第二の検知の結果等が補正されるので、より正確あるいは精密な検知結果を得ることができる。
[0021]
 また、本発明の前記構成において、前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲内で、かつ前記第二の切り出し画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第四の切り出し画像に基づいて検知対象の検知をする第四の検知を行い、前の検知の結果を前記第四の検知の結果で補正することとしてもよい。
[0022]
 このような構成によれば、第四の切り出し画像は、第二の切り出し画像の表示範囲内で、かつ第二の切り出し画像よりも表示範囲が狭いものとなる。すなわち、縮小画像から、第二の切り出し画像、第四の切り出し画像と、徐々に表示範囲を狭めていくこととなる。よって、検知範囲を徐々に狭めていきつつ、必要な範囲について検知精度を徐々に高めていくことができる。したがって、検知対象についてまず全体を粗く認識したうえで、特徴点についてより詳細に検知していくこと等が可能となる。

発明の効果

[0023]
 本発明のステレオ撮像装置によれば、広範囲を撮影しつつ、検知対象の検知を高精度で行うことができる。

図面の簡単な説明

[0024]
[図1] 本発明の実施の形態に係るステレオ撮像装置を示すブロック図である。
[図2] 同、ステレオ撮像装置のレンズの歪特性を示す図である。
[図3] 同、ステレオ撮像装置の処理を示すフローチャートである。
[図4] 同、ステレオカメラの設置場所の例を示す図である。
[図5] 同、ステレオ撮像装置における検知のシーケンス例を説明するための図である。
[図6] 同、ステレオ撮像装置における検知のフレームレートを説明するための図である。

発明を実施するための形態

[0025]
 以下、本発明の実施の形態について説明する。
 本実施の形態のステレオ撮像装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラとしてステレオカメラを用いたものであり、物体の検知および物体との距離の検知を行う。
[0026]
 本実施の形態のステレオ撮像装置1は、図1に示すように、レンズ3と撮像部4とを有する一対の撮像手段5と、一対の撮像手段5それぞれの撮像部4から出力された画像のレンズ3に基づく歪を補正する一対の歪補正手段6と、一対の歪補正手段6それぞれから出力された画像のサイズを変換する一対の画像サイズ変換手段7と、一対の画像サイズ変換手段7から出力された画像から、当該画像に含まれる物体の距離の測定や物体の認識を行う検知手段8と、撮像手段5および画像サイズ変換手段7を制御する制御手段9と、を備えている。
 なお、これらの各種手段は、例えば、各種の電子回路(プロセッサ(CPU、DSP等)、IC、あるいはROMやRAM等の情報記憶媒体等)や、ROM等に記憶されている所定のプログラムからなるソフトウェア等により実現される。また、歪補正手段6や画像サイズ変換手段7は、それぞれ1つしか設けられていなくてもよく、一対の撮像手段5から出力される一対の画像を1つの回路で処理するようになっていてもよい。
[0027]
 一対の撮像手段5は、ステレオカメラ10を構成するものである。また、撮像手段5は、レンズ3により、撮像部4の有する撮像センサに結ばれた像を画像(動画データ)として出力する。また、一対の撮像手段5は、同期した一対の画像を出力する。なお、図1に示す他の手段もステレオカメラ10に含まれるものとしてもよく、一部またはすべての手段が、各種配線あるいはネットワークを介して接続される1つまたは複数の他の機器により実現されるものであってもよい。
[0028]
 レンズ3は、遠近両用の広角レンズとなっており、いわゆる樽型のディストーション特性を持っている。レンズ3のディストーション特性を、図2に示す。図2に示すように、レンズ3の周辺部においては、像が圧縮されるようになっている。具体的には、二点鎖線で示す円Aの内側においては、歪がほぼ0になっており、円Aの外側においては歪が大きくなっている。以下では、円Aの内側の、歪がほぼ0の領域をディストーションゼロエリア(低歪領域)と呼び、円Aの外側の領域を画角確保エリア(高歪領域)と呼ぶこととする。なお、画角確保エリアの外周は四角Bで示す部分である。また、撮像手段5により撮影された画像について、円Aの内側(低歪領域)を通して撮影された部分についてもディストーションゼロエリアと呼び、円Aの外側(高歪領域)を通して撮影された部分についても画角確保エリアと呼ぶこととする。
[0029]
 ディストーションゼロエリアにおける歪の量(光学ディストーション)は、5%以下となっている。また、当該歪の量は、より好ましくは3%以下、さらに好ましくは1%以下である。また、画角確保エリアにおける歪の量は、ディストーションゼロエリアにおける歪の量よりも大きくなっている。すなわち、ディストーションゼロエリアは、高精度の距離検知および物体検知を行うために歪が小さくされた部分であり、画角確保エリアは、画角(撮影範囲)を広くするための部分(検知範囲を広くするための部分)となっている。
[0030]
 撮像手段5においては、このような特性のレンズ3を用いて画像が撮影されるため、撮像手段5からは、レンズ3のディストーション特性に従って周縁部が縮んだ状態に歪んだ画像が出力される。具体的には、撮像手段5からは、レンズ3のディストーションゼロエリアを通して撮影された中心部の歪が小さく、画角確保エリアを通して撮影された周縁部の歪が大きい画像が出力される。
[0031]
 撮像手段5からの出力画像は、歪補正手段6に入力される。歪補正手段6は、撮像手段5からの出力画像の、レンズ3による歪を除去する処理を行う。なお、歪の除去は、周知の方法で行うことができ、例えば、歪除去の画像変換用の既知の電子回路を用いて行うことができる。また、歪の除去は、他の位置において行ってもよい。例えば、画像サイズ変換手段7により画像サイズが変換された後に行ってもよい。また、例えば、撮像手段5が後述する切り出し処理を行う場合等に、切り出された画像に対して歪の除去を行うこととしてもよい。
 なお、歪の除去とは、歪を完全に無くすものでなくてもよく、元の画像よりも歪が低減されていればよい。
[0032]
 次に、歪補正手段6で歪が除去された画像が、画像サイズ変換手段7に入力される。画像サイズ変換手段7は、画像のサイズを検知手段8で処理できるサイズに変換する処理を行う。本実施の形態のステレオ撮像装置1においては、検知手段8で処理できる最大の画像サイズがVGA(640画素×480画素。以下では、「画素」を省略して640×480等のように表記する。)となっており、画像サイズ変換手段7は、画像サイズがVGA以下となるように、画像のサイズを小さくする処理を行う。換言すると、画像サイズ変換手段7は、画像のデータ量を少なくする処理を行う。具体的には、画像サイズ変換手段7は、画像の縮小処理および切り出し処理を行う。
[0033]
 画像の縮小処理においては、画素数を削減して、画像面積を縮小する。具体的には、例えば、撮像センサの画素数が3200×2400の場合、水平方向のサイズと垂直方向のサイズとを1/5にデシメーション(間引き)して、640×480とする。これにより、画像の表示範囲は変わらないまま、画像が縮小される。すなわち、縮小処理は、画像の表示範囲は変えないで(図2や図5に示す四角Bで囲う範囲のままで)画像サイズを小さくする処理である。縮小処理により、画像の表示範囲を保ったまま縮小された画像を縮小画像と呼ぶ。
[0034]
 また、画像の切り出し処理においては、画像を縮小するのではなく、小さく切り出すことにより画像サイズを小さくする。具体的には、撮像手段5において撮影された全画面の画像のうちの一部の範囲(例えば、図2に示す四角C,Dで囲う範囲や、図5に示す四角E,Fで囲う範囲)を切り出す。例えば、3200×2400の画像のうち、ディストーションゼロエリアに含まれる中心部の1200×1200の範囲を切り出す。また、この切り出した1200×1200の画像に対して縮小処理を行い640×480の画像とする。また、切り出し処理により切り出した画像が640×480以下となる場合には、縮小処理を行わずに、後段(検知手段8)に出力するものとしてもよい。このように、切り出し処理は、元の画像の表示範囲の一部を切り出すことにより画像サイズを小さくする処理である。これにより、画像の表示範囲は小さくなり解析範囲が小さくなるが、解像度は切り出し前と同様の高解像度となり、検知手段8における検知の精度を高めることができる。切り出し処理により切り出された画像を切り出し画像と呼ぶ。
 なお、切り出す位置は任意であり、例えば、既に画像認識された一つまたは数フレーム前の画像の特徴部分、例えば、人などの検知対象が含まれている範囲を切り出すこととしてもよい。
[0035]
 以上のように、画像サイズ変換手段7は、画像の縮小処理を行う縮小手段としての機能と、画像の切り出し処理を行う切り出し手段としての機能とを有する。なお、画像の縮小処理や切り出し処理は、例えば、撮像手段5が行なってもよい。すなわち、例えば、撮像センサとして、画像のデシメーションを行うことができるもの知られているが、このような撮像センサを用いて画像の縮小処理を行うこととしてもよい。また、切り出した画像での検知を行う際に、撮像手段5が切り出し手段として当該検知を行う部分を切り出した画像を出力するものとしてもよい。
[0036]
 次に、画像サイズ変換手段7でサイズが変換された画像が、検知手段8に入力される。検知手段8は、一対の撮像手段5のそれぞれで撮影され、歪補正手段6および画像サイズ変換手段7を介して入力された二つの画像の視差を求める視差検知処理を行う。また、検知手段8は、視差検知処理により求められた視差を用いて、物体(被写体)との距離を検知(測定)する距離検知処理を行う。また、検知手段8は、距離検知処理により測定された距離情報に基づいて、物体を検知(認識)する物体検知処理(物体認識処理)を行う。
 ここで、複数の画像から視差を求める処理や、当該視差を用いて距離を測定する処理や、物体を認識する処理については、既知の方法および既知の回路等で行うことができる。また、物体検知処理は、例えば、画像中(ステレオカメラ10)に人などの特定の物体が写っている場合に、人であると認識して検知するものでもよく、この検知した人の顔をステレオ撮像装置1の記憶手段(図示せず)に記憶されている顔と照合して特定の人物であることを検知するものでもよく、車のナンバープレートの番号を認識して照合したりするものであってもよい。すなわち、検知対象はステレオ撮像装置1の適用先に応じて適宜選択すればよく、検知手段8は、設定された検知対象との距離の検知や物体の認識を行う。
[0037]
 また、制御手段9は、撮像手段5による撮像や、画像サイズ変換手段7による画像の縮小処理あるいは切り出し処理等を制御する。具体的には、検知手段8による検知が行なわれると、この検知結果が制御手段9に送られる。そして、制御手段9は、この検知結果に基づいて縮小処理や切り出し処理として行う処理を決定する。例えば、検知手段8により人が検知された場合に、制御手段9は、当該人が含まれる範囲を切り出すことを決定する。そして、画像サイズ変換手段7は、当該決定に基づいて当該人が含まれる範囲を切り出すとともに、必要に応じて切り出した画像を縮小して、検知手段8に出力する。そして、この出力された画像に基づいて、検知手段8が検知を行う。
 なお、制御手段9は、歪補正手段6を制御するものであってもよい。そして、検知手段8の検知結果に基づいて歪の除去方法を変更してもよい。例えば、画像の切り出し処理後に歪補正手段6が歪の除去をする構成において、切り出される画像に応じて歪の除去に関する演算方法を変更することとしてもよい。
[0038]
 以上のように、図1に示す構成はあくまで一例であり、各構成要素の配置や構成は異なるものであってもよい。
[0039]
 次に、ステレオ撮像装置1で行う処理について、図3のフローチャートを参照しながら説明する。
 まず、ステレオ撮像装置1は、検知対象の検知を行うか否かを判定する(ステップS1)。具体的には、制御手段9は、記憶手段(図示せず)に記憶された検知フラグがON状態か否かを確認し、検知フラグがON状態の場合には、検知対象の検知を行うように各種制御を行う。
[0040]
 検知フラグがON状態であり、検知対象の検知を行う場合(ステップS1でYES)、ステレオ撮像装置1は、まず、最大画角での検知を行う。すなわち、まず、一対の撮像手段5で撮影される領域全体の画像について、検知対象が写っているか否かを検出する。なお、この最大画角での検知対象の検知(撮影領域全体の画像についての検知)を全画面検知と呼ぶこととする。
 例えば、撮像センサの画素数が3200×2400であるとすると、撮像手段5は、3200×2400の画像を出力する。次に、撮像手段5から出力されたこの画像の歪を、歪補正手段6が除去する。次に、歪が除去された画像を、画像サイズ変換手段7が縮小処理により、画像の表示範囲は維持したまま640×480の画像に縮小する。そして、この縮小された縮小画像に検知対象が写っているか否かを、検知手段8が判定する。より具体的には、縮小画像のディストーションゼロエリア内に検知対象があるか否かを判定する。なお、本実施の形態のステレオ撮像装置1においては、検知手段8は、ディストーションゼロエリア外(画角確保エリア内)に検知対象があるか否かも判定するが、ディストーションゼロエリア外の検知対象については、検知しないこととしてもよい。
[0041]
 次いで、検知手段8は、ディストーションゼロエリア内に検知対象があると判定した場合(ステップS3でYES)、最初の切り出し領域(「切り出し1」の領域)内に検知対象が写っているか否かを判定する(ステップS4~S6)。
 ここで、切り出し領域(「切り出し1」~「切り出しN」の各領域)は、切り出し処理により切り出される領域であり、所定の規則に従って設定される。また、切り出し領域は、少なくともその一部にディストーションゼロエリアの少なくとも一部を含む。なお、切り出し領域は、ディストーションエリア外の部分を一切含まないようにしてもよい。各切り出し領域は、例えば、前の切り出し領域内であって、前の切り出し領域よりも狭い範囲となるように設定されるようになってもよく(すなわち、切り出し領域が徐々に狭まっていくようになっていてもよく)、前の切り出し領域とは少なくとも一部が重複しないように設定されるようになっていてもよい。また、「切り出し1」~「切り出しN」の各切り出し領域は、常に切り出す位置および大きさが一定であってもよく、全画面検知の結果や以前の切り出し領域に対する検知の結果によって切り出す位置や大きさが変化するようになっていてもよい。ただし、「切り出し1」~「切り出しN」の各切り出し領域のうち、少なくとも1つは、ステップS3で検出された検出対象の少なくとも一部を含むようになっていることが好ましい。また、このフローにおいては、「切り出しi」(1≦i≦N)の領域に検知対象があるか否かを判定しているが(ステップS6)、全画面検知あるいは以前の切り出し領域に対する検知において検知対象が検知された範囲を含むように切り出し領域を随時設定し、当該切り出し領域を切り出して次の検知を行うようにしてもよい。
[0042]
 「切り出し1」の領域に検知対象が写っている場合(ステップS6でYES)、画像サイズ変換手段7は、切り出し処理により、「切り出し1」の領域を切り出した画像を作成する。そして、検知手段8は、この切り出した画像に基づいて検知対象の検知を行う(ステップS7)。なお、この切り出した画像に基づく検知対象の検知を切り出し検知と呼ぶこととする。
[0043]
 また、「切り出し2」~「切り出しN」までの各領域についても、「切り出し1」の領域と同様に、検知手段8が各切り出し領域内に検知対象が写っているか否かを判定し(ステップS6)、「切り出しi」の領域に検知対象が写っている場合(ステップS6でYES)、画像サイズ変換手段7が、切り出し処理により、「切り出しi」の領域を切り出した画像を作成し、検知手段8が、この切り出した画像に基づいて検知対象の検出を行う(ステップS7)。
[0044]
 切り出し検知が終わると、検知手段8は、切り出し検知の結果を全画面検知の結果に反映させて検知結果を補正し、この反映結果を最終的な検知結果として出力する(ステップS9)。例えば、全画面検知において人を検知するとともに、この人の身長を170cmであると検知したが、切り出し検知において当該検知された人が172cmであると検知された場合、検知手段8は、最終的な検知結果として、身長が172cmの人が検知されたことを出力する。
 なお、切り出し検知の結果の反映は、例えば、各切り出し領域についての検知を行う度に行うこととしてもよい。また、全画面検知および各切り出し検知において検知する対象は、同じであってもよく、異なっていてもよい。例えば、全画面検知において、人が写っているか否かを検知し、切り出し検知において当該人の一部(例えば、顔、手足等)あるいは人の属性(例えば、性別、年齢、体形、犯罪者か否か等)を検知する等としてもよい。また、例えば、最初の切り出し検知において、人が写っているか否かを検知し、次の切り出し検知において当該人の持っている物(例えば、刃物や拳銃、かばん、携帯電話等)を検知する等としてもよい。また、全画面検知の結果に応じて切り出し検知の検知対象が変化するようになっていてもよい。したがって、例えば、上述の検知結果の補正において、全画面検知では、人が写っているか否かのみを検知し、切り出し検知で身長を検知して全画面検知の結果に書き加えることとしてもよい。
[0045]
 なお、上述のフローはあくまで一例であり、各処理の順序や構成は異なるものであってもよい。
[0046]
 次に検知シーケンスの一例について、図4、図5を参照しながら説明する。ステレオカメラ10は、図4に示すように、ビルのエントランスに設置するものとする。また、ステレオ撮像装置1の検知対象は、人とする。ここでは、ステレオカメラ10により撮影される画像が図5に示す状態の場合について説明する。なお、図5に示す画像は、一対の撮像手段5のうちの一方から出力される画像であるが、他方の撮像手段5からも同様の画像が出力される。
[0047]
 まず、一対の撮像手段5で撮影できる最大画角の画像(画素数3200×2400の画像)を用いて、全画面検知を行う。そして、検知手段8は、ディストーションゼロエリア内に人が写っている場合に、ディストーションゼロエリア内(円Aの内側)にいる人を検知する。図5においては、人30a~30dが検知される。
 次に、ディストーションゼロエリア内の人を検知した場合、画像サイズ変換手段7は、ステレオカメラ10により撮影された画像のうち、ディストーションゼロエリア内でかつ、検知された人が含まれる範囲を切り出し、この切り出された画像を用いて切り出し検知を行う。すなわち、画像の一部を切り出すことで、より画素密度が高い画像を用いて検知対象の検知を行う。この際に、まず近くにいる人30a,30bが含まれる範囲(四角Eで囲う範囲)を「切り出し1」領域として切り出して検出を行い、次いで、より遠方にいる人30c,30dが含まれる範囲(四角Fで囲う範囲)を「切り出し2」領域として切り出して検出を行う。このとき、遠方にいる人30c,30dが含まれる「切り出し2」の領域は、近方にいる人30a,30bが含まれる「切り出し1」の領域よりも範囲を小さくし、画素密度が高くなるようにする。ここでは、「切り出し1」の領域は、画素数1200×1200、「切り出し2」の領域は画素数640×480とする。また、ここでは、「切り出し1」の領域に「切り出し2」の領域が含まれ、「切り出し1」の領域にも人30c,30dが含まれるようになっている。
[0048]
 このケースにおいて、「切り出し2」の領域は、水平方向と垂直方向のサイズが全画面の1/5となっている。しかし、撮像センサの画素数が(640×5)×(480×5)=7.68M以上であるため、「切り出し2」の領域については、画素の内挿処理(いわゆるズーム処理)をすることなく検知をすることができる。このため、「切り出し2」の領域についての検知は、全画面検知の5倍の精度で行うことができる。すなわち、水平方向の最大切り出し倍率(切り出し処理において最も小さく切り出される画像の、全画面に対する倍率)を1/P、垂直方向の最大切り出し倍率を1/Qとし、検知手段8で処理できる最大画素数をW×Hとすると、撮像センサの画素数は、水平方向が(W×P)、垂直方向が(H×Q)以上であることが好ましい。このような構成によれば、画素の内挿処理をすることなく検知をすることができる。
[0049]
 なお、このように本実施の形態のステレオカメラ10を監視カメラとして使用する場合、図5に示す例のように、例えば、門や扉等の、監視をしたい敷地内に侵入する人や物等が基本的に通過する場所が、ディストーションゼロエリア内に含まれるようにステレオカメラ10を設置することが望ましい。このような構成によれば、当該敷地内への侵入者が侵入してくる際に、全画面検知および切り出し検知により予め詳しく解析することができる。そうすると、その後は、当該侵入者を追跡するだけでよいので、検知精度がある程度低くてもよく、画角確保エリアに移動した当該侵入者に対しても十分な検知を行うことができる。また、場合によって、画角確保エリアに移動した当該侵入者については検知手段8による検知は行わず、映像の撮影のみをするようにしてもよい。
[0050]
 次に、検知のフレームレートについて図6を参照しながら説明する。
 1回の全画面検知とN回の切り出し検知とを合わせて一組の検知とし、一つの検知結果が得られるとすると、当該一組の検知は、1+N個のフレームから形成されることとなる。切り出し検出の回数について制約はないが、通常、走っている人の検知を行うためには、10fps以上のフレームレートでの検知が必要となる。よって、上述のフローのように、1回の全画面検知の結果をN回の切り出し検知の結果で補正して最終的な検知結果を出力する場合、この一組の検知は、10fps以上のフレームレートで行う必要がある。したがって、例えば、撮像センサの撮像のフレームレートが30fpsであり、検知手段8を構成する検知回路の最大動作でのフレームレートが30fpsであるとすると、切り出し検出は、1回の全画面検出に対して2回行うことができる。また、撮像センサおよび検知回路の動作のフレームレートが60fpsであれば、1回の全画面検出に対して、5回の切り出し検出を行うことができる。
 なお、ここでは、撮像センサのフレームレートと検知回路のフレームレートとを同一にしたが、例えば、検知回路のフレームレートを撮像センサのフレームレートの(M+1)倍とし、撮像センサにより撮影された1つの画像に対し、1回の全画面検知とM回の切り出し検知を行うようにしてもよい。
[0051]
 なお、1回の全画面検知に対して行う切り出し検知の回数は、必ずしも一定である必要はない。例えば、ディストーションゼロエリア内に含まれる検知対象の数に応じて変化するものであってもよい。また、例えば、ディストーションゼロエリア内に含まれている検知対象がS個の場合に、このS個の検知対象それぞれに対して1回(あるいはSの整数倍の回数)ずつ切り出し検知を行うこととしてもよい。
[0052]
 なお、検知手段8が行なう検知は、距離の検知までとし、物体の認識までは行わないようになっていてもよい。すなわち、上述の例においては、検知手段8は、人を検知したりするものとなっていたが、所定の点から、検知対象等の画像に写る被写体までの距離を求め、これを検知手段8での検知結果として出力するものであってもよい。ここで所定の点とは、距離の検知において基準となる点であり、基本的にはステレオカメラ10の位置であるが、他の位置に基準を置き、この基準点から被写体(被写体を表す各画素)までの距離を求めることとしてもよい。また、距離の検知の結果は、距離画像として出力される。距離画像は、画像上の各点(例えば、1つあるいは複数の画素からなる各画素領域)が、前記所定の点からの距離で表されるものであり、例えば、距離の値に応じた色の濃淡の変化で距離画像が表される。色の変化は、例えば、白黒のグラデーションや、他の色のグラデーションであってもよい。なお、検知手段8あるいはその他の機器において、距離画像から機械的に物体の検知等の画像認識をする場合には、画像上の各点を前記所定の点からの距離を示す数値で表したものを距離画像としても良い。
[0053]
 このように、本実施の形態によれば、画像サイズ変換手段7は、撮像手段5で撮影された画像において、レンズ3のディストーションゼロエリアを通して撮影された領域内に検知対象がある場合に、画像のディストーションゼロエリアを通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する。そして、検知手段8は、当該切り出し画像に基づいて検知対象の検知を行う。すなわち、検知手段8は歪の小さい画像に基づいて検知対象の検知を行う。したがって、検知対象の検知を高精度で行うことができる。また、検知手段8が検知に用いる画像は、画像サイズ変換手段7により切り出された画像のため、撮像手段5により撮影された画像に比べて表示範囲が狭くなる。したがって、解像度を必要以上に低下させることなく、画像のデータ量を低減することができる。よって、検知手段8における処理速度を高速に保ちつつ、高精度の検知を行うことができる。
 このように、本実施の形態によれば、画角確保エリアを通して広い範囲の撮影を可能としつつ、ディストーションゼロエリアを利用した検知を行うことにより、高精度の検知が可能となる。
[0054]
 なお、本実施の形態において、画像サイズ変換手段7は、画角確保エリアを通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないこととしてもよい。このような構成によれば、画角確保エリアにある検知対象に対しては、当該検知対象を含む画像の切り出しおよび切り出した画像に基づく検知対象の検知が行なわれない。したがって、検知手段8における処理を減らすことができ、検知手段8にかかる負荷を低減させることができる。また、画角確保エリアにある検知対象についての切り出し検知を行わないことにより、ディストーションゼロエリアにある検知対象についての切り出し検知の回数を増やすことができ、検知精度を向上させることができる。
 なお、検知対象がディストーションゼロエリアと画角確保エリアとにまたがって存在している場合には、予め定めた規則に従って、検知対象がディストーションゼロエリアに存在しているか画角確保エリアに存在しているかを判断すればよい。例えば、一方のエリアに少しでもかかっていれば、当該一方のエリアに存在していると判断してもよい。また、一方のエリアに検知対象が所定の面積以上含まれている場合に、当該一方のエリアに存在していると判断してもよい。
[0055]
 また、本実施の形態によれば、検知手段8は、画像サイズ変換手段7により縮小された縮小画像に基づいて検知対象の検知を行った後に、縮小画像よりも表示範囲が狭くなるように画像サイズ変換手段7により切り出された切り出し画像に基づいて切り出し検知を行い、当該縮小画像に基づく検知の結果を切り出し検知の結果で補正することができる。したがって、例えば、全画面検知により、粗いが広範な検知をした後に、切り出し検知によりディストーションゼロエリアにある検知対象について高精度な検知をしたりすることができる。また、全画面検知の結果を切り出し検知の結果で補正することができるので、より正確あるいは精密な検知結果を得ることができる。すなわち、このように広範な検知と高精度な検知とを両立させることができる。
[0056]
 また、上述のように、検知手段8が、例えば、「切り出し1」の領域について切り出し検知を行った後に、画像サイズ変換手段7が「切り出し1」の領域とは表示範囲が少なくとも一部異なる「切り出し2」の領域を切り出し、検知手段8が当該「切り出し2」の領域について検知を行ってもよい。このような構成によれば、「切り出し1」の領域と「切り出し2」の領域との表示範囲が少なくとも一部異なるので、両検知における検知範囲が一部異なるようになる。したがって、ディストーションゼロエリア内において広い範囲にわたり高精度の検知を行うことができる。また、「切り出し2」の領域についての検知の結果によって、「切り出し1」の領域についての検知あるいは全画面検知の結果を補正することができるので、より正確あるいは精密な検知結果を得ることができる。
[0057]
 また、上述のように、検知手段8が、例えば、「切り出し1」の領域について切り出し検知を行った後に、画像サイズ変換手段7が、「切り出し1」の領域の表示範囲内で、かつ「切り出し1」の領域よりも表示範囲が狭くなるように「切り出し2」の領域を切り出し、検知手段8が当該「切り出し2」の領域について検知を行ってもよい。このような構成によれば、「切り出し2」の領域は、「切り出し1」の領域の表示範囲内で、かつ「切り出し1」の領域よりも表示範囲が狭いものとなる。したがって、例えば、全画面検知、「切り出し1」の領域についての切り出し検知、「切り出し2」の領域についての切り出し検知というように、検知範囲を徐々に狭めていきつつ、必要な範囲について検知精度を徐々に高めていくことができる。したがって、検知対象についてまず全体を粗く認識したうえで、特徴点についてより詳細に検知していくこと等が可能となる。

符号の説明

[0058]
1 ステレオ撮像装置
3 レンズ
4 撮像部(撮像センサ)
5 撮像手段
6 歪補正手段
7 画像サイズ変換手段(切り出し手段、縮小手段)
8 検知手段

請求の範囲

[請求項1]
 歪が所定量よりも小さい部分である低歪領域と歪が前記低歪領域よりも大きい部分である高歪領域とを有するレンズおよび撮像センサを備える撮像手段と、
 一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
 前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えることを特徴とするステレオ撮像装置。
[請求項2]
 前記低歪領域の歪の量が、5%以下であることを特徴とする請求項1に記載のステレオ撮像装置。
[請求項3]
 前記レンズの歪に基づく画像の歪を除去する歪補正手段を備え、
 前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることを特徴とする請求項1または2に記載のステレオ撮像装置。
[請求項4]
 前記切り出し手段は、前記高歪領域を通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないことを特徴とする請求項1~3のいずれか1項に記載のステレオ撮像装置。
[請求項5]
 前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
 前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することを特徴とする請求項1~4のいずれか1項に記載のステレオ撮像装置。
[請求項6]
 前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲とは表示範囲が少なくとも一部異なるように前記切り出し手段により切り出された第三の切り出し画像に基づいて検知対象の検知をする第三の検知を行い、前の検知の結果を前記第三の検知の結果で補正することを特徴とする請求項5に記載のステレオ撮像装置。
[請求項7]
 前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲内で、かつ前記第二の切り出し画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第四の切り出し画像に基づいて検知対象の検知をする第四の検知を行い、前の検知の結果を前記第四の検知の結果で補正することを特徴とする請求項5または6に記載のステレオ撮像装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]