Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2019003736) DISPOSITIF DE TRAITEMENT D'IMAGES
Document

明 細 書

発明の名称 画像処理装置

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004  

課題を解決するための手段

0005  

発明の効果

0006  

図面の簡単な説明

0007  

発明を実施するための形態

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073  

符号の説明

0074  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

明 細 書

発明の名称 : 画像処理装置

技術分野

[0001]
 本発明は、画像処理装置に関する。

背景技術

[0002]
 ステレオカメラを使用してカメラと観測対象物との距離を算出し、観測対象物の認識処理を行う技術が知られている。例えば特許文献1には、自動車等の移動体としての自車両400に搭載される画像処理装置1を、自車両進行方向前方領域(撮像領域)の撮像画像を撮像する撮像ユニット100で撮像した撮像画像を解析して、撮像領域内に存在する歩行者等の認識対象物を検知するステレオ画像処理部200を備えて構成する。ステレオ画像処理部200は、水平視差図に基づいて、認識対象物を検出し、当該認識対象物に対応する認識対象物領域輝度画像と、動的辞書258のパターン画像とを照合し、認識対象物であるか否か判定する構成が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 日本国特開2007-172035号公報

発明の概要

発明が解決しようとする課題

[0004]
 特許文献1に記載されている発明では、明るさが異なる複数の被写体の情報を得るためにはそれぞれの被写体にあわせた撮影条件で撮影し、得られたそれぞれの画像に対して処理を行う必要があるので、明るさに差がある複数の被写体の情報を得る計算コストが高い。

課題を解決するための手段

[0005]
 本発明の第1の態様による画像処理装置は、車両に搭載される画像処理装置であって、撮影感度の異なる複数の撮影画像が入力される撮影画像入力部と、前記複数の撮影画像を用いて生成される高階調化された合成画像が入力される合成画像入力部と、入力される画像を用いて所定の特徴情報を生成する特徴情報生成部と、前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部に入力する画像を、前記合成画像および前記撮影画像のいずれかに決定する判定部と、を備える。

発明の効果

[0006]
 本発明によれば、明るさに差がある複数の被写体の情報を効率よく得られる。

図面の簡単な説明

[0007]
[図1] 第1の実施の形態における画像処理システムSの構成図
[図2] 第1基準を採用する場合の判定部60の動作を説明する図
[図3] 第1基準を採用する場合の第1画像合成部20の動作例を示す図
[図4] 第1基準、比較例1および比較例2を採用する場合の明部および暗部の距離情報の算出の可否を示す図
[図5] 第2基準を採用する場合の判定部60の動作を説明する図
[図6] 第3基準を採用する場合の判定部60の動作を説明する図
[図7] 第4基準を採用する場合の判定部60の動作を説明する図
[図8] 第5基準を採用する場合の判定部60の動作を説明する図
[図9] 搭載車両の前方を撮影して得られる画像の模式図
[図10] 混雑度の生成例を示す図
[図11] 第6基準を採用する場合の判定部60の動作を説明する図
[図12] 第7基準を採用する場合の判定部60の動作を説明する図
[図13] 第2の実施の形態における画像処理システムSの構成図
[図14] 第3の実施の形態における画像処理システムSの構成図
[図15] 第4の実施の形態における画像処理システムSの構成図
[図16] 第5の実施の形態における撮影画像1215を処理領域に分割する一例を示す図
[図17] 第8基準を採用する場合の判定部60の動作を説明する図
[図18] 第6の実施の形態における距離情報生成部50の構成図
[図19] 距離情報基準を採用する場合の判定部60の動作を説明する図
[図20] 距離情報生成部50の処理を示す図

発明を実施するための形態

[0008]
―第1の実施の形態―
 以下、図1~図12を参照して、画像処理装置の第1の実施の形態を説明する。
[0009]
(構成)
 図1は、画像処理装置3を含む画像処理システムSの構成図である。画像処理システムSは、第1撮像部1と、第2撮像部2と、画像処理装置3と、車両制御部4と、認識処理部5とを備える。画像処理システムSは車両に搭載される。以下では、画像処理システムSを搭載する車両を、「搭載車両」とも呼ぶ。
[0010]
 第1撮像部1は、たとえばカメラである。第1撮像部1は、画像処理装置3からの撮影指示100に基づき被写体を撮影し、得られた画像101を画像処理装置3に出力する。第1撮像部1は、一回の撮影指示100を受信すると、異なる2種類の露光時間で撮影する、いわゆるオートブラケット撮影を行い、2枚の画像を画像処理装置3に出力する。以下では、2種類の露光時間を「短露光時間」と「長露光時間」と呼び、それぞれの露光で得られた画像を「画像A」と「画像B」と呼ぶ。すなわち画像101は、画像Aと画像Bからなる複数の露光時間の異なる画像である。なお以下では、露光時間が異なることを「撮影感度が異なる」とも言う。なお画像Aと画像Bは厳密には異なる時刻に撮影して得られた画像なので、たとえば搭載車両が移動している場合には、画像Aにおける被写体と画像Bにおける被写体は撮影画像において異なる位置に撮影される。
[0011]
 第2撮像部2は、たとえばカメラである。第2撮像部2は画像処理装置3からの撮影指示200に基づき被写体を撮影し、得られた画像201を画像処理装置3に出力する。第2撮像部2の機能および動作は第1撮像部1と同様である。第2撮像部2が撮影した短露光時間で得られた画像も「画像A」と呼び、第2撮像部2が撮影した長露光時間で得られた画像も「画像B」と呼ぶ。すなわち画像201は、画像Aと画像Bからなる複数の露光時間の異なる画像である。
[0012]
 画像処理装置3は、不図示のCPU,ROM,RAM、およびインタフェースを備える計算機である。CPUがROMに格納されたプログラムをRAMに展開して実行することにより、後述する機能を実現する。ただし画像処理装置3は、CPU,ROM,およびRAMの代わりにASICやFPGAにより構成されてもよい。画像処理装置3は、第1撮像部1および第2撮像部2から入力された画像を処理して距離情報を生成し、認識処理部5に出力する。
[0013]
 画像処理装置3は、第1撮像部1から供給される撮影感度の異なる画像101が入力される第1入力部10と、撮影感度の異なる画像101を一枚の画像に合成する機能を備える第1画像合成部20と、第2撮像部2から供給される撮影感度の異なる画像201が入力される第2入力部30と、撮影感度の異なる画像201を一枚の画像に合成する機能を備える第2画像合成部40とを備える。ただし第1画像合成部20および第2画像合成部40は、入力された撮影感度の異なる画像のうちいずれか一方をそのまま出力することもある。すなわち第1画像合成部20および第2画像合成部40は、画像A、画像B、および合成した画像(以下、「合成画像」)のいずれかを出力する。いずれの画像を出力するかは、後述する判定部60から入力されるモード指令信号600により決定される。第1画像合成部20および第2画像合成部40は、常に合成画像を作成してもよいし、合成画像を出力する場合のみ合成画像を作成してもよい。また第1入力部10および第2入力部30は、判定部60から処理タイミングを示す情報が入力され、そのタイミングに処理を行う。
[0014]
 第1画像合成部20および第2画像合成部40における画像の合成は、いわゆるHDR(High Dynamic Range)画像の作成である。第1画像合成部20が出力する画像を画像102と呼び、第2画像合成部40が出力する画像を画像202と呼ぶ。なお第1画像合成部20および第2画像合成部40は、エンハンサ処理やスケーラ処理などの合成処理以外の画像処理を施してもよい。エンハンサ処理とはエッジを抽出して鮮鋭化する処理であり、スケーラ処理とは画像を拡大または縮小する処理である。画像処理装置3はさらに、第1画像合成部20から供給される画像102および第2画像合成部40から供給される画像202を用いて距離情報を生成する距離情報生成部50と、距離情報生成部50に供給する画像を決定し、モード指令信号600を出力する判定部60とを備える。
[0015]
 距離情報生成部50は、既知の距離情報生成アルゴリズムにより、画像102および画像202を用いて距離情報を生成する。第1撮像部1と第2撮像部2は、予め定められたベースライン距離を有しており、第1撮像部1と第2撮像部2の位置関係は既知である。距離情報生成部50は、第1撮像部1と第2撮像部2の各画素の対応関係を算出し、被写体との距離が近いほど視差が大きい、すなわち第1撮像部1の撮影画像と第2撮像部2の撮影画像における対応する画素の距離が遠いことを利用して被写体までの距離を計算する。計算した距離情報は、符号500で示すように認識処理部5に出力する。なお距離情報の算出には、前述のとおり第1撮像部1と第2撮像部2の各画素の対応関係を算出する必要があるため処理負荷が高い。また距離情報生成部50は、認識処理部5が実行する認識処理の内容に応じて、第1画像合成部20および第2画像合成部40から入力される画像も認識処理部5に出力する。
[0016]
 距離情報生成部50は仮想的な入力ポートである第1ポート50aおよび第2ポート50bを備える。第1画像合成部20が出力する画像は第1ポート50aから入力され、第2画像合成部40が出力する画像は第2ポート50bから入力される。距離情報生成部50は、判定部60から処理タイミングを示す情報が入力され、そのタイミングに処理を行う。
[0017]
 距離情報生成部50には、非合成画像、すなわち画像Aや画像Bが入力される場合と、合成画像が入力される場合がある。ただし第1画像合成部20から入力される画像の種類と、第2画像合成部40から入力される画像の種類は常に同一である。そのため距離情報生成部50は、いずれの場合であっても同様に画像102および画像202を用いて距離情報を生成する。また本実施の形態では、距離情報生成部50に入力される画像の時間間隔、すなわちフレームレートは一定である。
[0018]
 車両制御部4は、認識処理部5から出力される距離情報たは不図示のCANネットワークから取得する搭載車両の情報に基づき、画像処理装置3に搭載車両の走行情報または搭載車両の周辺情報(以下、「車両周辺情報」)を出力する。車両制御部4はさらに、画像処理装置3で処理した情報を元に被写体検知処理を行ってもよい。また車両制御部4は、車両制御部4に接続される不図示の表示機器に対して、第1撮像部1から得られた画像をそのまま表示してもよいし、被写体検出処理により検出された被写体を強調して表示してもよい。車両制御部4はさらに、地図情報や、渋滞情報などの交通情報を処理する不図示の情報機器に対して、車両制御部4が検知した観測対象物の情報を供給してもよい。認識処理部5は、画像処理装置3が生成した情報を元に後述するように様々な認識処理を行う。
[0019]
(車両制御部4の機能の具体例)
 車両制御部4が出力する走行情報とはたとえば、自車速度、自車加速度、自車進行方向、操舵角、ブレーキ情報、走行モードの種別、車両制御情報などである。車両制御部4が出力する車両周辺情報とはたとえば、自車周辺の混雑度または混雑度の予測値、被写体までの距離、被写体の速度、被写体との相対速度、自車位置情報、地図情報、交通渋滞情報、過去の事故情報、路面状態などである。
[0020]
 走行状態の一例として挙げた走行モードとは、走行路に基づく走行モード、走行状況に基づく走行モード、周囲自然環境に基づく走行モード、省電力または少燃費で走行する省エネルギーモードなどである。走行路に基づく走行モードとは、市街地走行モード、高速道路走行モード、法定速度情報などである。走行状況に基づく走行モードとは、渋滞時走行モード、駐車場モード、周囲車両の位置や動きに応じた走行モードなどである。周囲自然環境に基づく走行モードとは、夜間時走行モード、逆光時走行モードなどである。
[0021]
 地図情報とは、地図上における搭載車両の位置情報、道路形状情報、道路面地物情報、路幅情報、車線情報、道路勾配情報などである。道路形状情報とは、T字路、交差点などである。道路面地物情報とは、信号、車道部、歩道部、踏切道、自転車駐輪場、自動車駐車場、横断歩道などである。交通情報とは、渋滞情報、速度制限や通行禁止などの交通規制情報、別の走行ルートに誘導する走行ルート誘導情報などである。車両制御情報とは、ブレーキ制御、ハンドル制御、アクセル制御、車載ランプ制御、警告音発生、車載カメラ制御、ネットワークを介して接続された周辺車両や遠隔地センタ機器への撮像装置周辺の観測対象物に関する情報出力などである。
[0022]
(認識処理部5の機能の具体例)
 認識処理部5における認識対象はたとえば、被写体の位置情報、種類情報、動作情報、危険情報である。位置情報とは、搭載車両からの方向と距離などである。種類情報とは、歩行者、大人、子供、高齢者、動物、落石、自転車、周辺車両、周辺構造物、縁石の種類を示す情報である。動作情報とは、歩行者や自転車のふらつき、飛び出し、横切り、移動方向、移動速度、移動軌跡などである。危険情報とは、歩行者飛び出し、落石、急停止や急減速や急ハンドルなど周辺車両の異常動作などである。
[0023]
(画像A,画像B,合成画像の特徴)
 短露光時間で得られた画像Aには、輝度の高い被写体が識別可能に記録されやすく、輝度の低い被写体が識別可能に記録されにくい傾向にある。そのため画像Aは光の量が多い昼間における周囲の状況把握に有効である。また市街地では、搭載車両の周辺を歩行者が移動する可能性があるため迅速な検出が求められ、画像Aの有用性が高い。長露光時間で得られた画像Bには、輝度の高い被写体が識別可能に記録されにくく、輝度の低い被写体が識別可能に記録されやすい傾向にある。そのため画像Bは光の量が少ない夜間における周囲の状況把握に有効である。
[0024]
 画像Aと画像Bを比較すると、画像Aにおいて光量が少なく黒くつぶれて表示される(以下、「黒つぶれ」)領域であっても、画像Bでは被写体が識別可能に記録されている可能性がある。また画像Bにおいて光量が多いために白く表示される(以下、「白とび」)領域であっても、画像Aでは被写体が識別可能に記録されている可能性がある。そこで、画像Aと画像Bを以下のように合成することで、黒つぶれや白飛びが軽減された合成画像が得られる。以下では、画像Aにおいて黒つぶれ領域であるが画像Bでは被写体が識別可能に記録されている領域を「暗部」、画像Bにおいて白とび領域であるが画像Aでは被写体が識別可能に記録されている領域を「明部」と呼ぶ。
[0025]
 合成画像を作成する合成処理は、以下のような既知の手法により実現される。合成処理は、たとえばダイナミックレンジ拡大処理と階調圧縮処理とから構成される。ダイナミックレンジ拡大処理は、画像Aの輝度情報と画像Bの輝度情報を重畳して各画素の輝度の階調を増加させる処理である。このとき画像Aの輝度情報と画像Bの輝度情報に、露光時間に応じた係数を乗じてもよい。なおここでは合成処理の処理対象として輝度情報のみを説明したが、RGBのそれぞれについて同様の処理を施してもよい。続く階調圧縮処理は、ダイナミックレンジ拡大処理により増加した各画素の輝度の階調を、後続する処理が対応可能な階調まで減少させる処理である。ただし距離情報生成部50が高階調の画像を処理可能な場合は、階調圧縮処理を省略してもよい。このようにして作成された合成画像では、元の画像Aおよび画像Bより高階調化されており、白飛びや黒つぶれが軽減される。ただし搭載車両が移動している場合には、画像Aと画像Bでは被写体が異なる位置に撮影されるので、合成画像において被写体は不鮮明となる。この傾向は搭載車両の移動速度が速いほど顕著である。なお合成処理は距離情報生成部50が実行する距離情報を算出する処理に比べると十分に処理負荷が低い。
[0026]
(判定部60)
 判定部60には、あらかじめ設定された7つの基準、すなわち第1基準~第7基準が記憶されている。判定部60がいずれの基準を採用するかは、外部からの入力、たとえば画像処理システムSを使用するユーザによる設定、または不図示の通信インタフェースから受信する外部のサーバからの動作指令により決定される。判定部60は、採用する基準、および搭載車両の状態などに基づき、距離情報生成部50に入力する画像を決定する。以下では第1基準~第7基準のそれぞれにおける判定部60の動作を説明する。
[0027]
(第1基準)
 図2は、第1基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第1基準を採用する場合は、搭載車両の車速を評価し、所定の速度S0より速いか否かを判断する。判定部60は、搭載車両の車速がS0より速いと判断する場合は、画像Aと画像Bを交互に出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は、搭載車両の車速がS0以下であると判断する場合は、合成画像の出力を指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。
[0028]
 図3は、第1基準を採用する場合の第1画像合成部20の動作例を示す図である。ただし図3では、説明のために第1画像合成部20は判定部60から入力されるモード指令信号600に関わらず合成画像を作成している。また図3では、作成された画像に時系列で連番を付与している。すなわち画像A0の次に画像A1が作成されたことを示している。またここでは合成画像に符号Cを付与して表し、合成画像Cは同一の番号の画像Aおよび画像Bから作成されたことを示している。すなわち画像A0と画像B0から画像C0が作成された。図3では図示左から右に時間が経過しており、図示する中央の時刻までは車速はS0より速かったが、それ以後は車速はS0以下となった。
[0029]
 このような場合において、車速がS0よりも速い場合は、第1画像合成部20は非合成画像を交互に出力すべきことが指示される。そのため図3の最下段に、A0、B1、A2、B3と図示されているように画像Aと画像Bが交互に距離情報生成部50に入力される。そして車速がS0以下になると、第1画像合成部20は合成画像を出力すべきことが指示されるので、合成画像が距離情報生成部50に入力される。そのため認識処理部5は、車速がS0以下の場合は距離情報生成部50が距離情報を算出するたびに暗部と明部に撮影された被写体の距離情報を得ることができる。なお、車速がS0以下の場合に、画像Aと画像Bのそれぞれについて距離情報を算出することも可能であるが以下の問題がある。
[0030]
 図4は、上述した第1基準を採用する場合と、比較例1および比較例2を採用する場合の明部および暗部の距離情報の算出の可否を示す図である。図4の上段は、図3における右半分、すなわち車速がS0以下の場合に相当する。図4の上段に示す基準1の場合は、C4~C7のそれぞれを使用して、正確には第2画像合成部40が出力する同様の合成画像もあわせて使用して距離情報生成部50は距離情報を生成する。そして合成画像では明部および暗部の情報が得られるので、いずれの画像を用いる場合にも明部および暗部の距離情報が得られる。基準1を採用する場合に、図4で示す範囲における距離情報の算出回数は4回である。
[0031]
 図4の中段に示す比較例1の場合は、合成画像を作成せずに画像Aと画像Bのそれぞれを使用して距離情報を算出する。距離情報の算出に画像Aを用いる場合は、明部の距離情報は得られるが暗部の距離情報は得られない。距離情報の算出に画像Bを用いる場合は、暗部の距離情報は得られるが明部の距離情報は得られない。すなわち、画像Aを用いて算出した距離情報と、画像Bを用いて算出した距離情報とをあわせれば、第1基準を採用する場合と同様に、明部および暗部の距離情報が得られる。しかし比較例1において、図4で示す範囲における距離情報の算出回数は8回、すなわち基準1を採用する場合の2倍である。換言すると、第1基準を採用する場合は比較例1に比べて距離情報の計算コストを半分に抑えることができる。
[0032]
 図4の下段に示す比較例2の場合は、第1基準において車速がS0より速い場合と同様に、画像Aおよび画像Bを交互に使用して距離情報を生成する。比較例2の場合は図4で示す範囲における距離情報の算出回数は4回であり、距離情報の計算コストは第1基準と同一である。しかし暗部および明部のそれぞれは、1回おきにしか距離情報が得られない。換言すると、第1基準を採用する場合は比較例2に比べて明度および暗部の距離情報の取得頻度が2倍である。
[0033]
 このように第1基準を採用すると、搭載車両の車速が所定値S0を上回る場合に、被写体のブレが少ない非合成画像を対象として距離情報を生成するので、距離情報生成部50は遠方の被写体も精度よく距離情報を算出することができ、認識処理部5が遠方の被写体も認識できる。一方、搭載車両の車速が所定値S0以下の場合は、合成画像を対象として距離情報を生成するので、比較例1および比較例2との比較で示したように計算コストおよび距離情報の取得頻度の点で優れる。さらに第1基準を採用する場合には、車速が変化しても距離情報生成部50に入力される画像の頻度、すなわちフレームレートが一定なので処理負荷の変動を防止することができる。なお以下に説明する第2基準~第7基準では言及しないが、第2基準~第7基準においても同様に、合成画像を使用する場合は比較例1および比較例2に対する利点を有する。
[0034]
(第2基準)
 図5は、第2基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第2基準を採用する場合は、搭載車両の位置を評価し、搭載車両が市街地内と市街地外のいずれに居るかを判断する。この判断は、車両制御部4から提供される搭載車両の位置情報と市街地の位置情報に基づき判定部60が自ら判断してもよいし、車両制御部4から入力される市街地内と市街地外のいずれかを示す信号により判断してもよい。判定部60は、搭載車両が市街地外に存在すると判断する場合は、画像Aと画像Bを交互に出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は、搭載車両が市街地内に存在すると判断する場合は、合成画像の出力を指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。第2基準を採用すると、画像処理装置3は搭載車両の所在地に基づき適切に距離情報を生成することができる。
[0035]
(第3基準)
 図6は、第3基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第3基準を採用する場合は、搭載車両の車速および位置を評価する。判定部60は、搭載車両が市街地内に存在し、かつ車速がS0以下であると判断する場合は、合成画像の出力を指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は、それ以外の場合は、画像Aと画像Bを交互に出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。第3基準を採用すると、画像処理装置3は搭載車両の車速および所在地に基づき適切に距離情報を生成することができる。
[0036]
(第4基準)
 図7は、第4基準を採用する場合の判定部60の動作を説明する図である。第4基準は第1基準と類似しており、車速が速度S0よりも速い場合に画像Aと画像Bの比率が1:3である点が第1基準と異なる。第4基準において車速が速度S0よりも速い場合は、第1画像合成部20は画像Aを1枚出力した後に画像Bを3枚出力し、その後再び画像Aを1枚出力する。第4基準は露光時間が長い画像Bの入力頻度が高いため、たとえば夜間や雨天時などの仕様が適している。なお夜間であってもヘッドライトに照らされる個所は光量が多いため、画像Aを用いた認識が有効である。また本基準を採用する場合でも、車両状態によらず距離情報生成部50に入力される画像のフレームレートは一定である。
[0037]
(第5基準)
 図8は、第5基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第5基準を採用する場合は、搭載車両の車速および被写体までの距離を評価する。判定部60は、被写体までの距離が所定の距離L0以下であり、かつ車速がS0以下であると判断する場合は、合成画像の出力を指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は、それ以外の場合は、画像Aと画像Bを交互に出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。なお被写体が複数存在する場合は、最も近い被写体の距離を評価する。第5基準を採用すると、画像処理装置3は搭載車両の車速および被写体までの距離に基づき適切に距離情報を生成することができる。
[0038]
(第6基準)
 図9は搭載車両の前方を撮影して得られる画像の模式図であり、図9(a)は混雑時の状況を示す図、図9(b)は非混雑時の状況を示す図である。第6基準では混雑の度合いを示す混雑度を利用する。混雑度は、渋滞情報などの交通情報を元に生成してもよいし、距離情報や車両周辺情報を元に生成してもよい。
[0039]
 図10は、混雑度の生成例を示す図である。図10には、白丸で示す時刻T0における被写体1210、1212、1214と、黒丸で示す時刻T0+Δtにおける被写体1211、1213、1215と、自車位置1201と、混雑度判定領域1200とを示している。符号1210と符号1211で示す被写体は同一であり、符号1212と符号1213で示す被写体は同一であり、符号1214と符号1215で示す被写体は同一である。ここでは混雑度は、混雑度判定領域1200に存在する被写体の数である。時刻T0では、混雑度判定領域1200内の被写体数が0であるため、混雑度は0である。時刻T0+Δtでは、混雑度判定領域1200内に被写体1211および被写体1213が存在するため、混雑度は2である。ただしここでは混雑度判定領域1200を一つの領域としたが、混雑度判定領域1200を複数の領域に分割し、領域により混雑度を算出する重みづけを変化させてもよい。
[0040]
 図11は、第6基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第6基準を採用する場合は、上述した混雑度を評価する。判定部60は、混雑度が所定の混雑度C0以下であると判断する場合は画像Aと画像Bを交互に出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は混雑度が所定の混雑度C0より大きいと判断する場合は、合成画像の出力を指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。
[0041]
(第7基準)
 図12は、第7基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第7基準を採用する場合は、搭載車両の車速および混雑度を評価する。判定部60は、搭載車両の車速がS0より速いと判断する場合は、合成画像と非合成画像の割合を0:4とする。すなわち判定部60は、非合成画像である画像Aと画像Bを交互に出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は、搭載車両の車速がS0以下であり、混雑度が所定の混雑度C0以下であると判断する場合は、次のモード指令信号600を出力する。すなわち判定部60は、合成画像と非合成画像の割合を1:3として出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。判定部60は、搭載車両の車速がS0以下であり、混雑度が所定の混雑度C0より大きいと判断する場合は、次のモード指令信号600を出力する。すなわち判定部60は、合成画像と非合成画像の割合を3:1として出力することを指示するモード指令信号600を第1画像合成部20および第2画像合成部40に出力する。なお車速がS0以下の場合に、閾値C0を用いて2種類の比率を選択しているが、混雑度に応じて段階的に比率を変更してもよい。
[0042]
 上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)画像処理装置3は、搭載車両に搭載される。画像処理装置3は、撮影感度の異なる複数の画像が入力される第1入力部10および第2入力部30と、複数の画像を用いて生成される高階調化された合成画像が入力される第1ポート50aおよび第2ポート50bと、入力される画像を用いて所定の特徴情報を生成する距離情報生成部50と、搭載車両の状態、および搭載車両の周囲の状態の少なくとも一方に基づき、距離情報生成部50に入力する画像を、合成画像、画像A、および画像Bのいずれかに決定する判定部60と、を備える。そのため状況に応じて適切な画像を距離情報生成部50に入力することで、明部の被写体および暗部の被写体、すなわち明るさに差がある複数の被写体の情報を効率よく得られる。
[0043]
(2)距離情報生成部50が生成する特徴情報は距離情報である。そのため距離情報を用いて搭載車両の周囲を認識することができる。
[0044]
(3)判定部60はさらに、車両の状態、および車両の周囲の状態の少なくとも一方に基づき距離情報生成部50に入力する画像のフレームレートを決定する。そのため距離情報生成部50の処理負荷を柔軟に調整できる。
[0045]
(4)判定部60は、車両の状態、および車両の周囲の状態に関わらず、距離情報生成部50に入力する画像のフレームレートを所定の範囲内に維持する。そのため距離情報生成部50の処理負荷の変動を抑制することができる。
[0046]
(5)車両の状態とは、車両の速度、ハンドル操作情報、および車両の位置情報の少なくとも一つを含む。車両の周囲の状態とは、車両の周囲における混雑の程度、または車両から被写体までの距離を含む。
[0047]
(6)第1入力部10および第2入力部30には第1撮像部1および第2撮像部2が撮影した視差を有する複数の画像が入力される。車両から被写体までの距離は、視差を有する複数の画像を用いて算出された距離である。そのため追加のセンサを用いることなく距離を算出することができる。
[0048]
(7)搭載車両の周囲における混雑の程度は、搭載車両から被写体までの距離と、搭載車両に対する被写体の相対速度に基づき算出される。そのため搭載車両の付近に移動する被写体を相対速度から予測して混雑度を算出することができる。
[0049]
(8)画像処理装置3は、第1入力部10および第2入力部30に入力された複数の画像を用いて合成画像を生成し第1ポート50aおよび第2ポート50bに入力する第1画像合成部20および第2画像合成部40を備える。そのため画像処理装置3とともに用いられる他の装置が合成機能を有していない場合でも上述した効果を発揮することができる。
[0050]
(変形例1)
 第1撮像部1および第2撮像部2によるオートブラケット撮影は、2回ではなく3回以上行ってもよい。また第1撮像部1および第2撮像部2は、露光時間を一定としてレンズの絞り量やISO感度を変えてもよいし、これらを併用してもよい。
[0051]
(変形例2)
 距離情報生成部50が非合成画像を使用する場合において、上述した実施の形態では、A0,B1,などのように異なるブラケット撮影で得られた画像を使用した。しかし同一のブラケット撮影で得られた画像を使用し、たとえば図3の左半分、すなわち非合成画像を用いる場合に、A0,B0,A2,B2,などの画像を使用してもよい。
[0052]
(変形例3)
 画像処理装置3は、第1撮像部1および第2撮像部2を含んで構成されてもよい。さらに画像処理装置3は、認識処理部5や車両制御部4を含んで構成されてもよい。本変形例によれば次の作用効果が得られる。
(9)画像処理装置3は、搭載車両の周囲を異なる感度で撮影し、撮影して得られた複数の画像を第1入力部10および第2入力部30に入力する第1撮像部1および第2撮像部2を備える。そのため画像処理装置3を第1撮像部1および第2撮像部2と接続する必要がなく、簡便に使用することができる。
[0053]
(変形例4)
 判定部60には、第1基準~第7基準の少なくとも1つの基準が記憶されていればよい。またいずれかの基準、たとえば第7基準がデフォルトで設定され、外部からの入力により変更可能な構成であってもよい。さらに判定部60は、所定の基準、たとえば周囲の明るさや時間帯により第1基準~第7基準のいずれかを自動で選択してもよい。
[0054]
―第2の実施の形態―
 図13を参照して、画像処理装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、撮像部が画像を構成する機能を備える点で第1の実施の形態と異なる。
[0055]
 図13は、第2の実施の形態における画像処理システムSの構成図である。第1の実施の形態における図1との相違点は、第1撮像部1が第1画像合成部20の機能を備え、第2撮像部2が第2画像合成部40の機能を備える点である。そのため本実施の形態では、判定部60からのモード指令信号600は、第1入力部10および第2入力部30を経由して第1撮像部1および第2撮像部2に入力される。そして第1撮像部1および第2撮像部2は、モード指令信号600に従い、非合成画像または合成画像を第1入力部10および第2入力部30に出力する。そして第1入力部10および第2入力部30は、入力された画像を距離情報生成部50に出力する。
[0056]
―第3の実施の形態―
 図14を参照して、画像処理装置の第3の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、画像処理システムSが撮像部を1つのみ備える点で、第1の実施の形態と異なる。
[0057]
 図14は、第3の実施の形態における画像処理システムSの構成図である。第1の実施の形態における図1との相違点は、本実施の形態では第2撮像部2、第2入力部30、および第2画像合成部40を備えない点である。また本実施の形態では、距離情報生成部50に代えて特徴情報生成部80を備える。特徴情報生成部80は、たとえば入力画像102に対するエッジ情報抽出処理、輪郭抽出処理、距離情報生成、パタンマッチング処理、分散値の算出、平均値の算出などを行う。
[0058]
―第4の実施の形態―
 図15を参照して、画像処理装置の第4の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第3の実施の形態と同じである。本実施の形態では、主に、周囲の情報を取得するレーダ部をさらに備える点で、第3の実施の形態と異なる。
[0059]
 図15は、第4の実施の形態における画像処理システムSの構成図である。第3の実施の形態における図14との相違点は、画像処理システムSがレーダ部6をさらに備え、画像処理装置3が第2入力部70をさらに備える点である。レーダ部6は、たとえば2次元または3次元のレーザ距離計である。第2入力部70は、レーダ部6に出力指示500を出力し、レーダ部6から距離情報501を取得する。第2入力部70は、取得した距離情報501を距離情報700として認識処理部5に出力する。ただし第2入力部70は距離情報700を特徴情報生成部80にも出力してもよい。
[0060]
―第5の実施の形態―
 図16~図17を参照して、画像処理装置の第5の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、撮影画像の領域に応じて処理を異ならせる点で、第1の実施の形態と異なる。
[0061]
 本実施の形態では、第1画像合成部20および第2画像合成部40は、撮影画像を複数の処理領域に分割し、モード指令信号600に応じて処理領域毎に出力画像102、202の種類とフレームレートを変更する。また本実施の形態では、第1撮像部1および第2撮像部2は、80fpsで撮影を行っている。また本実施の形態では、距離情報生成部50は入力された撮影画像の領域ごとに距離情報を生成する。さらに第1画像合成部20および第2画像合成部40は、判定部60から指定された頻度で撮影画像の領域ごとに画像を出力する。たとえばある領域について80fpsでの出力を指定された場合は、その領域について入力された画像を毎回出力するが、40fpsでの出力をされた場合は、1回おきに画像を出力する。
[0062]
 図16は、撮影画像1215を処理領域に分割する一例を示す図である。図16に示す例では、撮影画像を横方向に5分割、縦方向に3分割、合計で15の領域に分割し、それぞれの領域をType-A~Dの4種類のいずれかに分類している。撮影画像1215の上部、すなわち最上段は空や遠方の風景が撮影される領域であり、中央の1領域を除いた4領域がType-Dに分類される。横方向の中央は、最下段を除いてType-Cに分類される。左右端の中段および下段は、Type-Aに分類される。そして残りの領域がType-Bである。Type-Bの領域は、搭載車両のボンネットや走行する道路が撮影される領域である。Type-Aの領域は、搭載車両の左右前方に相当しており歩行者の飛び出しや移動体の接近など迅速な障害物の検知が求められる。
[0063]
 図17は、第5の実施の形態に特有の基準である第8基準を採用する場合の判定部60の動作を説明する図である。判定部60は、第8基準を採用する場合は、搭載車両の車速が所定の速度S0より速いか否かを判断する。判定部60は、車速が所定の速度S0よりも速いと判断する場合は、全ての領域について非合成画像を20fpsで出力するように指示する。判定部60は、車速が所定の速度S0以下であると判断する場合は、Type-Aの領域は合成画像を80fpsで出力し、Type-Bの領域は合成画像を40fpsで出力し、Type-Cの領域は非合成画像を20fpsで出力し、Type-Dの領域は非合成画像を10fpsで出力するように指示する。
[0064]
 上述した第5の実施の形態によれば、次の作用効果が得られる。
(10)判定部60は、複数の画像のそれぞれを複数の判定領域に分割し、判定領域ごとに、車両の状態および車両の周囲の状態の少なくとも一方に基づき、距離情報生成部50に入力する画像を、合成画像、画像A,および画像Bのいずれかに決定する。
[0065]
(11)判定部60は、搭載車両の状態および搭載車両の周囲の状態の少なくとも一方に基づき、判定領域ごとに距離情報生成部50に入力する画像のフレームレートを決定する。そのため状況に応じて特に注意を要する領域のフレームレートを増加させることができる。さらに、空が撮影されている領域など距離情報を算出する必要性が乏しい領域のフレームレートを減少させ、距離情報生成部50の負荷を減少させることができる。
[0066]
―第6の実施の形態―
 図18~図20を参照して、画像処理装置の第6の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、距離情報生成部50が動きベクトル情報を算出する点で、第1の実施の形態と異なる。
[0067]
 図18は、距離情報生成部50の構成図である。距離情報生成部50は、処理画像選択部2000と、パタンマッチング部2001とを備える。処理画像選択部2000は、モード指令信号600に応じて、同じ時刻に入力される入力画像102と202を出力するか、時刻の異なる2種類の入力画像102(時刻T、時刻T―t)を出力するかを切替える。パタンマッチング部2001は、モード指令信号600に応じて、同じ時刻に入力される入力画像102と202を元に距離情報を生成するか、時刻の異なる2種類の入力画像102(時刻T、時刻T―t)を元に動きベクトル情報を生成するかを切替える。パタンマッチング部2001で生成した距離情報または動きベクトル情報は、特徴情報501として出力する。なお入力画像102に代えて入力画像202を用いてもよい。
[0068]
 図19は、距離情報生成部50への動作指令を示す距離情報基準を採用する場合の判定部60の動作を説明する図である。なお、距離情報生成部50への動作指令に距離情報基準を採用する場合は、第1画像合成部20および第2画像合成部40への動作指令は同様の判断基準を用いる第6基準を採用してもよいし、他の基準を採用してもよい。判定部60が距離情報基準を採用する場合は、搭載車両の車速および混雑度を評価する。車速が所定の速度S0よりも速い場合は、混雑度に関らず距離情報のみを生成することを指示するモード指令信号600を出力する。車速が所定の速度S0以下でありかつ混雑度がC0以下の場合は、車両近傍の被写体の動きを検知するために、4フレーム中の1フレームは動きベクトル情報を生成し、残り3フレームは距離情報を生成することを指示するモード指令信号600を出力する。また車速が所定の速度S0以下でありかつ混雑度がC0よりも大きい場合は、4フレーム中の2フレームは動きベクトル情報を生成し、残り2フレームは距離情報を生成することで、車両近傍の被写体の動き検知性能を向上させる。
[0069]
 図20は、図19で示した最後のケース、すなわち車速がS0以下でかつ混雑度がC0よりも大きい場合における、距離情報生成部50の処理例を示す図である。図20において、図示左から右に時間が経過している。図20では、符号2201で示す白抜きの四角は動きベクトル情報生成処理を示し、符号2200で示す黒塗りの四角は距離情報生成処理を示している。距離情報生成部50は、図19に示すように2フレームごとに処理を切替えている。
[0070]
 上述した第6の実施の形態によれば、次の作用効果が得られる。
(12)距離情報生成部50は、判定部60の指令に基づき距離情報および動きベクトル情報を生成する比率を決定する。判定部60は、搭載車両の状態、および搭載車両の周囲の状態の少なくとも一方に基づき、距離情報基準により、距離情報生成部50が出力する距離情報および動きベクトル情報の比率を決定する。そのため画像処理装置3は、状況に応じて距離情報と動きベクトル情報を適切な比率で出力することができる。
[0071]
 上述した各実施の形態および変形例では、プログラムは不図示のROMに格納されるとしたが、プログラムは不図示の不揮発性メモリに格納されていてもよい。また、画像処理装置3が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと画像処理装置3が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。
[0072]
 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
[0073]
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2017-128821(2017年6月30日出願)

符号の説明

[0074]
1…第1撮像部
2…第2撮像部
3…画像処理装置
4…車両制御部
5…認識処理部
10…第1入力部
20…第1画像合成部
30…第2入力部
40…第2画像合成部
50…距離情報生成部
60…判定部
70…第2入力部
80…特徴情報生成部
1200…混雑度判定領域
2000…処理画像選択部
2001…パタンマッチング部

請求の範囲

[請求項1]
 車両に搭載される画像処理装置であって、
 撮影感度の異なる複数の撮影画像が入力される撮影画像入力部と、
 前記複数の撮影画像を用いて生成される高階調化された合成画像が入力される合成画像入力部と、
 入力される画像を用いて所定の特徴情報を生成する特徴情報生成部と、
 前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部に入力する画像を、前記合成画像および前記撮影画像のいずれかに決定する判定部と、を備える画像処理装置。
[請求項2]
 請求項1に記載の画像処理装置において、
 前記特徴情報生成部が生成する特徴情報は距離情報、および動きベクトル情報の少なくとも一方である画像処理装置。
[請求項3]
 請求項1に記載の画像処理装置において、
 前記判定部はさらに、前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき前記特徴情報生成部に入力する画像のフレームレートを決定する画像処理装置。
[請求項4]
 請求項3に記載の画像処理装置において、
 前記判定部は、前記車両の状態、および前記車両の周囲の状態に関わらず、前記特徴情報生成部に入力する画像のフレームレートを所定の範囲内に維持する画像処理装置。
[請求項5]
 請求項1に記載の画像処理装置において、
 前記車両の状態とは、前記車両の速度、および前記車両の位置情報の少なくとも一つを含み、
 前記車両の周囲の状態とは、前記車両の周囲における混雑の程度、または前記車両から被写体までの距離を含む画像処理装置。
[請求項6]
 請求項5に記載の画像処理装置において、
 前記撮影画像入力部には視差を有する前記撮影画像の組み合わせが複数の前記撮影感度についてそれぞれ入力され、
 前記合成画像入力部には前記視差を有する複数の前記合成画像が入力され、
 前記車両から前記被写体までの距離は、前記視差を有する複数の前記撮影画像または前記合成画像を用いて算出された距離である画像処理装置。
[請求項7]
 請求項5に記載の画像処理装置において、
 前記車両の周囲における混雑の程度は、前記車両から前記被写体までの距離と、前記車両に対する前記被写体の相対速度に基づき算出される画像処理装置。
[請求項8]
 請求項1に記載の画像処理装置において、
 前記判定部はさらに、前記撮影画像および前記合成画像のそれぞれを複数の判定領域に分割し、前記判定領域ごとに、前記車両の状態および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部に入力する画像を、前記合成画像および前記撮影画像のいずれかに決定する画像処理装置。
[請求項9]
 請求項8に記載の画像処理装置において、
 前記判定部はさらに、前記車両の状態および前記車両の周囲の状態の少なくとも一方に基づき、前記判定領域ごとに前記特徴情報生成部に入力する画像のフレームレートを決定する画像処理装置。
[請求項10]
 請求項2に記載の画像処理装置において、
 前記判定部はさらに、前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部が生成する前記距離情報および前記動きベクトル情報の比率を決定する画像処理装置。
[請求項11]
 請求項1に記載の画像処理装置において、
 前記車両の周囲を異なる撮影感度で複数回撮影し、撮影して得られた前記複数の撮影画像を前記撮影画像入力部に入力する撮像部をさらに備える画像処理装置。
[請求項12]
 請求項1に記載の画像処理装置において、
 前記撮影画像入力部に入力された前記複数の撮影画像を用いて前記合成画像を生成し前記合成画像入力部に入力する画像合成部をさらに備える画像処理装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]