処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020085101 - 画像処理装置と画像処理方法およびプログラム

Document

明 細 書

発明の名称 画像処理装置と画像処理方法およびプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008   0009   0010   0011   0012  

発明の効果

0013  

図面の簡単な説明

0014  

発明を実施するための形態

0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103  

産業上の利用可能性

0104  

符号の説明

0105  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 画像処理装置と画像処理方法およびプログラム

技術分野

[0001]
 この技術は、画像処理装置と画像処理方法およびプログラムに関し、取得された情報を損なうことなく注目すべき被写体にユーザの注意を喚起できるようにする。

背景技術

[0002]
 従来、広範囲の撮像を行うために魚眼レンズ等の広角レンズが使用されている。広角レンズを用いて得られた画像には、歪曲収差が存在する。したがって、特許文献1では、全範囲若しくは指定した任意の範囲について、歪曲収差のない画像に補正し、その補正された画像を画面上に表示することが行われている。また、特許文献2では、車速に応じたズーム率で車両前方を撮像して、得られた画像内の危険障害物の有無を分析したのち、その結果を表示することが行われている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開平8-305841号公報
特許文献2 : 特開2005-274518号公報

発明の概要

発明が解決しようとする課題

[0004]
 ところで、車速に応じたズーム率で撮像する場合、ズーム率を高くすると画角が狭くなって失われる情報が多くなり、撮像範囲に含まれていない障害物が事故の発生原因となりうる場合が考えられる。また、広角レンズを用いて撮像を行い、取得された撮像画の歪曲収差を補正すれば広範囲に位置する被写体が写り込んだ画像を表示できる。しかし、広範囲に位置する被写体が写り込んでいるため、いずれの被写体が危険障害物となるか判別しにくい。
[0005]
 そこで、この技術では、取得された情報を損なうことなく注目すべき被写体にユーザの注意を喚起できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

課題を解決するための手段

[0006]
 この技術の第1の側面は、
 撮像画を用いて被写体検出を行う被写体検出部と、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出部の被写体検出結果に基づき、前記撮像画に対して注目領域を設定する注目領域設定部と、
 前記注目領域を拡大して他の非注目領域を縮小する変換処理部と
を備える画像処理装置にある。
[0007]
 この技術においては、撮像画を取得した撮像部の使用状態を示す使用状態情報と被写体検出部の被写体検出結果に基づき、撮像画に対して注目領域の設定が行われる。使用状態情報は、撮像部を設けた移動体と被写体検出部で検出された被写体との相対位置関係の変化に関する情報である。例えば使用状態情報は、撮像部を設けた車両等の移動体の移動速度と移動方向を含む。
[0008]
 注目領域を設定する注目領域設定部は、使用状態情報に基づいて撮像画における危険度の高い領域を判別して、危険度の高い領域に位置する被写体の画像領域を注目領域に設定する。例えば、注目領域設定部は、撮像部の撮像範囲を撮像部からの距離と撮像部に対する方向に基づいて複数の領域に区分して、領域毎に危険度を判別する。注目領域設定部は、危険度の判別を移動体の移動速度と移動方向に基づいて行う。例えば、移動体は車両であり、撮像画は車両の後方を示している場合、注目領域設定部は、車両の後退時の速度と後退方向に基づいて危険度を判別する。また、注目領域設定部は、危険度の判別に領域までの距離や被写体検出結果を用いてもよい。
[0009]
 変換処理部は、注目領域設定部で設定した注目領域を拡大して、撮像部で取得された情報が変換処理後の画像に含まれるように他の非注目領域を縮小する。また、変換処理部は、使用状態情報または危険度に応じて注目領域の拡大率を調整してもよい。
[0010]
 この技術の第2の側面は、
 撮像画を用いて被写体検出部で被写体検出を行うことと、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出部の被写体検出結果に基づき、前記撮像画に対して注目領域を注目領域設定部で設定することと、
 変換処理部で前記注目領域を拡大して他の非注目領域を縮小することと
を含む画像処理方法にある。
[0011]
 この技術の第3の側面は、
 撮像画の処理をコンピュータで実行させるプログラムであって、
 撮像画を用いて被写体検出を行う手順と、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出の検出結果に基づき、前記撮像画に対して注目領域を設定する手順と、
 前記注目領域を拡大して他の非注目領域を縮小する手順と
 を前記コンピュータで実行させるプログラムにある。
[0012]
 なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

発明の効果

[0013]
 この技術によれば、撮像画を取得した撮像部の使用状態を示す使用状態情報と撮像画を用いた被写体検出の検出結果に基づき、撮像画に対して注目領域が設定されて、注目領域を拡大して他の非注目領域を縮小する変換処理が行われる。したがって、変換処理後の画像を表示することで、取得された情報を損なうことなく注目すべき被写体にユーザの注意を喚起できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

図面の簡単な説明

[0014]
[図1] 撮像システムの構成を例示した図である。
[図2] 画像処理部の第1の形態の構成を示す図である。
[図3] 画像処理部の第1の実施の形態の動作を例示したフローチャートである。
[図4] 画像処理部の動作例を示した図である。
[図5] 画像処理部の第2の形態の構成を示す図である。
[図6] 画像処理部の第2の実施の形態の動作を例示したフローチャートである。
[図7] 車両制御システムの概略的な構成の一例を示すブロック図である。
[図8] 撮像部及び車外情報検出部の設置位置の一例を示す図である。
[図9] 領域の区分例を示した図である。
[図10] 危険度ポイントの算出を説明するための図である。
[図11] 距離ポイントPbとガイドラインポイントPcを説明するための図である。
[図12] 危険度ポイントの算出例を示した図である。
[図13] 拡大縮小処理を説明するための図である。

発明を実施するための形態

[0015]
 以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
 1.撮像システムの構成
 2.第1の実施の形態の構成
 3.第1の実施の形態の動作
 4.第2の実施の形態の構成
 5.第2の実施の形態の動作
 6.変形例
 7.応用例
[0016]
 <1.撮像システムの構成>
 図1は、本技術の画像処理装置を用いた撮像システムの構成を例示している。撮像システム10は、撮像部20と画像処理部30、使用状態情報生成部40、表示部50を有している。
[0017]
 撮像部20は撮像レンズ21とイメージセンサ部22を有している。撮像レンズ21は、広い範囲を撮像できるように広角レンズを用いている。撮像レンズ21は、被写体光学像を撮像部20におけるイメージセンサ部22の撮像面に結像させる。
[0018]
 イメージセンサ部22は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサを用いて構成されている。イメージセンサ部22は、被写体光学像に応じた画像信号を生成して画像処理部30へ出力する。
[0019]
 画像処理部30は、使用状態情報生成部40で生成された使用状態情報等に応じて注目領域を設定する。また、画像処理部30は、撮像部20で取得された撮像画における注目領域を歪曲収差が補正された拡大表示として、注目領域を除く非注目領域を歪曲収差が補正された縮小表示とした画像信号を生成して、表示部50へ出力する。
[0020]
 使用状態情報生成部40は、撮像部20を設けた移動体と被写体検出部32で検出された被写体との相対位置関係の変化に関する情報を使用状態情報として生成する。使用状態情報生成部40は、例えば、撮像部20の撮像方向(撮像レンズ21の光軸方向)が移動体の移動方向である場合、移動体の移動方向や移動速度を示す情報等を使用状態情報として生成する。
[0021]
 表示部50は、画像処理部30で生成された画像信号に基づき、注目領域は歪曲収差が補正されて拡大されており、非注目領域は歪曲収差が補正されて縮小されている画像を表示する。
[0022]
 <2.第1の実施の形態の構成)
 図2は、画像処理部の第1の形態の構成を示している。画像処理部30-1は、歪補正部31、被写体検出部32、入力部33、注目領域設定部34、変換処理部35、出力部37を有している。
[0023]
 歪補正部31は、撮像部20で取得された撮像画の歪補正を行う。歪補正部31は、撮像部20で用いられている撮像レンズ21の光学特性情報に基づき、撮像画に生じた歪曲収差を補正して、補正後の画像信号を被写体検出部32と変換処理部35へ出力する。
[0024]
 被写体検出部32は、歪補正部31から供給された歪補正後の画像信号を用いて認識処理を行い、撮像範囲内に位置する被写体がどのような被写体であるか検出する。被写体検出部32は、被写体の検出結果を注目領域設定部34へ出力する。
[0025]
 入力部33は、使用状態情報生成部40から使用状態情報を取得して注目領域設定部34へ出力する。
[0026]
 注目領域設定部34は、撮像画を取得した撮像部20の使用状態を示す使用状態情報と被写体検出部32の被写体検出結果に基づき、撮像画に対して注目領域を設定する。注目領域設定部34は、使用状態情報に基づき撮像画における危険度の高い領域を判別する。なお、危険度とは、撮像部20を設けた移動体との衝突あるいは接触のおそれを示しており、危険度の高い領域とは、この領域に位置する被写体は移動体との衝突あるいは接触の可能性が高い領域であることを示している。 注目領域設定部34は、例えば使用状態情報で移動体の移動方向が示された場合、撮像部20で取得された撮像画における移動方向の位置を基準とした所定幅の領域を危険度の高い領域として、この危険度の高い領域に位置する被写体の画像領域を注目領域に設定する。また、使用状態情報で移動体の移動方向と移動速度が示された場合、撮像部20で取得された撮像画における移動方向の位置を基準として、移動速度が速くなるに伴い移動方向に広い範囲を危険度の高い領域として、この危険度の高い領域に位置する被写体の画像領域を注目領域に設定してもよい。さらに、注目領域設定部34は、撮像部20からの距離や被写体検出結果を用いて、危険度の高い領域を判別してもよい。注目領域設定部34は、設定した注目領域を示す注目領域情報を変換処理部35へ出力する。
[0027]
 変換処理部35は、歪補正部31から供給された歪補正後の画像信号を用いて、注目領域の拡大処理および非注目領域の縮小処理を行う。変換処理部35は、注目領域設定部34で設定された注目領域の画像を拡大する。さらに、変換処理部35は、注目領域を拡大することにより画像サイズが大きくなることから、撮像部20で取得された情報が変換処理後の画像に含まれるように非注目領域を縮小する。変換処理部35は、拡大処理および縮小処理が行われた画像信号を出力部37へ出力する。
[0028]
 出力部37は、歪補正および拡大縮小が行われた画像信号を表示部50の表示解像度の画像信号に変換する解像度変換を行い、解像度変換後の画像信号を表示部50で入力可能なフォーマットの信号として出力する。
[0029]
 <3.第1の実施の形態の動作>
 次に画像処理部の第1の実施の形態の動作について説明する。図3は画像処理部の第1の実施の形態の動作を例示したフローチャートである。ステップST1で画像処理部は撮像画を入力する。画像処理部30-1は、撮像部20で取得された撮像画の画像信号を入力してステップST2に進む。
[0030]
 ステップST2で画像処理部は歪曲補正を行う。画像処理部30-1は、撮像部20の撮像レンズ21によって撮像画に生じた歪曲収差を補正してステップST3に進む。
[0031]
 ステップST3で画像処理部は使用状態情報を取得する。画像処理部30-1は、使用状態情報生成部40で生成された使用状態情報を取得してステップST4に進む。
[0032]
 ステップST4で画像処理部は使用状態情報に変化があるか判別する。画像処理部30-1は、ステップST3で取得された使用状態情報が前回のステップST3の処理で取得された使用状態情報と異なる場合、使用状態情報に変化があると判別してステップST6に進み、一致する場合は変化がないと判別してステップST5に進む。
[0033]
 ステップST5で画像処理部は撮像画に変化があるか判別する。画像処理部30-1は、ステップST1で入力された撮像画が前回のステップST1の処理で入力された撮像画と異なる場合、撮像画に変化があると判別してステップST6に進み、一致する場合には変化がないと判別してステップST8に進む。
[0034]
 ステップST6で画像処理部は被写体検出を行う。画像処理部30-1は、ステップST1で入力された撮像画を用いて被写体検出を行いステップST7に進む。
[0035]
 ステップST7で画像処理部は注目領域を設定する。画像処理部30-1は、ステップST3で取得した使用状態情報とステップST6で得られた被写体検出結果に基づき、撮像画における注目領域を設定する。例えば、上述のように撮像部20が移動体の移動方向を撮像方向として移動体に固定して設けられている場合、画像処理部30-1は、移動体の移動方向に位置する被写体を含む矩形領域を注目領域として設定する。画像処理部30-1は、注目領域を設定してステップST8に進む。
[0036]
 ステップST8で画像処理部は拡大縮小処理を行う。画像処理部30-1は、ステップST7で設定された注目領域を所定の拡大率で拡大する。また、注目領域を拡大すると撮像画の画像サイズが大きくなることから、撮像部で取得された情報が変換処理後の画像に含まれるように非注目領域を縮小する。画像処理部30-1は、例えば式(1)に基づき横方向の拡大縮小処理を行い、式(2)に基づき縦方向の拡大縮小処理を行う。なお、注目領域の横方向の拡大率を「Kht>1」、非注目領域の横方向の拡大率を「Khe<1」、注目領域の縦方向の拡大率を「Kvt>1」、非注目領域の縦方向の拡大率を「Kve<1」とする。
 横方向の総画素数=注目領域の横方向画素数×Kht
          +非注目領域の横方向画素数×Khe  ・・・(1)
 縦方向の総画素数=注目領域の縦方向画素数×Kvt
          +非注目領域の縦方向画素数×Kve  ・・・(2)
[0037]
 画像処理部30-1は、注目領域は拡大されており非注目領域は縮小されている表示画の画像信号を表示部50へ出力してステップST1に戻る。
[0038]
 図4は、画像処理部の動作例を示している。図4の(a)は、歪曲収差補正後の撮像画を例示している。この場合、移動方向(矢印MFの方向)に位置する被写体(被写体)OBaは、他の被写体OBbに比べて表示サイズが小さく注目されにくい。ここで、移動体の移動方向に位置する被写体OBaを含む矩形領域を注目領域ATに設定して注目領域の拡大処理を行と、図4の(b)に示すように、被写体OBaが拡大表示されて、被写体OBaにユーザの注意を喚起できるようになる。しかし、被写体OBaを拡大表示しただけでは、非表示領域AEの被写体OBbが表示領域から外れて、認識できなくなってしまう。そこで、画像処理部30-1は、注目領域の拡大処理と撮像部で取得された情報が変換処理後の画像に含まれるように他の非注目領域の縮小処理を行う。この場合、図4の(c)に示すように、被写体OBaが拡大表示されて、被写体OBaにユーザの注意を喚起できるようになる。さらに、非注目領域の被写体OBbを認識することも可能となる。
[0039]
 このような第1の実施の形態によれば、撮像部20で取得された情報を損なうことなく注目すべき被写体にユーザの注意を喚起できるように撮像画を提示できる。
[0040]
 <4.第2の実施の形態の構成>
 図5は、画像処理部の第2の実施の形態の構成を示している。画像処理部30-2は、被写体検出部32、入力部33、注目領域設定部34、変換処理部36、出力部37を有している。
[0041]
 被写体検出部32は、歪補正部31から供給された歪補正後の画像信号を用いて認識処理を行い、撮像範囲内に位置する被写体を検出する。被写体検出部32は、被写体の検出結果を注目領域設定部34へ出力する。
[0042]
 入力部33は、使用状態情報生成部40から使用状態情報を取得して注目領域設定部34へ出力する。
[0043]
 注目領域設定部34は、第1の実施の形態と同様に、撮像画を取得した撮像部20の使用状態を示す使用状態情報と被写体検出部32の被写体検出結果に基づき、撮像画に対して注目領域を設定する。注目領域設定部34は、設定した注目領域を示す注目領域情報を変換処理部36へ出力する。
[0044]
 変換処理部36は、撮像部20で取得された撮像画の画像信号を用いて、歪曲収差の補正処理と注目領域の拡大処理および非注目領域の縮小処理を行う。変換処理部36は、撮像部20で用いられている撮像レンズ21の光学特性情報に基づき、撮像画に生じている歪曲収差を補正する。また、変換処理部36は、注目領域設定部34で設定された注目領域の画像を拡大する。さらに、変換処理部36は、注目領域を拡大することにより画像サイズが大きくなることから、撮像部20で取得された情報が変換処理後の画像に含まれるように非注目領域を縮小する。変換処理部36は、歪曲収差の補正と画像の拡大および縮小が行われた画像信号を生成する座標変換を、撮像部20で取得された撮像画の画像信号を用いて行い、変換処理後の画像信号を出力部37へ出力する。
[0045]
 出力部37は、歪補正および拡大縮小が行われた画像信号を表示部50の表示解像度の画像信号に変換する解像度変換を行い、解像度変換後の画像信号を表示部50で入力可能なフォーマットの信号として出力する。
[0046]
 <5.第2の実施の形態の動作>
 次に画像処理部の第2の実施の形態の動作について説明する。図6は画像処理部の第2の実施の形態の動作を示したフローチャートである。ステップST11で画像処理部は撮像画を入力する。画像処理部30-2は、撮像部20で取得された撮像画の画像信号を入力してステップST12に進む。
[0047]
 ステップST12で画像処理部は使用状態情報を取得する。画像処理部30-2は、使用状態情報生成部40で生成された使用状態情報を取得してステップST13に進む。
[0048]
 ステップST13で画像処理部は使用状態情報に変化があるか判別する。画像処理部30-2は、ステップST12で取得された使用状態情報が前回のステップST12の処理で取得された使用状態情報と異なる場合、使用状態情報に変化があると判別してステップST15に進み、一致する場合は変化がないと判別してステップST14に進む。
[0049]
 ステップST14で画像処理部は撮像画に変化があるか判別する。画像処理部30-2は、ステップST11で入力された撮像画が前回のステップST11の処理で入力された撮像画と異なる場合、撮像画に変化があると判別してステップST15に進み、一致する場合には変化がないと判別してステップST17に進む。
[0050]
 ステップST15で画像処理部は被写体検出を行う。画像処理部30-2は、ステップST1で入力された撮像画を用いて被写体検出を行いステップST16に進む。
[0051]
 ステップST16で画像処理部は注目領域を設定する。画像処理部30-2は、ステップST12で取得した使用状態情報とステップST15で得られた被写体検出結果に基づき、撮像画における注目領域を設定する。例えば、上述のように撮像部20が移動体の移動方向を撮像方向として移動体に固定して設けられている場合、画像処理部30-2は、移動体の移動方向に位置する被写体を含む矩形領域を注目領域として設定する。画像処理部30-2は、注目領域を設定してステップST17に進む。
[0052]
 ステップST17で画像処理部は変換処理を行う。画像処理部30-2は、変換処理として、撮像部20の撮像レンズ21によって撮像画に生じた歪曲収差の補正処理と、ステップST16で設定された注目領域に対する所定の拡大率での拡大処理と、注目領域の拡大に応じた非注目領域の縮小処理を行う。画像処理部30-2は、歪曲歪みが補正されて注目領域は拡大されて非注目領域は縮小されている表示画の画像信号を表示部50へ出力してステップST11に戻る。
[0053]
 このような第2の実施の形態によれば、第1の実施の形態と同様に、撮像部20で取得された情報を損なうことなく注目すべき被写体にユーザの注意を喚起できるように撮像画を提示できる。また、変換処理によって歪曲収差の補正と注目領域の拡大と非注目領域の縮小をまとめて行うことができるので、第1の実施の形態に比べて表示画の生成を効率よく行える。
[0054]
 <6.変形例>
 上述の実施の形態において、被写体検出部32は、撮像画を用いて認識処理を行いどのような被写体であるかを検出したが、時間順の複数の撮像画を用いて被写体の動きを検出してもよい。被写体検出部32で被写体検出として被写体の動きが検出されている場合、注目領域設定部34は、注目領域を設定で被写体の動きを用いてもよい。例えば、移動体の通過予定領域と被写体の移動方向が交差する領域を危険度の高い領域として、危険度の高い領域に位置するように移動する被写体の画像領域を注目領域に設定する。なお、被写体の動きは、撮像部20で取得された撮像画を用いて算出したオプティカルフローに基づいて検出すればよい。このように、被写体の動きを考慮して注目領域を設定すれば、移動体との衝突あるいは接触するような動きを生じた被写体にユーザの注意を喚起できる撮像画を提示できる。
[0055]
 また、変換処理部35は、注目領域の拡大率を、使用状態情報に応じてあるいは注目領域の危険度に応じて調整してもよい。変換処理部35は、使用状態情報で示された例えば移動体の移動速度に応じて注目領域の拡大率の調整を行い、移動速度が速くなるに応じて拡大率を大きくする。このように拡大率を調整すれば、移動速度が速いときは注意すべき被写体が離れていても大きく表示されるので、注目すべき被写体にユーザの注意を喚起できる。
[0056]
 また、変換処理部35は、注目領域の危険度に応じて注目領域の拡大率の調整を行い、危険度が高くなるに応じて拡大率を大きくする。このように拡大率を調整すれば、ユーザは被写体の表示サイズによって危険度が高いことを判別することが可能となり、危険度が高く被写体が大きく表示された場合、例えば速やかに移動体を停止させる等の危険回避動作を適切に行えるようになる。
[0057]
 また、上述の実施の形態では、衝突あるいは接触のおそれが高い領域すなわち危険度の高い領域に位置する被写体の画像領域を注目領域に設定する場合を例示したが、注目領域は危険度の高い領域に位置する被写体の画像領域に限られない。例えばドアミラーに相当する画像を表示する場合(いわゆる電子ドアミラー)、使用状態情報として撮像部を搭載した車両の速度を用いて、被写体検出結果として被写体の認識結果と動きの検出結果を用いる。また、注目領域設定部は、撮像部を搭載した車両に対して例えば所定速度よりも高速に接近する他の車両の画像領域を注目領域に設定する。また、接近速度が高くなるに伴い拡大率を大きくしてもよい。このように注目領域を設定すれば、取得された情報を損なうことなく、接近してくる車両にユーザの注意を喚起できる。
[0058]
 <7.応用例>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
[0059]
 図7は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図7に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
[0060]
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図7では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
[0061]
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
[0062]
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
[0063]
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
[0064]
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
[0065]
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
[0066]
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
[0067]
 ここで、図8は、撮像部7410及び車外情報検出部7420の設置位置のい一例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
[0068]
 なお、図8には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
[0069]
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
[0070]
 図7に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
[0071]
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
[0072]
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
[0073]
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
[0074]
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
[0075]
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
[0076]
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
[0077]
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
[0078]
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
[0079]
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
[0080]
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
[0081]
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
[0082]
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
[0083]
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図7の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
[0084]
 なお、図7に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
[0085]
 なお、図7を用いて説明した本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
[0086]
 以上説明した車両制御システム7000において、本実施形態に係る画像処理部30は、図7に示す統合制御ユニット7600に適用することができる。また、撮像部20として図8の撮像部7916、使用状態情報生成部40として図7の車両状態検出部7110、表示部50としては図7の表示部7720を用いる。
[0087]
 このように、車両制御システムに応用した場合、使用状態情報生成部40は、車速や操舵角を示す情報を使用状態情報として生成する。また、画像処理部30は、使用状態情報を用いて例えば危険度合いを示す危険度ポイントの算出を行い、算出した危険度ポイントに基づいて注目領域を設定してもよい。注目領域設定部34は、例えば車両制御システムを搭載した車両CRの後方を複数の領域に区分して、領域毎に危険度ポイントを算出する。領域の区分は、撮像部からの距離と撮像部に対する方向に基づいて行う。図9は領域の区分例を示しており、車両CRの後方領域を距離と方向に基づいて領域BA0~BA9に区分した場合を示している。
[0088]
 図10は、危険度ポイントの算出を説明するための図である。危険度ポイントPTは、例えば車速ポイントPa、距離ポイントPb、ガイドラインポイントPc、人らしさポイントPdの乗算結果とする。車速ポイントPaは、車速に応じたポイントであり、車速が速くなるに伴いポイント値を大きくする。図11は、距離ポイントPbとガイドラインポイントPcを説明するための図である。距離ポイントPbは、領域までの距離LAに応じたポイントである。画像処理部30は、領域までの距離LAが短くになるに伴いポイント値を大きくする。ガイドラインポイントPcは、操舵角に基づいて判別された移動方向MFに車両CRが移動したときの車両通過予定領域AMFに領域が含まれるか否かに応じたポイントである。画像処理部30は、領域が車両通過予定領域AMFの領域内であるとき、ポイント値を大きくする。人らしさポイントPdは、検出された被写体の人らしさに応じたポイントである。画像処理部30は、検出された被写体が人らしいと判別したときポイント値を大きくして、人でないと判別されたときはポイント値を小さくする。なお、付与ポイントや車速ポイントPaの付与基準は例示であって、図10に示す場合に限られない。
[0089]
 図12は、危険度ポイントの算出例を示している。領域BA5で検出された被写体OBcが人らいしいと判別された場合、領域BA5の危険度ポイントPT(BA5)は式(3)に示す値となる。ここで、車速ポイントPaは「2」、領域BA5の距離ポイントPbは「3」、ガイドラインポイントPcは「5」、人らしさポイントPdは「0.9」であるとすると、危険度ポイントは「27」となる。
 PT(BA5)=Pa×Pb×Pc×Pd=2×3×5×0.9=27
                           ・・・(3)
[0090]
 また、領域BA9で検出された被写体OBdが人らいしいと判別された場合、領域BA9の危険度ポイントPT(BA9)は式(4)に示す値となる。なお、車速ポイントPaは「2」、領域BA9の距離ポイントPbは「2」、ガイドラインポイントPcは「1」、人らしさポイントPdは「0.8」であるとすると、危険度ポイントは「3.2」となる。
 PT(BA9)=Pa×Pb×Pc×Pd=2×2×1×0.8=3.2
                            ・・・(4)
[0091]
 また、他の領域BA0~BA4,BA6~BA8についても同様に危険度ポイントPT(BA0)~PT(BA4),PT(BA6)~PT(BA9)を算出する。なお、図12では、他の領域の被写体を省略しており、各領域の「」で示す数字は危険度ポイントを示している。
[0092]
 画像処理部30は、領域毎に算出された危険度ポイントに基づき、最も危険度ポイントが高い領域を注目領域とする。例えば、図12に示すように危険度ポイントが算出されている場合、領域BA5における被写体OBcの領域(例えば被写体OBcを含む矩形領域)を注目領域とする。
[0093]
 さらに、画像処理部30は、注目領域すなわち危険度ポイントが最も高い領域である注目領域を拡大して他の非注目領域は縮小する拡大縮小処理を行う。図13は拡大縮小処理を説明するための図である。図13の(a)は拡大率の変化を例示しており、水平方向の拡大率を示す表示RShおよび垂直方向の拡大率を示す表示RSvにおいて、幅が広くなるに伴い拡大率が大きく、幅が狭くなるに伴い拡大率が小さいことを示している。なお、表示RSh,RSvの内部の矢印は拡大縮小方向を示している。画像処理部30は、注目領域の拡大率を「1」よりも大きくして、被写体OBcを拡大する。また、画像処理部30は、非注目領域の拡大率を「1」よりも低く、注目領域から離れるに伴い低下するように設定して、注目領域を拡大しても非注目領域の情報が損なわれないようにする。したがって、表示部7720では、図13の(b)に示すように、危険度ポイントが高い注目領域の被写体OBcは拡大されて、危険度ポイントが低い非注目領域の被写体OBdは縮小された画像が表示される。なお、拡大率の変化は、図13の(a)に示すようにリニアに拡大率が大きくあるいは小さくなる場合に限らず、ノンリニアに拡大率を変化させてもよい。例えば撮像画の端部側では拡大率の変化を大きくして、リニアに拡大率を変化させる場合よりも端部側の被写体をさらに縮小してもよい。
[0094]
 このような拡大縮小処理を行うことで、画像処理部30は、注目領域の被写体OBcに対してユーザの注意を喚起できるように撮像画を表示できる。また、非注目領域の被写体OBdは縮小されて表示されるので、後方に被写体OBdが存在していることも把握できる。
[0095]
 また、画像処理部30は、被写体の動きを用いて注目領域を設定する場合、車両通過予定領域AMFに向かう動きを生じた被写体と交差する領域の危険度ポイントを高くする。このように交差する領域の危険度ポイントを高くすれば、車両通過予定領域AMFに向かって歩いている人を拡大して表示することが可能となり、拡大表示を有効に行うことができるようになる。なお、被写体の動きは、図8に示す車外情報検出部7930の検出結果を用いて検出してもよく、撮像部7916で取得された撮像画から算出したオプティカルフローを用いて検出してもよい。
[0096]
 また、画像処理部30は、危険度に応じて注目領域の拡大率を調整してもよい。画像処理部30は、危険度に応じて注目領域の拡大率を調整する場合、危険度が高くなるに伴い注目領域の拡大率を大きくして、危険度の高い被写体に対するユーザの注意をさらに促しやすくする。
[0097]
 なお、上述の実施の形態では、危険度ポイントが最も高い領域に位置する被写体を注目領域として設定する場合を例示したが、注目領域は危険度ポイントが最も高い領域に位置する被写体に限られない。例えば危険度ポイントが予め設定された閾値を超える1あるいは複数の領域に位置する被写体を注目領域として設定してもよい。
[0098]
 このように、撮像部20と画像処理部30を車両制御システム7000に設けて、危険度ポイントに基づき注目領域の設定および注目領域の拡大表示と他の非注目領域の縮小表示を行うようにすれば、運転者に対してタイムリーに注意を促すことが可能となる。また、注意を促すために注目領域を拡大しても他の領域は縮小して表示されるので、撮像部20で取得された周辺情報を失うことなく運転者に提示することもできる。
[0099]
 明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
[0100]
 例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
[0101]
 また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
[0102]
 なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
[0103]
 また、本技術の画像処理装置は以下のような構成も取ることができる。
 (1) 撮像画を用いて被写体検出を行う被写体検出部と、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出部の被写体検出結果に基づき、前記撮像画に対して注目領域を設定する注目領域設定部と、
 前記注目領域を拡大して他の非注目領域を縮小する変換処理部と
を備える画像処理装置。
 (2) 前記注目領域設定部は、前記使用状態情報に基づき前記撮像画内の危険度の高い領域を判別して、前記危険度の高い領域に位置する被写体の画像領域を前記注目領域に設定する(1)に記載の画像処理装置。
 (3) 前記使用状態情報は、前記撮像部を設けた移動体と前記被写体検出部で検出された被写体との相対位置関係の変化に関する情報であり、
 前記注目領域設定部は、前記相対位置関係の変化に基づいて前記危険度の高い領域を判別する(2)に記載の画像処理装置。
 (4) 前記使用状態情報は、前記撮像部を設けた移動体の移動速度と移動方向を含み、
 前記注目領域設定部は、前記移動体の移動速度と移動方向に基づいて前記危険度の高い領域を判別する(3)に記載の画像処理装置。
 (5) 前記移動体は車両であり、前記撮像画は前記車両の後方を示しており、
 前記注目領域設定部は、前記車両の後退時の速度と後退方向に基づいて前記危険度の高い領域を判別する(4)に記載の画像処理装置。
 (6) 前記注目領域設定部は、前記撮像部からの距離を用いて前記危険度の高い領域を判別する(4)または(5)に記載の画像処理装置。
 (7) 前記注目領域設定部は、前記被写体検出部の被写体検出結果を用いて前記危険度の高い領域を判別する(4)乃至(6)のいずれかに記載の画像処理装置。
 (8) 前記注目領域設定部は、前記撮像部の撮像範囲を複数の領域に区分して、領域毎に前記危険度を判別する(3)乃至(7)のいずれかに記載の画像処理装置。
 (9) 前記注目領域設定部は、前記撮像部からの距離と前記撮像部に対する方向に基づいて前記撮像範囲を複数の領域に区分する(8)に記載の画像処理装置。
 (10) 前記変換処理部は、前記注目領域の拡大と前記撮像部で取得された情報が変換処理後の画像に含まれるように他の非注目領域の縮小を行う(1)乃至(9)のいずれかに記載の画像処理装置。
 (11) 前記変換処理部は、前記使用状態情報に応じて前記注目領域の拡大率を調整する(10)に記載の画像処理装置。
 (12) 前記変換処理部は、前記注目領域の危険度に応じて拡大率を調整する(10)または(11)に記載の画像処理装置。

産業上の利用可能性

[0104]
 この技術の画像処理装置と画像処理方法およびプログラムでは、撮像画を取得した撮像部の使用状態を示す使用状態情報と撮像画を用いた被写体検出の検出結果に基づき、撮像画に対して注目領域が設定されて、注目領域を拡大して他の非注目領域を縮小する変換処理が行われる。このため、変換処理後の画像を表示することで、取得された情報を損なうことなく注目すべき被写体にユーザの注意を喚起できるようになる。したがって、車両等のドライバーの危険回避動作のサポートに適している。

符号の説明

[0105]
 10・・・撮像システム
 20・・・撮像部
 21・・・撮像レンズ
 22・・・イメージセンサ部
 30,30-1,30-2・・・画像処理部
 31・・・歪補正部
 32・・・被写体検出部
 33・・・入力部
 34・・・注目領域設定部
 35,36・・・変換処理部
 37・・・出力部
 40・・・使用状態情報生成部
 50・・・表示部

請求の範囲

[請求項1]
 撮像画を用いて被写体検出を行う被写体検出部と、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出部の被写体検出結果に基づき、前記撮像画に対して注目領域を設定する注目領域設定部と、
 前記注目領域を拡大して他の非注目領域を縮小する変換処理部と
を備える画像処理装置。
[請求項2]
 前記注目領域設定部は、前記使用状態情報に基づき前記撮像画内の危険度の高い領域を判別して、前記危険度の高い領域に位置する被写体の画像領域を前記注目領域に設定する
請求項1に記載の画像処理装置。
[請求項3]
 前記使用状態情報は、前記撮像部を設けた移動体と前記被写体検出部で検出された被写体との相対位置関係の変化に関する情報であり、
 前記注目領域設定部は、前記相対位置関係の変化に基づいて前記危険度の高い領域を判別する
請求項2に記載の画像処理装置。
[請求項4]
 前記使用状態情報は、前記撮像部を設けた移動体の移動速度と移動方向を含み、
 前記注目領域設定部は、前記移動体の移動速度と移動方向に基づいて前記危険度の高い領域を判別する
請求項3に記載の画像処理装置。
[請求項5]
 前記移動体は車両であり、前記撮像画は前記車両の後方を示しており、
 前記注目領域設定部は、前記車両の後退時の速度と後退方向に基づいて前記危険度の高い領域を判別する
請求項4に記載の画像処理装置。
[請求項6]
 前記注目領域設定部は、前記撮像部からの距離を用いて前記危険度の高い領域を判別する
請求項4に記載の画像処理装置。
[請求項7]
 前記注目領域設定部は、前記被写体検出部の被写体検出結果を用いて前記危険度の高い領域を判別する
請求項4に記載の画像処理装置。
[請求項8]
 前記注目領域設定部は、前記撮像部の撮像範囲を複数の領域に区分して、領域毎に前記危険度を判別する
請求項3に記載の画像処理装置。
[請求項9]
 前記注目領域設定部は、前記撮像部からの距離と前記撮像部に対する方向に基づいて前記撮像範囲を複数の領域に区分する
請求項8に記載の画像処理装置。
[請求項10]
 前記変換処理部は、前記注目領域の拡大と前記撮像部で取得された情報が変換処理後の画像に含まれるように他の非注目領域の縮小を行う
請求項1に記載の画像処理装置。
[請求項11]
 前記変換処理部は、前記使用状態情報に応じて前記注目領域の拡大率を調整する
請求項10に記載の画像処理装置。
[請求項12]
 前記変換処理部は、前記注目領域の危険度に応じて拡大率を調整する
請求項10に記載の画像処理装置。
[請求項13]
 撮像画を用いて被写体検出部で被写体検出を行うことと、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出部の被写体検出結果に基づき、前記撮像画に対して注目領域を注目領域設定部で設定することと、
 変換処理部で前記注目領域を拡大して他の非注目領域を縮小することと
を含む画像処理方法。
[請求項14]
 撮像画の処理をコンピュータで実行させるプログラムであって、
 撮像画を用いて被写体検出を行う手順と、
 前記撮像画を取得した撮像部の使用状態を示す使用状態情報と前記被写体検出の検出結果に基づき、前記撮像画に対して注目領域を設定する手順と、
 前記注目領域を拡大して他の非注目領域を縮小する手順と
を前記コンピュータで実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]