処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020105698 - 画像処理装置、カメラシステム及び画像処理方法

Document

明 細 書

発明の名称 画像処理装置、カメラシステム及び画像処理方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023  

図面の簡単な説明

0024  

発明を実施するための形態

0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131  

符号の説明

0132  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14A   14B   14C   15   16   17   18   19   20  

明 細 書

発明の名称 : 画像処理装置、カメラシステム及び画像処理方法

技術分野

[0001]
 本発明は、車体に設置されたカメラの映像を処理する画像処理装置、カメラシステム、モニター装置及び画像処理方法に関する。

背景技術

[0002]
 昨今、駐車等で車体を後退させる際、カメラで捕えた後方映像をカーナビゲーションシステムの画面を通してドライバーに提示することによって、駐車操作を支援するリアビューカメラを搭載する車体が増加している。多くのリアビューカメラは、車体の後側バンパーの一部を撮像視野に含めることによって、後側バンパーの一部を含めた車体後方の映像をリアビュー画面に表示する。これにより、ドライバーは、後側バンパーを基準としてリアビュー映像空間での距離感をつかめるようにされている(特許文献1参照)。
[0003]
 一方、バックミラー等を持たない自動車の実現に向けて、バックミラー等に代わるカメラモニタリングシステム(CMS:Camera Monitor System)を搭載した車体も増加している。CMSによって、死角が少なく視界のより広い後方映像の提供が可能となるなど、より安全性に優れた自動車の実現が期待される。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2005-150938号公報(図3、段落[0016]、[0029])

発明の概要

発明が解決しようとする課題

[0005]
 上記のリアビューカメラとCMSは何れも車体後方の映像をドライバーに提供するものであるが、リアビューカメラは車体の真うしろの状況のモニタリングを目的とするものであるのに対し、CMSは車体の後続車両のモニタリングを目的とするものであるため、リアビューカメラとCMSカメラとでは撮像視野の高さが異なる。このためそれぞれには撮像視野の異なる別々のカメラが用いられることが普通である。しかしながら、トータル的なコストを抑えるために1つのカメラでリアビューとCMSを実現すること、あるいは、CMS用のカメラを用いてリアビューを実現することが望まれている。
 しかしながら、CMSカメラの映像を用いてリアビューを実現しようとした場合、CMSカメラの撮像視野に車体のバンパーが含まれないことに起因して様々な問題が生じていた。
[0006]
 以上のような事情に鑑み、本技術の目的は、良質のリアビュー映像を提供することのできる画像処理装置、カメラシステム及び画像処理方法を提供することにある。

課題を解決するための手段

[0007]
 上記の課題を解決するために、本技術に係る画像処理装置は、車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部とを具備する。
[0008]
 本技術に係る画像処理装置によれば、カメラで撮像された映像から生成された第1の映像に、車体の一部を表現した画像を重畳することによって、その車体の一部を基準として距離感をユーザが捉えることが容易な撮影映像を得ることができる。
[0009]
 前記車体の一部の画像は予め記憶された画像であってよい。
[0010]
 より具体的には、前記予め記憶された画像は、前記第1の信号処理部に前記カメラの映像が取得される前に記憶された画像であってよい。
[0011]
 前記車体の一部の画像は、前記カメラの視野外の領域の画像であってよい。
[0012]
 前記車体の一部の画像は、前記車体のバンパーの少なくとも一部を仮想化した仮想画像であってよい。
[0013]
 前記カメラは前記車体の前方、後方または側方を撮像するように取り付けられたカメラである。
[0014]
 前記画像重畳部は、前記車体の速度情報に基づいて前記第1の映像に重畳する前記仮想画像を調整するように構成されてよい。
[0015]
 前記画像重畳部は、前記第1の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳するように構成されてよい。
[0016]
 前記埋め込み画像は、前記隙間領域に近接する前記第1の映像の色合いに近い画像であってよい。
[0017]
 前記画像重畳部は、過去の前記第1の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成するように構成されてよい。
[0018]
 前記画像重畳部は、前記第1の映像に少なくとも前記画像が重畳された映像を第1の表示部に出力するように構成されてよい。
[0019]
 本技術に係る画像処理装置は、前記第1の映像から第1の画角と異なる第2の画角の第2の映像を生成し、第2の表示部に出力する第2の信号処理部をさらに具備するものであってよい。
[0020]
 前記第2の画角の中心は前記第1の画角の中心よりも前記第1の映像空間内で高い位置にあることとしてよい。
[0021]
 本技術に係る別の側面のカメラシステムは、車体に取り付けられたカメラと、前記カメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部とを具備する。
[0022]
 本技術に係るさらに別の側面の画像処理装置は、車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部と、前記車体の速度を検出する速度検出部と、を具備し、前記画像重畳部が、前記検出された速度に基づいて前記映像に重畳する前記画像を調整するように構成される。
[0023]
 本技術に係るさらに別の側面の信号処理方法は、第1の信号処理部が、車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成し、画像重畳部が、前記第1の映像に前記車体の一部を表現した画像を重畳する。

図面の簡単な説明

[0024]
[図1] 本技術に係るカメラシステム100の全体構成を示すブロック図である。
[図2] 図1のカメラシステム100におけるカメラ10の取り付け位置と向きを示す側面図である。
[図3] 図2のカメラ10の視野映像の例を示す図である。
[図4] カメラ10の映像空間とCMS映像空間との位置関係の例を示す図である。
[図5] リアビュー映像6の構成例を示す図である。
[図6] リアビュー映像6の他の構成例を示す図である。
[図7] 車速に応じた仮想画像4の調整方法を説明する図である。
[図8] 本技術に係る第2の実施形態においてリアビュー元映像3に対して仮想画像4を静的位置関係で重畳する方法の説明図である。
[図9] 第2の実施形態におけるリアビュー映像の例を示す図である。
[図10] 第2の実施形態におけるリアビュー映像の他の例を示す図である。
[図11] 過去映像による埋め込み処理の説明図である。
[図12] カメラ10の位置からカメラ10の映像の画角下端に相当する位置までの距離をチャートを使って実測する方法を説明する図である。
[図13] チャートの設置方法を説明する図である。
[図14A] ノーマルビューモードのリアビュー映像の例を示す図である。
[図14B] ワイドビューモードのリアビュー映像の例を示す図である。
[図14C] トップダウンビューモードのリアビュー映像の例を示す図である。
[図15] トップダウンビューモードの変換後のカメラ視点を示す図である。
[図16] 第2の実施形態のカメラシステム100におけるリアビュー信号処理部23および画像重畳部24の全体的な動作の流れを示すフローチャートである。
[図17] 本技術に係る画像処理装置の構成の第1の変形例を示すブロック図である。
[図18] 本技術に係る画像処理装置の構成の第2の変形例を示すブロック図である。
[図19] 本技術に係る画像処理装置の第3の変形例であるモニター装置の構成を示すブロック図である。
[図20] 本技術に係る画像処理装置の第4の変形例であるカメラシステムの構成を示すブロック図である。

発明を実施するための形態

[0025]
 以下、本技術の実施の形態を図面をもとに以下の順に説明する。
 1.全体のシステム構成
 2.画像処理装置20の構成
 3.画像重畳処理
 4.車速に応じた仮想画像の調整
 5.過去映像の埋め込み
 6.リアビューモードの切り替え
 7.全体的な制御の流れ
 8.変形例
[0026]
 <第1の実施形態>
 (1.全体のシステム構成)
 図1は本技術に係るカメラシステム100の全体構成を示すブロック図である。
 このカメラシステム100は、カメラ10と、画像処理装置20と、CMS表示部30と、リアビュー表示部40とを有する。
[0027]
 CMS表示部30およびリアビュー表示部40は車体60のドライバーが画面を視ることのできる別々のモニターである。CMS表示部30は、バックミラー、ドアミラーなどのルームミラーを代替するモニターなどであってよい。リアビュー表示部40は、例えば、カーナビゲーションシステムの画面などであってよい。
[0028]
 図2は図1のカメラシステム100におけるカメラ10の取り付け位置と向きを示す側面図、図3は図2のカメラ10の視野映像の例を示す図である。なお、本実施形態では、カメラ10が車体60の後方を撮像可能なように車体後部に配置される場合を想定する。これに限らず、カメラ10は、車体60の前方を撮像可能なように配置されてもよい。
[0029]
 カメラ10は、CCDセンサまたはCMOSセンサを搭載したデジタルビデオカメラであり、好ましくは高解像度(HD:High Definition)のデジタルビデオカメラである。図2及び図3に示したように、カメラシステム100のカメラ10は、遠方を撮像できるように車体60の後部のトップ部分など比較的高い位置などに、光軸をほぼ水平あるいは若干下向きに傾斜させて設置される。このようなカメラ配置の場合、車体60の後側バンパー61などのバンパーがカメラ10の視野外となる。このため、カメラシステム100を例えばバックミラーに代わる車体後方のモニタリングに利用しようとすると、後側バンパー61の像が存在しないことによって車体後部の距離感が掴み難いカメラ映像1(図3参照)となるという課題があった。これが本技術が解決しようとする課題の一つである。
[0030]
 (2.画像処理装置20の構成)
 画像処理装置20は、少なくとも、車体60に取り付けられたカメラ10で撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部(リアビュー信号処理部23)と、前記第1の映像に車体60の一部を表現した画像を重畳する画像重畳部25とを含む。
[0031]
 より具体的には、画像処理装置20は、カメラ10により撮像された映像1からCMS用の映像を生成してCMS表示部30に供給する一方で、カメラ10により撮像された映像からリアビュー用の元映像を生成し、このリアビュー用の元映像に、少なくとも、例えば仮想的な後側バンパーなどの画像(以下、「仮想画像」と呼ぶ。)などを重畳したリアビュー映像を生成してリアビュー表示部40に供給する。
 なお、リアビュー元映像に仮想画像を重畳する方法には、車速に基づいて仮想画像の位置などを調整する方法と、車速に拘わらず固定の位置に仮想画像を重畳する方法とがあり、前者の方法を第1の実施形態、後者の方法を第2の実施形態において説明する。
[0032]
 図1に示すように、画像処理装置20は、例えば、スプリッタ21と、CMS信号処理部22(第2の信号処理部)と、リアビュー信号処理部23と、画像重畳部24などで構成される。画像処理装置20は、例えば、IC(Integrated Circuit)、LSI(large-scale integrated circuit)などの集積回路、バッファリング用のメモリなどで構成される。
[0033]
 スプリッタ21は、カメラ10により撮像された映像1(図3参照)をCMS信号処理部22とリアビュー信号処理部23に供給する。
[0034]
 CMS信号処理部22は、スプリッタ21を通じて供給された映像1から、CMS信号処理の対象領域の映像の切り出し、ビューモードに応じた歪み補正、ホワイトバランス調整などの画質調整を行うことによって、CMS表示部30に供給するCMS映像を生成する。
[0035]
 図4はカメラ10の映像空間とCMS映像空間との位置関係の例を示す図である。同図に示すように、CMS信号処理部22は、カメラの映像1から、遠方の被写体を主な被写体とし、かつ水平線Sがほぼ中間の高さよりやや下にくるような画角部分にあたる映像領域2をCMS信号処理の対象領域として切り出すことによってCMS映像を生成する。
[0036]
 リアビュー信号処理部23は、カメラの映像1から、リアビュー信号処理の対象領域の映像の切り出し、ビューモードに応じた歪み補正、ホワイトバランス調整などの画質調整を行うことによって、リアビュー用の元映像を生成する。なお、リアビュー信号処理部23は、カメラ10の映像1の全画素を処理対象としてもよい。図4はこのようにカメラ10の映像1の全画素をリアビュー用の元映像3とする場合を示している。リアビュー用の元映像3とは、後述するバンパーの仮想画像や埋め込み画像が重畳される前の、カメラ10の映像のみからなるカメラ映像のことであり、以降「リアビュー元映像3」と呼ぶ。このリアビュー元映像3に後述するバンパーの仮想画像や埋め込み画像が重畳された画像が「リアビュー映像6」である。
[0037]
 画像処理装置20は、車体60に搭載されたECU(Engine Control Unit)200との間で通信を行う通信インタフェース(図示せず)を有する。ECU200との通信プロトコルにはCAN(Controller Area Network)などがある。画像重畳部24は、上記の通信インタフェースを用いてECU200より車速情報などのステータス情報を受信し、受信した車速情報に基づいて仮想画像の位置などの調整を行う。この画像重畳部24による仮想画像の重畳処理の詳細については後で説明する。
[0038]
 (3.画像重畳処理)
 図5はリアビュー映像6の構成例を示す図である。画像重畳部24は、リアビュー信号処理部23によって生成されたリアビュー元映像3に、カメラ10の視野内に存在しない例えば後側バンパーなどの車体の一部を表現した画像を仮想画像4として重畳して、リアビュー映像6を生成する。この仮想画像4は、例えば予めコンピュータグラフィックスなどにより作成された画像であり、画像処理装置20にカメラ10からの映像が供給される以前、あるいは、システムが起動されるよりも前に画像処理装置20内の不揮発性メモリ(図示せず)に格納された情報である。なお、リアビュー元映像3に重畳される画像は、必ずしもコンピュータグラフィックスなどにより作成される画像であるとは限らず、例えば写真から加工された画像であってもよい。本明細書では、コンピュータグラフィックスなどにより作成される画像および写真加工画像などを「仮想画像4」と総称する。
[0039]
 なお、図5では、カメラ10の映像1の全画素をリアビュー元映像3としてリアビュー映像6を生成する場合を示したが、本技術ではこれに限定されない。例えば、図6に示すように、カメラ10の映像1の最下領域を含む一部矩形領域をリアビュー元映像3aとして、これに仮想画像4などを重畳することによってリアビュー映像6aを生成してもよい。
[0040]
 (4.車速に応じた仮想画像の調整)
 画像重畳部24は、ECU200から得られる車速情報に基づいて、リアビュー映像6に重畳させる仮想画像4の位置などを調整することができる。
[0041]
 図7は車速に応じた仮想画像4の調整方法を説明する図である。
 同図において、hはカメラ10の設置高さ、θはカメラ10の画角下端に対応する光線のカメラ光軸に対する角度、φはカメラ10の画角下端に対応する光線の垂直に対する角度、tは画像重畳部24に予め設定されたタイミングパラメータである。
[0042]
 ここで、φはカメラ10の光軸の水平に対する傾き(下方傾き)をβとすると、
 φ=90-θ-β   ・・・(1)
の計算式により算出される。
[0043]
 タイミングパラメータtは、車体後退中に現速度でt秒後に車体60の後側バンパー61が到達する地点を端とした仮想画像4を表示させるためのパラメータである。このタイミングパラメータtは、ユーザが任意に設定を変更し得るものであってもよい。ここでの仮想画像は、現速度で後退した場合、t秒後/t秒以内に車が到達する領域を示したものである。
 また、仮想画像が重畳されるリアビュー元映像3の領域の状況がドライバーに確認できるように、仮想画像は半透明画像として重畳し、表示しても良い。
[0044]
 まず、画像重畳部24は、h、t、そして車速vから下記の計算式によって仮想画像4の表示位置を求める。リアビュー元映像3の画角を全体のリアビュー表示画角とした場合、全体のリアビュー表示画角の下端からどの位離れた位置を仮想画像4の上端とするかが仮想画像4の表示位置の計算対象となる。仮想画像4の上端位置は、カメラ10の位置からvt+eだけ移動した地点にあたる。そこで、画像重畳部24は、まずvt+eを算出する。なお、eはカメラ10の位置から後側バンパー61の端までの距離である。
[0045]
 次に、このvt+eの計算結果からαを算出する。αはカメラ10から路面上のvt+e地点をみた方向の垂直に対する角度である。αは次式によって算出される。
 α=tan -1((vt+e)/h)  ・・・(2)
 したがって、車速が高速であるほど仮想画像4の上端位置は図7上ではより左側にくる。
[0046]
 次に、画像重畳部24は、リアビュー元映像3の下端から、リアビュー元映像3上の上記(2)式により算出されたαの角度に相当する位置(仮想画像4の上端位置)までの領域に仮想画像4を重畳する。これによって、仮想画像4がリアビュー元映像3の適切な位置に重畳されたことになり、車体60との距離感の掴みやすいリアビュー映像6が得られる。
[0047]
 ところで、車速vが過度に大きい場合、リアビュー映像6の大半の領域が仮想画像4によって占められ、リアビュー表示部40を通してユーザから見える車体後方の空間が狭くなりすぎてしまう。そこで、画像重畳部24は、例えば、次の条件を満たす場合だけ仮想画像4を重畳することにする。
 θ/2<θ+φ-α<θ   ・・・(3)
 上記(3)式を満足しない場合には、リアビュー元映像3だけがリアビュー映像6としてリアビュー表示部40に表示される。これにより、リアビュー表示部40を通してユーザから見える車体後方の映像空間が狭くなりすぎてしまうことを防止できる。
[0048]
 <第2の実施形態>
 次に、本技術に係る第2の実施形態を説明する。
 本実施形態において、画像重畳部24は、リアビュー元映像3に対して仮想画像4を、車速に拠らず、静的な位置関係で重畳する。
[0049]
 図8は第2の実施形態においてリアビュー元映像3に対して仮想画像4を静的位置関係で重畳する方法の説明図、図9は本実施形態におけるリアビュー映像の例を示す図である。
 これらの図に示すように、仮想画像4は、リアビュー表示部40の表示空間において、カメラ10の位置から車体60の後側バンパー61の端までの領域に相当する位置に配置される。この際、リアビュー表示部40の表示空間においてリアビュー元映像3と仮想画像4との間に像が存在しない隙間領域ができる場合がある。画像重畳部24は、この隙間領域に、仮想画像4との判別を容易にするための埋め込み画像5を埋め込む。この埋め込み画像5は、例えば、斜線、網掛け、色などによって仮想画像4と異なる特徴をもつ画像であることが好ましい。埋め込み画像5は、隙間領域付近のリアビュー元映像3の色合いに近い色を用いることが、仮想画像4との判別を容易にするため、より好ましい。さらに、図10に示すように、埋め込み画像5には、リアビュー元映像3と仮想画像4との隙間の実空間における距離を示す値のキャラクタ情報7が重畳されてもよい。
 ここでは、図8で示される仮想画像領域は、車体後部(後部バンパーを含む)を路面に投影した投影領域の一部に相当する。仮想画像領域の端部は、この投影領域(車体後部の投影領域)の端部に相当する。
[0050]
 (5.過去映像の埋め込み)
 埋め込み画像5には、過去の映像、例えば1フレーム前の映像から切り出された映像を用いてもよい。この処理は、車体60が後退する間にバッファに保持された過去のリアビュー元映像3を用いて行われる。
[0051]
 図11は過去映像による埋め込み処理の説明図である。
 60aは現在の位置の車体、60bは1フレーム前の位置の車体である。vfは1フレーム間に車体が速度vで移動した距離であり、fはフレーム周期である。
 現在の車体60aの位置で撮像されたリアビュー元映像3と仮想画像4との間の隙間領域は、1フレーム前に撮影されたリアビュー元映像3中のカメラ光軸に対してθ1からθ2までの角度範囲の映像で埋められる。θ1、θ2は以下により算出される角度である。
 θ1=θ+φ-tan -1((htanφ+vf/h)   ・・・(4)
 θ2=θ+φ-tan -1((vf+e)/h)   ・・・(5)
[0052]
 このように、現在のカメラ10による画角下端と仮想画像4との間の隙間領域に1フレーム前の同じ領域の映像で埋めることによって、より自然なリアビュー映像を得ることができる。
[0053]
 なお、ここでは1フレーム前の映像から埋め込み用の映像を切り出して埋め込むこととしたが、さらに過去のフレームから、現在の隙間領域に対応する領域の映像を切り出して埋め込むようにしてもよい。
[0054]
 なお、図11および上記(4)式において、カメラ10の位置からカメラ10の映像の画角下端に相当する位置までの距離であるhtanφは、計算によって求めることができるが、このhtanφは車体毎に固定値であるので、実測により求めることも可能である。
[0055]
 図12及び図13はhtanφの実測にチャートを用いた場合の説明図である。
 図12に示すように、チャート70は、例えば2cmと10cm刻みの目盛が記されたシートなどである。図13に示すように、実測時、チャート70は、チャート70の基点(0点)の位置を車体60の後側バンパー61の端に合わせるようにして路面に配置される。カメラ10により撮像したリアビュー映像から画面に表示されたカメラ10の映像71の画角下端に見える目盛の値を、後側バンパー61の端からカメラ10の映像71の画角下端との距離として目視により取得することができる。図12の例では後側バンパー61の端からカメラ10の画角下端との距離が44cmであることが分かる。取得した距離は、システムに手入力などによって、画像処理装置20に設定され、仮想画像重畳リアビュー映像6の生成に利用される。
[0056]
 (6.リアビューモードの切り替え)
 リアビュー信号処理部23は、3種類のリアビューモードを有し、適宜ユーザにより設定されたリアビューモード選択情報に基づいてリアビュー映像の表示画角を切り替えることができる。
[0057]
 リアビューモードには、ノーマルビューモード、ワイドビューモード、トップダウンビューモードなどがある。ユーザは、リアビューモードを、操作ボタンなどにより、随時任意に選択することができる。
[0058]
 図14A、図14B、図14Cはノーマルビューモード、ワイドビューモード、トップダウンビューモードそれぞれのモードによるリアビュー映像の例を示す図である。
 ワイドビューは、広角レンズを用いて撮像をすることによってノーマルビューよりも広角範囲のリアビュー映像を表示するモードである。
 トップダウンビューは、図15に示すように、ノーマルビューモードのリアビュー映像などから、視点変換等の信号処理によって、車体真後ろの路面をほぼ真上から見たリアビュー映像を表示するモードである。
[0059]
 画像重畳部24は、リアビューモードの種類に応じて、仮想画像4および埋め込み画像5の歪み補正を行う。
[0060]
 (7.全体的な制御の流れ)
 次に、第2の実施形態のカメラシステム100におけるリアビュー信号処理部23および画像重畳部24の動作の流れを説明する。
 図16は、第2の実施形態のカメラシステム100におけるリアビュー信号処理部23および画像重畳部24の全体的な動作の流れを示すフローチャートである。
[0061]
 リアビュー信号処理部23および画像重畳部24は、例えば、車体がバックギアに入ったことを示すステータスをECU200から取得することなどによって起動し、以下制御を実行する。
[0062]
 リアビュー信号処理部23は、起動後、リアビュー表示モードを確認し、その結果を保持する(ステップS101)。続いて、リアビュー信号処理部23は、スプリッタ21を通じてカメラ10で撮影されたリアビュー元映像を入力する(ステップS102)。入力されたリアビュー元映像は画像処理装置20内のバッファに保持される(ステップS103)。
[0063]
 画像重畳部24は、リアビュー表示モードの確認結果に基づき、現在選択されているリアビュー表示モードに応じた形態の仮想画像を生成するとともに、リアビュー元映像の画角下端と仮想画像との隙間の埋め込み画像を作成し、これらをリアビュー元映像に重畳することによって仮想画像重畳リアビュー映像を生成する(ステップS104、S105、S106、S107)。
[0064]
 次に画像重畳部24は、車体の後退が開始されたかどうかをECU200からのステータスに基づいて判断する(ステップS108)。まだ車体が後退を開始していない場合、リアビュー信号処理部23は、ステップS105、S106、S107のいずれかにより生成された仮想画像重畳リアビュー映像をリアビュー表示部40に出力する(ステップS109)。この際、仮想画像重畳リアビュー映像における埋め込み画像は例えば斜線画像、網掛け画像、色画像など、仮想画像と単に判別できればよい一様な画像とされる。
[0065]
 車体の後退が開始されてから1フレーム分時間が経過するまでの間は(ステップS110のN)、画像重畳部24は、ステップステップS105、S106、S107のいずれかにより生成された仮想画像重畳リアビュー映像をリアビュー表示部40に出力し続ける(ステップS109)。
[0066]
 車体の後退が開始されてから1フレーム分時間が経過したところで(ステップS110のY)、画像重畳部24は、ECU200より車速情報を取得してその値を確認する(ステップS111)。画像重畳部24は、バッファから過去フレームのリアビュー元映像を読み込み、確認した車速に基づいて、当該過去フレームのリアビュー元映像中の、仮想画像重畳リアビュー映像における埋め込み画像の領域に対応する対応領域を算出する(ステップS112)。続いて、画像重畳部24は、過去フレーム映像から上記対応領域の過去映像を切り出し、切り出した過去映像に対してリアビュー表示モードに応じた歪補正を施すことによって、過去映像による埋め込み画像を生成する(ステップS113)。
[0067]
 次に、画像重畳部24は、生成した過去映像による埋め込み画像を現在の仮想画像重畳リアビュー映像の埋め込み画像の領域に重畳(上書き)することによって(ステップS114)、仮想画像と過去映像による埋め込み画像が重畳された仮想画像重畳リアビュー映像を完成させ、この仮想画像重畳リアビュー映像をリアビュー表示部40に出力する(ステップS115)。
[0068]
 (8.変形例)
 上記の実施形態のカメラシステム100において、画像処理装置20は、スプリッタ21と、CMS信号処理部22と、リアビュー信号処理部23と、画像重畳部24とを備えるものとしたが、本技術はこれに限定されない。
[0069]
 (第1の変形例)
 例えば図17に示すように、画像処理装置20AがECU200から車速情報を取得するように構成するのではなく、車体の速度を検出する速度検出部80を別途備え、画像重畳部24が速度検出部80から車速情報を取得して、仮想情報の調整を行うようにしてもよい。
[0070]
 (第2の変形例)
 図18に示すように、図1の画像処理装置20の構成から、少なくともCMS信号処理部22を除き、リアビュー信号処理部23と画像重畳部24によって本技術に係る画像処理装置20Bが構成されてもよい。
[0071]
 (第3の変形例)
 図19に示すように、本技術は、リアビュー信号処理部23、画像重畳部24、表示器25を一つのシステムとして内蔵したモニター装置20Cとして提供し得る。
 あるいは、リアビュー信号処理部23、画像重畳部24を一つのシステムとしてカメラ10を内蔵したカメラ装置として提供しても良い。
[0072]
 (第4の変形例)
 図20に示すように、本技術は、カメラ10、リアビュー信号処理部23、画像重畳部24、表示器25を個別の装置とした、カメラシステム100Bとしても提供し得る。
 また、図1、図17、図20それぞれに対して、一つ装置に内蔵する機能ブロックの組合せを変えても良い。
 例えば、図1において、カメラ10とスプリッタ21とリアビュー信号処理部23と画像重畳部24を内蔵したカメラ装置と、CMS信号処理部22とCMS表示部30とを内蔵した表示装置と、リアビュー表示部40と、ECU200とを有するシステムとしても良い。また、カメラ10とスプリッタ21とCMS信号処理部22とを内蔵したカメラ装置と、リアビュー信号処理部23と画像重畳部24とリアビュー表示部40とを内蔵したリアビュー表示装置と、CMS表示部30とECU200とを有するシステムとしても良い。
[0073]
 上記の各実施形態では、特に車体の後方を撮像可能なように取り付けられたカメラの映像を用いるものとしたが、本技術は、車体の前方や側方を撮像可能なカメラの映像を用いる場合にも同様に応用し得るものである。
[0074]
 上記の各実施形態では、車体60の一部の仮想画像4としてバンパーの仮想画像4をカメラ映像に重畳することとしたが、カメラ映像に重畳する車体60の一部が何処であるかは本技術において限定されない。車体60に設置されたカメラ10の視野に入らない部位であって、カメラ映像の空間の距離感をユーザが掴みやすくできる部位であれば何でもよい。例えば、車体の側方をカメラで撮像するのであれば、車体の側面の仮想画像が重畳されるようにすればよい。さらに、車体の後方、前方をモニタリングする場合にも必ずしもバンパーの仮想画像が重畳されるべきであるとは限らない。例えば、ナンバープレートの仮想画像や、車体のシルエットの一部が重畳されてもよい。
[0075]
 その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
[0076]
 さらに、本技術は以下のような構成もとることができる。
(1)車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、
 前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
 を具備する画像処理装置。
[0077]
(2)上記(1)の画像処理装置であって、
 前記車体の一部の画像が記憶部に予め記憶された画像である
 画像処理装置。
[0078]
(3)上記(2)の画像処理装置であって、
 前記予め記憶された画像が、前記第1の信号処理部に前記カメラの映像が取得される前に記憶された画像である
 画像処理装置。
[0079]
(4)上記(1)から(3)のいずれかの画像処理装置であって、
 前記車体の一部の画像が、前記カメラの視野外の領域の画像である
 画像処理装置。
[0080]
(5)上記(2)から(4)のいずれかの画像処理装置であって、
 前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
 画像処理装置。
[0081]
(6)上記(1)から(5)のいずれかの画像処理装置であって、
 前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
 画像処理装置。
[0082]
(7)上記(1)から(6)のいずれかの画像処理装置であって、
 前記画像重畳部が、前記車体の速度情報に基づいて前記第1の映像に重畳する前記画像を調整する
 画像処理装置。
[0083]
(8)上記(1)から(6)のいずれかの画像処理装置であって、
 前記画像重畳部は、前記第1の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
 画像処理装置。
[0084]
(9)上記(8)の画像処理装置であって、
 前記埋め込み画像は、前記隙間領域に近接する前記第1の映像の色合いに近い画像である
 画像処理装置。
[0085]
(10)上記(8)の画像処理装置であって、
 前記画像重畳部は、過去の前記第1の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
 画像処理装置。
[0086]
(11)上記(1)から(10)のいずれかの画像処理装置であって、
 前記画像重畳部は、前記第1の映像に少なくとも前記画像が重畳された映像を第1の表示部に出力する
 画像処理装置。
[0087]
(12)上記(1)から(11)のいずれかの画像処理装置であって、
 前記第1の映像から第1の画角と異なる第2の画角の第2の映像を生成し、第2の表示部に出力する第2の信号処理部
 をさらに具備する画像処理装置。
[0088]
(13)上記(12)の画像処理装置であって、
 前記第2の画角の中心は前記第1の画角の中心よりも前記第1の映像空間内で高い位置にある
 画像処理装置。
[0089]
(14)上記(1)の画像処理装置であって、
 前記第1の映像は、リアビューのための映像である
 画像処理装置。
[0090]
(15)上記(12)の画像処理装置であって、
 前記第2の映像が、ルームミラー画像相当の映像である
 画像処理装置。
[0091]
(16)車体に取り付けられたカメラと、
 前記カメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、
 前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
 を具備するカメラシステム。
[0092]
(17)上記(16)のカメラシステムであって、
 前記車体の一部の画像が記憶部に予め記憶された画像である
 カメラシステム。
[0093]
(18)上記(17)のカメラシステムであって、
 前記予め記憶された画像が、前記第1の信号処理部に前記カメラの映像が取得される前に記憶された画像である
 カメラシステム。
[0094]
(19)上記(16)から(18)のいずれかのカメラシステムであって、
 前記車体の一部の画像が、前記カメラの視野外の領域の画像である
 カメラシステム。
[0095]
(20)上記(17)から(19)のいずれかのカメラシステムであって、
 前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
 カメラシステム。
[0096]
(21)上記(16)から(20)のいずれかのカメラシステムであって、
 前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
 カメラシステム。
[0097]
(22)記(16)から(21)のいずれかのカメラシステムであって、
 前記画像重畳部が、前記車体の速度情報に基づいて前記第1の映像に重畳する前記画像を調整する
 カメラシステム。
[0098]
(23)上記(16)から(21)のいずれかのカメラシステムであって、
 前記画像重畳部は、前記第1の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
 カメラシステム。
[0099]
(24)上記(23)のカメラシステムであって、
 前記埋め込み画像は、前記隙間領域に近接する前記第1の映像の色合いに近い画像である
 カメラシステム。
[0100]
(25)上記(23)のカメラシステムであって、
 前記画像重畳部は、過去の前記第1の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
 カメラシステム。
[0101]
(26)上記(23)から(25)のいずれかのカメラシステムであって、
 前記画像重畳部は、前記第1の映像に少なくとも前記画像が重畳された映像を第1の表示部に出力する
 カメラシステム。
[0102]
(27)上記(16)から(26)のいずれかのカメラシステムであって、
 前記第1の映像から第1の画角と異なる第2の画角の第2の映像を生成し、第2の表示部に出力する第2の信号処理部
 をさらに具備するカメラシステム。
[0103]
(28)上記(27)のカメラシステムであって、
 前記第2の画角の中心は前記第1の画角の中心よりも前記第1の映像空間内で高い位置にある
 カメラシステム。
[0104]
(29)上記(16)のカメラシステムであって、
 前記第1の映像は、リアビューのための映像である
 カメラシステム。
[0105]
(30)上記(27)のカメラシステムであって、
 前記第2の映像が、ルームミラー画像相当の映像である
 カメラシステム。
[0106]
(31)車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、
 前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部と、
 前記画像が重畳された映像を表示する表示部と
 を具備するモニター装置。
[0107]
(32)上記(31)のモニター装置であって、
 前記車体の一部の画像が記憶部に予め記憶された画像である
 モニター装置。
[0108]
(33)上記(32)のモニター装置であって、
 前記予め記憶された画像が、前記第1の信号処理部に前記カメラの映像が取得される前に記憶された画像である
 モニター装置。
[0109]
(34)上記(31)から(33)のいずれかのモニター装置であって、
 前記車体の一部の画像が、前記カメラの視野外の領域の画像である
 モニター装置。
[0110]
(35)上記(31)から(34)のいずれかのモニター装置であって、
 前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
 モニター装置。
[0111]
(36)上記(31)から(35)のいずれかのモニター装置であって、
 前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
 モニター装置。
[0112]
(37)上記(31)から(36)のいずれかのモニター装置であって、
 前記画像重畳部が、前記車体の速度情報に基づいて前記第1の映像に重畳する前記画像を調整する
 モニター装置。
[0113]
(38)上記(31)から(36)のいずれかのモニター装置であって、
 前記画像重畳部は、前記第1の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
 モニター装置。
[0114]
(39)上記(38)のモニター装置であって、
 前記埋め込み画像は、前記隙間領域に近接する前記第1の映像の色合いに近い画像である
 モニター装置。
[0115]
(40)上記(37)のモニター装置であって、
 前記画像重畳部は、過去の前記第1の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
 モニター装置。
[0116]
(41)上記(31)のモニター装置であって、
 前記第1の映像は、リアビューのための映像である
 モニター装置。
[0117]
(42)第1の信号処理部が、車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成し、
 画像重畳部が、前記第1の映像に前記車体の一部を表現した画像を重畳する
 画像処理方法。
[0118]
(43)上記(42)の画像処理方法であって、
 前記車体の一部の画像が記憶部に予め記憶された画像である
 画像処理方法。
[0119]
(44)上記(43)の画像処理方法であって、
 前記予め記憶された画像が、前記第1の信号処理部に前記カメラの映像が取得される前に記憶された画像である
 画像処理方法。
[0120]
(45)上記(42)から(44)のいずれかの画像処理方法であって、
 前記車体の一部の画像が、前記カメラの視野外の領域の画像である
 画像処理方法。
[0121]
(46)上記(42)から(44)のいずれかの画像処理方法であって、
 前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
 画像処理方法。
[0122]
(47)上記(42)から(46)のいずれかの画像処理方法であって、
 前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
 画像処理方法。
[0123]
(48)上記(42)から(47)のいずれかの画像処理方法であって、
 前記画像重畳部が、前記車体の速度情報に基づいて前記第1の映像に重畳する前記画像を調整する
 画像処理方法。
[0124]
(49)上記(42)から(47)のいずれかの画像処理方法であって、
 前記画像重畳部は、前記第1の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
 画像処理方法。
[0125]
(50)上記(49)の画像処理方法であって、
 前記埋め込み画像は、前記隙間領域に近接する前記第1の映像の色合いに近い画像である
 画像処理方法。
[0126]
(51)上記(49)の画像処理方法であって、
 前記画像重畳部は、過去の前記第1の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
 画像処理方法。
[0127]
(52)上記(42)から(51)のいずれかの画像処理方法であって、
 前記画像重畳部は、前記第1の映像に少なくとも前記画像が重畳された映像を第1の表示部に出力する
 画像処理方法。
[0128]
(53)上記(42)から(52)のいずれかの画像処理方法であって、
 第2の信号処理部が、前記第1の映像から第1の画角と異なる第2の画角の第2の映像を生成し、第2の表示部に出力する
 画像処理方法。
[0129]
(54)上記(53)の画像処理方法であって、
 前記第2の画角の中心は前記第1の画角の中心よりも前記第1の映像空間内で高い位置にある
 画像処理方法。
[0130]
(56)上記(42)の画像処理方法であって、
 前記第1の映像は、リアビューのための映像である
 画像処理方法。
[0131]
(57)上記(53)の画像処理方法であって、
 前記第2の映像が、ルームミラー画像相当の映像である
 画像処理方法。

符号の説明

[0132]
 1…カメラ映像
 3…リアビュー元映像
 4…仮想画像
 5…埋め込み画像
 6…リアビュー映像
 10…カメラ
 20、20A、20B…画像処理装置
 20C…モニター装置
 22…CMS信号処理部
 23…リアビュー信号処理部
 24…画像重畳部
 30…CMS表示部
 40…リアビュー表示部
 60…車体
 61…後側バンパー
 80…速度検出部
 100…カメラシステム
 100B…カメラモニタリングシステム
 200…ECU

請求の範囲

[請求項1]
 車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、
 前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
 を具備する画像処理装置。
[請求項2]
 請求項1に記載の画像処理装置であって、
 前記車体の一部の画像が記憶部に予め記憶された画像である
 画像処理装置。
[請求項3]
 請求項2に記載の画像処理装置であって、
 前記予め記憶された画像が、前記第1の信号処理部に前記カメラの映像が取得される前に記憶された画像である
 画像処理装置。
[請求項4]
 請求項3に記載の画像処理装置であって、
 前記車体の一部の画像が、前記カメラの視野外の領域の画像である
 画像処理装置。
[請求項5]
 請求項4に記載の画像処理装置であって、
 前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
 画像処理装置。
[請求項6]
 請求項5に記載の画像処理装置であって、
 前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
 画像処理装置。
[請求項7]
 請求項6に記載の画像処理装置であって、
 前記画像重畳部が、前記車体の速度情報に基づいて前記第1の映像に重畳する前記画像を調整する
 画像処理装置。
[請求項8]
 請求項6に記載の画像処理装置であって、
 前記画像重畳部は、前記第1の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
 画像処理装置。
[請求項9]
 請求項8に記載の画像処理装置であって、
 前記埋め込み画像は、前記隙間領域に近接する前記第1の映像の色合いに近い画像である
 画像処理装置。
[請求項10]
 請求項9に記載の画像処理装置であって、
 前記画像重畳部は、過去の前記第1の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
 画像処理装置。
[請求項11]
 請求項1に記載の画像処理装置であって、
 前記画像重畳部は、前記第1の映像に少なくとも前記画像が重畳された映像を第1の表示部に出力する
 画像処理装置。
[請求項12]
 請求項1に記載の画像処理装置であって、
 前記第1の映像から第1の画角と異なる第2の画角の第2の映像を生成し、第2の表示部に出力する第2の信号処理部
 をさらに具備する画像処理装置。
[請求項13]
 請求項12に記載の画像処理装置であって、
 前記第2の画角の中心は前記第1の画角の中心よりも前記第1の映像空間内で高い位置にある
 画像処理装置。
[請求項14]
 請求項1に記載の画像処理装置であって、
 前記第1の映像は、リアビューのための映像である
 画像処理装置。
[請求項15]
 請求項12に記載の画像処理装置であって、
 前記第2の映像が、ルームミラー画像相当の映像である
 画像処理装置。
[請求項16]
 車体に取り付けられたカメラと、
 前記カメラで撮像された映像から第1の画角の第1の映像を生成する第1の信号処理部と、
 前記第1の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
 を具備するカメラシステム。
[請求項17]
 第1の信号処理部が、車体に取り付けられたカメラで撮像された映像から第1の画角の第1の映像を生成し、
 画像重畳部が、前記第1の映像に前記車体の一部を表現した画像を重畳する
 画像処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14A]

[ 図 14B]

[ 図 14C]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]