Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019044185) VIDEO OUTPUT DEVICE, VIDEO GENERATION PROGRAM, AND NON-TRANSITORY TANGIBLE COMPUTER-READABLE MEDIUM
Document

明 細 書

発明の名称 映像出力装置、映像生成プログラム、およびコンピュータ読み出し可能持続的有形記録媒体 0001  

技術分野

0002  

背景技術

0003   0004  

先行技術文献

特許文献

0005  

発明の概要

0006   0007   0008   0009   0010   0011   0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9   10   11  

明 細 書

発明の名称 : 映像出力装置、映像生成プログラム、およびコンピュータ読み出し可能持続的有形記録媒体

関連出願の相互参照

[0001]
 本出願は、2017年8月28日に出願された日本特許出願番号2017-163622号に基づくもので、ここにその記載内容を援用する。

技術分野

[0002]
 本開示は、車両の周辺の映像を表示装置に出力する映像出力装置等に関するものである。

背景技術

[0003]
 従来、例えば特許文献1には、車両の前方を撮影する監視カメラの映像を画像表示モニタに表示する車両用周辺監視装置が開示されている。この周辺監視装置は、例えば遮蔽物の奥側に他車両が存在する場合、遮蔽物の一部分を半透明にした仮想画像を生成する。手前側の遮蔽物が半透明とされることで、仮想画像では、奥側の他車両が確認可能となる。
[0004]
 さて、一般的に、他車両等の物体の検出は、その確信度が所定の閾値を超えた段階で確定される。故に、特許文献1のような周辺監視装置では、他車両の検出確定を待ったうえで、遮蔽物を半透明化した仮想画像が表示される。そのため、他車両の報知を早期に開始することが難しかった。もし仮に、他車両の検出確定前のタイミングで報知を開始してしまうと、検出情報が誤りであった場合に、他車両を誤報知する仮想画像は、視認者にとって煩わしい提示となり得た。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2009-231937号公報

発明の概要

[0006]
 本開示は、映像の煩わしさを抑えつつ、奥側に位置する物体を早期に報知可能な映像出力装置、映像生成プログラム、およびコンピュータ読み出し可能持続的有形記録媒体を提供することを目的とする。
[0007]
 本開示の第一態様において、車両の周辺を撮影する撮像部及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部を搭載した前記車両にて、前記周辺の映像を表示装置に出力する映像出力装置は、前記撮像部にて撮影された前記周辺の撮像画像を取得する画像取得部と、前記検出部にて検出された物体の検出情報を取得する検出情報取得部と、前記検出情報に基づき、物体の検出の確信度を判定する確信度判定部と、前記検出情報に基づき前記撮像画像での物体の位置を算出する位置算出部と、前記位置算出部の算出結果に基づき、前記撮像画像における物体同士の重なりの有無を判定する重なり判定部と、前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体を写す領域の少なくとも一部に画像透過領域を設定し、前記第一物体の奥側に存在する第二物体を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させる画像処理部とを備える。
[0008]
 上記の映像出力装置によれば、第二物体の検出の確信度が低い場合でも、表示装置の映像では、手前側に存在する第一物体を写す領域の少なくとも一部に、透過率を規定される画像透過領域が設定され得る。故に、表示装置の映像は、第一物体の奥側に存在する第二物体を確認可能な状態となる。このように確信度の低い段階にて、画像透過領域に規定される透過率が低く規定されれば、第二物体を示す画像部分は、目立ち難い態様で表示される。加えて、第二物体の検出の確信度は、画像透過領域に規定された透過率で視認者に直感的に示される。以上によれば、確信度の低い早期の段階にて第二物体が誤表示されても、視認者は、この誤表示に煩わしさを感じ難くなる。したがって、映像の煩わしさを抑えつつ、奥側に存在する第二物体の早期の報知が可能となる。
[0009]
 本開示の第二態様において、車両の周辺を撮影する撮像部及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部を搭載した前記車両にて、表示装置に出力される前記周辺の映像を生成する映像生成プログラムは、少なくとも一つの演算部を、前記撮像部にて撮影された前記周辺の撮像画像を取得する画像取得部と、前記検出部にて検出された物体の検出情報を取得する検出情報取得部と、前記検出情報に基づき、物体の検出の確信度を判定する確信度判定部と、前記検出情報に基づき前記撮像画像での物体の位置を算出する位置算出部と、前記位置算出部の算出結果に基づき、前記撮像画像における物体同士の重なりの有無を判定する重なり判定部と、前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体を写す領域の少なくとも一部に画像透過領域を設定し、前記第一物体の奥側に存在する第二物体を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させる画像処理部として機能させる。
[0010]
 上記の映像生成プログラムによれば、第二物体の検出の確信度が低い場合でも、表示装置の映像では、手前側に存在する第一物体を写す領域の少なくとも一部に、透過率を規定される画像透過領域が設定され得る。故に、表示装置の映像は、第一物体の奥側に存在する第二物体を確認可能な状態となる。このように確信度の低い段階にて、画像透過領域に規定される透過率が低く規定されれば、第二物体を示す画像部分は、目立ち難い態様で表示される。加えて、第二物体の検出の確信度は、画像透過領域に規定された透過率で視認者に直感的に示される。以上によれば、確信度の低い早期の段階にて第二物体が誤表示されても、視認者は、この誤表示に煩わしさを感じ難くなる。したがって、映像の煩わしさを抑えつつ、奥側に存在する第二物体の早期の報知が可能となる。
[0011]
 本開示の第三態様において、車両の周辺を撮影する撮像部及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部を搭載した前記車両にて、表示装置に出力される前記周辺の映像を生成する映像出力装置としてコンピュータを機能させるためのインストラクションを含んだコンピュータ読み出し可能持続的有形記録媒体において、当該インストラクションは、前記撮像部にて撮影された前記周辺の撮像画像を取得することと、前記検出部にて検出された物体の検出情報を取得することと、前記検出情報に基づき、物体の検出の確信度を判定することと、前記検出情報に基づき前記撮像画像での物体の位置を算出することと、前記物体の位置を算出することの算出結果に基づき、前記撮像画像における物体同士の重なりを判定することと、前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体を写す領域の少なくとも一部に画像透過領域を設定し、前記第一物体の奥側に存在する第二物体を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させることとを有する。
[0012]
 上記のコンピュータ読み出し可能持続的有形記録媒体によれば、第二物体の検出の確信度が低い場合でも、表示装置の映像では、手前側に存在する第一物体を写す領域の少なくとも一部に、透過率を規定される画像透過領域が設定され得る。故に、表示装置の映像は、第一物体の奥側に存在する第二物体を確認可能な状態となる。このように確信度の低い段階にて、画像透過領域に規定される透過率が低く規定されれば、第二物体を示す画像部分は、目立ち難い態様で表示される。加えて、第二物体の検出の確信度は、画像透過領域に規定された透過率で視認者に直感的に示される。以上によれば、確信度の低い早期の段階にて第二物体が誤表示されても、視認者は、この誤表示に煩わしさを感じ難くなる。したがって、映像の煩わしさを抑えつつ、奥側に存在する第二物体の早期の報知が可能となる。

図面の簡単な説明

[0013]
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
[図1] 車両に搭載された電気的な構成の全体像を示すブロック図であり、
[図2] 車両に搭載された外界センサ等の配置を示す自車両の平面図であり、
[図3] 画像透過領域が周辺確認映像に設定されるシーンの一例を示す図であり、
[図4] 図3に示すシーンでの撮像画像を示す図であり、
[図5] 図3に示すシーンにて表示画面に表示される周辺確認映像を示す図であり、
[図6] 死角物体の種類が判別困難な段階での周辺確認映像を示す図であり、
[図7] 映像生成処理の詳細を示すフローチャートであり、
[図8] 透過率制御処理の詳細を示すフローチャートであり、
[図9] 追跡物体が遮蔽物の死角に入るシーンの一例を示す図であり、
[図10] 図9に示すシーンにて実施される追跡表示処理の詳細を示すフローチャートであり、
[図11] 第二実施形態による映像生成処理の詳細を示すフローチャートである。

発明を実施するための形態

[0014]
 以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
[0015]
 (第一実施形態)
 図1に示す本開示の第一実施形態による映像出力装置100は、ディスプレイ30と共に車両Aに搭載された電子制御ユニットである。映像出力装置100は、車両Aの周辺の映像をディスプレイ30に表示させる。車両Aの運転者等の乗員(以下「視認者」)は、ディスプレイ30の映像の視認により、車両Aの周辺の状態を確認可能である。映像出力装置100は、ディスプレイ30に加えて、図1及び図2に示す前方カメラ21及び検出部22等の外界センサ、車速センサ26及び加速度センサ27、並びにGNSS受信器28及び地図データベース29等と直接的又は間接的に電気接続されている。
[0016]
 ディスプレイ30は、例えば液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等である。ディスプレイ30は、表示画面31を有している。ディスプレイ30は、運転席に着座した視認者から表示画面31が視認可能となるよう、表示画面31を運転席に向けた姿勢でインスツルメントパネル等に収容されている。ディスプレイ30は、映像出力装置100から入力される映像信号に基づいて、種々の画像を表示画面31にフルカラー表示可能である。尚、表示画面31を有するディスプレイ30に替えて、ウインドシールドへの光の投影によって虚像を表示するヘッドアップディスプレイが設けられていてもよい。
[0017]
 前方カメラ21は、例えば車両Aの室内にて、バックミラー近傍に設置されている。前方カメラ21は、単眼式又は複眼式の撮像装置であって、車両の進行方向(前方)に向けられている。前方カメラ21の映像取得領域IAは、車両Aの周辺のうちで特に前方領域に設定されている。前方カメラ21は、映像取得領域IAを連続的に撮影し、映像取得領域IAに存在する移動物体及び静止物体を写した一連の撮像画像71(図4参照)を生成する。前方カメラ21は、映像データである一連の撮像画像71を、映像出力装置100に逐次出力する。
[0018]
 検出部22は、車両Aの周辺に存在する移動物体及び静止物体を検出し、これら検出物体の相対位置を計測する。検出部22は、各物体検知領域SAf,SAr,SAsの探索を所定の周期で繰り返し、検出物体の位置及び方向を示す検出情報を、映像出力装置100へ向けて逐次出力する。各物体検知領域SAf,SAr,SALは、車両Aの全周を概ね包含している。検出部22には、例えばレーダ23、ライダ24及びソナー25等が含まれている。
[0019]
 レーダ23は、車両Aに複数搭載されている。レーダ23は、一例として、車両Aの前後縁の各中央部及び各左右の端部にそれぞれ一つずつ設置されている。車両Aの前縁に設置された三つのレーダ23は、前方カメラ21よりも車両Aの進行方向に位置している。前縁の中央部に位置するレーダ23は、車両Aの進行方向に規定された物体検知領域SAfへ向けて、ミリ波を送信アンテナから放出する。レーダ23は、物体検知領域SAfに存在する移動物体及び静止物体等で反射されたミリ波を受信アンテナによって受信する。同様に、前縁の左右端に位置する各レーダ23は、右前方及び左前方に規定された各物体検知領域SAsへ向けてミリ波を放出し、各物体検知領域SAsの物体にて反射されたミリ波を受信する。各レーダ23は、各物体検知領域SAf,SAr,SALの探索を例えば50~100ミリ秒の周期で繰り返し、受信信号に基づく走査結果を検出情報として映像出力装置100に逐次出力する。
[0020]
 ライダ24は、例えば車両Aの四隅のレーダ23に替えて、車両Aの前後縁の各左右の端部にそれぞれ一つずつ設置可能である。ライダ24は、車両Aの周辺へ向けてレーザ光を照射し、照射方向に存在する移動物体及び静止物体等で反射されたレーザ光を受光する。ライダ24は、受光したレーザ光に基づく走査結果を検出情報として映像出力装置100に逐次出力する。
[0021]
 ソナー25は、例えば車両Aの前後のバンパーにおいて、各中央部及び各左右端にそれぞれ一つずつ設けられている。ソナー25は、車両Aの周辺へ向けて超音波を射出し、射出方向に存在する移動物体及び静止物体等で反射された反射波を受信する。ソナー25は、受信した反射波に基づく計測結果を検出情報として映像出力装置100に逐次出力する。
[0022]
 ここで、検出部22の構成は、適宜変更可能である。例えば、ソナー25は、省略されてもよい。さらに、レーダ23等のセンサの搭載位置及び合計数は、適宜変更されてよい。レーダ23のミリ波変調方式には、FCM(Fast Chirp Modulation),2F(2 Freq.)CW,FMCW(Frequency Modulated Continuous Wave)及びこれらの組み合わせ等が採用可能である。ミリ波の方位を展開するアルゴリズムには、DBF(Digital Beam Forming)法,Capon法及びMUSIC(Multiple Signal Classification)法等が採用可能である。
[0023]
 車速センサ26は、車両Aの現在の走行速度を計測する。加速度センサ27は、車両Aの前後方向及び左右方向について、現在の加速度を計測する。車速センサ26及び加速度センサ27による計測結果は、車両Aの移動状態を示す状態情報として、映像出力装置100等に逐次出力される。
[0024]
 GNSS(Global Navigation Satellite System)受信器28は、複数の測位衛星からの測位信号を受信する。GNSS受信器28は、受信した測位信号に基づいて車両Aの現在位置を測位し、車両Aの位置情報を取得する。GNSS受信器28は、取得した位置情報を映像出力装置100へ向けて逐次出力する。尚、GNSS受信器28は、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等の衛星測位システムのうちで、少なくとも一つの衛星測位システムの各測位衛星から、測位信号を受信可能である。
[0025]
 地図データベース(以下、「地図DB」)29は、多数の地図データを格納した大容量の記憶媒体を主体とした構成である。地図データには、道路及び構造物についての形状情報等が含まれている。地図データベース29は、映像出力装置100からの要求に応じて、車両Aの周辺及び進行方向の地図データを映像出力装置100に提供する。
[0026]
 映像出力装置100は、車両Aの前方領域の映像(以下、「周辺確認映像」)70を生成し、ディスプレイ30に出力する。映像出力装置100は、前方カメラ21にて撮影された撮像画像71(図4参照)を加工し、周辺確認映像70(図5参照)を生成する。例えば図3に示すシーンでは、車両Aと他車両との間には、遮蔽物S1が存在している。そのため、車両Aから見て遮蔽物S1の奥側に位置する他車両は、手前側に位置する遮蔽物S1の死角となる範囲(図3のドット範囲)に存在する死角物体V1となる。こうした死角物体V1が存在している場合、物体画像74、ベクトル画像75及び背景画像76を撮像画像71に重畳させる画像処理により、周辺確認映像70が生成される。
[0027]
 詳記すると、図5に示すように、撮像画像71に写る遮蔽物S1の画像(以下、「遮蔽物画像」)72の一部には、半透明とされる画像透過領域73が設定される。一方、物体画像74は、死角物体V1(図3参照)である他車両を示す画像である。ベクトル画像75は、移動する検出物体の移動方向等を示す矢印状の画像である。背景画像76は、死角物体V1の背景を再現した画像である。これらの各画像74~76を撮像画像71に合成してなる周辺確認映像70は、遮蔽物S1によって遮蔽され、車両Aの運転者からは見えないはずの死角物体V1を、遮蔽物S1の奥側に確認可能な映像となる。尚、以下の説明では、図1に示す映像出力装置100を搭載した車両Aを、死角物体V1である他車両との区別のために、「自車両A」と記載する。
[0028]
 図1に示す映像出力装置100の制御回路は、演算部41、記憶部42及びRAM43等を有するコンピュータを主体に構成されている。演算部41は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びFPGA(Field-Programmable Gate Array)等の少なくとも一つを含む構成である。演算部41は、種々の演算処理を実行する。記憶部42は、不揮発性の記憶媒体を含む構成である。記憶部42には、映像生成プログラムを含む種々のプログラムが演算部41によって読み取り可能に格納されている。RAM(Random Access Memory)43は、揮発性の半導体メモリである。RAM43は、演算部41による演算処理の作業領域として機能する。
[0029]
 映像出力装置100は、記憶部42に格納された映像生成プログラムを演算部41によって実行することで、複数の機能ブロックを構築する。具体的に、映像出力装置100には、周辺確認映像70(図5参照)の生成に必要な情報を取得する機能ブロックとして、画像取得部51、検出情報取得部53、自車情報取得部55及び地図情報取得部57等が構築される。加えて映像出力装置100には、取得した情報を処理する機能ブロックとして、確信度判定部61、位置算出部62、重なり判定部63、物体追跡部64、物体判別部65、接近判定部66及び移動推定部68等が構築される。さらに、映像出力装置100には、周辺確認映像70を生成する機能ブロックとして画像処理部40等が構築される。
[0030]
 画像取得部51は、前方カメラ21にて撮影された映像取得領域IA(図2参照)の撮像画像71を取得する。検出情報取得部53は、レーダ23等の検出部22にて検出された各物体検知領域SAf,SAr,SALに存在する物体の検出情報を取得する。尚、検出部22にて検出される検出物体のうちで、遮蔽物S1(図3参照)の死角に存在して撮像画像71に写らない物体が死角物体V1(図3参照)である。
[0031]
 自車情報取得部55は、自車両Aの移動状態を示す状態情報として、速度及び加速度等の情報を、車速センサ26及び加速度センサ27から取得する。地図情報取得部57は、GNSS受信器28から自車両Aの現在の位置情報を取得する。加えて地図情報取得部57は、位置情報の推移から、自車両Aの移動方向を推定する。地図情報取得部57は、位置情報等に基づき、映像取得領域IA及び物体検知領域SAf,SAs(図2参照)等を含む自車両Aの前方領域の地図データを取得する。
[0032]
 確信度判定部61は、検出情報取得部53にて取得される検出情報に基づき、検出物体の検出の確信度を判定する。確信度判定部61は、物体検知領域SAf,SAs等に存在する物体について、レーダ23の探索による所定時間での検出回数nが所定の閾値を超えた場合に、当該物体が存在しているという存在確定判定を行う。確信度判定部61は、こうした存在確定判定の場合と同様に、所定時間における物体の検出回数nに基づき、レーダ23から提供される検出情報の確信度を判定する。確信度判定部61は、同一物体についての所定時間での検出回数nが増えるに従って、この物体の検出の確信度を高く判定する(図8 S122参照)。
[0033]
 位置算出部62は、検出情報取得部53にて取得される検出情報、特に検出物体についての位置情報に基づき、撮像画像71(図4参照)での個々の検出物体の位置を算出する。例えば、検出部22にて死角物体V1(図3参照)が検出されている場合、位置算出部62は、死角物体V1の位置情報に基づき、撮像画像71には撮影されていない死角物体V1の画像中での仮想位置及び仮想画像サイズを算出する。
[0034]
 詳記すると、前方カメラ21及び各レーダ23は、設計時に規定された自車両Aの所定位置に搭載されている。故に、検出物体の位置情報とその位置情報を検出したレーダ23を示す情報に基づき、検出物体が撮像画像71に写り込む位置は、一義的に決定される。さらに、検出物体の大きさを示す情報と位置情報とに基づき、検出物体が撮像画像71に写り込んだ場合の画像サイズも、一義的に決定される。故に、位置算出部62は、検出物体の検出情報を用いて、画像中にて検出物体の写る位置及び大きさを、幾何演算によって算出できる。
[0035]
 重なり判定部63は、位置算出部62の算出結果に基づき、撮像画像71における物体同士の重なりの有無を判定する。図3に示すシーンにて、自車両Aの前縁且つ右端部のレーダ23は、遮蔽物S1の検出情報だけでなく、他車両(死角物体V1)の検出情報も取得可能である。一方で、このシーンでの撮像画像71(図4参照)には、遮蔽物S1が撮影されるのみで、他車両は、撮影されない。以上のシーンにおける遮蔽物S1及び他車両のように、図1に示す重なり判定部63は、位置算出部62の算出結果を用いて、撮像画像71において検出物体同士の重なりが生じているか否かを判定する。
[0036]
 物体追跡部64は、検出情報取得部53にて逐次取得される検出情報に基づき、移動する検出物体を追跡する。物体追跡部64は、追跡している検出物体(以下、「追跡物体V2」,図9参照)について、移動方向及び移動速度を算出する。物体追跡部64は、追跡物体の追跡結果に基づき、追跡物体の将来の移動経路を推定する。一例として、現在の移動方向及び移動速度が維持されたと仮定した場合に追跡物体V2が辿る軌跡を、物体追跡部64は、追跡物体V2の将来の移動経路とする。
[0037]
 物体判別部65は、検出情報取得部53にて取得される検出情報に基づき、検出物体の種類を判別する。物体判別部65は、検出情報から推定される検出物体の大まかな形状、移動速度及びミリ波の反射強度等報の計測結果に基づき、予め設定された複数種類の中から、妥当性の高い一つを検出物体の種類として推定する。物体判別部65には、検出物体の種類として、例えば大型車、乗用車、二輪車、サイクリスト及び歩行者等が予め設定されている。尚、検出の確定度が低い場合等では、検出情報から検出物体の種類を推定することが困難となる。この場合、物体判別部65は、検出物体の種類を「不明」と判別する。
[0038]
 接近判定部66は、物体追跡部64の追跡結果に基づき、追跡物体V2(図9参照)が自車両Aに接近しているか否かを判定する。さらに接近判定部66は、物体追跡部64にて推定された追跡物体V2の移動経路、及び移動推定部68にて推定された自車両Aの移動経路を取得する。接近判定部66は、追跡物体V2と自車両Aの各移動経路を比較し、これら移動経路が交差するか否かの判定に基づき、追跡物体V2のリスクレベルを設定する。自車両Aに過度に接近する可能性が高いほど、接近判定部66は、追跡物体V2に対して高いリスクレベルを設定する。
[0039]
 移動推定部68は、自車情報取得部55にて取得された自車両Aの移動状態を示す状態情報に基づき、自車両Aの将来の移動経路を推定する。接近判定部66にて推定された移動経路は、上述したように接近判定部66に提供される。移動推定部68は、現在の移動方向及び移動速度が維持されたと仮定した場合に自車両Aが辿る軌跡を、移動推定部68は、自車両Aの将来の移動経路とする。
[0040]
 画像処理部40は、周辺確認映像70を構成する各フレームの画像を生成し、周辺確認映像70の映像信号をディスプレイ30へ向けてリアルタイムに出力する。画像処理部40は、重なり判定部63にて検出物体同士が撮像画像71内で重なっていると判定された場合(図3参照)に、死角物体V1の仮想位置及び仮想画像サイズを位置算出部62から取得する。画像処理部40は、死角物体V1の仮想画像サイズよりも一回り程度大きくなるよう、画像透過領域73の大きさを設定する。そして画像処理部40は、死角物体V1の仮想位置を基準として、遮蔽物画像72(図4参照)の少なくとも一部の範囲に画像透過領域73を設定する。さらに画像処理部40は、確信度判定部61にて判定された確信度に基づき、画像透過領域73の透過率を規定する。
[0041]
 画像処理部40は、検出物体同士が重なっている場合、上述した物体画像74、ベクトル画像75及び背景画像76等を描画する。これらの画像74~76の基となる画像データは、画像データベース(以下「画像DB」)69に予め格納されている。画像処理部40は、死角物体V1に関連した上記の情報に基づき、必要な画像データを画像DB69から読み出し、変形及び着色等の処理を行うことで各画像74~76を描画する。
[0042]
 具体的に、画像処理部40は、物体判別部65の判別結果に対応した物体画像74を生成する。例えば、判別結果が乗用車を示す場合、画像処理部40は、乗用車の画像データを画像DB69から読み出す。同様に、判定結果が歩行者を示す場合、画像処理部40は、歩行者の画像データを画像DB69から読み出す。画像処理部40は、読み出した画像データを仮想画像サイズまで拡大又は縮小し、仮想位置を基準として、画像透過領域73に重畳する。尚、物体判別部65にて検出物体の種類が「不明」と判別されている場合、画像処理部40は、検出物体の外観形状を示す物体画像74に替えて、抽象化された形状の物体画像74(図6参照)を画像透過領域73に重畳する。
[0043]
 画像処理部40は、物体追跡部64にて算出される追跡物体V2(図9参照)の移動状態に応じて、ベクトル画像75の態様を変化させる。ベクトル画像75の向きは、追跡物体V2の移動方向に基づき設定され、追跡物体V2が撮像画像71に写った場合の撮像画像71内での移動方向を示すように設定される。ベクトル画像75の長さは、追跡物体V2の移動速度に基づき設定され、移動速度が速くなるに従って長くされる。一例として、ベクトル画像75の長さは、移動速度に比例した長さで表示される。ベクトル画像75の太さ及び表示色は、接近判定部66にて判定されるリスクレベルに応じて変更される。リスクレベルが高い検出物体ほど、ベクトル画像75は太くされる。リスクレベルが高い検出物体ほど、ベクトル画像75の表示色は、例えば黄色等の報知色から赤色等の誘目性の高い警告色に変更される。尚、ベクトル画像75は、物体画像74の近傍だけでなく、撮像画像71に写る他車両の画像78(図5参照)等の近傍にも重畳表示されてよい。
[0044]
 画像処理部40は、撮像画像71、検出情報、及び地図データ等を用いて、遮蔽物S1に遮蔽された領域であって、死角物体V1の背景となる領域の様子を推定する。例えば画像処理部40は、撮像画像71に写る車道の境界線を画像透過領域73内まで延長し、背景画像76としての道路の境界線を描画する。さらに、検出部22によって死角範囲にガードレールが検出されている場合、画像処理部40は、撮像画像71に写るガードレールの画像パターンを画像透過領域73内まで延長する画像処理により、ガードレールを含む背景画像76を生成する。また、検出部22によって死角範囲に駐車車両が検出されている場合、画像処理部40は、画像DB69から読み出した車両の画像データを加工して、駐車車両を含む背景画像76を生成する。さらに画像処理部40は、死角範囲の道路形状や構造物の形状が地図データから取得される場合、これらの情報を用いて、正しい道路及び構造物を含む背景画像76を生成できる。以上のように生成した背景画像76を、画像処理部40は、画像透過領域73及び物体画像74の奥側に重畳する。
[0045]
 以上の画像処理部40は、接近判定部66の接近判定又は交差判定に基づき、報知する検出物体を選別可能である。一例として、画像処理部40は、死角物体V1が自車両Aに接近している場合に限り、遮蔽物画像72に画像透過領域73を設定し、物体画像74による死角物体V1の注意喚起を実施する。或いは画像処理部40は、死角物体V1の移動経路が自車両Aの移動経路と交差している場合に限り、遮蔽物画像72に画像透過領域73を設定し、物体画像74による死角物体V1の注意喚起を実施する。
[0046]
 ここまで説明した画像処理部40は、死角物体V1の検出の確信度が高くなるに従って、画像透過領域73に規定する透過率を高く変化させる。以下、画像透過領域73を含んだ周辺確認映像70を生成する映像生成処理と、画像透過領域73の透過率を制御する透過率制御処理とを、図7及び図8に基づき、図1及び図5を参照しつつ説明する。映像生成処理及び透過率制御処理は、周辺確認映像70の表示機能が自動的に又は視認者によってオン状態とされたことに基づき、周辺確認映像70によって繰り返し実施される。
[0047]
 図7に示す映像生成処理のS101では、前方カメラ21にて撮影された撮像画像71を取得し、S102に進む。S102では、検出部22にて検出された検出物体の検出情報を取得し、S103に進む。S103では、車速センサ26及びGNSS受信器28から、自車両Aの移動状態を示す移動情報を取得する。加えてS103では、自車両Aの位置情報等に基づき、移動情報を参照しつつ、撮像画像71に写る映像取得領域IAを少なくとも含む範囲の地図データを地図DB29から取得し、S104に進む。S104では、S102にて取得した検出情報の信号処理とS101にて習得した撮像画像71の認識処理とを実施し、S105に進む。
[0048]
 S105では、S102にて取得した検出情報に基づいて、検出物体(例えば、他車両等)の種類を判別する。加えてS105では、継続的に取得される検出情報に基づき、個々の検出物体の追跡処理を行う。そして、検出物体の追跡結果に基づき、各検出物体の移動方向及び移動速度等の移動状態を算出し、これら検出物体の将来の移動経路をさらに推定して、S106に進む。
[0049]
 S106では、S103にて取得した自車両Aの状態情報に基づき、自車両Aの将来の移動経路を推定し、S107に進む。S107では、S105にて推定した追跡結果に基づく各検出物体の移動経路と、S106にて推定した自車両Aの移動経路との比較に基づき、各検出物体が自車両Aに接近しているか否かを判定する。S106にて、全ての検出物体が自車両Aに接近していないと判定した場合、映像生成処理を一旦終了する。一方で、S107にて、自車両Aに接近している検出物体があると判定した場合、S108に進む。この場合、撮像画像71がそのまま周辺確認映像70として、表示画面31に表示される。
[0050]
 ここで、S107では、自車両Aの将来の移動経路と検出物体の将来の移動経路とが交差しているか否かを判定する処理が、上記の接近判定に替えて実施可能である。こうした交差判定では、全ての検出物体の移動経路と自車両Aの移動経路とが交差していないと判定した場合に、映像生成処理を一旦終了する。一方で、自車両Aの将来の移動経路と交差する検出物体があると判定した場合、S108に進む。
[0051]
 S108では、S102にて取得した検出情報に基づき、自車両Aに接近する検出物体又は自車両Aと移動経路の交差可能性がある検出物体について、撮像画像71での仮想画像サイズ及び仮想位置を算出し、S109に進む。S109では、S108の算出結果に基づき、撮像画像71における検出物体同士の重なりの有無を判定する。S109にて、検出物体同士が重なっていないと判定した場合、映像生成処理を一旦終了する。この場合も、撮像画像71がそのまま周辺確認映像70として、表示画面31に表示される。一方、S109にて、検出物体同士が重なっていると判定した場合、S110に進む。
[0052]
 S110では、手前側に存在する検出物体(例えば遮蔽物S1)を写す遮蔽物画像72の少なくとも一部に画像透過領域73を設定する。さらに、後述する透過率制御処理にて規定された透過率で画像透過領域73を透過させ、S111に進む。S111では、S105での種類の判別結果等に基づいて物体画像74を生成し、撮像画像71に重畳してS112に進む。
[0053]
 S112では、S105にて算出した検出物体の移動状態に基づいてベクトル画像75を生成し、撮像画像71に重畳してS113に進む。S113では、S103にて取得した地図データ、S114での信号処理及び認識処理の結果等に基づいて背景画像76を生成し、撮像画像71に重畳して映像生成処理を一旦終了する。以上のS110~S113の処理により、撮像画像71を加工した周辺確認映像70が生成され、表示画面31に表示される。
[0054]
 図8に示す透過率制御処理では、検出物体の検出回数nに基づく確信度を用いて、画像透過領域73の透過率を設定する。透過率制御処理のS121では、映像生成処理のS102(図7参照)にて取得する検出情報に基づく物体検出処理を実施し、S122に進む。S121では、映像生成処理のS104(図7参照)の信号処理の結果をそのまま引用する処理を実施してもよい。
[0055]
 S122では、S121での検出処理にて個々の検出物体が検出された検出回数nを算出し、さらに確信度を判定して、S123に進む。S123では、S122にて算出した検出回数nが、所定の回数閾値Nを超えているか否かを判定する。S123にて、検出回数nが回数閾値Nを超えていると判定した場合、S124に進む。
[0056]
 S124では、映像生成処理のS110(図8参照)にて規定される画像透過領域73の透過率を、所定の最大値p(例えば90%程度)に設定し、透過率制御処理を一旦終了する。一方、S123にて、検出回数nが回数閾値N以下であると判定した場合、S125に進む。
[0057]
 S125では、画像透過領域73の透過率を所定の算出式{n/(N+1)}×pに基づき設定し、透過率制御処理を一旦終了する。S125による設定によれば、透過率は、検出回数nの増加、即ち確信度の上昇に伴って最大値pとなるまで漸増する。
[0058]
 以上の説明では、前方カメラ21及び検出部22のうちで検出部22のみが検出物体を検出していた場合に、周辺確認映像70に画像透過領域73を設定するシーンを説明した。こうしたシーンだけでなく、画像処理部40は、前方カメラ21及び検出部22の両方が検出物体を検出できていないシーンでも、検出部22の過去の検出履歴を利用して、画像透過領域73を含む周辺確認映像70を生成する。以下、このようなシーンの詳細を、図9及び図10に基づき説明する。
[0059]
 図9に示す交差点のシーンでは、時刻t1(破線参照)にて、自車両Aの検出部22は、他車両(以下、「追跡物体V2」)を検出可能である。故に、自車両Aの物体追跡部64(図1参照)は、追跡物体V2を追跡した状態となる。しかし、自車両Aが交差点に接近する時刻t1から時刻t2の期間にて、自車両Aと追跡物体V2である他車両との間の遮蔽物S2により遮られて、自車両Aの検出部22は、追跡物体V2の検出を継続できなくなる。その結果、追跡物体V2を示す検出情報が消失する。
[0060]
 こうしたシーンでは、物体追跡部64により、追跡の履歴から推定される追跡物体V2の現在位置が推定される。そして、推定された追跡物体V2の現在位置に、透過率を規定する画像透過領域73が設けられ、遮蔽物S2の奥側に存在する追跡物体V2を確認可能な周辺確認映像70が生成される。
[0061]
 以下、追跡物体V2の検出情報が消失した場合にて、画像透過領域73を含む周辺確認映像70を生成する追跡表示処理の詳細を、図10に基づき、図1,図5及び図9を参照しつつ説明する。図10に示す追跡表示処理は、映像生成処理(図8参照)と同様に、周辺確認映像70の表示機能がオン状態とされたことに基づき、映像出力装置100によって繰り返し実施される。
[0062]
 S141では、映像生成処理のS102(図7参照)にて取得する検出情報に基づく物体検出処理を実施し、S142に進む。S141では、映像生成処理のS104(図7参照)の信号処理の結果をそのまま引用する処理を実施してもよい。
[0063]
 S142では、S141にて繰り返す検出処理にて、過去のN周期のうちに追跡物体V2が存在したか否かを判定する。S142にて、過去のN周期に追跡物体V2が存在していないと判定した場合、追跡表示処理を一旦終了する。この場合、撮像画像71がそのまま周辺確認映像70として表示画面31に表示される。
[0064]
 一方、S142にて、過去のN周期に追跡物体V2が存在していたと判定した場合、S143に進む。S143では、過去のS141にて検出した物体位置の過去情報に基づき、現在の物体位置を推定する。そして、追跡物体V2の撮像画像71での仮想位置及び仮想画像サイズを算出し、S144に進む。
[0065]
 S144では、画像透過領域73の透過率を規定し、物体画像74及び背景画像76を画像透過領域73に重畳表示する。透過率は、所定の算出式(1-k/(N+1))×pによって算出される。この算出式におけるkは、一回の追跡表示処理毎に一つずつ増加するカウンタの値である。またこの数式におけるNは、S142の判定に用いられる周期の閾値であって、予め設定された数値である。以上により、画像透過領域73の透過率は、追跡物体V2の検出情報の消失後における経過時間が長くなるに従って徐々に低下する。その結果、追跡物体V2を報知する物体画像74は、追跡物体V2が遮蔽物S2の死角に入った後、周辺確認映像70から徐々に消えていく。
[0066]
 ここまで説明した第一実施形態では、死角物体V1の検出の確信度が低い場合でも、周辺確認映像70では、手前側に存在する遮蔽物S1を写した遮蔽物画像72に、透過率を規定される画像透過領域73が設定される。故に、周辺確認映像70は、遮蔽物S1よりも奥側に存在する死角物体V1を確認可能な状態となる。このように確信度の低い段階では、画像透過領域73の透過率が低く規定され、死角物体V1を示す物体画像74は、目立ち難い態様で表示される。加えて、死角物体V1の検出の確信度は、画像透過領域73に規定された透過率で視認者に直感的に示される。以上によれば、確信度の低い早期の段階にて死角物体V1を示す物体画像74が誤表示されても、視認者は、この誤表示に煩わしさを感じ難くなる。したがって、周辺確認映像70の煩わしさを抑えつつ、遮蔽物S1の奥側に存在する死角物体V1の早期の報知が可能となる。
[0067]
 加えて第一実施形態のように、レーダ23等を検出部22として用いれば、遮蔽物S1の死角範囲に存在する死角物体V1についても、正確性の高い位置情報が取得可能となる。その結果、撮像画像71にて死角物体V1を示す物体画像74の重畳位置が正確に算出され得る。以上によれば、映像出力装置100は、撮像画像71の適切な範囲に画像透過領域73及び物体画像74を配置して、死角物体V1の位置を正確に視認者に提示できる。
[0068]
 また第一実施形態における確信度は、検出物体の検出回数nが増えるに従って高く判定される。こうした確信度の判定手法によれば、金属製の看板やガードレール等の物体(以下、「ノイズ源」)が死角物体V1の近傍に存在していても、ノイズ源による確信度への影響が低く抑制され得る。以上によれば、死角物体V1である他車両の自車両Aへの接近に伴い、周辺確認映像70は、画像透過領域73の透過率を円滑に漸増させ、他車両の接近を視認者に分かり易く報知できる。
[0069]
 さらに第一実施形態では、検出物体(追跡物体V2)の移動方向を示すベクトル画像75が周辺確認映像70に表示される。このように個々の検出物体の移動方向がベクトル画像75によって提示されれば、視認者は、周辺確認映像70を視認してすぐに、これらの動きを把握し得る。その結果、視認者は、自車両Aの周辺の物体を避けるための運転行動を早急に選択し易くなる。
[0070]
 また第一実施形態では、各検出物体の移動状態に応じてベクトル画像75の態様が変更される。こうして各検出物体の移動状態が視認者に明示されれば、視認者は、周辺確認映像70から他車両等の動きを素早く把握でき、他車両を回避する行動を予め想定できるようになる。
[0071]
 さらに第一実施形態では、追跡物体V2の追跡が遮蔽物S2によって継続困難になった場合でも、遮蔽物S2の遮蔽物画像72に画像透過領域73を設定し、遮蔽物S2の奥側に存在する追跡物体V2を確認可能な周辺確認映像70が表示される。以上によれば、周辺確認映像70によって遮蔽物S2に隠れたリスク対象を報知可能なシーンをさらに増やすことができる。
[0072]
 加えて第一実施形態では、追跡物体V2の検出情報が消失した後、周辺確認映像70における画像透過領域73の透過率は、漸減していく。このように、追跡物体V2を報知する物体画像74を徐々に消失させる映像表示によれば、遮蔽物S2の死角範囲にて、追跡物体V2が居なくなった場合にも、視認者の違和感を低減させることができる。
[0073]
 また第一実施形態では、接近判定の実施により、死角物体V1が自車両Aに接近している場合に限り、周辺確認映像70による死角物体V1の注意喚起が実施され得る。故に、遮蔽物S1に遮られて直接的に視認できないものの、自車両Aに対しリスクとはなり難い死角物体V1は、視認者への注意喚起の対象から除外され得る。以上のように、報知対象とする死角物体V1が選別される処理によれば、周辺確認映像70の煩わしさは、いっそう低減可能となる。
[0074]
 さらに第一実施形態では、交差判定の実施により、自車両Aの将来の移動経路と死角物体V1の将来の移動経路とが交差する場合に限り、周辺確認映像70による死角物体V1の注意喚起が実施され得る。こうした死角物体V1の選別処理によっても、自車両Aに対しリスクとはなり難い死角物体V1が、注意喚起の対象から除外され得る。その結果、周辺確認映像70の煩わしさは、いっそう低減可能となる。
[0075]
 加えて第一実施形態では、死角物体V1の種類を判別した判別結果に基づき、死角物体V1を示す物体画像74が選択される。こうした描画処理によれば、死角物体が前方カメラ21によって捕えられていなくても、周辺確認映像70は、リアリティを確保された擬似的な透過映像により、死角物体V1の存在を視認者に提示できる。
[0076]
 また第一実施形態では、死角物体V1の検出の確信度が低く、死角物体V1の種類が判別できない状態では、映像出力装置100は、形状を抽象化した物体画像74(図6参照)を表示させる。こうした描画処理によれば、死角物体V1を示す物体画像74は、低く維持された透過率と相俟って、誘目性の低い曖昧な状態で表示される。そのため、確信度の低い段階で死角物体V1の種類が誤って判別され、周辺確認映像70を見た視認者が違和感を覚える事態は、防止され得る。
[0077]
 さらに第一実施形態では、前方カメラ21及び検出部22によってリアルタイムに取得される情報を用いて、画像透過領域73に嵌め込まれる背景画像76が生成される。このように、随時取得される現在の情報から背景画像76を生成すれば、死角物体V1と同様にその背景が前方カメラ21によって撮影できなくても、画像透過領域73に映し出される擬似的な透過映像のリアリティは、高く維持される。
[0078]
 また第一実施形態の画像処理部40は、背景画像76の生成に地図データを用いることが可能である。故に、画像処理部40は、遮蔽物S1の死角となっている範囲について、正確性の確保された道路形状や構造物等の情報を盛り込み、背景画像76を生成し得る。以上によれば、画像透過領域73に映し出される擬似的な透過映像のリアリティは、さらに高く維持される。
[0079]
 尚、第一実施形態では、前方カメラ21が「撮像部」に相当し、ディスプレイ30が「表示装置」に相当し、周辺確認映像70が「映像」に相当する。また、遮蔽物S1,S2が「第一物体」及び「遮蔽物体」に相当し、死角物体V1が「第二物体」に相当する。
[0080]
 (第二実施形態)
 図11に示す第二実施形態では、第一実施形態の変形例である。図11に示す映像生成処理では、地図情報及び自車両Aの状態情報を取得する処理(図7 S104参照)と、検出物体を選別する処理(図7 S106,S107参照)とが、省略されている。即ち、第二実施形態にてS201及びS202とS203及びS204は、それぞれ第一実施形態のS101及びS102とS104及びS105に相当し、S205~S211は、S108~S113に相当する。加えて、S211では、地図データを用いずに、背景画像76が生成される。以上のような第二実施形態でも、図5に示すような周辺確認映像70が表示可能であり、周辺確認映像70の煩わしさを抑えつつ、遮蔽物S1の奥側に存在する死角物体V1の早期の報知が可能となる。
[0081]
 (他の実施形態)
 以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
[0082]
 上記実施形態の変形例1の確信度判定部61は、検出部22にて検出される検出物体の検出回数nに替えて、検出部22にて検出される検出物体(死角物体V1)までの距離に基づき、確信度を判定する。具体的に、確信度判定部61は、自車両Aから死角物体V1までの距離が近いほど、確信度を高く判定する。こうした判定手法によれば、遮蔽物S1の死角範囲に存在する死角物体V1が自車両Aに接近するに従って、周辺確認映像70における画像透過領域73の透過率が次第に高くなる。こうした周辺確認映像70によれば、死角物体V1の報知の確実性を高めることが可能になる。
[0083]
 上記実施形態の変形例2の確信度判定部61は、第一実施形態と同様に、検出物体の検出回数nの増加に対して、確信度(透過率)を上昇させる。加えて変形例2では、検出回数nの増加に対する確信度(透過率)の上昇割合が、死角物体V1までの距離に応じて変更され、具体的には、検出部22にて検出される死角物体V1までの距離の減少に伴って、大きな値に変更される。詳記すると、確信度判定部61は、自車両Aから死角物体V1までの物体間距離が接近閾値未満となった状態で、検出回数nの増加に対する確信度(透過率)の上昇割合を、物体間距離が接近閾値以上である場合と比較して、大きな値に切り替える。
[0084]
 以上によれば、死角物体V1が遠方にあって検出の確実性を担保できない段階では、画像透過領域73の透過率は、透過映像が視認者に煩わしく感じられ難いように徐々に高められる。一方で、死角物体V1の接近によって検出の確実性が確保された段階では、画像透過領域73の透過率は、急速に上昇する。以上によれば、周辺確認映像70による死角物体V1の報知の確実性が、高く確保され得る。
[0085]
 上記実施形態では、検出部として、レーダ、ライダ及びソナー等を例示した。しかし、検出部は、例えば前方カメラ以外の車載カメラであってもよい。さらに、検出部は、自車両の外部で検出された情報を、無線通信等によって取得する通信部等であってもよい。
[0086]
 上記実施形態では、前進中の車両にて前方領域の周辺確認映像70を表示する例が示されていた。しかし、周辺確認映像は、後退中の車両にて、バックモニタの映像中の遮蔽物画像に画像透過領域を設定した周辺確認映像を、ディスプレイに表示させてもよい。
[0087]
 上記実施形態の周辺確認映像では、画像透過領域に背景画像がさらに重畳されていた。加えて、画像透過領域の近傍には、ベクトル画像が重畳されていた。こうした背景画像及びベクトル画像は、省略されていてもよい。又は、背景画像及びベクトル画像の表示及び非表示は、視認者によって切り替え可能であってもよい。
[0088]
 上記実施形態において、映像出力装置によって提供されていた機能は、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによっても提供可能である。さらに、映像生成プログラムを格納する記憶部には、種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。こうした非遷移的実体的記憶媒体は、フラッシュメモリ、ハードディスク及び光学ディスク等の種々の不揮発性の記憶媒体であってもよく、又はRAM等の揮発性の記憶媒体であってもよい。また上記の記憶媒体は、HCU等の制御装置に設けられた記憶部に限定されず、当該記憶部へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。
[0089]
 ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)から構成され、各セクションは、たとえば、S101と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
[0090]
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

請求の範囲

[請求項1]
 車両(A)の周辺を撮影する撮像部(21)及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部(22)を搭載した前記車両にて、前記周辺の映像(70)を表示装置(30)に出力する映像出力装置であって、
 前記撮像部にて撮影された前記周辺の撮像画像(71)を取得する画像取得部(51)と、
 前記検出部にて検出された物体の検出情報を取得する検出情報取得部(53)と、
 前記検出情報に基づき、物体の検出の確信度を判定する確信度判定部(61)と、
 前記検出情報に基づき前記撮像画像での物体の位置を算出する位置算出部(62)と、
 前記位置算出部の算出結果に基づき、前記撮像画像における物体同士の重なりの有無を判定する重なり判定部(63)と、
 前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体(S1)を写す領域の少なくとも一部に画像透過領域(73)を設定し、前記第一物体の奥側に存在する第二物体(V1)を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させる画像処理部(40)と、を備える映像出力装置。
[請求項2]
 前記検出情報取得部は、レーダ(23)、ライダ(24)及びソナー(25)の少なくとも一つを含む前記検出部にて計測された前記物体の位置情報を、前記検出情報として取得し、
 前記位置算出部は、前記位置情報に基づき、前記撮像画像での前記物体の位置を算出する請求項1に記載の映像出力装置。
[請求項3]
 前記確信度判定部は、前記検出部にて検出される前記第二物体の検出回数が増えるに従って、前記確信度を高く判定する請求項2に記載の映像出力装置。
[請求項4]
 前記画像処理部は、前記検出回数の増加に対する透過率の上昇割合を、前記検出部にて検出される前記第二物体までの距離の減少に伴って、大きな値に変更する請求項3に記載の映像出力装置。
[請求項5]
 前記確信度判定部は、前記検出部にて検出される前記第二物体までの距離が近いほど、前記確信度を高く判定する請求項2に記載の映像出力装置。
[請求項6]
 前記検出情報に基づいて前記第二物体を追跡し、前記第二物体の移動方向を算出する物体追跡部(64)、をさらに備え、
 前記画像処理部は、前記第二物体の移動方向を示すベクトル画像(75)を前記映像に表示させる請求項1~5のいずれか一項に記載の映像出力装置。
[請求項7]
 前記物体追跡部の追跡結果に基づき、前記第二物体が前記車両に接近しているか否かを判定する接近判定部(66)、をさらに備え、
 前記画像処理部は、前記第二物体が前記車両に接近している場合に限り、前記第二物体と重なる前記第一物体の前記画像透過領域を透過させる請求項6に記載の映像出力装置。
[請求項8]
 前記車両の移動状態を示す状態情報に基づき、前記車両の将来の移動経路を推定する移動推定部(68)、をさらに備え、
 前記物体追跡部は、前記第二物体の追跡結果に基づき、前記第二物体の将来の移動経路を推定し、
 前記画像処理部は、前記車両の移動経路と前記第二物体の移動経路とが交差する場合に限り、前記第二物体と重なる前記第一物体の前記画像透過領域を透過させる請求項7に記載の映像出力装置。
[請求項9]
 前記画像処理部は、前記物体追跡部にて算出される前記第二物体の移動状態に応じて、前記ベクトル画像の態様を変化させる請求項6~8のいずれか一項に記載の映像出力装置。
[請求項10]
 前記物体追跡部は、前記車両と追跡物体(V2)との間の遮蔽物体(S2)により、追跡していた前記追跡物体を示す前記検出情報が消失した場合に、追跡の履歴から推定される前記追跡物体の現在位置を推定し、
 前記画像処理部は、前記物体追跡部にて推定された前記追跡物体の前記現在位置に、透過率を規定する前記画像透過領域を設け、前記遮蔽物体の奥側に存在する前記追跡物体を確認可能な前記映像を生成する請求項6~9のいずれか一項に記載の映像出力装置。
[請求項11]
 前記画像処理部は、前記追跡物体を示す前記検出情報が消失した後の経過時間が長くなるに従って前記画像透過領域の透過率を下げる請求項10に記載の映像出力装置。
[請求項12]
 前記検出情報に基づき、前記第二物体の種類を判別する物体判別部(65)、をさらに備え、
 前記画像処理部は、前記物体判別部の判別結果に対応した物体画像(74)を前記画像透過領域に重畳する請求項1~11のいずれか一項に記載の映像出力装置。
[請求項13]
 前記画像処理部は、前記物体判別部にて前記第二物体の種類が判別できない場合に、抽象化された前記物体画像を前記画像透過領域に重畳する請求項12に記載の映像出力装置。
[請求項14]
 前記画像処理部は、前記撮像画像及び前記検出情報の少なくとも一方から、前記第二物体の背景となる背景画像(76)を生成し、当該背景画像を前記画像透過領域に重畳する請求項1~13のいずれか一項に記載の映像出力装置。
[請求項15]
 前記撮像画像に写る領域の地図データを取得する地図情報取得部(57)、をさらに備え、
 前記画像処理部は、前記第二物体の背景となる背景画像(76)を、前記地図データを用いて生成し、当該背景画像を前記画像透過領域に重畳する請求項1~14のいずれか一項に記載の映像出力装置。
[請求項16]
 車両(A)の周辺を撮影する撮像部(21)及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部(22)を搭載した前記車両にて、表示装置(30)に出力される前記周辺の映像(70)を生成する映像生成プログラムであって、
 少なくとも一つの演算部(41)を、
 前記撮像部にて撮影された前記周辺の撮像画像(71)を取得する画像取得部(51)と、
 前記検出部にて検出された物体の検出情報を取得する検出情報取得部(53)と、
 前記検出情報に基づき、物体の検出の確信度を判定する確信度判定部(61)と、
 前記検出情報に基づき前記撮像画像での物体の位置を算出する位置算出部(62)と、
 前記位置算出部の算出結果に基づき、前記撮像画像における物体同士の重なりの有無を判定する重なり判定部(63)と、
 前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体(S1)を写す領域の少なくとも一部に画像透過領域(73)を設定し、前記第一物体の奥側に存在する第二物体(V1)を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させる画像処理部(40)、として機能させる映像生成プログラム。
[請求項17]
 車両(A)の周辺を撮影する撮像部(21)及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部(22)を搭載した前記車両にて、表示装置(30)に出力される前記周辺の映像(70)を生成する映像出力装置としてコンピュータを機能させるためのインストラクションを含んだコンピュータ読み出し可能持続的有形記録媒体において、当該インストラクションは、
 前記撮像部にて撮影された前記周辺の撮像画像(71)を取得することと、
 前記検出部にて検出された物体の検出情報を取得することと、
 前記検出情報に基づき、物体の検出の確信度を判定することと、
 前記検出情報に基づき前記撮像画像での物体の位置を算出することと、
 前記物体の位置を算出することの算出結果に基づき、前記撮像画像における物体同士の重なりを判定することと、
 前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体(S1)を写す領域の少なくとも一部に画像透過領域(73)を設定し、前記第一物体の奥側に存在する第二物体(V1)を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させること、とを有する
 コンピュータ読み出し可能持続的有形記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]