国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現在ご利用になれません。
この状況が続く場合は、次のお問い合わせ先までご連絡ください。フィードバック & お問い合わせ
1. (WO2015133141) 表示物情報表示装置
Document

明 細 書

発明の名称 表示物情報表示装置 0001  

技術分野

0002  

背景技術

0003   0004  

先行技術文献

特許文献

0005  

発明の概要

0006   0007   0008   0009   0010   0011   0012   0013   0014  

図面の簡単な説明

0015  

発明を実施するための形態

0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 表示物情報表示装置

関連出願の相互参照

[0001]
 本開示は、2014年3月6日に出願された日本出願番号2014-44247号に基づくもので、ここにその記載内容を援用する。

技術分野

[0002]
 本開示は、道路上に設置されている種々の表示物の情報を表示器(Display unit)に表示する表示物情報の表示装置(Displaying Apparatus)に関する。

背景技術

[0003]
 従来、搭載される車両が走行している道路上(道路沿いを含む)に設置されている看板などの表示物の情報を表示器に表示する装置(すなわち表示物情報表示装置)として、特許文献1に開示の表示物情報表示装置がある。
[0004]
 特許文献1の表示物情報表示装置は、走行中において車両の周辺をカメラで撮影し、その画像データにガソリンスタンドなどの料金看板などの予め定められている検出対象が含まれているか否かを周知の画像認識処理技術を用いて判定する。そして、その画像データに検出対象が含まれている場合には、その検出対象とする表示物に表示されている料金などの情報を抽出し、その表示物を掲示している施設と対応付けて保存する。特許文献1に記載の技術によれば、ドライバは、表示物から抽出されて保存されている情報を用いて、目的地とする施設の検索や設定を行うことができる。なお、表示物から取得した情報は、施設の検索条件に用いられる他、目的地とする施設を検索する検索画面に表示される。

先行技術文献

特許文献

[0005]
特許文献1 : JP 2007-78632 A

発明の概要

[0006]
 特許文献1には、道路上に設置されている表示物から取得した情報を、目的地の検索及び設定時に表示する技術が開示されているが、目的地の検索及び設定時以外のタイミングにおいて、道路上の表示物から取得した情報を表示することについては言及されていない。
[0007]
 道路上には、交差点に接続する道路の行き先を示す方面看板や、走行速度の上限などを示す規制標識など、種々の表示物などが設置されている。ドライバは、これらの表示物を見ることによって、目的地に到達するための経路や、より安全に運転するための情報などを認識することができる。
[0008]
 しかしながら、運転操作という重要なタスクを実施しているドライバにとっては、全ての表示物を見落とさずに視認することは難しい。そして、例えば方面看板を見落としてしまった場合には、その方面看板が案内している交差点において進むべき道路が分からなくなってしまう。
[0009]
 そこで、1つの解決策として、走行中において道路上に設置されている表示物の情報を取得して蓄積しておき、例えば所定の操作を受け付けた場合に、それらの表示物の情報を表示する構成が考えられる。このような構成とすれば、ドライバは、自身が見落とした表示物の情報を後からでも認識することができるようになる。
[0010]
 しかしながら、道路上から取得した全ての表示物の情報を表示してしまうと、ドライバは、多数の表示物の情報の中から必要な表示物の情報を見つけることが困難になってしまう。特に、ドライバは、自身が見落とした表示物については、それがどのような表示物で
あったかをドライバ自身が認識できていない可能性があり、多数の表示物の情報の中から自身が見落とした表示物の情報を見つけることがより一層困難である。
[0011]
 本開示の目的とするところは、ドライバが見落とした可能性がある表示物の情報をドライバが認識しやすいように表示する表示物情報表示装置を提供することにある。
[0012]
 その目的を達成するための本開示の一つの例によれば、表示物情報表示装置は、車両の前方を逐次撮影する前方撮影装置が撮影した画像データから、予め検出対象として設定されている表示物を検出する表示物検出部と、表示物検出部が検出した表示物に対して、前記車両のドライバがその表示物を見落としている可能性である見落とし可能性を評価する見落とし評価部と、表示物検出部が検出した表示物が表す情報である表示物情報と、その表示物に対して見落とし評価部が評価した見落とし可能性とを含む表示物毎のデータである表示物データをメモリに保存する保存部と、メモリに保存されている表示物毎の表示物データに基づいて、表示物の表示物情報を、表示器に表示する描画部と、を備え、描画部は、メモリに保存されている表示物データに対応する表示物のうち、見落とし可能性が高い表示物の表示物情報を優先して表示器に表示する。
[0013]
 以上の構成では、描画部は、表示物の表示物情報を表示する際、ドライバが見落とした可能性が高いと見落とし評価部が評価した表示物の表示物情報を優先して表示器に表示する。すなわち、ドライバが見落とした可能性が高い情報ほど優先的に表示される。
[0014]
 そしてドライバは、優先的に表示されている表示物情報を見ることによって自身が見落とした可能性がある表示物の内容を認識することができる。

図面の簡単な説明

[0015]
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
[図1] 実施形態に係る運転支援システムの概略的な構成の一例を示すブロック図
[図2] 本実施形態に係るコントローラの概略的な構成の一例を示すブロック図
[図3] 表示物データリストのデータ構成の一例を示す概念図
[図4] リスト表示部が生成する表示物リスト画像の一例図
[図5] 表示物検出部が実施する表示物検出処理を説明するためのフローチャート図
[図6] 保存部が実施する表示物データ保存処理を説明するためのフローチャート図
[図7] 自動表示部が実施する自動表示候補設定処理を説明するためのフローチャート図
[図8] 自動表示部が実施する自動表示処理を説明するためのフローチャート図
[図9] 第三変形例におけるコントローラの概略的な構成の一例を示すブロック図
[図10] 第三変形例における表示物リスト画像の一例図

発明を実施するための形態

[0016]
 以下、本開示の実施形態について図を用いて説明する。図1は、本実施形態に係る表示物情報表示システム100の概略的な構成の一例を示す図である。図1に示すように表示物情報表示システム100は、コントローラ1、前方カメラ2、車載センサ群3、入力装置4、ドライバモニタ5、地図データベース(以降、地図DB)6、表示器7、音声出力装置8、メモリ9、及び通信装置10を備える。コントローラ1と、前方カメラ2、車載センサ群3、入力装置4、ドライバモニタ5、地図データベース(以降、地図DB)6、表示器7、音声出力装置8、メモリ9、及び通信装置10とは、それぞれ周知の車両内ネットワークを介して相互通信を実施する。以下では、この表示物情報表示システム100が搭載されている車両をホスト車両とも称する。尚、「表示物」は、サインボードとも言及される。
[0017]
 前方カメラ2は、ホスト車両前方の所定範囲(前方撮影範囲とする)を撮影するように、例えば車室内のルームミラー付近に設置され、前方撮影範囲を逐次(例えば100msec毎に)撮影する。なお、ここでの前方とはホスト車両の正面方向に限らず、斜め前方も含む。前方カメラ2は前方撮影範囲内に存在する道路や道路上に存在する他車両等を逐次撮影する。前方カメラ2が撮影して生成される画像データは、コントローラ1に逐次入力される。
[0018]
 前方カメラ2は、本実施形態では光学式カメラであって、例えばCMOSカメラ又はCCDカメラ等を用いることができる。もちろん、前方カメラ2は、赤外線カメラなどであっても良い。すなわち、前方カメラ2は、道路上(道路沿いも含む)に設置されている表示物を検出できる構成となっていればよい。また、前方カメラ2の設置位置は、ルームミラー付近に限らず、ホスト車両の車室外(例えばフロントバンパ中央部)に配置されるものであってもよい。この前方カメラ2は前方撮影装置とも言及される。
[0019]
 車載センサ群3は、ホスト車両の状態を検出する種々のセンサであって、例えば、車速センサや、加速度センサ、ジャイロセンサ、GNSS受信機、操舵角センサ、ブレーキストロークセンサ、アクセルペダルセンサ、方向指示レバー位置センサなどが含まれる。
[0020]
 車速センサはホスト車両の走行速度を検出し、加速度センサはホスト車両に作用する加速度を検出する。GNSS受信機は、GNSS(Global Navigation Satellite System)で用いられる衛星からの電波を受信することで、GNSS受信機の現在位置を示すデータを取得する。GNSS受信機としては、例えばGPS受信機を用いることができる。
[0021]
 ジャイロセンサはホスト車両の鉛直軸周りの回転角速度を検出し、操舵角センサはステアリングの切れ角に基づいて操舵角を検出する。ブレーキストロークセンサはブレーキペダルの踏込量を検出し、アクセルペダルセンサはアクセルペダルの踏込量を検出する。方向指示レバー位置センサは、方向指示レバーが左折位置又は右折位置になっているかを検出する。車載センサ群3が備える種々のセンサが検出した検出値は、逐次コントローラ1に出力される。
[0022]
 入力装置4は、表示器7が備える表示パネルと一体になっているタッチパネルであって、ドライバはこの入力装置4を操作することによりコントローラ1に各種機能の実行指示を行う。例えば、ドライバはこの入力装置4を操作することによって、後述する表示物リスト画像を表示するようにコントローラ1に指示を行うことができる。入力装置4は、当該入力装置4に対してドライバが実施した操作に対応する制御信号をコントローラ1に出力する。
[0023]
 本実施形態では入力装置4としてタッチパネルを採用するが、入力装置4は、タッチパネルに限らず、メカニカルスイッチや、ドライバの発話によって指示入力できる音声認識装置であってもよい。もちろん、これらを組み合わせて実現しても良い。
[0024]
 ドライバモニタ5は、撮影面をドライバに向けた姿勢にて、車両の室内に設置されており、ドライバの顔を含む範囲を逐次(例えば100ミリ秒毎に)撮影し、その撮影画像の画像データを、コントローラ1に逐次出力する。本実施形態ではドライバモニタ5を、ステアリングコラムカバーの上に取り付けるものとするが、その他の態様として、バックミラー部分になどに取付けてもよい。
[0025]
 また、本実施形態ではドライバモニタ5として、赤外線を検出することにより、可視光の少ない環境下においても撮像可能な赤外線カメラを用いる。もちろん、ドライバモニタ5は、赤外線カメラのほかに、例えばCMOSカメラやCCDカメラ等、可視光を感知する光学式のカメラ等であってもよい。このドライバモニタ5は顔部撮影装置とも言及される。
[0026]
 地図DB6は、地図データを格納しているデータベースであって、例えばHDD(Hard Disk Drive)などの、書き換え可能な不揮発性の記憶媒体を用いて実現される。もちろん、地図DB6において地図データを格納する記憶媒体は、HDDなどの磁気記憶媒体に限らず、DVDなどの光学記憶媒体等であってもよい。また、書き換え不可能な記憶媒体であってもよい。地図データは、道路の接続関係(すなわち道路網)を示す道路データなどを備えている。
[0027]
 道路データは、複数の道路が交差、合流、分岐する地点(ノードとする)に関するノードデータと、その地点間を結ぶ道路(すなわちリンク)に関するリンクデータを有する。ノードデータは、ノード毎に固有の番号を付したノードID、ノードの座標(緯度・経度)、ノード名称、ノードに接続する全てのリンクのリンクIDが記述される接続リンクID、及び信号機が設置されているか否か、などの各データを備える。
[0028]
 リンクデータは、道路毎に固有の番号を付したリンクID、リンク長、リンクの始端及び終端ノード、リンク上の各地点の座標データ、高速道路や一般道路などの道路種別、道路幅員、リンク方位、道路名称、車線数、制限速度などの各データを備える。
[0029]
 表示器7は、コントローラ1からの指示に基づいてテキストや画像を表示し、種々の情報をドライバに報知する。表示器7は、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。本実施形態において表示器7は、インストゥルメントパネルの車幅方向中央付近に配置されるセンターディスプレイとする。尚、本願では、「情報」は不可算名詞のみならず可算名詞としても使用される。
[0030]
 他の態様として、表示器7はインストゥルメントパネルの運転席側の上部に配置されたメーターディスプレイであってもよい。また、表示器7は、フロントガラスの運転席前方の一部分に虚像を映し出して種々の情報を表示する周知のヘッドアップディスプレイであってもよい。さらに、表示器7は、センターディスプレイや、メーターディスプレイ、ヘッドアップディスプレイなどを組み合わせて実現されても良い。表示器7が複数のディスプレイを備える場合には、コントローラ1がその表示させるデータ毎に、そのデータの出力先とするディスプレイを選択すればよい。
[0031]
 音声出力装置8は、スピーカ等から構成され、コントローラ1から入力される音声データを音声(単なる音も含む)に変換して出力する。
[0032]
 メモリ9は、書き換え可能な不揮発性の記憶媒体と、その記憶媒体に対してデータの読み出し及び書き出しを行う装置と、を備えている。メモリ9が備える記憶媒体としては、磁気ディスクや光学ディスク、及びフラッシュメモリなど周知の記憶媒体を用いることができる。本実施形態においてはメモリ9が備える記憶媒体として、一例としてSDカード等の取り外し可能な記憶媒体を用いる構成とする。もちろん、記憶媒体として、DVD、CD、HDDなどを採用してもよい。メモリ9は、後述する画像認識用データD1と表示物データリストD2を記憶する。
[0033]
 通信装置10は、送受信アンテナを備え、例えば電話回線やインターネットなどの通信ネットワークを介して、外部に設けられた情報収集サーバ(図示略)などと通信を行う。ここでは一例として、通信装置10は、公知の第3世代移動体通信システムで用いられる通信モジュールによって実現されるものとする。もちろん、通信装置10として、この他、DCM(Data Communication Module)といった車載通信モジュールなどの様々なものを採用することができる。また、通信装置10は、交差点などに設置される路側機を介して、情報収集サーバと通信を実施してもよい。
[0034]
 コントローラ1は、制御回路とも言及され、本実施形態では、一例として、通常のコンピュータとして構成されており、周知のCPU、ROMやEEPROM、フラッシュメモリなどの不揮発性メモリ、RAMなどの揮発性メモリ、I/O、及びこれらの構成を接続するバスライン(何れも図示略)などを備えている。不揮発性メモリには、種々の処理を実行するためのプログラムモジュールやデータが格納されている。
[0035]
 ここで、図2を用いて、コントローラ1が不揮発性メモリに格納されている種々のプログラムモジュールを実行することによって実現される機能について説明する。コントローラ1は、図2に示すように機能ブロックとして、位置検出部F1、操作受付部F2、表示物検出部F3、運転負荷判定部F4、視線検出部F5、見落とし評価部F6、保存部F7(保存処理部とも言及される)、描画部F8(表示制御部とも言及される)、及び通信部F9(通信処理部とも言及される)を備える。これらの機能を備えるコントローラ1は表示物情報表示装置とも言及される。これらの各機能ブロックあるいは各部は、その一部あるいは全てをハードウエアの構成要素として、提供されても良い。
[0036]
 位置検出部F1は、GNSS受信機や、車速センサ、ジャイロスコープなどの車載センサ群3が備えるセンサから入力される信号に基づいて、ホスト車両の現在位置を検出する。現在位置を示す位置情報は、例えば緯度、経度で表される構成とすればよい。位置検出部F1は、逐次(例えば100ミリ秒毎)にホスト車両の位置情報を取得する。この位置検出部F1は位置取得部とも言及される。
[0037]
 なお、現在位置を検出するために用いられるセンサ群は、各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。もちろん、各センサの精度によっては、上述したセンサの一部の出力値を用いても良い。
[0038]
 操作受付部F2は、入力装置4から入力される制御信号から、ドライバが入力装置4に対して為した操作に対応する処理を受け付ける。例えば、操作受付部F2は、ドライバ操作に基づいて、表示物リスト画像を表示する処理を受け付ける。操作受付部F2が受け付けた処理は、キューに蓄積され、逐次実施されていく。
[0039]
 表示物検出部F3は、前方カメラ2から逐次入力される画像データに対して、周知の画像認識処理を行うことで、検出対象として予め設定されている表示物を検出する。画像認識処理には、パターンマッチングやハフ(Hough)変換等の公知の方法を用いて行う構成とすればよい。
[0040]
 より具体的には、前方カメラ2から取得した画像データに対してエッジ検出などの公知の画像処理を行い、画像に含まれている全ての物体の輪郭を抽出する。そして、画像処理を施した画像データに対して、パターンマッチング処理を行うことによって、検出対象となっている表示物を検出する。なお、画像処理としては、エッジ検出の他にも、例えば鏡像に変換する鏡像変換やレンズの特性で画像周辺部に生じる歪みを補正する歪み補正等も行う構成としてもよい。
[0041]
 本実施形態において検出対象とする表示物は、案内標識や警戒標識、規制標識、指示標識、及び補助標識などを含む道路標識とする。案内標識は、方面看板などの経路案内用の標識(すなわち経路案内標識)や、地点の名称並びに道路の名称及び道路番号を示す地点案内標識を含む。警戒標識は、強風や落石、スリップなどに対してドライバに注意深い運転を促す標識である。規制標識は、その標識が設置されている道路への進入を禁止していることを示す進入禁止標識や、車線毎の進行方向を示す進行方向制限標識、制限速度を示す制限速度標識などを含む。
[0042]
 指示標識は、横断歩道を示す標識や、停止線を示す標識、優先道路であることを示す標識などを含む。補助標識は、案内標識や警戒標識、規制標識、指示標識とともに用いられ、当該補助標識の近傍に設置されている標識(例えば規制標識)に対して情報を付加する標識である。
[0043]
 もちろん、検出対象とする表示物としては、その表示物が示す内容が固定されているものに限らない。例えば電光掲示板などの、表示内容が動的に変化するものであってもよい。すなわち、検出対象は、制限速度や事故の発生の有無、有料道路の料金などの道路情報を示す電光掲示板を含む。また、本実施形態では、道路標識を検出対象としたが、これに限らない。ガソリンスタンドの料金などを示す看板を検出対象としてもよい。
[0044]
 これらの検出対象とする表示物を画像データから検出するための画像認識処理に用いられるデータ(画像認識用データとする)D1は、メモリ9に格納されている。例えば、メモリ9は画像認識用データとして、検出対象毎に、その検出対象の形状パターンを表すデータを記憶している。各形状パターンデータには、その検出対象が示す内容を表す表示物種別が設定されている。例えば、制限速度標識を検出するための形状パターンデータには、その表示物種別として制限速度標識と設定されているものとする。したがって、表示物検出部F3は、検出対象とする表示物を検出すると、その検出した表示物の表示物種別を取得することができる。
[0045]
 また、画像認識用データD1は、ひらがなや、カタカナ、アルファベットなどの文字の形状パターンを表すデータも備えている。これによって、表示物検出部F3は、電光掲示板に表示されるテキストや、道路標識に含まれる文字列も取得できることとする。
[0046]
 表示物検出部F3は、検出対象となっている表示物を画像データ内に検出すると、検出対象となっている表示物を検出したことを、見落とし評価部F6や保存部F7などに通知する。なお、表示物検出部F3は、検出対象となっている表示物を検出すると、その検出した表示物に対して、固有の番号である表示物IDが付与する。表示物IDは、検出対象を検出した順番に設定される番号であってもよいし、その表示物を検出した時刻を用いてもよい。
[0047]
 また、表示物検出部F3は、検出対象となっている表示物を画像データ内に検出すると、当該画像データからその表示物の部分を切り出して、その表示物を保存部F7に出力する。この表示物検出部F3が切り出した当該表示物の画像を表示物画像と称する。表示物画像は、表示物ID及び表示物種別とともに保存部F7に出力される。
[0048]
 さらに、表示物検出部F3は、検出対象となっている表示物を画像データ内に検出すると、当該画像データ内におけるその表示物の位置と、ホスト車両における前方カメラの設定位置と、その撮像方向と、から、ホスト車両に対して当該表示物が存在する位置を検出する。ホスト車両に対して当該表示物が存在する位置を以降では、表示物相対位置と称する。また、一度検出した表示物は、周知の物体追跡(トラッキング)手法を用いて追尾し、その表示物相対位置を逐次更新する。表示物相対位置は、その表示物に設定されている表示物IDとともに、後述する見落とし評価部F6に逐次出力する。
[0049]
 運転負荷判定部F4は、ホスト車両の走行状態を表す、車載センサ群3が備える種々のセンサから入力されるセンサ値に基づいて、ドライバの運転負荷の大きさを表す運転負荷レベルを判定する。
[0050]
 ここでは、一例として運転負荷レベルを判定するパラメータとして、車速センサが検出する車速、加速度センサが出力する加速度、操舵角センサが検出する操舵角、ヨーレートセンサが検出するヨーレート、方向指示レバー位置センサが検出する方向指示レバーの位置などを用いる構成とする。
[0051]
 例えば、運転負荷判定部F4は、車速や加速度、操舵角、ヨーレートが大きいほど、運転負荷レベルが高いと判定する。また、方向指示レバーの位置が左折位置や右折位置となっている場合にも運転負荷をより高く判定する。これは、方向指示レバーが左折位置又は右折位置となっている場合には、ドライバが交差点で左折又は右折をしようとしている状況や、車線変更をしようとしている状況を意味しているからである。いずれの状況においても、ドライバは周囲の安全をより注意深く確認する必要があるため、ドライバの運転負荷は相対的に高いといえる。
[0052]
 また、運転負荷判定部F4は、位置検出部F1が検出した位置情報と、地図DB6が記憶している地図データとから、ホスト車両が現在走行している道路の道路種別や道路形状を特定し、その特定した道路種別や道路形状に基づいて運転負荷レベルを判定してもよい。例えば、ホスト車両が高速道路を走行している場合には、一般道を走行している場合よりも運転負荷レベルを高く判定する。また、ホスト車両が急カーブを走行している場合も、直線道路を走行している場合よりも運転負荷レベルを高く判定する。
[0053]
 本実施形態の運転負荷判定部F4は、一例として、ドライバの運転負荷レベルを高レベル、中レベル、低レベルの3段階で表すこととする。運転負荷判定部F4が上述したパラメータを用いて、現在の運転負荷レベルが何れのレベルに該当するかを判定するための条件は、適宜設計されれば良い。
[0054]
 ここでは、車速、加速度、操舵角、ヨーレートといったパラメータ毎に、要素負荷レベルを判定し、パラメータ毎の要素レベルに基づいて運転負荷レベルを判定する。要素負荷レベルは、そのパラメータ毎の状態を表すものであって、運転負荷レベルを判定するために用いられる。
[0055]
 要素負荷レベルは、ここでは運転負荷レベルと同様に、高、中、低レベルの3段階で表す。要素負荷レベルが高いほど、運転負荷レベルが高い可能性が高いことを意味する。各パラメータには、そのパラメータの要素負荷レベルが中レベルであると判定するための第1閾値、及び運転負荷レベルが高レベルであると判定するための第2閾値を予め設定しておく。
[0056]
 例えば、車速の第1閾値を40km/h、第2閾値を80km/hと設定し、現在の車速が第2閾値以上となっている場合には、車速の要素負荷レベルは高レベルであると判定する。また、現在の車速が第2閾値未満であって且つ第1閾値以上となっている場合には、車速の要素負荷レベルは中レベルであると判定し、第1閾値未満である場合には、車速の要素負荷レベルは低レベルであると判定する。他のパラメータに対しても、同様に適宜、第1閾値及び第2閾値を設定しておき、パラメータ毎の要素負荷レベルを判定する。
[0057]
 そして、全てのパラメータのうち、要素負荷レベルが高レベルとなっているパラメータが1つでも存在する場合には、運転負荷レベルは高レベルであると判定する。また、要素
負荷レベルが高レベルとなっているパラメータが存在せず、かつ、要素負荷レベルが中レベルとなっているパラメータが所定数(例えば2つ)以上存在する場合には、運転負荷レベルを中レベルと判定する。要素負荷レベルが高レベルとなっているパラメータが存在せず、かつ、要素負荷レベルが中レベルとなっているパラメータが所定数(例えば2つ)未満である場合には、運転負荷レベルを低レベルと判定する。
[0058]
 なお、方向指示レバーが左折位置か右折位置のいずれかに設定されている場合には、運転負荷レベルを1段階高く判定する。ただし、既に運転負荷レベルが高レベルとなっている場合には、高レベルを維持する。
[0059]
 視線検出部F5は、ドライバモニタ5が撮影した画像データを逐次取得し、その画像データから、公知の画像処理技術を用いて特徴点を検出し、顔領域、及び顔領域における目領域、黒目部分などを検出する。本実施形態のドライバモニタ5はホスト車両に固定して設置されているとともに、撮像方向も固定されているため、画像データにおける顔領域の位置や大きさに応じて、次車両内におけるドライバの顔の位置を特定することができる。そして、視線検出部F5は顔領域の大きさと顔領域における目領域の位置および黒目の位置から、ドライバの顔の向きや視線方向を算出する。この視線検出部F5は視線方向検出部とも言及される。
[0060]
 見落とし評価部F6は、表示物検出部F3が検出した表示物をドライバが見落とした可能性の度合いを、運転負荷判定部F4が判定している運転負荷レベルと、その表示物の表示物相対位置と、視線検出部F5が検出しているドライバの視線方向と、に基づいて算出する。以降では、表示物検出部F3が検出した表示物をドライバが見落とした可能性を示す度合いを、見落とし度と称する。この見落とし度は見落とし可能性とも言及される。
[0061]
 本実施形態における見落とし評価部F6は、一例として次に述べる手順によって、見落とし度を1~5の5段階で表す。この見落とし度の値が大きいほど、ドライバがその表示物を見落とした可能性が高いことを表す。
[0062]
 見落とし評価部F6は、まず、ドライバの視線方向と、表示物相対位置とに基づいて、1次見落とし度を判定する。そして、その1次見落とし度に対して運転負荷レベルに応じた補正を行うことで、当該表示物に対する最終的な見落とし度を決定する。なお、1次見落とし度もまた、見落とし度と同様に、表示物検出部F3が検出した表示物をドライバが見落とした可能性の度合いを表すものであって、その値が大きいほど、見落とした可能性が高いことを意味する。
[0063]
 より具体的には、見落とし評価部F6は、表示物を検出してから当該表示物をホスト車両が通り過ぎるまでに、ドライバの視線方向が第1判定時間(例えば0.5秒)以上継続して、ドライバにとって表示物が存在する方向(表示物方向とする)となったか否かを判定する。表示物方向は、表示物検出部F3が逐次算出している当該表示物の表示物相対位置と、視線検出部F5が逐次検出しているドライバの頭部の車両内における位置から算出すればよい。
[0064]
 表示物を検出してから当該表示物をホスト車両が通り過ぎるまでに、ドライバの視線方向が、第1判定時間(例えば0.5秒)以上継続して表示物方向となった場合には、ドライバがその表示物の内容を認識している可能性が高い。したがって、1次見落とし度を、見落とした可能性が最も低いことを示す1と評価する。
[0065]
 一方、ドライバの視線方向が表示物方向となったことを検出したが、そのドライバの視線方向が表示物方向となっている継続時間が第1判定時間(例えば0.5秒)未満である場合には、1次見落とし度を2と評価する。また、ドライバの視線方向と表示物方向とが一致していないが、ドライバの視線方向と表示物方向とが所定角(例えば30度)以内となっている時間が第2判定時間(例えば1.5秒)以上であれば、1次見落とし度を3と評価する。その他の場合には、1次見落とし度を4に設定する。
[0066]
 次に、以上に求めた1次見落とし度に対して、運転負荷レベルが高いほど見落とし度が高くなるように、運転負荷レベルに応じた補正を行って最終的な見落とし度を決定する。なお、ここで用いる運転負荷レベルは、表示物を検出してから当該表示物をホスト車両が通り過ぎるまでに判定された運転負荷レベルのうち、最も高いレベルものとする。すなわち、表示物を検出してから当該表示物をホスト車両が通り過ぎるまでに運転負荷レベルが1回でも高レベルと判定した場合には、運転負荷レベルは高レベルであったとして補正を行う。見落とし度を評価する際に用いる運転負荷レベルの決定方法は、適宜設計されればよい。
[0067]
 ここでは、1次見落とし度に運転負荷レベルに応じて定まる補正値を加算して見落とし度を決定する。より具体的には、運転負荷レベルが高レベルとなっている場合には、1次見落とし度に対して1を加算した値を、見落とし度とする。例えば、1次見落とし度が4であって、かつ、運転負荷レベルが高レベルとなっている場合、見落とし評価部F6は見落とし度を5に決定する。一方、運転負荷レベルが低レベルまたは中レベルである場合には、1次見落とし度に0を加算した値を見落とし度として採用する。すなわち、1次見落とし度の値をそのまま見落とし度とする。
[0068]
 もちろん、その他の態様として、1次見落とし度に運転負荷レベルに応じて定まる補正値を乗算することで、見落とし度を決定してもよい。その場合の補正値も、運転負荷レベルが高いほど見落とし度が高くなるように設定する。
[0069]
 また、ここでは、ドライバの視線方向と表示物方向とから1次見落とし度を評価し、その1次見落とし度に対して運転負荷レベルに応じた補正を行って見落とし度を決定する構成としたが、これに限らない。最初に運転負荷レベルに応じて、仮の見落とし度(すなわち、1次見落とし度)を評価し、その結果に対して、ドライバの視線方向及び表示物方向を用いた補正を行って、最終的な見落とし度を決定してもよい。
[0070]
 すなわち、見落とし評価部F6は、表示物を検出してからホスト車両が当該表示物を通過するまでの、運転負荷レベルが高ければ高いほど、また、ドライバの視界に表示物が入っている時間が短いほど、見落とし度が高く評価すればよい。
[0071]
 さらに、本実施形態では見落とし可能性の算出に、運転負荷レベルと、ドライバの視線方向との両方を用いる構成としたがこれに限らない。ドライバの視線方向は用いずに、運転負荷レベルに応じて見落とし可能性を算出してもよい。その場合、運転負荷レベルが高いほど、見落とし可能性を高くなるように算出する。また、見落とし可能性の算出に、運転負荷レベルを用いずに、その表示物の表示物相対位置と、ドライバの視線方向と、に基づいて見落とし可能性を算出してもよい。この場合、本実施形態の構成から、運転負荷レベルに応じた補正を行わない態様となる。
[0072]
 尚、表示物検出部F3が検出した表示物をドライバが見落とした可能性を、その可能性を表す度合いで表す構成としたがこれに限らない。他の態様として、表示物検出部F3が検出した表示物をドライバが見落とした可能性を、百分率などで表しても良い。
[0073]
 保存部F7は、表示物検出部F3が検出した表示物に関するデータ(表示物データとする)をメモリ9に保存する。ここでの表示物データとは、表示物ID、表示物画像、表示物種別、その表示物を検出した時刻、その表示物を検出した地点(すなわち検出地点)の位置情報、その表示物が設置されている地点(すなわち設置地点)の位置情報を含む。また、表示物の情報には、その表示物を検出(及び追跡)している間における運転負荷レベルや、その表示物に対して見落とし評価部F6が評価した見落とし度なども含む。
[0074]
 検出地点の位置情報としては、その表示物を検出したときのホスト車両の現在位置を採用する。なお、表示物を検出したときのホスト車両の現在位置とは、表示物した検出時点に位置検出部F1が取得したホスト車両の現在位置に限るものではなく、その表示物を検出した時点に前後する時点において、位置検出部F1が取得したホスト車両の現在位置まで含むものとする。
また、表示物が設置されている地点の位置情報は、表示物を検出した地点の位置情報と表示物相対位置とから算出すればよい。
[0075]
 運転負荷レベルについては、前述の通り、その表示物を検出してから通過するまでの間において運転負荷判定部F4が判定した運転負荷レベルのうち最も高いレベルのものを採用する。もちろん、他の態様として、その表示物を検出した時点における運転負荷レベルであっても良い。また、検出してから通過するまでの運転負荷レベルの平均値や中央値であってもよい。さらには、その表示物を検出してから通過するまでの間において運転負荷判定部F4が判定した運転負荷レベルを時系列に並べた時系列データが保存されていても良い。
[0076]
 本実施形態における保存部F7は、表示物検出部F3から表示物ID及び表示物画像が入力されると、その表示物に対応する表示物データを生成して表示物データリストD2に追加保存する。表示物データリストD2は、表示物検出部F3が検出した表示物毎の表示物データをリスト構造で備えるデータである。コントローラ1は、表示物データが備える表示物IDを指定することによって、その表示物IDに対応する表示物データを参照することができる。図3に、メモリ9に保存されている表示物データリストD2のデータ構成の一例を示す。
[0077]
 図3に示すように表示物データリストD2において各表示物画像B~Fは、その表示物を検出した時刻、表示物を検出した地点の位置情報、表示物が設置されている地点の位置情報、運転負荷レベル、及びその表示物に対して見落とし評価部F6が判定した見落とし度、のそれぞれと対応付けられて保存されている。
[0078]
 なお、保存部F7は、表示物データを追加する際には、表示物データリストの先頭に追加する構成とする。すなわち、表示物データリストが備える表示物データは、新しく追加されたデータから検出時刻が遡っていくように並んでいる。したがって、メモリ9に保存されている表示物データリストにおいては、最も新しい表示物データが一番上位(すなわち先頭)に配置されている。表示物データリストD2が備える表示物データの並び順については、適宜設計されればよい(例えば第二変形例)。
[0079]
 例えば図3において表示物IDが6となっている表示物の表示物画像は表示物画像Fであり、その表示物の種別は、方面看板である。なお、表示物画像が実際に保存されている記憶領域は、このリストが保存されている記憶領域とは異なる場所であって、表示物データが備える表示物画像の欄には、表示物画像Fが保存されている記憶領域のアドレスが格納されていることとする。表示物ID=6の表示物の検出時刻は、時刻T6であり、検出地点はP16、設置地点はP26である。また、この表示物を検出している間の運転負荷レベルは高レベルであり、見落とし評価部F6が評価した見落とし度は5である。
[0080]
 他の表示物IDが5~2となっている表示物データについても、表示物ID=6となっている表示物データと同様に、種々のデータと対応付けられている。なお、表示物IDが5の表示物、及び表示物IDが4の表示物を検出している間の運転負荷レベルは、何れも中レベルであるが、それぞれの見落とし度が異なっている理由は、ドライバの視線方向による1次見落とし度が異なっているためである。
[0081]
 描画部F8は、表示器7に表示させる画像データを生成し、生成した画像データを表示器7に出力して表示させる。描画部F8は、より細かい機能ブロックとして図2に示すように、リスト表示部F81(リスト表示処理部とも言及される)、及び自動表示部F82(自動表示処理部とも言及される)を備える。
[0082]
 リスト表示部F81は、表示物検出部F3が検出した表示物の一覧を表す画像(表示物リスト画像)を表示させるためのドライバ操作を操作受付部F2が受け付けた場合に、表示物データリストD2から表示物リスト画像を生成して表示器7に表示させる。表示物リスト画像は、表示物データリストD2に登録されている表示物の情報を、その見落とし度が高い順に並べた画像である。なお、表示物リスト画像として表示されるリストを以降では表示物リストと称する。本実施形態においては、表示器7に表示される表示物リストと、メモリ9に格納されている表示物データリストD2とは別のものとして扱う。
[0083]
 その表示物リスト画像の一例を図4に示す。図4に示す表示物リスト画像中に示されているリストは、表示物データリストD2に登録されている表示物に対応するボタン画像(以降、ボタン)B1~5を備えている。各ボタン上には、そのボタンに対応する表示物についての情報が表されており、ドライバはそのボタン上の情報をみることで、そのボタンに対応する表示物の情報を認識することができる。
[0084]
 また、各ボタンB1~5は、ドライバによるタッチ操作を受け付けるボタンとしての役割を備えており、ドライバは、ボタンB1~5の何れかを選択(ここではタッチ操作)すると、その表示物に対応する表示物画像を表示させることができる。すなわち、各ボタンB1~5は、その表示物に対応する表示物画像を表示するためのドライバ操作を受け付けるボタンである。ドライバは、表示物画像を表示させることによって、その表示物についてのより詳細な情報を知ることができる。
[0085]
 ここでは、各ボタンB1~5は、そのボタンに対応する表示物の情報として、表示物の表示物種別と、検出地点と、見落とし度と、を示すテキスト情報を含んでいる。ここでは検出地点の項目は、ここでは検出地点の座標ではなく、現在地からの距離で表している。例えば、ボタンB1の検出地点の項目は、現在地からD1メートル前通過した地点に設置されている表示物であることを示している。表示物の設置地点と現在地との距離は、表示物データリストD2に登録されている設置地点と、位置検出部F1が取得したホスト車両の現在位置と、地図データと、から算出すればよい。もちろん、他の態様として、その表示物を検出した道路の名称などの情報を表示してもよい。表示物を検出した道路の名称は、検出地点の位置情報をもとに地図データを参照して取得すればよい。
[0086]
 また、見落とし度を示す項目は、ここでは表示物データリストD2に登録されている見落とし度をそのまま表示するが、その他、表示物データリストD2に登録されている見落とし度に応じて、百分率に置き換えて表示してもよい。
[0087]
 さらには、見落とし度に応じて、ボタンの表示態様を変更することで、その表示物の見落とし度を表現してもよい。例えば、見落とし度が高い順に、各ボタンの色を、赤色、橙色、黄色、黄緑、緑色などとすればよい。また、見落とし度が最も高い表示物のボタンについては、点滅させるなどの強調表示をしてもよい。すなわち、見落とし度の項目は、そのボタンに対応する表示物の見落とし度を、ドライバが認識できるように表示されればよい。各ボタンの表示態様、及びボタンに表示する情報は、適宜設計されればよい。
[0088]
 なお、リスト表示部F81は、表示物リストをリストの上位から(すなわちリストの先頭から)順に表示する。表示物リストは表示物検出部F3が検出した表示物を見落とし度が高い順に並べたリストであるため、見落とし度が高いものから順に表示されることになる。
[0089]
 ここで、表示器7が備える表示領域は有限であるため、表示物リスト画像を表示している場合において、1つの画面の中に表示される、表示物に対応するボタンの数(表示可能数とする)も一定の値となる。表示可能数は、表示可能カウントとも言及される。表示物データリストD2が備える表示物データの数が、表示可能数以上となっている場合、見落とし度が相対的に低い表示物のボタンは、最初に表示される画面には表示されない。また、最初の画面に表示される場合であっても、相対的に見落とし度が高い表示物のボタンよりは下に配置される。尚、画面は、ウインドウとも言及される。
[0090]
 なお、本実施形態では表示物リスト画像を表示した最初の画面に表示されなかった表示物のボタンは、スクロールバーSbr上においてスクロールボックスSbxを下方向にスライドさせることで表示させることができる構成とする。
[0091]
 もちろん、他の態様として表示物リスト画像を、1つの画面単位(すなわちページ単位)で生成する場合には、次の画面に遷移するドライバ操作を実施することで、ドライバは最初の画面に表示されなかった表示物に対応するボタンを表示させることができる。
[0092]
 したがって以上の構成によれば、見落とした可能性が高い表示物のボタンほど優先して表示器7に表示されることとなる。また、このように見落とした可能性が高い表示物のボタンほど優先して表示器7に表示されることによって、ドライバは、表示物リスト画像に表示されている複数の選択肢の中から、見落とした可能性が高い表示物に対応するボタンを選択しやすくなる。
[0093]
 なお、本実施形態では、表示物データリストD2に登録されている表示物に対応するボタン画像(以降、ボタン)B1~5は、そのボタンに対応する表示物の表示物画像を表示するための操作を受け付ける機能を備えていたが、これに限らない。単純に、そのボタンに対応する表示物の表示物情報(表示物内容情報とも言及される)を表すだけであってもよい。
[0094]
 自動表示部F82は、表示物データリストD2に登録されている表示物のうち、その見落とし度が所定の閾値(自動表示用閾値とする)以上となっている表示物の内容を表す情報(表示物情報とする)を、所定のタイミングで自動的に表示器7に表示する。本実施形態では、表示物情報として、その表示物の表示物画像を表示する構成とする。この見落とし度が所定の閾値以上となっている表示物の表示物画像を自動的に表示するための処理を、以降では自動表示処理と称する。
[0095]
 ここでは、見落とし度が5以上となっている表示物の表示物画像を自動で表示器7に表示することとする。また、自動表示処理を実施するための準備処理として、自動表示候補設定処理を実施する。この自動表示部F82が実施する種々の処理についての詳細については後述する。
[0096]
 通信部F9は、通信装置10が受信したデータを取得するとともに、コントローラ1が生成したデータを通信装置10に出力して送信させる処理を実施する。
[0097]
 (表示物検出処理)
 ここで、図5に示すフローチャートを用いて、表示物検出部F3が前方カメラ2から入力される画像データから検出対象とする表示物を検出する処理(以降、表示物検出処理)の流れについて説明する。図5に示すフローチャートは、一例として逐次(例えば100m秒毎に)開始される。
[0098]
 ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)を含み、各セクションは、たとえば、S11と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、各セクションは、デバイス、モジュールとして言及されることができる。また、上記の複数のセクションの各々あるいは組合わさったものは、(i)ハードウエアユニット(例えば、コンピュータ)と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウエア(例えば、集積回路、配線論理回路)のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアのセクションは、マイクロコンピュータの内部に含まれることもできる。さらに、ソフトウエアのセクションは、ソフトウエアプログラムに含まれることができる。このソフトウエアプログラムは、プログラム製品としての非遷移のコンピュータで読み込み可能な記憶媒体に含まれることも可能である。
[0099]
 まず、S11では前方カメラ2から画像データを取得してS11に移る。S12では、S11で取得した画像データに対して周知の画像認識処理を実施し、検出対象とする表示物、すなわち画像認識用データが備える形状パターンデータと一致する表示物が、その画像データ内に含まれているかを判定する。
[0100]
 そして、S11で取得した画像データに、検出対象とする表示物を検出した場合にはS13がYESとなってS14に移る。一方、S11で取得した画像データに、検出対象とする表示物を検出しなかった場合には、S13がNOとなってS18に移る。
[0101]
 S14では、S13で検出した表示物が、前回の表示物検出関連処理において既に検出されている表示物であるか否かを判定する。検出済みの表示物に対しては追跡処理を実施している為、検出済みの表示物と初めて検出した表示物とは区別することができる。検出済みの表示物とは、既に表示物IDが設定されている表示物ともいうことができる。S13で検出した表示物が検出済みの表示物である場合には、S14がYESとなってS19に移る。一方、S13で検出した表示物が検出済みの表示物ではなく、初めて検出した表示物である場合には、S14がNOとなってS15に移る。
[0102]
 S15では、この表示物に対して表示物IDを設定するとともに、S11で取得した画像データから、この表示物に該当する領域を抽出し、表示物画像を生成する。また、表示物の形状パターンから表示物種別を特定する。S15の処理が完了するとS16に移る。
[0103]
 なお、S13及びS14の結果、新たに検出したと判定した表示物の種別が補助標識であった場合には、その補助標識近傍に存在する本標識をまとめて抽出する。ここでの補助標識の近傍とは、補助標識から例えば実空間において1mに相当する範囲内を指す。また、新たに検出した本標識の近傍に補助標識が存在する場合にも、同様にまとめて抽出する。
[0104]
 S16では、S11で取得した画像データにおける当該表示物の位置及び大きさから、ホスト車両に対する当該表示物の相対位置(すなわち表示物相対位置)を算出してS17に移る。
[0105]
 S17では、表示物データ保存処理を呼び出して本フローを終了する。表示物データ保存処理については、別途図6に示すフローチャートを用いて説明する。なお、表示物データ保存処理を実行するための引数として、表示物検出部F3は、表示物IDや、表示物画像、表示物相対位置、表示物種別などを保存部F7に渡す。
[0106]
 S18では、S11で取得した画像データを破棄して本フローを終了する。S19では、検出済みの表示物に対して、前述の通り周知の物体追跡技術を用いて、今回のS11で取得した画像データ内における検出済みの表示物に相当する画像領域を特定する。そして、追跡処理によって特定した当該表示物の表示物相対位置を算出し、表示物IDとともに見落とし評価部F6に出力し、本フローを終了する。
[0107]
 (表示物データ保存処理)
 次に、図6に示すフローチャートを用いて、保存部F7が実施する、表示物検出部F3が検出した表示物の表示物データをメモリ9に保存する処理(すなわち表示データ保存処理)について説明する。図6に示すフローチャートは、図5のフローチャートのS17に移った際に開始される。
[0108]
 なお、図6のフローチャートで示す処理と、図5のフローチャートで示す処理とは並行に行われ、図6のフローチャートにおける表示物保存処理が完了していない場合でも、図5のフローチャートは、逐次(100ミリ秒毎に)開始されるものとする。また、表示物種別が本標識となっている表示物を、同時に複数検出した場合には、それぞれの表示物に対して、表示物保存処理を呼び出す。これら複数の処理は、周知のタスクスケジューリングアルゴリズムを用いて単一のCPUにおいて行われてもよいし、複数のCPUにおいて並列して行われてもよい。
[0109]
 まず、S21では、表示物検出部F3から取得した表示物の表示物ID、表示物画像、表示物相対位置、表示物種別を取得してS22に移る。
[0110]
 S22では、位置検出部F1が取得したホスト車両の現在位置を取得する。このS22で取得した現在位置が、表示物の検出地点を表す。また、現在位置と、表示物相対位置とから、表示物の設置地点の位置を算出してS23に移る。
[0111]
 S23では、運転負荷判定部F4が判定した運転負荷レベルから、当該表示物を検出している間の運転負荷レベルを決定してS24に移る。本実施形態では、表示物を検出してから通過するまでの運転負荷レベルの最大値である。
[0112]
 S24では、当該表示物に対して見落とし評価部F6が評価した見落とし度を取得してS25に移る。S25では、以上で求めた一連のデータをそれぞれ対応付けたデータ(すなわち表示物データ)を、表示物データリストD2に追加保存して、本フローを終了する。
[0113]
 (自動表示候補設定処理)
 ここで、図7に示すフローチャートを用いて、自動表示部F82が実施する、表示物データリストD2に登録されている表示物のうち、自動表示処理において自動的に表示する表示物の候補を設定する処理(すなわち、自動表示候補設定処理)について述べる。以降では、自動表示処理において自動的に表示する表示物の候補を、自動表示候補と称する。図7に示すフローチャートは、イグニッション電源がオンとなっている間、逐次(例えば100ミリ秒毎に)実施されればよい。
[0114]
 まずS31では、表示物データリストD2に新たに検出された表示物のデータが追加されたか否かを判定する。まだ新規データが追加されていない場合には、S31がNOとなってS34に移る。一方、新規データが追加されている場合には、S31がYESとなってS32に移る。
[0115]
 S32では、その追加された表示物の見落とし度が、自動表示用閾値(ここでは5)以上となっているか否かを判定する。追加された表示物の見落とし度が、自動表示用閾値以上となっている場合にはS32がYESとなってS33に移る。追加された表示物の見落とし度が、自動表示用閾値未満である場合にはS32がNOとなってS34に移る。
[0116]
 S33では、その表示物を自動表示候補に設定する。なお、自動表示候補に設定する際には、当該表示物を自動表示候補から解除する条件(解除条件とする)を設定する。これは以下の理由による。
[0117]
 すなわち、表示物情報は、検出してから時間が経過したり、設置位置から離れてしまったりしてその情報の有用性が低下してしまう。例えば、駐車禁止標識が表す情報は、その駐車禁止標識が設置されている地点付近においては有用であるが、その設置位置から離れるとその情報は有用ではなくなってしまう。
[0118]
 したがって、自動表示候補に設定した表示物を、仮にいつまでも自動表示候補に設定しておくと、ホスト車両の走行に伴って有用性が低下したタイミングで、その表示物の表示物情報を表示してしまう場合があり、その場合、かえってドライバに煩わしさを与えてしまう恐れがある。そこで、本実施形態のように各自動表示候補に解除条件を設けておくことによって、有用性が低下した情報が自動的に表示される可能性を低減することができる。
[0119]
 ここで自動表示候補に設定される解除条件は、位置情報を用いて設定しても良いし、時間情報を用いて設定しても良い。また。これらを組み合わせて設定してもよい。位置情報を解除条件に用いる場合には、例えば設置地点から所定距離走行した場合に解除条件を満たしたと判定する。また、方面看板などであれば、その方面看板が案内している交差点を通過した場合に解除条件を満たしたと判定してもよい。方面看板に対応する交差点は地図データを参照して決定すれば良い。
[0120]
 また、時間情報を解除条件に用いる場合には、例えば検出してから一定時間(1分、10分、1時間)経過した場合に解除条件を満たしたと判定する。この解除条件として設定する時間の長さは、全ての表示物に対して一定値としてもよいし、表示物種別に応じて変更してもよい。例えば、時間帯によって料金が変更される有料道路の走行料金を示す表示物の有効期限は、その走行料金が有効な時刻までとする。その他、方面看板などは、1分など相対的に短い時間とすればよい。
[0121]
 S34では、自動表示候補となっている表示物のうち、解除条件を満たしたものを自動表示候補となっている状態から解除して本フローを終了する。
[0122]
 (自動表示処理)
 次に、図8に示すフローチャートを用いて、自動表示部F82が実施する自動表示処理について述べる。図8に示すフローチャートは、イグニッション電源がオンとなっている間、逐次(例えば100ミリ秒毎に)実施されればよい。
[0123]
 まずS41では、表示物データリストD2に登録されている表示物のうち、自動表示候補に設定されている表示物があるか否かを判定する。自動表示候補に設定されている表示物が存在する場合には、S41がYESとなってS42に移る。自動表示候補に設定されている表示物が存在しない場合には、S41がNOとなって本フローを終了する。
[0124]
 S42では、運転負荷判定部F4が判定している現在の運転負荷レベルが所定の閾値(低負荷判定閾値とする)以下となっているか否かを判定する。ここで用いる低負荷判定閾値は、ドライバの運転負荷が相対的に小さいと判定するための閾値であって適宜設計されればよい。ここでは一例として、低負荷判定閾値とする運転負荷レベルを2とする。すなわち、現在の運転負荷レベルが2以下となっている場合には、S42がYESとなってS43に移る。一方、運転負荷レベルが3以上となっている場合には、S42がNOとなって本フローを終了する。
[0125]
 S43では、現在、前回の自動表示処理による表示物情報の表示を実施し
ているか否かを判定する。本実施形態では表示物情報として、表示物画像を表示する構成としている。したがって、本実施形態では、前回の自動表示処理による表示物画像の表示を実施しているか否かを判定する。表示物画像が表示中である場合にはS43がYESとなって本フローを終了する。一方、表示物画像が表示中ではない場合にはS43がNOとなってS44に移る。
[0126]
 S44では、自動表示候補となっている表示物の表示物画像を表示器7に表示して本フローを終了する。
[0127]
 (実施形態のまとめ)
 以上の構成では、描画部F8が備えるリスト表示部F81は、ドライバによる所定の操作を受け付けた場合に、表示物データリストD2に登録されている表示物の情報を、その見落とし度が高い順に並べた表示物リスト画像を表示する。
[0128]
 表示器7が備える表示領域は有限であるため、1つの画面内に表示される表示物リスト画像に含まれる表示物の件数(すなわち表示可能数)も有限である。しかしながら、以上の構成によれば、表示物リストは表示物検出部F3が検出した表示物を見落とし度が高い順に並べたリストであるため、表示リスト画像を表示した最初の画面においては、見落とし度が高いものから優先的に表示されることになる。
[0129]
 このように見落とした可能性が高い表示物についての情報ほど優先して表示器7に表示されることによって、ドライバは、表示物リスト画像に表示されている複数の表示物についての情報の中から、見落とした可能性が高い表示物を見つけやすくなる。
[0130]
 また、描画部F8が備える自動表示部F82は、表示物データリストD2に登録されている表示物のうち、その見落とし度が5以上となっている表示物情報を、運転負荷判定部F4が判定する運転負荷レベルが2以下となった時に、自動的に表示する。
[0131]
 ドライバが完全に見落としてしまった表示物については、ドライバはその表示物の存在にも気づいていない為、表示物リスト画像を表示させるための操作を実施しない可能性が高い。しかしながら、自動表示部F82が、見落とし度が所定の閾値以上となっている表示物については自動的に表示器7に表示することによって、ドライバは、自身が見落としてしまった表示物の表示物情報についても認識することができる。
[0132]
 以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、次の実施形態も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
[0133]
 (第一変形例)
 上述した実施形態では、リスト表示部F81が表示物リストを表示する際に見落とし度が高い順に並び替えて(すなわちソートして)表示する構成とし、表示物データリストD2が備える表示物データ自体に対する並び替えなどの処理については言及していない。
[0134]
 これに対し、第一変形例の保存部F7は、表示物データリストD2が備える表示物データに対して並び替える処理(リストデータソート処理とする)を実施する。以下、この第一変形例の保存部F7が実施する、リストデータソート処理について説明する。
[0135]
 第一変形例における保存部F7は、表示物データリストD2が備える表示物毎のデータを、リストの先頭から見落とし度が高い順に並ぶように管理する。例えば、保存部
F7は図6のS25で、新たなデータを表示物データリストD2に追加する際、その新規データの見落とし度に応じたリスト上の位置に挿入する。例えば、新規データの見落とし度が4である場合には、見落とし度が5となっている表示物のデータと、見落とし度が4となっている表示物のデータの間に挿入する。このような構成とすることで、表示物データリストD2が備えるデータは、見落とし度順に並ぶとともに、同じ見落とし度となっているデータの中では、その検出時刻が新しいデータほど上に配置されるようになる。
[0136]
 このように、表示物データリストD2が備える各表示物に対応するデータを、予め表示物データリストD2の状態で、見落とし度順にソートしておくことで、リスト表示部F81が表示物リスト画像(図4参照)を生成する際の、ソート処理を省略できる。すなわち、表示リストの各表示物のボタンを、表示物リストデータと同じ順番で配置できるようになる。これにより、表示物リスト画像を表示させるためのドライバ操作を操作受付部F2が受け付けてから、当該表示物リスト画像を表示器7に表示させるまでに要する時間を短くすることができる。すなわち、ドライバ操作に対する応答速度を高めることができる。
[0137]
 (第二変形例)
 また、保存部F7は、見落とし度が所定の閾値(視認閾値とする)以下となっている表示物のデータは、表示物データリストD2に追加しない構成としてもよい。視認閾値は、ドライバがその表示物を視認していると判定するための閾値であって、本実施形態では一例として、視認閾値とする見落とし度を1とする。
[0138]
 見落とし度が所定の閾値(視認閾値とする)以下となっている表示物とは、ドライバが視認している可能性が高い表示物である。そして、ドライバが視認している表示物については、既にその内容をドライバが認識している可能性が高いため、表示物リスト画像にその表示物に対応する情報(ここではボタン)を表示しても、ドライバに与える有用性は相対的に小さいと考える。また、表示リスト画像として、多くの表示物のボタンを表示すればするほど、ドライバが見落とした表示物の情報や、ドライバが所望の表示物を見つけにくくなる。
[0139]
 この第二変形例の構成では、見落とし度が視認閾値以下となっている表示物データを表示物データリストD2に追加しない。リスト表示部F81は、表示物データリストD2に基づいて表示物リスト画像を生成するため、表示物リスト画像にも見落とし度が視認閾値以下となっている表示物の情報は表示されなくなる。
[0140]
 すなわち、この第二変形例の構成によれば、ドライバにとって有用性が低い情報が表示物リスト画像に表示されなくなるとともに、表示物リスト画像に表示される表示物の件数も低減することができる為、ドライバが見落とした表示物の情報や、ドライバが所望の表示物を見つけやすくすることができる。また、表示物データリストとしてメモリ9に保存されるデータ量を低減することができる。
[0141]
 なお、以上では、見落とし度が視認閾値以下となっている表示物のデータを、表示物データリストD2に追加しない構成とすることで、表示物リスト画像から、見落とし度が視認閾値以下となっている表示物が表示されなくなる構成としたがこれに限らない。例えば、見落とし度が視認閾値以下となっている表示物のデータであっても、いったん表示物検出リストに追加保存しておき、所定のタイミングで(例えば一定時間置きに)、見落とし度が視認閾値以下となっている表示物のデータを削除する構成としてもよい。
[0142]
 また、リスト表示部F81が表示物リスト画像を生成する際に、見落とし度が視認閾値以下となっている表示物については用いない構成としてもよい。すなわち、見落とし度が視認閾値よりも大きい表示物の表示物データを母集団として、表示物リスト画像を生成してもよい。このような構成においても、上述した第二変形例と同様の効果を奏することができる。
[0143]
 (第三変形例)
 また、リスト表示部F81は、見落とし度に加えて、表示物データリストD2が備える表示物データのうち、その表示物の表示物情報がドライバにとって有用であるか否かに基づいて、表示物リストの表示物の並び順を調整してもよい。この第三変形例の構成について以下、説明する。
[0144]
 第三変形例におけるコントローラ1aは、図9に示すように、実施形態で述べたコントローラ1が備える機能ブロック、すなわち位置検出部F1~通信部F9に加えて、有用判定部F10を備える。この有用判定部F10は、表示物データリストD2が備える表示物データのそれぞれに対して、その表示物の表示物情報がドライバにとって有用であるか否かを判定する。
[0145]
 より具体的には、有用判定部F10は、ホスト車両の現在位置とその表示物の設置位置との距離と、その表示物の表示物種別と、に基づいて、その表示物の表示物情報がドライバにとって有用であるか否かを判定する処理を行う(有用判定処理とする)。
[0146]
 これは、表示物情報のドライバにとっての有用性は、ホスト車両の現在位置とその表示物の設置位置との距離や、その表示物の表示物種別に応じて変化するためである。例えば、方面看板の情報は、その方面看板が案内の対象としている交差点を通過するまではドライバにとっては有用である一方、その交差点を通過した後においてはその有用性は低下する。また、駐車禁止などの規制標識も、その規制標識近傍に設置されている補助標識などによって、その規制標識の規制内容が有効範囲が定まっている場合がある。この場合、有効範囲内においてはその表示物情報は有用である一方、その有効範囲外においてはその表示物の表示物情報の有用性は低下する。
[0147]
 そこで、有用判定部F10は、まず、表示物の表示物種別に応じて、その表示物の有効範囲を決定し、ホスト車両がその有効範囲内に存在する場合には、その表示物の表示物情報がドライバにとって有用であると判定する。一方、ホスト車両がその有効範囲内に存在しない場合には、その表示物の表示物情報はドライバにとって有用ではないと判定する。
[0148]
 表示物種別毎の有効範囲は、例えば、方面看板であれば、その方面看板の検出地点からその方面看板が案内の対象としている交差点までが有効範囲とする。また、駐車禁止などの規制標識は、その規制標識近傍に設置されている補助標識によって定まる範囲を有効範囲とする。補助標識が設置されていない場合には、その規制標識の設置地点から一定距離(例えば50m)以内を有効範囲とする。また、その他の表示物種別に対しても適宜有効範囲が予め設定しておけばよい。
[0149]
 第三変形例における表示物データは、その表示物が有用であるか否かを示す処理上のフラグである有用フラグを備えており、有用判定部F10は、その表示物の表示物情報が有用であると判定した表示物データに対しては、有用フラグをオンに設定する。一方、有用判定部F10は、その表示物の表示物情報が有用ではないと判定した表示物データに対しては、有用フラグをオフに設定する。なお、表示物データを生成したときの有用フラグの初期設定は、オンに設定しておく。
[0150]
 以上のような有用判定処理を、表示物データリストが備える各表示物データに対して逐次(例えば200ミリ秒毎に)実施することで、各表示物データに設定されている有用フラグは、随時更新されていく。なお、有用判定処理は、有用フラグがオンとなっている表示物データに対してのみ実施してもよい。
[0151]
 そして、第三変形例におけるリスト表示部F81は、有用フラグがオンとなってあって、かつ、見落とし可能性が高い表示物を優先して表示物リストの上位に配置した表示物リスト画像を生成して、表示器7に表示する。言い換えれば、ドライバにとって有用であって、かつ、見落とした可能性が高い表示物を優先して表示器7に表示する。
[0152]
 例えば、表示物リストにおいては、まず、有用フラグがオンとなっている表示物のうち、見落とし度が高いものから順に並べて配置し、その下位に、有用では無いと判定された表示物データを見落とし度の高いものから順に並べて配置すればよい。
[0153]
 更に、リスト表示部F81は、図10に示すように、有用フラグがオンとなっている表示物のデータを母集団とする表示物リストと、有用フラグがオフとなっている表示物のデータを母集団とする表示物リストをタブで切り替えて表示できるような構成としてもよい。以降では、有用フラグがオンとなっている表示物のデータを母集団とする表示物リストを有用表示物リスト、有用フラグがオフとなっている表示物のデータを母集団とする表示物リストを非有用表示物リストと称する。
[0154]
 図10に示す表示物リスト画像は、表示物データリストD2に登録されている表示物に対応するボタンB1~5などの他に、有用表示物リストを表示するためのタブスイッチTab1、及び非有用表示物リストを表示するためのタブスイッチTab2を備えている。ドライバは、これらのタブスイッチTab1、Tab2を選択(すなわちタッチ操作)することで、タッチしたほうのタブスイッチに応じた表示物リストを表示させることができる。
[0155]
 なお、図10においては、タブスイッチTab1がドライバによって選択されている場合の表示画面の一例である。すなわち、有用フラグがオンとなっている表示物のデータ群の表示物リストが表示されている状態である。現在、ドライバによって選択されていない方のタブスイッチTab2は、タブスイッチTab1とは異なる表示態様(色や明暗など)で表示することによって、現在選択中のタブスイッチがどちらであるかを表している。ここでは、選択されていない方のタブスイッチであるタブスイッチTab2をハッチングして表している。
[0156]
 また、ドライバによる操作に基づいて、リスト表示部F81が最初に表示物リスト画像として表示する画面には、有用フラグがオンとなっている表示物のデータ群の表示物リストを表示することとする。
[0157]
 以上で述べた第三変形例の構成によれば、ドライバが見落とした可能性が高い表示物を優先して表示するとともに、ドライバにとって有用である表示物の情報と、既に有用ではなくなった表示物の情報とを区別して表示することができる。また、ホスト車両の位置に応じて有用な情報であるか否かを判定し、有用ではない表示物の情報よりも、有用である表示物の情報を優先して表示するため、ホスト車両の位置に応じた情報を優先してドライバに提供することができる。
[0158]
 さらに、図10のような表示態様を採用すれば、例えば方面看板が案内する交差点を通り過ぎた後に、ドライバがもう一度、ホスト車両が走行している道路の向かう方面を確認したい時に、非有用表示物リストを表示させることで、既に通過した交差点を案内する方面看板の内容を確認する事ができる。
[0159]
 なお、有用表示物リストにおいては、見落とし度が高い表示物ほどリストの上位に配置して表示する構成とするが、非有用表示物リストについては、検出時刻が新しい順に並べて表示してもよい。これによって、既に通過した表示物の情報を、有用ではなくなった後に確認する際にその情報を見つけやすくすることができる。
[0160]
 (第四変形例)
 また、保存部F7は、表示物データリストが備える表示物データを、有用フラグがオンであるか否かに応じて保存部F7は、表示物データリストが備える表示物データを整理してもよい。すなわち、有用フラグがオフとなっている表示物データを表示物データリストから削除してもよい。これによって、表示物リスト画像に表示される表示物の数を抑制し、ドライバにとって必要な情報を見つけやすくすることができる。
[0161]
 (その他の変形例)
 以上では、表示物情報として、表示物画像を表示する構成としたがこれに限らない。表示物種別に応じたアイコン画像をメモリ9に保存しておき、表示物の内容を表す画像として、その表示物に対応するアイコン画像を表示してもよい。また、表示物情報は、表示物の内容を表すテキストで表示してもよい。
[0162]
 実施形態では、運転負荷レベルを決定するタイミングを、その表示物の設置地点を通過したタイミングとしたが、これに限らない。表示物を検出してから、ホスト車両と設置地点との距離が消失距離となったタイミングで運転負荷レベルを決定してよい。ここでの消失距離とは、その表示物に接近することによって、ホスト車両正面方向に顔を向けている状態のドライバにとってその表示物が見えなくなってしまう距離を指す。消失距離は、その表示物の路面からの高さに基づいて算出してもよいし、一定距離(例えば10m)などとしてもよい。
[0163]
 さらに、図7のS32において、見落とし度が所定の閾値以上と判定した表示物のデータについては、通信装置10を介して情報収集サーバに送信してもよい。見落とし度が所定の閾値以上となる地点の情報、及びその表示物のデータを収集してデータベース化することで、ドライバが表示物を見落としやすい地点やその表示物を特定することができる。そして、ドライバによって見落とされやすい表示物に対しては、見落とされにくいように設置位置を変更するなどの対策を講じることができるようになる。
[0164]
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

請求の範囲

[請求項1]
 車両の前方を撮影する前方撮影装置(2)が撮影した画像データから、予め検出対象として設定されている表示物を検出する表示物検出部(F3)と、
 前記表示物検出部が検出した前記表示物に対して、前記車両のドライバがその表示物を見落としている可能性である見落とし可能性を評価する見落とし評価部(F6)と、
 前記表示物検出部が検出した前記表示物が表す情報である表示物情報と、その表示物に対して前記見落とし評価部が評価した前記見落とし可能性と、を含む前記表示物毎のデータである表示物データをメモリ(9)に保存する保存部(F7)と、
 前記メモリに保存されている前記表示物毎の前記表示物データに基づいて、前記表示物の表示物情報を、表示器(7)に表示する描画部(F8)と、を備え、
 前記描画部は、前記メモリに保存されている前記表示物データに対応する前記表示物のうち、前記見落とし可能性が高い前記表示物の前記表示物情報を優先して前記表示器に表示する
 表示物情報表示装置。
[請求項2]
 請求項1において、
 ドライバによる操作を受け付ける操作受付部(F2)を備え、
 前記描画部は、
 前記操作受付部が所定の操作を受け付けた場合に、前記表示物検出部が検出した前記表示物の一覧である表示物リストを当該表示物リストの上位から順に表示するリスト表示部(F81)を備え、
 前記リスト表示部は、前記見落とし可能性が高い前記表示物ほど当該表示物リストの上位に配置して表示する
 表示物情報表示装置。
[請求項3]
 請求項2において、
 前記リスト表示部は、前記見落とし可能性が、予め設定される、ドライバがその表示物を視認したと判定するための視認閾値以下となっている前記表示物については、当該表示物リストに表示しない
 表示物情報表示装置。
[請求項4]
 請求項2又は3において、
 前記メモリに保存されている前記表示物データに対応する前記表示物毎に、その表示物の表示物情報がドライバにとって有用な情報であるか否かを判定する有用判定部(F10)を備え、
 前記リスト表示部は、前記有用判定部によって前記ドライバにとって有用な情報であると判定されてあって、かつ、前記見落とし可能性が高い前記表示物を優先して前記表示物リストの上位に配置して表示する
 表示物情報表示装置。
[請求項5]
 請求項4において、
 前記車両の現在位置を取得する位置取得部(F1)を備え、
 前記表示物検出部は、前記前方撮影装置が撮影した画像データに基づいて前記表示物の種別、及びその表示物の前記車両に対する相対位置を特定し、
 前記保存部は、前記表示物検出部が検出した前記表示物毎に、その表示物の前記車両に対する相対位置と、前記表示物検出部がその表示物を検出した時点における前記車両の現在位置と、から当該表示物の設置地点を算出し、
 前記表示物毎の前記表示物データは、その表示物データに対応する前記表示物の前記表示物情報及び前記見落とし可能性に加えて、前記保存部が算出したその表示物の設置地点、及び前記表示物検出部が特定したその表示物の種別を含んでおり、
 前記有用判定部は、前記メモリに保存されている前記表示物データに対応する前記表示物毎に、その種別と設置地点とに基づいて、その表示物の有効範囲を決定し、前記位置取得部が取得した前記車両の現在位置がその有効範囲内に存在する場合には、その表示物の前記表示物情報はドライバにとって有用な情報であると判定し、一方、前記位置取得部が取得した前記車両の現在位置がその有効範囲内に存在しない場合には、その表示物の前記表示物情報はドライバにとって有用な情報ではないと判定する
 表示物情報表示装置。
[請求項6]
 請求項1から5の何れか1項において、
 前記描画部は、前記見落とし可能性が予め設定されている自動表示用閾値以上と評価された前記表示物の前記表示物情報を、自動的に前記表示器に表示する自動表示部(F82)を備える
 表示物情報表示装置。
[請求項7]
 請求項6において、
 前記ドライバの運転負荷の度合いである運転負荷レベルを判定する運転負荷判定部(F4)を備え、
 前記自動表示部は、前記運転負荷判定部が判定している前記運転負荷レベルが予め設定されている低負荷判定閾値以下となったことに基づいて、前記見落とし可能性が予め設定されている自動表示用閾値以上となっている前記表示物の前記表示物情報を、前記表示器に表示する
 表示物情報表示装置。
[請求項8]
 請求項7において、
 前記運転負荷判定部は、前記車両の走行状態を表すパラメータを検出する少なくとも1つのセンサから出力されるセンサ値と、そのセンサ値から前記運転負荷レベルを判定するために予め設定されている閾値と、を比較することによって前記運転負荷レベルを判定する
 表示物情報表示装置。
[請求項9]
 請求項7又は8において、
 前記見落とし評価部は、
 前記運転負荷判定部が判定した前記運転負荷レベルに基づいて前記見落とし可能性を評価する
 表示物情報表示装置。
[請求項10]
 請求項1から9の何れか1項において、
 ドライバの顔を含む範囲を撮影する顔部撮影装置(5)が撮影した画像データから、ドライバの視線方向を検出する視線方向検出部(F5)を備え、
 前記表示物検出部は、前記前方撮影装置が撮影した画像データに基づいて前記表示物の前記車両に対する相対位置を特定し、
 前記見落とし評価部は、前記視線方向と前記表示物検出部が特定した前記表示物の相対位置に基づいて、前記見落とし可能性を評価する
 表示物情報表示装置。
[請求項11]
 請求項2から10の何れか1項において、
 前記メモリは、リスト構造によって前記表示物データを備える表示物データリストを記憶しており、
 前記保存部は、前記表示物検出部が前記表示物を検出すると、その表示物の前記表示物データを、前記メモリが記憶している前記表示物データリストに追加し、
 前記リスト表示部は、前記表示物データリストが備える前記表示物データに基づいて前記表示物リストの画像を生成して表示する
 表示物情報表示装置。
[請求項12]
 請求項11において、
 前記表示物データリストは、前記表示物データをその表示物データが備える前記見落とし可能性が高い順にソートして備える
 表示物情報表示装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]