Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020110206 - DISPOSITIF D'AFFICHAGE D'IMAGE D'ASSISTANCE, PROCÉDÉ D'AFFICHAGE D'IMAGE D'ASSISTANCE ET PROGRAMME D'AFFICHAGE D'IMAGE D'ASSISTANCE

Document

明 細 書

発明の名称 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072  

符号の説明

0073  

請求の範囲

1   2   3   4   5   6   7   8   9  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

技術分野

[0001]
 この発明は、車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する技術に関する。

背景技術

[0002]
 HUD(Head-Up Display)は、運転手の視点位置から観察される風景に任意のCG(Computer Graphics)画像を重畳表示可能であり、運転時の安全性向上のために車両への搭載が進んでいる。HUDのアプリケーションとして、路面上に道案内矢印のCG画像を重畳表示するAR(オーグメンテッドリアリティ)システムがある。
 ARシステムは、走行時の車両揺れによって道案内矢印のAR表示位置にズレが発生するという課題がある。この課題を解決するためにAR表示位置のズレを補正する機能が必要となる。
[0003]
 AR表示位置のズレは主にピッチング方向の車両揺れ(左右を軸とする上下方向の車両傾斜)に依存する。ピッチング方向の車両傾斜はIMU(Inertial Measurement Unit)センサで計測可能であり、その計測データを使用してAR表示位置のズレを補正する技術がある(特許文献1参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 国際公開第2018-070252号

発明の概要

発明が解決しようとする課題

[0005]
 表示処理には遅延時間が発生する。そのため、IMUセンサで検出した傾斜角度をそのまま使用して表示位置のズレを補正すると、検出した傾斜角度と表示時の傾斜角度とが異なる場合があり、表示位置のズレの補正精度が低下してしまう。
 この発明は、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能にすることを目的とする。

課題を解決するための手段

[0006]
 この発明に係る支援画像表示装置は、
 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
 前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
 前記車両計測部によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
 前記角度予測部によって予測された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
 前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
を備える。

発明の効果

[0007]
 この発明では、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度が計算され、予測角度に基づき支援画像を表示する表示位置が特定される。そのため、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能である。

図面の簡単な説明

[0008]
[図1] 実施の形態1に係る支援画像表示装置10の構成図。
[図2] 実施の形態1に係る傾斜角度の変化方向の予測原理の説明図。
[図3] 実施の形態1に係る支援画像表示装置10の全体的な動作のフローチャート。
[図4] 実施の形態1に係る角度予測処理のフローチャート。
[図5] 実施の形態1に係る支援画像を表示する表示位置の説明図。
[図6] 実施の形態1に係る傾斜角度と表示位置との関係の説明図。
[図7] 変形例2に係る傾斜角度の変化方向の予測原理の説明図。
[図8] 変形例3に係る支援画像表示装置10の構成図。
[図9] 実施の形態2に係る支援画像表示装置10の構成図。
[図10] 実施の形態2に係る支援画像表示装置10の全体的な動作のフローチャート。
[図11] 実施の形態2に係る角度予測処理のフローチャート。
[図12] 実施の形態2に係る傾斜角度の変化方向の予測原理の説明図。
[図13] 実施の形態3に係る支援画像表示装置10の構成図。
[図14] 実施の形態3に係る支援画像表示装置10の全体的な動作のフローチャート。
[図15] 実施の形態3に係る凹凸特定処理の説明図。

発明を実施するための形態

[0009]
 実施の形態1.
 ***構成の説明***
 図1を参照して、実施の形態1に係る支援画像表示装置10の構成を説明する。
 支援画像表示装置10は、車両100に搭載されるコンピュータである。
 なお、支援画像表示装置10は、車両100又は図示された他の構成要素と、一体化した形態又は分離不可能な形態で実装されても、あるいは、取り外し可能な形態又は分離可能な形態で実装されてもよい。
[0010]
 支援画像表示装置10は、プロセッサ11と、記憶装置12と、通信インタフェース13と、ディスプレイインタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
[0011]
 プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
[0012]
 記憶装置12は、メモリ121と、ストレージ122とを備える。メモリ121は、具体例としては、RAM(Random Access Memory)である。ストレージ122は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ122は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。
[0013]
 通信インタフェース13は、車両100に搭載されたセンサ31とナビゲーションシステム32といった装置を接続する装置である。通信インタフェース13は、具体例としては、USB(Universal Serial Bus)、IEEE1394の接続端子である。実施の形態1では、センサ31は、IMUである。
[0014]
 ディスプレイインタフェース14は、車両100に搭載された表示装置33を接続する装置である。ディスプレイインタフェース14は、具体例としては、USB、HDMI(登録商標、High-Definition Multimedia Interface)の接続端子である。
 表示装置33は、車両100の前方といった車両100の視点位置から観察される車両100の周囲の風景に、情報を重畳して表示する装置である。ここでいう風景は、HUD等を介して見える実物と、カメラによって取得された映像と、コンピュータグラフィックによって作成された3次元地図とのいずれかである。視点位置とは、実施の形態1では、車両100の運転手の視点の位置である。なお、視点位置は、運転手以外の搭乗者の視点位置であってもよいし、風景をカメラによって取得した映像で表示する場合には、カメラの視点位置でもよい。実施の形態1では、表示装置33は、車両100の前方風景に、情報を重畳して表示するHUDとする。
[0015]
 支援画像表示装置10は、機能構成要素として、車両計測部21と、角度予測部22と、位置特定部23と、画像表示部24と、道路種別取得部25とを備える。支援画像表示装置10の機能構成要素の機能はソフトウェアにより実現される。
 記憶装置12のストレージ122には、支援画像表示装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、支援画像表示装置10の各部の機能が実現される。
 ストレージ122は、振動状態記憶部123の機能を実現する。なお、振動状態記憶部123の機能は、支援画像表示装置10の外部の記憶装置によって実現されてもよい。
[0016]
 プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121に記憶されるものとして説明する。
[0017]
 プロセッサ11によって実現される各機能を実現するプログラムは、記憶装置12に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体に記憶されてもよい。
[0018]
 図1では、プロセッサ11は、1つだけ示されている。しかし、支援画像表示装置10は、プロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、支援画像表示装置10の各部の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ11と同じように、プロセッシングを行うICである。
[0019]
 ***動作の説明***
 図2から図6を参照して、実施の形態1に係る支援画像表示装置10の動作を説明する。
 実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示方法に相当する。また、実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示プログラムの処理に相当する。
[0020]
 実施の形態1に係る支援画像表示装置10の動作の前提として、振動状態記憶部123には、高速道路と市街地の道路と山道といった道路種別と対応付けて、その道路種別の道路を過去に走行した際に発生した振動状態と、その道路種別についての閾値とが記憶されているものとする。振動状態は、車両100の傾斜角度の時間変化を示す。実施の形態1では、傾斜角度は、車両100の左右を軸とする上下方向の車両100の傾斜角度とする。つまり、傾斜角度は、ピッチング方向の車両の傾きを意味する。
 具体的には、車両100が実際に走行した際に、車両計測部21は、センサ31であるIMUによって傾斜角度を計測する。道路種別取得部25は、走行した道路の道路種別をナビゲーションシステム32から取得する。車両計測部21と道路種別取得部25とは、取得された道路種別と、計測された傾斜角度の時間変化を示す振動状態とを対応付けて振動状態記憶部123に書き込む。また、角度予測部22は、道路種別に対応付けられた振動状態に応じて、その道路種別についての閾値を決定して、道路種別に対応付けて決定された閾値を振動状態記憶部123に書き込む。車両100が走行する度に、振動状態記憶部123のデータが更新され、より適切な振動状態及び閾値が記憶される。つまり、車両100が走行する度に、道路種別毎の適切な振動状態及び閾値が学習される。
 図2に示すように、道路種別によって傾斜角度の変化幅が異なる。図2では、車両100の車体が路面と平行な状態が傾斜角度が0の状態とし、車体の前方が路面に対して上を向くほど傾斜角度が正の方向に大きな角度になり、車体の前方が路面に対して下を向くほど傾斜角度が負の方向に大きな角度になるものとする。角度予測部22は、振動状態における傾斜角度の極大値の平均値から基準値だけ小さい正の方向の角度を上限閾値Uとし、振動状態における傾斜角度の極小値の平均値から基準値だけ小さい負の方向の角度を下限閾値Lとして決定する。例えば、基準値は、変化幅に応じて定められる角度である。
[0021]
 なお、車両100とは異なる他の車両が実際に走行した際に計測された振動状態が、道路種別と対応付けて振動状態記憶部123に記憶されていてもよい。そして、振動状態記憶部123には、この振動状態に応じて決定された閾値が記憶されていてもよい。
 但し、振動状態は車重等によって異なるため、振動状態記憶部123に記憶される振動状態は、車両100と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。
[0022]
 図3を参照して、実施の形態1に係る支援画像表示装置10の全体的な動作を説明する。
 車両100が走行中に図3に示す処理が繰り返し実行される。
[0023]
 (図3のステップS11:道路種別取得処理)
 道路種別取得部25は、車両100が走行中の道路の道路種別を取得する。
 具体的には、道路種別取得部25は、通信インタフェース13を介してナビゲーションシステム32から走行中の道路の道路種別を取得する。道路種別取得部25は、取得された道路種別をメモリ121に書き込む。
[0024]
 (図3のステップS12:閾値取得処理)
 道路種別取得部25は、ステップS11で取得された道路種別に対応する閾値を取得する。
 具体的には、道路種別取得部25は、メモリ121から道路種別を読み出す。道路種別取得部25は、読み出された道路種別に対応付けて記憶された閾値を振動状態記憶部123から読み出す。閾値としては、上限閾値Uと下限閾値Lとが読み出される。道路種別取得部25は、上限閾値Uと下限閾値Lとの閾値をメモリ121に書き込む。
[0025]
 (図3のステップS13:傾斜角度計測処理)
 車両計測部21は、センサ31によって車両100の傾斜角度を計測する。
 具体的には、車両計測部21は、センサ31であるIMUによって車両100の現在の傾斜角度である実角度を計測する。車両計測部21は、計測された実角度をメモリ121に書き込む。
[0026]
 (図3のステップS14:角度予測処理)
 角度予測部22は、ステップS13で計測された実角度と、ステップS12で取得された閾値と、車両100の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両100の傾斜角度である予測角度を計算する。振動状態は、ステップS13で計測された実角度の時間変化を参照することにより特定される。
 基準時間は、支援画像表示装置10の性能等に応じて決定される時間であり、表示処理における遅延時間に相当する時間である。基準時間は、数ミリ秒である。
[0027]
 図4を参照して、実施の形態1に係る角度予測処理を説明する。
 (図4のステップS141:方向予測処理)
 角度予測部22は、実角度と閾値とに基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。
 具体的には、角度予測部22は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。実角度が閾値よりも大きい場合とは、実角度が正の方向の角度であれば、実角度が上限閾値Uよりも大きい角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Uよりも大きい角度である場合である。
 また、角度予測部22は、実角度が閾値以下の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。実角度が閾値以下の場合とは、実角度が正の方向の角度であれば、実角度が上限閾値U以下の角度であり、実角度が負の方向の角度であれば、実角度が下限閾値U以下の角度である場合である。
[0028]
 図2を参照して、この判定の原理を説明する。
 過去に同じ道路種別を走行した際の振動状態から、実角度が閾値よりも大きい場合には、点P1及び点P2のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、実角度が閾値以下の場合には、点P3及び点P4のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
 そのため、角度予測部22は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は前記実角度から変化しないと判定し、実角度が閾値以下の場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。
[0029]
 (図4のステップS142:方向判定処理)
 角度予測部22は、ステップS142で基準時間後の傾斜角度が直近の変化と同じ方向に変化すると判定された場合には、処理をステップS143に進める。一方、角度予測部22は、ステップS142で基準時間後の傾斜角度は実角度から変化しないと判定された場合には、処理をステップS145に進める。
[0030]
 (図4のステップS143:変化量予測処理)
 角度予測部22は、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測する。
 具体的には、角度予測部22は、実角度が閾値に近い値であるほど、変化量を小さい値と予測し、実角度が0に近い値であるほど、変化量を大きい値と予測する。実角度が閾値に近い値とは、実角度が正の方向の角度であれば、実角度が上限閾値Uに近い角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Uに近い角度である。
 実角度が閾値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、実角度が0に近い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。
[0031]
 (図4のステップS144:第1角度計算処理)
 角度予測部22は、ステップS141で予測された方向に、ステップS143で予測された変化量だけ、実角度から変化させた角度を予測角度として計算する。角度予測部22は、計算された予測角度をメモリ121に書き込む。
[0032]
 (図4のステップS145:第2角度計算処理)
 角度予測部22は、実角度を予測角度として設定する。角度予測部22は、設定された予測角度をメモリ121に書き込む。
[0033]
 (図3のステップS15:位置特定処理)
 位置特定部23は、ステップS14で計算された予測角度に基づき、表示装置33における支援画像を表示する表示位置を特定する。支援画像は、道案内矢印といった画像データである。
[0034]
 具体的には、図5に示すように、位置特定部23は、視点位置41と、支援画像を重畳させる重畳位置42と、表示装置33であるHUDの投影面位置43との相対的な位置関係から、支援画像を表示する表示位置を特定する。
 視点位置41は、車両100の位置と、車両100と視点位置41との位置関係とから特定可能である。車両100の位置は、GPS(Global Positioning System)センサといった測位センサから取得可能である。ここでは、基準時間後の車両100の位置が必要になるが、基準時間後の車両100の位置は、車両100の現在位置と、車両100の車速とから推定可能である。車両100と視点位置41との位置関係は、車両100の内部に設置されたDMS(Driver Monitoring System)等のカメラ情報から特定可能である。
 重畳位置42は、道路上の交差点といった特定の位置の場合には、ナビゲーションシステム32から取得可能である。重畳位置42は、歩行者といった移動物体の場合には、車両100に搭載されたカメラとLiDAR(Laser Imaging Detection and Ranging)とミリ波レーダといったセンサによって移動物体を検知することにより特定可能である。なお、重畳位置42が移動物体になる場合には、移動物体を検知するために、カメラとLiDARとミリ波レーダと等がセンサ31として支援画像表示装置10に接続されているものとする。
 投影面位置43は、車両100の位置と、車両100と投影面位置43との位置関係とから特定可能である。車両100の位置については、上述した通りである。車両100と投影面位置43との位置関係は、表示装置33であるHUDは車両100に固定されており、事前に測定しておくことにより特定可能である。
[0035]
 このとき、車両100の傾斜角度によって、視点位置41と重畳位置42と投影面位置43との相対的な位置関係が変化する。そこで、位置特定部23は、ステップS14で計算された予測角度をメモリ121から読み出す。そして、位置特定部23は、視点位置41と重畳位置42と投影面位置43とに加え、予測角度を考慮して、視点位置41と重畳位置42と投影面位置43との相対的な位置関係を特定する。そして、位置特定部23は、視点位置41と重畳位置42と投影面位置43との相対的な位置関係から、支援画像を表示する表示位置を特定する。位置特定部23は、特定された表示位置をメモリ121に書き込む。
[0036]
 例えば、図6に示すように、車両100の車体の前方が路面に対してα度だけ上を向くと、支援画像を表示する表示位置は、α度だけ下にずれる。逆に、車両100の車体の前方が路面に対してα度だけ下を向くと、支援画像を表示する表示位置は、α度だけ上にずれる。
[0037]
 (図3のステップS16:画像表示処理)
 画像表示部24は、ステップS15で特定された表示装置33における表示位置に、支援画像を表示する。
 具体的には、画像表示部24は、表示位置をメモリ121から読み出す。そして、画像表示部24は、表示位置に支援画像を示した画像データを表示装置33に送信することにより、表示装置33に支援画像を表示させる。
 支援画像は、仮想的な3次元空間において、支援画像生成用の仮想カメラで支援画像の元となるAR表示物を撮影することにより、生成される。この際、視点位置41と投影面位置43との相対的な位置関係から、仮想カメラの撮影方向が決定される。
[0038]
 ***実施の形態1の効果***
 以上のように、実施の形態1に係る支援画像表示装置10は、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度を計算し、予測角度に基づき支援画像を表示する表示位置を特定する。これにより、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
[0039]
 ***他の構成***
 <変形例1>
 実施の形態1では、振動状態記憶部123には、道路種別と対応付けて振動状態及び閾値が記憶された。振動状態記憶部123には、道路種別だけでなく、天候及び車速といった他の情報と対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図3のステップS11では、道路種別取得部25は、道路種別だけでなく、他の情報を取得し、図3のステップS12では、道路種別取得部25は、道路種別及び他の情報に対応する閾値を取得する。
 これにより、走行状態により近い振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。
[0040]
 また、振動状態記憶部123には、具体的な道路と対応付けて振動状態及び閾値が記憶されてもよい。例えば、車両100が走行した道路については、その道路と
対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図3のステップS11では、道路種別取得部25は、道路種別とともに、走行中の道路の識別情報を取得し、図3のステップS12では、道路種別取得部25は、走行中の道路に対応付られた振動状態及び閾値が振動状態記憶部123に記憶されている場合には、走行中の道路に対応付られた閾値を取得する。
 これにより、過去にその道路を走行した際の振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。
[0041]
 <変形例2>
 実施の形態1では、図4のステップS141で角度予測部22は、実角度と閾値とに基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。角度予測部22は、実角度に代えて、車両100の角速度を用いてもよい。角速度は、センサ31であるIMUによって計測される。
 具体的には、図3のステップS13で車両計測部21は、センサ31であるIMUによって車両100の角速度を計測する。図4のステップS141で角度予測部22は、角速度が閾値よりも小さい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。また、角度予測部22は、角速度が閾値以上の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
 実施の形態1で実角度と比較される閾値と、変形例2で角速度と比較される閾値とは異なる。つまり、角速度を用いて変化方向を予測する場合には、振動状態記憶部123には角速度を用いる場合の閾値が記憶されている。
[0042]
 図7を参照して、この判定の原理を説明する。
 過去に同じ道路種別を走行した際の振動状態から、角速度が閾値よりも小さい場合には、点P1及び点P2のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、角速度が閾値以上の場合には、点P3及び点P4のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
[0043]
 <変形例3>
 実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
[0044]
 図8を参照して、変形例3に係る支援画像表示装置10の構成を説明する。
 各機能構成要素がハードウェアで実現される場合には、支援画像表示装置10は、プロセッサ11と記憶装置12とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、記憶装置12との機能とを実現する専用の回路である。
[0045]
 電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
 各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
[0046]
 <変形例4>
 変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
[0047]
 プロセッサ11と記憶装置12と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
[0048]
 実施の形態2.
 実施の形態2は、車両100に搭載されたサスペンションのバネの状態によって基準時間後の車両100の傾斜角度の変化方向を予測する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
[0049]
 ***構成の説明***
 図9を参照して、実施の形態2に係る支援画像表示装置10の構成を説明する。
 支援画像表示装置10は、道路種別取得部25を備えていない点が実施の形態1に係る支援画像表示装置10と異なる。また、支援画像表示装置10は、ストレージ122が振動状態記憶部123の機能を実現していない点が実施の形態1に係る支援画像表示装置10と異なる。
 実施の形態2では、センサ31は、IMUと、ECS(電子制御サスペンション)とである。
[0050]
 ***動作の説明***
 図10から図12を参照して、実施の形態2に係る支援画像表示装置10の動作を説明する。
 実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示方法に相当する。また、実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示プログラムの処理に相当する。
[0051]
 図10を参照して、実施の形態2に係る支援画像表示装置10の全体的な動作を説明する。
 車両100が走行中に図10に示す処理が繰り返し実行される。
 ステップS22の処理は、図3のステップS13の処理と同じである。また、ステップS24及びステップS25の処理は、図3のステップS15及びステップS16の処理と同じである。
[0052]
 (図10のステップS21:サスペンション状態計測処理)
 車両計測部21は、センサ31によって車両100のサスペンションの状態を計測する。
 具体的には、車両計測部21は、センサ31であるECSによって車両100のサスペンションのバネの状態を計測する。より正確には、車両計測部21は、車両100のサスペンションのバネの伸び具合を計測する。
 ECSには、アクティブサスペンションとセミアクティブサスペンションといった種類がある。アクティブサスペンションはアクチュエータでタイヤからの振動とは逆の力を発生させて振動を制御する。セミアクティブサスペンションは衝撃を吸収するダンパーの減衰力を変化させて振動を制御する。これらのサスペンションは、センサで車両の振動を検出し、それに合わせて、アクチュエータやダンパーの減衰力を変化させて振動を制御している。このため、ECSの制御値を参照することで、サスペンションのバネの伸び具合を計測することができる。
[0053]
 (図10のステップS23:角度予測処理)
 角度予測部22は、ステップS21で計測されたサスペンションのバネの伸び具合と、ステップS22で計測された実角度と、車両100の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両100の傾斜角度である予測角度を計算する。
[0054]
 図11を参照して、実施の形態2に係る角度予測処理を説明する。
 ステップS232の処理は、図4のステップS142の処理と同じである。また、ステップS234及びステップS235の処理は、図4のステップS144及びステップS145の処理と同じである。
[0055]
 (図11のステップS231:方向予測処理)
 角度予測部22は、サスペンションのバネの伸び具合に基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。
 具体的には、角度予測部22は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定する。また、角度予測部22は、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
 上限値及び下限値は、サスペンションのバネに応じて事前に定められた値である。
[0056]
 図12を参照して、この判定の原理を説明する。
 サスペンションのバネが伸びきった状態になると、点P1のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。同様に、サスペンションのバネが縮みきった状態になると、点P2のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、サスペンションのバネが伸びきっても縮みきってもいない状態の場合には、点P3及び点P4のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
 そのため、角度予測部22は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定し、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。
[0057]
 (図4のステップS233:変化量予測処理)
 角度予測部22は、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測する。
 具体的には、角度予測部22は、バネの伸び具合が上限値又は下限値に近い値であるほど、変化量を小さい値と予測し、バネの伸び具合が上限値及び下限値から遠い値であるほど、変化量を大きい値と予測する。
 バネの伸び具合が上限値又は下限値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、バネの伸び具合が上限値及び下限値から遠い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。
[0058]
 ***実施の形態2の効果***
 以上のように、実施の形態2に係る支援画像表示装置10は、サスペンションのバネの伸び具合に基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。これにより、実施の形態1と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
[0059]
 ***他の構成***
 <変形例5>
 実施の形態1で説明した方法と、実施の形態2で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
 具体例としては、実施の形態1で説明した方法により、基準時間後の車両100の傾斜角度の変化方向を予測し、実施の形態2で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部22は、実角度と閾値とに基づき、基準時間後の車両100の傾斜角度の変化方向を予測し、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測してもよい。
[0060]
 実施の形態3.
 実施の形態3は、路面の凹凸によって基準時間後の車両100の傾斜角度の変化方向を予測する点が実施の形態1と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
[0061]
 ***構成の説明***
 図13を参照して、実施の形態3に係る支援画像表示装置10の構成を説明する。
 支援画像表示装置10は、道路種別取得部25に代えて、凹凸特定部26を備える点が実施の形態1に係る支援画像表示装置10と異なる。
 実施の形態3では、センサ31は、IMUと、LiDARとである。なお、LiDARは路面の凹凸の形状及び大きさを特定するために使用される。そのため、路面の凹凸の形状及び大きさを特定することが可能であれば、センサ31は、LiDARではなくカメラ等であってもよい。
[0062]
 ***動作の説明***
 図14及び図15を参照して、実施の形態3に係る支援画像表示装置10の動作を説明する。
 実施の形態3に係る支援画像表示装置10の動作は、実施の形態3に係る支援画像表示方法に相当する。また、実施の形態3に係る支援画像表示装置10の動作は、実施の形態3に係る支援画像表示プログラムの処理に相当する。
[0063]
 実施の形態1に係る支援画像表示装置10の動作の前提として、振動状態記憶部123には、凹凸の形状及び大きさを示す凹凸情報と対応付けて、凹凸情報が示す凹凸を通過した際に発生した振動状態が記憶されているものとする。車両100が走行する度に、振動状態記憶部123のデータが更新され、より適切な振動状態が記憶される。つまり、車両100が走行する度に、凹凸情報毎の適切な振動状態が学習される。
[0064]
 なお、車両100とは異なる他の車両が実際に凹凸を通過した際に計測された振動状態が、凹凸情報と対応付けて振動状態記憶部123に記憶されていてもよい。
 但し、振動状態は車重等によって異なるため、振動状態記憶部123に記憶される振動状態は、車両100と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。
[0065]
 図14を参照して、実施の形態3に係る支援画像表示装置10の全体的な動作を説明する。
 車両100が走行中に図14に示す処理が繰り返し実行される。
 ステップS33の処理は、図3のステップS13の処理と同じである。また、ステップS35及びステップS36の処理は、図3のステップS15及びステップS16の処理と同じである。
[0066]
 (図14のステップS31:凹凸特定処理)
 凹凸特定部26は、基準時間後に車両100が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。
 具体的には、図15に示すように、凹凸特定部26は、車両100の前方に設置されたLiDARによって基準時間後に車両100が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。凹凸特定部26は、凹凸情報をメモリ121に書き込む。
[0067]
 (図14のステップS32:振動状態取得処理)
 凹凸特定部26は、ステップS31で特定された凹凸情報に対応する振動状態を取得する。
 具体的には、凹凸特定部26は、メモリ121から凹凸情報を読み出す。凹凸特定部26は、読み出された凹凸情報に対応付けて記憶された振動状態を振動状態記憶部123から読み出す。凹凸特定部26は、読み出された振動状態をメモリ121に書き込む。
[0068]
 (図14のステップS34:角度予測処理)
 角度予測部22は、ステップS32で読み出された振動状態と、ステップS33で計測された実角度とに基づき、基準時間後の車両100の傾斜角度である予測角度を計算する。
 具体的には、角度予測部22は、ステップS32で読み出された振動状態が示す傾斜角度の時間変化と同じ変化をするとして、予測角度を計算する。例えば、振動状態が基準時間後から10ms間の傾斜角度の変化を示しているとする。すると、角度予測部22は、基準時間後から10ms間、実角度を基準として、振動状態が示す傾斜角度の時間変化に従って傾斜角度が変化すると予測する。例えば、基準時間後に0.5度前上がりに傾き、その1ms後にさらに0.5度前上がりに傾くとする。この場合には、角度予測部22は、基準時間後の予測角度を、実角度よりも0.5度前上がりの角度であると計算する。また、角度予測部22は、基準時間後の1ms後の予測角度を、実角度よりも1度前上がりの角度であると計算する。
[0069]
 ***実施の形態3の効果***
 以上のように、実施の形態3に係る支援画像表示装置10は、路面の凹凸によって基準時間後の車両100の傾斜角度の変化方向を予測する。これにより、実施の形態1と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
[0070]
 <変形例6>
 実施の形態1で説明した方法と、実施の形態3で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
 具体例としては、実施の形態3で説明した方法により、基準時間後の車両100の傾斜角度の変化方向を予測し、実施の形態1で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部22は、路面の凹凸に基づき、基準時間後の車両100の傾斜角度の変化方向を予測し、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測してもよい。
[0071]
 同様に、実施の形態2で説明した方法と、実施の形態3で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。また、実施の形態1~3で説明した方法を組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
[0072]
 以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

符号の説明

[0073]
 10 支援画像表示装置、11 プロセッサ、12 記憶装置、13 通信インタフェース、14 ディスプレイインタフェース、15 電子回路、21 車両計測部、22 角度予測部、23 位置特定部、24 画像表示部、25 道路種別取得部、26 凹凸特定部、31 センサ、32 ナビゲーションシステム、33 表示装置、100 車両、121 メモリ、122 ストレージ、123 振動状態記憶部。

請求の範囲

[請求項1]
 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
 前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
 前記車両計測部によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
 前記角度予測部によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
 前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
を備える支援画像表示装置。
[請求項2]
 前記角度予測部は、前記実角度が閾値よりも大きい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記実角度が前記閾値以下の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
請求項1に記載の支援画像表示装置。
[請求項3]
 前記車両計測部は、前記車両の角速度を計測し、
 前記角度予測部は、前記角速度が閾値よりも小さい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記角速度が前記閾値以上の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
請求項1に記載の支援画像表示装置。
[請求項4]
 前記閾値は、前記車両が走行中の道路と同じ道路種別の道路における過去の前記振動状態に応じて決定される
請求項2又は3に記載の支援画像表示装置。
[請求項5]
 前記車両計測部は、前記車両に搭載されたサスペンションのバネの状態を計測し、
 前記角度予測部は、前記バネが上限値よりも伸びている場合と、前記バネが下限値よりも縮んでいる場合とには、前記基準時間後の傾斜角度は前記実角度から変化せず、前記バネが前記上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
請求項1に記載の支援画像表示装置。
[請求項6]
 前記支援画像表示装置は、さらに、
 前記基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する凹凸特定部
を備え、
 前記角度予測部は、路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する前記振動状態を記憶した振動状態記憶部から、前記凹凸特定部によって特定された前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と前記実角度とに基づき、前記予測角度を計算する
請求項1に記載の支援画像表示装置。
[請求項7]
 前記角度予測部は、読み出された前記振動状態が示す傾斜角度の時間変化と同じ変化をするとして、前記予測角度を計算する
請求項6に記載の支援画像表示装置。
[請求項8]
 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示方法であり、
 車両計測部が、前記車両の現在の傾斜角度である実角度を計測し、
 角度予測部が、前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算し、
 位置特定部が、前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定し、
 画像表示部が、前記表示装置における前記表示位置に前記支援画像を表示する支援画像表示方法。
[請求項9]
 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示プログラムであり、
 車両計測部が、前記車両の現在の傾斜角度である実角度を計測する車両計測処理と、
 角度予測部が、前記車両計測処理によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測処理と、
 位置特定部が、前記角度予測処理によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定処理と、
 画像表示部が、前記位置特定処理によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示処理と
を行う支援画像表示装置としてコンピュータを機能させる支援画像表示プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]