Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020110270 - VIDEO DISPLAY DEVICE AND METHOD

Document

明 細 書

発明の名称 映像表示装置および方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007  

発明の効果

0008  

図面の簡単な説明

0009  

発明を実施するための形態

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217  

符号の説明

0218  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31  

明 細 書

発明の名称 : 映像表示装置および方法

技術分野

[0001]
 本発明は、映像表示装置の技術に関し、現実空間の映像(実像と記載する場合がある)に対し、コンピュータによる生成画像(虚像と記載する場合もある)を表示する技術に関する。

背景技術

[0002]
 実像の物体等に対し、拡張現実(AR:Augmented Reality)、仮想現実(VR:Virtual Reality)、混合現実(MR:Mixed Reality)等の生成画像を表示する技術の開発が進んでいる。生成画像は、静止画または動画を含む。生成画像を表示可能である映像表示装置として、ヘッドマウントディスプレイ(Head Mounted Display:HMD,頭部装着型表示装置)やヘッドアップディスプレイ(Head Up Display:HUD)等が挙げられる。例えば、AR機能を持つHMDは、透過型または非透過型の表示面において、実像上に生成画像であるAR画像(ARオブジェクト等と記載する場合がある)を重畳させて表示する。ユーザは、表示面の複数のAR画像から目的のAR画像を選択操作する。HMDは、選択されたAR画像に対応付けられる所定の処理を実行する。
[0003]
 上記映像表示装置に係わる先行技術例として、特開2016-218868号公報(特許文献1)が挙げられる。特許文献1には、表示制御方法等において、表示されたオブジェクトデータの選択性を向上する旨が記載されている。特許文献1には、HMDが、ディスプレイの表示範囲に含まれる選択可能なオブジェクトデータの数に応じた数の識別情報を生成し、表示範囲に含まれるオブジェクトデータの各々に、生成した識別情報の各々を対応付けて表示する旨が記載されている。すなわち、特許文献1には、図2等に示されるように、AR画像に対し、識別情報(IDと記載する場合がある)の画像(ID画像と記載する場合がある)を付与して表示する旨が記載されている。このID画像もAR画像の一種であるといえる。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2016-218868号公報

発明の概要

発明が解決しようとする課題

[0005]
 従来技術例のHMD等の映像表示装置は、例えば表示面内に多数の物体および多数のAR画像が存在する場合に、ユーザが所望のAR画像を選択操作することが難しい。また、従来技術例におけるAR画像の選択操作の方式は、例えばカメラを用いて手指のジェスチャーを検出する方式である。このジェスチャーは、例えば目的のAR画像を手指で仮想的にタッチする操作やつまむ操作が挙げられる。しかし、この方式は、AR画像の選択操作の検出が難しい場合がある。
[0006]
 従来技術例の映像表示装置は、AR等の生成画像に関するユーザの操作性や使い勝手に関して、改善余地がある。本発明の目的は、映像表示装置の技術に関して、AR等の生成画像に関するユーザの操作性や使い勝手を高めることができる技術を提供することである。上記以外の課題、構成、効果等については、発明を実施するための形態で説明される。

課題を解決するための手段

[0007]
 本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の映像表示装置は、実像上に生成画像を重畳して表示する映像表示装置であって、表示面に前記生成画像を表示し、前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、前記ID画像に対する前記ユーザの選択操作を受け付け、前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行する。

発明の効果

[0008]
 本発明のうち代表的な実施の形態によれば、映像表示装置の技術に関して、AR等の生成画像に関するユーザの操作性や使い勝手を高めることができる。

図面の簡単な説明

[0009]
[図1] 本発明の実施の形態1の映像表示装置であるHMDの外観を示す図である。
[図2] 実施の形態1の映像表示装置の機能ブロック構成を示す図である。
[図3] 実施の形態1の映像表示装置で、主な処理フローを示す図である。
[図4] 実施の形態1の映像表示装置で、ID画像に関する処理フローを示す図である。
[図5] 実施の形態1の映像表示装置で、ソフトウェア構成例を示す図である。
[図6] 実施の形態1の映像表示装置で、ID画像表示の基本を示す図である。
[図7] 実施の形態1の映像表示装置で、視線領域の構成例を示す図である。
[図8] 実施の形態1の映像表示装置で、管理テーブルの構成例を示す図である。
[図9] 実施の形態1の映像表示装置で、音声入力のコマンド表を示す図である。
[図10] 実施の形態1の映像表示装置で、実像、AR画像およびID画像の第1例を示す図である。
[図11] 実施の形態1の映像表示装置で、実像、AR画像およびID画像の第2例を示す図である。
[図12] 実施の形態1の映像表示装置で、ID画像の第1例を示す図である。
[図13] 実施の形態1の映像表示装置で、ID画像の第2例を示す図である。
[図14] 実施の形態1の映像表示装置で、映像の第1状態を示す図である。
[図15] 実施の形態1の映像表示装置で、映像の第2状態を示す図である。
[図16] 実施の形態1の映像表示装置で、映像の例を示す図である。
[図17] 実施の形態1の映像表示装置で、ID画像選択時の例を示す図である。
[図18] 実施の形態1の映像表示装置で、視線領域の拡大/縮小の第1例を示す図である。
[図19] 実施の形態1の映像表示装置で、視線領域の拡大/縮小の第2例を示す図である。
[図20] 実施の形態1の映像表示装置で、視線領域の固定の例を示す図である。
[図21] 実施の形態1の映像表示装置で、視線領域の逸脱の例を示す図である。
[図22] 本発明の実施の形態2の映像表示装置における映像の例を示す図である。
[図23] 実施の形態2の映像表示装置で、選択領域の第1例を示す図である。
[図24] 実施の形態2の映像表示装置で、選択領域の第2例を示す図である。
[図25] 実施の形態2の映像表示装置で、選択領域の第3例を示す図である。
[図26] 実施の形態2の映像表示装置で、選択領域の第4例を示す図である。
[図27] 本発明の実施の形態3の映像表示装置における処理フローを示す図である。
[図28] 本発明の実施の形態4の映像表示装置における映像の例を示す図である。
[図29] 本発明の実施の形態5の映像表示装置における視線深度を示す図である。
[図30] 本発明の実施の形態6の映像表示装置における映像の例を示す図である。
[図31] 本発明の実施の形態7の映像表示装置における映像の例を示す図である。

発明を実施するための形態

[0010]
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
[0011]
 (実施の形態1)
 図1~図21を用いて、本発明の実施の形態1の映像表示装置について説明する。実施の形態1の映像表示装置は、HMDに適用した場合を示す。HMDの方式として透過型HMDである場合を示すが、非透過型HMD等の他の方式の場合にも、同様に適用可能である。
[0012]
 [HMD(1)]
 図1は、実施の形態1の映像表示装置であるHMD1の外観を示す。HMD1は、頭部装着型の筐体に、表示面2、スピーカ3、視線検出部4、カメラ5、および図示しないマイク等を備えている。HMD1の筐体には、制御部や表示部が内蔵されている。制御部は、集積回路等で構成され、表示部を含め、HMD1の全体を制御する。表示部は、表示面2を含み、表示面2に映像を表示する。表示面2は、ユーザが映像を視認できる領域である。表示面2は、例えばユーザの両目の前に配置される眼鏡形状の表示素子であり、例えば透過型の表示面である。すなわち、HMD1は、透過型HMDである。制御部は、表示面2に対するAR画像を含む映像の表示を制御する。表示部は、例えば投射型表示装置で構成され、光源、レンズ等の光学系、駆動回路等を含む。透過型HMDの場合、ユーザの目から見た表示面2において、前方の実像が透過され、その実像上に、AR画像等の生成画像が重畳表示される。他の実施の形態で非透過型HMDを用いる場合、表示面2を含む表示部は例えば液晶表示素子で構成される。この場合、表示面2には、カメラ5で撮影した前方の映像に対し生成画像を合成した映像が表示される。表示面2への映像表示方式は、例えば投射型表示方式が適用可能であるが、特に限定しない。
[0013]
 スピーカ3は、制御部からの制御に従い、音声を発する。マイクは、ユーザの音声を入力し、制御部へ送る。制御部は、マイクの入力音声から音声認識処理を行って、予め規定された所定のコマンド等を検出する。制御部は、検出したコマンドに応じて、予め規定されている所定の処理を実行する。これにより、AR制御を含め、各種の機能が実現できる。予め、HMD1のメモリには、音声コマンドの辞書(後述のコマンド表)を備え、各種のコマンドが登録されている。実施の形態1のHMD1は、音声コマンドを用いて、AR画像のID画像の選択操作や、視線領域の操作が可能である。
[0014]
 視線検出部4は、ユーザの両目の視線の状態、少なくとも視線方向を検出する。視線検出部4は、その他、目のまばたき等の状態を検出してもよい。制御部は、視線検出部4と連携して、常時にユーザの視線方向を把握する。カメラ5は、HMD1の前方を撮影して画像を得る。カメラ5は、ステレオカメラ等でもよい。制御部は、カメラ5の画像を処理して、例えば物体の検出を行う。
[0015]
 HMD1の筐体には、GPS受信器、電子コンパス、ジャイロセンサ、加速度センサ等のセンサ類を備えている。HMD1は、それらのセンサを用いて、HMD1の位置、向き、加速度等を検出する。
[0016]
 図1のHMD1、言い換えると映像表示装置の本体装置には、無線通信インタフェースまたは有線通信インタフェースを通じて、操作器(言い換えるとリモコン)が接続されてもよい。制御部は、操作器と連携し、操作器からの操作入力を受け付ける。この場合、ユーザは、操作器のボタン等を手指で操作することで、本体装置に指令できる。操作器は、専用装置に限らず、ユーザのスマートフォン等の汎用的な携帯情報端末装置を適用してもよい。この場合、ユーザは、スマートフォン等からHMD1を操作できる。例えば、ユーザのスマートフォン内に、ARのアプリやデータがあってもよい。その場合、HMD1の制御部は、通信で、スマートフォン内のARのアプリやデータと連携する。
[0017]
 [HMD(2)]
 図2は、HMD1の機能ブロック構成を示す。HMD1は、主制御部100、記憶部110、映像処理部120、音声処理部130、通信処理部140、センサ部150、操作入力部160、バッテリ170、システムバス180等を有する。各部は、システムバス180を介して、コマンドやデータの送受信を行う。主制御部2は、MPU等で構成されるプロセッサであり、記憶部120のプログラム111に従って、HMD1全体を制御する。プロセッサは、記憶装置のプログラムのデータを処理用のメモリ上に読み出し、プログラムに従った処理を実行することにより、所定の機能等を実現する。
[0018]
 記憶部120は、例えばフラッシュROMやSSD等の不揮発性記憶装置で構成される。記憶部120は、動作制御用のプログラム111、DB112や設定情報113等のデータや情報が格納されている。プログラム111は、HMD1のOSを実現するプログラム、AR機能を実現するプログラム、支援機能を実現するプログラム等を含む。
[0019]
 DB112は、AR画像等のコンテンツデータや、支援のためのID画像等のデータ、および管理情報等の各種のデータを格納するデータベースであり、ファイル、テーブルまたはリスト等のデータ構造によるデータを含む。設定情報113は、システム設定情報やユーザ設定情報を含む。記憶部120は、処理用のワークエリアを含む。また、記憶部120には、通信網や外部装置から取得された、例えばARプログラム、例えば映像や音声のコンテンツデータ、その他の各種の情報も記憶される。各種の情報は、例えば地図上の物体に関する検索情報が挙げられる。また、記憶部120には、カメラ5を用いて撮影された映像データ等が記憶される。これに限らず、HMD1に連携する外部のサーバ装置等に、各種のデータやプログラムが格納されてもよい。
[0020]
 センサ部150は、HMD1や付近の状態を検出するための各種のセンサを含む。センサ部150は、例えばGPS受信器、地磁気センサ(電子コンパス)、加速度センサ、ジャイロセンサ、距離センサ等を含む。HMD1は、これらのセンサによって、HMD1の位置(例えば緯度、経度、標高)、向き(例えば方位角や仰角)、傾き、加速度等の動き、対象物との距離、等を検出可能である。センサ部150は、照度センサ、近接センサ、気圧センサ等の他のセンサを備えてもよい。
[0021]
 通信処理部140は、ICチップ等で構成され、通信処理回路やアンテナ等を含む。通信処理部140は、LAN通信部141、電話網通信部142等を含む。LAN通信部141は、アクセスポイントを介して、Wi-Fi(登録商標)等の方式で、LANとのデータ通信処理等を行う。電話網通信部142は、例えばW-CDMA(登録商標)、GSM、LTE等の方式で、移動体電話通信網の基地局との無線通信処理を行うことにより、電話やデータ通信を可能とする。通信処理部140は、その他、BlueTooth(登録商標)や赤外線等の方式の通信部を備えてもよい。
[0022]
 映像処理部120は、ICチップ等で構成され、撮影部121、視線検出部4、表示部123等を含む。撮影部121はカメラ5を含む。表示部123は表示面2を含む。撮影部121のカメラ5は、レンズから入力した光を、CCDやCMOS等の素子を用いて電気信号に変換することにより、画像データを得る。視線検出部4の視線検出方式は、公知の方式を適用できる。その方式は、例えば、可視カメラで目頭と虹彩を撮影して視線を検出する方式、赤外線LEDと赤外線カメラによる角膜反射法を用いて視線を検出する方式等がある。表示部123は、映像処理回路やビデオRAM等を含み、ビデオRAMに入力された映像データに基づいて、表示面2に、AR画像を重畳表示する。なお、表示部123に、さらに、タッチパネル等を適用してもよい。
[0023]
 音声処理部130は、ICチップ等で構成され、音声入力部131、音声認識部132、音声出力部133を含む。音声入力部131は、マイクを含み、入力音声を音声データに変換する。音声出力部133は、スピーカ3を含み、音声データから音声に変換して出力する。音声認識部132は、入力音声データを解析し、コマンド等を検出する。音声認識部132は、専用のICで構成されてもよいし、主制御部100によるプログラム処理で構成されてもよい。
[0024]
 操作入力部160は、HMD1に対する基本的な操作入力(例えば電源オン/オフ、音量調整等)を受け付ける部分であり、例えばハードウェアボタンやタッチセンサ等を含む。HMD1は、バッテリ180の電力を用いて、外部から電源供給されていない状態でも動作する。
[0025]
 [処理フロー(1)]
 図3は、HMD1の主な処理のフローを示す。図3のフローは、ステップS1~S9を有する。以下、ステップの順に説明する。主な処理の主体はプロセッサである。
[0026]
 ステップS1で、HMD1は、HMD1の位置および向きを検出する。HMD1の位置は、例えば地理上の3次元空間内の位置であり、GPS受信器等を用いて、座標(緯度、経度、標高)として得られる。HMD1の向きは、図1の表示面2の前方を見る方向(Z方向)に対応し、電子コンパスを用いて、方位角や仰角として得られる。その他、HMD1は、センサ部150を用いて、現在の状態を検出する。
[0027]
 ステップS2で、HMD1(例えばARプログラム)は、所定の方式で、AR画像を生成し、表示する。例えば、HMD1は、表示面2の実像内から、ARの対象となる所定の物体を検出する。例えば、HMD1は、カメラ5等を用いて、その物体の3次元位置やHMD1との距離を検出し、表示面2内でのその物体の2次元位置や画像領域を検出する。HMD1は、検出した物体に関して、物体情報を取得する。例えば、HMD1は、地図データやインターネットから、その物体の位置に対応する物体情報を検索してもよい。あるいは、HMD1は、HMD1の現在の位置に基づいて、地図データから、現在の位置の付近に存在する物体の情報を取得してもよい。HMD1は、例えば、Google Street View等のサービスを利用して、地図上の店舗等の物体の情報を取得してもよい。
[0028]
 HMD1は、取得した物体情報に基づいて、AR画像を生成し、表示面2内に表示する。例えば、HMD1のARプログラムは、表示面2での物体の位置、画像領域に対応付けるようにして、AR画像を表示する。
[0029]
 HMD1は、上記ARプログラムによって生成、表示されたAR画像を検出し、AR画像に関する情報を取得する。HMD1は、DB112(後述の管理テーブル)に格納されているARオブジェクトの情報を参照してもよいし、インターネットからARオブジェクトの情報を取得してもよい。
[0030]
 ステップS3で、HMD1は、視線検出部4を用いて、リアルタイムで、例えば図1の視線方向EDのような、ユーザの視線方向を検出する。HMD1は、表示面2に、検出した視線方向に応じた視線領域(後述の図6)を設定する。視線領域は、例えば、視線方向と表示面2とが交わる点を中心点として、所定の半径を持つ円形領域として設定される。実施の形態1のHMD1は、基本設定では視線領域を表示面2に表示しない構成であるが、基本設定で視線領域を表示面2に表示する構成としてもよい。また、実施の形態1のHMD1は、ユーザの操作(後述のコマンド)に応じて、視線領域の表示と非表示とを切り替えることもできる。視線領域の位置等は、制御上の各タイミングで更新される。視線の動きが小さい場合には、前回と同じ視線領域が使用される。
[0031]
 また、HMD1は、ステップS3の処理内で、視線領域が表示面2から逸脱したかどうかも判断する。HMD1は、視線領域の逸脱時には、所定の処理を実行する。この処理は、例えば、視線領域内のID画像に関する再構成の処理が挙げられる。また、HMD1の使用開始時には、初期設定の視線領域が使用される。
[0032]
 ステップS4で、HMD1は、ステップS2のAR画像とステップS3の視線領域とで、表示面2内における該当の判断を行う。すなわち、HMD1は、その時の視線領域内にAR画像の位置または領域が入っているか否か、重なっているか否か等を判断する。例えば、HMD1は、後述の管理テーブル(図8)における「AR画像」の「表示位置」が、その時の視線領域の範囲内にあるかを判断する。
[0033]
 ステップS5で、HMD1は、視線領域内の該当するAR画像に対して関連付けて付与するID画像を生成し、表示面2内においてAR画像と対応付けた位置にそのID画像を表示する。このID画像は、対応するAR画像が選択操作可能であることを表している。この際、HMD1は、視線領域内に1つ以上のAR画像がある場合、それらに対し、IDの番号を例えば1から順に付与する。そして、HMD1は、そのIDを持つID画像を生成し、AR画像の近くの位置に表示する。
[0034]
 実施の形態1のHMD1は、このように、視線領域内に入っているAR画像に関して限定的にID画像を表示し、視線領域外にあるAR画像に関してはID画像を表示しない。なお、HMD1は、視線領域外にあるAR画像について、内部処理的にIDおよびID画像を準備しておいてもよいが、表示はしない。選択操作可能なAR画像は、視線領域内にあるID画像が付与されているAR画像である。上記のように、表示面2内に表示されるID画像の数を減らし、情報量を減らすことができるので、ユーザはID画像(対応するAR画像)を選択しやすい。
[0035]
 ステップS6で、HMD1は、ユーザの操作入力を受け付ける。HMD1は、特に、ID画像に関する選択操作の入力を受け付ける。実施の形態1のHMD1は、少なくとも、音声認識のコマンド入力によるID画像選択操作を受け付ける。
[0036]
 ステップS7で、HMD1は、ステップS6のID画像選択操作入力があったかどうかを確認し、ID画像選択操作入力があった場合(Y)にはステップS8へ進み、無かった場合(N)にはステップS9へ進む。
[0037]
 ステップS8で、HMD1は、選択操作されたID画像のIDで指し示されるAR画像を選択し(言い換えると選択状態にし)、そのAR画像に対応付けられた所定の処理を、対応するARプログラムによって実行させる。
[0038]
 ステップS9で、HMD1は、AR機能および支援機能に係わる所定の終了操作がされたかどうかを確認し、終了操作がされた場合(Y)にはフローを終了し、終了操作がされていない場合(N)には最初のステップS1に戻って同様の処理を繰り返す。
[0039]
 なお、上記フローのループの繰り返しにおいて、ステップS1では、HMD1は、HMD1の位置や向き等の変化が所定の度合い以上であるかを判定し、所定の度合い以上である場合に、以降の更新処理(例えば視線領域やID画像の更新)を実行するようにしてもよい。同様に、ステップS3では、HMD1は、視線方向の変化が所定の度合い以上であるかを判定し、所定の度合い以上である場合に、以降の更新処理を実行するようにしてもよい。また、HMD1は、上記視線領域の変化等を判断する際には、設定された閾値を用いてもよい。例えば、HMD1は、視線方向を表す角度が、設定された角度閾値(例えば10度)以上である場合には、視線方向の変化と判定し、更新処理を行う。あるいは、HMD1は、視線方向を表す角度が、所定の時間閾値(例えば1秒)以上で継続的に変化した場合に、視線方向の変化と判定してもよい。また、例えば、HMD1は、時点間のHMD1の位置の差分が、設定された距離閾値(例えば0.1m)以上である場合には、HMD1の位置の変化と判定し、更新処理を行う。HMD1は、視線領域等に変化が無いまたは小さい場合には、前回設定済みの視線領域等を継続使用する。
[0040]
 [処理フロー(2)]
 図4は、ステップS6~S8のID画像の処理に関する詳細処理例のフローを示す。図4は、ステップS21~S27を有する。ステップS21で、HMD1は、音声認識に基づいて所定のコマンドを検出する。HMD1は、後述のコマンド表(図9)に従って処理を行う。ステップS22で、HMD1は、検出したコマンドに対応した所定の機能の処理を実行する。コマンドは、視線領域の操作に関するコマンドや、ID画像の操作に関するコマンド等があり、各コマンドには、対応する処理が規定されている。
[0041]
 ステップS23で、HMD1は、ID画像が選択されたかどうかを確認し、選択されていない場合(N)にはフローを終了し、選択された場合(Y)にはステップS24へ進む。ステップS24で、HMD1は、選択されたID画像について、表示面2での表示状態を、表示差別化する。すなわち、HMD1は、表示面2で、そのID画像を所定の表示効果(例えば点滅表示、高輝度表示、特定色表示等)で表示する。これにより、どのID画像が選択された状態であるか等が、ユーザに対して伝えられる。
[0042]
 ステップS25で、HMD1は、選択されたID画像に関連付けられるAR画像を選択する。例えば、HMD1は、選択されたAR画像に関連付けられるARプログラムに、選択通知を送信する(後述の図5)。これにより、その選択通知を受けたARプログラムは、そのAR画像を選択状態にし、AR画像の選択に対応した所定の処理を実行する。一例として、地図上の店舗等の情報を提供するARアプリの場合、そのARアプリは、選択されたAR画像に対応する店舗の詳細情報を取得し、その詳細情報を表示するAR画像を生成して表示する。他の一例としては、ユーザが実像内に任意にAR画像を配置できるARアプリの場合、そのARアプリは、AR画像を選択状態として、ユーザの操作に応じて、そのAR画像の移動や消去、そのAR画像に対する指令等を行う。
[0043]
 実施の形態1では、操作入力方式として、さらに、ジェスチャー方式を併用できる。図4のフローは、この方式を併用する場合のフローを示しており、対応するステップS26,S27を有する。ステップS26で、HMD1は、カメラ5を用いて前方を撮影した画像を取得し、その画像から、画像認識処理によって、所定のジェスチャーを判定し検出する。検出対象のジェスチャーは、例えば、表示面2に対応する領域内において、ユーザが手指をID画像の位置に所定時間以上置いて静止した状態にするタッチジェスチャーである。あるいは、他の検出対象のジェスチャーは、ユーザが手指でID画像を仮想的につまむジェスチャーである。
[0044]
 ステップS27で、HMD1は、検出したジェスチャーに応じて予め規定されている所定の機能の処理を実行する。この処理は、少なくとも、所定のジェスチャーに応じたID画像選択操作処理を有する。ステップS27の後、ステップS23に進み、同様に、ID画像が選択されたかどうかが確認される。
[0045]
 [ソフトウェア構成例]
 図5は、実施の形態1のHMD1のソフトウェアの構成例を示す。図5では、HMD1のOSやミドルウェアのレベルにおいて、支援機能を実装した例を示している。HMD1は、OS500、ARプログラム501、ARアプリ502、プログラム510を有する。OS500はミドルウェア等を含む。ARプログラム501は、OS500に含まれている、AR画像の生成、表示を行う機能を持つプログラムである。ARプログラム501は、例えば、HMD1の時刻、バッテリ状態、通信状態等の情報、各種の機能のアイコン等を、AR画像として表示面2に表示するプログラムである。本例では、ARプログラム501がAR画像Axを生成し表示面2に表示している場合を示す。
[0046]
 ARアプリ502は、OS500上で稼動している、AR画像の生成、表示を行う機能を持つ、各種のアプリケーションプログラムである。ARアプリ502は、例えば、複数のARアプリとして、ARアプリP1~Pmを有する。本例では、各ARアプリ502(P1~Pm)が各AR画像A1~Amを生成し表示面2に表示している場合を示す。
[0047]
 本例のように、前提として、HMD1は、OS500のARプログラム501や各ARアプリ502によって、それぞれ表示面2にAR画像を表示している。ARプログラム501や各ARアプリ502は、それぞれ、AR画像に対応付けられた所定の処理を実行する機能を有する。
[0048]
 そして、実施の形態1のHMD1は、支援機能が実装されたプログラム510を有する。プログラム510は、OS500の一部として実装されてもよいし、1つのアプリケーションのレベルで実装されてもよい。主制御部100は、OS500上でプログラム510に従った処理を実行することで、支援機能を実現する。この支援機能は、AR画像操作支援機能である。この支援機能は、ARプログラム501や各ARアプリ502による複数のAR画像について、選択操作等がしやすいように、ID画像を用いて支援する機能である。この支援機能は、視線領域に応じて、AR画像に対し、ID画像の付与、表示を行う機能である。この支援機能は、ID画像の選択操作によってAR画像の選択操作を可能とする機能である。
[0049]
 プログラム510は、ARプログラム501や各ARアプリ502と連携する。プログラム510は、表示面2に表示されるAR画像504に対し、ID画像504を生成し、関連付けて表示する。例えば、AR画像A1~AmおよびAR画像Axに対し、ID画像B1~BmおよびID画像Bxがそれぞれ関連付けて表示される場合を示す。
[0050]
 プログラム510は、ユーザによるID画像504の選択操作の入力(例えばIDを指定する音声コマンド)を受け付ける。プログラム510は、その選択操作の入力を、ID画像およびAR画像の選択として解釈する。プログラム510は、選択されたID画像504に関連付けられたAR画像503が選択された場合、選択通知を、対応するプログラム(ARプログラム501またはARアプリ502)に送信する。その選択通知を受けたプログラムは、対象のAR画像を選択状態にし、そのAR画像に対応付けられた所定の処理を実行する。
[0051]
 他の実施の形態としては、特定のアプリのみに、プログラム510の支援機能が実装されてもよい。この場合、その特定のアプリは、自身が制御する特定のAR画像のみを対象として、ID画像の表示等を行うことで、選択操作に係わる支援を行う。
[0052]
 [ID画像表示]
 図6は、表示面2のAR画像を含む映像に対するID画像の付与、表示についての基本を示す。図6で、矩形の枠は、表示面2を概略的に示している。なお、表示面2の2次元の座標系を(x,y)で示す。x方向は横方向、面内水平方向とし、y方向は縦方向、面内垂直方向とする。表示面2内には、図示しない物体や地理的位置に応じて、あるいは、物体とは独立で、1つ以上のAR画像30が表示される場合がある。本例では、AR画像30は、ハート形状のマークのAR画像a1や、スター形状のマークのAR画像a2を有する。AR画像a1は、表示面2内の位置p2(x2,y2)に表示されている。
[0053]
 一方、表示面2において、ユーザの視線方向に応じて、視線領域20が設定される。視線領域20は、視線方向の変化に応じて動的に設定される。ユーザの視線方向と表示面2とが交わる点が、例えば位置p1(x1,y1)であるとする。この場合に、位置p1を中心点として、所定の半径r1を持つ円領域が、視線領域20として設定されている。視線領域20は、基本設定では表示されないが、破線で図示している。
[0054]
 視線領域20内に例えばAR画像30(a1)が入っている。この場合、HMD1は、そのAR画像30(a1)に対し、ID画像40(b1)を生成し、関連付けて表示する。本例では、ID画像40は、IDの番号として「1」を持つ矩形のID画像b1を有する。ID画像b1は、例えば矩形の枠内に数字「1」が配置された画像である。ID画像b1の枠内は例えば透過領域であるが、非透過領域としてもよい。本例では、ID画像b1は、AR画像a1の位置p2に対し、近くの位置p3(x3,y3)、例えばAR画像a1の上側の位置に表示されている。AR画像a2は、視線領域20内に入っていないので、ID画像40は表示されない。AR画像30の位置に対しID画像40を表示する位置は、上側の位置に限らず可能であり、例えばその時の表示面2内のAR画像30およびID画像40の表示状態に応じて、空いている好適な位置が選択される。
[0055]
 [視線領域]
 図7は、視線領域20の構成例を示す。図7では、視線領域20の例として、視線領域20a,20b,20cを示す。視線領域20aは、図6と同様に円形を持つ例である。視線領域20の形状は、これに限らず、各種の形状が設定可能である。視線領域20bは、横長の楕円形状を持つ例である。視線領域20cは、横長の矩形を持つ例である。また、視線領域20の半径等のサイズについては、予め設定された固定のサイズとしてもよいし、ユーザ設定で変更可能としてもよい。例えば、視線領域20の縦および横の幅をユーザ設定可能としてもよい。また、後述するが、HMD1の使用時、ユーザによる所定の操作入力に応じて、視線領域20のサイズ等の変更が可能である。
[0056]
 また、視線領域20aは、表示面2の中心の位置pc(xc,yc)に設定されている場合を示す。実施の形態1では、ユーザの視線方向に応じて、視線領域20の位置は変動する。例えば、視線方向の先の位置が、位置pcから位置pd(xd,yd)に変化した場合、視線領域20aは視線領域20dへ移動する。
[0057]
 変形例のHMD1としては、ユーザの視線方向に依存せずに、予め設定された、表示面2内で固定の位置、例えば中心の位置pc(xc,yc)に、視線領域20を固定的に設定してもよい。位置pcを通る縦横の破線は、表示面2の縦横の幅の二等分線である。この変形例は、ユーザの視線方向をHMD1の向きと概略同じとみなして視線領域20を制御する形態に相当する。この変形例の場合、ハードウェアおよびソフトウェアの構成をより簡略にできる。ユーザは、頭部を動かすことでHMD1の向きを変更する。これにより、空間に対する視線領域が変動する。
[0058]
 また、後述するが、ユーザによる所定の操作入力に応じて、表示面2での視線領域20の位置を固定することや固定解除することが可能である。これにより、ユーザがある視線方向を注目している状態で、視線領域20内のID画像の表示を固定させること等が可能である。
[0059]
 また、後述するが、ユーザによる所定の操作入力に応じて、視線領域20を表す画像(視線領域境界線)をAR画像の一種として表示面2内に表示させることや、それを非表示に切り替えることが可能である。視線領域20を表す画像は、例えば境界線であり、図示するような破線等の画像としてもよい。例えば、視線領域20aを表示させる場合、図示する破線の円形が、境界線として表示される。
[0060]
 [管理テーブル]
 図8は、AR画像およびID画像に関する制御のための管理テーブルの構成例を示す。この管理テーブルは、すべてのAR画像およびID画像に関するリストを持つ。HMD1は、この管理テーブルに、すべてのAR画像およびID画像の情報を読み書きする。HMD1のプロセッサは、メモリ上、DB112の一部として、管理テーブルを作成し、保持する。HMD1は、この管理テーブルを参照することで、その時点のAR画像やID画像の状態を把握できる。
[0061]
 図8の管理テーブルは、項目として、管理ID、ARオブジェクト、表示位置、ベース位置、識別情報を有する。「管理ID」は、管理用の識別情報であり、アドレスまたは行番号等である。「ARオブジェクト」は、AR画像であり、対応する画像データファイル等を有する。「表示位置」は、表示面2にAR画像を表示する際の基準位置となる2次元座標(x,y)である。「ベース位置」は、AR画像の生成のベースとなる3次元位置座標(X,Y,Z)である。「ベース位置」は、例えば地図上や現実空間内の位置に対応している。なお、現実の物体とは独立して生成されるAR画像の場合、「ベース位置」を持たない場合もある。「識別情報」は、IDとID画像とを含む。IDは、AR画像を識別し選択するための番号等の情報である。ID画像は、そのIDを含んだ表示用の画像であり、対応する画像データファイルを有する。IDの番号は、例えば、1,2,3,……と順に生成される。なお、AR画像にID画像を付与していない状態の場合、「識別情報」項目に、ID画像無しを示す値(0)が設定される。他のデータ項目としては、ID画像の選択可否を表すフラグ等を設けてもよい。
[0062]
 [コマンド表]
 図9は、実施の形態1における音声認識方式に対応した、コマンド表の構成例を示す。このコマンド表には、予め、使用できるコマンドが設定されている。このコマンド表は、項目として、コマンドID、対象(種別)、コマンド、音声、備考を有する。表の行毎にコマンドが設定されている。HMD1は、入力音声から、コマンド表にある「コマンド」を検出する。「コマンドID」は、「コマンド」の識別子を示す。「対象(種別)」は、その「コマンド」の対象、種別を示す。「音声」は、その「コマンド」の入力時の音声の例を示す。「音声」は、例示する音声に限定されず、各コマンドを一意に区別できる音声であればよく、様々に設定可能である。「備考」は、処理内容等の説明を示す。
[0063]
 コマンドID=C01~C06は、「対象(種別)」が「視線」であり、視線領域の制御に関するコマンド群である。コマンドID=C11~C42は、「対象(種別)」が「ID」であり、ID画像の制御に関するコマンド群である。
[0064]
 コマンドID=C01の「視線領域表示オン」コマンドは、図6等の視線領域20を表す画像(例えば境界線)を表示面2内に表示する状態に切り替えるコマンドであり、音声は例えば「シセンオン」である。コマンドID=C02の「視線領域表示オフ」コマンドは、視線領域20を表す画像を表示面2内に表示しない状態に切り替えるコマンドであり、音声は例えば「シセンオフ」である。
[0065]
 コマンドID=C03の「視線領域固定」コマンドは、表示面2内の視線領域20の位置を固定する状態に切り替えるコマンドであり、音声は例えば「シセンコテイ」「フリーズ」等である。コマンドID=C04の「視線領域固定解除」コマンドは、視線領域20の位置の固定を解除して自由な状態に切り替えるコマンドであり、音声は例えば「シセンカイジョ」等である。
[0066]
 コマンドID=C05の「視線領域拡大」コマンドは、表示面2内の視線領域20のサイズを拡大させるコマンドであり、音声は例えば「シセンカクダイ」「オオキク」等である。コマンドID=C06の「視線領域縮小」コマンドは、視線領域20のサイズを縮小させるコマンドであり、音声は例えば「シセンシュクショウ」「チイサク」等である。
[0067]
 コマンドID=C11の「ID表示オン」コマンドは、表示面2内にID画像を表示する状態に切り替えるコマンドであり、音声は例えば「シキベツオン」「アイディーオン」等である。コマンドID=C12の「ID表示オフ」コマンドは、表示面2内にID画像を表示しない状態に切り替えるコマンドであり、音声は例えば「シキベツオフ」「アイディーオフ」等である。
[0068]
 コマンドID=C21の「ID1選択」コマンドから、コマンドID=C29の「ID9選択」コマンドまでは、例えばID「1」からID「9」までの9個のIDの各IDを個別に選択するためのコマンドである。例えば、「ID1選択」コマンドは、IDの番号として「1」を持つID画像「1」(例えば図6のID画像b1)を選択するコマンドであり、音声は例えば「イチバン」「バンゴウイチ」「アイディーイチ」等である。なお、本例は、IDとして「1」~「9」の9個を使用しているが、10個以上のIDを使用してもよく、「10」以上の番号に対応する各コマンドが用意されてもよい。
[0069]
 ユーザの入力音声から音声認識で検出した音声が、例えば「イチバン」に該当する場合、「ID1選択」コマンドであると解釈され、ID画像「1」の選択操作であると解釈される。そして、このID画像「1」の選択操作は、その時にそのID画像「1」に関連付けられているAR画像の選択操作であると解釈される。これにより、そのAR画像が選択され、そのAR画像に対応付けられた所定の処理が実行される。
[0070]
 コマンドID=C30の「全ID選択」コマンドは、視線領域内の全てのID画像を選択するコマンドであり、音声は例えば「ゼンブ」である。コマンドID=C31の「1ID選択」コマンドは、視線領域内のいずれか1つのID画像を所定の規則で選択するコマンドであり、音声は例えば「センタク」である。このコマンドは、特に視線領域内に複数のID画像が入っている場合には、例えば視線領域の中心点(すなわち視線方向)に最も近い1つのID画像を選択するコマンドである。
[0071]
 コマンドID=C32の「全ID選択解除」コマンドは、視線領域内の全てのID画像について、選択状態のID画像がある場合にその選択状態を解除して非選択状態に戻すコマンドである。対応する音声は例えば「ゼンブカイジョ」である。また、コマンドID=C33の「1ID選択解除」コマンドは、視線領域内のいずれか1つのID画像の選択状態を解除して非選択状態に戻すコマンドである。C32およびC33のコマンドは、ID画像および対応するAR画像に関して、制御上、選択状態と非選択状態とを区別して持つ場合に適用できる。
[0072]
 コマンドID=C34の「ID実行」コマンドは、選択状態のID画像がある場合に、そのID画像に関連付けられたAR画像の処理を実行させるコマンドである。音声入力は例えば「ジッコウ」である。C34のコマンドは、AR画像に関して、制御上、選択と実行とが分かれている場合に適用できる。AR画像に関して、制御上、選択と実行とが分かれていない場合には、選択操作がそのまま処理実行指示に相当する。
[0073]
 コマンドID=C41の「AR情報表示」コマンドは、視線領域内のID画像、または選択状態のID画像に関連付けられるAR画像に関する情報を表示させるコマンドである。音声は例えば「ジョウホウオン」である。C42の「AR情報非表示」コマンドは、C41のコマンドによるAR情報を非表示状態に切り替えるコマンドであり、音声は例えば「ジョウホウオフ」である。AR画像に関する情報とは、例えば、そのAR画像を生成しているARプログラム等の名称や機能等の情報である。この情報を見ることで、ユーザは、そのAR画像の機能や意味等を確認できる。なお、このコマンドは、ARプログラムによるAR画像の処理実行の一例としてのデータ出力とは別のものである。あるARプログラムは、AR画像が選択された場合に、所定の処理の一例として、データ出力を行う。例えば、地図上の店舗の情報を提供するARアプリの場合、このデータ出力は、店舗の情報をAR画像として表示することである。
[0074]
 なお、HMD1は、上記例とは別に、OS等による各種の機能の操作のための音声コマンドを設けていてもよい。また、ARアプリと支援機能とが一体で実装されている形態の場合、音声コマンドの例として、ARアプリによるAR画像処理実行に対応するコマンドを設けてもよい。例えばAR画像に対応したデータを表示させる「データオン」コマンド等が挙げられる。例えば、店舗の情報を提供するARアプリは、「データオン」コマンドが入力された場合、選択状態のAR画像に関し、店舗の情報を含むAR画像を表示する。
[0075]
 図2の音声処理部130は、音声合成機能を備えてもよい。HMD1は、音声合成機能を用いて、ユーザに対し、適宜に音声応答を出力してもよい。例えば、HMD1は、ユーザが、所定の音声コマンドを入力した場合に、対応する音声応答を出力してもよい。音声応答の例は、入力コマンド確認の音声や、質問の音声等が挙げられる。
[0076]
 [AR画像およびID画像]
 図10および図11は、表示面2におけるAR画像およびID画像の表示例を示す。図10の例は、室外でHMD1を利用している場合の映像の例として、道路付近で店舗等の建物が見える実像を含む場合を模式的に示す。図11の例は、室内でHMD1を利用している場合の映像の例として、テーブルや壁等が見える実像を含む場合を模式的に示す。まず、既存のARプログラムによって表示可能であるAR画像の表示例については以下の通りである。AR画像を生成し表示する方式については、公知技術を適用可能であり、特に限定しない。各種のAR方式が混在してもよい。例えば図5の各ARアプリ503のAR方式は異なってもよい。
[0077]
 図10の映像で、AR画像(=ARオブジェクト)の例として、AR画像A1~A13を示す。AR画像A1やAR画像A2は、ユーザが癒し等のために実像内に任意に配置したAR画像の例である。このAR画像は、例えば鳥や猫等の動物または仮想的なキャラクター等のAR画像であり、例えばアニメーション画像等で構成される。ユーザは、所定の操作によって、表示面2内に、選択した所望のAR画像を配置する。このAR画像は、例えば表示面2内の指定された固定の位置に表示される。あるいは、このAR画像は、プログラムに従って自律的に表示面2内を動くものでもよい。例えば鳥のAR画像A1は、表示面2内を飛ぶような動きをする。また、このAR画像は、ユーザおよびHMD1の位置に依らずに常時に表示面2内に表示されるものでもよい。
[0078]
 AR画像A3,A4は、店舗の情報を表示するAR画像の例であり、例えば矩形領域に店舗の名前等の文字が表示された画像である。例えば、あるARアプリは、店舗等の情報を、AR画像を用いてガイドする。そのARアプリは、地図データから、HMD1の現在の位置や向きに合わせて付近の店舗等を検索する。ARアプリは、検索した情報を用いて、AR画像A3等を生成し、その店舗等の地理的位置に対応付けた表示面2内の位置に表示する。あるいは、あるARアプリは、カメラ5の画像から、店舗等の建物や看板の物体を検出し、その物体の情報を取得し、その情報を用いたAR画像を生成し表示する。物体の情報は、名称、種類、住所、状態等、設定された任意の情報が適用可能である。
[0079]
 AR画像A5,A6は、ユーザの移動のナビゲーションのための矢印や吹き出し等の情報を表示する画像の例である。例えば、あるARアプリは、ルート検索を含むナビゲーション機能を持ち、ユーザが入力した目的地に応じて、現在位置から目的地までのルートのナビゲーションのためのAR画像を生成する。例えば、AR画像A5は、次の交差点を右に曲がることや、その30m先に目的地があることを表す画像である。AR画像A6は、矢印の方向に駅があることを表す画像である。
[0080]
 AR画像A7は、検出された人の顔に対し枠画像を表示する例である。例えば、あるARアプリは、予めユーザの知り合い等の人の情報が登録される。そのARアプリは、カメラ5の画像に基づいて、知り合い等の人の顔を検出する。そのARアプリは、検出した顔の領域に対し、枠画像やその人の情報を、AR画像A7として付与して表示する。これにより、ユーザは、知り合い等の人の発見や、その人の情報の確認ができる。
[0081]
 AR画像A8,A81,A82,A83は、AR画像A4で示されるある店舗が料理店である場合に、その店舗が提供している本日のおすすめの料理の情報を表示する、複数のAR画像のグループの例を示す。AR画像A8は、「本日のおすすめ」の文字画像である。AR画像A81,A82,A83は、AR画像A8に関連付けられた、複数の各々の料理の画像である。例えば、あるARアプリは、店舗の情報として、このような詳細情報をプッシュ情報として自動的に表示する。
[0082]
 図11の映像で、AR画像A21~A28を示す。AR画像A21は、ユーザが配置した複数の鳥等のAR画像であり、自律的に動いている。AR画像A22は、ユーザが配置した猫等のAR画像であり、例えば静止している。AR画像A23,A24は、実像のテーブル上にユーザが配置した、花瓶や食べ物等のAR画像である。AR画像A25,A26,A27は、実像の壁に対しユーザが配置した、カレンダーや絵画や時計等のAR画像である。例えば、あるARアプリは、室内の所望の位置に各種のARオブジェクトを配置することができるアプリである。AR画像A28は、表示面2内の所定の位置に対してユーザが配置した、複数の書類等のアイコンのAR画像である。対応するプログラムは、AR画像A28が選択された場合に、書類等の内容を表示面2内に表示する。
[0083]
 上記例のように、AR画像の表示上の態様は、アイコン、マーク、文字、図形、アニメーション、3次元モデル等の画像を含め、各種の態様が可能であり、特に限定されない。また、上記例のように、AR画像は、現実の物体に対応付けて表示されるタイプのAR画像もあるし、物体とは独立に表示されるタイプのAR画像もある。また、AR画像には、音声出力(例えば、効果音、動物の鳴き声等)が伴ってもよい。
[0084]
 後者のタイプの他の例は、HMD1のOS等のプログラムが制御用のAR画像を表示する場合が挙げられる。このAR画像の例としては、各種の機能やアプリのアイコンのAR画像、日時、バッテリ、通信等の状態を表すAR画像、メール通知等を表すAR画像、等が挙げられる。このタイプのAR画像は、例えば、現実の物体の位置とは関係無く、一定時間、表示面2内に表示される。
[0085]
 AR等の方式は、上記例に限らず、公知の各種の方式を適用可能である。一例としてARマーカ方式を適用してもよい。この方式では、HMD1は、カメラ5の画像の認識によって、実像内から所定のマーカ(例えば2次元コード)を検出し、そのマーカの位置に対応付けて所定のAR画像を生成し表示する。他の方式としては、ユーザの視線方向を用いて、その視線方向にある物体または地点を検出し、その物体や地点に対応付けてAR画像を生成し表示する方式を用いてもよい。
[0086]
 上記AR画像に対するID画像の表示例については以下の通りである。図10で、視線領域20の例として、表示面2内のやや右上の位置に視線領域20がある。この視線領域20内に、AR画像A1,AR画像A4,AR画像A6,AR画像A8,A81,A82,A83の計7個が入っている。HMD1は、視線領域20内の複数のAR画像に対し、中心点に近い順に、IDの番号を付与して、ID画像を表示する。本例では、視線領域20の中心点から近い順に、ID画像「1」~「7」の7個のID画像が生成、表示されている。例えば、AR画像A81にはID画像「1」が付与されている。AR画像A82にはID画像「2」が付与されている。AR画像A83にはID画像「3」が付与されている。AR画像A8にはID画像「4」が付与されている。AR画像A1にはID画像「5」が付与されている。AR画像A4にはID画像「6」が付与されている。AR画像A6にはID画像「7」が付与されている。本例は、視線領域20内の全てのAR画像にID画像を付与、表示する例である。
[0087]
 図11で、視線領域20の例として、表示面2内のやや上寄りの位置に視線領域20がある。この視線領域20内に、3個のAR画像A21,AR画像A23,A24,AR画像A25,A26の計7個が入っている。本例では、視線領域20の中心点から近い順に、ID画像「1」~「7」の7個のID画像が生成、表示されている。例えば、3個のAR画像A21にはID画像「1」~「3」が付与されている。AR画像A23にはID画像「4」が付与されている。AR画像A25にはID画像「5」が付与されている。AR画像A24にはID画像「6」が付与されている。AR画像A26にはID画像「7」が付与されている。
[0088]
 [ID画像]
 上記例では、ID画像のIDとしては「1」「2」等の番号を用いている。ID画像のIDは、使用できる範囲が設定されてもよい。例えば、HMD1は、デフォルト設定では、IDの範囲が「1」~「9」と設定される。また、表示面2内に同時に表示できるID画像の数、または視線領域20内に同時に表示できるID画像の数についても、設定可能である。例えば、HMD1は、デフォルト設定では、視線領域20内のID画像の最大数が5個と設定される。これらの制限によって、表示面2内の情報量を抑制し、見やすくすることができる。
[0089]
 ID画像のID番号の採番は、所定の規則で行われる。例えば、視線領域内の中心点に近い順に、「1」から順に番号が付与される。また、ID番号の採番は、状況に応じて動的になされる。ある同じAR画像についても、状況に応じて異なるIDが付与され得る。また、後述の第1制御例では、HMD1は、時系列上、ある同じAR画像に対し、なるべく同じIDのID画像が維持されるように制御する。例えば、あるAR画像に対し、一旦あるIDが付与された後、少なくとも一定時間、同じIDが維持されるようにしてもよい。また、後述の第2制御例では、HMD1は、制御の時点毎に、視線領域内のAR画像に対し、所定の規則でID画像を付与しなおす。
[0090]
 また、HMD1は、特定のARアプリのAR画像については、ID画像を付与表示し、他の特定のARアプリのAR画像については、ID画像を付与表示しない、といったように、制御対象に関するユーザ設定を可能とする。
[0091]
 図12は、ID画像の各種の表示上の態様の例を示し、いずれも適用可能である。(A)の例で、AR画像a1は、左側の位置に、枠無しでID「1」を持つID画像b1が表示されている。(B)の例で、AR画像a1は、同じ位置に重畳するように、ID「1」のID画像b1が表示されている。(C)の例で、AR画像a1は、上側の位置に、円形の枠にID「A」を持つID画像b1が表示されている。このIDは、英字「A」を用いる例である。IDは、数字に限らず、各種の文字が適用可能である。
[0092]
 (D)の例は、AR画像a1の位置に対し、少し離れた位置に、ID「1」を持つID画像b1を配置する例である。また、AR画像a1とID画像b1とが、関連付けを表すために、接続線の表示で結ばれている。例えば、AR画像a1の近くに空きが無い場合には、このような表示を適用してもよい。
[0093]
 (E)の例は、実像の店舗j1の位置に対し、少し離れた位置に、関連付けの接続線を通じて、その店舗j1の情報を表示するためのAR画像a101を有する。AR画像a101は、矩形領域内に、店舗j1の名前等の文字が表示されている。そして、そのAR画像a101に対し、上側の位置に、ID「1」を持つID画像b1が表示されている。
[0094]
 (F)の例は、表示面2内で動くAR画像A1に対し、ID「1」を持つID画像b1が表示されている。このID画像b1は、基本として、AR画像A1の動きに追随した位置に表示される。変形例として、このID画像b1は、AR画像A1の動きに追随した位置ではなく、一定の位置に表示される。あるいは、このID画像b1は、AR画像A1の動きよりも遅い速度で動くように表示されてもよい。
[0095]
 (G)の例は、矢印等のAR画像A5に対し、ユーザ設定に応じて、視線領域内であってもID画像を付与、表示しない場合を示す。ある種のAR画像に対し、ID画像を表示するとわかりにくい場合には、このように表示しないようにできる。また、例えば、元々番号等の文字や形状を持つAR画像の場合に、ID画像を表示しないようにできる。
[0096]
 他のIDの例としては、色や形状の違いによって識別されるものとしてもよい。例えば、円、三角、四角、等の形状が適用できる。あるいは、例えば、赤、青、黄等の色が適用できる。
[0097]
 図13の(A)の例は、複数、例えば3個のAR画像a1,a2,a3が、近い位置に密集して配置されている。HMD1は、基本としては、各AR画像の近くの位置に各ID画像を表示する。その際、例えば、各AR画像の上側にID画像を表示する場合、(A)のような状態になる。ID「1」~「3」の3個のID画像b1,b2,b3が密集して表示されている。この場合、ユーザにとって、情報がやや見え難い。これに対し、改善の例を(B)等に示す。(B)の例は、同じ3個のAR画像a1~a3に対し、それぞれ異なる位置、例えば外側へ広がる位置に、ID画像が表示されている。これにより、複数のID画像b1~b3は重ならず、見やすくなっている。(C)の例は、同じ3個のAR画像a1~a3に対し、3個のID画像b1~b3を、吹き出し画像内に整理して表示している。吹き出し画像内で、まず各AR画像(縮小画像としてもよい)が縦に並べて表示されている。そして、吹き出し画像内で、各AR画像の傍に、対応する各ID画像が表示されている。
[0098]
 さらに、(D)の例は、複数のAR画像(例えばAR画像a1~a3)を1つのグループとして1つのID画像b101を付与、表示する例を示す。ID画像b101は例えばID=グループID=「A」を持つ画像である。例えば、AR画像a1~a3の近くの位置、または吹き出し画像の近くの位置に、グループID「A」のID画像b101が表示される。この場合、グループ単位のID画像b101の選択操作に応じて、グループの複数のAR画像a1~a3をまとめて選択することが可能である。変形例として、HMD1は、最初、密集した複数のAR画像a1~a3の近くの位置に、グループ単位のID画像b101のみを表示する。HMD1は、ユーザがID画像b101を選択操作した場合、そのグループに含まれる複数のAR画像a1~a3およびID画像b1~b3の情報を、吹き出し画像等で表示し、個別に選択操作可能とする。
[0099]
 (E)は、図10のAR画像A8,A81~A83のように、元々グループとして関連している複数のAR画像がある場合に、同様にグループ単位のID画像b101を付与、表示する例を示す。HMD1は、グループとするAR画像A8,A81~A83を、例えば枠で囲み、その枠を含むID画像b101を付与、表示する。(F)は、図11の3個のAR画像A21の例で、同様に、グループ単位のID画像b101を付与、表示する例を示す。
[0100]
 [表示制御例(1)]
 実施の形態1における、より詳しいID画像の表示制御例について以下に説明する。HMD1は、視線領域20の変化に応じたAR画像の変化に応じて、ID画像を付与、表示する制御を行う。
[0101]
 図14等は、第1制御例を示す。第1制御例は、あるAR画像に対してなるべく同じIDのID画像を維持する。例えば、ある第1AR画像が視線領域内に入った場合、ID「1」のID画像が付与、表示される。その後、第1AR画像が視線領域から出た場合、内部処理的にはID「1」の付与が維持され、ID画像は非表示にされる。その後、第1AR画像が再び視線領域内に入った場合、再び同じID「1」のID画像が表示される。一方、第2制御例は、あるAR画像に対してなるべく同じIDのID画像を維持するのではなく、その時の視線領域内の状態に応じて、都度、IDを付与し直す。
[0102]
 図14は、表示面2の映像の第1状態を示す。本例では、実像は、道路付近で、3つの店舗の建物が見えている。第1状態で表示されているAR画像の例として、AR画像a1,a2,a3,a4,a5,a11,a12,a13がある。AR画像a1~a5は、各形状のマークの例であり、AR画像a11,a12,a13は、店舗の情報を表示する矩形画像の例である。視線領域20は、第1状態では視線領域E1であり、中心の位置p1(x1,y1)、半径r1を有する。第1状態では、視線領域E1内に、AR画像a1,a2,a3が入っている。AR画像a4,a5,a11,a12,a13は、視線領域E1外にある。なお、本例では、視線領域内にAR画像が入っているか否かの判断は、AR画像の「表示位置」(図8)が視線領域内に入っているか否かの判断とするが、これに限らず可能である。他の方式として、AR画像の領域一部が視線領域内に入っているか否かの判断としてもよい。
[0103]
 HMD1は、例えば、視線領域E1の中心の位置p1に近いAR画像から順に、IDを付与する。本例では、位置p1に近い順に、AR画像a1,a2,a3である。そのため、HMD1は、3個のAR画像a1,a2,a3に対し、3個のID画像「1」「2」「3」を付与、表示している。
[0104]
 ID番号付与方式は、本例に限らず各種の方式が適用可能である。他の方式の例として、視線領域内にAR画像が入った順序で採番する方式がある。また、他の方式の例として、視線領域内を所定の順序で走査(例えば左上から右下へ線順次走査)して該当する順序で採番する方式がある。
[0105]
 上記例のように、実施の形態1のHMD1は、表示面2内に複数のAR画像がある場合に、視線領域内に限定してID画像を表示する。よって、ユーザにとっては、情報量が抑制されているので、AR画像の操作がしやすい。ユーザは、視線方向の付近で注目するAR画像に関して、ID画像を選択操作することで、AR画像を操作することができる。なお、HMD1は、視線領域内のAR画像にID画像を表示した後、一定時間経過後に消去するようにしてもよい。ID画像は、半透過画像としてもよい。
[0106]
 図15は、表示面2の映像の第2状態を示す。第1状態の視線領域E1から、HMD1の向きおよび視線が少し左に移動して、第2状態の視線領域E2になったとする。第2状態で、視線領域E2内には、AR画像a1が入ったままであり、新たにAR画像a11が入ってきて、AR画像a2,a3が外に出ている。AR画像a11は、店舗の情報(「店舗AAA」)を表示する矩形画像の例である。
[0107]
 HMD1は、AR画像a1については、ID画像「1」の表示を維持する。HMD1は、AR画像a2,a3については、ID画像「2」「3」を非表示にする。HMD1は、AR画像a11については、ID画像「4」を付与、表示する。第1制御例では、AR画像a2,a3のID画像「2」「3」については、非表示にしても、付与番号を維持しておき、AR画像a11については、「3」の次の番号「4」が付与される。第2状態では、視線領域E2内に、ID画像「1」「4」の2つが表示されている。
[0108]
 第2制御例を用いる場合、以下のようになる。HMD1は、視線領域E2内から出ているAR画像a2,a3については、ID画像「2」「3」の付与を取り消す。HMD1は、新たに入ってきたAR画像a11については、ID画像「1」の次の番号を持つID画像「2」を付与、表示する。この状態で、視線領域E2内には、ID画像「1」「2」が表示される。
[0109]
 また、例えば、第2状態の視線領域E2から再び第1状態の視線領域E1に戻った場合、第1制御例では、以下のようになる。HMD1は、視線領域E1内に入ったAR画像a2,a3に対し、再び、先と同じID画像「2」「3」を表示し、視線領域E1から出たAR画像a11についてはID画像「4」を非表示にする。
[0110]
 [表示制御例(2)]
 図16は、表示面2の映像の例を示す。図14の第1状態の視線領域E1から、ユーザの視線が少し右に移動して、図16の視線領域E3の状態になったとする。視線領域E3内には、AR画像a1,a2,a3が入ったままであり、新たに、AR画像a4,a5が入っている。ここで、ユーザ設定の状態として、IDの範囲が「1」~「9」であり、視線領域内のID画像の同時表示の最大数が3個であるとする。視線領域E3内には5個のAR画像の位置が入っているが、HMD1は、最大数=3個に限定してID画像を表示する。
[0111]
 第1制御例では、以下のようになる。HMD1は、まず、最初に入ってきたAR画像a4に対し、ID画像「4」を付与、表示し、AR画像a1についてはID画像「1」を非表示にする。この時点で、最大数=3個のID画像「2」「3」「4」が表示されている。HMD1は、次に入ってきたAR画像a5に対し、ID画像「5」を付与、表示し、AR画像a2についてはID画像「2」を非表示にする。この時点で、最大数=3個のID画像「3」「4」「5」が表示されている。このように、HMD1は、新たに入ってきたAR画像にID画像を表示すると共に、最大数に抑えるように、古いID(または視線領域の移動の後ろ側にあるID等)を順に非表示にする。また、HMD1は、同様にして、範囲の最後のID=「9」まで使用した場合、その後には、範囲の最初のID=「1」に戻って循環的に使用する。
[0112]
 同様の状況に関して、第2制御例では、以下のようになる。同様に、IDの範囲が「1」~「3」であり、最大数=3個であるとする。HMD1は、まず、最初に入ってきたAR画像a4に対し、ID画像「1」を付与、表示し、AR画像a1についてはID画像「1」の付与を取り消して消去する。この時点で、最大数=3個のID画像「1」「2」「3」が表示されている。HMD1は、次に入ってきたAR画像a5に対し、ID画像「2」を付与、表示し、AR画像a2についてはID画像「2」を消去する。この時点で、最大数=3個のID画像「1」「2」「3」が表示されている。このように、HMD1は、所定の範囲のID画像「1」「2」「3」を常に使用するように、新たに入ってきたAR画像にID画像を付与、表示すると共に、いずれかのAR画像のID画像の付与を取り消して消去する。
[0113]
 上記のように、実施の形態1のHMD1は、予め、視線領域内に表示できるID画像の最大数を設定でき、表示されるID画像の数を抑制することができる。また、例えば、視線領域内に複数のAR画像が密集していて最大数を越えてしまい、それらの全てのAR画像に関する複数のID画像を表示できない場合がある。HMD1は、視線領域における複数のAR画像の密度の状態に応じて、視線領域の拡大または縮小を自動的に制御してもよい。例えば、HMD1は、複数のAR画像が密に配置されている場合に、視線領域を縮小してサイズを小さくしてもよい。例えば、HMD1は、複数のAR画像が疎に配置されている場合に、視線領域を拡大してサイズを大きくしてもよい。例えば、HMD1は、同時表示の最大数に合わせるように、視線領域のサイズを調整してもよい。表示面2に表示されるID画像の数を概略一定数にすることで、ユーザは選択操作がしやすい。また、同時表示の最大数を1個に設定することも可能である。この場合、表示面2および視線領域20内には最大1個のID画像のみが表示されるので、選択操作が容易である。
[0114]
 [ID画像の選択、AR画像の処理実行]
 図17は、図15の映像の例と同様の実像の例で、ユーザが視線領域E2内のAR画像a11を、対応するID画像b11(=ID画像「4」)によって選択操作する場合の表示例を示す。視線領域E2内には、AR画像a1,a11が入っており、ID画像「1」「4」が表示されている。あるARアプリは、店舗の情報を持つAR画像a11を表示している。このARアプリは、さらに、このAR画像a11の選択操作に応じて、所定の処理として、その店舗に関する詳細情報を、さらなるAR画像として提供する。
[0115]
 ユーザは、AR画像a11で示す店舗に関する詳細情報を見たいとする。この場合、ユーザは、基本としては、AR画像a11を選択操作する。その際、ユーザは、AR画像a11の代わりに、支援のために表示されているID画像b11を利用できる。本例では、ユーザは、ID画像b11を選択操作する。音声コマンドを用いる場合、ユーザは、ID画像b11で示されているID番号「4」(対応する「ID4選択」コマンド)を、音声入力する。例えば、ユーザは、音声「ヨンバン」等を入力する。HMD1は、その音声を認識し、「ID4選択」コマンドとして検出する。HMD1は、そのコマンドから、ID「4」を持つID画像b11の選択操作として解釈し、その時にそのID画像b11に関連付けられているAR画像a11の選択操作として解釈する。
[0116]
 HMD1は、ID画像b11の選択操作に応じて、そのID画像b11の表示差別化(図4、ステップS24)を行う。なお、対応して、対象のAR画像a11についても表示差別化を行うようにしてもよい。また、HMD1は、そのAR画像a11の選択を、対応するARアプリに通知する(図5)。これにより、そのARアプリは、AR画像a11を選択状態とし、その選択操作に対応させて規定されている所定の処理、本例では店舗詳細情報表示を行う。
[0117]
 そのARアプリは、その店舗に関する詳細情報を含むAR画像a11bを構成し、AR画像a11の位置または付近の位置に表示する。本例では、AR画像a11bの詳細情報は、「店舗AAA」の種類や営業時間等の情報が含まれている。なお、ARアプリにおいて、あるAR画像は、複数のAR画像(例えば複数の階層や複数のページ等)から構成されていてもよい。HMD1は、それらの複数のAR画像に対し、それぞれのID画像を付与、表示してもよい。ARアプリによるデータ出力は、音声出力でもよい。また、例えば、ARアプリは、AR画像a11またはAR画像a11bに対するユーザの所定の操作(例えば2回目の選択操作)を受けた場合、AR画像a11bを消去する。
[0118]
 [ID画像の消去]
 ID画像の消去の制御例について説明する。HMD1は、ユーザの所定の操作に応じて、視線領域内のID画像を消去、言い換えると非表示に切り替える。図14の映像の例を用いて説明する。視線領域E1内には、AR画像a1~a3に対応して、3個のID画像「1」~「3」が表示されている。ユーザは、この状態で、視線領域E1内のID画像を消去したい場合、例えば図9のC12の「ID表示オフ」コマンドを入力する。これを受けて、HMD1は、視線領域E1内のID画像「1」~「3」を非表示状態に切り替える。HMD1は、ID画像の非表示状態では、そのID画像の選択操作を無効とする。ID画像が消去された状態では、対応するAR画像は表示されているが、選択操作はできない。例えば、この状態でユーザが「ID1選択」コマンドを入力しても、ID画像「1」およびAR画像a1の選択はできない。
[0119]
 また、ユーザは、再度、ID画像を表示したい場合には、例えば図9のC11の「ID表示オン」コマンドを入力する。これを受けて、HMD1は、視線領域E1内のID画像「1」~「3」を表示状態に切り替える。
[0120]
 変形例としては、所定のコマンドに応じて、ID画像と共に対応するAR画像を同時に消去させるようにしてもよい。
[0121]
 [複数のID画像の選択]
 視線領域内の複数のID画像から1つまたは複数のID画像を選択する場合の制御例を説明する。まず、図14の映像の例で、ユーザは、視線領域E1内のID画像「1」~「3」について、個別のコマンド(図9、C21~C29)を用いて、個別のAR画像を指定して選択可能である。また、ユーザは、一定時間内に複数のID画像を連続的に指定する操作によって、複数のAR画像をまとめて選択することもできる。例えば、音声方式を用いる場合、ユーザは、一定時間内で、連続的に、複数のID番号を発声する。HMD1は、音声認識処理の際、一定時間内での複数のワード(対応する音声単位)を検出し、複数のワードのつながりによるコマンドとして解釈する。入力音声は、例えば「イチ、サン、ゴ」等である。これにより、ID画像「1」「3」「5」をまとめて選択できる。また、例えば、番号が連続するID画像「2」「3」「4」「5」の範囲を選択したい場合、ユーザは、その範囲を発声する。入力音声は例えば「ニ、カラ、ゴ」(2~5の意味)である。これによってその範囲がまとめて選択可能である。
[0122]
 他の方式として、ユーザは、視線領域E1内の全ID画像「1」~「3」を選択操作したい場合、例えば図9のC30の「全ID選択」コマンドを入力する。これを受けて、HMD1は、視線領域E1内の全ID画像「1」~「3」を選択する。これにより、対応する3個のAR画像a1~a3を全て選択できる。
[0123]
 他の方式として、ユーザは、視線領域E1内の視線中心に一番近い1つのID画像を選択することもできる。この場合、ユーザは、例えば図9のC31の「1ID選択」コマンドを入力する。これを受けて、HMD1は、視線領域E1内の中心に一番近いID画像、例えばID画像「1」を選択する。これにより、対応する1個のAR画像a1のみが選択できる。
[0124]
 [視線領域の拡大/縮小]
 図18は、ユーザの所定の操作に応じて視線領域を拡大または縮小する場合の制御例を示す。図18の映像の例は図14と同様である。最初、視線領域E1の状態であるとする。ユーザは、視線領域を拡大したい場合、例えば、図9のC05の「視線領域拡大」コマンドを入力する。これを受けて、HMD1は、視線領域E1を拡大して表示する。拡大後の視線領域E11を示す。視線領域E11は、元よりも大きい半径r11を持つ(r11>r1)。また、ユーザは、視線領域を縮小したい場合、例えば、図9のC06の「視線領域縮小」コマンドを入力する。これを受けて、HMD1は、視線領域E1を縮小して表示する。縮小後の視線領域E12を示す。視線領域E12は、元よりも小さい半径r12を持つ(r12<r1)。
[0125]
 拡大後の視線領域E11の場合、新たにAR画像a4,a11が入っている。これに応じて、例えば、HMD1は、最大数(例えば5個)の条件内で、AR画像a4,a11に対し、ID画像「4」「5」を付与、表示する。なお、最大数が例えば3個である場合、AR画像a4,a11に対し、ID画像「4」「5」は付与、表示されない。縮小後の視線領域E12の場合、AR画像a2,a3が外に出て、AR画像a1のみが入ったままとなっている。これに応じて、HMD1は、AR画像a2,a3のID画像「2」「3」を非表示に切り替える。このように、視線領域の拡大/縮小の操作によって、表示面2に表示されるID画像の数を変えることができる。ユーザから見た状態に応じて、ID画像の数を変えることができるので、ユーザはID画像の選択操作がしやすい。
[0126]
 変形例のHMD1は、視線領域の拡大/縮小に関する他の制御例として以下を用いてもよい。この制御例では、HMD1は、図18のようにユーザの操作を契機として視線領域を拡大/縮小するのではなく、自動的な判断に基づいて視線領域を拡大/縮小する。予め、ユーザ設定に基づいて、視線領域内に同時表示可能なID画像の最大数が例えば3個と設定されているとする。なお、この最大数を設定変更するためのコマンドを設けてもよい。音声の例は「サイダイ、サン」等である。
[0127]
 図19の(A)の例は、表示面2内で複数のAR画像(例えばAR画像a1,a2,a3)が、比較的密度小さく、広い間隔で配置されている。この場合に、HMD1は、視線の中心の位置p1を基準として、その位置p1から、距離が近い順に、最大数=3個までのAR画像を検出する。例えば、近い順に、AR画像a1,a2,a3である。HMD1は、この3個のAR画像の配置状態に合わせたサイズで、視線領域20を構成する。本例では、3個のAR画像a1~a3を包含できる半径r1aをとり、その半径r1aを持つ視線領域E1aが構成されている。そして、HMD1は、この視線領域E1a内のAR画像a1~a3に対し、各ID画像「1」~「3」を付与、表示する。
[0128]
 図19の(B)の例は、表示面2内で複数のAR画像(例えばAR画像a1,a2,a3)が、比較的密度大きく、狭い間隔で配置されている。例えば、(A)の状態から(B)の状態へ、AR画像の状態が変動したとする。この場合に、HMD1は、同様に、視線の中心の位置p1から、距離が近い順に、最大数=3個までのAR画像を検出する。HMD1は、この3個のAR画像の配置状態に合わせたサイズで、視線領域20を構成する。本例では、3個のAR画像a1~a3を包含できる半径r1bをとり、その半径r1bを持つ視線領域E1bが構成されている。そして、HMD1は、この視線領域E1b内のAR画像a1~a3に対し、各ID画像「1」~「3」を付与、表示する。
[0129]
 このように、この変形例では、表示面2内のAR画像の配置の状況に応じて、自動的に視線領域が調整される。この変形例は、特に、視線領域を表す画像を表示する場合等に有効である。
[0130]
 他の制御例として、所定のコマンドを用いて、視線領域の形状を変形できるようにしてもよい。例えば、上下拡大、上下縮小、左右拡大、左右縮小等の各コマンドを設けてもよい。ユーザは、予め、HMD1が提供するユーザ設定画面に対応する表示において、視線領域のサイズや形状等を選択できる。
[0131]
 [視線領域の固定]
 図20は、視線領域の固定、および視線領域内のID画像の固定に関する制御例を示す。ユーザは、所定の操作に応じて、一時的に視線領域を固定することや、その固定を解除することができる。視線領域の固定によって、視線領域内のID画像の表示が固定され、視線が移動した場合でもそのID画像の表示を維持することができる。
[0132]
 図20の映像の例で、最初、視線領域E21の状態であるとする。位置p21を中心とする視線領域E21内に、AR画像a1,a11が入っており、対応するID画像「1」「2」が表示されている。ユーザは、この視線領域E21のID画像「1」「2」の状態を固定したい場合、例えば図9のC03の「視線領域固定」コマンドを入力する。この操作を受けた場合、HMD1は、その時の視線領域E21の位置やサイズを含む状態を固定する。この固定と共に、その視線領域E21内に表示されているID画像「1」「2」の状態についても固定される。
[0133]
 上記固定後、例えばユーザが視線を右へ移動させ、視線方向の先が、位置p21から位置p22へ、位置p22から位置p23へと移動したとする。この際、仮に、固定をしていない場合では、視線領域E21が、視線領域E22,E23のように変動する。視線領域E23内には新たにAR画像a13が入り、ID画像が付与、表示される。一方、本制御例のように固定をしている場合、視線領域E21のまま変化しない。よって、AR画像a1,a11のID画像「1」「2」は表示されたままとなり、AR画像a13についてもID画像は付与、表示されない。ユーザの視線が位置p23等にある状態でも、ユーザは、ID画像「1」や「2」を選択操作することができる。
[0134]
 また、ユーザは、視線領域20の固定を解除したい場合、所定の操作として、例えば図9のC04の「視線領域固定解除」コマンドを入力する。これを受けて、HMD1は、視線領域E21の固定の状態を解除する。HMD1は、解除時に存在する視線の位置に合わせて、新たな視線領域を再設定する。例えば、解除時、視線が位置p23にある場合、視線領域E23が構成される。これにより、視線領域E23内にあるAR画像a13に対し例えばID画像「1」が付与、表示され、視線領域E23外にあるAR画像a1等についてはID画像「1」等が消去される。
[0135]
 [視線領域の逸脱]
 図21は、視線領域の逸脱の場合に関する制御例を示す。HMD1は、前述の図3のステップS3で、視線領域を設定する際には、視線領域が表示面2から逸脱するかどうかを判断する。HMD1は、視線領域の逸脱と判定した場合、それに合わせて、視線領域を再設定する。最初、図21の(A)の状態であるとする。この状態では、視線領域E1内にAR画像a1~a3が入っており、ID画像「1」~「3」が表示されている。また、表示面2内には、店舗等に対応するAR画像a11が表示されている。なお、AR画像a11で示す建物の左隣りにも建物があるが、情報が取得できなかったので、対応するAR画像が生成されていない。この状態で、視線領域E1は、表示面2から逸脱していない。
[0136]
 次に、例えばユーザの頭部の動作によってHMD1の向きが変動し、(B)の状態になったとする。視線は、同じ位置p1を見ているとする。この状態では、視線領域E1は、表示面2の領域から外側に半分程度が出ており、表示面2内には半円程度の部分が残っている。HMD1は、例えば、視線の中心の位置p1が、表示面2の領域から外側に出た場合、この状態を、視線領域の「逸脱」と判定する。なお、(B)では、説明上、わかりやすいように、表示面2の外にも、(A)と対応するAR画像を図示している。本例は、HMD1の向きの変化によって視線領域が逸脱した場合であるが、ユーザの視線の移動によって視線領域が逸脱する場合もある。
[0137]
 位置p1が表示面2内にある場合、例えば半円程度の部分の視線領域であっても有効なままとする。その視線領域内にあるAR画像a1については、ID画像「1」の表示が維持される。一方、表示面2の外側に出ている半円程度の部分内にあったAR画像a2,a3については、対応するID画像「2」「3」と共に、当然ながら表示されない。位置p1が表示面2外に出た場合、HMD1は、視線領域E1を逸脱の状態と判断し、その視線領域内にあったID画像については、再設定を行う。例えば、HMD1は、AR画像a2,a3については、ID画像「2」「3」の付与を取り消す。
[0138]
 また、HMD1は、ユーザの視線の位置が、表示面2内に戻った場合、その位置に応じて、視線領域を設定する。例えば、視線の先が、(B)の位置p1から、位置p5に移動した場合、その位置p5に対応させて、視線領域E5が構成される。この場合、視線領域E5内に新たにAR画像a11が入ったことに対応して、そのAR画像a11に例えばID画像「2」が付与、表示される。
[0139]
 変形例として、HMD1は、視線領域20の全画像領域が表示面2から外に完全に逸脱したかどうかを判定してもよい。
[0140]
 [効果等(1)]
 上記のように、実施の形態1の映像表示装置によれば、ユーザが注目する視線方向に応じて視線領域を設定し、視線領域内にID画像を表示することで、AR画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態1によれば、視線領域内にID画像表示を限定するので、ユーザから見て表示面2の情報量が抑制され、IDを用いたAR画像の選択操作を容易に行うことができる。ユーザは、少ない数のIDから選択すればよいので、操作がしやすい。
[0141]
 また、実施の形態1では、図3のように、AR画像の検出(ステップS2)の後に、視線領域を設定し(ステップS3)、ID画像を表示(ステップS5)している。ユーザは、表示面2内のAR画像を見て確認しながら視線領域を設定でき、その視線領域内のID画像を選択操作できる。よって、表示面2内のAR画像の見逃しが低減できる。
[0142]
 [比較例]
 実施の形態1に対する比較例の映像表示装置であるHMDとして、特許文献1に記載の構成例を用いて、比較説明する。比較例のHMDは、例えば、表示面内に表示されるAR画像(=ARオブジェクト)の一覧から1つのAR画像を取得し、そのAR画像が選択可能なAR画像である場合には、IDの番号を採番する。そして、HMDは、採番したIDの画像を、AR画像の付近に表示する。比較例では、ユーザの視線方向に関係無く、AR画像に対しID画像が付与、表示される。そのため、表示面では、AR画像および対応するID画像(対応する番号)が多数になる場合や、複数のID画像が密集する場合がある。その場合、ユーザがID画像を選択操作しにくい可能性がある。
[0143]
 一方、実施の形態1のHMD1は、表示面2内に多数のAR画像がある場合でも、基本的に視線領域内に限定してID画像を表示する。また、実施の形態1のHMD1は、複数のID画像がなるべく見やすくなるように表示する。よって、ユーザは、所望のAR画像に対応付けられたID画像の選択操作がしやすい。また、実施の形態1のHMD1は、音声を用いた視線領域の操作も可能であり、これにより、ID画像の操作性を高めている。
[0144]
 [変形例(1)]
 実施の形態1のHMD1に関する変形例として以下も可能である。実施の形態1で、ID画像の選択は、基本的な概念として、AR画像の選択と、AR画像に対応付けられた処理の実行とを含むものとした。すなわち、ユーザが、あるID画像を選択操作した場合、そのID画像に対応付けられたAR画像に関する所定の処理が、対応するプログラムによって自動的に実行される。変形例のHMDでは、ID画像の選択は、AR画像選択とAR画像処理実行とを分けた概念としてもよい。この場合、ユーザが、あるID画像を選択操作した場合、そのID画像に対応付けられたAR画像が、対応するプログラムによって、選択された状態になる。そして、ユーザが、その選択状態のAR画像に対し、所定の操作をした場合に、そのAR画像に関する所定の処理が、対応するプログラムによって実行される。また、上記ID画像選択概念に関しては、混在してもよく、ARアプリや特定のAR画像に応じて、ID画像の選択操作時に異なる動作を行うように設定されてもよい。
[0145]
 [変形例(2)]
 変形例のHMDは、複数のID画像を1つのグループとして選択操作できる機能を有する。例えば、ユーザが、表示面2内の所望の複数のAR画像を、1つのグループとして選択したい場合、言い換えると、複数のAR画像をまとめて選択したい場合がある。まず、前述の図13で示したグループIDを用いて、グループIDを指定する操作によって、グループの選択操作が可能である。また、前述の「全ID選択」コマンドを用いることで、視線領域内の全ID画像をまとめて選択できる。
[0146]
 他の方式として、ユーザは、例えば、所定の「グループ選択」コマンドを入力してから、続けて、個別のID画像を順に指定する。例えば、視線領域内のID画像「1」「3」「5」を選択する場合、入力音声は例えば「センタク、イチ、サン、ゴ」等となる。また、AR画像選択とAR画像処理実行とが別の場合には、所望のAR画像を選択状態としてから、所定の「実行」コマンドの入力によって、AR画像の処理を実行させることができる。
[0147]
 (実施の形態2)
 図22~図26を用いて、本発明の実施の形態2の映像表示装置について説明する。実施の形態2等の基本的な構成は実施の形態1と同様であり、以下では実施の形態2等における実施の形態1とは異なる構成部分について説明する。実施の形態2のHMDは、表示面内に、ID画像の選択操作用の領域(「選択領域」または「識別情報領域」等と記載する場合がある)を設ける。ユーザは、表示面内の選択領域以外の領域に表示されているID画像だけでなく、選択領域内に表示されているID画像を選択操作することができる。
[0148]
 実施の形態2の場合、前述の図4のフローで、ステップS23の確認は、選択領域内のID画像が選択されたかどうかの確認を含む。また、ステップS26,S27のジェスチャーの判定は、選択領域内のID画像に対するジェスチャーの判定を含む。
[0149]
 [選択領域(1)]
 図22は、実施の形態2のHMD1における表示面2の映像の例を示す。表示面2内に、ID画像に関する選択領域60が設けられている。この選択領域60は、本例では、表示面2の領域の下辺の付近の横長の矩形領域として設けられ、例えば透過領域である。この選択領域60は、ユーザから見えないようにしてもよいし、選択領域境界線の表示等によってユーザから見えるようにしてもよい。
[0150]
 視線領域20内には、前述(図11)と同様に、3個のAR画像A21,AR画像A23,A24,A25,A26の計7個のAR画像が入っている。これらのAR画像は、比較的近くに配置されているので、そのままでは選択操作がしにくい。実施の形態1の制御を用いる場合、7個のAR画像に対し、ID画像「1」~「7」が付与、表示される。これらのID画像「1」~「7」も、比較的近くに配置されているので、そのままでは選択操作がしにくい可能性がある。
[0151]
 そこで、実施の形態2のHMD1は、視線領域20内の7個のAR画像に関して、対応するID画像を、選択領域60内に表示する。HMD1は、選択領域60内に、複数のID画像を、所定の規則で整理して配置する。本例では、選択領域60内に、7個のID画像「1」~「7」が、均等な間隔で、左から右へ順に番号が昇順で並ぶようにして配置されている。例えば、選択領域60の左側から順に、ID画像c1,c2,c3,……,c7がある。また、本例では、選択領域60内で、複数のID画像が、視線領域20内のID画像よりも大きいサイズで表示されている。このID画像は、ID選択ボタンのような機能を果たす。
[0152]
 ユーザは、選択領域60内の各ID画像を選択操作できる。その際、操作入力方式としては、前述の音声方式に限らず、ジェスチャー方式を用いることもできる。例えば、ユーザは、ID画像c3=ID画像「3」を選択したいとする。音声方式の場合では、前述の「ID3選択」コマンドを入力することで、ID画像c3を選択でき、対応する1つのAR画像A21が選択できる。ジェスチャー方式を用いる場合では、ユーザは、ID画像c3の位置に対し、手指によって仮想的なタッチのジェスチャーを行う。このジェスチャーは、例えば、ユーザから見て指先をID画像「3」の矩形領域に重なる位置へ移動させてその位置に指先を所定時間以上置いた状態にするものである。このジェスチャーの際、ユーザの手指は、HMD1の表示面2の前方の外側にあり、表示面2およびID画像を透過して見えている。そのため、ユーザおよびカメラ5は、その手指の状態を把握できる。
[0153]
 HMD1は、そのジェスチャーを、カメラ5の画像の認識に基づいて検出し、ID画像c3の選択操作として解釈する。このジェスチャーによるID画像選択操作の検出は、従来技術例のHMDで表示面内の様々な位置のAR画像やID画像に対するジェスチャーを検出する場合に比べて、容易であり、検出精度が高い。実施の形態2では、予め定めた選択領域60内のID画像の位置に対するジェスチャーを判定すればよいので、検出が容易である。表示面2内でAR画像やID画像が動く場合でも、選択領域60内の固定の位置にID画像が表示されるので、検出が容易である。
[0154]
 なお、図22の制御例では、視線領域20内と選択領域60内との両方に、それぞれのID画像が表示されている。例えば、AR画像A21について、ID画像「1」が、視線領域20内と選択領域60内とで二重に表示されている。これに限らず、変形例としては、選択領域60内のみにID画像を表示するようにしてもよい。ただし、その場合、AR画像とID画像との対応関係がわかるようにする必要がある。例えば、ID画像と共にAR画像の縮小画像を表示することや、AR画像とID画像とを接続線で結んで表示することにより、対応関係がわかる。
[0155]
 他の操作入力方式として、HMD1の操作入力部160を用いてもよい。例えば、ユーザが、本体装置または操作器に備える所定のハードウェアボタンを押すことで、選択領域60のID画像の選択操作ができる。
[0156]
 [選択領域(2)]
 実施の形態2の変形例として、選択領域60内には、ID画像と共に、対応するAR画像の縮小画像等を組として対応付けて表示してもよい。
[0157]
 図23は、変形例での表示例を示す。視線領域20内にはAR画像a1,a2,a11が入っている。HMD1は、視線領域20内のAR画像a1,a2,a11に対応付けられたID画像「1」「2」「3」を、選択領域60内に、均等な間隔k1で分散して整列した位置(左、中央、右)に配置する。さらに、HMD1は、各AR画像a1~a3の縮小画像を、各ID画像と組にして配置する。選択領域60内で、例えば左側の位置には、AR画像a1のID画像「1」と、AR画像a1の縮小画像を含んだ矩形画像とが、1組として表示されている。例えば中央の位置には、AR画像a11のID画像「2」と、AR画像a11の縮小画像を含んだ矩形画像とが、1組として表示されている。選択領域60には、AR画像の縮小画像に限らず、AR画像のうちの一部を切り取った部分画像や、一部の文字等を拡大した画像等を表示してもよい。
[0158]
 AR画像の縮小画像は、元のAR画像との対応関係がわかりやすい図像であるため、ユーザは、元のAR画像を直接操作することに近い感覚で、容易にID画像の選択操作が可能である。
[0159]
 この選択領域60内の複数のID画像は、位置(例えば左、中央、右)によっても識別できる。実施の形態2のHMD1は、位置指定の方式のコマンドを用いることでも、選択領域60内のID画像の選択操作が可能である。音声コマンドの例は、「左ID選択」コマンド、「右ID選択」コマンド、「中央ID選択」コマンド等が挙げられる。「左ID選択」コマンドは、選択領域60のID画像のうち、左側に配置されているID画像を選択するコマンドであり、音声は例えば「ヒダリ」である。「右ID選択」コマンドは、選択領域60のうち右側に配置されているID画像を選択するコマンドであり、音声は例えば「ミギ」である。「中央ID選択」は、選択領域60のうち中央に配置されているID画像を選択するコマンドであり、音声は例えば「チュウオウ」である。
[0160]
 選択領域60内の他の配置例として、1個のID画像の場合には、選択領域60の中央の位置に1個のID画像が表示され、2個のID画像の配置の場合には、選択領域60内の左右の位置に2個のID画像が表示される。これらの場合でも、同様に、所定のコマンドを用いて個別のID画像の選択操作が可能である。なお、本例は、選択領域60内で左側から順に番号を昇順で配置する例であるが、これに限らず可能である。
[0161]
 変形例として、選択領域60におけるID画像や、AR画像の縮小画像を含む矩形画像は、識別のために色や形状を異ならせてもよい。この場合、ユーザは、位置指定、色指定、形状指定等の方式のコマンドを用いて、各ID画像またはAR画像を区別して選択操作可能である。色や形状の区別を設ける場合、AR画像とID画像との一方でも両方でもよい。例えば、選択領域60内の位置(例えば左、中央、右)毎に、表示するID画像(またはAR画像の縮小画像)に、異なる色が設定される。例えば、選択領域60内の左側の位置が赤色、中央位置が青色、右側の位置が黄色といったように設定される。ユーザは、例えば「赤ID選択」コマンド(例えば音声「アカ」)を入力することで、左側の位置のID画像を選択できる。
[0162]
 また、例えば、選択領域60内の位置毎に、異なる形状が設定される。例えば、選択領域60内の左側の位置が円、中央位置が四角、右側の位置が三角、といったように設定される。ユーザは、例えば「三角ID選択」コマンド(例えば音声「サンカク」)を入力することで、右側の位置のID画像を選択操作できる。
[0163]
 変形例として、選択領域60内のID画像の表示を省略し、AR画像の縮小画像のみを表示してもよい。
[0164]
 変形例として、選択領域60には、複数のID画像が、左、中央、または右のいずれの位置に集中して配置されてもよい。
[0165]
 変形例として、ID画像のID構成において、番号以外の態様、例えば色、形状等を適用することも可能である。ID画像は、ユーザが区別して指定できるものであればよいので、番号の態様に限定されない。番号以外のID画像の場合、ユーザは、位置指定、色指定、形状指定等の方式による所定のコマンドを用いて、ID画像の選択操作ができる。
[0166]
 変形例として、AR画像の生成の元となっている実像の物体がある場合に、その物体の画像、その物体画像の縮小画像、その物体画像の一部画像等を、ID画像として使用、または併用してもよい。
[0167]
 [選択領域(3)]
 実施の形態2の変形例として、選択領域60内に、ID画像を配置、表示する際に、対応するAR画像の位置となるべく合わせた位置に配置して表示してもよい。
[0168]
 図24は、この変形例での表示例として、2通りの表示例を示す。HMD1は、視線領域20内のAR画像a1,a2,a11に関するID画像「1」~「3」を、下辺の選択領域60内に表示する際に、表示面2のx方向(横方向)で、AR画像の位置となるべく対応させた位置に、対応するID画像を配置する。本例では、選択領域60内で、左から順に、AR画像a11のID画像「2」、AR画像a1のID画像「1」、AR画像a2のID画像「3」が配置されている。この場合、ID番号は順には並んでいないが、x方向位置がAR画像との対応関係を示しているので、ユーザは選択操作がしやすい。
[0169]
 別の表示例として、HMD1は、表示面2内の他の位置に選択領域60を設けてもよい。選択領域60bは、表示面2内の右辺の付近に設けた例である。HMD1は、視線領域20内のAR画像a1,a2,a11に関するID画像「1」~「3」を、右辺の選択領域60b内に表示する際に、表示面2のy方向(縦方向)で、AR画像の位置となるべく対応させた位置に、対応するID画像を配置する。なお、さらに、AR画像とID画像との対応関係をわかりやすくしたい場合、破線矢印で示すような接続線を表示するようにしてもよい。同様に、表示面2内の上辺や左辺に選択領域60を設けてもよい。また、表示面2内で選択領域60を設ける位置については、ユーザの視線の位置や動きに応じて可変的な位置として決定してもよい。
[0170]
 [効果等(2)]
 上記のように、実施の形態2の映像表示装置によれば、選択領域60を用いることで、AR画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態2によれば、選択領域60内にID画像を表示するので、ID画像の選択操作がしやすい。また、ジェスチャー方式を用いる場合でも、従来技術例よりも検出精度を高め、ID画像の選択操作がしやすい。また、表示面2内に表示される複数のAR画像は、様々なものが混在する可能性がある。各AR画像は、様々なサイズや形状を持つかもしれない。実施の形態2では、様々なAR画像がある場合でも、ID番号を付与し、一定のサイズに揃えて、選択領域60内に整理して情報を表示する。よって、ユーザは、ID画像の選択操作がしやすい。
[0171]
 [変形例(1)]
 実施の形態2に関する変形例として以下も可能である。変形例のHMD1による、選択領域60を用いた制御例を以下に説明する。この制御例では、HMD1は、視線領域20から外に出たAR画像についてのID画像を、選択領域60内に所定の規則で配置して表示する。
[0172]
 図25は、この制御例での表示例を示す。本例では、使用するIDの範囲を「1」~「9」とし、視線領域20内の同時表示の最大数を5個とする。最初、ユーザの視線は、視線領域E21の状態であるとする。視線領域E21内には、AR画像a4,a5、AR画像a12,a13が入っており、対応して例えばID画像「1」~「4」が表示されている。次に、視線が例えば左に移動し、視線領域E22の状態になったとする。視線領域E22内には、AR画像a1,a2,a3,a4が入っており、対応して例えばID画像「4」~「7」が表示される。視線領域E22外に出たAR画像a5,a12,a13については、実施の形態1の制御を用いる場合、ID画像「1」~「3」が非表示にされる。
[0173]
 この変形例のHMD1は、視線領域E22外に出たAR画像a5,a12,a13について、対応するID画像「1」~「3」を、非表示にすると共に、選択領域60内に、対応するID画像c1~c3(ID画像「1」~「3」)として表示する。HMD1は、選択領域60内に、3個のID画像c1~c3を、均等な間隔k1で分散して整列した位置(右、中央、左)に配置する。
[0174]
 ユーザは、この状態で、選択領域60内の各ID画像c1~c3を選択操作できる。これにより、ユーザは、視線領域E22外にあるAR画像a5等についても選択できる。例えば、ユーザが、選択領域60内のID画像c1=ID画像「1」を選択操作した場合、それに対応するAR画像a5が選択できる。
[0175]
 さらに、視線が左に移動し、視線領域E23の状態になったとする。視線領域E23内には、AR画像a1,a11が入っており、対応して、AR画像a1,a11に対し、例えばID画像「7」「8」が表示される。この変形例では、HMD1は、視線領域E23の外に出たAR画像a2,a3,a4については、対応するID画像「5」「6」「4」を非表示にすると共に、選択領域60内に、対応するID画像「5」「6」「4」を追加表示する。すなわち、選択領域60内には、ID画像「1」~「6」が、図22の例と同様に規則的な配置で表示される。同様に、この状態で、ユーザは、選択領域60内の各ID画像を選択操作できる。なお、選択領域60内に表示するID画像の数についても、最大数が設定されてもよい。例えば、その最大数が3個の場合、選択領域60内には、ID画像「1」~「6」ではなく、ID画像「4」~「6」が表示される。
[0176]
 変形例として、HMD1は、視線領域20から外に出たAR画像に関して、時系列上、外に出た順序に従って、対応するID画像を、選択領域60内に履歴のように表示してもよい。この選択領域60内には、所定数までの複数のID画像が隣接して表示され、所定数を超える場合には、古いID画像から順に消去される。図25の例で、視線領域から外に出たAR画像の順序が、AR画像a13,a12,a5,a4,a3,a2である場合、選択領域60内には、順にID画像「3」「2」「1」「4」「6」「5」と表示される。
[0177]
 [変形例(2)]
 変形例のHMD1として、前述の図21の例のように表示面2から視線領域が逸脱した場合に、逸脱した視線領域内にあったID画像を、選択領域60内に表示するようにしてもよい。図26は、逸脱時の表示例を示す。HMD1は、視線領域E1が表示面2から逸脱したと判定した場合、その視線領域E1内に入っていたが見えなくなったAR画像のID画像について、選択領域60内に表示する。例えば、視線領域E1内にあったAR画像a2のID画像「2」およびAR画像a3のID画像「3」が、選択領域60の右側の付近に配置されている。本例では、表示面2の右辺側で逸脱が発生したので、選択領域60内の右側に寄せた位置にID画像を表示している。この際に表示するID画像は、前述と同様に、AR画像の縮小画像等を用いてもよい。この変形例は、表示面2から外に出たID画像についても有効活用できる。
[0178]
 (実施の形態3)
 図27を用いて、本発明の実施の形態3の映像表示装置について説明する。実施の形態3のHMDは、図3のフローに関して、処理の順序が異なり、主な変更点としては、ステップS2とステップS3とが逆になる。実施の形態3のHMDは、視線領域を設定した後に、視線領域内のAR画像を抽出して表示し、ID画像を付与、表示する。
[0179]
 図27は、実施の形態3でのフローを示す。ステップS1で、HMD1は、HMD1の位置等を検出する。ステップS2bで、HMD1は、視線方向を検出し、視線領域を設定する。ステップS3bで、HMD1は、AR画像を生成し、視線領域内に該当する場合に視線領域内にそのAR画像を表示する。ステップS4bで、HMD1は、視線領域内に該当するAR画像を検出する。ステップS5で、HMD1は、視線領域内のAR画像に対し、ID画像を付与し、表示する。実施の形態3では、このようなフロー構成によって、視線領域内に限定してAR画像およびID画像を表示する。
[0180]
 [表示例]
 実施の形態3のHMD1における映像の表示例は以下の通りである。前述の図14の例を用いる。図14では、視線領域E1の外にもAR画像が表示されていたが、実施の形態3の場合には、視線領域E1内のみにAR画像およびID画像が表示される。例えば、AR画像a1,a2,a3は、表示位置が視線領域E1内に該当するので表示され、ID画像「1」「2」「3」が表示される。AR画像a4,a5,a11,a12,a13は、表示位置が視線領域E1外にあるので、表示されず、ID画像も表示されない。なお、視線領域E1が移動して、表示位置が該当する状態になれば、そのAR画像およびID画像が表示される。
[0181]
 [効果等(3)]
 実施の形態3によれば、視線に合わせて、表示面2に表示されるAR画像およびID画像の数が抑制されるので、ユーザは、視線領域内のAR画像およびID画像に注目して操作すればよく、選択操作がしやすい。実施の形態3では、表示面2内の全てのAR画像を表示する必要は無く、処理効率化等の利点もある。
[0182]
 (実施の形態4)
 図28を用いて、本発明の実施の形態4の映像表示装置について説明する。実施の形態4のHMDは、視線領域内のAR画像が動いて外に出た場合に、ID画像の表示を継続する。
[0183]
 [表示例]
 図28は、実施の形態4における映像の例を示す。(A)は第1状態、(B)は第2状態を示す。図28の実像は、交差点付近の例である。本例では、AR画像を表示する対象として、人を扱う。あるARアプリは、人の顔を検出し、その人の情報をAR画像として提供する。(A)の映像の表示面2内には、例えば人A、人B、人Cのように三人がいる。人Aおよび人Cは、ユーザが知らない一般人であり、人Bは、ユーザの知り合いの人であるとする。ARアプリには、予め、人Bを含む、ユーザの知り合いの人の顔および情報が登録されている。
[0184]
 ARアプリは、カメラ5の画像から、公知の画像処理によって、人の顔の領域を抽出する。例えば、人A、人B、人Cの顔領域がそれぞれ抽出される。ARアプリは、特徴識別等の画像処理に基づいて、特定の人(例えば人B)の顔を認識、判定する。言い換えると、ARアプリは、個人認識処理を行う。なお、その際には、例えば人Bの顔画像の登録情報が用いられる。ARアプリは、例えば人Bの顔を検出した場合、その人Bの顔領域に対し、AR画像を表示する。このAR画像は、ユーザの知り合い等の特定の人(例えば人B)であることを表す画像である。本例では、このAR画像は、AR画像a41のように、顔領域を取り囲む枠画像である。このAR画像は、これに限らず、身体を囲む枠画像、吹き出し画像、人に応じたマーク、等としてもよい。
[0185]
 図28では、説明のために、人Bの顔付近を拡大して図示している。この拡大図において、人Bの顔の周りに、AR画像a41として枠画像がある。また、このAR画像a41は、人Bの名前等の情報の文字画像を伴ってもよい。また、ARアプリは、このAR画像a41が選択および実行された場合に、登録されている人Bの情報を表示するようにしてもよい。また、ARアプリは、このAR画像a41が選択および実行された場合に、吹き出し画像等を用いて、人Bの情報を大きく表示してもよい。
[0186]
 また、本例では、図28の映像には、他のARアプリによるAR画像の例として、AR画像a42が表示されている。AR画像a42は、ルート案内等のナビゲーションのための矢印画像である。このAR画像a42は、ユーザが進行すべき方向を表している。
[0187]
 実施の形態3のHMD1は、視線領域E41内に入っているAR画像a41やAR画像a42に対し、対応付けてID画像b41やID画像b42を付与、表示する。例えば、ID画像b41はID「1」、ID画像b42はID「2」を持つ。
[0188]
 (A)の第1状態から、時間が経過し、例えば人Bが移動して、(B)の第2状態になったとする。視線領域E41は、殆ど同じ位置にあるとする。仮に、実施の形態1の基本的な制御を適用する場合、以下のようになる。(B)の第2状態では、視線領域E41の外にAR画像a41が出ているので、ID画像b41の「1」は非表示になる。この場合、ID画像b41の選択操作はできない。ユーザは、例えば人BのAR画像a41を追跡する場合、視線を動かして視線領域を移動させ、動いている人のAR画像a41を捉える。この場合、人BのAR画像a41のID画像b41も表示されるので、ID画像b41の選択操作が可能である。しかしながら、例えば、視線領域内に複数の物体やAR画像が存在し、それぞれが動く場合や、一部のAR画像に注目した場合、人Bのように一部のAR画像が動いて視線領域の外に出てしまい、ユーザが追跡できない場合がある。
[0189]
 それに対し、実施の形態4のHMD1は、この第2状態で、視線領域E41の外に出たAR画像a41についても、ID画像b41のID「1」を継続して表示したままとする。この場合、ユーザが視線を動かさなくても、人BのAR画像a41およびID画像b41の表示が継続される。表示面2内に人Bが存在する限り、ユーザは、AR画像a41およびID画像b41を追跡でき、ID画像b41の選択操作が可能である。
[0190]
 なお、実施の形態4の制御は、例えば、予めユーザ設定で、特定のARアプリや特定のタイプのAR画像の場合に適用するように設定できる。あるいは、ユーザが所定の操作(例えば「ID追跡」コマンド)をした場合に、この制御を適用状態に切り替えるようにしてもよい。また、実施の形態2と組み合わせた形態とし、選択領域内に、追跡対象のAR画像のID画像を表示するようにしてもよい。
[0191]
 他の例として、矢印のAR画像a42については以下のようになる。あるARアプリは、目的地へのナビゲーションのために、AR画像a42およびAR画像a43等の複数のAR画像を順次に表示する。例えば、最初のある時点でAR画像a42が表示され、次のある時点でAR画像a43が表示される。自動的に順次に複数のAR画像が表示される方式でもよいし、ユーザが最初のAR画像a42を選択すると次のAR画像a43が表示される方式でもよい。このように、関連する複数のAR画像が、異なる位置に表示される場合がある。その場合に、少なくとも一部のAR画像が視線領域20から外に出る場合がある。例えば、AR画像a43は、視線領域E41の外に出ている。
[0192]
 このような場合に、HMD1は、関連する複数のAR画像について、視線領域の外に出るものについても、ID画像を表示する。例えば、AR画像a42にはID画像b42が表示され、AR画像a43にはID画像b43が表示される。本例では、ID画像b43のIDは、ID画像b42のIDと同じ「2」とされている。3個以上の関連するAR画像がある場合にも同様である。
[0193]
 [効果等(4)]
 実施の形態4によれば、物体、AR画像およびID画像の動きに合わせて、ID画像の表示を継続できるので、ユーザは、視線領域外に出たAR画像についても追跡して操作が可能である。なお、実施の形態4の制御は、物体が移動する場合に限らず適用可能である。例えば、物体およびAR画像が静止していて視線領域の方が移動する場合にも適用可能である。
[0194]
 (実施の形態5)
 図29を用いて、本発明の実施の形態5の映像表示装置について説明する。実施の形態5のHMDは、ユーザの視線の視線深度を用いて、ID画像の制御を実現する。
[0195]
 [視線深度]
 図29は、実施の形態5における、視線深度の概念等を模式的に示す。(A)は、実像における物体(例えば人)の位置に応じた大きさの例を示す。(B)は、ユーザの目の位置(=視点位置)から奥行き方向における物体の位置に応じた視線深度範囲を示す。実施の形態5のHMD1の視線検出部4は、視線深度を検出する機能を備える。視線検出部4は、ユーザの両眼の視線方向として、左眼の視線方向と右眼の視線方向とのそれぞれを検出する。視線検出部4は、左眼の視線方向と右眼の視線方向とが交差する点から、視線深度を検出できる。
[0196]
 前述の図28の例のように、ユーザから見て奥行き方向において異なる位置にそれぞれの物体が存在する場合、図29の(A)の映像の例のように、それぞれの物体の大きさが異なる。(A)の映像で、三人の人(人A、人B、人C)において、人Aは、HMD1からの距離が相対的に近く、視線深度が浅い。人Cは、HMD1からの距離が相対的に遠く、視線深度が深い、人Bは、人Aと人Cとの中間程度の距離であり、視線深度がそれらの中間程度である。
[0197]
 (B)で、ユーザの左眼と右眼からのそれぞれの視線方向を破線で示す。2つの視線方向が交差する点が、視線深度に対応する。視線深度範囲とは、有効となる視線深度の範囲である。(B)で、縦軸は、HMD1と対象の人との距離を示し、人Aとの距離ZA、人Bとの距離ZB、人Cとの距離ZCを有する。距離に応じた視線深度範囲として、視線深度範囲HA,HB,HCを示す。HMD1は、検出した視線方向および視線深度範囲に対応させて、視線領域20を設定する。例えば、検出した視線深度範囲が視線深度範囲HBである場合、(A)の映像で、視線領域E60が設定される。この場合、例えば人Bに対応したAR画像のID画像の選択操作が容易にできる。
[0198]
 [制御例]
 実施の形態5における制御例として、さらに、HMD1は、視線深度に応じて、視線領域の大きさ等を自動的に調整してもよい。図29の視線深度範囲の左側には、この制御例における視線領域の大きさの制御例を示している。HMD1は、例えば、視線深度の大中小の3つのレベルの判断に応じて、視線領域の大きさ(例えば半径)を大中小の3つのレベルから選択したレベルに設定する。この制御例では、ユーザの視線方向および視線深度の状態に応じて、好適な大きさの視線領域が設定される。その視線領域の大きさに応じて、視線領域内のAR画像およびID画像が決定される。ユーザの視線方向が同じでも、視線深度の違いに応じて、異なる大きさの視線領域が設定される。その結果、選択候補となるID画像が異なってくる。例えば、図14の映像で、AR画像a1に対し、AR画像a2やAR画像a4は、ベース位置が奥方向の位置にあるとする。ユーザがAR画像a1を注目する場合に対し、AR画像a2等を注目する場合には、視線深度がより深くなる。これに対応して、HMD1は、より小さなサイズの視線領域20を設定する。これにより、視線領域20内に入るAR画像がより絞り込まれる。その結果、表示されるID画像の数は少なくなり、より絞り込まれた状態でID画像の選択操作が可能である。
[0199]
 [効果等(5)]
 実施の形態5によれば、視線深度として3次元空間内の奥行き方向の視線状態を加味するので、より詳細に視線領域やID画像を制御することができる。例えば、ユーザは、視線の注目に応じて、選択対象のID画像を絞り込みやすい。
[0200]
 (実施の形態6)
 図30を用いて、本発明の実施の形態6の映像表示装置について説明する。実施の形態6のHMDは、特定のARアプリに関する制御例として、物体に対応付けられた複数のAR画像を、複数のID画像によって選択操作し、所定の機能を実現する。
[0201]
 [表示例(1)]
 図30の(A)は、実施の形態6における映像の例を示す。この実像は、室内で、角隅に、物体151として、三角テーブルがある。実施の形態5のHMD1は、センサ部150を用いて、室内におけるHMD1の位置を把握する。HMD1は、例えば、カメラ5や、センサ部150の距離センサを用いて、HMD1と壁や床との距離や、HMD1と物体151との距離を計測する。HMD1は、室内の各種の物体に関して、3次元空間内の位置を把握し、HMD1との位置関係を把握する。なお、距離センサとしては、例えばTOF(Time Of Flight)方式や、レーザを用いたパターン照射方式や、複数のカメラを用いて計算する方式、等の公知の方式が適用できる。
[0202]
 実施の形態5のHMD1、例えばあるARアプリは、カメラ5を用いて室内等の空間を撮影し、その撮影映像を用いて、AR画像を生成する。このARアプリは、例えばユーザの操作に応じて室内に仮想的に物体(対応するARオブジェクト)を配置する機能を有するアプリであり、例えばインテリアのレイアウトのシミュレーション等に利用できる。
[0203]
 HMD1は、例えば、視線領域20内にある三角テーブルの物体151上に、ユーザが指定したARオブジェクト152を配置して表示する。ARオブジェクト152は、例えば、円柱形状の物体を表すAR画像である。このARオブジェクト152は、ARアプリやユーザの指定に応じて、例えば花瓶や模型等、様々な画像とすることができる。HMD1は、そのARオブジェクト152に対し、視線領域20内に該当する場合、ID画像153を付与、表示する。
[0204]
 また、ARアプリは、ユーザの所定の操作(例えばジェスチャー)に応じて、ARオブジェクト152を動かして表示する。すなわち、ユーザは、ARオブジェクト152を所望の位置に配置することができる。HMD1は、ARオブジェクト152の移動に応じて、対応するID画像153も移動させる。他の例として、ARオブジェクト154は、壁に対し、絵画や窓等を表す矩形画像を配置する例である。
[0205]
 HMD1は、例えばARオブジェクト152のID画像153が選択操作された場合、ARオブジェクト152に対応付けられた所定の処理を実行する。この処理は、例えば、ARオブジェクト152を選択状態にすること、ARオブジェクト152の表示のオン/オフ等、様々な処理が可能である。例えば、直接的なタッチやスライド等のジェスチャーによるARオブジェクト152の移動の操作がしにくい場合がある。この場合に、ユーザは、音声入力でID画像153を選択して、ARオブジェクト152を選択状態にする。そして、ユーザは、ARアプリが提供する所定のコマンド(例えば「右移動」「左移動」等のコマンド)を用いて、ARオブジェクト152を移動させることができる。
[0206]
 [表示例(2)]
 図30の(B)は、他の映像の例を示す。HMD1のARアプリは、1個の三角テーブル等の物体151について、複数のARオブジェクトを付加し表示することができる。あるARアプリは、例えば物体の長さ等を測定する機能を有する。HMD1は、カメラ5の画像認識に基づいて、物体151のエッジ、特徴点を検出する。これにより、例えば、物体151の上面の左角の点p51、右角の点p52、奥の点p53等が検出できる。HMD1は、例えば、左右の2つの角の点p51,p52に対し、ARオブジェクトa51,a52を表示する。ARオブジェクトa51は左角点を表す矢印画像、ARオブジェクトa52は右角点を表す矢印画像である。そして、HMD1は、各ARオブジェクトa51,a52に対し、それぞれ、ID画像を付与、表示する。例えば、ARオブジェクトa51にはID画像b51としてID画像「2」、ARオブジェクトa52にはID画像b52としてID画像「3」が表示されている。
[0207]
 ユーザは、視線領域20内のID画像の選択操作によって、複数のARオブジェクトを選択することができる。本例では、ユーザは、このARアプリの測定機能を用いて、物体151の2点間の長さを測定する。ユーザは、そのために、2点に対応する2個のID画像b51,b52を選択操作する。操作は、例えば「ID2選択」コマンドおよび「ID3選択」コマンドの入力である。これにより、2個のID画像b51,b52を選択状態にできる。ARアプリは、複数のAR画像が選択状態になった場合、それらのAR画像間の関係を把握し、その関係に基づいて、複数のAR画像に対する所定の処理を実行する。本例では、ARアプリは、選択状態の点p51と点p52との間の距離(2点間の直線の長さ)を計算する。ARアプリは、2点間の直線のAR画像を表示してもよい。ARアプリは、計算した距離の情報を、例えばAR画像155として表示する。同様に、ARアプリは、物体の3点の指定に応じて、3点間の領域の面積を測定することもできる。
[0208]
 [効果等(6)]
 実施の形態6によれば、上記例のように複数のAR画像を扱うARアプリの操作入力を効果的に支援することができる。AR画像が小さい場合や、細かい操作を要求される場合等にも、ID画像を用いた操作が可能である。
[0209]
 (実施の形態7)
 図31を用いて、本発明の実施の形態7の映像表示装置について説明する。実施の形態7では、特定のARアプリにおいて、実像の物体に対し、直接的にID画像を付与、表示し、その物体の仮想的な操作を可能とする。
[0210]
 図31は、実施の形態7における映像の例を示す。この実像は、室内であり、例えば椅子や台等、複数(例えば2個)の物体OB1,OB2が存在する。HMD1は、カメラ5の画像の認識に基づいて、表示面2内の複数の物体OB1,OB2の画像領域R1,R2を区別して検出する。HMD1は、視線領域20内に含まれる物体画像領域を判別し、視線領域20内に含まれている物体画像領域に、ID画像を付与し表示する。例えば、物体OB1の領域R1に対し、ID画像「1」が付与、表示されている。
[0211]
 ユーザは、所望の物体に対応する所望のID画像を選択操作する。例えば、物体OB1に対応付けられたID画像「1」を選択するためのコマンドが音声入力される。HMD1は、選択されたID画像に対応付けられる物体の物体画像領域を、選択状態とする。対応するARアプリは、選択状態の物体の物体画像領域に関する所定の処理を実行する。ARアプリの処理例は以下の通りである。
[0212]
 第1例のARアプリは、選択された物体画像領域から、その物体に関する情報を、例えばインターネットから検索して取得する。そのARアプリは、その取得した情報を、表示面2内にAR画像として表示する。例えば、物体が商品である場合、その商品の情報が表示できる。
[0213]
 第2例のARアプリは、実施の形態5と同様に、室内のレイアウトをシミュレーションするアプリの別の例である。このARアプリは、選択された物体画像領域を、ユーザの所定の操作に応じて、仮想的に移動させる。所定の操作は、例えば、手指のスライドのジェスチャーでもよいし、物体の移動を指示する音声コマンドでもよい。この移動の際、プログラムは、実像の物体画像領域に対し、塗り潰し等の画像を重畳表示することで、見えないようにするか、または、移動元の物体であることがわかる表現で表示する。ARアプリは、その物体画像領域を移動させながら表示する。これにより、ユーザには、仮想的に、物体が移動されたように見える。よって、ユーザは、物体の配置のシミュレーション等が可能である。
[0214]
 図31の(A)は、物体OB1の仮想的な移動前の状態を示し、(B)は、物体OB1の仮想的な移動後の状態を示す。ユーザは、(A)の物体OB1の物体画像領域を右に移動させている。視線領域も右に移動している。移動前の状態で、ARアプリは、視線領域E71内の物体OB1に対し、ID画像「1」を付与、表示している。ARアプリは、領域R1を表す枠画像をAR画像として表示してもよい。ユーザは、物体OB1に対応付けられたID画像「1」を選択操作し、所定の操作で、物体OB1を仮想的に右へ移動させる。HMD1は、移動前の物体OB1の領域R1に対し、移動後、物体OB1が無いように見せるための塗り潰し画像g1を表示する。なお、塗り潰し画像g1に関しては、周囲画像を用いて、仮想的に背景に見せるための画像加工を行うと、より好ましい。HMD1は、移動後の領域R1bには、物体OB1を表す画像g2を表示する。画像g2は、AR画像の一種であり、物体の画像領域に対応させたAR画像である。HMD1は、画像g2に対し、ID画像「1」の表示を維持する。なお、移動後の領域R1bの画像g2は、移動前の物体OB1の画像と同じとしてもよいし、画像加工処理によって物体の向きやサイズ等を調整した画像とすると、より好ましい。
[0215]
 [効果等(7)]
 実施の形態7によれば、実像の物体に対し、ID画像を用いて、仮想的に操作を行うことができる。
[0216]
 [付記]
 (1) 映像表示装置は、視線領域内の生成画像の数または密度に応じて、視線領域を自動的に拡大または縮小する。
 (2) 映像表示装置は、時系列上、同じ生成画像にはなるべく同じ識別情報を含むID画像を維持する。
 (3) 映像表示装置は、時点毎に、視線領域内の生成画像に対し、所定の規則で識別情報を含むID画像を付与し直す。
 (4) 映像表示装置は、生成画像として複数の生成画像が密集している場合に、ID画像を密集していない状態で表示する。
 (5) 映像表示装置は、生成画像として複数の生成画像がグループを構成している場合に、グループの単位でID画像を付与して表示し、グループのID画像の選択操作に応じて、グループの複数の生成画像を選択する。
[0217]
 以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態の組合せの構成や、実施の形態の構成要素を追加、削除、置換等した構成も可能である。実施の形態の映像表示装置は、HMDに適用した場合を示したが、これに限らず、実像に対し生成画像を重畳表示する機能を有する装置であればよく、HUD装置等にも適用可能である。実施の形態で説明したプログラム処理や情報処理については、汎用的なソフトウェアプログラム処理による実装としてもよいし、FPGAやASIC等の専用のハードウェア回路等による実装としてもよい。プログラムのデータは、ディスクやメモリカード等のコンピュータ読み取り可能な記憶媒体等に記憶されてもよい。プログラムは、製品出荷時に格納されていてもよいし、通信網上のサーバやDB等に格納されていてもよい。データ構造は、テーブル構造に限らず適用可能である。前述の識別情報(ID)については、識別子等の類似の表現に置換可能である。

符号の説明

[0218]
 1…HMD、2…表示面、3…スピーカ、4…視線検出部、5…カメラ。

請求の範囲

[請求項1]
 実像上に生成画像を重畳して表示する映像表示装置であって、
 表示面に前記生成画像を表示し、
 前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、
 前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、
 前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、
 前記ID画像に対する前記ユーザの選択操作を受け付け、
 前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行する、
 映像表示装置。
[請求項2]
 請求項1記載の映像表示装置において、
 前記生成画像が前記視線領域内に入っている場合には前記ID画像を表示し、前記生成画像が前記視線領域外に出ている場合には前記ID画像を表示せず、
 前記ID画像が表示されている前記生成画像を選択可能にし、前記ID画像が表示されていない前記生成画像を選択不可能にする、
 映像表示装置。
[請求項3]
 請求項1記載の映像表示装置において、
 前記識別情報は、番号を含む文字、色、形状、または、前記生成画像を加工した画像、の少なくとも1つによって構成されている、
 映像表示装置。
[請求項4]
 請求項1記載の映像表示装置において、
 前記ID画像の前記選択操作を、音声認識によるコマンド、手指のジェスチャーの検出、またはハードウェアボタン入力、の少なくとも1つによって受け付ける、
 映像表示装置。
[請求項5]
 請求項1記載の映像表示装置において、
 前記ユーザの操作に基づいて、前記視線領域を表す画像の表示と非表示とを切り替える、
 映像表示装置。
[請求項6]
 請求項1記載の映像表示装置において、
 前記ユーザの操作に応じて、前記視線領域を拡大または縮小する、
 映像表示装置。
[請求項7]
 請求項1記載の映像表示装置において、
 前記ユーザの操作に応じて、前記視線領域内の前記ID画像の表示を固定または固定解除する、
 映像表示装置。
[請求項8]
 請求項1記載の映像表示装置において、
 前記ユーザの操作に応じて、前記ID画像の表示と非表示とを切り替える、
 映像表示装置。
[請求項9]
 請求項1記載の映像表示装置において、
 前記ユーザの操作に応じて、前記視線領域内の前記ID画像のすべて、またはいずれか1つを選択する、
 映像表示装置。
[請求項10]
 請求項1記載の映像表示装置において、
 前記視線領域内に同時表示可能な前記ID画像の最大数が設定されている、
 映像表示装置。
[請求項11]
 請求項1記載の映像表示装置において、
 前記表示面内に、前記ID画像を表示して前記選択操作を受け付ける選択領域を設定する、
 映像表示装置。
[請求項12]
 請求項11記載の映像表示装置において、
 前記選択領域内に、前記視線領域から外に出た前記生成画像の前記ID画像を表示する、
 映像表示装置。
[請求項13]
 請求項11記載の映像表示装置において、
 前記選択領域内に、前記ID画像を、等間隔で分散して整列した位置に表示する、
 映像表示装置。
[請求項14]
 請求項11記載の映像表示装置において、
 前記選択領域内の前記ID画像の前記選択操作を、位置指定、色指定、または形状指定の少なくとも1つによって受け付ける、
 映像表示装置。
[請求項15]
 請求項1記載の映像表示装置において、
 前記視線領域を設定した後に、前記視線領域内に該当する前記生成画像を表示し、前記生成画像に前記ID画像を表示する、
 映像表示装置。
[請求項16]
 請求項1記載の映像表示装置において、
 前記視線領域内で前記ID画像が表示されている前記生成画像が、前記視線領域の外に出た場合に、前記ID画像の表示を継続し、前記選択操作を受け付ける、
 映像表示装置。
[請求項17]
 請求項1記載の映像表示装置において、
 前記ユーザの視線深度を検出し、前記視線方向および前記視線深度に合わせて前記視線領域を設定する、
 映像表示装置。
[請求項18]
 請求項1記載の映像表示装置において、
 前記ユーザの操作に基づいて、前記実像内の前記ユーザが指定した位置に、前記ユーザが指定した前記生成画像を配置し、
 前記生成画像に対応付けられた前記ID画像の前記選択操作に応じて、前記生成画像を移動させる、
 映像表示装置。
[請求項19]
 請求項1記載の映像表示装置において、
 前記実像内の物体に対し、前記ID画像を対応付けて表示し、
 前記ID画像の前記選択操作に応じて、前記物体の画像領域に対応させた前記生成画像を操作する、
 映像表示装置。
[請求項20]
 実像上に生成画像を重畳して表示する映像表示装置における映像表示方法であって、
 表示面に前記生成画像を表示するステップと、
 前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成するステップと、
 前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定するステップと、
 前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示するステップと、
 前記ID画像に対する前記ユーザの選択操作を受け付けるステップと、
 前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行するステップと、
 を有する、映像表示方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]