Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020195709 - DISPOSITIF DE TRAITEMENT D'INFORMATIONS, PROCÉDÉ DE TRAITEMENT D'INFORMATIONS ET PROGRAMME

Document

明 細 書

発明の名称 情報処理装置、情報処理方法及びプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008  

図面の簡単な説明

0009  

発明を実施するための形態

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139  

符号の説明

0140  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

明 細 書

発明の名称 : 情報処理装置、情報処理方法及びプログラム

技術分野

[0001]
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。

背景技術

[0002]
 特許文献1には、第1の表示領域内においてユーザの視線を検出し、第1の表示領域内においてユーザの視線位置に相当する文字または符合を選択し、第2の表示領域内におけるユーザの視線位置に表示する入力方法が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開平11-249804号公報

発明の概要

発明が解決しようとする課題

[0004]
 上記の従来技術では、ユーザが入力結果を確認する場合、視線位置を入力結果が表示されている表示領域に移動させる必要がある。このため、入力結果を確認する技術では、ユーザの身体的な負荷を軽減することが望まれている。
[0005]
 そこで、本開示では、ユーザの身体的な負荷を軽減して入力結果を確認させることができる情報処理装置、情報処理方法及びプログラムを提案する。

課題を解決するための手段

[0006]
 上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出する検出部と、前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御する制御部と、を備える。
[0007]
 また、本開示に係る一形態の情報処理方法は、コンピュータが、ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御することを含む。
[0008]
 また、本開示に係る一形態のプログラムは、コンピュータに、ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御することを実行させる。

図面の簡単な説明

[0009]
[図1] 第1の実施形態に係る情報処置方法の一例を説明するための図である。
[図2] 第1の実施形態に係るヘッドマウントディスプレイの表示制御の一例を示す図である。
[図3] 第1の実施形態に係るヘッドマウントディスプレイの構成例を示す図である。
[図4] 第1の実施形態に係るヘッドマウントディスプレイが実行する処理手順の一例を示すフローチャートである。
[図5] 第1の実施形態の変形例1に係る情報処置方法の一例を説明するための図である。
[図6] 第1の実施形態の変形例2に係る情報処置方法の一例を説明するための図である。
[図7] 第1の実施形態の変形例2に係る入力候補データの表示態様の例を示す図である。
[図8] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図9] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図10] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図11] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図12] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図13] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図14] 第1の実施形態の変形例3に係る入力候補データの表示例を説明するための図である。
[図15] 第2の実施形態に係る情報処理方法の一例を説明するための図である。
[図16] 第3の実施形態に係る情報処置方法の一例を説明するための図である。
[図17] 情報処理装置の機能を実現するコンピュータ一例を示すハードウェア構成図である。

発明を実施するための形態

[0010]
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
[0011]
(第1の実施形態)
[第1の実施形態に係る情報処理装置の構成]
 図1は、第1の実施形態に係る情報処置方法の一例を説明するための図である。図1に示すように、ヘッドマウントディスプレイ(HMD:Head Mounted Display)10は、ユーザUの頭部に装着され、生成された像が眼前のディスプレイに表示される情報処理装置の一例である。HMD10は、ユーザUの視界全体が覆われる遮蔽型である場合について説明するが、ユーザUの視界全体が覆われていない開放型であってもよい。ここで、図1において、X軸は水平方向、Y軸は垂直方向、Z軸はユーザUの前後方向をそれぞれ示している。
[0012]
 HMD10は、操作入力部50との無線通信が可能な構成となっている。操作入力部50は、例えば、ユーザUの操作を入力する機能を有する。操作入力部50は、例えば、ゲーム機のコントローラ、ハードウェアボタン、タッチパネル等の入力機器を含む。操作入力部50は、ユーザUの操作結果を示す情報をHMD10に送信する。なお、操作入力部50は、例えば、ゲーム機を介してHMD10に情報を送信してもよい。操作入力部50は、HMD10と一体に形成してもよい。
[0013]
 HMD10は、仮想空間に入力画面100を立体的に表示する機能を有する。より具体的には、HMD10は、左眼用画像と右眼用画像の表示位置を調整してユーザの輻輳の調整を促す機能を有する。すなわち、HMD10は、ユーザUに入力画面100を立体視させる機能を有する。HMD10は、入力画面100におけるユーザUの視線の移動と操作入力部50の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。例えば、HMD10は、入力画面100をユーザUの弁別視野に表示する。弁別視野は、人間が任意の種類の表示オブジェクトの形状や内容を認識することができる範囲の視野である。例えば、HMD10は、ユーザUの眼前に入力画面100を表示させ、ユーザUの視線情報に基づいて入力画面100における入力候補点Pを検出する。本開示において、入力候補点Pは、ユーザUの注視点に対応すると見做されてよい。なお、本実施形態では、HMD10は、入力候補点Pを入力画面100上に表示する場合について説明するが、入力候補点Pを入力画面100上に表示しなくてもよい。
[0014]
 図1に示す例では、入力画面100は、キーボード110と、入力欄120と、を有する。キーボード110は、複数のキーオブジェクト111(複数の入力候補情報)を有する。複数のキーオブジェクト111は、情報を入力するためのソフトウェアキーを含む。図1に示す通り、入力画面100は、仮想空間内に設定された、複数のキーオブジェクト111を含む仮想平面である。本実施形態では、キーボード110は、QWERTY配列のキーボードの場合について説明するが、これに限定されない。入力欄120は、入力画面100におけるキーボード110の表示領域とは異なる表示領域に表示されている。より具体的には、入力欄120は、複数のキーオブジェクト111の表示範囲外に表示される。入力欄120は、キーボード110で選択された入力候補が表示される。なお、選択されたキーオブジェクト111は、入力候補点Pの近傍と入力欄120に同時に表示されてもよい。入力候補は、例えば、文字列、文字、記号、数字、絵文字等のデータを含む。また、本開示における複数のキーオブジェクトは、典型的なソフトウェアキーボードに限定されない。複数のキーオブジェクトは、ユーザにより連続的に選択される複数の選択肢オブジェクトであればよく、離散的かつ任意に配置されてもよい。
[0015]
 HMD10は、ユーザUの視線を示す視線情報に基づいて、入力候補点Pを検出する機能を有する。すなわち、HMD10は、視線入力インターフェイスを有する。視線情報とは、ユーザUの視線Lを示すデータである。本実施形態に係る視線情報としては、例えば、“ユーザUの視線Lの位置を示すデータ”や、“ユーザUの視線Lの位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ)”が挙げられる。
[0016]
 ユーザUの視線Lの位置を示すデータとしては、例えば、“入力画面100におけるユーザUの視線Lの位置を示す座標データ”が挙げられる。入力画面100におけるユーザUの視線Lの位置は、例えば、入力画面100における基準位置を原点とする座標系における座標で表される。本実施形態に係る入力画面100における基準位置は、例えば、予め設定された固定の位置であってもよいし、ユーザ操作などに基づいて設定可能な位置であってもよい。
[0017]
 本実施形態では、ユーザUの視線Lの位置に関する情報が、入力画面100におけるユーザUの視線Lの位置を示す座標データである場合、HMD10は、例えば、視線検出技術を用いてユーザUの視線Lの位置を推定し、入力画面100におけるユーザUの視線Lの位置を示す座標データを算出する。そして、HMD10は、算出した座標データを入力画面100における入力候補点Pとする。
[0018]
 本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線Lを検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られない。例えば、本実施形態に係るHMD10は、“瞳孔角膜反射法”などの“角膜反射法”や、“強膜反射法”、“顔を検出した後に、目・鼻・口などから得られる特徴点を追っていくAAM(Active Appearance Model)”などを利用した、任意の視線検出技術を用いて、ユーザUの視線を検出することも可能である。
[0019]
 なお、本実施形態に係るユーザUの視線Lの位置を示すデータは、上記“入力画面100におけるユーザUの視線Lの位置を示す座標データ”に限られない。
[0020]
 例えば、ユーザUが透過型のアイウェアを装着している場合などにおいては、本実施形態に係るユーザUの視線Lの位置を示すデータは、“ユーザUが見ている実空間の実オブジェクトにおける位置を示す座標データ”であってもよい。
[0021]
 ユーザUが見ている実空間の実オブジェクトにおける位置は、例えば、実オブジェクトの三次元画像と、視線検出技術を用いて特定(または推定)される視線ベクトルとに基づいて、特定(または推定)される。なお、ユーザUが見ている実空間の実オブジェクトにおける位置の特定方法は、上記に限られず、ユーザUが見ている実空間の実オブジェクトにおける位置を特定することが可能な任意の技術を用いることが可能である。
[0022]
 本実施形態に係るユーザUの視線Lの位置に関する情報が、ユーザUが見ている実空間の実オブジェクトにおける位置を示す座標データである場合、HMD10(情報処理装置)は、例えば、ユーザUが見ている実空間の実オブジェクトにおける位置を示す座標データを外部装置から取得する。実オブジェクトは、例えば、キーボードの写真、実際のキーボード等を含む。また、情報処理装置は、例えば、視線検出技術などを用いてユーザUが見ている実空間の実オブジェクトにおける位置を特定(または推定)することによって、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを取得することも可能である。
[0023]
 また、本実施形態に係るユーザUの視線Lの位置の特定に用いることが可能なデータとしては、例えば、入力画面100において画像が表示される方向が撮像された撮像画像データ(表示画面側から表示画面に対向する方向が撮像された撮像画像データ)が挙げられる。また、本実施形態に係るユーザUの視線Lの位置の特定に用いることが可能なデータには、さらに、入力画面100において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
[0024]
 また、本実施形態に係るユーザUの視線Lの位置の特定に用いることが可能なデータは、例えば、実オブジェクトの三次元画像と、ユーザUの視線ベクトルの特定に係るデータであってもよい。例えば、ユーザUの視線Lの位置の特定に用いることが可能なデータを用いる場合、本実施形態に係るHMD10は、例えば上記のような本実施形態に係るユーザUの視線Lの位置の特定方法に係る処理を行い、ユーザUの視線Lの位置を特定する(または推定する)。
[0025]
 図1に示す一例では、ユーザUは、「myspace」の文字列を入力する場合に、「myspa」までの入力が終了し、視線Lを移動させて「c」の文字を選択しようとしている。この場合、HMD10は、入力画面100における入力候補点Pを検出すると、当該入力候補点Pが指示する入力画面100の「c」のキーオブジェクト111を他のキーオブジェクト111よりも大きなサイズで表示する。なお、HMD10は、入力候補点Pが指示するキーオブジェクト111の表示色、表示態様等を変化させてもよい。そして、HMD10は、これまでに選択された入力候補を示す入力候補データ130を、入力候補点Pを基準に入力画面100に表示する。なお、本開示において入力候補データを、入力候補情報という場合がある。この場合、入力候補データ130は、入力(選択)が終了している「myspa」を示すデータとなる。そして、HMD10は、5文字の「myspa」の文字列を示す入力候補データ130を、キーオブジェクト111と区別可能に表示する。例えば、HMD10は、入力候補データ130をキーオブジェクト111とは異なる表示色で表示することで、区別可能としている。例えば、HMD10は、入力候補データ130をキーオブジェクト111とは異なるフォント、フォントサイズ等で表示してもよい。
[0026]
 本実施形態では、HMD10は、入力候補データ130を、ユーザUから見て奥行方向においてキーボード110、すなわちキーオブジェクト111の手前に配置している。したがって、ユーザUは、輻輳を調整しつつ注視点を上下方向あるいは左右方向に僅かに移動させるだけで、キーボード110から入力候補データ130に注視点を移動させることができる。
[0027]
 本実施形態では、HMD10は、入力候補データ130を入力候補点Pに追従するように表示する。例えば、HMD10は、入力候補点Pが移動した入力画面100上の経路に沿って表示された入力候補データ130を移動させてもよい。あるいは、HMD10は、入力候補データ130を、入力候補点Pの移動に対して遅延を持たせつつ入力候補点Pの移動の始点から終点まで実質的に直線的に移動させてもよい。このように入力候補データ130を表示することで、入力候補点Pを移動させてから所定の遅延時間の間、入力候補点Pの近傍に入力候補データ130が一時的に表示されなくなる。したがって、ユーザUは、入力候補点Pの移動によって適切に視界を確保することができる。
[0028]
 HMD10は、入力候補データ130を停止している入力候補点Pの近傍に、キーボード110上に重畳するように表示する。入力候補データ130は、公知である人間の視野特性に基づいて設定されている。本開示において、入力候補点Pの近傍とは、人間の視野特性に基づいて設定された範囲と見做されてもよい。例えば、入力候補データ130は、人間が文字を読むことができる限界の範囲であるワード識別限界に基づいて設定することができる。ワード識別限界は、ユーザUの眼EYの位置から入力候補点Pまでの距離等に基づいて設定される。なお、ワード識別限界が示す範囲が、入力候補点Pの近傍に対応すると見做されてもよい。入力候補データ130は、入力候補点Pを視認しているユーザUが文字を読むことが可能な範囲の文字数で、入力候補点Pの近傍に表示される。また、入力候補点Pの近傍は、例えば、入力候補点Pから人間が文字を読むことができる限界の範囲の入力画面100における表示領域を含む。
[0029]
 ユーザUは、入力候補点Pが入力画面100における「c」のキーオブジェクト111上に位置し、当該入力候補点Pの近傍に表示された「myspa」の入力候補データ130を参照している。そして、ユーザUは、「c」のキーオブジェクト111を入力候補として選択するために、操作入力部50に選択操作を行っている。選択操作は、例えば、確定ボタンの押下、ユーザUのジェスチャ等を含む。この場合、HMD10は、操作入力部50を介して「c」のキーオブジェクト111の選択操作を検出すると、「c」の文字を入力候補として受け付ける。そして、HMD10は、選択された「myspac」の入力候補データ130を入力画面100の入力候補点Pに追従させる。HMD10は、当該入力候補データ130が示す入力候補を入力画面100の入力欄120に表示する。
[0030]
 本実施形態では、HMD10は、入力候補データ130を入力画面100のキーボード110上に表示する場合に、選択された入力候補を入力画面100の入力欄120にも表示するが、これに限定されない。例えば、HMD10は、入力候補データ130を表示している場合、当該入力候補データ130と同一の入力候補を入力欄120に表示しなくてもよい。そして、HMD10は、入力候補データ130の入力が確定したときに、確定した入力データを入力欄120に表示するようにしてもよい。本開示において、入力候補点Pの近傍は、選択されたものの確定されていない入力候補情報のみを一時的に示す、第2の入力欄としてみなされてもよい。
[0031]
 図2は、第1の実施形態に係るヘッドマウントディスプレイ10の表示制御の一例を示す図である。図2に示すステップS11では、ユーザUは、「myspace」の文字列を入力する場合に、「mysp」までの入力が終了している。「mysp」は、選択順に配列されている。図2では、「mysp」は水平方向に配列されている。なお、選択された入力候補データ130の配列方向は、入力言語に応じて適宜決定されてもよい。例えばHMD10は、入力言語が英語である場合、入力候補データ130は注視点の左側に配置する。入力候補データ130の配列方向は、本開示における所定の方向に対応しうる。図2では、HMD10は、選択された(複数の)入力候補データ130を、入力画面100の入力候補点Pの近傍に追従するように表示する。そして、HMD10は、入力候補データ130が示す入力候補を入力画面100の入力欄120に表示する。その結果、ユーザUは、入力候補点Pの近傍の入力候補データ130を参照することで、選択している入力候補を確認できるため、視線Lを入力候補点Pから入力欄120に移動させる必要がなくなる。
[0032]
 ステップS11では、ユーザUは、次の入力候補として「a」のキーオブジェクト111を選択するために、視線Lを経路R1に沿って移動させている。経路R1は、例えば、「a」のキーオブジェクト111から「s」、「d」、「f」のキーオブジェクト111上を順に移動させてから「c」のキーオブジェクト111に、視線Lを移動させる経路である。ここで、「mysp」のうち、最新の入力候補データ130を示す「p」は、入力候補点Pの現在の位置に対応するキーオブジェクトに隣接するように表示される。したがって、ユーザUは、次に選択しようとしている、「a」を示す入力候補データ130を容易に視認することができる。なお、本開示における、“隣接する”とは、“間隔を空けて近傍に配置する”ことと、“間隔を空けずに近傍に配置する”ことを含む点に留意されたい。
[0033]
 ステップS12では、HMD10は、選択されている「myspa」の入力候補を示す入力候補データ130を、入力画面100の入力候補点Pに追従するように表示する。より具体的には、HMD10は、表示された「myspa」の端部を含む少なくとも一部を、「c」のキーオブジェクト111に隣接する「s」「d」「f」のキーオブジェクト111に重畳させる。そして、HMD10は、入力候補データ130が示す「myspa」の入力候補を入力画面100の入力欄120に表示する。そして、HMD10は、入力候補点Pが経路R1を移動している場合、入力候補データ130を入力候補点Pが移動する経路R1に沿って追従するように表示する。ステップS12に示す例では、HMD10は、入力候補点Pを基準とし、「f」のキーオブジェクト111と「c」のキーオブジェクト111との間の経路R1に沿うように入力候補データ130を表示している。HMD10は、経路R1を起点として、入力候補データ130を入力候補点Pの近傍に表示している。
[0034]
 ステップS13では、ユーザUは、入力候補点Pが入力画面100における「c」のキーオブジェクト111上に位置し、当該入力候補点Pの近傍に表示された「myspa」の入力候補データ130を参照している。そして、ユーザUは、「c」のキーオブジェクト111を入力候補として選択するために、操作入力部50に選択操作を行っている。そして、ユーザUは、選択操作が終了すると、次の入力候補として「e」のキーオブジェクト111を選択するために、視線Lを経路R2に沿って移動させている。
[0035]
 この場合、HMD10は、操作入力部50を介して「c」のキーオブジェクト111の選択操作を検出すると、「c」の文字を入力候補として受け付ける。そして、HMD10は、選択されている「myspac」の入力候補を示す入力候補データ130を、入力候補点Pを基準にして入力画面100に表示する。
[0036]
 本実施形態では、HMD10は、入力候補データ130の表示文字数(データ数あるいはデータ量)を5文字に制限し、入力候補点Pの位置を基準として識別できない入力候補データ130を省略(あるいは消去)している。表示させる入力候補データ130の制限に関するデータ数あるいはデータ量は、本開示における視線情報に関する所定の条件の一例である。そして、ステップS14では、入力候補データ130の文字数が「myspac」の6文字となっており、設定の表示文字数を超えているので、HMD10は、省略記号を用いた入力候補データ130の省略表示を行う。例えば、HMD10は、ステップS14に示すように、5文字を超えた部分を省略していることを示す「…yspac」の入力候補データ130を、入力候補点Pに基準に追従するよう表示する。入力候補データ130の省略は、古い入力候補データ130から順に適用される。一方で、HMD10は、入力候補データ130が示す「myspac」の入力候補を、省略せずに入力画面100の入力欄120に表示する。その結果、ユーザUは、入力候補点Pの近傍の入力候補データ130を参照することで、選択している直前の入力候補を確認できるため、視線Lを入力候補点Pから入力欄120に移動させる必要がなくなる。
[0037]
 例えば、ステップS14では、ユーザUは、操作入力部50によって入力候補の選択操作を行っていないとする。この場合、HMD10は、入力候補データ130を表示させてから次の入力候補が選択されない状態が所定時間継続すると、表示された入力候補データ130の少なくとも一部を入力画面100から自動的に消去する。表示させる入力候補データ130の制限に関する所定時間は、本開示における視線情報に関する所定の条件の一例である。所定時間は、例えば、数秒、数分等を含む。所定時間は、ユーザUが1単語を入力した時の平均時間間隔に基づいて設定することができる。本実施形態では、所定時間は、例えば、ユーザUの入力平均時間に基づいて2秒となっている。これにより、HMD10は、選択されない状態が2秒継続すると、入力候補データ130を入力画面100からフェードアウトさせる。そして、HMD10は、入力画面100から入力候補データ130を消去しても、入力欄120の入力候補の表示を維持する。
[0038]
 なお、本実施形態では、HMD10は、ユーザUの選択操作の有無に基づいて入力候補データ130の消去を制御する場合について説明するが、これに限定されない。例えば、HMD10は、ユーザUの視線Lの移動の有無、入力画面100に視線Lが向かっているか否か等に基づいて、入力候補データ130の消去を制御してもよい。例えば、HMD10は、ユーザUの視線Lの現在注視しているキーオブジェクト111からの移動量、移動速度、移動加速度のうち少なくとも1つが閾値以上になった場合、入力候補データ130を少なくとも一時的に消去する。
[0039]
 以上のように、第1の実施形態に係るHMD10は、ユーザUの入力候補点Pに基づいて選択された入力候補を示す入力候補データ130を、当該入力候補点Pを基準に表示させる。より具体的には、HMD10は、ユーザUの入力候補点Pの近傍に入力候補データ130を表示し、誤って入力したことをユーザUが気付きやすくする。HMD10は、ユーザUが入力候補データ130を参照すればよいので、入力欄120に視線Lを移動させるよりも、ユーザUの視線Lの移動量を低減させることができる。例えば、HMD10は、入力画面100の表示サイズを大きくしたり、キーボード110と入力欄120とを離して配置したりしても、ユーザUの視線Lの移動量を低減させることができる。その結果、HMD10は、入力候補データ130へのユーザUの視線Lの移動量を低減させることで、ユーザUの身体的な負荷を軽減して入力結果を確認させることができる。
[0040]
 また、HMD10は、入力候補データ130を入力候補点Pに追従するよう表示する。これにより、HMD10は、ユーザUの入力候補点Pが移動しても、当該入力候補点Pの近傍に入力候補データ130を表示させることができる。その結果、HMD10は、ユーザUの視線Lの移動に応じて入力候補データ130の表示位置を移動させることで、入力結果の確認のための視線Lの移動量を抑制することができる。
[0041]
 また、HMD10は、入力候補点Pに追従させる入力候補データ130のデータ数を制限する。これにより、HMD10は、入力候補点Pの近傍に表示する入力候補データ130のデータ数を制限することで、入力候補データ130が重畳する他のキーオブジェクト111の数を減らすことができる。その結果、HMD10は、入力候補データ130の追従表示を行っても、ユーザUの視界を適切に確保することができる。
[0042]
 また、HMD10は、入力候補データ130のデータ数が制限数になると、入力候補点Pに追従させる入力候補データ130の一部を省略する。すなわち、HMD10は、選択された入力候補データ130の数が制限数より大きい場合、実際に表示される入力候補データ130の数を制限数以下に制限する。これにより、HMD10は、ユーザUが最後に選択した入力候補から遡って部分的に入力候補データ130を表示させることができる。その結果、HMD10は、ユーザUの視界を適切に確保し、入力候補をユーザUに確認させることができるので、利便性を向上させることができる。
[0043]
 また、HMD10は、入力候補データ130を表示させてから次の入力候補が選択されない状態が所定時間継続すると、当該入力候補データ130を入力画面100から自動で消去する。これにより、HMD10は、ユーザUが現在視認しているキーオブジェクト111とその近傍の表示オブジェクトの視認が、入力候補データ130により妨げられることを抑制する。その結果、HMD10は、入力候補データ130によってユーザUの視界が遮られることを抑制するとともに、視線Lを利用した操作性の向上を図ることができる。
[0044]
 また、HMD10は、ユーザUの視線Lの移動に応じて、入力候補データ130を少なくとも一時的に消去する。これにより、ユーザUがキーオブジェクト111と入力候補データ130以外の表示オブジェクトを視ようとしていると推定される状況で、ユーザUの視界が妨げられることが抑制される。その結果、HMD10は、入力候補データ130によってユーザUの視界が遮られることを抑制するとともに、視線Lを利用した操作性の向上を図ることができる。
[0045]
 また、HMD10は、入力候補点Pに基づいて選択された入力候補データ130が、検出された入力候補点P(注視点)の現在の位置に対応する複数のキーオブジェクト111のうち1つに隣接するように、選択された入力候補データ130を表示する。より具体的には、HMD10は、ユーザUに選択させる複数のキーオブジェクト111を入力画面100に表示させ、選択された入力候補データ130をキーオブジェクト111に重畳する。このキーオブジェクト111の表示状態を、単に重畳表示という場合がある。これにより、HMD10は、入力候補データ130とキーオブジェクト111とを関連付けて表示させることができる。その結果、HMD10は、ユーザUが入力候補データ130とキーオブジェクト111の重畳表示を視認したときに、過去に選択された入力候補との関連性をユーザUに直感的に理解させることができる。したがって、入力候補データ130やキーオブジェクト111といった視線入力に関連する仮想オブジェクトの視認性を向上させることができる。
[0046]
 また、HMD10は、複数のキーオブジェクト111とは異なる入力画面100の表示位置に入力欄120を表示させ、入力候補点Pに基づいて選択された入力候補を入力欄120に表示させる。これにより、HMD10は、複数のキーオブジェクト111と入力欄120とを離して表示させることができるので、入力画面100のデザインに自由度を持たせ、入力画面100の大型化を図ることができる。その結果、HMD10は、ユーザUの身体的な負荷を軽減し、デザイン性を向上させることができる。
[0047]
 また、HMD10は、入力画面100のキーオブジェクト111に重畳している入力候補データ130を消去しても、入力欄120の入力候補の表示を維持する。これにより、HMD10は、入力候補データ130を一時的にキーオブジェクト111に表示すればよくなるので、入力候補データ130がキーオブジェクト111に重畳する時間を短縮させることができる。その結果、HMD10は、入力候補データ130によって入力候補点Pの周囲にある仮想オブジェクトの視認性の低下を抑制することができる。
[0048]
 また、HMD10は、ユーザUが操作する操作入力部50の操作結果に基づいて、入力候補点Pが指示する入力候補が選択されたことを検出する。これにより、HMD10は、ユーザUの視線による操作と操作入力部50による入力候補の選択操作とを区別することで、選択操作を視線Lで検出する必要がなくなる。その結果、HMD10は、ユーザUの視線Lの移動量を低減させるとともに、ユーザUの視線Lと操作入力部50の操作とを組み合わせた入力方法の操作性を向上させることができる。
[0049]
[第1の実施形態に係るヘッドマウントディスプレイの構成例]
 次に、第1の実施形態に係る情報処理装置の一例として、ヘッドマウントディスプレイ(HMD)10の構成について説明する。図3は、第1の実施形態に係るヘッドマウントディスプレイ10の構成例を示す図である。図3に示すように、HMD10は、表示部11と、検出部12と、通信部13と、記憶部14と、制御部15と、を備える。
[0050]
 表示部11は、1または複数の表示デバイスを含む。表示デバイスは、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)等を含む。表示部11は、制御部15の制御によって各種情報を表示する。各種情報は、例えば、上記の入力画面100の情報を含む。表示部11は、例えば、装着時にユーザUのそれぞれの眼EYに対応した画像を表示することにより、両眼の視差を利用した3次元表示を実現する。そして、表示部11は、入力画面100を3次元表示する。
[0051]
 検出部12は、ユーザUの視線を示す視線情報に基づいて、複数のキーオブジェクト111における入力候補点Pを検出する。検出部12は、公知の視線推定方法を用いてユーザUの視線Lを推定する。例えば、検出部12は、瞳孔角膜反射法で視線Lを推定する場合、光源とカメラとを用いる。そして、検出部12は、カメラでユーザUの眼EYを撮像した画像を解析し、輝点または瞳孔を検出し、輝点の位置に関する情報が含まれる輝点関連情報、および、瞳孔の位置に関する情報が含まれる瞳孔関連情報を生成する。そして、検出部12は、輝点関連情報、瞳孔関連情報等に基づいてユーザUの視線L(光軸)を検出(推定)する。そして、検出部12は、表示部11とユーザUの眼球との3次元空間における位置関係に基づいて、ユーザUの視線Lと表示部11とが交差する座標を入力候補点Pとして検出する。検出部12は、入力画面100からユーザUの視点位置(眼球)までの距離を検出する。検出部12は、検出結果を制御部15に出力する。
[0052]
 通信部13は、無線により通信する。通信部13は、近距離無線通信方式をサポートする。通信部13は、操作入力部50、外部機器等と情報の無線通信を行う機能を有する。通信部13は、制御部15からの情報を操作入力部50、外部機器等に送信する。通信部13は、操作入力部50、外部機器等から受信した情報を制御部15に出力する。
[0053]
 記憶部14は、各種データ及びプログラムを記憶する。例えば、記憶部14は、検出部12の検出結果を記憶できる。記憶部14は、例えば、検出部12、制御部15等と電気的に接続されている。記憶部14は、例えば、入力画面100に関するデータ、上記の入力候補データ130、入力が確定した入力データ等を記憶する。記憶部14は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部14は、ネットワークを介してHMD10に接続されたクラウドサーバに設けてもよい。
[0054]
 制御部15は、表示部11等のHMD10の制御を行う。制御部15は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって実現される。制御部15は、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。
[0055]
 制御部15は、選択部15aと、編集部15bと、表示制御部15cといった各機能部を有する。制御部15は、プログラムを実行することにより、選択部15aと編集部15bと表示制御部15cとして機能する。
[0056]
 選択部15aは、操作入力部50を介してユーザUの選択操作を検出すると、検出部12によって検出された入力候補点Pが指示するキーオブジェクト111の入力候補を選択する。選択部15aは、選択結果を編集部15b、表示制御部15c等に出力する。選択結果は、例えば、選択した入力候補、キーオブジェクト111等を示す情報を含む。
[0057]
 編集部15bは、選択部15aが選択した入力候補に基づいて入力候補データ130を編集する。入力候補データ130が存在していない場合、編集部15bは、選択された入力候補を示す入力候補データ130を新規作成して記憶部14に記憶する。入力候補データ130が既に存在する、すなわち、入力候補データ130を入力画面100に表示している場合、編集部15bは、選択された入力候補を記憶部14の入力候補データ130に追加する編集を行う。
[0058]
 表示制御部15cは、検出部12が検出した入力候補点Pに基づいて選択された入力候補を示す入力候補データ130を、当該入力候補点Pを基準に表示させる機能を有する。例えば、表示制御部15cは、設定されている表示態様で、入力候補データ130を入力候補点Pの近傍に表示させる。表示態様は、例えば、入力候補点Pを基準とした表示位置、表示サイズ、表示色等を含む。表示位置は、例えば、入力候補点Pの左側、上側、周囲等を含む。表示態様は、例えば、入力候補点Pが移動している状態と静止している状態とのそれぞれに対応している。
[0059]
 表示態様は、重畳表示を適用する入力候補データ130の視認性を担保するために、ユーザUの視点位置(眼球の位置)から入力画面100までの距離に応じて文字サイズを変更することができる。表示態様は、例えば、視点位置から見た文字の大きさがなす角度が、予め決めた大きさになるように、文字サイズを設定している。なす角度は、例えば、視点位置から見た文字の一端から他端までの角度を意味する。例えば、文字が日本語の漢字のなす角度が25分である場合、距離が300mmで文字サイズを2.2mm、距離が400mmで文字サイズを2.9mmと設定される。例えば、文字がアルファベットのなす角度が16分である場合、距離が300mmで文字サイズを1.3mm、距離が400mmで文字サイズを1.8mmと設定される。このように、HMD10は、入力候補データ130の視認性を担保する文字サイズで、入力候補データ130を入力画面100上に重畳させている。なお、HMD10は、視点位置からの距離に基づいて文字サイズを求める算出式、テーブル等を記憶しておき、距離が変化した場合に、当該距離に応じた文字サイズに入力候補データ130を変更してもよい。
[0060]
 表示制御部15cは、入力候補データ130を入力候補点Pに追従させる機能を有する。表示制御部15cは、入力候補点Pに追従させる入力候補データ130のデータ数を制御する機能を有する。表示制御部15cは、入力候補データ130のデータ数が制限数になると、入力候補点Pに追従させる入力候補データ130の一部を省略する機能を有する。表示制御部15cは、入力候補データ130を表示させてから次の入力候補が選択されない状態が所定時間継続すると、当該入力候補データ130を入力画面100から消去させる機能を有する。所定時間は、任意の時間を設定することができる。
[0061]
 表示制御部15cは、ユーザUに選択させる複数のキーオブジェクト111を入力画面100に表示させる機能を有する。例えば、表示制御部15cは、QWERTY配列キーボード、ケータイ配列キーボード、Godanキーボード等を入力画面100に表示させる。QWERTY配列キーボードは、QWERTY配列でキーを配置するソフトウェアキーボードである。ケータイ配列キーボードは、あ行、か行、さ行、た行、な行、は行、ま行、や行、ら行、わ行の各行をキーに割り当てたソフトウェアキーボードである。Godanキーボードは、左側に母音のキー、右側に子音のキーを配列したソフトウェアキーボードである。表示制御部15cは、ユーザU等によって設定された種類のキーボードを有する入力画面100に表示部11に表示させる。
[0062]
 表示制御部15cは、複数のキーオブジェクト111とは異なる入力画面100の表示位置に入力欄120を表示させる機能を有する。表示制御部15cは、ユーザUによって選択された入力候補を、入力画面100の入力欄120に表示させる機能を有する。例えば、表示制御部15cは、ユーザUによって選択された入力候補、入力が確定した文字列等を入力欄120に表示させる。
[0063]
 以上、本実施形態に係るHMD10の機能構成例について説明した。なお、図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るHMD10の機能構成は係る例に限定されない。本実施形態に係るHMD10の機能構成は、仕様や運用に応じて柔軟に変形可能である。
[0064]
 本実施形態では、HMD10は、操作入力部50と別体である場合について説明するが、これに限定されない。例えば、HMD10は、操作入力部50を構成に備えてもよい。例えば、HMD10は、操作入力部50と一体に形成してもよい。
[0065]
[第1の実施形態に係るヘッドマウントディスプレイ10の処理手順]
 次に、第1の実施形態に係るヘッドマウントディスプレイ10の処理手順の一例について説明する。図4は、第1の実施形態に係るヘッドマウントディスプレイ10が実行する処理手順の一例を示すフローチャートである。図4に示す処理手順は、HMD10の制御部15がプログラムを実行することによって実現される。図4に示す処理手順は、HMD10の制御部15によって繰り返し実行される。
[0066]
 図4に示すように、HMD10の制御部15は、入力画面100の表示を開始する(ステップS100)。例えば、制御部15は、入力画面100の表示を表示部11に要求する。その結果、表示部11は、入力画面100の表示を開始することで、キーボード110と入力欄120とを有する入力画面100をユーザUが視認する。制御部15は、入力画面100の表示を開始すると、処理をステップS101に進める。
[0067]
 制御部15は、入力候補点Pを検出部12によって検出する(ステップS101)。制御部15は、入力画面100において、入力候補点Pがキーボード110上にあるか否かを判定する(ステップS102)。例えば、HMD10は、入力候補点Pの座標が入力画面100のキーボード110を表示する表示領域の内部にある場合に、入力候補点Pがキーボード110上にあると判定する。そして、制御部15は、入力候補点Pがキーボード110上にないと判定した場合(ステップS102でNo)、処理を後述するステップS112に進める。また、制御部15は、入力候補点Pがキーボード110上にあると判定した場合(ステップS102でYes)、処理をステップS103に進める。
[0068]
 制御部15は、キー選択処理を実行する(ステップS103)。例えば、HMD10は、キー選択処理を実行することで、検出部12によって入力候補点Pを検出し、当該入力候補点Pが指示するキーオブジェクト111を選択する。本実施形態では、制御部15は、選択したキーオブジェクト111を他のキーオブジェクト111とは異なる表示態様に変更して入力画面100に表示させる。制御部15は、ステップS103の処理を実行することで、選択部15aとして機能する。そして、制御部15は、キーオブジェクト111を選択すると、処理をステップS104に進める。
[0069]
 制御部15は、キーオブジェクト111の選択操作を検出したか否かを判定する(ステップS104)。例えば、制御部15は、通信部13を介して操作入力部50から選択操作に応じた情報を受信している場合に、キーオブジェクト111の選択操作を検出したと判定する。制御部15は、キーオブジェクト111の選択操作を検出したと判定した場合(ステップS104でYes)、処理をステップS105に進める。
[0070]
 制御部15は、選択された文字の編集処理を実行する(ステップS105)。例えば、制御部15は、編集処理を実行することで、入力候補点Pが指示するキーオブジェクト111の文字を入力候補として確定する。制御部15は、入力候補データ130が存在していない場合、入力候補を示す入力候補データ130を新規作成して記憶部14に記憶する。制御部15は、入力候補データ130が存在している場合、当該入力候補データ130に今回の入力候補を追加する。そして、制御部15は、編集処理が終了すると、処理をステップS106に進める。
[0071]
 制御部15は、入力画面100の入力欄120の表示を更新する(ステップS106)。例えば、制御部15は、編集した入力候補データ130に基づいて入力欄120の表示内容を更新する。そして、制御部15は、入力候補データ130の表示内容と表示位置を更新する(ステップS107)。例えば、制御部15は、入力候補点Pのデータ数と制限数とに基づいて、入力候補データ130の表示態様を決定する。詳細には、制御部15は、データ数が制限数よりも小さい場合、全ての入力候補を表示する第1表示態様を決定する。また、制御部15は、データ数が制限数以上である場合、複数の入力候補のうちの最後の制限数分の入力候補のみを表示する第2表示態様を決定する。そして、制御部15は、入力候補点Pに基づいて、入力画面100における入力候補データ130の表示位置を特定し、入力画面100に表示している入力候補データ130の更新を表示部11に要求する。その結果、表示部11は、入力画面100の入力欄120とキーボード110上の入力候補データ130の表示を更新する。
[0072]
 制御部15は、所定時間の計時を開始する(ステップS108)。例えば、制御部15は、所定時間が経過するとタイムアウトするタイマを起動させる。例えば、制御部15は、計時を開始した時間を検出して記憶部14に記憶する。そして、制御部15は、ステップS108の処理が終了すると、処理を後述するステップS112に進める。
[0073]
 また、HMD10は、キーオブジェクト111の選択操作を検出していないと判定した場合(ステップS104でNo)、処理をステップS109に進める。制御部15は、選択操作を検出していない状態が、所定時間継続しているか否かを判定する(ステップS109)。例えば、制御部15は、タイマがタイムアウトしている場合に、所定時間継続していると判定する。例えば、計時を開始してからの時間を算出し、当該時間が所定時間に達している場合に、所定時間継続していると判定する。そして、制御部15は、所定時間継続していないと判定した場合(ステップS109でNo)、処理を後述するステップS112に進める。また、制御部15は、所定時間継続していると判定した場合(ステップS109でYes)、処理をステップS110に進める。
[0074]
 制御部15は、入力候補データ130を入力画面100から消去する(ステップS110)。例えば、制御部15は、入力候補データ130の消去を表示部11に要求する。その結果、表示部11は、入力画面100から入力候補データ130を消去する。そして、制御部15は、所定時間の計時を終了する(ステップS111)。制御部15は、ステップS111の処理が終了すると、処理をステップS112に進める。
[0075]
 制御部15は、終了要求ありか否かを判定する(ステップS112)。例えば、制御部15は、入力操作の利用終了、ユーザUによる終了操作等を受け付けている場合に、終了要求ありと判定する。そして、制御部15は、終了要求なしと判定した場合(ステップS112でNo)、処理を既に説明したステップS101に戻し、ステップS101以降の一連の処理を繰り返す。また、制御部15は、終了要求ありと判定した場合(ステップS112でYes)、処理をステップS113に進める。
[0076]
 制御部15は、入力画面100の表示を終了する(ステップS113)。例えば、制御部15は、入力画面100の消去を表示部11に要求する。その結果、表示部11は、入力画面100の表示を終了する。そして、制御部15は、ステップS113の処理を終了すると、図4に示す処理手順を終了させる。
[0077]
 図4に示す処理手順では、制御部15は、ステップS100、ステップS106、ステップS107、ステップS110及びステップS113の処理を実行することで、表示制御部15cとして機能する場合について説明したが、これに限定されない。
[0078]
 上述の第1の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
[0079]
[第1の実施形態の変形例1]
 例えば、第1の実施形態に係るHMD10は、入力画面100の表示態様を変更することができる。
[0080]
 図5は、第1の実施形態の変形例1に係る情報処置方法の一例を説明するための図である。図5に示すように、HMD10は、入力画面100Aと操作入力部50とを用いて文字または文字列を入力させてもよい。この場合、操作入力部50は、タッチパッド51を備え、ユーザUのジェスチャによる選択操作を可能としている。そして、操作入力部50は、タッチパッド51を介して、例えば、タッチ、フリック等のジェスチャを検出し、検出結果をHMD10に出力する。
[0081]
 HMD10は、仮想空間に入力画面100Aを立体表示する機能を有する。HMD10は、入力画面100AにおけるユーザUの視線の移動と操作入力部50の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。入力画面100Aは、ケータイ配列のキーボード110Aと、入力欄120と、を有する。キーボード110Aは、複数のキーオブジェクト111を有する。複数のキーオブジェクト111のそれぞれは、あ行、か行、さ行、た行、な行、は行、ま行、や行、ら行、わ行の各行の文字が割り当てられている。例えば、あ行のキーオブジェクト111は、「あ」、「い」、「う」、「え」、「お」の文字が割り当てられている。
[0082]
 図5に示す一例では、ユーザUは、日本語の「こんにちは」の文字列を入力する場合に、「こんに」までの入力が終了し、視線Lを移動させて「た行」の「ち」の文字を選択しようとしている。この場合、HMD10は、入力画面100Aの「た行」のキーオブジェクト111を指示していることを検出すると、「た行」の「た」、「ち」、「つ」、「て」、「と」の文字を示す5つのキーオブジェクト112をキーオブジェクト111に重畳させる。そして、HMD10は、「こんに」を示す入力候補データ130を、入力候補点Pを基準にキーオブジェクト112に重畳させる。
[0083]
 ユーザUは、入力候補データ130を参照しながら視線Lを左方向へ移動させ、「ち」のキーオブジェクト112を視認した状態で、操作入力部50のタッチパッド51で選択操作を行っている。この場合、HMD10は、入力候補点Pが「ち」のキーオブジェクト112を指示していることを検出した状態で、操作入力部50を介して「ち」のキーオブジェクト112の選択操作を検出すると、「ち」の文字を入力候補として受け付ける。そして、HMD10は、選択された「こんにち」の入力候補データ130を入力画面100Aの入力候補点Pに追従させる。HMD10は、当該入力候補データ130が示す入力候補を入力画面100Aの入力欄120に表示する。
[0084]
 以上のように、第1の実施形態の変形例1に係るHMD10は、入力画面100Aの入力候補点PとユーザUのジェスチャとに基づいて選択された入力候補データ130を、入力候補点Pを基準に入力画面100Aに表示させる。より具体的には、HMD10は、入力画面100Aの入力候補点Pの近傍に入力候補データ130を表示し、誤って入力したことをユーザUが気付きやすくする。HMD10は、ユーザUが入力候補データ130を参照すればよいので、入力欄120に視線Lを移動させるよりも、ユーザUの視線の移動量を低減させることができる。その結果、HMD10は、入力候補データ130へのユーザUの視線Lの移動量を低減させることで、ユーザUの身体的な負荷を軽減して入力結果を確認させることができる。
[0085]
[第1の実施形態の変形例2]
 例えば、第1の実施形態に係るHMD10は、入力候補データ130の表示態様を変更することができる。
[0086]
 図6は、第1の実施形態の変形例2に係る情報処置方法の一例を説明するための図である。図6に示すように、HMD10は、キーボード110と入力欄120とを入力画面100に表示する。HMD10の制御部15は、入力候補データ130を含む入力候補文字列をユーザUが選択可能にキーオブジェクト111に重畳させる機能を有する。制御部15は、1または複数の入力候補文字列を表示した場合、選択された入力候補文字列を入力候補データ130とする。
[0087]
 図6に示すステップS21では、ユーザUは、「Applaud」の文字列を入力する場合に、「Appl」までの入力が終了し、視線Lが「k」のキーオブジェクト111の近傍を指している。この場合、HMD10は、入力候補データ130の「Appl」を含む予測入力候補を変換データベースから検索する。変換データベースは、例えば、HMD10の記憶部14、情報処理サーバの記憶装置等に記憶されている。HMD10は、「Apple」、「Application」及び「Applaud」の3つの予測入力候補を抽出している。すなわち、HMD10は、入力候補データ131もまた、入力候補点Pの近傍に表示するとともに、入力候補点Pに追従させる。本実施形態では、HMD10は、「Appl」に下線と下矢印とを付加した入力候補データ131を表示することで、ユーザUに予測入力候補が存在することを認識させている。そして、ユーザUは、操作入力部50で下矢印に対する参照操作を行っている。参照操作は、例えば、選択操作とは異なる操作である。
[0088]
 ステップS22では、HMD10は、ユーザUの参照操作を検出したことで、「Appl」の入力候補の下方に入力候補データ131の重畳表示を行っている。HMD10は、入力候補データ131を示す「Apple」、「Application」及び「Applaud」を、上下方向に並べて表示する。なお、入力候補データ131を示す「Apple」、「Application」及び「Applaud」それぞれが、本開示の予測入力候補情報に対応しうる。本実施形態では、HMD10は、複数の予測入力候補の全てがキーボード110上に位置するように表示しているが、キーボード110上から予測入力候補の一部がはみ出すように予測入力候補を表示してもよい。そして、ユーザUは、入力候補データ131の「Applaud」に視線Lを移動させている。この場合、HMD10は、入力候補データ131を展開表示させている場合、入力候補点Pが移動しても、入力候補データ131を入力候補点Pに追従させずに表示位置を固定する。その結果、ユーザUは、視線Lの移動に応じて入力候補点Pを予測入力候補に移動させることができる。
[0089]
 ステップS22では、ユーザUは、「Applaud」の予測入力候補に入力候補点Pが位置している状態で、操作入力部50で選択操作を行っている。この場合、HMD10は、操作入力部50を介して、入力候補点Pが「Applaud」の予測入力候補を指示している状態で選択操作を検出すると、「Applaud」を入力候補データ131とする。本実施形態では、HMD10は、「Applaud」の入力候補(文字列)を入力候補データ131から入力欄120に向けて移動するアニメーションを表示している。
[0090]
 ステップS23では、HMD10は、入力候補データ131が示す「Applaud」の入力候補を入力欄120に表示する。HMD10は、「Applaud」を示す入力候補データ131を入力候補点Pに追従させる。その結果、ユーザUは、入力候補点Pの近傍の入力候補データ131を参照することで、視線Lを入力欄120に移動させることなく、選択している直前の入力候補を確認しながら視線Lを利用した入力操作を継続することができる。
[0091]
 例えば、ステップS22では、ユーザUは、操作入力部50によって入力候補の選択操作を行っていないとする。この場合、HMD10は、入力候補データ131を表示させてから次の入力候補が選択されない状態が所定時間継続すると、入力候補データ131を入力画面100から消去する。所定時間は、例えば、表示する予測入力候補の数に応じた時間とすることができる。本実施形態では、所定時間は、例えば、ユーザUの入力平均時間に基づいて2秒となっている場合、入力平均時間に予測入力候補の数を乗じた時間となっている。そして、HMD10は、選択されない状態が所定時間継続すると、入力候補データ131を入力画面100からフェードアウトさせる。また、HMD10は、予測入力候補の数に応じて所定時間を変化させることで、ユーザUの確認中に入力候補データ131を消去することを回避できる。
[0092]
 なお、本実施形態では、HMD10は、予測入力候補がユーザUによって選択された後、当該予測入力候補を入力候補データ131として入力候補点Pに追従させる場合について説明するが、これに限定されない。例えば、HMD10は、予測入力候補がユーザUに選択された場合に、入力候補の入力を確定させ、入力候補データ131の追従表示を終了させてもよい。
[0093]
 本実施形態では、HMD10は、予測入力候補を操作入力部50の操作によってユーザUに選択させてもよい。例えば、操作入力部50がゲーム機のコントローラである場合、HMD10は、予測入力候補を上下左右ボタンでフォーカスさせて決定ボタンで選択させたり、スティックボタンでフォーカスさせてスティックボタンの押し込みで選択させたりしてもよい。
[0094]
 以上のように、第1の実施形態の変形例2に係るHMD10は、入力候補データ131の入力候補を含む予測入力候補をユーザUが選択可能にキーオブジェクト111に重畳させ、選択された予測入力候補を入力候補データ131とする。これにより、HMD10は、入力候補点Pの近傍に予測入力候補を表示して、ユーザUに選択させることができる。その結果、HMD10は、ユーザUの視線Lの移動量を低減させることができるので、視線Lを利用した入力効率を向上させることができる。
[0095]
 図7は、第1の実施形態の変形例2に係る入力候補データ131の表示態様の例を示す図である。図7に示す変形T1の例では、HMD10は、入力候補データ131の下矢印131aを記号131bに変更することができる。記号131bは、「*」となっているが、これに限定されず、例えば「+」、「~」等としてもよい。変形T2の例では、HMD10は、入力候補データ131の下矢印131aを枠131cに変更することができる。枠131cは、入力候補データ131が示す「Appl」の入力候補を取り囲む枠となっている。変形T3の例では、HMD10は、入力候補データ131の下矢印131aを予測入力候補の一部を示す省略データ131dに変更することができる。省略データ131dは、入力候補の下方に表示する場合、予測入力候補の1つである「Apple」の上半分を示し、下半分を省略したデータとなっている。省略データ131dは、入力候補の上方に表示する場合、予測入力候補の1つである「Apple」の下半分を示し、上半分を省略したデータとしてもよい。
[0096]
 なお、第1の実施形態の変形例2は、他の実施形態、変形例の入力候補データ130、131等と組み合わせてもよい。
[0097]
[第1の実施形態の変形例3]
 例えば、第1の実施形態に係るHMD10は、入力候補データ130のレイアウトを変更することができる。
[0098]
 図8乃至図14は、第1の実施形態の変形例3に係る入力候補データ130の表示例を説明するための図である。第1の実施形態の変形例3では、HMD10は、入力候補データ130と入力候補点Pが指示するキーオブジェクト111とを紐付けて入力候補データ130の重畳表示を行う。
[0099]
 図8に示す例では、HMD10は、小文字のアルファベットのキーボード110を入力画面100に表示した状態で、入力候補点Pが「e」のキーオブジェクト111を指示していることを検出している。この場合、HMD10は、「nic」を示す入力候補データ130を、「e」のキーオブジェクト111に紐付ける重畳表示を行う。HMD10は、入力候補データ130が示す「nic」と、キーオブジェクト111の「e」の文字とが連続した1つの文字列と視認されるように、入力候補データ130をキーオブジェクト111の左側に表示している。これにより、HMD10は、入力候補データ130とキーオブジェクト111の文字とによって「nice」の文字列を、キーボード110上でユーザUに認識させることができる。
[0100]
 図9に示す例では、HMD10は、日本語のひらがなのキーボード110を入力画面100に表示した状態で、入力候補点Pが「ね」のキーオブジェクト111を指示していることを検出している。図2とは異なり、入力言語が日本語や中国語といった縦書きの言語の場合、入力候補データ130は入力候補点Pの上方に配置されてもよい。この場合、HMD10は、「いい」を示す入力候補データ130を、「ね」のキーオブジェクト111に紐付ける重畳表示を行う。HMD10は、入力候補データ130が示す「いい」と、キーオブジェクト111の「ね」の文字とが連続した1つの文字列となるように、入力候補データ130をキーオブジェクト111の上側に延びるように表示している。これにより、HMD10は、入力候補データ130とキーオブジェクト111の文字とによって「いいね」の文字列を、キーボード110上でユーザUに認識させることができる。
[0101]
 図10に示す例では、HMD10は、小文字のアルファベットのキーボード110を入力画面100に表示した状態で、入力候補点Pが「e」のキーオブジェクト111を指示していることを検出している。この場合、HMD10は、「very nic」を示す入力候補データ130を、「e」のキーオブジェクト111に紐付ける重畳表示を行う。HMD10は、キーオブジェクト111の「e」の文字の周囲に、入力候補データ130が示す「very nic」が位置するように、入力候補データ130をキーオブジェクト111の曲線軌道111R上に表示している。曲線軌道111Rは、例えば、キーオブジェクト111を囲み、かつワード識別限界の内部となっている。より具体的には、HMD10は、入力候補点Pの現在の位置に対応するキーオブジェクト111を中心とした円周方向に、入力候補データ130を選択された順で時計回りに配列する。これにより、HMD10は、キーオブジェクト111の文字を視認するだけで、これまでに選択した複数の入力候補を確認させることができる。図10に示す例では、HMD10は、「very」と「nic」の2つの単語をキーオブジェクト111の周囲に表示している。
[0102]
 図11に示す例では、HMD10は、上述の図8に示した表示を行った状態で、入力候補点Pが指示している「e」のキーオブジェクト111がユーザUによって選択されたことを検出している。この場合、HMD10は、入力候補データ130の最後の文字である「e」を、キーオブジェクト111の文字に重ねるように表示している。これにより、HMD10は、「e」のキーオブジェクト111が選択されて入力候補データ130が「nice」の入力候補となったことを、入力欄120を参照することなく、ユーザUに認識させることができる。
[0103]
 図12に示す例では、HMD10は、小文字のアルファベットのキーボード110を入力画面100に表示した状態で、入力候補点Pが「e」のキーオブジェクト111を指示していることを検出している。この場合、HMD10は、「very」と「nic」とを改行して示す入力候補データ130を、「e」のキーオブジェクト111に紐付ける重畳表示を行う。HMD10は、キーオブジェクト111の「e」の文字の左側に、入力候補データ130とキーオブジェクト111とがワード識別限界の内部に収まるように表示している。これにより、HMD10は、キーオブジェクト111の文字を視認するだけで、これまでに選択した入力候補を確認させることができる。
[0104]
 図13に示す例では、HMD10は、上述の図8に示したように、「nic」を示す入力候補データ130を、「e」のキーオブジェクト111に紐付ける重畳表示を行う。HMD10は、入力候補データ130が示す「nic」と、キーオブジェクト111の「e」の文字とが連続した1つの文字列となるように、入力候補データ130をキーオブジェクト111の左側に表示している。そして、HMD10は、入力候補データ130のフォントサイズをキーオブジェクト111の文字サイズよりも大きくしている。HMD10は、入力候補データ130の入力候補を枠132で囲み、当該入力候補の背景133を塗りつぶしている。これにより、HMD10は、入力候補データ130をキーオブジェクト111に重畳するよう表示した時の、入力候補点Pの周囲にある仮想オブジェクトの視認性を担保することができる。
[0105]
 図14に示す例では、HMD10は、上述の図8に示したように、「nic」を示す入力候補データ130を、「e」のキーオブジェクト111に紐付ける重畳表示を行う。HMD10は、入力候補データ130が示す「nic」と、キーオブジェクト111の「e」の文字とが連続した1つの文字列となるように、入力候補データ130をキーオブジェクト111の左側に表示している。ここで、「e」のキーオブジェクト111の視認性を高めるために、HMD10は、入力候補データ130が示す「c」の視認性を、入力候補データ130が示す「ni」の視認性よりも低く設定している。より具体的には、HMD10は、キーオブジェクト111と重なる入力候補データ130の部分(ここの例では「c」)を、ユーザUから視て当該キーオブジェクト111の奥側(裏側)に配置し、キーオブジェクト111を半透明で表示する。すなわち、HMD10は、入力候補データ130が示す「c」を視認できる状態を維持しつつ、キーオブジェクト111を入力候補データ130に重畳させている。この状態において、HMD10は、ユーザUの嗜好に応じた表示態様で入力候補データ130を表示できる。したがって、入力候補点Pに対応するキーオブジェクト111の視認性の低下を抑制することができる。
[0106]
 なお、上述の第1の実施形態に係るHMD10は、入力候補データ130の文字色を動的に変更してもよい。例えば、HMD10は、アクセシビリティ等を考慮して、背景色と同化しないように入力候補データ130の文字色を変更してもよい。例えば、HMD10は、外光などの環境条件に合わせて入力候補データ130の文字色を変更してもよい。
[0107]
 以上のように、第1の実施形態の変形例3に係るHMD10は、入力候補データ130と入力候補点Pが指示するキーオブジェクト111とを紐付ける入力候補データ130の重畳表示を行う。これにより、HMD10は、ユーザUに対して様々な表示態様を提供することができる。その結果、HMD10は、視線Lを利用した入力効率を向上するとともに、ユーザUの利便性を向上させる。
[0108]
 なお、第1の実施形態の変形例3は、他の実施形態、変形例の入力候補データ130、131等と組み合わせてもよい。
[0109]
 上記の第1の実施形態では、HMD10は、入力画面100にキーボード110を表示する場合について説明したが、これに限定されない。例えば、HMD10は、物理的なキーボードをユーザUに視認させ、物理的なキーボード上に入力候補データ130を重畳させてもよい。
[0110]
(第2の実施形態)
[第2の実施形態に係る情報処理装置の概要]
 次に、第2の実施形態について説明する。第2の実施形態に係る情報処理装置は、第1の実施形態と同様に、ヘッドマウントディスプレイ(HMD)10である。HMD10は、表示部11と、検出部12と、通信部13と、記憶部14と、制御部15と、を備える。なお、第1の実施形態に係るHMD10と同様の構成については、説明を省略する。なお、本実施形態における入力欄120は、選択されるとともに確定された入力候補データ130と、選択されたものの確定されていない入力候補データ130の両方を表示するものと見做されてよい。
[0111]
 図15は、第2の実施形態に係る情報処理方法の一例を説明するための図である。図15に示すように、HMD10は、仮想空間に入力画面100Bを立体表示する機能を有する。HMD10は、入力画面100BにおけるユーザUの視線の移動と操作入力部50の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。例えば、HMD10は、入力画面100BをユーザUの弁別視野に表示する。例えば、HMD10は、ユーザUの眼前に入力画面100Bを表示させ、ユーザUの視線情報に基づいて入力画面100Bにおける入力候補点Pを検出する。
[0112]
 図15に示す例では、入力画面100Bは、キーボード110と、入力欄120と、を有する。キーボード110は、複数のキーオブジェクト111を有する。本実施形態では、キーボード110は、QWERTY配列のキーボードの場合について説明するが、これに限定されない。キーボード110は、ユーザUの視線Lの移動に応じて移動されて表示される。入力欄120は、仮想空間における所定位置に表示される。すなわち、HMD10は、入力欄120の表示位置を固定した状態で、当該入力欄120の背後を移動可能なキーボード110を入力画面100Bに表示させる。本実施形態では、HMD10は、入力欄120の背後のキーボード110をユーザUの視線Lに応じて移動させる。換言すると、HMD10は、入力欄120を基準にして、キーボード110を上下、左右にスクロールさせる。なお、HMD10は、入力欄120をキーボード110上から外部にはみ出すように表示してもよいし、入力欄120をキーボード110上から外部にはみ出さないように表示してもよい。そして、HMD10は、入力候補データ130を入力欄120に表示する。
[0113]
 図15に示すステップS31では、ユーザUは、「Goodmorning」の文字列を入力する場合に、「Goodmorni」までの入力が終了している。この場合、HMD10は、「Goodmorni」を示す入力候補データ130を、キーボード110上の入力欄120に重畳するよう表示する。そして、ユーザUは、「n」のキーオブジェクト111近傍に視線Lを移動させている。この場合、HMD10は、入力候補点Pが「n」のキーオブジェクト111の近傍にあることを検出すると、入力候補点Pが指示する「n」のキーオブジェクト111が入力欄120に位置するように、キーボード110の表示位置を変更する。すなわち、入力候補点Pが指示する「n」のキーオブジェクト111が入力欄120に位置するように、キーオブジェクト111と入力欄120との相対的な位置関係を変更する。より具体的には、HMD10は、キーオブジェクト111と入力欄120を近づけ、入力欄120内にキーオブジェクト111を表示する。本実施形態では、HMD10は、キーボード110をスクロールさせることで、入力候補点Pを入力欄120に位置付ける。そして、HMD10は、キーオブジェクト111の文字「n」が入力候補データ130の最後の文字として視認されるように、キーボード110をスクロールさせる。その結果、HMD10は、入力欄120の「Goodmorni」とキーオブジェクト111の「n」とを連続した文字列としてユーザUに視認させることができる。
[0114]
 ステップS32では、HMD10は、「Goodmornin」を示す入力候補データ130を、キーボード110上の入力欄120に重畳するよう表示する。そして、ユーザUは、「g」のキーオブジェクト111近傍に視線Lを移動させている。この場合、HMD10は、入力候補点Pが「g」のキーオブジェクト111近傍であることを検出すると、入力候補点Pが指示する「g」のキーオブジェクト111が入力欄120に位置するように、キーボード110の表示位置を変更する。本実施形態では、HMD10は、キーオブジェクト111の文字「g」が入力候補データ130の最後の文字として視認されるように、キーボード110をスクロールさせる。その結果、HMD10は、入力欄120の「Goodmorni」とキーオブジェクト111の「n」とを連続した文字列としてユーザUに視認させることができる。
[0115]
 なお、本実施形態では、HMD10は、入力欄120を固定して表示する場合について説明するが、これに限定されない。例えば、HMD10は、ユーザUの視線Lの移動量、視認位置等に基づいて、キーボード110と入力欄120とを相対的に移動させてもよい。
[0116]
 以上のように、第2の実施形態に係るHMD10は、複数のキーオブジェクト111に入力欄120を重畳させ、入力候補点Pが指示するキーオブジェクト111が入力欄120に位置するように、複数のキーオブジェクト111の表示位置を変更する。これにより、HMD10は、ユーザUが入力欄120に視線Lを移動させる移動量を低減させることができる。その結果、HMD10は、入力候補データ130へのユーザUの視線Lの移動量を低減させることで、ユーザUの身体的な負荷を軽減して入力結果を確認させることができる。
[0117]
 また、HMD10は、入力欄120の表示位置を変更せずに、入力候補点Pによって選択されたキーオブジェクト111が入力欄120に位置するように、複数のキーオブジェクト111の表示位置を変更する。これにより、HMD10は、入力欄120の表示位置を固定し、キーオブジェクト111を移動させることで、視線Lを用いた入力操作を向上させることができる。その結果、HMD10は、ユーザUの身体的な負荷を軽減して斬新な入力を実現させることができる。
[0118]
 なお、第2の実施形態は、他の実施形態、変形例の入力候補データ130、131等と組み合わせてもよい。
[0119]
(第3の実施形態)
[第3の実施形態に係る情報処理装置の概要]
 次に、第2の実施形態について説明する。図16は、第3の実施形態に係る情報処置方法の一例を説明するための図である。図16に示すように、第2の実施形態に係る情報処理装置は、タブレット端末10Aである。タブレット端末10Aは、上述した表示部11と、検出部12と、通信部13と、記憶部14と、制御部15と、を備える。なお、第1の実施形態に係るHMD10と同様の構成については、説明を省略する。
[0120]
 タブレット端末10Aは、表示部11に入力画面100を表示する機能を有する。タブレット端末10Aは、入力画面100におけるユーザUの視線Lの移動と操作入力部50の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。例えば、タブレット端末10Aは、ユーザUの眼前に入力画面100を表示させ、ユーザUの視線情報に基づいて入力画面100における入力候補点Pを検出部12によって検出する。
[0121]
 図16に示す例では、入力画面100は、キーボード110と、入力欄120と、を有する。キーボード110は、複数のキーオブジェクト111を有する。入力欄120は、入力画面100におけるキーボード110の表示領域とは異なる表示領域に表示されている。入力欄120は、キーボード110から離れた入力画面100の上部に表示されている。
[0122]
 タブレット端末10Aは、表示部11に入力画面100を表示する機能を有する。タブレット端末10Aは、入力画面100におけるユーザUの視線の移動と操作入力部50の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。タブレット端末10Aは、タブレット端末10Aを視認しているユーザUの視線情報に基づいて、入力画面100における入力候補点Pを検出部12によって検出する。検出部12は、入力画面100からユーザUの視点位置Eまでの距離を検出する。本実施形態では、検出部12は、視点位置Eから人間が文字を認識できる視野角度の範囲Rにおける距離Dを検出する。範囲Rは、視線Lから文字を認識できる視野角度θを通る直線と視線Lとが交わった入力画面100の一対の点と視点位置Eと結ぶ領域となっている。なお、人間が文字を認識できる視野角度の範囲Rは、本開示における入力候補点Pの近傍の一例である。
[0123]
 タブレット端末10Aの表示制御部15cは、入力候補データ130を入力候補点Pに追従させる機能を有する。表示制御部15cは、追従表示を適用する入力候補データ130のデータ数を制御する機能を有する。表示制御部15cは、入力候補データ130のデータ数が制限数になると、追従するように表示させる入力候補データ130の一部を省略する機能を有する。表示制御部15cは、検出部12が検出した入力画面100から視点位置Eまでの距離Dに基づいて入力候補データ130のデータ数を変更する機能を有する。例えば、表示制御部15cは、入力画面100から視点位置Eまでの距離Dと視野角度θとに基づいて、入力候補点Pに対応した入力画面100上の長さXを算出し、当該長さXに基づいて入力候補データ130のデータ数を変更する。具体的には、表示制御部15cは、算出式(1)によって入力画面100上の長さXを算出する。
 X=D*tanθ ・・・(1)
[0124]
 表示制御部15cは、例えば、視点位置Eと入力画面100との距離が60cm、視野角度θが5度である場合、入力画面100上の長さXを約5.2cmと算出する。この場合、表示制御部15cは、長さXの範囲に収まるように、入力候補データ130のデータ数を決定する。図16に示す例では、表示制御部15cは、データ数を3文字と決定し、「very nic」の入力候補のうちの最後の3文字に基づいて、「…nic」を示す入力候補データ130を入力候補点Pに追従させる。なお、入力候補データ130のデータ数の決定方法は、上述した第1及び第2の実施形態でも用いることができる。
[0125]
 タブレット端末10Aは、入力画面100を視認するユーザUの視点位置Eが遠い場合と近い場合とで、キーボード110上に重畳させる入力候補データ130のデータ数を変更してもよい。また、タブレット端末10Aは、入力画面100から視点位置Eまでの距離Dに基づいて、重畳させる入力候補データ130のフォントサイズを変更してもよい。また、タブレット端末10Aは、入力画面100から視点位置Eまでの距離Dを常時監視することで、距離Dの変化に応じて入力候補データ130のデータ数、フォントサイズ等を変更してもよい。
[0126]
 以上のように、第3の実施形態に係るタブレット端末10Aは、検出部12が検出した入力画面100から視点位置Eまでの距離Dに基づいて、重畳表示を適用する入力候補データ130のデータ数を変更する。これにより、タブレット端末10Aは、ユーザUの視点位置Eに適した入力候補データ130の重畳表示を行うことができる。その結果、タブレット端末10Aは、入力候補データ130へのユーザUの視線Lの移動量を低減させるととともに、重畳表示させた入力候補データ130の視認性を向上させることができる。
[0127]
 なお、第3の実施形態に、他の実施形態、変形例の技術思想を組み合わせてもよい。
[0128]
[ハードウェア構成]
 上述してきた実施形態に係る情報処理装置は、例えば図17に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係る情報処理装置を例に挙げて説明する。図17は、情報処理装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
[0129]
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
[0130]
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
[0131]
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係るプログラムを記録する記録媒体である。
[0132]
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
[0133]
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
[0134]
 例えば、コンピュータ1000が実施形態に係る情報処理装置として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、選択部15a、編集部15b、表示制御部15c等の機能を含む制御部15を実現する。また、HDD1400には、本開示に係るプログラムや、記憶部14内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
[0135]
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
[0136]
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
[0137]
 また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理装置が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
[0138]
 また、本明細書の情報処理装置の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
[0139]
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出する検出部と、
 前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御する制御部と、
 を備える情報処理装置。
(2)
 前記制御部は、前記表示された入力候補情報の位置が前記注視点の位置に追従するよう前記表示部を制御する
 前記(1)に記載の情報処理装置。
(3)
 前記制御部は、前記注視点の位置に追従する、表示される前記選択された入力候補情報の数を制限する
 前記(1)または(2)に記載の情報処理装置。
(4)
 前記制御部は、前記選択された入力候補情報の数が制限数より大きい場合、表示される前記選択された入力候補情報の数を前記制限数以下に制限する
 前記(1)から(3)のいずれかに記載の情報処理装置。
(5)
 前記制御部は、前記入力候補情報が表示されてから前記複数のキーオブジェクトのいずれも選択されない状態が所定時間継続した場合、前記表示された入力候補情報の少なくとも一部を消去するよう前記表示部を制御する
 前記(4)に記載の情報処理装置。
(6)
 前記制御部は、前記選択された入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つに隣接するように前記表示部を制御する
 前記(2)に記載の情報処理装置。
(7)
 前記選択された入力候補情報は、前記注視点に基づいて順次に選択された複数の入力候補情報を含み、
 前記制御部は、前記複数の入力候補情報のうち最新の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つに隣接するように前記表示部を制御する
 前記(6)に記載の情報処理装置。
(8)
 前記制御部は、前記複数の入力候補情報を、選択された順で所定の方向に配列するよう前記表示部を制御する
 前記(7)に記載の情報処理装置。
(9)
 前記所定の方向は、水平方向であり、
 前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つの左側に隣接するように前記表示部を制御する
 前記(8)に記載の情報処理装置。
(10)
 前記所定の方向は、上下方向であり、
 前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つの上方に隣接するように前記表示部を制御する
 前記(8)に記載の情報処理装置。
(11)
 前記所定の方向は、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つを中心とした円周方向であり、
 前記制御部は、前記複数の入力候補情報が、前記選択された順で前記円周方向に沿って時計回りに配列されるよう前記表示部を制御する
 前記(8)に記載の情報処理装置。
(12)
 前記制御部は、前記複数の入力候補情報の端部を、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つに隣接する他のキーオブジェクトに重畳させるよう前記表示部を制御する
 前記(8)に記載の情報処理装置。
(13)
 前記制御部は、前記選択された入力候補情報を入力欄内に表示するとともに、前記複数のキーオブジェクトのうち少なくとも1つに入力欄を重畳させ、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つが前記入力欄内に位置するように、前記複数のキーオブジェクトと前記入力欄の相対的な位置関係を変更する
 前記(6)に記載の情報処理装置。
(14)
 前記制御部は、前記入力欄の表示位置を変更せずに、前記複数のキーオブジェクトの表示位置を変更する
 前記(13)に記載の情報処理装置。
(15)
 前記制御部は、前記ユーザから見て奥行方向において、前記入力候補情報が前記キーオブジェクトの手前に立体的に配置されるように前記表示部を制御する
 前記(1)から(14)のいずれかに記載の情報処理装置。
(16)
 前記制御部は、前記複数のキーオブジェクトの表示範囲外に入力欄を表示し、前記注視点に基づいて選択された前記入力候補情報を、前記入力欄に表示するよう前記表示部を制御する
 前記(1)から(15)のいずれかに記載の情報処理装置。
(17)
 前記制御部は、前記視線情報に関する所定の条件が満たされた場合、前記注視点の近傍にある前記入力候補情報の少なくとも一部の表示を省略あるいは消去しつつ、前記入力欄にある前記入力候補情報の前記少なくとも一部の表示を維持する
 前記(16)に記載の情報処理装置。
(18)
 前記制御部は、前記選択された入力候補情報に基づいて予測され、前記注視点に基づいて選択可能である予測入力候補情報を、前記注視点の近傍に表示するよう前記表示部を制御する
 前記(1)から(17)のいずれかに記載の情報処理装置。
(19)
 前記検出部は、仮想空間内に設定された前記複数のキーオブジェクトを含む仮想平面から、前記仮想空間内における前記ユーザの視点位置までの距離を検出し、
 前記制御部は、前記検出部が検出した前記視点位置までの距離に基づいて、前記入力候補情報のデータ数を変更する
 前記(1)から(18)のいずれかに記載の情報処理装置。
(20)
 コンピュータが、
 ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
 前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
 を含む情報処理方法。
(21)
 コンピュータに、
 ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
 前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
 を実行させるプログラム。

符号の説明

[0140]
 10 ヘッドマウントディスプレイ(HMD)
 11 表示部
 12 検出部
 13 通信部
 14 記憶部
 15 制御部
 15a 選択部
 15b 編集部
 15c 表示制御部
 50 操作入力部
 100 入力画面
 110 キーボード
 111 キーオブジェクト
 120 入力欄
 130 入力候補データ
 L 視線
 P 入力候補点
 U ユーザ

請求の範囲

[請求項1]
 ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出する検出部と、
 前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御する制御部と、
 を備える情報処理装置。
[請求項2]
 前記制御部は、前記表示された入力候補情報の位置が前記注視点の位置に追従するよう前記表示部を制御する
 請求項1に記載の情報処理装置。
[請求項3]
 前記制御部は、前記注視点の位置に追従する、表示される前記選択された入力候補情報の数を制限する
 請求項2に記載の情報処理装置。
[請求項4]
 前記制御部は、前記選択された入力候補情報の数が制限数より大きい場合、表示される前記選択された入力候補情報の数を前記制限数以下に制限する
 請求項3に記載の情報処理装置。
[請求項5]
 前記制御部は、前記入力候補情報が表示されてから前記複数のキーオブジェクトのいずれも選択されない状態が所定時間継続した場合、前記表示された入力候補情報の少なくとも一部を消去するよう前記表示部を制御する
 請求項4に記載の情報処理装置。
[請求項6]
 前記制御部は、前記選択された入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つに隣接するように前記表示部を制御する
 請求項2に記載の情報処理装置。
[請求項7]
 前記選択された入力候補情報は、前記注視点に基づいて順次に選択された複数の入力候補情報を含み、
 前記制御部は、前記複数の入力候補情報のうち最新の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つに隣接するように前記表示部を制御する
 請求項6に記載の情報処理装置。
[請求項8]
 前記制御部は、前記複数の入力候補情報を、選択された順で所定の方向に配列するよう前記表示部を制御する
 請求項7に記載の情報処理装置。
[請求項9]
 前記所定の方向は、水平方向であり、
 前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つの左側に隣接するように前記表示部を制御する
 請求項8に記載の情報処理装置。
[請求項10]
 前記所定の方向は、上下方向であり、
 前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つの上方に隣接するように前記表示部を制御する
 請求項8に記載の情報処理装置。
[請求項11]
 前記所定の方向は、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つを中心とした円周方向であり、
 前記制御部は、前記複数の入力候補情報が、前記選択された順で前記円周方向に沿って時計回りに配列されるよう前記表示部を制御する
 請求項8に記載の情報処理装置。
[請求項12]
 前記制御部は、前記複数の入力候補情報の端部を、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つに隣接する他のキーオブジェクトに重畳させるよう前記表示部を制御する
 請求項8に記載の情報処理装置。
[請求項13]
 前記制御部は、前記選択された入力候補情報を入力欄内に表示するとともに、前記複数のキーオブジェクトのうち少なくとも1つに入力欄を重畳させ、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち1つが前記入力欄内に位置するように、前記複数のキーオブジェクトと前記入力欄の相対的な位置関係を変更する
 請求項6に記載の情報処理装置。
[請求項14]
 前記制御部は、前記入力欄の表示位置を変更せずに、前記複数のキーオブジェクトの表示位置を変更する
 請求項13に記載の情報処理装置。
[請求項15]
 前記制御部は、前記ユーザから見て奥行方向において、前記入力候補情報が前記キーオブジェクトの手前に立体的に配置されるように前記表示部を制御する
 請求項1に記載の情報処理装置。
[請求項16]
 前記制御部は、前記複数のキーオブジェクトの表示範囲外に入力欄を表示し、前記注視点に基づいて選択された前記入力候補情報を、前記入力欄に表示するよう前記表示部を制御する
 請求項1に記載の情報処理装置。
[請求項17]
 前記制御部は、前記視線情報に関する所定の条件が満たされた場合、前記注視点の近傍にある前記入力候補情報の少なくとも一部の表示を省略あるいは消去しつつ、前記入力欄にある前記入力候補情報の前記少なくとも一部の表示を維持する
 請求項16に記載の情報処理装置。
[請求項18]
 前記制御部は、前記選択された入力候補情報に基づいて予測され、前記注視点に基づいて選択可能である予測入力候補情報を、前記注視点の近傍に表示するよう前記表示部を制御する
 請求項1に記載の情報処理装置。
[請求項19]
 前記検出部は、仮想空間内に設定された前記複数のキーオブジェクトを含む仮想平面から、前記仮想空間内における前記ユーザの視点位置までの距離を検出し、
 前記制御部は、前記検出部が検出した前記視点位置までの距離に基づいて、前記入力候補情報のデータ数を変更する
 請求項1に記載の情報処理装置。
[請求項20]
 コンピュータが、
 ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
 前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
 を含む情報処理方法。
[請求項21]
 コンピュータに、
 ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
 前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも1つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
 を実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]