Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2017094607) DISPLAY CONTROL DEVICE AND DISPLAY CONTROL METHOD
Document

明 細 書

発明の名称 表示制御装置及び表示制御方法

技術分野

0001  

背景技術

0002  

発明の概要

発明が解決しようとする課題

0003  

課題を解決するための手段

0004   0005   0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064  

符号の説明

0065  

産業上の利用可能性

0066  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 表示制御装置及び表示制御方法

技術分野

[0001]
 本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置及び表示制御方法に関する。

背景技術

[0002]
 ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

発明の概要

発明が解決しようとする課題

[0003]
 本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。

課題を解決するための手段

[0004]
 上記課題を解決するために、本発明のある態様の表示制御装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備える。表示制御部は、仮想空間内の複数の位置を視点位置として設定可能とし、複数の位置の中からヘッドマウントディスプレイの姿勢に応じて決定される位置に視点位置を変更可能とし、視点位置を変更した場合、変更後の視点位置から仮想空間内の第1の位置を見る方向を視線方向として設定する。
[0005]
 本発明の別の態様は、表示制御装置である。この装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部と、ヘッドマウントディスプレイの位置に応じて視点位置を移動させる視点位置制御部と、を備える。視点位置制御部は、ヘッドマウントディスプレイが水平方向に移動された場合に、垂直方向に移動された場合よりも大きく視点位置を移動させる。
[0006]
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0007]
 本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。

図面の簡単な説明

[0008]
[図1] 実施の形態に係るゲームシステムの使用環境を示す図である。
[図2] 実施の形態に係るヘッドマウントディスプレイの外観図である。
[図3] ヘッドマウントディスプレイの機能構成図である。
[図4] 入力装置の外観構成を示す図である。
[図5] 入力装置の内部構成を示す図である。
[図6] ゲーム装置の構成を示す図である。
[図7] ゲーム装置の機能構成図である。
[図8] 図8(a)~(c)は、ヘッドマウントディスプレイに表示される画像の例を示す図である。
[図9] 視点位置及び視線方向の設定方法を説明するための模式図である。
[図10] 図10(a)(b)は、ヘッドマウントディスプレイに表示される画像の例を示す図である。
[図11] ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。
[図12] 図12(a)~(c)は、ヘッドマウントディスプレイに表示される画像の例を示す図である。
[図13] 実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。

発明を実施するための形態

[0009]
 本実施の形態では、ヘッドマウントディスプレイ(HMD)を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。
[0010]
 図1は、実施の形態に係るゲームシステム1の使用環境を示す。ゲームシステム1は、ゲームプログラムを実行するゲーム装置10と、ユーザの指示をゲーム装置10に入力するための入力装置20と、ユーザの周囲の実空間を撮像する撮像装置14と、ゲーム装置10により生成される第1ゲーム画像を表示するヘッドマウントディスプレイ100と、ゲーム装置10により生成される第2ゲーム画像を表示する表示装置12とを備える。
[0011]
 ゲーム装置10は、入力装置20又はヘッドマウントディスプレイ100により入力される指示入力や、入力装置20又はヘッドマウントディスプレイ100の位置又は姿勢などに基づいてゲームプログラムを実行し、第1ゲーム画像を生成してヘッドマウントディスプレイ100に伝送し、第2ゲーム画像を生成して表示装置12に伝送する。
[0012]
 ヘッドマウントディスプレイ100は、ゲーム装置10において生成された第1ゲーム画像を表示する。また、ヘッドマウントディスプレイ100に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置10へ伝送する。ヘッドマウントディスプレイ100は、ゲーム装置10に有線ケーブルで接続されてもよく、また無線LANなどにより無線接続されてもよい。
[0013]
 表示装置12は、ゲーム装置10において生成された第2ゲーム画像を表示する。表示装置12は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。
[0014]
 入力装置20は、ユーザによる指示入力をゲーム装置10に伝送する機能をもち、本実施の形態ではゲーム装置10との間で無線通信可能な無線コントローラとして構成される。入力装置20とゲーム装置10は、Bluetooth(登録商標)プロトコルを用いて無線接続を確立してもよい。なお入力装置20は、無線コントローラに限らず、ゲーム装置10とケーブルを介して接続される有線コントローラであってもよい。
[0015]
 入力装置20はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置20のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置10に送信される。
[0016]
 撮像装置14は、CCD撮像素子またはCMOS撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置14は、USB(Universal Serial Bus)あるいはその他のインタフェースを介してゲーム装置10と接続する。撮像装置14により撮像された画像は、ゲーム装置10において、入力装置20及びヘッドマウントディスプレイ100の位置及び姿勢を導出するために用いられる。撮像装置14は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置14により、撮像装置14と入力装置20又はヘッドマウントディスプレイ100などとの間の距離を取得することができる。
[0017]
 本実施例のゲームシステム1において、入力装置20及びヘッドマウントディスプレイ100は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置10から指示された色で発光し、撮像装置14により撮像される。撮像装置14は入力装置20を撮像し、フレーム画像を生成してゲーム装置10に供給する。ゲーム装置10はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置10は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。
[0018]
 また、入力装置20及びヘッドマウントディスプレイ100は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置10に送信され、ゲーム装置10は、センサの検出値を取得して、実空間における入力装置20及びヘッドマウントディスプレイ100の姿勢情報を取得する。ゲーム装置10は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。
[0019]
 図2は、実施の形態に係るヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、頭部接触部112、及び発光部114を備える。
[0020]
 本体部110には、ディスプレイ、位置情報を取得するためのGPSユニット、姿勢センサ、通信装置などが備えられる。頭部接触部112には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部114は、上述したように、ゲーム装置10から指示された色で発光し、撮像装置14により撮像される画像においてヘッドマウントディスプレイ100の位置を算出するための基準として機能する。
[0021]
 ヘッドマウントディスプレイ100には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ100に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
[0022]
 本実施の形態においては、ヘッドマウントディスプレイ100について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
[0023]
 図3は、ヘッドマウントディスプレイ100の機能構成図である。ヘッドマウントディスプレイ100は、入力インタフェース122、出力インタフェース130、バックライト132、通信制御部140、ネットワークアダプタ142、アンテナ144、記憶部150、GPSユニット161、無線ユニット162、姿勢センサ164、外部入出力端子インタフェース170、外部メモリ172、時計部180、表示装置190、及び制御部160を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
[0024]
 制御部160は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース122は、入力ボタンなどから操作信号や設定信号を受け付け、制御部160に供給する。出力インタフェース130は、制御部160から画像信号を受け取り、表示装置190に表示させる。バックライト132は、表示装置190を構成する液晶ディスプレイにバックライトを供給する。
[0025]
 通信制御部140は、ネットワークアダプタ142またはアンテナ144を介して、有線または無線通信により、制御部160から入力されるデータを外部に送信する。通信制御部140は、また、ネットワークアダプタ142またはアンテナ144を介して、有線または無線通信により、外部からデータを受信し、制御部160に出力する。
[0026]
 記憶部150は、制御部160が処理するデータやパラメータ、操作信号などを一時的に記憶する。
[0027]
 GPSユニット161は、制御部160からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部160に供給する。無線ユニット162は、制御部160からの操作信号にしたがって、無線基地局から位置情報を受信して制御部160に供給する。
[0028]
 姿勢センサ164は、ヘッドマウントディスプレイ100の本体部110の向きや傾きなどの姿勢情報を検出する。姿勢センサ164は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
[0029]
 外部入出力端子インタフェース170は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ172は、フラッシュメモリなどの外部メモリである。
[0030]
 時計部180は、制御部160からの設定信号によって時間情報を設定し、時間データを制御部160に供給する。
[0031]
 図4は、入力装置20の外観構成を示す。図4(a)は、入力装置20の上面構成を示し、図4(b)は、入力装置20の下面構成を示す。入力装置20は、発光体22およびハンドル24を有する。発光体22は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル24の上面には、操作ボタン30、32、34、36、38が設けられ、下面には操作ボタン40が設けられる。ユーザはハンドル24の端部を手で把持した状態で、操作ボタン30、32、34、36、38を親指で操作し、操作ボタン40を人差し指で操作する。操作ボタン30、32、34、36、38は、押下式に構成され、ユーザは押下することで操作する。操作ボタン40は、アナログ量を入力できるものであってよい。
[0032]
 ユーザは表示装置12に表示されるゲーム画面を見ながらゲームを行う。撮像装置14は、ゲームアプリケーションの実行中に発光体22を撮像する必要があるため、その撮像範囲が表示装置12と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置12の正面でゲームをプレイすることが多いため、撮像装置14は、その光軸の方向が表示装置12の正面方向と一致するように配置される。具体的に、撮像装置14は、表示装置12の近傍において、表示装置12の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置14は、入力装置20を撮像できる。
[0033]
 図5は、入力装置20の内部構成を示す。入力装置20は、無線通信モジュール48、処理部50、発光部62および操作ボタン30、32、34、36、38、40を備える。無線通信モジュール48は、ゲーム装置10の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部50は、入力装置20における所期の処理を実行する。
[0034]
 処理部50は、メイン制御部52、入力受付部54、3軸加速度センサ56、3軸ジャイロセンサ58および発光制御部60を有する。メイン制御部52は、無線通信モジュール48との間で必要なデータの送受を行う。
[0035]
 入力受付部54は、操作ボタン30、32、34、36、38、40からの入力情報を受け付け、メイン制御部52に送る。3軸加速度センサ56は、XYZの3軸方向の加速度成分を検出する。3軸ジャイロセンサ58は、XZ平面、ZY平面、YX平面における角速度を検出する。なお、ここでは、入力装置20の幅方向をX軸、高さ方向をY軸、長手方向をZ軸と設定する。3軸加速度センサ56および3軸ジャイロセンサ58は、入力装置20のハンドル24内に配置され、ハンドル24内の中心近傍に配置されることが好ましい。無線通信モジュール48は、操作ボタンからの入力情報とともに、3軸加速度センサ56による検出値情報、および3軸ジャイロセンサ58による検出値情報を、所定の周期でゲーム装置10の無線通信モジュールに送信する。この送信周期は、たとえば11.25m秒に設定される。
[0036]
 発光制御部60は、発光部62の発光を制御する。発光部62は、赤色LED64a、緑色LED64b、青色LED64cを有し、複数色の発光を可能とする。発光制御部60は、赤色LED64a、緑色LED64b、青色LED64cの発光を調整して、発光部62を所望の色に発光させる。
[0037]
 無線通信モジュール48はゲーム装置10から発光指示を受け取ると、メイン制御部52に供給し、メイン制御部52は、発光制御部60に発光指示を供給する。発光制御部60は、発光部62が発光指示により指定された色で発光するように、赤色LED64a、緑色LED64b、青色LED64cの発光を制御する。たとえば発光制御部60は、各LEDをPWM(パルス幅変調)制御で点灯制御してもよい。
[0038]
 図6は、ゲーム装置10の構成を示す。ゲーム装置10は、フレーム画像取得部80、画像処理部82、デバイス情報導出部84、無線通信モジュール86、入力受付部88、出力部90およびアプリケーション処理部300を備える。本実施例におけるゲーム装置10の処理機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置10に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、ゲーム装置10は複数のCPUを有してもよい。
[0039]
 無線通信モジュール86は、入力装置20の無線通信モジュール48との間で無線通信を確立する。これにより入力装置20は、操作ボタンの状態情報、3軸加速度センサ56および3軸ジャイロセンサ58の検出値情報を、ゲーム装置10に所定の周期で送信できるようになる。
[0040]
 無線通信モジュール86は、入力装置20から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部88に供給する。入力受付部88は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部300に引き渡す。アプリケーション処理部300は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部300は、センサ検出値情報を、入力装置20の姿勢情報として取り扱う。
[0041]
 フレーム画像取得部80はUSBインタフェースとして構成され、撮像装置14から所定の撮像速度(たとえば30フレーム/秒)でフレーム画像を取得する。画像処理部82は、フレーム画像から発光体画像を抽出する。画像処理部82は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力装置20の発光体22が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部82は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部82は、フレーム画像データを所定の閾値を用いて2値化処理し、2値化された画像を生成してもよい。この2値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“1”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“0”に符号化される。この所定の閾値を超える輝度で発光体22を点灯させることで、画像処理部82は、2値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部82は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。
[0042]
 デバイス情報導出部84は、画像処理部82で特定された発光体画像の位置および大きさから、撮像装置14からみた入力装置20およびヘッドマウントディスプレイ100の位置情報を導出する。デバイス情報導出部84は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置14からの距離情報を導出する。この位置座標および距離情報は、入力装置20およびヘッドマウントディスプレイ100の位置情報を構成する。デバイス情報導出部84は、フレーム画像ごとに入力装置20およびヘッドマウントディスプレイ100の位置情報を導出し、アプリケーション処理部300に引き渡す。アプリケーション処理部300は、入力装置20およびヘッドマウントディスプレイ100の位置情報を、ゲームの操作指示として受け取る。
[0043]
 アプリケーション処理部300は、入力装置20の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームアプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部90から表示装置12に送られ、表示画像として出力される。
[0044]
 図7は、ゲーム装置10の機能構成図である。ゲーム装置10のアプリケーション処理部300は、制御部310及びデータ保持部360を備える。制御部310は、ゲーム制御部311、指示入力取得部312、HMD情報取得部314、入力装置情報取得部315、第1画像生成部316、及び第2画像生成部317を備える。
[0045]
 データ保持部360は、ゲーム装置10において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。
[0046]
 指示入力取得部312は、入力装置20又はヘッドマウントディスプレイ100が受け付けたユーザによる指示入力に関する情報を入力装置20又はヘッドマウントディスプレイ100から取得する。
[0047]
 HMD情報取得部314は、ヘッドマウントディスプレイ100から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、HMD情報取得部314は、デバイス情報導出部84から、ヘッドマウントディスプレイ100の位置に関する情報を取得する。これらの情報は、ゲーム制御部311へ伝達される。ヘッドマウントディスプレイ100の姿勢に関する情報は、デバイス情報導出部84がヘッドマウントディスプレイ100の撮像画像を解析することにより取得されてもよい。
[0048]
 入力装置情報取得部315は、入力装置20から、入力装置20の姿勢に関する情報を取得する。また、入力装置情報取得部315は、デバイス情報導出部84から、入力装置20の位置に関する情報を取得する。これらの情報は、ゲーム制御部311へ伝達される。入力装置20の姿勢に関する情報は、デバイス情報導出部84が入力装置20の撮像画像を解析することにより取得されてもよい。
[0049]
 入力装置20が撮像装置14の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置14により撮像されなかった場合、入力装置情報取得部315は、前回取得された入力装置20の位置と、その時点以降に取得された入力装置20の姿勢に関する情報に基づいて、入力装置20の位置を算出する。例えば、入力装置20の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置20の位置からのずれを算出することにより、現在の入力装置20の位置を算出してもよい。入力装置20が撮像装置14により撮像されない間は、同様にして入力装置20の位置を逐次算出する。入力装置20が撮像装置14により再度撮像された場合、加速度データにより逐次算出された入力装置20の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、デバイス情報導出部84により新たに算出された入力装置20の位置を現在の入力装置20の位置としてもよい。ヘッドマウントディスプレイ100についても同様である。
[0050]
 ゲーム制御部311は、ゲームプログラムを実行し、指示入力取得部312が取得したユーザによる指示入力や、入力装置20又はヘッドマウントディスプレイ100の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部311は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置20の方向キーやアナログスティックなどによる入力や、入力装置20又はヘッドマウントディスプレイ100の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。
[0051]
 第1画像生成部316は、ヘッドマウントディスプレイ100に表示すべき画像を生成する。第1画像生成部316は、ゲーム制御部311により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ100の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第1画像生成部316は、所定のタイミングでヘッドマウントディスプレイ100の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ100の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第1画像生成部316は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ100に表示すべき画像などを追加して、第1画像を生成する。第1画像生成部316により生成された第1画像は、無線通信モジュール又は有線通信モジュールを介してヘッドマウントディスプレイ100に送信される。
[0052]
 第2画像生成部317は、表示装置12に表示すべき画像を生成する。ヘッドマウントディスプレイ100に表示される画像と同じ画像を表示装置12に表示する場合は、第1画像生成部316により生成された第1画像が表示装置12にも送信される。ヘッドマウントディスプレイ100に表示される画像とは異なる画像を表示装置12に表示する場合、例えば、ヘッドマウントディスプレイ100を装着したユーザと、表示装置12を視聴しているユーザとが、対戦ゲームを実行する場合などは、第2画像生成部317は、第1画像生成部316とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第2画像生成部317は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置12に表示すべき画像などを追加して、第2画像を生成する。第2画像生成部317により生成された第2画像は、無線通信モジュール又は有線通信モジュールを介して表示装置12に送信される。
[0053]
 図8は、ヘッドマウントディスプレイに表示される画像の例を示す。ゲーム制御部311は、ゲームフィールドに設定された複数の位置の間で視点位置を変更する機能を提供する。図8(a)に示す表示画面においては、ゲームフィールドに設定された複数の位置のうちの一つを視点位置として生成されたゲームフィールドの画像が表示される。表示画面には、ゲームフィールドに視点位置として設定された位置を示すマーカー500及び502が更に表示されている。ユーザが首を上下左右に振ってヘッドマウントディスプレイ100の姿勢を変更すると、第1画像生成部316は、ヘッドマウントディスプレイ100の姿勢に応じて視線方向を変更する。ヘッドマウントディスプレイ100の内側にユーザの眼球を撮影するためのカメラを設け、ユーザの視線方向を検出することを可能とする場合は、ユーザの視線を更に加味して視線方向を変更してもよい。ユーザの視線は、既知の任意の視線追跡技術を用いて検出してもよい。
[0054]
 ユーザが、マーカーの方向に顔又は視線を向けることにより、マーカーが表示画面の中央付近に設定された所定の範囲内に入ると、図8(b)に示すように、ゲーム制御部311は、第1画像生成部316にマーカー500の表示態様を変更させ、マーカー500により示される位置が視点位置の設定候補として選択されたことを示す。視点位置の設定候補が選択された状態で、ユーザが所定のボタンを入力したり、所定のジェスチャーを実行したりするなどして、視点位置を変更するよう指示すると、ゲーム制御部311は、選択されているマーカー500により示される位置に視点位置を変更するよう第1画像生成部316に指示する。第1画像生成部316は、図8(c)に示すように、マーカー500の位置を視点位置とするゲームフィールドの画像を生成して表示する。図8(c)に示す表示画面には、図8(a)に示す表示画面において視点位置に設定されていた位置を示すマーカー504が表示される。
[0055]
 図9は、視点位置及び視線方向の設定方法を説明するための模式図である。本実施の形態では、ゲームフィールドの中央付近を中心とする球面上に視点位置が設定され、視点位置からゲームフィールドの中央付近の第1の位置を見る方向にデフォルトの視線方向が設定される。これにより、視点位置がどこに設定されても、ゲームフィールドを見渡すことが可能な画像を表示することができる。第1画像生成部316は、視点位置を変更するとき、視点位置を球面に沿って滑らかに移動させ、視点位置の移動中も、視点位置からゲームフィールドの第1の位置を見る方向に視線方向を設定してゲームフィールドの画像を生成する。これにより、視点位置の変更する間も、ゲームフィールドを見渡すことが可能な画像を表示することができるので、視点位置が大きく移動されるような場合であっても、視点位置がどこに移動されるのかをユーザに分かりやすく示すことができる。なお、視点位置は、ゲームフィールドの任意の点を中心とする球面又は回転楕円体面に設けられてもよいし、それら以外の任意の曲面上に設けられてもよい。また、視点位置を変更するときに、変更前の視点位置から変更後の視点位置まで視点位置を直線状又は曲線状に連続的に変化させてもよい。図8に示した例では、下側の半球面は地中になるので、上側の半球面にのみ視点位置を設定可能であるが、宇宙空間などをゲームフィールドとする場合は、下側の半球面にも視点位置を設定可能としてもよい。
[0056]
 図10は、ヘッドマウントディスプレイに表示される画像の例を示す。図10(a)に示すように、ある視点位置から見たゲームフィールドの画像が表示されているときに、ユーザが頭を前方に移動させることにより、ヘッドマウントディスプレイ100を前方に移動させると、ゲーム制御部311は、第1画像生成部316に、視点位置をゲームフィールドの中央付近の第2の位置に移動させる。ゲーム制御部311は、ヘッドマウントディスプレイ100が所定の距離以上前方に移動されたときに視点位置を移動させてもよいし、ヘッドマウントディスプレイ100の移動速度が所定値以上であったときに視点位置を移動させてもよい。これにより、図10(b)に示すように、視点位置を観客席からゲームフィールドの中央付近に移動させることができるので、観客の視点でサッカーなどのゲームを見ていたユーザが、競技中のフィールド内に入り込むような体験を提供することができる。また、ヘッドマウントディスプレイ100を用いた分かりやすい視点移動方法を提供することができる。
[0057]
 図11は、ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。本図に示すゲームにおいて、ユーザは穴512の開いた箱510の中に隠れ、ハンマー514で叩かれないようにしながら穴512から顔を出して、プレート516に書かれた文字を読み取る。ゲーム制御部311は、ヘッドマウントディスプレイ100の位置に基づいて視点位置を変更させる。ゲーム制御部311は、所定のタイミングでハンマー514が叩く穴512を決定し、決定された穴512の上にハンマー514を振り下ろす。ユーザの視点位置が穴512よりも上に出ているときに、その穴512にハンマー514が振り下ろされると、ユーザがハンマー514で叩かれたものとする。ユーザが所定回数以上ハンマー514で叩かれると、ゲームオーバーとする。
[0058]
 図12は、ヘッドマウントディスプレイに表示される画像の例を示す。図12(a)は、ユーザが真ん中の穴から上を見上げたときのゲーム画面を示す。真ん中の穴にハンマーが振り下ろされようとしている。図12(b)は、ユーザがヘッドマウントディスプレイ100を右に移動させて、視点位置を右側の穴の下に移動させたときのゲーム画面を示す。ハンマーは真ん中の穴に振り下ろされようとしているので、しばらくの間は右側の穴にハンマーが振り下ろされることはない。このとき、ユーザがヘッドマウントディスプレイ100を上に移動させて、視点位置を右側の穴から上に移動させると、図12(c)に示すように、箱の外側に配置されたプレートに書かれた文字を視認することができる。
[0059]
 図13は、実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。ユーザが椅子などに座った状態でゲームを行う場合、腰の位置は固定されているので、頭を円弧状に移動させることになるが、ゲームを行う際に支障なく移動可能な範囲はせいぜい100~120°程度である。したがって、ヘッドマウントディスプレイ100の移動可能範囲を有効に利用するために、ゲーム制御部311は、ヘッドマウントディスプレイ100が水平方向に移動された場合に、垂直方向に移動された場合よりも大きく視点位置を移動させる。また、ヘッドマウントディスプレイ100が左右に移動された場合に、真ん中の穴の幅に対応する移動量を超えると、真ん中の穴と左右の穴との間の領域を飛ばして、左右の穴の下に視点位置を移動させる。具体的には、真ん中の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ100を右に移動させたとき、ヘッドマウントディスプレイ100が位置520に達すると、視点位置を真ん中の穴の右端の位置から右側の穴の左端の位置にジャンプさせる。また、右側の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ100を左に移動させたとき、ヘッドマウントディスプレイ100が位置522に達すると、視点位置を右側の穴の左端の位置から真ん中の穴の右端の位置に移動させる。これにより、ゲームにおいて視点位置を移動させる必要性がない又は少ない領域には視点位置を移動させず、視点位置を移動させる必要性がある又は多い所定の領域にのみ視点位置を移動可能とするので、ヘッドマウントディスプレイ100の移動可能範囲を有効に利用して、視点位置を移動させることができる。また、入力装置20などを使用しなくてもヘッドマウントディスプレイ100の移動により容易に視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。また、右へ移動させる場合に視点位置をジャンプさせる位置520と、左へ移動させる場合に視点位置をジャンプさせる位置522とを異ならせてヒステリシスを設けるので、ヘッドマウントディスプレイ100の角度が閾値付近の位置に対応する角度になっているときに、視点位置が頻繁に左右にジャンプしてしまう事態を低減させることができる。
[0060]
 左右の穴の上に視点位置を移動させようとすると、ヘッドマウントディスプレイ100を左右に傾けた状態でヘッドマウントディスプレイ100を上方に移動させる必要があるが、ユーザが体を左右に傾けた状態で頭を真上に移動させるのは容易ではない。したがって、本実施の形態では、ヘッドマウントディスプレイ100が左右に傾いた状態で上下に移動された場合に、移動方向が斜めに傾いていたとしても、ゲーム制御部311は、視点位置を鉛直方向に移動させ、水平方向には移動させない。ゲーム制御部311は、ヘッドマウントディスプレイ100の移動ベクトルの鉛直方向の成分に対応する移動量で視点位置を鉛直方向に移動させ、水平方向の成分を無視してもよいし、ヘッドマウントディスプレイ100の移動ベクトルの大きさに対応する移動量で視点位置を鉛直方向に移動させてもよい。このように、ヘッドマウントディスプレイ100の移動に応じて視点位置を変更する場合に、ヘッドマウントディスプレイ100の移動ベクトルを所定の方向のベクトルに変換することにより、視点位置の移動方向を所定の方向に限定し、不要な方向へ視点位置が移動してしまうのを防ぐことができる。また、必要な方向にのみ視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。
[0061]
 このような技術は、例えば、プレイヤーズキャラクタが壁などの障害物に隠れ、飛んでくる弾丸などをよけるようなゲームなどにも適用可能である。
[0062]
 以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
[0063]
 上記の例では、ヘッドマウントディスプレイ100の表示装置190に両眼立体視用の画像が表示されたが、別の例では、単眼立体視用の画像が表示されてもよい。
[0064]
 上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ100が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。

符号の説明

[0065]
 10 ゲーム装置、20 入力装置、100 ヘッドマウントディスプレイ、190 表示装置、311 ゲーム制御部、312 指示入力取得部、314 HMD情報取得部、315 入力装置情報取得部、316 第1画像生成部、317 第2画像生成部。

産業上の利用可能性

[0066]
 本発明は、ヘッドマウントディスプレイへの表示を制御する表示制御装置に利用可能である。

請求の範囲

[請求項1]
 視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備え、
 前記表示制御部は、前記仮想空間内の複数の位置を視点位置として設定可能とし、前記複数の位置の中から前記ヘッドマウントディスプレイの姿勢に応じて決定される位置に前記視点位置を変更可能とし、前記視点位置を変更した場合、変更後の視点位置から前記仮想空間内の第1の位置を見る方向を視線方向として設定する
ことを特徴とする表示制御装置。
[請求項2]
 前記表示制御部は、前記視点位置を変更する場合、変更前の視点位置から変更後の視点位置へ視点位置を直線状又は曲線状に連続的に移動させることを特徴とする請求項1に記載の表示制御装置。
[請求項3]
 前記表示制御部は、前記ヘッドマウントディスプレイが所定量以上又は所定速度以上で移動された場合に、前記視点位置を前記仮想空間内の第2の位置に移動させることを特徴とする請求項1又は2に記載の表示制御装置。
[請求項4]
 表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップを備え、
 前記表示制御部は、前記仮想空間内の複数の位置を視点位置として設定可能とし、前記複数の位置の中から前記ヘッドマウントディスプレイの姿勢に応じて決定される位置に前記視点位置を変更可能とし、前記視点位置を変更した場合、変更後の視点位置から前記仮想空間内の第1の位置を見る方向を視線方向として設定する
ことを特徴とする表示制御方法。
[請求項5]
 コンピュータを、
 視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部として機能させ、
 前記表示制御部は、前記仮想空間内の複数の位置を視点位置として設定可能とし、前記複数の位置の中から前記ヘッドマウントディスプレイの姿勢に応じて決定される位置に前記視点位置を変更可能とし、前記視点位置を変更した場合、変更後の視点位置から前記仮想空間内の第1の位置を見る方向を視線方向として設定する
ことを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
[請求項6]
 視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部と、
 前記ヘッドマウントディスプレイの位置に応じて前記視点位置を移動させる視点位置制御部と、
を備え、
 前記視点位置制御部は、前記ヘッドマウントディスプレイが水平方向に移動された場合に、垂直方向に移動された場合よりも大きく前記視点位置を移動させる
ことを特徴とする表示制御装置。
[請求項7]
 前記視点位置制御部は、前記ヘッドマウントディスプレイが所定の方向に移動された場合に、前記ヘッドマウントディスプレイの位置が第3の位置に達すると、前記視点位置を第4の位置から第5の位置にジャンプさせ、前記ヘッドマウントディスプレイが前記所定の方向と逆の方向に移動された場合に、前記ヘッドマウントディスプレイの位置が第6の位置に達すると、前記視点位置を前記第5の位置から前記第4の位置にジャンプさせることを特徴とする請求項6に記載の表示制御装置。
[請求項8]
 前記視点位置制御部は、前記ヘッドマウントディスプレイが移動された場合に、移動方向を所定の方向に変換し、変換された方向の移動量に応じて前記視点位置を移動させることを特徴とする請求項6又は7に記載の表示制御装置。
[請求項9]
 表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップと、
 視点位置制御部が、前記ヘッドマウントディスプレイの位置に応じて前記視点位置を移動させるステップと、
を備え、
 前記視点位置制御部は、前記ヘッドマウントディスプレイが水平方向に移動された場合に、垂直方向に移動された場合よりも大きく前記視点位置を移動させる
ことを特徴とする表示制御方法。
[請求項10]
 コンピュータを、
 視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部、
 前記ヘッドマウントディスプレイの位置に応じて前記視点位置を移動させる視点位置制御部、
として機能させ、
 前記視点位置制御部は、前記ヘッドマウントディスプレイが水平方向に移動された場合に、垂直方向に移動された場合よりも大きく前記視点位置を移動させる
ことを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]