Parte del contenido de esta aplicación no está disponible en este momento.
Si esta situación persiste, contáctenos aComentarios y contacto
1. (WO2019039378) INFORMATION PROCESSING DEVICE AND IMAGE DISPLAY METHOD
Document

明 細 書

発明の名称 情報処理装置および画像表示方法

技術分野

0001  

背景技術

0002  

発明の概要

発明が解決しようとする課題

0003   0004  

課題を解決するための手段

0005   0006   0007  

発明の効果

0008  

図面の簡単な説明

0009  

発明を実施するための形態

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080  

符号の説明

0081  

産業上の利用可能性

0082  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 情報処理装置および画像表示方法

技術分野

[0001]
 本発明は、ヘッドマウントディスプレイに画像を表示する技術に関する。

背景技術

[0002]
 ヘッドマウントディスプレイ(HMD)はユーザの頭部に装着されて仮想現実(VR)または拡張現実(AR)の映像世界をユーザに提供する。最近ではHMDをゲーム装置に接続して、ユーザがHMDに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることも行われている。HMDはユーザの視野全体にVR画像を提供するために、映像世界へのユーザの没入感を高め、ゲーム等のエンタテインメント性を飛躍的に向上させる効果がある。HMDにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して仮想3次元空間の画像を生成することで、映像世界への没入感をさらに高めることができる。

発明の概要

発明が解決しようとする課題

[0003]
 HMDの普及に伴う新たなマーケティング手法として、VR空間内およびAR空間内に広告等の付加的なコンテンツを表示することが考えられる。このような付加的なコンテンツをVR空間内およびAR空間内においてユーザへ効果的に提示する手法は、これまで十分に提案されてこなかった。
[0004]
 本発明はこうした課題に鑑みてなされたものであり、1つの目的は、広告等の付加的なコンテンツをVR空間内またはAR空間内においてユーザへ効果的に提示する技術を提供することにある。

課題を解決するための手段

[0005]
 上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出する方向検出部と、ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第1画像を生成する画像生成部と、画像生成部により生成された第1画像とともに、メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第2画像をヘッドマウントディスプレイに表示させる表示制御部と、を備える。表示制御部は、方向検出部により検出されたユーザの視線方向または頭部の向きに応じて、ヘッドマウントディスプレイにおける第2画像の表示態様を制御する。
[0006]
 本発明の別の態様は、画像表示方法である。この方法は、ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出するステップと、ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第1画像を生成するステップと、第1画像とともに、メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第2画像をヘッドマウントディスプレイに表示させるステップと、ユーザの視線方向または頭部の向きに応じて、ヘッドマウントディスプレイにおける第2画像の表示態様を制御するステップと、をコンピュータが実行する。
[0007]
 なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0008]
 本発明によれば、広告等の付加的なコンテンツをVR空間内またはAR空間内においてユーザへ効果的に提示する技術を提供できる。

図面の簡単な説明

[0009]
[図1] 実施例における情報処理システムの構成例を示す図である。
[図2] HMDの外観形状の例を示す図である。
[図3] HMDの機能ブロックを示す図である。
[図4] 情報処理装置の機能ブロックを示す図である。
[図5] 図5(a)および図5(b)は、HMDに表示される画像を模式的に示す図である。
[図6] 図6(a)および図6(b)は、HMDに表示される画像を模式的に示す図である。
[図7] 図7(a)および図7(b)は、HMDに表示される画像を模式的に示す図である。
[図8] 図8(a)および図8(b)は、HMDに表示される画像を模式的に示す図である。
[図9] 図9(a)および図9(b)は、HMDに表示される画像を模式的に示す図である。
[図10] 図10(a)および図10(b)は、HMDに表示される画像を模式的に示す図である。

発明を実施するための形態

[0010]
 実施例の情報処理装置は、ユーザが装着したヘッドマウントディスプレイ(HMD)に対して、ユーザにより選択されたメインコンテンツに関する画像を表示させる。メインコンテンツは、HMDにおいて主たる表示対象となるコンテンツであり、外部装置からライブ配信されたデータ、もしくは、当該情報処理装置に予め記録されたデータに基づく、ユーザが視聴可能な様々な映像コンテンツを含む。例えば、メインコンテンツは、ゲーム、コンサート、トーク番組等のエンタテインメントコンテンツを含む。実施例では、メインコンテンツとしてゲームを例示する。
[0011]
 また、実施例の情報処理装置は、メインコンテンツとは異なるコンテンツであり、かつ、所定のモノまたはサービスの認知を促進するためのコンテンツ(以下「付加コンテンツ」とも呼ぶ。)に関する画像を、メインコンテンツ画像とともにHMDに表示させる。付加コンテンツは、様々なモノまたはサービスの広告を含み、また、メインコンテンツとは異なるゲームやコンサート等へユーザを誘導するためのコンテンツ(例えばゲームやコンサートへのリンク画像等)を含む。付加コンテンツのデータは、外部装置からライブ配信され、もしくは、当該情報処理装置に予め記録されてもよい。
[0012]
 また、実施例の情報処理装置は、HMDを装着したユーザの視線方向または頭部の向きに応じて、HMDにおける付加コンテンツの画像の表示態様を制御する。例えば、付加コンテンツの画像の表示態様を第1の態様から第2の態様へ変化させる。これにより、VR空間内およびAR空間内において効果的に付加コンテンツをユーザへ提示することができる。実施例では、付加コンテンツとして広告を例示する。また、実施例では、非透過型のHMDにVR画像を表示するが、光学透過型のHMDにAR画像を表示する場合も、実施例における付加コンテンツ画像の表示技術を適用可能である。
[0013]
 図1は、実施例における情報処理システム1の構成例を示す。情報処理システム1は情報処理装置10と、HMD100と、ユーザが手指で操作する入力装置16と、HMD100を装着したユーザを撮影する撮像装置14と、画像を表示する出力装置15とを備える。出力装置15はテレビであってよい。情報処理装置10は、アクセスポイント(AP)17を介して、インターネットなどの外部のネットワークに接続される。AP17は無線アクセスポイントおよびルータの機能を有し、情報処理装置10はAP17とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。
[0014]
 実施例の情報処理装置10は、AP17を介して、外部のネットワーク上のサーバ3に接続される。サーバ3は、HMD100に表示するべき複数種類の広告のデータを記憶し、複数種類の広告のデータを情報処理装置10へ送信する。広告のデータは、広告画像を含んでもよく、広告の表示タイミングや表示態様を指定するデータを含んでもよい。
[0015]
 HMD100は、ユーザの頭部に装着されて、仮想現実(VR)の映像世界をユーザに提供する。HMD100にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。
[0016]
 情報処理装置10は、処理装置11、出力制御装置12および記憶装置13を備える。処理装置11は、ユーザにより入力装置16に入力された操作情報を受け付けて、ゲームなどのアプリケーションを実行する端末装置である。処理装置11と入力装置16とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置11は、HMD100の姿勢情報をゲームに対するユーザの操作情報として受け付けて、ゲームを進行させる機能をもつ。出力制御装置12は、処理装置11で生成された画像データをHMD100に出力する処理ユニットであり、出力制御装置12とHMD100とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。
[0017]
 撮像装置14はステレオカメラであって、HMD100を装着したユーザを所定の周期で撮影し、撮影画像を処理装置11に供給する。後述するがHMD100にはユーザ頭部をトラッキングするためのマーカ(トラッキング用LED)が設けられ、処理装置11は、撮影画像に含まれるマーカの位置にもとづいてHMD100の動きを検出する。なおHMD100には姿勢センサ(加速度センサおよびジャイロセンサ)が搭載され、処理装置11は、姿勢センサで検出されたセンサデータをHMD100から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置11はHMD100の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。
[0018]
 ユーザはHMD100で画像を見るため、HMD100を装着したユーザにとって出力装置15は必ずしも必要ではないが、出力装置15を用意することで、別のユーザが出力装置15の表示画像を見ることができる。出力制御装置12または処理装置11は、HMD100を装着したユーザが見ている画像と同じ画像を出力装置15に表示させてもよいが、別の画像を表示させてもよい。たとえばHMDを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置15からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。
[0019]
 HMD100は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。HMD100は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置10は、レンズによる光学歪みを補正した視差画像データをHMD100に供給する。この光学歪みの補正処理は、処理装置11、出力制御装置12のいずれが行ってもよい。
[0020]
 処理装置11、記憶装置13、出力装置15、入力装置16および撮像装置14は、従来型のゲームシステムを構築してよい。この場合、処理装置11はゲームを実行するゲーム装置であり、入力装置16はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置11にユーザによる操作情報を供給する機器である。記憶装置13は、システムソフトウェアやゲームソフトウェアなどを記憶している。このゲームシステムの構成要素に、出力制御装置12およびHMD100を追加することで、仮想3次元空間のVR画像をHMD100に提供する情報処理システム1が構築される。
[0021]
 なお出力制御装置12による機能は、処理装置11に組み込まれてもよい。つまり情報処理装置10の処理ユニットは、1台の処理装置11から構成されても、また処理装置11および出力制御装置12から構成されてもよい。以下においては、VR画像をHMD100に提供する機能を、まとめて情報処理装置10の機能として説明する。
[0022]
 実施例のゲームは、入力装置16から入力された操作情報にもとづいて仮想3次元空間内でユーザキャラクタを動かし、ユーザの頭部に装着されたHMD100の姿勢情報にもとづいてユーザキャラクタの視線方向を定める。実施例ではゲームがHMD100の姿勢情報を、ユーザキャラクタの視線方向を制御するための操作情報として利用するが、入力装置16における入力情報を、視線方向を制御するための操作情報として利用してもよい。またユーザキャラクタを移動させるための操作情報は、入力装置16の入力情報を用いずに、HMD100の位置情報を利用してもよい。実施例において、ユーザキャラクタの操作情報は、入力装置16およびHMD100のいずれから取得されてもよく、また他のユーザインタフェースから取得されてもよい。
[0023]
 情報処理装置10は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部(実際にはHMD100)の位置座標および姿勢を検出する。ここでHMD100の位置座標とは、基準位置を原点とした3次元空間における位置座標であり、基準位置はHMD100の電源がオンされたときの位置座標(緯度、経度)であってよい。またHMD100の姿勢とは、3次元空間における基準姿勢に対する3軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、HMD100の電源がオンされたときに基準姿勢が設定されてよい。
[0024]
 情報処理装置10は、HMD100の姿勢センサが検出したセンサデータのみから、HMD100の位置座標および姿勢を検出でき、さらに撮像装置14で撮影したHMD100のマーカ(トラッキング用LED)を画像解析することで、高精度にHMD100の位置座標および姿勢を検出できる。既述したように情報処理装置10は、HMD100の位置情報をもとにユーザキャラクタの仮想3次元空間内の位置を算出し、HMD100の姿勢情報をもとにユーザキャラクタの視線方向を算出してもよいが、実施例では仮想3次元空間内におけるユーザキャラクタの位置は、入力装置16の操作情報をもとに算出する。
[0025]
 図2は、HMD100の外観形状の例を示す。HMD100は、出力機構部102および装着機構部104から構成される。装着機構部104は、ユーザが被ることにより頭部を一周してHMD100を頭部に固定する装着バンド106を含む。装着バンド106はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
[0026]
 出力機構部102は、HMD100をユーザが装着した状態において左右の目を覆う形状の筐体108を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ELパネルなどであってよい。筐体108内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。HMD100はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
[0027]
 筐体108の外面には、発光マーカ110a、110b、110c、110dが備えられる。この例ではトラッキング用LEDが発光マーカ110を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置14により撮影されて、情報処理装置10がマーカ位置を画像解析できるものであればよい。発光マーカ110の数や配置は特に限定されないが、HMD100の姿勢を検出できるための数および配置である必要があり、図示した例では筐体108の前面の4隅に設けている。さらにユーザが撮像装置14に対して背を向けたときにも撮影できるように、発光マーカ110は装着バンド106の側部や後部に設けられてもよい。
[0028]
 HMD100は、情報処理装置10にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。HMD100は、姿勢センサが検出したセンサデータを情報処理装置10に送信し、また情報処理装置10で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。
[0029]
 図3は、HMD100の機能ブロックを示す。制御部120は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部122は、制御部120が処理するデータや命令などを一時的に記憶する。姿勢センサ124は、HMD100の姿勢情報を検出する。姿勢センサ124は、少なくとも3軸の加速度センサおよび3軸のジャイロセンサを含む。
[0030]
 通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部120から出力されるデータを外部の情報処理装置10に送信する。また通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置10からデータを受信し、制御部120に出力する。
[0031]
 制御部120は、画像データや音声データを情報処理装置10から受け取ると、表示パネル130に供給して表示させ、また音声出力部132に供給して音声出力させる。表示パネル130は、左目用表示パネル130aと右目用表示パネル130bから構成され、各表示パネルに一対の視差画像が表示される。また制御部120は、姿勢センサ124からのセンサデータや、マイク126からの音声データを、通信制御部128から情報処理装置10に送信させる。
[0032]
 図4は、情報処理装置10の機能ブロックを示す。情報処理装置10は、外部との入出力インタフェースとして、センサデータ受信部20、撮影画像受信部22、入力データ受信部24、表示制御部50および通信部46を備える。情報処理装置10は、さらにHMD情報取得部30、視線方向検出部32、受付部34、メイン画像生成部42、付加画像生成部44および注目画像検出部48を備える。
[0033]
 図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。例えば、図4の複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが情報処理装置10のストレージ(例えば記憶装置13)にインストールされてもよい。情報処理装置10のCPUまたはGPUは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、図4の各機能ブロックの機能を発揮してもよい。
[0034]
 以下、ファーストパーソンシューター(FPS)ゲームの画像を生成するときの情報処理装置10の動作について説明する。
 メイン画像生成部42は、メインコンテンツの画像として、左目用のゲーム画像と右目用のゲーム画像の態様を決定する。表示制御部50は、それぞれのゲーム画像をHMD100に提供して、表示パネル130に表示させる。
[0035]
 センサデータ受信部20は、ユーザが装着したHMD100の姿勢センサ124から所定の周期でセンサデータを受信して、HMD情報取得部30に供給する。撮影画像受信部22は、撮像装置14から所定の周期でHMD100を撮影した画像を受信して、HMD情報取得部30に供給する。たとえば撮像装置14は(1/60)秒ごとに前方の空間を撮影し、撮影画像受信部22は、(1/60)秒ごとに撮影画像を受信する。実施例においてHMD情報取得部30は、センサデータおよび撮影画像を、ユーザの頭部に装着されたHMD100の姿勢を示す姿勢情報として取得する。HMD情報取得部30は、取得した姿勢情報を、視線方向検出部32に供給する。
[0036]
 視線方向検出部32は、HMD100の姿勢情報に応じてユーザの視線方向を検出し、言い換えれば、ユーザの視線方向を決定する。具体的にHMD情報取得部30は、姿勢センサ124のセンサデータから、HMD100の姿勢の変化を検出する。このときHMD情報取得部30は3軸ジャイロセンサのセンサデータから、HMD100の姿勢変化を特定してよい。なおHMD情報取得部30は、トラッキング用の発光マーカ110の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。視線方向検出部32は、検出した視線方向を、メイン画像生成部42、注目画像検出部48および表示制御部50に提供する。
[0037]
 入力データ受信部24は入力装置16から、ユーザが入力したキーデータを受信して、受付部34に供給する。受付部34はキーデータを、ゲームに対する操作情報としてメイン画像生成部42に提供する。
[0038]
 メイン画像生成部42は、視線方向検出部32から提供される視線方向を、ユーザキャラクタの視線を定める操作情報として利用する。また、メイン画像生成部42は、受付部34から供給されるキーデータを、ユーザキャラクタの動作を定める操作情報として利用する。入力装置16の操作により仮想3次元空間内のキャラクタを動作させる処理は、既知の技術を利用してよい。メイン画像生成部42は、仮想3次元空間においてユーザキャラクタを動かし、ユーザキャラクタの位置(仮想3次元空間座標値)および視線方向にもとづいて、仮想3次元空間のレンダリング処理を行う。例えば、メイン画像生成部42は、ユーザキャラクタの位置に、ユーザキャラクタの視線方向を光軸とする仮想カメラを配置して、仮想カメラの画像を取得することで、HMD100に表示される仮想3次元空間のゲーム画像を生成してもよい。
[0039]
 実施例のFPSゲームでは、ユーザが入力装置16のキー入力によりキャラクタを動作させ、またHMD100の向きを動かすことで、キャラクタの視線方向を変えられる。このゲームでユーザは360度全方位に移動し、また360度全方位を見ることができ、その意味においてHMD100は、ゲーム仮想空間の全方位を表示可能な表示装置として利用される。
[0040]
 通信部46は、AP17を介して、サーバ3と通信する。実施例の通信部46は、サーバ3から送信された広告のデータを受信する。通信部46は、サーバ3から広告の画像データそのものを受信してもよい。
[0041]
 注目画像検出部48は、視線方向検出部32から提供される視線方向に基づいて、HMD100に表示された複数の広告画像のうち、HMD100における表示位置がユーザの視線方向に合致した度合いが高い広告画像を注目画像として検出する。例えば、注目画像検出部48は、HMD100に表示された複数の広告画像のそれぞれについて、ユーザの視線方向に合致した時間(以下「注目時間」とも呼ぶ。)を計測してもよい。注目画像検出部48は、注目時間が所定の閾値以上となった広告画像を注目画像として検出してもよい。この閾値は、開発者の知見や経験、情報処理システム1を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記閾値は5秒であってもよい。
[0042]
 付加画像生成部44は、情報処理装置10に予め記憶された広告のデータ、または、サーバ3から送信された広告のデータに基づいて、HMD100に表示すべき広告画像を付加コンテンツの画像として生成する。付加画像生成部44は、生成した広告画像のデータを表示制御部50へ出力する。例えば、付加画像生成部44は、複数種類の広告のデータの中から表示対象とする広告のデータを選択し、選択したデータに基づいて、特定のモノまたはサービスの販売促進のための広告画像を生成してもよい。なお、サーバ3から広告画像のデータが提供される場合、付加画像生成部44は、サーバ3から提供された広告画像をそのまま表示制御部50へ出力してもよい。
[0043]
 表示制御部50は、メイン画像生成部42により生成されたゲーム画像をHMD100へ送信し、そのゲーム画像をHMD100に表示させる。それとともに、表示制御部50は、付加画像生成部44により生成された広告画像をHMD100へ送信し、その広告画像をHMD100に表示させる。
[0044]
 また、表示制御部50は、HMD100における広告画像の表示位置を決定し、言い換えれば、HMD100に表示される仮想3次元空間における広告画像の表示位置(例えば座標等)を決定する。表示制御部50は、HMD100における上記表示位置、言い換えれば、仮想3次元空間における上記表示位置に広告画像を表示させるようにHMD100を制御する。表示制御部50は、ゲーム画像の一部領域の上に重ねて広告画像を表示させてもよい。
[0045]
 また、表示制御部50は、視線方向検出部32により検出されたユーザの視線方向に応じて、HMD100における広告画像の表示態様を制御する。例えば、表示制御部50は、広告画像が販売促進もしくは認知促進の対象とするモノまたはサービス、言い換えれば、広告画像が示すモノまたはサービスを変化させてもよい。これに代えて、もしくは、これとともに、表示制御部50は、ユーザの視線方向に応じて、HMD100における広告画像の表示有無または表示位置を変化させてもよい。
[0046]
 以下、ユーザの視線方向に応じた広告画像の表示態様を説明する。以下に示す複数の態様は任意の組み合わせが可能である。また、表示制御部50は、広告画像の表示態様に対する複数種類の制御処理を並行して実行してもよい。
[0047]
 (第1の態様)
 表示制御部50は、ユーザの視線方向が、HMD100における広告画像の表示位置に合致した状態が所定時間以上継続した場合、それまで表示させた広告画像を非表示としてもよい。広告画像を非表示とする場合、表示制御部50は、広告画像を排除したゲーム画像をHMD100へ送信して表示させてもよい。広告画像を非表示とする閾値である上記の所定時間は、開発者の知見や経験、情報処理システム1を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記の所定時間は5秒であってもよい。
[0048]
 図5(a)および図5(b)は、HMD100に表示される画像を模式的に示す。図5(a)に示すように、実施例の表示制御部50は、HMD100の画面における上部中央を広告画像202の初期表示位置とする。なお、表示制御部50は、広告画像202の初期表示時、ゲーム画像200における上部中央領域に広告画像202を表示させてもよい。
[0049]
 表示制御部50は、ユーザの複数種類の視線方向と、HMD100の画面の複数の領域との対応関係を予め記憶してもよい。表示制御部50は、特定の視線方向が検出された場合に、その視線方向に対応する画面の領域(すなわちユーザが見ている領域)を特定してもよい。表示制御部50は、ユーザの視線方向が広告画像202の表示位置(言い換えれば表示領域)に合致した状態であり、図5(a)の例では、ユーザの視線方向がHMD100の画面の上部中央を指す状態が継続した時間(以下「注目時間」とも呼ぶ。)を計測してもよい。表示制御部50は、表示中の広告画像202に対する注目時間が上記の閾値以上になった場合、広告画像202を非表示に切り替えてもよい。図5(b)は、図5(a)の広告画像202が非表示に切り替えられた状態を示している。
[0050]
 この態様によると、ユーザが仮想3次元空間内の広告をある程度の時間見たことが確認されると、当該広告が自動的に消去される。これにより、広告対象をユーザに認知させる一方で、広告画像によりユーザに煩わしさを感じさせることを回避しやすくなる。
[0051]
 (第2の態様)
 付加画像生成部44は、広告画像として動画データ(言い換えれば動画広告)を生成してもよく、サーバ3から広告画像として動画データを取得してもよい。表示制御部50は、ユーザの視線方向が、HMD100における広告画像の表示位置に合致した場合に、動画広告の再生を開始してもよい。例えば、表示制御部50は、再生開始から複数の経過時間に対応する複数の広告画像(言い換えれば動画再生結果の複数の広告画像)をHMD100へ順次送信し、これら複数の広告画像をHMD100に順次表示させてもよい。
[0052]
 表示制御部50は、ユーザの視線方向が、HMD100における広告画像の表示位置に不一致の場合、動画広告の再生を抑制してもよい。また、表示制御部50は、ユーザの視線方向が、HMD100における静止中の動画広告の表示位置に合致した状態が継続した時間(上記の注目時間)が所定の閾値(例えば2秒)以上になった場合に、動画広告の再生を開始してもよい。言い換えれば、表示制御部50は、上記の注目時間が所定の閾値未満であれば、動画広告の再生を抑制してもよい。また、表示制御部50は、動画広告の再生が終了した場合、それまで表示させた動画広告を非表示とするようHMD100を制御してもよい。
[0053]
 図6(a)および図6(b)は、HMD100に表示される画像を模式的に示す。図6(a)に示すように、実施例の表示制御部50は、動画広告204の初期表示時、動画広告204を静止状態で表示させる。例えば、表示制御部50は、動画広告204の最初のフレーム(言い換えれば再生開始時点で表示される画像)を示す静止画を表示させてもよい。表示制御部50は、ユーザの視線方向が動画広告204の表示位置に合致した場合であり、例えばユーザの視線方向がHMD100の画面の上部中央を指した場合に、動画広告204の再生表示を開始させる。図6(b)は、再生中の動画広告204が表示された状態を示している。
[0054]
 動画広告を常時再生すると、メインコンテンツであるゲーム画像の視認を妨げてしまう可能性がある。また、動画広告の再生時に外部装置と通信が発生する場合、動画広告を常時再生すると通信トラフィックが増加してしまう。第2の態様によると、仮想3次元空間内の広告をユーザが見たことを契機に動画広告の再生を開始するため、上記弊害を回避しつつ、動画広告を効果的にユーザへ提示することができる。
[0055]
 (第3の態様)
 表示制御部50は、ユーザの視線方向が、HMD100における広告画像の表示位置に合致した状態が所定時間以上継続した場合、広告画像のコンテンツをそれまでとは異なるコンテンツに切り替えてもよい。この切替処理において、表示制御部50は、第1のモノを広告する第2画像の表示を終了させるとともに、第1のモノとは異なる第2のモノを広告する第2画像の表示を開始してもよい。広告画像のコンテンツを変更する閾値である上記の所定時間は、開発者の知見や経験、情報処理システム1を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記の所定時間は5秒であってもよい。
[0056]
 図7(a)および図7(b)は、HMD100に表示される画像を模式的に示す。図7(a)に示すように、実施例の表示制御部50は、HMD100の画面における上部中央に第1広告画像206を表示する。第1広告画像206は、例えば、第1のモノを広告するコンテンツを含む。
[0057]
 表示制御部50は、ユーザの視線方向が第1広告画像206の表示位置に合致した状態であり、すなわち、ユーザの視線方向がHMD100の画面の上部中央を指す状態が継続した時間(注目時間)を計測してもよい。表示制御部50は、第1広告画像206に対する注目時間が上記の閾値以上になった場合、第1広告画像206に代えて、第1のモノとは異なるモノを広告する内容の第2広告画像208を表示させてもよい。図7(b)は、HMD100における表示対象が、第1広告画像206から第2広告画像208に変更された状態を示している。
[0058]
 同じ内容の広告を表示し続けても、ユーザの興味が他にある場合等、広告の効果が薄いことがある。第3の態様によると、ユーザがある広告を一定時間見ると、その広告が別の広告へ差し替えられる。これにより、多様な興味・価値観を持つ多くのユーザに対して効果的に広告を提示することができる。
[0059]
 (第4の態様)
 表示制御部50は、複数種類のコンテンツを示す複数の広告画像をHMD100に表示させてもよい。広告画像に設定されうるコンテンツの種類は、広告対象のカテゴリとも言え、例えば、ゲーム、コンサート、テレビ番組、イベント等に分類されてもよい。複数の広告画像は、少なくとも、広告対象のモノまたはサービスが異なる2つの広告画像を含む。複数の広告画像は、例えば、ゲームを広告する第1の広告画像と、コンサートを広告する第2の広告画像と、テレビ番組を広告する第3の広告画像を含んでもよい。
[0060]
 表示制御部50は、注目画像検出部48により複数の広告画像の中から注目画像が検出された場合、複数の広告画像が示す複数種類のコンテンツのうち、注目画像が示す種類のコンテンツを、複数の広告画像に対して優先的に設定してもよい。例えば、表示制御部50は、HMD100に同時に表示させる複数の広告画像のうち全てまたは過半数の広告画像に対して、注目画像が示す種類のコンテンツを設定してもよい。
[0061]
 図8(a)および図8(b)は、HMD100に表示される画像を模式的に示す。図8(a)の例では、表示制御部50は、広告対象が異なる広告画像210a(例えばゲーム)、広告画像210b(例えばコンサート)、広告画像210c(例えばテレビ番組)をHMD100に表示させる。ここで、注目画像検出部48が、広告画像210bを注目画像として検出したこととする。表示制御部50は、図8(a)の広告画像210bが示す広告対象のカテゴリを複数の広告画像に設定する。図8(b)の例では、表示制御部50は、3つの広告画像の全てを広告画像210b(例えば3つのコンサートを示す広告画像)に変更している。
[0062]
 この態様によると、ユーザの嗜好を視線方向から学習し、ユーザの嗜好に即した広告を提示することができる。
[0063]
 (第5の態様)
 表示制御部50は、HMD100における表示領域の中で、視線方向検出部32により検出されたユーザの視線方向(視線中心とも言える)に合致する領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。例えば、表示制御部50は、HMD100の画面を分割した複数の表示領域の中でユーザの視線方向に合致する領域を特定してもよい。表示制御部50は、広告画像を現在表示中の領域と、上記特定した領域とが異なる場合、上記特定した領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。
[0064]
 図9(a)および図9(b)は、HMD100に表示される画像を模式的に示す。図9(a)に示すように、実施例の表示制御部50は、HMD100の画面における上部中央を広告画像202の初期表示位置とする。なお、表示制御部50は、広告画像202の初期表示時、ゲーム画像200における上部中央領域に広告画像202を表示させてもよい。
[0065]
 ここで、視線方向検出部32により検出された視線方向が、HMD100の画面の中央右部に合致したこととする。表示制御部50は、図9(b)に示すように、広告画像202の表示位置を上部中央から中央右部へ変更する。例えば、表示制御部50は、HMD100の画面の上部中央における広告画像202の表示を終了させつつ、HMD100の画面の中央右部における広告画像202の表示を開始させてもよい。
[0066]
 この態様によると、ユーザが確実に見る位置に広告画像を配置することができ、広告対象に対するユーザの認知度合いを一層高めることができる。
[0067]
 変形例として、表示制御部50は、ユーザの視線方向が、HMD100の画面の特定領域に所定時間以上留まる場合に、その特定領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。例えば、表示制御部50は、ユーザの視線方向に合致する画面内の領域が所定時間以上変化しない場合に、当該領域を広告画像の表示位置として決定してもよい。上記の所定時間は、開発者の知見や経験、情報処理システム1を使用した実験等に基づいて適切な値が決定されてよい。例えば、上記の所定時間は3秒であってもよい。この変形例によると、ユーザが確実に見る位置に広告画像を配置し、かつ、広告画像の表示位置変更の頻度を抑制することができる。
[0068]
 (第6の態様)
 表示制御部50は、HMD100における表示領域の中で、視線方向検出部32により検出されたユーザの視線方向(視線中心とも言える)に合致する領域とは異なる領域に広告画像を表示させるように、広告画像の表示位置を変更してもよい。ユーザの視線方向に合致する領域とは異なる領域は、ユーザの視線方向(視線中心とも言える)の外周(外縁とも言える)にあたる領域とも言える。また、ユーザの視線方向を避けた領域とも言える。なお、ユーザの視線方向に合致する領域とは異なる領域に広告画像を表示中であれば、表示制御部50は、当該広告画像の表示位置をそのまま維持してもよい。
[0069]
 図10(a)および図10(b)は、HMD100に表示される画像を模式的に示す。図10(a)に示すように、実施例の表示制御部50は、HMD100の画面における上部中央を広告画像202の初期表示位置とする。ここで、視線方向検出部32により検出された視線方向が、HMD100の画面の中心部に合致したこととする。表示制御部50は、広告画像202の表示位置を、画面中心部を避けた位置へ変更する。例えば、図10(b)に示すように、画面の周辺部(言い換えれば四隅近傍位置)へ変更してもよい。
[0070]
 広告画像が表示されてメインコンテンツの画像が見にくくなると、ユーザに嫌悪感を抱かせる可能性がある。第6の態様では、視線中心を避けて広告画像を配置することにより、ユーザに嫌悪感を抱かせてしまうことを回避しつつ、広告対象に対するユーザの興味を徐々に醸成することができる。
[0071]
 以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
[0072]
 上記実施例では言及していないが、HMD100は、ユーザの目をカメラで撮像し、撮像した画像に基づいてユーザの視線方向を検出する公知の装置(ここでは「視線センサ」と呼ぶ。)を内蔵してもよい。HMD100は、視線センサから出力された、ユーザの視線方向を示す視線センサデータを情報処理装置10へ送信してもよい。情報処理装置10のセンサデータ受信部20は、視線センサデータを受信し、HMD情報取得部30は、視線センサデータを含む姿勢情報を視線方向検出部32へ出力してもよい。視線方向検出部32は、姿勢情報に含まれる視線センサデータに基づいて、ユーザの視線方向を検出してもよい。
[0073]
 上記実施例の情報処理装置10は、HMD100を装着したユーザの視線方向に応じて、HMD100における付加コンテンツ画像(広告画像)の表示態様を制御した。変形例として、情報処理装置10は、HMD情報取得部30により取得された姿勢情報に基づいてユーザの頭部の向きを検出する頭部向き検出部を、視線方向検出部32に代えて備えてもよい。ユーザの頭部の向きは、予め定められた基準の向きからの角度でもよい。情報処理装置10のメイン画像生成部42、注目画像検出部48、表示制御部50は、ユーザの視線方向に代えてユーザの頭部の向きに応じて、実施例に記載の処理を実行してもよい。
[0074]
 上記実施例では、HMD100の画面における広告画像の表示有無、種類、位置を情報処理装置10が決定した。変形例として、HMD100がこの決定処理を実行してもよい。別の変形例として、サーバ3がこの決定処理を実行してもよい。この場合、HMD100またはサーバ3は、実施例(例えば図4)に記載の情報処理装置10の機能を備えてもよい。例えば、HMD100またはサーバ3は、実施例に記載のHMD情報取得部30、視線方向検出部32、付加画像生成部44、注目画像検出部48、表示制御部50の機能を備えてもよい。
[0075]
 上記実施例では言及していないが、変形例として、情報処理装置10は、メインコンテンツであるゲーム画像200内の複数の領域のうち、ユーザの視線方向または頭部の向きに合致する領域を注目領域として検出する注目領域検出部をさらに備えてもよい。表示制御部50は、広告画像202のコンテンツを、注目領域に対応するコンテンツに切り替えてもよい。
[0076]
 この変形例の具体的な構成例を説明する。HMD100に表示されるゲーム画像200のデータには、ゲーム画像200を分割した複数の領域の少なくとも1つに対して、当該領域に描画されたオブジェクト(人、モノ、キャラクター等)を示す識別データが予め対応付けられる。ゲーム画像200のフレームごと、もしくは、所定数のフレームをまとめたグループごとに、各領域に存在するオブジェクトの識別データが対応付けられてもよい。
[0077]
 上記の注目領域検出部は、ゲーム画像200を分割した複数の領域の中で、視線方向検出部32により検出されたユーザの視線方向に合致する領域を注目領域として検出する。注目領域検出部は、複数種類の視線方向と複数の画面領域との対応関係を記憶してもよい。注目領域検出部は、視線方向に合致する画面領域を特定し、特定した画面領域に表示されたゲーム画像200の領域を注目領域として検出してもよい。情報処理装置10は、注目領域検出部により検出された注目領域に応じて、ユーザの嗜好を検出する嗜好検出部をさらに備える。嗜好検出部は、注目領域検出部により検出された注目領域に対応付けられたオブジェクトを、ユーザの嗜好を示すもの、言い換えれば、ユーザの嗜好に合致したものとして検出する。
[0078]
 複数の広告画像202のそれぞれには、ゲーム画像200に表示されうるオブジェクトの識別情報が予め対応付けられている。例えば、或るオブジェクトに対応付けられた広告画像202は、そのオブジェクトを含む広告コンテンツを表示するものであってもよい。表示制御部50は、嗜好検出部により検出されたユーザの嗜好に合致する広告画像202であり、例えば、注目領域内のオブジェクトに対応する広告画像202を選択してHMD100に表示させる。
[0079]
 この変形例によると、ユーザの嗜好に一層合致する広告を付加コンテンツとしてHMD100に表示させることができる。例えば、メインコンテンツがコンサートの映像で、複数の演者が同時に映っている映像の場合に、ユーザがどの演者に注目しているかを検出し、注目している演者に応じて広告を変化させることができる。例えば、ユーザが注目している演者に対応付けられた広告であり、その演者がモノやサービスを宣伝する広告を表示させることで、広告の効果を一層高めることができる。
[0080]
 上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

符号の説明

[0081]
 10 情報処理装置、 32 視線方向検出部、 42 メイン画像生成部、 44 付加画像生成部、 48 注目画像検出部、 50 表示制御部、 100 HMD。

産業上の利用可能性

[0082]
 本発明は、ヘッドマウントディスプレイの表示を制御する装置またはシステムに適用できる。

請求の範囲

[請求項1]
 ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出する方向検出部と、
 前記ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第1画像を生成する画像生成部と、
 前記画像生成部により生成された第1画像とともに、前記メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第2画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
 を備え、
 前記表示制御部は、前記方向検出部により検出されたユーザの視線方向または頭部の向きに応じて、前記ヘッドマウントディスプレイにおける前記第2画像の表示態様を制御することを特徴とする情報処理装置。
[請求項2]
 前記表示制御部は、ユーザの視線方向または頭部の向きが、前記ヘッドマウントディスプレイにおける前記第2画像の表示位置に合致した状態が所定時間継続した場合、前記第2画像を非表示とすることを特徴とする請求項1に記載の情報処理装置。
[請求項3]
 前記第2画像は動画であり、
 前記表示制御部は、ユーザの視線方向または頭部の向きが、前記ヘッドマウントディスプレイにおける前記第2画像の表示位置に合致した場合に、前記第2画像の再生を開始させる請求項1に記載の情報処理装置。
[請求項4]
 前記表示制御部は、ユーザの視線方向または頭部の向きが、前記ヘッドマウントディスプレイにおける前記第2画像の表示位置に合致した状態が所定時間継続した場合、前記第2画像のコンテンツをそれまでとは異なるコンテンツに切り替えることを特徴とする請求項1に記載の情報処理装置。
[請求項5]
 注目画像検出部をさらに備え、
 前記表示制御部は、前記メインコンテンツとは異なる複数種類のコンテンツを示す複数の第2画像を前記ヘッドマウントディスプレイに表示させ、
 前記注目画像検出部は、前記複数の第2画像のうち、前記ヘッドマウントディスプレイにおける表示位置がユーザの視線方向または頭部の向きに合致した度合いが高い第2画像を注目画像として検出し、
 前記表示制御部は、前記注目画像が検出された場合、前記複数種類のコンテンツのうち前記注目画像が示す種類のコンテンツを、前記複数の第2画像に対して優先的に設定することを特徴とする請求項1に記載の情報処理装置。
[請求項6]
 前記表示制御部は、ユーザの視線方向または頭部の向きに応じて、前記ヘッドマウントディスプレイにおける前記第2画像の表示位置を変更することを特徴とする請求項1に記載の情報処理装置。
[請求項7]
 前記表示制御部は、前記ヘッドマウントディスプレイにおける表示領域の中でユーザの視線方向または頭部の向きに合致する領域に前記第2画像を表示させるように、前記第2画像の表示位置を変更することを特徴とする請求項6に記載の情報処理装置。
[請求項8]
 前記表示制御部は、前記ヘッドマウントディスプレイにおける表示領域の中でユーザの視線方向または頭部の向きに合致する領域とは異なる領域に前記第2画像を表示させるように、前記第2画像の表示位置を変更することを特徴とする請求項6に記載の情報処理装置。
[請求項9]
 前記第1画像内の複数の領域のうちユーザの視線方向または頭部の向きに合致する領域を注目領域として検出する注目領域検出部をさらに備え、
 前記表示制御部は、前記第2画像のコンテンツを、前記注目領域に対応するコンテンツに切り替えることを特徴とする請求項1から8のいずれかに記載の情報処理装置。
[請求項10]
 ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出するステップと、
 前記ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第1画像を生成するステップと、
 前記第1画像とともに、前記メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第2画像を前記ヘッドマウントディスプレイに表示させるステップと、
 前記ユーザの視線方向または頭部の向きに応じて、前記ヘッドマウントディスプレイにおける前記第2画像の表示態様を制御するステップと、
 をコンピュータが実行することを特徴とする画像表示方法。
[請求項11]
 ヘッドマウントディスプレイを装着したユーザの視線方向または頭部の向きを検出する機能と、
 前記ヘッドマウントディスプレイでの表示対象としてユーザにより選択されたメインコンテンツに関する第1画像を生成する機能と、
 前記第1画像とともに、前記メインコンテンツとは異なるコンテンツであって、所定のモノまたはサービスの認知を促進するためのコンテンツに関する第2画像を前記ヘッドマウントディスプレイに表示させる機能と、
 前記ユーザの視線方向または頭部の向きに応じて、前記ヘッドマウントディスプレイにおける前記第2画像の表示態様を制御する機能と、
 をコンピュータに実現させるためのコンピュータプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]