Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020095368 - SYSTÈME DE TRAITEMENT D'INFORMATIONS, PROCÉDÉ D'AFFICHAGE ET PROGRAMME INFORMATIQUE

Document

明 細 書

発明の名称 情報処理システム、表示方法およびコンピュータプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008  

発明の効果

0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077  

符号の説明

0078  

産業上の利用可能性

0079  

請求の範囲

1   2   3   4   5   6   7  

補正された請求の範囲(条約第19条)

1  *   2   3   4  *   5   6  *   7  *  

図面

1   2   3   4   5   6  

明 細 書

発明の名称 : 情報処理システム、表示方法およびコンピュータプログラム

技術分野

[0001]
 本発明は、データ処理技術に関し、特に情報処理システム、表示方法およびコンピュータプログラムに関する。

背景技術

[0002]
 ヘッドマウントディスプレイにパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想現実空間への没入感を高めることができる。

先行技術文献

特許文献

[0003]
特許文献1 : 国際公開第2017/110632号

発明の概要

発明が解決しようとする課題

[0004]
 仮想現実空間をユーザに体験させる様々なアプリケーションが提供されている中、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することが求められている。
[0005]
 本発明はこうした課題に鑑みてなされたものであり、1つの目的は、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することにある。

課題を解決するための手段

[0006]
 上記課題を解決するために、本発明のある態様の情報処理システムは、現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得する取得部と、仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、取得部により取得された属性情報に応じて第2オブジェクトが動作する仮想現実画像を生成する生成部と、生成部により生成された仮想現実画像を表示装置に表示させる出力部と、を備える。
[0007]
 本発明の別の態様は、表示方法である。この方法は、現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得するステップと、仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、取得するステップで取得された属性情報に応じて第2オブジェクトが動作する仮想現実画像を生成するステップと、生成するステップで生成された仮想現実画像を表示装置に表示させるステップと、をコンピュータが実行する。
[0008]
 なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、上記情報処理装置の機能を含むヘッドマウントディスプレイなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0009]
 本発明によれば、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することができる。

図面の簡単な説明

[0010]
[図1] 実施例に係るエンタテインメントシステムの構成を示す図である。
[図2] 図1のHMDの外観形状を示す図である。
[図3] 図1のHMDの機能ブロックを示すブロック図である。
[図4] 図1の情報処理装置の機能ブロックを示すブロック図である。
[図5] VR画像の例を示す図である。
[図6] VR画像の例を示す図である。

発明を実施するための形態

[0011]
 まず、実施例のエンタテインメントシステムの概要を説明する。実施例のエンタテインメントシステムは、映画やコンサート、アニメーション、ゲーム映像等の映像コンテンツを再生する仮想現実空間をユーザの頭部に装着されたヘッドマウントディスプレイ(以下「HMD」とも呼ぶ。)に表示させる情報処理システムである。以下、特に断らない限り、実施例における「画像」は、動画像と静止画の両方を含み得る。
[0012]
 実施例の仮想現実空間は、ロビーとスクリーンルームを含む仮想的な映画館(以下「VR映画館」とも呼ぶ。)である。ロビーには、映像コンテンツの視聴権利(すなわちチケット)を購入するためのチケットカウンターや、物品や食品を購入可能な売店が設置される。スクリーンルームには、映像コンテンツが再生表示されるスクリーンや、ユーザを含む視聴者が着座する座席が設置される。
[0013]
 ロビーおよびスクリーンルームには、ユーザのアバター、ユーザのフレンドのアバター、ユーザのペット、ダミーのキャラクタ(すなわちNPC(Non Player Character))が表示される。フレンドは、ユーザに招待され、ユーザのセッション(「ゲームセッション」とも呼ばれる。)に参加する。ユーザは、スクリーンルームにおいて、フレンド、ペット、ダミーキャラクタとともに映像コンテンツを視聴する。また、ユーザは、自身のセッションに参加したフレンドとのボイスチャットが可能である。
[0014]
 図1は、実施例に係るエンタテインメントシステム1の構成を示す。エンタテインメントシステム1は、情報処理装置10、HMD100、入力装置16、撮像装置14、出力装置15を備える。入力装置16は、ユーザが手指で操作する情報処理装置10のコントローラである。出力装置15は、画像を表示するテレビまたはモニターである。
[0015]
 情報処理装置10は、VR映画館を示す仮想3次元空間の映像(以下「VR画像」とも呼ぶ。)をHMD100に表示させるための各種データ処理を実行する。情報処理装置10は、HMD100の姿勢情報に応じてユーザの視線方向を検出し、その視線方向に応じたVR画像をHMD100に表示させる。情報処理装置10は、PCであってもよく、ゲーム機であってもよい。
[0016]
 撮像装置14は、HMD100を装着したユーザを含むユーザ周辺の空間を所定の周期で撮像するカメラ装置である。撮像装置14はステレオカメラであって、撮像画像を情報処理装置10に供給する。後述するがHMD100にはユーザ頭部をトラッキングするためのマーカ(トラッキング用LED)が設けられ、情報処理装置10は、撮像画像に含まれるマーカの位置にもとづいてHMD100の動き(例えば位置、姿勢およびそれらの変化)を検出する。
[0017]
 なお、HMD100には姿勢センサ(加速度センサおよびジャイロセンサ)が搭載され、HMD100は、姿勢センサで検出されたセンサデータをHMD100から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、HMD100の動きを情報処理装置10が検出できるのであれば、どのようなトラッキング手法を採用してもよい。
[0018]
 ユーザはHMD100で画像を見るため、HMD100を装着したユーザにとって出力装置15は必ずしも必要ではないが、出力装置15を用意することで、別のユーザが出力装置15の表示画像を見ることができる。情報処理装置10は、HMD100を装着したユーザが見ている画像と同じ画像を出力装置15に表示させてもよいが、別の画像を表示させてもよい。たとえばHMD100を装着したユーザと、別のユーザ(フレンド等)とが一緒に映像コンテンツを視聴する場合、出力装置15からは、別のユーザの視点からの映像コンテンツが表示されてもよい。
[0019]
 AP17は、無線アクセスポイントおよびルータの機能を有する。情報処理装置10は、AP17とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置10は、AP17を介して、外部ネットワーク上の配信サーバ3に接続される。配信サーバ3は、所定のストリーミングプロトコルにしたがって、種々の映像コンテンツのデータを情報処理装置10に送信する。
[0020]
 実施例のエンタテインメントシステム1は、ペットロボット5とペット管理サーバ7をさらに備える。ペットロボット5は、犬や猫等の動物を模した形状の公知のエンタテインメントロボットである。ペットロボット5は、現実空間においてユーザと触れ合い、また、ユーザの行動に反応して行動(作動)する第1オブジェクトとして位置づけられる。
[0021]
 また、ペットロボット5は、視覚・聴覚・触覚として機能する各種センサを備える。また、ペットロボット5には、感情を再現するプログラムがインストールされる。ペットロボット5に内蔵されたCPUがこのプログラムを実行することにより、ペットロボット5は、同じ操作や刺激に対して、そのときの機嫌や成長度合いに応じた反応を示す。ペットロボット5は、長く稼働する間に、それまでの扱い状況に応じて、次第に個性を有するようになる。
[0022]
 また、ペットロボット5は、ユーザと触れ合った実績や、行動の履歴、感情の推移等を含むデータ(以下「学習データ」とも呼ぶ。)を記憶する。ペットロボット5は、自機の学習データをペット管理サーバ7にも保存する。ペット管理サーバ7は、ペットロボット5の動作状態等を管理する情報処理装置であり、ペットロボット5の学習データを記憶する機能を備える。
[0023]
 図2は、図1のHMD100の外観形状を示す。HMD100は、出力機構部102および装着機構部104から構成される。装着機構部104は、ユーザが被ることにより頭部を一周してHMD100を頭部に固定する装着バンド106を含む。装着バンド106はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
[0024]
 出力機構部102は、HMD100をユーザが装着した状態において左右の目を覆う形状の筐体108を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ELパネルなどであってよい。筐体108内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。HMD100はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
[0025]
 筐体108の外面には、発光マーカ110a、110b、110c、110dが備えられる。この例ではトラッキング用LEDが発光マーカ110を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置14により撮影されて、情報処理装置10がマーカ位置を画像解析できるものであればよい。発光マーカ110の数や配置は特に限定されないが、HMD100の姿勢を検出できるための数および配置である必要があり、図示した例では筐体108の前面の4隅に設けている。さらにユーザが撮像装置14に対して背を向けたときにも撮影できるように、発光マーカ110は装着バンド106の側部や後部に設けられてもよい。
[0026]
 HMD100は、情報処理装置10にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。HMD100は、姿勢センサが検出したセンサデータを情報処理装置10に送信し、また情報処理装置10で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。
[0027]
 図3は、図1のHMD100の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをCPUが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者に理解されるところであり、いずれかに限定されるものではない。
[0028]
 制御部120は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部122は、制御部120が処理するデータや命令などを一時的に記憶する。姿勢センサ124は、HMD100の姿勢情報を検出する。姿勢センサ124は、少なくとも3軸の加速度センサおよび3軸のジャイロセンサを含む。
[0029]
 通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部120から出力されるデータを外部の情報処理装置10に送信する。また通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置10からデータを受信し、制御部120に出力する。
[0030]
 制御部120は、画像データや音声データを情報処理装置10から受け取ると、表示パネル130に供給して表示させ、また音声出力部132に供給して音声出力させる。表示パネル130は、左目用表示パネル130aと右目用表示パネル130bから構成され、各表示パネルに一対の視差画像が表示される。また制御部120は、姿勢センサ124からのセンサデータや、マイク126からの音声データを、通信制御部128から情報処理装置10に送信させる。
[0031]
 図4は、図1の情報処理装置10の機能ブロックを示すブロック図である。情報処理装置10は、コンテンツ記憶部20、ペット記憶部22、来訪頻度記憶部24、操作検出部30、コンテンツ取得部32、感情送信部34、フレンド通信部36、属性取得部38、他者検出部40、動作決定部42、行動実績送信部44、姿勢検出部46、感情取得部48、画像生成部50、画像出力部52、コントローラ制御部54を備える。
[0032]
 図4に示す複数の機能ブロックのうち少なくとも一部は、コンピュータプログラム(実施例では映像視聴アプリケーション)のモジュールとして実装されてもよい。映像視聴アプリケーションは、DVD等の記録メディアに格納されてもよく、情報処理装置10は、記録メディアから映像視聴アプリケーションを読み出してストレージに記憶してもよい。また、情報処理装置10は、ネットワーク上のサーバから映像視聴アプリケーションをダウンロードしてストレージに記憶してもよい。情報処理装置10のCPUまたはGPUは、映像視聴アプリケーションをメインメモリに読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
[0033]
 コンテンツ記憶部20は、配信サーバ3から提供された映像コンテンツのデータを一時的に記憶する。ペット記憶部22は、仮想現実空間(実施例ではVR映画館)に登場してユーザのペットとして振る舞う第2オブジェクト(以下「VRペット」とも呼ぶ。)に関する属性情報を記憶する。VRペットは、VR映画館においてユーザ(ユーザのアバター)と触れ合い、ユーザ(ユーザのアバター)の行動に反応して行動(作動)する第2オブジェクトである。VRペットに関する属性情報は、ユーザの名前、VRペットの名前、VRペットの画像データ、VRペットがユーザと触れ合った実績、ユーザおよびVRペットの行動の履歴、VRペットの感情の推移等を含む。
[0034]
 来訪頻度記憶部24は、ユーザが仮想現実空間(実施例ではVR映画館)を訪れた頻度に関するデータを記憶する。実施例の来訪頻度記憶部24は、ユーザがVR映画館を前回訪れてから、今回訪れるまでの間隔(すなわち来訪しなかった期間)を示すデータを記憶する。このデータは、ユーザが映像視聴アプリケーションを前回起動してから、今回起動するまでの間隔とも言える。変形例として、来訪頻度記憶部24は、所定の単位期間(例えば1週間)におけるユーザの来訪回数(直近の来訪回数でもよく、平均回数でもよい)を記憶してもよい。
[0035]
 操作検出部30は、入力装置16に入力され、入力装置16から通知されたユーザの操作を検出する。操作検出部30は、検出したユーザ操作を他の機能ブロックに通知する。映像視聴アプリケーションの実行時に入力されうるユーザ操作は、ユーザが抱く感情の種類を示す操作を含む。実施例では、ユーザが楽しいと感じていることを示すボタン操作(以下「ファンボタン操作」とも呼ぶ。)と、ユーザが悲しいと感じていることを示すボタン操作(以下「サッドボタン操作」とも呼ぶ。)を含む。
[0036]
 感情送信部34は、入力されたユーザ操作が示すユーザの感情を示すデータ(以下「感情データ」とも呼ぶ。)を配信サーバ3へ送信する。例えば、感情送信部34は、ファンボタン操作が入力された場合、ユーザが楽しいと感じていることを示す感情データを送信し、サッドボタン操作が入力された場合、ユーザが悲しいと感じていることを示す感情データを送信する。
[0037]
 コンテンツ取得部32は、配信サーバ3が提供する複数種類の映像コンテンツのうちユーザ操作により指定された映像コンテンツのデータを配信サーバ3から取得し、コンテンツ記憶部20に格納する。例えば、コンテンツ取得部32は、ユーザにより指定された映画の提供を配信サーバ3に要求し、配信サーバ3からストリーミング送信された上記映画の映像データをコンテンツ記憶部20に格納する。
[0038]
 フレンド通信部36は、ユーザ操作に応じて、ユーザのフレンドの情報処理装置と通信する。例えば、フレンド通信部36は、ユーザのセッションに招待する内容、言い換えれば、ユーザのセッションへの参加を促す内容のメッセージを、配信サーバ3を介してフレンドの情報処理装置へ送信する。
[0039]
 属性取得部38は、ペットロボット5に関する属性情報を外部装置から取得する。実施例では、属性取得部38は、映像視聴アプリケーションの起動時にペットロボット5の学習データを配信サーバ3に要求する。配信サーバ3は、ペットロボット5から送信されてペット管理サーバ7に登録されたペットロボット5の学習データをペット管理サーバ7から取得する。属性取得部38は、ペットロボット5の学習データを配信サーバ3から取得し、動作決定部42に渡す。
[0040]
 他者検出部40は、撮像装置14から出力された撮像画像を参照し、その撮像画像にHMD100を頭部に装着したユーザとは異なる人物が出現した場合、そのことを検出する。例えば、他者検出部40は、撮像画像にユーザと異なる人物が映らない状態から、撮像画像にユーザと異なる人物が映る状態に変化した場合、ユーザと異なる人物がユーザの近傍位置に出現したことを検出する。他者検出部40は、公知の輪郭検出技術を用いて撮像画像に映る人物を検出してもよい。
[0041]
 動作決定部42は、VR映画館でのVRペットの行動、言い換えれば動作を決定する。例えば、ユーザ(ユーザのアバター)がVR映画館のロビーに入場した場合、動作決定部42は、VRペットの動作として、しっぽを振ってユーザを歓迎する動作を決定してもよい。また、操作検出部30によりファンボタン操作が検出された場合、動作決定部42は、楽しいことを表現する動作を決定してもよい。また、操作検出部30によりサッドボタン操作が検出された場合、動作決定部42は、悲しいことを表現する動作を決定する。
[0042]
 また、不図示の音声検出部によりユーザが「来い」と発声したことが検出される(もしくは所定のボタン操作が入力される)と、動作決定部42は、VRペットの動作として、ユーザに近づく動作を決定してもよい。また、音声検出部によりユーザが「お座り」と発声したことが検出される(もしくは所定のボタン操作が入力される)と、動作決定部42は、VRペットの動作として、お座りする動作を決定してもよい。
[0043]
 また、動作決定部42は、属性取得部38により取得されたペットロボット5の属性情報(例えば学習データ)に応じて、VRペットの行動および動作を決定する。例えば、動作決定部42は、ペットロボット5の最近の機嫌(良いまたは悪い)に対応する行動をVRペットの行動として決定してもよい。また、動作決定部42は、学習データが示すペットの名前を取得し、不図示の音声検出部によりペットの名前が呼ばれたことが検出された場合、その呼びかけに反応する動作を決定してもよい。また、学習データは、ペットロボット5が学習した芸(お手、お座り、伏せ等)の情報を含んでもよい。動作決定部42は、ユーザによる入力装置16の操作や、ユーザの発声に応じた芸をするようVRペットの動作を決定してもよい。
[0044]
 また、動作決定部42は、来訪頻度記憶部24に記憶されたユーザの来訪頻度に関するデータをもとにVRペットの動作を変化させる。実施例では、来訪頻度が相対的に高い場合、具体的には、前回来訪から今回来訪までの間隔が所定の閾値未満(例えば1週間未満)である場合、動作決定部42は、VRペットの動作として、ユーザ(ユーザのアバター)に対して親近感を示す動作を決定する。親近感を示す動作は、(1)走ってユーザに近づき、跳ね回ること、(2)ユーザの指示にすぐに反応すること、(3)ファンボタン操作またはサッドボタン操作に対して特別な動作を行うこと、のいずれかまたは組合せであってもよい。
[0045]
 一方、ユーザの来訪頻度が相対的に低い場合、具体的には、前回来訪から今回来訪までの間隔が所定の閾値以上(例えば1週間以上)である場合、動作決定部42は、VRペットの動作として、ユーザ(ユーザのアバター)に対して疎遠であることを示す動作を決定する。疎遠であることを示す動作は、(1)1回の呼びかけでは反応しないこと、(2)ユーザの指示(コマンド)に応答しないこと(無視すること)、(3)ユーザに近寄らないこと、(4)ユーザから顔を背けること、のいずれかまたは組合せであってもよい。
[0046]
 また、動作決定部42は、他者検出部40によりユーザと異なる人物がユーザの近傍位置に出現したことが検出された場合、そのことをユーザに知らせるための特殊な注意喚起動作をVRペットの動作として決定する。注意喚起動作は、(1)ユーザの周囲や背後に向かって吠えること、(2)ユーザの服を噛んで引っ張ること、のいずれかまたは組合せであってもよい。
[0047]
 行動実績送信部44は、動作決定部42により決定されたVRペットの行動であって、VR画像に表示されたVRペットの行動に関するデータ(以下「VR行動履歴」とも呼ぶ。)を配信サーバ3へ送信する。配信サーバ3は、情報処理装置10から送信されたVR行動履歴を、ペット管理サーバ7を介してペットロボット5に記憶させる。ペット管理サーバ7は、ペットロボット5の学習データに、VR行動履歴を記録させてもよい。
[0048]
 姿勢検出部46は、撮像装置14から出力された撮像画像と、HMD100の姿勢センサ124から出力された姿勢情報とをもとに、公知のヘッドトラッキング技術を用いて、HMD100の位置および姿勢を検出する。言い換えれば、姿勢検出部46は、HMD100を装着したユーザの頭部の位置および姿勢を検出する。
[0049]
 感情取得部48は、ユーザと同一のセッションで同一の映像コンテンツを視聴する1人以上の他のユーザの感情(楽しさ、悲しさ等)を示す感情データを配信サーバ3から取得する。コントローラ制御部54は、感情取得部48により取得された感情データをもとに、ユーザおよび他のユーザの特定の感情の度合いが所定の閾値以上に達した場合、その特定の感情に対応付けられた態様で入力装置16を振動させる。
[0050]
 例えば、ユーザおよび他のユーザが抱く楽しさの感情が所定の閾値以上に達した場合、コントローラ制御部54は、楽しさに対応付けられた態様で入力装置16を振動させてもよい。例えば、律動的に振動させてもよい。一方、ユーザおよび他のユーザが抱く悲しみの感情が所定の閾値以上に達した場合、コントローラ制御部54は、悲しみに対応付けられた態様で入力装置16を振動させてもよい。例えば、ゆっくりと長く振動させてもよい。
[0051]
 画像生成部50は、操作検出部30により検出されたユーザ操作に応じて、VR映画館のVR画像を生成する。また、画像生成部50は、姿勢検出部46により検出されたHMD100の位置および姿勢に整合する内容のVR画像を生成する。画像出力部52は、画像生成部50により生成されたVR画像のデータをHMD100へ出力し、そのVR画像をHMD100に表示させる。
[0052]
 具体的には、画像生成部50は、VRペット画像を含むVR画像であって、動作決定部42により決定された態様でVRペット画像が動作するVR画像を生成する。例えば、画像生成部50は、VR空間へのユーザの来訪頻度に応じた態様でVRペット画像が動作するVR画像を生成する。また、他者検出部40によりユーザに対する他者の接近が検出された場合、画像生成部50は、そのことをユーザに知らせる態様でVRペット画像が動作するVR画像を生成する。
[0053]
 また、画像生成部50は、コンテンツ記憶部20に記憶された映像コンテンツの画像(言い換えれば再生結果)を含むVR画像を生成する。また、画像生成部50は、ユーザのセッションにフレンドが参加した場合、フレンドのアバター画像を含むVR画像を生成する。また、画像生成部50は、感情取得部48により取得された感情データに応じてVR画像を変化させる。
[0054]
 以上の構成によるエンタテインメントシステム1の動作を説明する。
 ユーザは、情報処理装置10において映像視聴アプリケーションを起動する。情報処理装置10の画像生成部50は、VR映画館のロビーの空間を示すVR画像であって、ユーザのVRペット画像を含むVR画像をHMD100に表示させる。
[0055]
 情報処理装置10の属性取得部38は、ペット管理サーバ7に登録されたペットロボット5に関する属性情報を、配信サーバ3を介して取得する。情報処理装置10の動作決定部42は、ペットロボット5の属性情報に応じて、VRペットの動作態様を決定する。画像生成部50は、動作決定部42により決定された態様にてVRペット画像が動作するVR画像を表示させる。実施例のエンタテインメントシステム1によると、現実空間におけるペットロボット5の属性を引き継いだVRペットをユーザに提供でき、エンタテインメント性が高いVR視聴体験をユーザに提供できる。
[0056]
 また、動作決定部42は、VR映画館へのユーザの来訪頻度に応じて、VRペットの動作態様を変化させることにより、ユーザに対するVRペットの親密度合いを変化させる。これにより、現実のペットに近い動作をVRペットに実現させ、また、VR映画館へのユーザの来訪を促進することができる。
[0057]
 ユーザは、ロビーでチケットを購入後、VRペットともにスクリーンルームに入場可能となる。図5はVR画像の例を示す。同図のVR画像300は、VR映画館のスクリーンルームを示している。スクリーンルームには、映像コンテンツが上映されるスクリーン302と、ダミーキャラクタ304、他のユーザを示す他ユーザアバター306が配置される。また、ユーザの隣の席にはユーザのVRペット308が着座する。なお、情報処理装置10のコンテンツ取得部32は、ユーザと同じ映像コンテンツを同時に視聴する他のユーザの情報をサーバから取得し、画像生成部50は、取得された情報に応じて、他ユーザアバター306をVR画像に含めてもよい。
[0058]
 図6もVR画像の例を示す。同図のVR画像300では、スクリーン302に映像コンテンツが上映されている。腕310は、一人称視点から見えるユーザの腕に対応する画像である。情報処理装置10の画像生成部50は、ユーザからファンボタン操作が入力されると、腕310を上げ、または拍手する等、楽しさを表現する態様でユーザのアバター画像を動作させる。一方、ユーザからサッドボタン操作が入力されると、腕310で顔を覆い、または泣く等、悲しみを表現する態様でユーザのアバター画像を動作させる。
[0059]
 情報処理装置10の動作決定部42は、ファンボタン操作およびサッドボタン操作に応じて、VRペットの動作を決定する。例えば、ファンボタン操作が入力された場合、動作決定部42は、喜びを表現する動作(元気にしっぽを振る等)を決定してもよい。一方、サッドボタン操作が入力された場合、動作決定部42は、悲しみを表現する動作(元気なく伏せる等)を決定してもよい。
[0060]
 また、情報処理装置10の感情送信部34は、ユーザの感情データを配信サーバ3へ送信し、配信サーバ3は、ユーザと同じ映像コンテンツを視聴している他のユーザ(フレンド等)の情報処理装置へその感情データを配信する。情報処理装置10の感情取得部48は、他のユーザの感情データを配信サーバ3から受け付ける。画像生成部50は、感情データが示す感情を表現するように他ユーザアバター306を動作させる。これにより、他のユーザの感情をユーザに認識させ、また、他のユーザの感情に共感させることでVR空間への没入感を一層高めることができる。
[0061]
 既述したように、情報処理装置10の感情取得部48は、ユーザと同じ映像コンテンツを視聴している他のユーザの感情データを取得する。画像生成部50は、ユーザおよび他のユーザが抱きうる複数種類の感情に対応する複数のメーター画像をVR画像に表示させてもよい。例えば、画像生成部50は、楽しさに対応するメーター画像と、悲しみに対応するメーター画像をスクリーンルームのステージや天井等に表示させてもよい。画像生成部50は、ユーザおよび他のユーザが抱く各感情の度合い(例えばファンボタン操作の回数や、サッドボタン操作の回数)に応じて、各感情のメーター画像の態様を変化させてもよい。このようなメーター画像により、同じ映像コンテンツを視聴する視聴者全体の感情の傾向(雰囲気)をユーザに分かり易く提示することができる。
[0062]
 また、画像生成部50は、ユーザおよび他のユーザの特定の感情の度合いが所定の閾値以上に達した場合、その特定の感情に対応付けられた態様のVR画像を表示させてもよい。例えば、画像生成部50は、ユーザおよび他のユーザが抱く楽しさが所定の閾値以上に達した場合、スクリーンルームの一部(スクリーンの周辺や天井等)を暖色系の色彩(オレンジや黄色等)に変化させてもよい。上記閾値は、ファンボタン操作の回数が所定の閾値以上に達したことでもよく、同じ映像コンテンツを視聴する視聴者の過半数がファンボタン操作を入力したことでもよい。
[0063]
 一方、ユーザおよび他のユーザが抱く悲しみが所定の閾値以上に達した場合、画像生成部50は、スクリーンルームの一部(スクリーンの周辺や天井等)を寒色系の色彩(青や紫等)に変化させてもよい。上記閾値は、サッドボタン操作の回数が所定の閾値以上に達したことでもよく、同じ映像コンテンツを視聴する視聴者の過半数がサッドボタン操作を入力したことでもよい。
[0064]
 また、動作決定部42は、ユーザおよび他のユーザの特定の感情の度合いが所定の閾値以上に達した場合、その特定の感情に対応付けられた行動を、VRペットの行動として決定してもよい。例えば、ユーザおよび他のユーザが抱く楽しさが所定の閾値以上に達した場合、動作決定部42は、喜びを表現する動作(元気にしっぽを振る等)を決定してもよい。一方、動作決定部42は、ユーザおよび他のユーザが抱く悲しみが所定の閾値以上に達した場合、悲しみを表現する動作(元気なく伏せる等)を決定してもよい。
[0065]
 なお、ロビーにおいて、ユーザは、フレンドを自身のセッションに招待するメニューを選択できる。情報処理装置10のフレンド通信部36は、上記メニューが選択された場合、ユーザのセッションにフレンドを招待する旨のメッセージをフレンドの情報処理装置(不図示)へ送信する。フレンド通信部36は、フレンドの情報処理装置から送信された、フレンドがユーザのセッションに参加した旨の通知を受け付ける。画像生成部50は、フレンドのアバター画像をロビーおよびスクリーンルームのVR画像に表示させる。
[0066]
 この場合、配信サーバ3は、情報処理装置10への映像コンテンツの配信と、フレンドの情報処理装置への同映像コンテンツの配信とを同期させる。ユーザとフレンドは、現実に同じ場所にいるかのように、同じ映像コンテンツを同時に視聴することができる。
[0067]
 情報処理装置10の行動実績送信部44は、仮想映画館におけるVRペットの行動内容を示すVR行動履歴を、配信サーバ3を介してペットロボット5に反映する。これにより、仮想現実空間におけるVRペットの行動を、現実空間におけるペットロボット5の行動に反映させることができる。例えば、VR行動履歴が、ユーザとVRペットとの親密な行動を示す場合、現実空間におけるペットロボット5にもユーザに対して親密に振る舞わせることができる。
[0068]
 なお、VR行動履歴は、VRペットの行動に代えて、または、VRペットの行動とともに、ユーザの行動に関するデータを含んでもよい。これにより、仮想現実空間でのVRペットに対するユーザの行動(なでる、遊ぶ等)の実績を現実空間におけるペットロボット5の行動に反映させることができる。例えば、仮想現実空間でユーザがVRペットに触れ合うことにより、現実空間におけるユーザとペットロボット5との親密度を向上させることができる。
[0069]
 VR画像をHMD100に表示中に、情報処理装置10の他者検出部40が、ユーザに対する他者の接近を検出すると、動作決定部42は、そのことをユーザに知らせるための注意喚起動作をVRペットの動作として決定する。画像生成部50は、VRペットがユーザに注意喚起するVR画像をHMD100に表示させる。図1に示すように、HMD100を装着したユーザは、自身の周囲を確認することが困難になるが、VRペットによる注意喚起動作により、ユーザは周囲に注意を向け、また、必要に応じて他者に声を掛けることができる。
[0070]
 以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
[0071]
 第1変形例を説明する。エンタテインメントシステム1は、フリーマッチングにより、映像視聴アプリケーションを使用する複数のユーザを同一のゲームセッションに収容し、複数のユーザに同一の映像コンテンツを同時に視聴させてもよい。例えば、映像コンテンツが、PV(プロモーションビデオ)区間と、本体区間(映画の本編等)を含む場合、映像コンテンツの開始からPV区間が終了するまでの間(本体区間の開始前)に、同一映像コンテンツのチケットを購入したユーザを同一のゲームセッションに収容してもよい。
[0072]
 この場合、情報処理装置10のコンテンツ取得部32は、同一のゲームセッションに収容された他のユーザに関する情報(アバターの種類や、席の情報、感情データ等)を配信サーバ3から取得してもよい。画像生成部50は、他のユーザのアバター画像を含むVR画像(スクリーンルーム画像)を生成してもよい。
[0073]
 第2変形例を説明する。上記実施例では、情報処理装置10は、ペットロボット5に関する属性情報を、ペット管理サーバ7および配信サーバ3を経由して取得した。変形例として、情報処理装置10は、ペットロボット5とP2P(ピアツーピア)通信し、属性情報をペットロボット5から直接取得してもよい。
[0074]
 第3変形例を説明する。上記実施例では、現実空間においてユーザの行動に反応して行動する第1オブジェクトとして、ペットロボットを例示した。実施例に記載の技術は、ペットロボットに限らず、現実空間においてユーザの行動に反応して行動する種々のオブジェクトに適用可能である。例えば、第1オブジェクトは、人型ロボットであってもよく、人間と対話可能な電子機器(スマートスピーカー等)であってもよい。また、第1オブジェクトは、現実の動物のペット(「リアルペット」と呼ぶ。)であってもよい。この場合、ユーザは、リアルペットに関する属性情報を情報処理装置10に入力してもよく、または、所定の電子機器を使用して配信サーバ3に登録してもよい。
[0075]
 第4変形例を説明する。仮想現実空間においてユーザの行動に反応して行動する第2オブジェクトは、ユーザのペットに限らず、アニメ漫画やゲーム等に登場するキャラクタであってもよい。情報処理装置10は、複数種類のペットやキャラクタの中からやり取りを行うペットまたはキャラクタをユーザに無料または有料にて選択させ、選択されたペットまたはキャラクタを仮想現実空間に登場させる切替部(および購入部)をさらに備えてもよい。情報処理装置10の画像生成部50は、ユーザがロビーに入場した際に、ユーザにより選択されたペットまたはキャラクタを含むVR画像を表示させてもよい。
[0076]
 上記実施例で情報処理装置10が備えた機能の少なくとも一部を、配信サーバ3が備えてもよく、HMD100が備えてもよい。また、上記実施例で情報処理装置10が備えた機能は、複数のコンピュータが連携することにより実現されてもよい。
[0077]
 上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

符号の説明

[0078]
 1 エンタテインメントシステム、 3 配信サーバ、 5 ペットロボット、 10 情報処理装置、 14 撮像装置、 24 来訪頻度記憶部、 38 属性取得部、 40 他者検出部、 42 動作決定部、 44 行動実績送信部、 50 画像生成部、 52 画像出力部、 100 HMD。

産業上の利用可能性

[0079]
 この発明は、仮想現実空間の画像を生成するシステムに適用できる。

請求の範囲

[請求項1]
 現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得する取得部と、
 仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、前記取得部により取得された属性情報に応じて前記第2オブジェクトが動作する仮想現実画像を生成する生成部と、
 前記生成部により生成された仮想現実画像を表示装置に表示させる出力部と、
 を備えることを特徴とする情報処理システム。
[請求項2]
 前記第1オブジェクトはロボットであり、
 前記取得部は、前記第1オブジェクトから送信された属性情報を取得することを特徴とする請求項1に記載の情報処理システム。
[請求項3]
 仮想現実空間におけるユーザと前記第2オブジェクトの少なくとも一方の行動に関するデータを外部装置へ送信することにより、仮想現実空間での行動を前記第1オブジェクトに反映させる送信部をさらに備えることを特徴とする請求項2に記載の情報処理システム。
[請求項4]
 ユーザが仮想現実空間を訪れた頻度に関するデータを記憶する記憶部と、
 仮想現実空間における前記オブジェクト画像の動作を決定し、前記頻度に関するデータをもとに前記オブジェクト画像の動作を変化させる決定部と、をさらに備えることを特徴とする請求項1から3のいずれかに記載の情報処理システム。
[請求項5]
 ヘッドマウントディスプレイを装着したユーザを含む空間を撮像する撮像部をさらに備え、
 前記生成部は、前記ヘッドマウントディスプレイに表示させる仮想現実画像を生成し、前記撮像部により撮像された画像にユーザとは異なる人物が出現した場合、そのことをユーザに知らせる態様で前記オブジェクト画像が動作する仮想現実画像を生成することを特徴とする請求項1から4のいずれかに記載の情報処理システム。
[請求項6]
 現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得するステップと、
 仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、前記取得するステップで取得された属性情報に応じて前記第2オブジェクトが動作する仮想現実画像を生成するステップと、
 前記生成するステップで生成された仮想現実画像を表示装置に表示させるステップと、
 をコンピュータが実行することを特徴とする表示方法。
[請求項7]
 現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得する機能と、
 仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、前記取得する機能により取得された属性情報に応じて前記第2オブジェクトが動作する仮想現実画像を生成する機能と、
 前記生成する機能により生成された仮想現実画像を表示装置に表示させる機能と、
 をコンピュータに実現させるためのコンピュータプログラム。

補正された請求の範囲(条約第19条)
[ 2019年6月21日 ( 21.06.2019 )  国際事務局受理 ]

[1]
[補正後] 現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得する取得部と、
 仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像について、前記仮想現実空間における前記オブジェクト画像の動作態様を、前記取得部により取得された属性情報に応じて決定する決定部と、
 前記決定部により決定された態様にて前記オブジェクト画像が動作する仮想現実画像を生成する生成部と、
 前記生成部により生成された仮想現実画像を表示装置に表示させる出力部と、
 を備え、
 前記決定部は、さらに、前記仮想現実空間においてユーザとともに行動する他のユーザに関するデータをもとに前記オブジェクト画像の動作態様を決定することを特徴とする情報処理システム。
[2]
 前記第1オブジェクトはロボットであり、
 前記取得部は、前記第1オブジェクトから送信された属性情報を取得することを特徴とする請求項1に記載の情報処理システム。
[3]
 仮想現実空間におけるユーザと前記第2オブジェクトの少なくとも一方の行動に関するデータを外部装置へ送信することにより、仮想現実空間での行動を前記第1オブジェクトに反映させる送信部をさらに備えることを特徴とする請求項2に記載の情報処理システム。
[4]
[補正後] ユーザが仮想現実空間を訪れた頻度に関するデータを記憶する記憶部をさらに備え、
 前記決定部は、前記頻度に関するデータをもとに前記オブジェクト画像の動作態様を変化させることを特徴とする請求項1から3のいずれかに記載の情報処理システム。
[5]
 ヘッドマウントディスプレイを装着したユーザを含む空間を撮像する撮像部をさらに備え、
 前記生成部は、前記ヘッドマウントディスプレイに表示させる仮想現実画像を生成し、前記撮像部により撮像された画像にユーザとは異なる人物が出現した場合、そのことをユーザに知らせる態様で前記オブジェクト画像が動作する仮想現実画像を生成することを特徴とする請求項1から4のいずれかに記載の情報処理システム。
[6]
[補正後] 現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得するステップと、
 仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像について、前記仮想現実空間における前記オブジェクト画像の動作態様を、前記取得するステップで取得された属性情報に応じて決定するステップと、
 前記決定するステップで決定された態様にて前記オブジェクト画像が動作する仮想現実画像を生成するステップと、
 前記生成するステップで生成された仮想現実画像を表示装置に表示させるステップと、
 をコンピュータが実行し、
 前記決定するステップは、さらに、前記仮想現実空間においてユーザとともに行動する他のユーザに関するデータをもとに前記オブジェクト画像の動作態様を決定することを特徴とする表示方法。
[7]
[補正後] 現実空間においてユーザの行動に反応して作動する第1オブジェクトに関する属性情報を外部装置から取得する機能と、
 仮想現実空間においてユーザの行動に反応して作動する第2オブジェクトを示すオブジェクト画像について、前記仮想現実空間における前記オブジェクト画像の動作態様を、前記取得する機能により取得された属性情報に応じて決定する機能と、
 前記決定する機能により決定された態様にて前記オブジェクト画像が動作する仮想現実画像を生成する機能と、
 前記生成する機能により生成された仮想現実画像を表示装置に表示させる機能と、
 をコンピュータに実現させ、
 前記決定する機能は、さらに、前記仮想現実空間においてユーザとともに行動する他のユーザに関するデータをもとに前記オブジェクト画像の動作態様を決定することを特徴とするコンピュータプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]