処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020130112 - 所定のコンテンツを有する仮想空間を提供する方法

Document

明 細 書

発明の名称 所定のコンテンツを有する仮想空間を提供する方法

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008  

発明の効果

0009  

図面の簡単な説明

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047  

符号の説明

0048  

請求の範囲

1   2   3   4   5  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

明 細 書

発明の名称 : 所定のコンテンツを有する仮想空間を提供する方法

技術分野

[0001]
 本発明は、複数のユーザに対する仮想空間を提供する方法に関する。詳しくは、パフォーマによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法に関する。

背景技術

[0002]
 モーションキャプチャは、現実空間におけるパフォーマユーザ(以下、「パフォーマ」)の動きをデジタル的にキャプチャする技術であり、キャプチャした動きは、動画などのコンピュータアニメーションおよびゲーム等におけるキャラクタの動きの表現に利用される。
[0003]
 また、近年、パフォーマが装着したヘッドマウントディスプレイ(以下、「HMD」)の動きや、パフォーマが把持するコントローラによる入力を介した、仮想空間におけるキャラクタの制御方法が考案されている。
[0004]
 また、ライブ動画等のコンテンツをユーザに配信するコンテンツ共有サービスが提供されており、このようなコンテンツ共有サービスにおいて、コンテンツの投稿者やパフォーマへの肯定的な評価を表現するためのアイテムの取得や購入を促すための仕組みが開示されている。(例えば、特許文献1)

先行技術文献

特許文献

[0005]
特許文献1 : 特開2015-090526号公報

発明の概要

発明が解決しようとする課題

[0006]
 上記文献に開示される技術は、ユーザの承認欲求又はユーザ同士の競争意識を芽生えさせるため、ユーザが購入したアイテムの量によってユーザアバタの仮想空間内における表示位置を決定する、という仕組みを提供している。しかしながら、本技術によって、ユーザアバタの表示位置をパフォーマにより近い位置に表示させることで、ユーザの承認欲求を満足させることはできるものの、そこにパフォーマとのインタラクションやコミュニケーションは存在しない。
[0007]
 そこで、本発明は、仮想空間において、パフォーマとユーザとのインタラクションをより効果的に促進できる方法を提供することを目的とする。

課題を解決するための手段

[0008]
 本発明における一実施形態により提供される、パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、当該パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法は、制御装置を介してパフォーマユーザの入力を検出するステップと、 前記パフォーマユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップと、前記パフォーマユーザの入力に基づいて、キャラクタの画像の一部に変更を加えるステップと、有する。

発明の効果

[0009]
 本発明によれば、仮想空間において、パフォーマとユーザとのインタラクションやコミュニケーションをより効果的に促進することが可能となる。

図面の簡単な説明

[0010]
[図1] 第1の実施形態にかかるヘッドマウントディスプレイ110の外観の模式図を示す。
[図2] 第1の実施形態にかかるコントローラ210の外観の模式図を示す。
[図3] 第1の実施形態にかかるHMDシステム300の構成図を示す。
[図4] 第1の実施形態にかかるHMD110の機能構成図を示す。
[図5] 第1の実施形態にかかるコントローラ210の機能構成図を示す。
[図6] 第1の実施形態にかかる画像生成装置310の機能構成図を示す。
[図7] 第1の実施形態にかかる、仮想空間を提供する方法を示すフローチャートを示す。
[図8] 第1の実施形態にかかる、メイキャップ処理を示すフローチャートを示す。
[図9] 第1の実施形態にかかる、ユーザに対して提供される仮想空間の一例を示す。
[図10] 第1の実施形態にかかる、ユーザに対して提供される仮想空間の他の一例を示す。
[図11] 第1の実施形態にかかる、パフォーマユーザによるキャラクタ描画の一例を示す。
[図12] 第1の実施形態にかかる、パフォーマユーザによるキャラクタ描画の他の一例を示す。
[図13] 第2の実施形態にかかる、ユーザに仮想空間を提供する方法を示すフローチャートを示す。
[図14] 第2の実施形態にかかる、ユーザに提供される仮想空間の一例を示す。
[図15] 第2の実施形態にかかる、ユーザに提供される仮想空間の他の一例を示す。
[図16] 第2の実施形態において、ユーザに表示される仮想空間のさらに他の一例を示す。
[0011]
<実施形態1>
 本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
[0012]
図1は、本実施形態にかかるヘッドマウントディスプレイ(以下:HMD)110の外観の模式図を示す。HMD110はパフォーマの頭部に装着され、パフォーマの左右の眼前に配置されるよう表示パネル120を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル120には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をパフォーマに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
[0013]
さらに、HMD110の筐体部130は、センサ140を備える。センサは、パフォーマの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。パフォーマの頭部の垂直方向をY軸とし、Y軸と直交する軸のうち、表示パネル120の中心とパフォーマとを結ぶ、パフォーマの前後方向に相当する軸をZ軸とし、Y軸及びZ軸と直交し、パフォーマの左右方向に相当する軸をX軸とするとき、センサ140は、X軸まわりの回転角(いわゆる、ピッチ角)、Y軸まわりの回転角(いわゆる、ヨー角)、Z軸まわりの回転角(いわゆる、ロール角)を検出することができる。
[0014]
さらに、またはセンサ140に代えて、HMD110の筐体部130は、複数の光源150(例えば、赤外光LED、可視光LED)を備えることもでき、HMD110の外部(例えば、室内等)に設置されたカメラ(例えば、赤外光カメラ、可視光カメラ)がこれらの光源を検出することで、特定の空間におけるHMD110の位置、向き、傾きを検出することができる。または、同じ目的で、HMD110に、HMD110の筐体部130に設置された光源を検出するためのカメラを備えることもできる。
[0015]
さらに、HMD110の筐体部130は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、パフォーマの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
[0016]
 図2は、本実施形態にかかるコントローラ210の外観の模式図を示す。コントローラ210により、仮想空間内において、パフォーマが所定の入力を行うことをサポートすることができる。コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができる。左手用コントローラ220及び右手用コントローラ230は、各々操作用トリガーボタン240、赤外線LED250、センサ260、ジョイスティック270、メニューボタン280を有することができる。
[0017]
 操作用トリガーボタン240は、コントローラ210のグリップ235を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に240a、240bとして配置される。コントローラ210の両側面から下方にリング状に形成されるフレーム245には、複数の赤外線LED250が備えられ、コントローラ外部に備えられるカメラ(図示せず)により、これらの赤外線LEDの位置を検出することで、特定の空間におけるコントローラ210の位置、向き及び傾きを検出することができる。
[0018]
また、コントローラ210は、コントローラ210の向きや傾きといった動きを検出するために、センサ260を内蔵することができる。センサ260として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ210の上面には、ジョイスティック270及びメニューボタン280を備えることができる。ジョイスティック270は、基準点を中心に360度方向に動かすことができ、コントローラ210のグリップ235を把持したときに、親指で操作されることが想定される。メニューボタン280もまた同様に、親指で操作されることが想定される。さらに、コントローラ210は、コントローラ210を操作するパフォーマの手に振動を与えるためのバイブレータ(図示せず)を内蔵することもできる。ボタンやジョイスティックを介したパフォーマの入力内容やセンサ等を介したコントローラ210の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ210は、入出力部及び通信部を有する。
[0019]
パフォーマがコントローラ210を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線LEDやセンサにより検出される情報によって、システムはパフォーマの手の動きや姿勢を決定し、仮想空間内において擬似的にパフォーマの手を表示させ、動作させることができる。
[0020]
図3は、本実施形態にかかるHMDシステム300の構成図を示す。HMDシステム300は、例えば、HMD110、コントローラ210及びホストコンピュータとして機能する画像生成装置310で構成することができる。さらに、HMD110やコントローラ210の位置、向き及び傾き等を検出するための赤外線カメラ(図示せず)等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にUSBポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、HDMI(登録商標)、有線LAN、赤外線、Bluetooth(登録商標)、WiFi(登録商標)等の有線又は無線により通信を確立することもできる。画像生成装置310は、PC、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置310は、インターネット等のネットワークを介して401A、401B、401C等の複数のユーザ端末と接続し、生成した画像をストリーミングまたはダウンロードの形態で送信することができる。ユーザ端末401A等は、各々インターネットブラウザを備えるか、適切なビューワを備えることで送信された画像を再生することができる。ここで、画像生成装置310は、複数のユーザ端末に対し、直接画像を送信することもできるし、他のコンテンツ配信サーバを介して画像を送信することもできる。また、画像生成装置310により実行される処理を、HMD110により実行させることで、ネットワークに依存せずにHMD110をスタンドアローンで機能する構成とすることもできる。
[0021]
図4は、本実施形態にかかるHMD110の機能構成図を示す。図1において述べたように、HMD110は、センサ140を備えることができる。センサとしては、パフォーマの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、パフォーマの左目及び右目の視線方向及び注視点を検出するために用いられる。さらに精度よく、パフォーマの頭部の向きや傾きといった動きを検出したり、パフォーマの頭部の位置を検出したりするために、赤外光や紫外光といったLED150を備えることもできる。また、HMDの外景を撮影するためのカメラ160を備えることができる。また、パフォーマの発話を集音するためのマイク170、音声を出力するためのヘッドフォン180を備えることもできる。なお、マイクやヘッドフォンはHMD110とは別個独立した装置として有することもできる。
[0022]
さらに、HMD110は、例えば、コントローラ210や画像生成装置310等の周辺装置との有線による接続を確立するための入出力部190を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部115を備えることができる。センサ140により取得されたパフォーマの頭部の向きや傾きといった動きに関する情報は、制御部125によって、入出力部190及び/又は通信部115を介して画像生成装置310に送信される。詳細は後述するが、画像生成装置310において、パフォーマの頭部の動きに基づいて生成された画像は、入出力部190及び/又は通信部115を介して受信され、制御部125によって表示部120に出力される。
[0023]
図5は、本実施形態にかかるコントローラ210の機能構成図を示す。図2において述べたように、コントローラ210は、コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン240、ジョイスティック270、メニューボタン280といった操作部245を備えることができる。また、コントローラ210は、コントローラ210の向きや傾きといった動きを検出するために、センサ260を内蔵することができる。センサ260として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、複数の赤外線LED250が備えられ、コントローラ外部に備えられるカメラ(図示せず)により、これらの赤外線LEDの位置を検出することで、特定の空間におけるコントローラ210の位置、向き及び傾きを検出することができる。コントローラ210は、例えば、HMD110や画像生成装置310等の周辺装置との有線による接続を確立するための入出力部255を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部265を備えることができる。パフォーマにより操作部245を介して入力された情報及びセンサ260によって取得されたコントローラ210の向きや傾きといった情報は、入出力部255及び/又は通信部265を介して画像生成装置310に送信される。
[0024]
図6は、本実施形態にかかる画像生成装置310の機能構成図を示す。画像生成装置310としては、HMD110やコントローラ210から送信された入力情報やセンサ等により取得されたパフォーマの頭部の動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、PC、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置310は、例えば、HMD110やコントローラ210等の周辺装置との有線による接続を確立するための入出力部320を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部330を備えることができる。入出力部320及び/又は通信部330を介して、HMD110及び/又はコントローラ210から受信された、パフォーマの頭部の動きやコントローラの動きや操作に関する情報は、制御部340において、パフォーマの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、パフォーマの入力内容に応じて、記憶部350に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部340は、CPUで構成することもできるが、画像処理に特化したGPUをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置310はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
[0025]
さらに、画像生成装置310の制御部340は、HMD110及び/又はコントローラ210から受信された、パフォーマの頭部の動きやパフォーマの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部610と、予め記憶部350のキャラクタデータ格納部660に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部620と、キャラクタ制御に基づいて画像を生成する画像生成部630を有する。ここでキャラクタの動きの制御については、HMD110やコントローラ210を介して検出されたパフォーマ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。その他、制御部340は、他のユーザ端末から、仮想空間に配置するアイテムの選択を受け付けるアイテム受付部640を有し、また、キャラクタのテクスチャデータに対し、パフォーマユーザによる操作により修正及び更新を行うキャラクタ描画部650を有する。画像生成部630によって、図9に示されるような、キャラクタ表示領域及びユーザ表示領域を含む仮想空間が生成される。仮想空間の画面は、ネットワークを経由して、各ユーザ端末の表示部に表示することもできるし、パフォーマが装着するHMD110の表示部120に表示することもできる。特にパフォーマが装着するHMD110の表示部120に表示される画面は、パフォーマ操作用の、パフォーマにしか表示されない情報を含むことができる。また、仮想空間の画面のほか、パフォーマの操作用の画面を表示部120に表示することもできる。
[0026]
記憶部350は、上述のキャラクタデータ格納部660に、キャラクタの3Dオブジェクトモデル、テクスチャデータ、アニメーションデータ等のキャラクタの3D描画に関連するデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部670は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラム及びキャラクタやユーザアバタ等のコンテンツを含む仮想空間を生成するためのプログラムを格納する。ストリーミングデータ格納部680は、画像生成部630で生成された画像を格納する。ストリームデータとして格納された仮想空間の画像は、ユーザの要求に応じて、ライブ画像とともに同時配信することができる。記憶部350は、アイテムに関するデータを格納するアイテムデータ格納部685を有する。さらに、記憶部350は、ユーザに関連する情報及びユーザアバタを格納するユーザデータ格納部690を有する。本実施形態における画像生成装置の特徴としては、複数のユーザ端末に対して仮想空間となる画像を送信するだけでなく、ユーザ端末からアイテムやコメントを受付けることができる。なお、画像生成装置310の全部又は一部の機能を、画像を生成することだけに特化し、別途コンテンツ・サービスサーバを設けて、このコンテンツ・サービスサーバが、ユーザ端末に画像を送信し、また、ユーザ端末からアイテムやコメントを受け付ける等の機能を有することもできる。
[0027]
 図7は、本発明の第1の実施形態にかかる、仮想空間を提供する方法を示すフローチャートを示す。本方法は、例えば、制御プログラム格納部670に格納された制御プログラムを画像生成装置310の制御部340の各部により処理されることで実行される。
[0028]
 まず、制御部340の入出力検出部610は、パフォーマユーザが演じるキャラクタのパーツを修正するためのユーザ入力を検出する(S101)。ここで、ユーザ入力の形態としていくつか考えられるが、例えば、仮想空間におけるキャラクタを、コントローラにより直接指示することにより、修正したいキャラクタのパーツを指定する方法、または、パフォーマの操作用画面において、キャラクタ・パーツ修正用のメニューを表示し、ユーザがコントローラを使って、修正したいパーツを指定する方法や、パフォーマユーザが、セカンドスクリーンとして座標入力装置(例えば、図11のペンタブレット730、以下、「ペンタブ」という)を使用し、ペンタブのスクリーンにおいて、キャラクタ・パーツ修正の旨の指示と、修正したいパーツを指定する方法等が考えられる。
[0029]
 ここで、図9は、本実施形態にかかる、ユーザ端末に表示される仮想空間1100の一例を示す図である。図7に示すように、ユーザ端末は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部1110において、キャラクタ1120を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ1120は、演者としてのパフォーマに装着されるHMD110及び/またはコントローラ210を介した、パフォーマの頭部の傾きや向きといった動き、パフォーマの発話内容、または、コントローラ210の傾きや向きといった動き、コントローラ210を介したパフォーマの操作内容といった、ユーザ入力に基づいて、動作することができる。さらに、仮想空間1110において、オーディエンスとなる複数のユーザアバタを表示する領域1130が設けられており、さらに、仮想空間1100は、ユーザがコメントを入力し、投稿するコメント入力部1140、ユーザがギフトアイテムを選択し、投稿するギフトアイテム選択部1150を有する。ユーザによって入力され投稿されたコメントは、例えば、図9において、対応するユーザアバタ位置の近傍に表示される吹き出し等の所定の領域に表示される。
[0030]
 S101において、例えば、図11において、パフォーマユーザが、HMD110の表示部120に表示される、パフォーマ用操作画面700において、仮想空間710に表示されるキャラクタの一部をコントローラにより指示する等の所定操作をすることにより、修正したいキャラクタのパーツを指定することができる。
[0031]
図7に戻り、続いて、ユーザ入力を基に、キャラクタ描画部650は、修正描画する対象となるキャラクタ・パーツを決定する(S102)。例えば、ユーザが、修正したいキャラクタのパーツをまつ毛である、と指示した場合、キャラクタ描画部650は、記憶部350のキャラクタデータ格納部660に格納される、キャラクタのテクスチャデータを参照し、ユーザが指示したパーツが含まれるテクスチャデータを、表示部120のメイキャップ用の領域に表示する。なお、メイキャップ用の表示領域は、図11に示す、HMD110の表示部120に表示される画面700に描画作業用領域(例えば、領域720)として表示する形態のほか、付属の(図示しない)モニタに表示したり、図11に示すようなペンタブ730の表示部に表示することもできる。パフォーマ操作用画面700に表示する場合は、仮想空間が表示される領域710とは分離された、または、オーバーレイされた領域720をメイキャップ用の表示領域とする等パフォーマユーザにとってメイキャップ操作がしやすい態様を適用することができる。
[0032]
 続いて、キャラクタ描画部650は、メイキャップ処理を実行する(S103)。メイキャップ処理の詳細は、図8を用いて説明する。
[0033]
図8は、第1の実施形態にかかる、メイキャップ処理を示すフローチャートを示す。ここで、一例として、図11に示すように、ユーザが修正したいキャラクタのパーツを含むテクスチャデータが、領域720に表示され、ユーザはペンタブ730等のコントローラを使用して入力を行うことで、表示されたテクスチャデータを、自由に修正・着色等を行うことができる。
[0034]
本例においては、図11の所定の領域720に表示されるキャラクタのテクスチャデータに対し、ユーザがペンタブ730によりペン入力を行うことで、キャラクタのパーツに修正等を行う処理について説明する。図11においては、ユーザが睫毛のメイキャップを指示したときに、領域720に表示される画面の例であり、図12は、ユーザがネイルの装飾を指示したときに、領域720の表示部に表示される画面の例である。
[0035]
図8において、まず、入出力検出部610は、ユーザ入力を検出する(S201)。例えば、図11において、ユーザは、描画用領域720に表示される、キャラクタの顔の部位のうち、眼の周辺に睫毛を追加したいときに、入力装置としてペンタブ730の入力領域にペンを使って入力を行う。入出力検出部610は、ユーザによりペンによる描画の入力があった旨を検出する。
[0036]
 次に、キャラクタ描画部650は、ペンタブ730の入力領域においてペン入力のあった座標を検出する(S202)。ペンタブ730の入力領域上の座標は、パフォーマ用操作画面700における領域720上の座標に対応しており、ユーザによる、ペンタブ730上の入力内容は、領域720におけるテクスチャデータに対する入力として反映される。
[0037]
 次に、キャラクタ描画部650は、ユーザの入力内容に基づいて、キャラクタのテクスチャデータに描画処理を行う(S203)。例えば、ユーザが入力した睫毛のイラストをキャラクタのテクスチャデータに追加する描画処理を実行する。ここで、テクスチャの色の補正を行うためのインジケータを表示し、ユーザ要求に応じて、色の補正を行うこともできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明さ、コントラスト等の補正を含む。修正後のキャラクタのテクスチャデータは、適宜記憶部350のキャラクタデータ格納部660に格納される。
[0038]
 続いて、画像生成部630は、修正されたキャラクタを仮想空間内に配置する画像生成処理を行う(S204)。画像生成630は、記憶部350に格納されたキャラクタデータを基に、3D形状データを所定の空間にマッピングし、テクスチャデータを3D形状にマッピングさせることで、キャラクタの3Dオブジェクトを生成する。仮想空間の背景画像に、キャラクタの3Dオブジェクトが重畳することで仮想空間が生成され、仮想空間がユーザ端末401及びHMD110の表示部に表示される。例えば、図10に示すように、HMD110の仮想空間710に、睫毛が追加されたキャラクタの画像が表示される。同様の仮想空間は、画像生成装置310にネットワーク経由で接続する各ユーザ端末401に対しても送信される。
[0039]
以上のように、本実施形態により、ユーザ端末に提供される、キャラクタ画像を含む仮想空間において、リアルタイムにキャラクタ画像を変更する処理を適用することで、キャラクタとの一体感をユーザに提供することができ、よりインタラクティブな空間を提供することができる。
<第2実施形態>
[0040]
 図13は、第2の実施形態にかかる、ユーザに仮想空間を提供する方法を示すフローチャートを示す。本方法は、例えば、制御プログラム格納部670に格納された制御プログラムを画像生成装置310の制御部340の各部により処理されることで実行される。
[0041]
 まず、制御部340のアイテム受付部640は、複数のユーザ端末401のいずれかからアイテムを受け付ける(S301)。例えば、図14及び図15に示すように、仮想空間1100の、ユーザがギフトアイテムを選択し、投稿するギフトアイテム選択部1150から、ユーザは、例えば、図14において、ネイル用の道具を選択することが可能であり、図15において、メイク道具を選択し、課金ポイントを消費することで、選択したアイテムをキャラクタに対してギフトとして送信することができる。
[0042]
 続いて、画像生成部630は、S101においてユーザが選択したアイテムを仮想空間1100に配置する(S302)。例えば、図15において、ユーザがメイク用のパレット1160とメイク用の筆1170を選択したとき、画像生成部630は、パレット1160と筆1170を仮想空間1110に配置するよう、画像生成を行う。
[0043]
 続いて、キャラクタ制御部620は、パフォーマユーザの動作を検出し、仮想空間内のキャラクタを制御する(S303)。例えば、パフォーマユーザは、仮想空間1110内に配置されたパレット1160と筆1170に対し、キャラクタを介して接触するよう動作する。より具体的には、パフォーマユーザは、パフォーマ用操作画面700を見ながら、コントローラ210を移動させ、所定の操作ボタンを押すことで、画像生成装置310の入出力検出部610は、コントローラ210の動作を検出し、キャラクタ制御部620は、対応する動作として、キャラクタ1120が仮想空間1110内のアイテムを把持するよう制御する。
[0044]
 続いて、キャラクタ描画部650は、メイキャップ処理を実行する(S304)。メイキャップ処理の詳細は、第1の実施形態において説明した通りである。ここで、キャラクタ描画部650は、キャラクタ1120が把持したアイテムに応じて、描画対象となるキャラクタのパーツを自動的に選択し、パフォーマ操作画面700に対応するテクスチャデータを表示させることもできる。または、キャラクタ描画部650は、パフォーマユーザによって演じられるキャラクタ1120が、アイテムにより指示したパーツを、描画対象のパーツとして認識し、テクスチャデータを表示することもできる。図16の例においては、キャラクタ1120は、メイク用の筆1170をキャラクタの顔部分に近づけるように動作しているので、キャラクタ描画部650は、キャラクタの顔を描画対象パーツとして認識することができる。
[0045]
続いて、画像生成部630は、修正されたキャラクタを仮想空間内に配置する画像生成処理を行う(S305)。本画像生成処理についても、第1の実施形態において説明した通りである。図16の例に示すように、睫毛のメイキャップを施したキャラクタ1120の画像が仮想空間にリアルタイムに送信されている。
[0046]
以上のように、本実施形態により、仮想空間において、ユーザは所望のアイテムをキャラクタに提供し、キャラクタは、提供されたアイテムにより自身のパーツに装飾を施すことができるので、通常のチャットや会話によるコミュニケーションに加えて、新しい形でのコミュニケーションの形を提供することができる。
[0047]
 上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

符号の説明

[0048]
110 ヘッドマウントディスプレイ
115 通信部
120 表示パネル
125 制御部
140 センサ
150 光源
160 カメラ
170 マイク
180 ヘッドフォン
190 入出力部
210 コントローラ
220 左手用コントローラ
230 右手用コントローラ
240a、240b トリガーボタン
245 操作部
250 赤外線LED
255 入出力部
260 センサ
270 ジョイスティック
280 メニューボタン
290 フレーム
310 画像生成装置
320 入出力部
330 通信部
340 制御部
350 記憶部
401A、401B、401C ユーザ端末 

請求の範囲

[請求項1]
 パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、当該パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法であって、
制御装置を介してパフォーマユーザの入力を検出するステップと、
前記パフォーマユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップと、
 前記パフォーマユーザの入力に基づいて、キャラクタの画像の一部に変更を加えるステップと、有する仮想空間を提供する方法。
[請求項2]
 請求項1に記載の仮想空間を提供する方法であって、
 前記変更を加えたキャラクタの画像を送信するステップを、更に含む仮想空間を提供する方法。
[請求項3]
 請求項1に記載の仮想空間を提供する方法であって、
 前記パフォーマユーザの入力は、座標入力装置により座標を入力することを含む、仮想空間を提供する方法。
[請求項4]
 請求項1に記載の仮想空間を提供する方法であって、
 前記パフォーマユーザの入力は、座標入力装置の表示部に表示される前記キャラクタの画像に描画することを含む、仮想空間を提供する方法。
[請求項5]
 請求項1に記載の仮想空間を提供する方法であって、
 複数のオブジェクトを提供するステップと、
前記複数のユーザのうち、第1のユーザから、前記複数のオブジェクトのうち一のオブジェクトの選択を受け付けるステップと、
前記一のオブジェクトを仮想空間に配置するステップと、
前記パフォーマユーザの入力は、前記キャラクタと前記一のオブジェクトとを相互に作用させることを含む、仮想空間を提供する方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]