Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020161975 - DISPOSITIF DE TRAITEMENT D'INFORMATIONS, PROCÉDÉ DE TRAITEMENT D'INFORMATIONS ET PROGRAMME

Document

明 細 書

発明の名称 情報処理装置と情報処理方法とプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008   0009   0010   0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113  

符号の説明

0114  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

明 細 書

発明の名称 : 情報処理装置と情報処理方法とプログラム

技術分野

[0001]
 この技術は、情報処理装置と情報処理方法とプログラムに関し、仮想空間内での他者の視点情報から有意な観察視点情報を得られるようにする。

背景技術

[0002]
 従来、仮想空間に設けた対象物をユーザ操作に応じて制御することが行われている。例えば特許文献1では、仮想空間にゲームプレイヤーのアバターを設けて、アバターによってキャラクタオブジェクトを操作することで、エンタテイメント性を向上させることが行われている。

先行技術文献

特許文献

[0003]
特許文献1 : 特許第6263292号公報

発明の概要

発明が解決しようとする課題

[0004]
 ところで、仮想空間に観察者のアバターを設けて観察対象を視認する場合、アバターの位置を視点位置として、アバターの位置から観察対象を観察することが可能となる。しかし、アバターの位置が自由に移動できると、いずれの位置から観察対象を観察することが望ましいか容易に判別できない。
[0005]
 そこで、この技術では、仮想空間における観察対象をいずれの位置から観察することが望ましいか容易に判別できる情報処理装置と情報処理方法とプログラムを提供することを目的とする。

課題を解決するための手段

[0006]
 この技術の第1の側面は、
 仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と姿勢に基づいて生成した推奨視点情報を含める視点画像生成部
を備える情報処理装置にある。
[0007]
 この技術では、ユーザの位置と姿勢が検出部で検出されて、検出結果に基づき判別した自己アバターの視点の視点画像が視点画像生成部で生成される。また、アバターの位置と姿勢に基づいて推奨視点設定部で設定された推奨視点を示す推奨視点情報が推奨視点情報生成部で生成されて、視点画像生成部は生成した視点画像に推奨視点情報を含める。
[0008]
 推奨視点設定部は、自己アバターの視点である視点画像の再生時における他者アバターの位置と姿勢に基づいて推奨視点を設定する。また、推奨視点設定部は、自己アバターの視点である視点画像の再生時における推奨視点を、過去の再生時における他者アバターの位置と姿勢に基づいて設定してもよく、他者アバターの属性を用いて推奨視点を設定してもよい。また、推奨視点設定部は、推奨視点を複数設定した場合に推奨視点の優先度を設定する。
[0009]
 推奨視点情報生成部は、推奨視点の縮小画像を推奨視点情報として生成してもよく、推奨視点の方向を示す視線方向表示を推奨視点情報として生成してもよい。また、推奨視点情報生成部は、過去の再生時における他者アバターの位置と姿勢に基づいて設定された推奨視点を、再生位置と共に示した情報を推奨視点情報として生成してもよい。さらに、推奨視点情報生成部は、過去の再生時に生成されて記憶された推奨視点情報を用いてもよい。
[0010]
 さらに、視点画像生成部は、ユーザ操作に応じて、自己アバターの視点の視点画像を推奨視点設定部で設定された推奨視点の視点画像に切り替えるようにしてもよい。
[0011]
 この技術の第2の側面は、
 視点画像生成部によって、仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と視線に基づいて生成した推奨視点情報を含めること
を含む情報処理方法にある。

図面の簡単な説明

[0012]
[図1] 情報処理装置を用いたシステムの構成を例示した図である。
[図2] 合成モデル情報が示す仮想空間を例示した図である。
[図3] 第1の実施の形態の構成を例示した図である。
[図4] 第1の実施の形態の動作を例示したフローチャートである。
[図5] モデル生成装置の動作を例示したフローチャートである。
[図6] 情報処理装置の動作を例示したフローチャートである。
[図7] システムの動作例を示した図である。
[図8] 推奨視線ベクトルPVaを表示する場合を例示した図である。
[図9] 推奨視点が複数設定された場合を例示した図である。
[図10] 推奨視点が複数設定された場合の他の動作を例示した図である。
[図11] 第2の実施の形態の構成を例示した図である。
[図12] 第2の実施の形態の動作を例示したフローチャートである。
[図13] モデル生成装置の動作を例示したフローチャートである。
[図14] 再生位置と推奨視点の関係を観察者に提示する場合の動作例を示した図である。

発明を実施するための形態

[0013]
 以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
 1.システムの構成
 2.第1の実施の形態の構成
 3.第1の実施の形態の動作
 4.第2の実施の形態の構成
 5.第2の実施の形態の動作
 6.変形例
[0014]
 <1.システムの構成>
 図1は、本技術の情報処理装置を用いたシステムの構成を例示している。システム10は、モデル生成装置と情報処理装置と表示装置を有している。なお、図1では、モデル生成装置20にユーザ毎に設けた情報処理装置30-0~30-nが接続されて、情報処理装置30-0~30-nには表示装置40-0~40-nが接続されている場合を例示している。
[0015]
 モデル生成装置20は、仮想空間に配置する観察対象モデルと情報処理装置30-0~30-nから供給されたユーザの位置や姿勢の検出結果を示す検出情報に基づくユーザ毎のアバターを生成する。モデル生成装置20は、三次元空間に観察対象モデルとアバターを設けた合成モデルを生成して、合成モデルを示す合成モデル情報を情報処理装置30-0~30-nへ出力する。なお、以下の説明では、情報処理装置30-0と表示装置40-0は自己が用いる装置、情報処理装置30-1~30-nと表示装置40-1~40-nは他者が用いる装置とする。また、システム10は、後述する非リアルタイム再生では、モデル生成装置20と情報処理装置30-0と表示装置40-0で構成されてもよい。
[0016]
 図2は合成モデル情報が示す仮想空間を例示している。空間モデルVS内には、観察対象モデルOBとアバターMA-0~MA-nが設けられている。
[0017]
 情報処理装置30-0は、合成モデル情報に基づき、観察者の位置や姿勢の検出結果が示す仮想空間内のアバターの視点画像を生成する。また、情報処理装置30-0は、他者の位置や姿勢を示す仮想空間内のアバター(以下「他者アバターMA-1~MA-n」という)の視点に基づいて生成した推奨視点情報を、観察者の位置や姿勢を示す仮想空間内のアバター(以下「自己アバターMA-0」という)の視点で取得された視点画像に含めた画像信号を表示装置40-0へ出力する。なお、視点画像は動画像に限らず静止画像であってもよい。表示装置40-0は、情報処理装置30-0から供給された画像信号に基づき画像表示を行い、推奨視点情報を含む視点画像を表示する。
[0018]
 情報処理装置30-1~30-nは、情報処理装置30-0と同様に構成されており、合成モデル情報に基づき、他者の位置や姿勢の検出結果が示す視点画像を他者毎に生成する。また、情報処理装置30-1~30-nは、仮想空間内の他者アバターの視点に基づく推奨視点情報を、他者の視点で取得された視点画像に含めた画像信号を表示装置40-1~40-nへ出力する。表示装置40-1~40-nは、情報処理装置30-1~30-nから供給された画像信号に基づき画像表示を行い、推奨視点情報を含む視点画像を表示する。
[0019]
 また、合成モデル情報の非リアルタイム再生では、事前に合成モデル情報を再生して検出された他者の位置や姿勢の検出結果を示す検出情報を合成モデル情報と同期させて記憶する。また、合成モデル情報の非リアルタイム再生では、記憶されている検出情報に基づいて推奨視点情報を生成する。このような非リアルタイム再生では、システム10に情報処理装置30-1~30-nが設けられていなくとも、推奨視点情報を観察者に提示できる。
[0020]
 <2.第1の実施の形態の構成>
 次に、第1の実施の形態の構成について説明する。第1の実施の形態ではリアルタイム再生を行う場合を示している。
[0021]
 図3は、第1の実施の形態の構成を例示している。モデル生成装置20-aは、情報記憶部21とモデル生成部22およびモデル合成部25を有している。情報記憶部21には、仮想空間の設定や仮想空間内で観測対象モデルを生成するための情報が記憶されている。観測対象モデルを生成するための情報としては、仮想空間内での観測対象の動き、例えばスポーツ分野における選手の動きや医療分野における手術動作、工事現場における作業動作、厨房等における調理動作等を示す情報が記憶されている。また、実世界での動作をマルチカメラで撮像して、仮想空間で再生可能とした情報、仮想ゲームにおけるプレイキャラクタの動作を示す情報等が記憶されてもよい。また、観測対象は動きを生じる場合に限らず静止物体等であってもよい。
[0022]
 モデル生成部22は、情報記憶部21に記憶されている情報を用いてモデル生成を行う。モデル生成部22は、例えば三次元の仮想空間を示す空間モデルや観測対象を示す三次元の観測対象モデルを生成する。また、モデル生成部22は、情報処理装置30-0~30-nから供給された検出情報等に基づきアバターとアバターの視線モデルを生成する。モデル生成部22は、生成したモデルをモデル合成部25へ出力する。
[0023]
 モデル合成部25は、モデル合成処理を行い、空間モデル内に観測対象モデルを配置する。また、モデル合成部25は、情報処理装置30-0~30-nから供給された検出情報等に基づきアバターを空間モデル内に配置する。モデル合成部25は、観測対象モデルとアバターが空間モデル内に配置された合成モデルを生成して、この合成モデルと視線モデルを示す合成モデル情報を情報処理装置30-0~30-nへ出力する。
[0024]
 情報処理装置30-0は、検出部31、推奨視点設定部32、操作部33、視点制御部34、推奨視点情報生成部35および視点画像生成部36を有している。なお、情報処理装置30-1~30-nは、情報処理装置30-0と同様に構成されており説明は省略する。
[0025]
 検出部31は、観察者の姿勢と位置を検出する。検出部31は、例えば3軸ジャイロ・センサーと3軸加速度センサーと3軸地磁気センサーなど複数のセンサー素子を組み合わせて構成して、観察者の姿勢と位置を検出する。また、後述するように表示装置40-0として観察者の頭部に装着された状態で利用されるヘッドマウントディスプレイが用いられる場合、複数のセンサー素子をヘッドマウントディスプレイに設けて観察者の位置や頭の向きを示す検出情報を生成する。また、検出部31は実空間を撮像して得られる画像から観察者の姿勢と位置を検出してもよい。この場合、実空間を撮像する撮像装置をヘッドマウントディスプレイに設ける。検出部31は、観察者の姿勢と位置を検出して、検出結果を示す検出情報を視点制御部34へ出力する。
[0026]
 推奨視点設定部32は、自己アバターの視点である視点画像の再生時における他者アバターの位置と姿勢に基づいて推奨視点を設定する。推奨視点設定部32は、例えばモデル生成装置20-aから供給された合成モデル情報で示された視線モデル(アバターの位置と視線方向を示すモデル)に基づいて判別した同時刻において他者アバターが最も多く注目している視点としてもよく、注目しているアバターの割合に応じて1または複数の推奨視点を設定してもよい。また、複数の推奨視点を設定する場合には、推奨視点の優先度を注目しているアバターの割合等に応じて設定してもよい。また、推奨視点設定部32は、時系列の他者のアバターの視点に基づき、合成モデル情報の再生時における推奨時刻と該推奨時刻における推奨視点を設定してもよい。さらに、推奨視点は、他者のアバターに関する属性(例えば他者の性別,他者が教師あるいは生徒のいずれであるか等)に応じて推奨視点を設定してもよい。推奨視点設定部32は、推奨視点を示す推奨視点情報を視点制御部34と推奨視点情報生成部35へ出力する。
[0027]
 操作部33はユーザ操作に応じた操作信号を生成する。例えば操作部33は、視点を推奨視点に移動するユーザの移動指示操作に応じた操作信号を視点制御部34へ出力する。また、操作部33は、推奨視点への移動指示操作の他に、推奨視点以外への空間モデルVS内での任意の位置に自由に視点移動操作も行う。
[0028]
 視点制御部34は、検出部31からの検出情報に基づき後述する視点画像生成部36を制御して、観察者に対応する自己アバターの視点で得られる仮想空間内の画像を生成させる。また、視点制御部34は、操作部33からの操作信号に応じて、推奨視点設定部32からの推奨視点情報に基づき、後述する視点画像生成部36を制御して、推奨視点で得られる仮想空間内の画像を生成させる。さらに視点制御部34は、検出部31からの検出情報や操作部33からの視点操作情報、および自己の視点を推奨視点とするユーザ指示をモデル生成装置20-aのモデル生成部22へ出力する。
[0029]
 推奨視点情報生成部35は、推奨視点設定部32で設定された推奨視点に関する推奨視点情報を生成する。推奨視点情報生成部35は、例えば推奨視点で得られる仮想空間内の縮小画像あるいは視点が推奨視点に最も近い他者アバターで得られる画像の縮小画像等を推奨視点情報とする。また、推奨視点情報生成部35は、推奨視点の方向を示す視線方向表示である推奨視線ベクトル表示等を推奨視点情報としてもよい。推奨視点情報生成部35は、生成した推奨視点情報を視点画像生成部36へ出力する。
[0030]
 視点画像生成部36は、視点制御部34からの制御信号に基づき、観察者に対応する自己アバターの視点で得られる仮想空間内の視点画像を生成する。また、視点画像生成部36は、生成した視点画像に推奨視点情報生成部35で生成された推奨視点情報を重畳させた画像信号を表示装置40-0へ出力する。
[0031]
 表示装置40-0としては、例えば観察者の頭部に装着された状態で利用されるヘッドマウントディスプレイが用いられる。表示装置40-0は、情報処理装置30-0で生成された画像信号に基づき、仮想空間内の自己アバターの視点画像を表示する。また、視点画像に推奨視点情報が重畳されており、推奨視点情報によって推奨視点を観察者が判別できるようにする。
[0032]
 <3.第1の実施の形態の動作>
 次に第1の実施の形態の動作について説明する。図4は、第1の実施の形態の動作を例示したフローチャートである。システム10はステップST1で表示画像の生成処理のループを開始する。
[0033]
 ステップST2aでシステム10は観察者の位置と姿勢を検出する。システム10の情報処理装置30-0は、観察者の位置と姿勢を検出してステップST3aに進む。
[0034]
 ステップST3aでシステム10はアバターを生成する。システム10のモデル生成装置20-aは、仮想空間における観察者を示す自己アバターを生成してステップST4aに進む。
[0035]
 ステップST4aでシステム10は視線モデルを生成する。システム10のモデル生成装置20-aは、観察者の位置と姿勢に基づき、自己アバターの視線を示す視線モデルを生成してステップST6に進む。なお、第2の実施の形態で説明するように、非リアルタイム再生を行う場合に観察者の検出情報を利用する場合は、ステップST4aからステップST5aに進み、観察者の位置と姿勢の検出結果を示す検出情報を記憶してからステップST6に進むようにしてもよい。
[0036]
 ステップST2bでシステム10は他者の位置と姿勢を検出する。システム10の情報処理装置30-1~30-nは、他者毎の位置と姿勢を検出してステップST3bに進む。
[0037]
 ステップST3bでシステム10はアバターを生成する。システム10のモデル生成装置20-aは、仮想空間における他者を示す他者アバターを生成してステップST4bに進む。
[0038]
 ステップST4bでシステム10は視線モデルを生成する。システム10のモデル生成装置20-aは、他者の位置と姿勢に基づき、他者アバターの視線を示す視線モデルを生成してステップST6に進む。なお、第2の実施の形態で説明するように、非リアルタイム再生を行う場合にはステップST4bからステップST5bに進み、他者の位置と姿勢の検出結果を示す検出情報を記憶してからステップST6に進むようにしてもよい。
[0039]
 ステップST2cでシステム10は観察対象モデルを生成する。システム10のモデル生成装置20-aは、観察者や他者によって観察される三次元の観察対象モデルを生成してステップST3cに進む。
[0040]
 ステップST3cでシステム10は空間モデルを生成する。システム10のモデル生成装置20-aは、観察対象モデルおよび自己アバターと他者アバターを配置する仮想空間を示す空間モデルを生成してステップST6に進む。
[0041]
 ステップST6でシステム10はモデル合成処理を行う。システム10のモデル生成装置20-aは、仮想空間を示す空間モデル内に観察対象モデルと観察者および他者の位置に応じて自己アバターと他者アバターを配置する。さらに、モデル生成装置20-aは、観察者および他者の姿勢に応じて自己アバターと他者アバターの姿勢を設定して合成モデル情報を生成してステップST7に進む。
[0042]
 ステップST7でシステム10は視点画像を生成する。システム10の情報処理装置30-0は、ステップST56生成された合成モデル情報と観察者の位置と姿勢に基づき、自己アバターの視点である視点画像(観察者視点画像ともいう)を生成する。さらに、情報処理装置30-0は、他者の視線モデルに基づき推奨視点を設定して、推奨視点に関する推奨視点情報を観察者視点画像に重畳した表示画像の画像信号を生成してステップST8に進み、表示画像の生成処理のループを終了する。また、ステップST1~ステップST8の処理を繰り返し行うことで、リアルタイム再生を行う。
[0043]
 次に、モデル生成装置と情報処理装置の動作について個々に説明する。図5は、モデル生成装置の動作を例示したフローチャートであり、位置や姿勢の変化により検出情報が変更された場合にアバターを更新する場合を例示している。
[0044]
 ステップST11でモデル生成装置20-aは観察対象モデルと空間モデルを生成する。モデル生成装置20-aは、観察者と他者が観察する観察対象モデルと、対象物体モデルが配置される三次元の仮想空間を示す空間モデルを生成してステップST12に進む。
[0045]
 ステップST12でモデル生成装置20-aは検出情報の取得を開始する。モデル生成装置20-aは情報処理装置30-0~30-nから供給される検出情報の取得を開始してステップST13に進む。
[0046]
 ステップST13でモデル生成装置20-aはアバター生成処理を行う。モデル生成装置20-aは、情報処理装置30-0を利用する観察者や情報処理装置30-1~30-nを利用する他者毎にアバターとアバターの視線を示す視線モデルを生成してステップST15に進む。なお、第2の実施の形態で説明するように、非リアルタイム再生を行う場合にはステップST13からステップST14に進み、検出情報を記憶してからステップST15に進むようにしてもよい。
[0047]
 ステップST15でモデル生成装置20-aは、検出情報が変更されたか判別する。モデル生成装置20-aは、観察者あるいは他者の位置や姿勢が変化して検出情報が変更された場合にステップST16に進み、検出情報が変更されていない場合はステップST18に進む。
[0048]
 ステップST16でモデル生成装置20-aはアバター更新処理を行う。モデル生成装置20-aは、変更後の検出情報に基づき対応するアバターの位置や姿勢を調整する。また、アバターの位置や姿勢の調整に応じて視線モデルを更新してステップST18に進む。なお、第2の実施の形態で説明するように、非リアルタイム再生を行う場合にはステップST16からステップST17に進み、変更後の検出情報を記憶してからステップST18に進むようにしてもよい。
[0049]
 ステップST18でモデル生成装置20-aはモデル合成処理を行う。モデル生成装置20-aは,ステップST11で生成した空間モデルに観察対象モデルを配置する。さらにモデル生成装置20-aは、ステップST13で生成したアバターやステップST16で位置や姿勢を更新したアバターを、検出情報に基づいた位置や姿勢で空間モデルに配置して合成モデルを生成してステップST19に進む。
[0050]
 ステップST19でモデル生成装置20-aは合成モデル情報を出力する。モデル生成装置20-aはステップST18で生成した合成モデルと視線モデルを示す合成モデル情報を情報処理装置30-0~30-nに出力する。
[0051]
 図6は、情報処理装置の動作を例示したフローチャートである。なお、図6では、例えば情報処理装置30-0の動作を示している。
[0052]
 ステップST21で情報処理装置30-0は検出情報を出力する。情報処理装置30-0は、検出部31で検出した位置や姿勢の検出結果を示す検出情報を生成してモデル生成装置20-aへ出力してステップST22に進む。
[0053]
 ステップST22で情報処理装置30-0は合成モデル情報を取得する。情報処理装置30-0は、仮想空間を示す空間モデル内に観察対象モデルと自己および他者のアバターが配置された合成モデルおよび視線モデルを示す合成モデル情報をモデル生成装置20-aから取得してステップST23に進む。
[0054]
 ステップST23で情報処理装置30-0は視線画像を生成する。情報処理装置30-0は、合成モデル情報から自己アバターの視線の画像である視点画像を生成してステップST24に進む。
[0055]
 ステップST24で情報処理装置30-0は推奨視点情報を生成する。情報処理装置30-0は、アバター毎の視線モデルに基づき推奨視点を設定して、推奨視点を観察者が判別可能とするための推奨視点情報を生成してステップST25に進む。
[0056]
 ステップST25で情報処理装置30-0は表示画像を生成する。情報処理装置30-0は、ステップST23で生成した視点画像に、ステップST24で生成した推奨視点情報を重畳させて表示画像を生成する。さらに、情報処理装置30-0は、生成した表示画像を示す画像信号を表示装置40-0へ出力してステップST26に進む。
[0057]
 ステップST26で情報処理装置30-0は推奨視点へ移動するか判別する。情報処理装置30-0は、推奨視点への移動操作が観察者によって行われた場合にステップST27に進み、移動操作が行われていない場合はステップST28に進む。
[0058]
 ステップST27で情報処理装置30-0は移動処理を行う。情報処理装置30-0は、自己アバターの視点が推奨視点となるように自己アバターの位置と姿勢を変更する。また、変更後のアバターに対応する検出情報をモデル生成装置20-aへ出力してステップST22に戻る。
[0059]
 ステップST28で情報処理装置30-0は位置姿勢の変更があったか判別する。情報処理装置30-0は、観察者の位置や姿勢の変更がない場合はステップST22に戻り、変更を生じた場合にはステップST29に進む。
[0060]
 ステップST29で情報処理装置30-0は新たな位置検出情報を出力する。情報処理装置30-0は、観察者の変更後の位置や姿勢を示す検出情報を生成してモデル生成装置20-aへ出力してステップST22に戻る。
[0061]
 図7は、システムの動作例を示している。仮想空間を示す空間モデルVSでは、図7の(a)に示すように、観察対象モデルOBと自己アバターMA-0と他者アバターMA-1,MA-2が、自己および他者の位置や姿勢に応じて設けられている。情報処理装置30-0は、自己アバターMA-0の視点である図7の(b)に示す視点画像P0を生成する。また、他者アバターMA-1,MA-2の視点が例えば同一であり図7の(c)に示す視点画像Paとなる場合、視点画像Paを縮小して推奨視点情報PRaとして視点画像P0に重畳させて、図7の(d)に示す表示画像を観察者に提示する。
[0062]
 また、操作部33で推奨視点への移動操作が行われた場合、自己アバターMA-0を推奨視点となる位置に移動する。したがって、表示装置40-0に表示される視点画像P0は、図7の(c)に示す視点画像Paとなる。
[0063]
 このように、観察者が視認する表示画像では、自己アバターMA-0の視点からの観察対象と推奨視点情報が示されるので、観察対象を容易に望ましい位置や方向から観察できるようになる。また、推奨視点情報は推奨視点からの縮小画像に限らず図8に示すように推奨の方向を示す推奨視線ベクトルPVaを表示してもよい。
[0064]
 また、推奨視点が複数設定された場合は、推奨視点毎に推奨視点情報を生成してもよい。図9は、推奨視点が複数設定された場合を例示している。仮想空間を示す空間モデルVSでは、図9の(a)に示すように、観察対象モデルOBと自己アバターMA-0と他者アバターMA-1,MA-2が、自己および他者の位置や姿勢に応じて設けられている。情報処理装置30-0は、自己アバターMA-0の視点である図9の(b)に示す視点画像P0を生成する。また、他者アバターMA-1と他者アバターMA-2の視点が異なり、それぞれの視点を推奨視点とする場合、図9の(c)に示す他者アバターMA-1の視点画像P1と図9の(d)に示す他者アバターMA-2の視点画像P2を縮小して推奨視点情報PR1,PR2として視点画像P0に重畳させて、図9の(e)に示す表示画像を観察者に提示する。
[0065]
 また、推奨視点情報は推奨視点からの視点画像に限らず、推奨視点ベクトルを表示してもよい。図10は、推奨視点が複数設定された場合の他の動作を例示している。情報処理装置30-0は、推奨視点が他者アバターMA-1,MA-2である場合、他者アバターMA-1の視線方向を示す推奨視線ベクトルPV1と、他者アバターMA-2の視線方向を示す推奨視線ベクトルPV2を表示する。
[0066]
 さらに、推奨視点を複数設ける場合、複数の推奨視点について優先度を設定して、有線順位に応じて推奨視点情報の属性を調整してもよい。例えば、優先度が低くなるに伴い推奨視点画像や推奨視線ベクトルの表示サイズを小さくしたり、優先度に応じて推奨視点の縮小画像の画枠や推奨視線ベクトルの表示色を設定してもよい。
[0067]
 このように、第1の実施の形態によれば、推奨視点情報が観察者に対して提示されるので、仮想空間における観察対象をいずれの位置から観察することが望ましいか容易に判別できるようになる。例えば選手の動きや手術動作、工事作業動作、調理動作等を三次元で再生する際に、いずれの視点で観察すれば動作を正しく理解できるか観察者に提示できるので、学習効果等を高めることができる。また、仮想ゲーム等に利用すれば攻略方法等を容易に学習できるようになる。
[0068]
 <4.第2の実施の形態の構成>
 次に、第2の実施の形態の構成について説明する。第2の実施の形態では非リアルタイム再生を行う場合を示している。
[0069]
 図11は、第2の実施の形態の構成を例示している。モデル生成装置20-bは、情報記憶部23とモデル生成部24およびモデル合成部25を有している。情報記憶部23には、第1の実施の形態と同様に、仮想空間の設定や仮想空間内で観測対象モデルを生成するための情報が記憶されている。また、情報記憶部23には、モデル合成部25で生成した合成モデルを過去に再生したときに、情報処理装置から供給された検出情報が合成モデルの再生位置に同期して記憶される。また、情報記憶部23には、モデル合成部25で生成された合成モデルを過去に再生したときに生成された推奨視点情報を合成モデルの再生位置に同期して記憶してもよい。
[0070]
 モデル生成部24は、情報記憶部23に記憶されている情報を用いてモデル生成を行う。モデル生成部24は、例えば三次元の仮想空間を示す空間モデルや観測対象を示す三次元の観測対象モデルを生成する。モデル生成部24は、生成したモデルをモデル合成部25へ出力する。また、モデル生成部24は、情報記憶部23から再生時間に同期した検出情報を取得して、取得した検出情報に基づき他者アバターと視点モデルを生成する。さらにモデル生成部24は、情報処理装置30-0から供給された検出情報に基づき自己アバターを生成する。なお、検出情報には他者の検出情報だけでなく、過去に他者の検出情報と共に情報処理装置30-0で生成した検出情報が含まれていてもよい。
[0071]
 モデル合成部25は、モデル合成処理を行い、空間モデル内に観測対象モデルを配置する。また、モデル合成部25は、自己アバターと他者アバターを空間モデル内に配置する。モデル合成部25は、観測対象モデルとアバターが空間モデル内に配置された合成モデルおよび視線モデルを示す合成モデル情報を情報処理装置30-0へ出力する。
[0072]
 情報処理装置30-0は、第1の実施の形態と同様に、検出部31、推奨視点設定部32、操作部33、視点制御部34、推奨視点情報生成部35および視点画像生成部36を有している。
[0073]
 検出部31は、観察者の姿勢と位置を検出して、検出結果を示す検出情報を視点制御部34へ出力する。
[0074]
 推奨視点設定部32は、自己アバターの視点である視点画像の再生時における推奨視点を、過去の再生時における他者アバターの位置と姿勢に基づいて設定する。推奨視点設定部32は、モデル生成装置20-bから供給された合成モデル情報で示された視線モデル、すなわち合成モデルを過去に再生したときの他者アバターの位置と姿勢の検出情報に基づいて生成された視点モデルに基づき、推奨視点を第1の実施の形態と同様にして設定する。推奨視点設定部32は、推奨視点を示す推奨視点情報を視点制御部34と推奨視点情報生成部35へ出力する。
[0075]
 操作部33はユーザ操作に応じた操作信号を生成する。例えば操作部33は、視点を推奨視点に移動するユーザ操作に応じた操作信号を視点制御部34へ出力する。
[0076]
 視点制御部34は、検出部31からの検出情報に基づき後述する視点画像生成部36を制御して、観察者に対応する自己アバターの視点で得られる仮想空間内の画像を生成させる。また、視点制御部34は、操作部33からの操作信号に応じて、推奨視点設定部32からの推奨視点情報に基づき後述する視点画像生成部36を制御して、推奨視点で得られる仮想空間内の画像を生成させる。さらに視点制御部34は、検出部31からの検出情報や視点を推奨視点とするユーザ指示をモデル生成装置20-bへ出力する。
[0077]
 推奨視点情報生成部35は、推奨視点設定部32で設定された推奨視点に関する推奨視点情報を生成する。推奨視点情報生成部35は、推奨視点設定部32で設定された推奨視点を示す推奨視点情報を生成して視点画像生成部36へ出力する。また、推奨視点情報生成部35は、情報記憶部23に記憶されている推奨視点情報、すなわち合成モデルを過去に再生したときに他者アバターの位置と姿勢に基づいて設定された推奨視点を示す推奨視点情報を、合成モデルの再生と同期して用いてもよい。
[0078]
 視点画像生成部36は、視点制御部34からの制御信号に基づき、観察者に対応する自己アバターの視点で得られる仮想空間内の視点画像を生成する。また、視点画像生成部36は、生成した視点画像に推奨視点情報生成部35で生成された推奨視点情報を重畳させた画像信号を表示装置40-0へ出力する。
[0079]
 表示装置40-0としては、例えば観察者の頭部に装着された状態で利用されるヘッドマウントディスプレイが用いられる。表示装置40-0は、情報処理装置30-0で生成された画像信号に基づき、仮想空間内の自己アバターの視点画像を表示する。また、視点画像に推奨視点情報が重畳されており、推奨視点情報によって推奨視点を観察者が判別できるようにする。
[0080]
 <5.第2の実施の形態の動作>
 次に第2の実施の形態の動作について説明する。図12は、第2の実施の形態の動作を例示したフローチャートである。システム10はステップST31で表示画像の生成処理のループを開始する。
[0081]
 ステップST32aでシステム10は観察者の位置と姿勢を検出する。システム10の情報処理装置30-0は、観察者の位置と姿勢を検出してステップST33aに進む。
[0082]
 ステップST33aでシステム10はアバターを生成する。システム10のモデル生成装置20-bは、仮想空間における観察者を示す自己アバターを生成してステップST34aに進む。
[0083]
 ステップST34aでシステム10は視線モデルを生成する。システム10のモデル生成装置20-bは、観察者の位置と姿勢に基づき、自己アバターの視線を示す視線モデルを生成してステップST35に進む。
[0084]
 ステップST32bでシステム10は記憶されている検出情報を取得する。システム10のモデル生成装置20-bは、過去に合成モデルを再生したときに検出されて記憶された検出情報であって、後述するステップST35で生成する合成モデルに同期した検出情報を取得してステップST33bに進む。
[0085]
 ステップST33bでシステム10はアバターを生成する。システム10のモデル生成装置20-bは、仮想空間における他者を示す他者アバターを生成してステップST34bに進む。
[0086]
 ステップST34bでシステム10は視線モデルを生成する。システム10のモデル生成装置20-bは、他者の位置と姿勢に基づき、他者アバターの視線を示す視線モデルを生成してステップST35に進む。
[0087]
 ステップST32cでシステム10は観察対象モデルを生成する。システム10のモデル生成装置20-bは、観察者や他者によって観察される三次元の観察対象モデルを生成してステップST33cに進む。
[0088]
 ステップST33cでシステム10は空間モデルを生成する。システム10のモデル生成装置20-bは、観察対象モデルおよび自己アバターと他者アバターを配置する仮想空間を示す空間モデルを生成してステップST35に進む。
[0089]
 ステップST35でシステム10はモデル合成処理を行う。システム10のモデル生成装置20-bは、仮想空間を示す空間モデル内に観察対象モデルと観察者および他者の位置に応じて自己アバターと他者アバターを配置する。さらに、モデル生成装置20-bは、観察者および他者の姿勢に応じて自己アバターと他者アバターの姿勢を設定して合成モデルを生成してステップST36に進む。
[0090]
 ステップST36でシステム10は視点画像を生成する。システム10の情報処理装置30-0は、ステップST35で生成された合成モデルと観察者の位置と姿勢に基づき、自己アバターの視点である視点画像(観察者視点画像)を生成する。さらに、情報処理装置30-0は、他者の視線モデルに基づき推奨視点を設定して、推奨視点に関する推奨視点情報を視点画像に重畳した表示画像の画像信号を生成してステップST37に進み、表示画像の生成処理のループを終了する。また、ステップST31~ステップST37の処理を繰り返し行うことで、非リアルタイム再生を行う。
[0091]
 次に、モデル生成装置の動作について説明する。図13は、モデル生成装置の動作を例示したフローチャートであり、位置や姿勢の変化により検出情報が変更された場合にアバターを更新する場合を例示している。
[0092]
 ステップST41でモデル生成装置20-bは観察対象モデルと空間モデルを生成する。モデル生成装置20-bは、観察者と他者が観察する観察対象モデルと、対象物体モデルが配置される三次元の仮想空間を示す空間モデルを生成してステップST42に進む。
[0093]
 ステップST42でモデル生成装置20-bは観察者の検出情報の取得を開始する。モデル生成装置20-bは情報処理装置30-0から供給される観察者の検出情報の取得を開始してステップST43に進む。
[0094]
 ステップST43でモデル生成装置20-bは自己アバター生成処理を行う。モデル生成装置20-bは、情報処理装置30-0を利用する観察者に対応した自己アバターと自己アバターの視線を示す視線モデルを生成してステップST44に進む。
[0095]
 ステップST44でモデル生成装置20-bは記憶されている検出情報を取得してステップST45に進む。
[0096]
 ステップST45でモデル生成装置20-bは他者アバター生成処理を行う。モデル生成装置20-bは、後述するステップST48で生成する合成モデルに同期した検出情報に基づき、他者アバターと視点モデルを生成してステップST46に進む。
[0097]
 ステップST46でモデル生成装置20-bは観察者の検出情報が変更されたか判別する。モデル生成装置20-bは、観察者の位置や姿勢が変化して新たな検出情報を取得した場合にステップST47に進み、検出情報が変更されていない場合はステップST48に進む。
[0098]
 ステップST47でモデル生成装置20-bはアバター更新処理を行う。モデル生成装置20-bは、変更後の検出情報に基づき自己アバターの位置や姿勢を調整してステップST48に進む。
[0099]
 ステップST48でモデル生成装置20-bはモデル合成処理を行う。モデル生成装置20-bは、ステップST41で生成した空間モデルに観察対象モデルを配置する。また、モデル生成装置20-bは、ステップST45で生成した他者アバターをステップST44で取得した検出情報に基づく位置や姿勢で配置する。さらに、モデル生成装置20-bは、ステップST43で生成した自己アバターをステップST42で取得された検出情報に基づく位置や姿勢で配置する。モデル生成装置20-bは、空間モデルに観測対象モデルと自己アバターと他者アバターが配置された合成モデルを生成してステップST49に進む。
[0100]
 ステップST49でモデル生成装置20-bは合成モデル情報を出力する。モデル生成装置20-bはステップST18で生成した合成モデルと他者の視線モデルを示す合成モデル情報を情報処理装置30-0に出力する。
[0101]
 情報処理装置30-0は、第1の実施の形態と同様に図6に例示したフローチャートの処理を行い、自己アバターの視点の視点画像と推奨視点情報を含む表示画像の画像信号を生成して表示装置40-0へ出力する。また、情報処理装置30-0は、推奨視点への移動操作が行われた場合、推奨視点に対応する検出情報を生成してモデル生成装置20-bへ出力する。また、情報記憶部23に合成モデルを過去に再生したときの推奨視点情報が記憶されている場合、合成モデルの再生位置に同期した推奨視点情報を含めて合成モデル情報をモデル生成装置20-bから情報処理装置30-0に供給すれば、情報処理装置30-0は、推奨視点情報を生成する必要がなく、情報処理装置30-0の負荷を軽減できる。
[0102]
 このように、第2の実施の形態によれば、過去に合成モデルが再生されたときの検出情報を用いることで、その後、合成モデルを非リアルタイム再生するときに他者が含まれていなくとも、推奨視点情報が観察者に対して提示されるので、他者がいない場合でも第1の実施の形態と同様な効果を得ることができる。
[0103]
 <6.変形例>
 ところで、モデル生成装置20や情報処理装置30は、図3や図11に示す構成に限られない。例えば、モデル生成装置の構成あるいは一部の構成を情報処理装置に設けてもよく、情報処理装置の構成の一部をモデル生成装置に設けてもよい。
[0104]
 例えば、推奨視点設定部32をモデル生成装置20-a(20-b)に設けて、推奨視点を示す情報を合成モデル情報に含めるようにすれば、情報処理装置の処理を軽減できるだけでなく、情報処理装置毎に推奨視点設定部を設ける必要がない。
[0105]
 また、情報処理装置はユーザ毎に(自己と他者で個々に)設けられていなくともよい。例えば検出部31は、ユーザ毎の位置や姿勢を検出して、視点制御部34は、ユーザ毎の視点画像等を示す表示画像の画像信号を視点画像生成部36で生成するように制御する。さらに、視点画像生成部36は、生成したユーザ毎の画像信号を、ユーザ毎に設けられた表示装置に出力する。このような構成とすれば、システム10の構成を簡易にできる。
[0106]
 モデル生成装置20-bの情報記憶部23には、検出情報だけでなく推奨視点情報を時間情報と共に記憶すれば、合成モデル情報の非リアルタイム再生時に、情報処理装置30-0の推奨視点情報生成部35は、過去の再生時における他者アバターの位置と姿勢に基づいて設定された推奨視点を再生位置と共に示す情報を推奨視点情報として生成できる。したがって、再生位置と推奨視点の関係を観察者に提示できるようになる。
[0107]
 図14は、再生位置と推奨視点の関係を観察者に提示する場合の動作例を示している。仮想空間を示す空間モデルVSでは、図14の(a)に示すように、観察対象モデルOBと自己アバターMA-0が、観察者の位置や姿勢に応じて設けられている。情報処理装置30-0は、自己アバターMA-0の視点である図14の(b)に示す視点画像P0を生成する。また、情報処理装置30-0は、異なる時刻に設定された推奨視点を判別できるように推奨視点情報を設ける。例えば、合成モデルの再生が時点Tsから時点Teまで行われる場合、情報処理装置30-0は、図14の(b)に示すように、時点Tsから時点Teまでの期間を示すスライダー表示SLを設ける。また、合成モデルの再生が過去に行われて、時点T1のときに他者アバターMA-1の視点が推奨視点に設定されており、時点T2のときに他者アバターMA-2の視点が推奨視点に設定されている場合、情報処理装置30-0は、スライダー表示SLにおける時点T1の位置に他者アバターMA-1の視点画像PL1を推奨視点情報として設ける。また、情報処理装置30-0は、時点T2の位置に他者アバターMA-2の視点画像PL2を推奨視点情報として設ける。なお、時点Tgは、現在の再生位置を示している。このように、推奨視点情報を時間情報と共に記憶すれば、合成モデルの非リアルタイム再生時に、再生位置と推奨視点情報の関係を観察者に提示できるようになる。
[0108]
 また、本技術の動作は、図4,図5,図6,図12,図13に示すフローチャートの処理順序に限られるものではない。例えば観測対象モデルと空間モデルの生成はアバターの生成後であってもよい。さらに、上述の図4や図12に示すフローチャートにおける並列処理は、時間順に行うようにしてもよい。
[0109]
 明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
[0110]
 例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
[0111]
 また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
[0112]
 なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
[0113]
 また、本技術の情報処理装置は以下のような構成も取ることができる。
 (1) 仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と姿勢に基づいて生成した推奨視点情報を含める視点画像生成部
を備える情報処理装置。
 (2) 他者アバターの位置と姿勢に基づいて推奨視点を設定する推奨視点設定部と、
 前記推奨視点設定部で設定された推奨視点を示す前記推奨視点情報を生成する推奨視点情報生成部を備える(1)に記載の情報処理装置。
 (3) 前記推奨視点設定部は、前記自己アバターの視点である視点画像の再生時における前記他者アバターの位置と姿勢に基づいて前記推奨視点を設定する(2)に記載の情報処理装置。
 (4) 前記推奨視点設定部は、前記自己アバターの視点である視点画像の再生時における前記推奨視点を、過去の再生時における前記他者アバターの位置と姿勢に基づいて設定する(2)または(3)に記載の情報処理装置。
 (5) 前記推奨視点設定部は、前記推奨視点を複数設定した場合に前記推奨視点の優先度を設定する(2)乃至(4)のいずれかに記載の情報処理装置。
 (6) 前記推奨視点設定部は、前記他者アバターの属性を用いて前記推奨視点を設定する(2)乃至(5)のいずれかに記載の情報処理装置。
 (7) 前記推奨視点情報生成部は、前記推奨視点の縮小画像を前記推奨視点情報として生成する(2)乃至(6)のいずれかに記載の情報処理装置。
 (8) 前記推奨視点情報生成部は、前記推奨視点の方向を示す視線方向表示を前記推奨視点情報として生成する(2)乃至(7)のいずれかに記載の情報処理装置。
 (9) 前記推奨視点情報生成部は、過去の再生時における前記他者アバターの位置と姿勢に基づいて設定された推奨視点を再生位置と共に示す情報を前記推奨視点情報として生成する(2)乃至(8)のいずれかに記載の情報処理装置。
 (10) 前記推奨視点情報生成部は、前記過去の再生時に生成されて記憶されている前記推奨視点情報を用いる(2)乃至(8)のいずれかに記載の情報処理装置。
 (11) ユーザ操作を受け付ける操作部をさらに備え、
 前記ユーザ操作に応じて前記自己アバターの視点の視点画像を、前記推奨視点設定部で設定された推奨視点の視点画像に切り替える(2)乃至(10)のいずれかに記載の情報処理装置。
 (12) ユーザの位置と姿勢を検出する検出部をさらに備え、
 前記自己アバターの視点は、前記検出部の検出結果に基づいて判別する(1)乃至(11)のいずれかに記載の情報処理装置。

符号の説明

[0114]
 10・・・システム
 20,20-a,20-b・・・モデル生成装置
 21,23・・・情報記憶部
 22,24・・・モデル生成部
 25・・・モデル合成部
 30,30-0~30-n・・・情報処理装置
 31・・・検出部
 32・・・推奨視点設定部
 33・・・操作部
 34・・・視点制御部
 35・・・推奨視点情報生成部
 36・・・視点画像生成部
 40-0~40-n・・・表示装置

請求の範囲

[請求項1]
 仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と姿勢に基づいて生成した推奨視点情報を含める視点画像生成部
を備える情報処理装置。
[請求項2]
 他者アバターの位置と姿勢に基づいて推奨視点を設定する推奨視点設定部と、
 前記推奨視点設定部で設定された推奨視点を示す前記推奨視点情報を生成する推奨視点情報生成部を備える
請求項1に記載の情報処理装置。
[請求項3]
 前記推奨視点設定部は、前記自己アバターの視点である視点画像の再生時における前記他者アバターの位置と姿勢に基づいて前記推奨視点を設定する
請求項2に記載の情報処理装置。
[請求項4]
 前記推奨視点設定部は、前記自己アバターの視点である視点画像の再生時における前記推奨視点を、過去の再生時における前記他者アバターの位置と姿勢に基づいて設定する
請求項2に記載の情報処理装置。
[請求項5]
 前記推奨視点設定部は、前記推奨視点を複数設定した場合に前記推奨視点の優先度を設定する
請求項2に記載の情報処理装置。
[請求項6]
 前記推奨視点設定部は、前記他者アバターの属性を用いて前記推奨視点を設定する
請求項2に記載の情報処理装置。
[請求項7]
 前記推奨視点情報生成部は、前記推奨視点の縮小画像を前記推奨視点情報として生成する
請求項2に記載の情報処理装置。
[請求項8]
 前記推奨視点情報生成部は、前記推奨視点の方向を示す視線方向表示を前記推奨視点情報として生成する
請求項2に記載の情報処理装置。
[請求項9]
 前記推奨視点情報生成部は、過去の再生時における前記他者アバターの位置と姿勢に基づいて設定された推奨視点を再生位置と共に示す情報を前記推奨視点情報として生成する
請求項2に記載の情報処理装置。
[請求項10]
 前記推奨視点情報生成部は、過去の再生時に生成されて記憶されている前記推奨視点情報を用いる
請求項2に記載の情報処理装置。
[請求項11]
 ユーザ操作を受け付ける操作部をさらに備え、
 前記ユーザ操作に応じて前記自己アバターの視点の視点画像を、前記推奨視点設定部で設定された推奨視点の視点画像に切り替える
請求項2に記載の情報処理装置。
[請求項12]
 ユーザの位置と姿勢を検出する検出部をさらに備え、
 前記自己アバターの視点は、前記検出部の検出結果に基づいて判別する
請求項1に記載の情報処理装置。
[請求項13]
 視点画像生成部によって、仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と視線に基づいて生成した推奨視点情報を含めること
を含む情報処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]