処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020166492 - 画像調整システム、画像調整装置、及び画像調整方法

Document

明 細 書

発明の名称 画像調整システム、画像調整装置、及び画像調整方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

0004   0005   0006   0007   0008   0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25  

図面

1   2   3   4   5   6A   6B   7   8   9   10   11   12   13   14   15   16   17  

明 細 書

発明の名称 : 画像調整システム、画像調整装置、及び画像調整方法

技術分野

[0001]
 本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。

背景技術

[0002]
 近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚(没入感)を得ることができる。特許文献1に記載されている従来例のヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2005-56295号公報(JP 2005-056295 A)

発明の概要

[0004]
 しかし、従来例のヘッドマウントディスプレイでは、表示される画像によっては画像の水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、表示される画像が使用者の重力感覚と一致しないため、使用者は違和感を覚える。
[0005]
 本発明は、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。
[0006]
 本発明の第1の態様に係る画像調整システムは、カメラと、前記カメラが撮影した撮影画像を調整するための画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、前記画像調整装置へ指示情報を出力するためのコントローラとを備え、前記画像調整装置は、球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部とを備える。
[0007]
 本発明の第2の態様に係る画像調整装置は、球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部とを備える。
[0008]
 本発明の第3の態様に係る画像調整方法は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて画像生成部で生成された球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、前記画像処理部が前記画像生成部で生成され、前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、前記画像処理部が調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成することを含む。
[0009]
 本発明の第1の態様に係る画像調整システム、第2の態様に係る画像調整装置、及び第3の態様に係る画像調整方法によれば、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる。

図面の簡単な説明

[0010]
[図1] 図1は、第1実施形態及び第2実施形態に係る画像調整システムを示す構成図である。
[図2] 図2は、球面状画像と使用者との関係を示す図である。
[図3] 図3は、第1実施形態に係る画像調整方法の一例を示すフローチャートである。
[図4] 図4は、第1実施形態に係る画像調整方法の一例を示すフローチャートである。
[図5] 図5は、撮影画像の水平面と合成画像の水平面との関係を示す図である。
[図6A] 図6Aは、第2実施形態に係る画像調整方法の一例を示すフローチャートである。
[図6B] 図6Bは、第2実施形態に係る画像調整方法の一例を示すフローチャートである。
[図7] 図7は、第2実施形態に係る画像調整方法の一例を示すフローチャートである。
[図8] 図8は、撮影画像の水平面と合成画像の水平面との関係を示す図である。
[図9] 図9は、第3実施形態に係る画像調整システムを示す構成図である。
[図10] 図10は、使用者が画像表示装置を見ているときの使用者と他の使用者に対応する合成画像との位置関係の一例を示す図である。
[図11] 図11は、使用者が画像表示装置を見ているときの使用者と他の使用者に対応する合成画像との位置関係の一例を示す図である。
[図12] 図12は、第3実施形態に係る画像調整方法の一例を示すフローチャートである。
[図13] 図13は、第3実施形態に係る画像調整方法の一例を示すフローチャートである。
[図14] 図14は、第4実施形態に係る画像調整システムを示す構成図である。
[図15] 図15は、第3実施形態に係る画像調整方法の一例を示すフローチャートである。
[図16] 図16は、第3実施形態に係る画像調整方法の一例を示すフローチャートである。
[図17] 図17は、複数のカメラと他の使用者に対応する合成画像との位置関係の一例を示す図である。

発明を実施するための形態

[0011]
 [第1実施形態]
 図1を用いて、第1実施形態に係る画像調整システム101の構成例を説明する。第1実施形態に係る画像調整システム101は、カメラ102と、第1通信部103と、画像表示装置104と、コントローラ105と、画像調整装置110と、サーバ106とを備える。画像調整装置110は、画像処理部111と、画像生成部112と、第2通信部113とを備える。
[0012]
 カメラ102は、360度の範囲を撮影できる全方位カメラ(360度カメラ)である。第1通信部103と第2通信部113とはネットワークを介して接続されている。画像調整装置110は、カメラ102が撮影した撮影画像IM1を、第1通信部103と第2通信部113とネットワークとを介して取得することができる。
[0013]
 画像調整装置110としてコンピュータ機器を用いてもよい。画像処理部111及び画像生成部112としてCPUを用いてもよい。画像生成部112及び第2通信部113は、画像調整装置110の外部に設けられていてもよい。
[0014]
 サーバ106は、ネットワークと第1通信部103とを介してカメラ102と接続し、ネットワークと第2通信部113とを介して画像調整装置110と接続する。サーバ106がカメラ102が撮影した撮影画像IM1を第1通信部103及びネットワークを介して取得し、画像調整装置110がサーバ106から撮影画像IM1をネットワーク及び第2通信部113を介して取得してもよい。
[0015]
 画像調整装置110が取得した撮影画像IM1は、画像処理部111へ入力される。画像処理部111は、撮影画像IM1を解析することにより、撮影画像IM1における水平方向を認識する。画像処理部111は、撮影画像IM1を解析することにより、撮影画像IM1における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置110は、撮影画像IM1の歪みを補正し、撮影画像IM1の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM1を画像表示装置104へ出力する。
[0016]
 サーバ106は、カメラ102が撮影した撮影画像IM1の歪みを補正し、撮影画像IM1の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM1を画像調整装置110へ出力してもよい。画像表示装置104は、画像調整装置110またはサーバ106によって画像処理された撮影画像IM1を表示する。
[0017]
 画像表示装置104は、例えばヘッドマウントディスプレイである。コントローラ105は、例えばVR(Virtual Reality)等に用いられるグローブ型コントローラである。
[0018]
 図2は、画像表示装置104が使用者USの頭部に装着され、コントローラ105が使用者USの手に装着されている状態を模式的に示している。図2に示す符号ZEは天頂を示している。カメラ102の天頂と使用者USの天頂とは一致していることが望ましい。使用者USは、その頭部に画像表示装置104を装着することにより、画像調整装置110またはサーバ106によって画像処理された撮影画像IM1を見ることができる。
[0019]
 画像表示装置104は、使用者USの頭部に装着されている状態において、使用者USが向いている方向、及び使用者USの姿勢等の状態に基づいて姿勢情報PN1を生成する。画像処理部111は、画像表示装置104から姿勢情報PN1を取得する。即ち、画像処理部111は、画像表示装置104の姿勢に基づいて姿勢情報PN1を取得することになる。画像処理部111は、姿勢情報PN1に基づいて、カメラ102が撮影した撮影画像IM1から、使用者USが向いている方向、及び使用者USの姿勢等の状態に対応する領域の画像を画像表示装置104に表示する。
[0020]
 コントローラ105は、使用者USの手に装着されている状態において、使用者USの手の動きまたは姿勢、または、使用者USの指の動きまたは姿勢等の状態に基づいて指示情報NN1を生成する。以下、手または指を、単に手と略記する。画像処理部111は、コントローラ105から指示情報NN1を取得する。画像処理部111は、指示情報NN1に基づいて、画像表示装置104に表示されている撮影画像IM1を変化させたり調整したりすることができる。
[0021]
 画像生成部112は、撮影画像IM1と合成されるCG(Computer Graphics)である合成画像CM1を生成する。合成画像CM1は、例えばアバター等のキャラクタの画像である。画像生成部112は、合成画像CM1を内蔵メモリまたは外部のメモリに保存する。画像処理部111は、画像生成部112で生成された合成画像CM1を取得し、第2通信部113とネットワークとを介してサーバ106へ出力してもよい。
[0022]
 サーバ106は、合成画像CM1を画像表示装置104または使用者USと対応付けて内蔵メモリまたは外部のメモリに保存する。画像処理部111は、指示情報NN1に基づいて、画像生成部112またはサーバ106から合成画像CM1を取得し、画像表示装置104に表示されている撮影画像IM1に合成画像CM1を合成する。従って、画像表示装置104は、カメラ102が撮影した撮影画像IM1と、画像生成部112またはサーバ106から取得されて撮影画像IM1と合成された合成画像CM1とを表示することができる。
[0023]
 画像生成部112は、CGである球面により構成された仮想画像である球面状画像VSS1を生成する。画像生成部112は、球面状画像VSS1を内蔵メモリまたは外部のメモリに保存する。画像処理部111は、指示情報NN1に基づいて、画像生成部112で生成された球面状画像VSS1を取得し、画像表示装置104に表示する。
[0024]
 図2は、画像表示装置104が使用者USの頭部に装着された状態において、使用者USが画像表示装置104に表示されている球面状画像VSS1を見たときの使用者USのイメージを模式的に示している。
[0025]
 画像表示装置104が使用者USの頭部に装着されている状態において、使用者USが画像表示装置104に表示されている球面状画像VSS1を見たときに、球面状画像VSS1は、使用者US及び画像表示装置104の周囲に配置され、かつ、使用者USの手が球面状画像VSS1に届く範囲に表示されるように設定されている。使用者USは、コントローラ105が装着されている手を、画像表示装置104に表示されている球面状画像VSS1に対応する位置に移動させることにより、使用者USの手が球面状画像VSS1に接触しているように感じる。
[0026]
 コントローラ105は、使用者USの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部111は、指示情報NN1に基づいて、使用者USの手が球面状画像VSS1に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者USの手に圧力を加えることにより、使用者USは、その手が球面状画像VSS1に接触する感覚を実感として得ることができる。
[0027]
 球面状画像VSS1が画像表示装置104に表示されている状態において、使用者USが、コントローラ105が装着されている手を任意の方向へ移動させた場合、画像処理部111は、指示情報NN1に基づいて、画像表示装置104に表示されている球面状画像VSS1と撮影画像IM1とが、使用者USの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
[0028]
 使用者USは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS1を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USは、その手の動きによって球面状画像VSS1を回転させることができる。画像処理部111は、球面状画像VSS1の回転に対応させて撮影画像IM1を移動させる。
[0029]
 画像処理部111は、使用者USが球面状画像VSS1を回転させる前の天頂ZEが、使用者USが球面状画像VSS1を回転させることによって球面状画像VSS1の座標上のどの位置へ移動したかを判定することができる。画像処理部111は、球面状画像VSS1の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USが球面状画像VSS1を回転させる前と回転させた後との球面状画像VSS1の変化量を算出する。
[0030]
 球面状画像VSS1の変化量とは、球面状画像VSS1において、X軸を回転軸とした回転量(回転角度)と、Y軸を回転軸とした回転量(回転角度)と、Z軸を回転軸とした回転量(回転角度)とが合成された球面状画像VSS1の回転量(回転角度)に相当する。画像処理部111は、球面状画像VSS1の変化量を補正値CV1として保存する。即ち、補正値CV1は、球面状画像VSS1の回転方向と、天頂ZEの移動量または移動角度(球面状画像VSS1の回転角度)に基づいて算出されることになる。
[0031]
 画像処理部111は、使用者USが球面状画像VSS1を回転させた後の天頂ZEの球面状画像VSS1上の座標を補正値CV1として保存してもよい。画像処理部111は、補正値CV1を内蔵メモリまたは外部のメモリに保存してもよいし、補正値CV1を第2通信部113及びネットワークを介してサーバ106へ出力してもよい。サーバ106は、補正値CV1を画像表示装置104または使用者USと関連付けて内蔵メモリまたは外部のメモリに保存する。
[0032]
 画像処理部111は、撮影画像IM1の水平方向を検出する。しかし、画像処理部111は、撮影画像IM1によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像IM1の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置104に表示される撮影画像IM1が使用者USの重力感覚と一致しないため、使用者USは違和感を覚える。
[0033]
 図3、4に示すフローチャートを用いて、第1実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像IM1及び合成画像CM1の水平を調整する方法の一例について説明する。画像表示装置104が使用者USの頭部に装着され、コントローラ105が使用者USの手に装着されている。画像表示装置104には撮影画像IM1及び合成画像CM1が表示されている。この時点で、合成画像CM1は表示されていなくてもよい。
[0034]
 使用者USが画像表示装置104に表示されている撮影画像IM1が水平でないと判断した場合、図3において、使用者USがコントローラ105を操作することにより、画像処理部111は、ステップS101にて、画像表示装置104に設定画面を表示させる。
[0035]
 使用者USがコントローラ105を操作して、設定画面に表示されている所定の項目(例えば水平調整の項目)を選択することにより、画像処理部111は、ステップS102にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部111は、撮影画像IM1の水平を調整するための処理モード(水平調整モード)へ処理を移行させる。
[0036]
 画像処理部111は、ステップS103にて、画像生成部112で生成された球面状画像VSS1を取得し、画像表示装置104に表示する。画像表示装置104には、撮影画像IM1と球面状画像VSS1と合成画像CM1とが混合して表示される。使用者USが撮影画像IM1が水平となるように球面状画像VSS1を回転させることにより、画像処理部111は、ステップS104にて、球面状画像VSS1の回転に対応させて、画像表示装置104に表示されている撮影画像IM1を移動させる。使用者USは撮影画像IM1が水平になるまで球面状画像VSS1を回転させる動作を複数回行ってもよい。
[0037]
 使用者USは撮影画像IM1が水平になったと判断した場合にコントローラ105を操作することにより、画像処理部111は、ステップS105にて、球面状画像VSS1の表示を終了させ、画像表示装置104に設定画面を表示させる。画像表示装置104に表示されている撮影画像IM1を水平にすることにより、カメラ102の天頂と使用者USの天頂とを一致させることができる。
[0038]
 使用者USがコントローラ105を操作して、設定画面に表示されている所定の項目(例えば終了の項目)を選択することにより、画像処理部111は、ステップS106にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部111は、水平調整を終了するための処理モード(終了モード)へ処理を移行させる。
[0039]
 画像処理部111は、ステップS107にて、球面状画像VSS1が回転する前と後との回転量(回転角度)を、球面状画像VSS1の変化量として取得する。画像処理部111は、ステップS108にて、球面状画像VSS1の変化量を補正値CV1として保存し、処理を終了する。
[0040]
 図3のステップS101~S108において合成画像CM1が表示されていない場合、使用者USがコントローラ105を操作することにより、画像調整装置110(具体的には画像処理部111)は、画像生成部112で生成された合成画像CM1を取得し、画像表示装置104に表示されている撮影画像IM1に合成して表示させることができる。
[0041]
 図5は、使用者USによって水平調整された撮影画像IM1の水平面PHP1と、画像処理部111が画像生成部112から取得した合成画像CM1の水平面SHP1との関係を模式的に示している。撮影画像IM1の水平面PHP1と合成画像CM1の水平面SHP1とがずれていると、使用者USは違和感を覚える。
[0042]
 図4において、画像処理部111は、ステップS111にて、撮影画像IM1が水平調整されたか否かを判定する。画像処理部111は、球面状画像VSS1が回転された履歴または補正値CV1等に基づいて、撮影画像IM1が水平調整されたか否かを判定することができる。
[0043]
 ステップS111において撮影画像IM1が水平調整された(YES)と判定された場合、画像処理部111は、ステップS112にて、保存されている補正値CV1を取得する。画像処理部111は、ステップS113にて、補正値CV1に基づいて合成画像CM1の座標軸を回転させ、合成画像CM1の水平面SHP1を撮影画像IM1の水平面PHP1と一致させる。画像処理部111は、ステップS114にて、合成画像CM1を、補正された水平面SHP1に基づいて演算処理し、画像調整する。
[0044]
 画像処理部111は、ステップS115にて、画像調整された合成画像CM1を撮影画像IM1と合成して画像表示装置104に表示させる。ステップS111において撮影画像IM1が水平調整されていない(NO)と判定された場合、画像処理部111は、処理をステップS115へ移行させる。
[0045]
 第1実施形態に係る画像調整システム101、画像調整装置110、及び画像調整方法では、画像表示装置104に球面状画像VSS1を表示させる。第1実施形態に係る画像調整システム101、画像調整装置110、及び画像調整方法によれば、撮影画像IM1の水平方向が間違って検出されたり、水平または天頂ZEの指定がずれたりした場合に、使用者USは、コントローラ105を操作して球面状画像VSS1を回転させることにより、画像表示装置104に表示されている撮影画像IM1を水平になるように調整することができる。
[0046]
 従って、第1実施形態に係る画像調整システム101、画像調整装置110、及び画像調整方法によれば、撮影画像IM1の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者USが撮影画像IM1の水平または天頂を簡便に補正することができる。
[0047]
 第1実施形態に係る画像調整システム101、画像調整装置110、及び画像調整方法によれば、補正値CV1が保存されている場合、画像処理部111は、補正値CV1を読み出し、カメラ102が撮影した撮影画像IM1を補正値CV1に基づいて画像調整し、画像表示装置104に表示することができる。
[0048]
 第1実施形態に係る画像調整システム101、画像調整装置110、及び画像調整方法では、撮影画像IM1が水平調整された場合、補正値CV1に基づいて合成画像CM1の座標軸を回転させ、合成画像CM1の水平面SHP1を撮影画像IM1の水平面PHP1と一致させる。第1実施形態に係る画像調整システム101、画像調整装置110、及び画像調整方法によれば、撮影画像IM1と合成画像CM1とを、使用者USが違和感を覚えることなく、画像表示装置104に表示することができる。
[0049]
 [第2実施形態]
 図1を用いて、第2実施形態に係る画像調整システム201の構成例を説明する。第2実施形態に係る画像調整システム201は、カメラ202と、第1通信部203と、画像表示装置204と、コントローラ205と、画像調整装置210と、サーバ206とを備える。画像調整装置210は、画像処理部211と、画像生成部212と、第2通信部213とを備える。
[0050]
 第2実施形態のカメラ202、第1通信部203、画像表示装置204、コントローラ205、画像調整装置210、及びサーバ206は、第1実施形態のカメラ102、第1通信部103、画像表示装置104、コントローラ105、画像調整装置110、及びサーバ106に相当する。第2実施形態の画像処理部211、画像生成部212、及び第2通信部213は、第1実施形態の画像処理部111、画像生成部112、及び第2通信部113に相当する。
[0051]
 画像調整装置210は、カメラ202が撮影した撮影画像IM2を、第1通信部203と第2通信部213とネットワークとを介して取得することができる。サーバ206がカメラ202が撮影した撮影画像IM2を第1通信部203及びネットワークを介して取得し、画像調整装置210がサーバ206から撮影画像IM2をネットワーク及び第2通信部213を介して取得してもよい。
[0052]
 画像調整装置210が取得した撮影画像IM2は、画像処理部211へ入力される。画像処理部211は、撮影画像IM2を解析することにより、撮影画像IM2における水平方向を認識する。画像処理部211は、撮影画像IM2を解析することにより、撮影画像IM2における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置210は、撮影画像IM2の歪みを補正し、撮影画像IM2の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM2を画像表示装置204へ出力する。
[0053]
 サーバ206は、カメラ202が撮影した撮影画像IM2の歪みを補正し、撮影画像IM2の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM2を画像調整装置210へ出力してもよい。画像表示装置204は、画像調整装置210またはサーバ206によって画像処理された撮影画像IM2を表示する。使用者USは、その頭部に画像表示装置204を装着することにより、画像調整装置210またはサーバ206によって画像処理された撮影画像IM2を見ることができる。
[0054]
 画像表示装置204は、使用者USの頭部に装着されている状態において、使用者USが向いている方向、及び使用者USの姿勢等の状態に基づいて姿勢情報PN2を生成する。画像処理部211は、画像表示装置204から姿勢情報PN2を取得する。即ち、画像処理部211は、画像表示装置204の姿勢に基づいて姿勢情報PN2を取得することになる。画像処理部211は、姿勢情報PN2に基づいて、カメラ202が撮影した撮影画像IM2から、使用者USが向いている方向、及び使用者USの姿勢等の状態に対応する領域の画像を画像表示装置204に表示する。
[0055]
 コントローラ205は、使用者USの手に装着されている状態において、使用者USの手の動きまたは姿勢等の状態に基づいて指示情報NN2を生成する。画像処理部211は、コントローラ205から指示情報NN2を取得する。画像処理部211は、指示情報NN2に基づいて、画像表示装置204に表示されている撮影画像IM2を変化させたり調整したりすることができる。
[0056]
 画像生成部212は、撮影画像IM2と合成されるCGである合成画像CM2を生成する。合成画像CM2は、例えばアバター等のキャラクタの画像である。画像生成部212は、合成画像CM2を内蔵メモリまたは外部のメモリに保存する。画像処理部211は、画像生成部212で生成された合成画像CM2を取得し、第2通信部213とネットワークとを介してサーバ206へ出力してもよい。サーバ206は、合成画像CM2を画像表示装置204または使用者USと対応付けて内蔵メモリまたは外部のメモリに保存する。
[0057]
 画像処理部211は、指示情報NN2に基づいて、画像生成部212またはサーバ206から合成画像CM2を取得し、画像表示装置204に表示されている撮影画像IM2に合成画像CM2を合成する。従って、画像表示装置204は、カメラ202が撮影した撮影画像IM2と、画像生成部212またはサーバ206から取得されて撮影画像IM2と合成された合成画像CM2とを表示することができる。
[0058]
 画像生成部212は、CGである球面により構成された仮想画像である球面状画像VSS2を生成する。画像生成部212は、球面状画像VSS2を内蔵メモリまたは外部のメモリに保存する。画像処理部211は、指示情報NN2に基づいて、画像生成部212で生成された球面状画像VSS2を取得し、画像表示装置204に表示する。
[0059]
 第2実施形態の球面状画像VSS2は、第1実施形態の球面状画像VSS1に相当する。使用者USは、コントローラ205が装着されている手を、画像表示装置204に表示されている球面状画像VSS2に対応する位置に移動させることにより、使用者USの手が球面状画像VSS2に接触しているように感じる。
[0060]
 コントローラ205は、使用者USの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部211は、指示情報NN2に基づいて、使用者USの手が球面状画像VSS2に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者USの手に圧力を加えることにより、使用者USは、その手が球面状画像VSS2に接触する感覚を実感として得ることができる。
[0061]
 球面状画像VSS2が画像表示装置204に表示されている状態において、使用者USが、コントローラ205が装着されている手を任意の方向へ移動させた場合、画像処理部211は、指示情報NN2に基づいて、画像表示装置204に表示されている球面状画像VSS2と撮影画像IM2とが、使用者USの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
[0062]
 使用者USは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS2を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USは、その手の動きによって球面状画像VSS2を回転させることができる。画像処理部211は、球面状画像VSS2の回転に対応させて撮影画像IM2を移動させる。
[0063]
 画像処理部211は、使用者USが球面状画像VSS2を回転させる前の天頂ZEが、使用者USが球面状画像VSS2を回転させることによって球面状画像VSS2の座標上のどの位置へ移動したかを判定することができる。画像処理部211は、球面状画像VSS2の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USが球面状画像VSS2を回転させる前と回転させた後との球面状画像VSS2の変化量を算出する。第2実施形態の球面状画像VSS2の変化量は、第1実施形態の球面状画像VSS1の変化量に相当する。
[0064]
 画像処理部211は、球面状画像VSS2の変化量を補正値CV2として保存する。第2実施形態の補正値CV2は、第1実施形態の補正値CV1に相当する。画像処理部211は、使用者USが球面状画像VSS2を回転させた後の天頂ZEの球面状画像VSS2上の座標を補正値CV2として保存してもよい。画像処理部211は、補正値CV2を内蔵メモリまたは外部のメモリに保存してもよいし、補正値CV2を第2通信部213及びネットワークを介してサーバ206へ出力してもよい。サーバ206は、補正値CV2を画像表示装置204または使用者USと関連付けて内蔵メモリまたは外部のメモリに保存する。
[0065]
 画像処理部211は、撮影画像IM2の水平方向を検出する。しかし、画像処理部211は、撮影画像IM2によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像IM2の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置204に表示される撮影画像IM2が使用者USの重力感覚と一致しないため、使用者USは違和感を覚える。
[0066]
 図6A、6B、7に示すフローチャートを用いて、第2実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像IM2及び合成画像CM2の水平を調整する方法の一例について説明する。画像表示装置204が使用者USの頭部に装着され、コントローラ205が使用者USの手に装着されている。画像表示装置204には撮影画像IM2及び合成画像CM2が表示されている。なお、合成画像CM2は表示されていなくてもよい。
[0067]
 使用者USが画像表示装置204に表示されている撮影画像IM2が水平でないと判断した場合、図6Aにおいて、使用者USがコントローラ205を操作することにより、画像処理部211は、ステップS201にて、画像表示装置204に設定画面を表示させる。
[0068]
 使用者USがコントローラ205を操作して、設定画面に表示されている所定の項目(例えば水平調整の項目)を選択することにより、画像処理部211は、ステップS202にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部211は、撮影画像IM2の水平を調整するための処理モード(水平調整モード)へ処理を移行させる。
[0069]
 画像処理部211は、ステップS203にて、画像生成部212で生成された球面状画像VSS2を取得し、画像表示装置204に表示する。画像表示装置204には、撮影画像IM2と球面状画像VSS2とが混合して表示される。画像処理部211は、ステップS204にて、合成画像CM2が撮影画像IM2と合成されて画像表示装置204に表示されているか否かを判定する。
[0070]
 ステップS204において合成画像CM2が撮影画像IM2と合成されて画像表示装置204に表示されている(YES)と判定された場合、画像処理部211は、ステップS205にて、合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とを分離させる処理を実行する。図8は、合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とが分離された状態を模式的に示している。
[0071]
 ステップS204において合成画像CM2が撮影画像IM2と合成されて画像表示装置204に表示されていない(NO)と判定された場合、画像処理部211は、処理をステップS206へ進める。
[0072]
 使用者USは、撮影画像IM2が水平となるように球面状画像VSS2を回転させる。合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とは分離しているため、球面状画像VSS2を回転させても、合成画像CM2は回転しない。そのため、使用者USは、合成画像CM2の回転に惑わされることなく、撮影画像IM2の水平を容易に補正することができる。
[0073]
 ステップS205において、画像処理部211は合成画像CM2を非表示にしてもよい。合成画像CM2を非表示にすることにより、合成画像CM2が邪魔にならないので、使用者USは、撮影画像IM2の水平を容易に補正することができる。
[0074]
 画像処理部211は、ステップS206にて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている撮影画像IM2を移動させる。使用者USは撮影画像IM2が水平になるまで球面状画像VSS2を回転させる動作を複数回行ってもよい。
[0075]
 図6Bにおいて、使用者USは撮影画像IM2が水平になったと判断した場合にコントローラ205を操作することにより、画像処理部211は、ステップS207にて、球面状画像VSS2の表示を終了させ、画像表示装置204に設定画面を表示させる。画像表示装置204に表示されている撮影画像IM2を水平にすることにより、カメラ202の天頂と使用者USの天頂とを一致させることができる。
[0076]
 使用者USがコントローラ205を操作して、設定画面に表示されている所定の項目(例えば終了の項目)を選択することにより、画像処理部211は、ステップS208にて、選択された項目に対応する所定の処理モードへ処理を移行させる。終了の項目が選択された場合、画像処理部211は、水平調整を終了するための処理モード(水平調整終了モード)へ処理を移行させる。
[0077]
 画像処理部211は、ステップS209にて、球面状画像VSS2が回転する前と後との回転量(回転角度)を、球面状画像VSS2の変化量として取得する。画像処理部211は、ステップS210にて、球面状画像VSS2の変化量を補正値CV2として保存する。
[0078]
 図6A、6BのステップS201~S210において合成画像CM2が表示されていない場合、使用者USがコントローラ205を操作することにより、画像調整装置210(具体的には画像処理部211)は、画像生成部212で生成された合成画像CM2を取得し、画像表示装置204に表示させることができる。
[0079]
 画像調整装置210(具体的には画像処理部211)は、カメラ202が撮影する撮影画像IM2を解析することにより、撮影画像IM2における水平方向を認識する。使用者USが球面状画像VSS2を回転させて撮影画像IM2の水平を調整した後に、画像調整装置210が画像生成部212で生成された合成画像CM2を取得し、画像表示装置204に表示させると、合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とは一致しなくなる。撮影画像IM2の水平面PHP2と合成画像CM2の水平面SHP2とがずれていると、使用者USは違和感を覚える。
[0080]
 図7において、画像処理部211は、ステップS211にて、合成画像CM2が撮影画像IM2と合成されて画像表示装置204に表示されているか否かを判定する。合成画像CM2が撮影画像IM2と合成されて画像表示装置204に表示されている(YES)と判定された場合、画像処理部211は、ステップS212にて、保存されている補正値CV2を取得する。
[0081]
 画像処理部211は、ステップS213にて、補正値CV2に基づいて合成画像CM2の座標軸を回転させ、合成画像CM2の水平面SHP2を、使用者USによって水平調整された撮影画像IM2の水平面PHP2と一致させる。画像処理部211は、ステップS214にて、合成画像CM2を、補正された水平面SHP2に基づいて演算処理し、画像調整する。図8は、合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とが一致している状態を模式的に示している。
[0082]
 ステップS211において撮影画像IM2が使用者USによって水平調整されていない(NO)と判定された場合、画像処理部211は、処理をステップS215へ移行させる。画像処理部211は、ステップS215にて、画像調整された合成画像CM2を撮影画像IM2と合成して画像表示装置204に表示させる。使用者USは、画像表示装置204に表示され、互いの水平が一致している撮影画像IM2及び合成画像CM2を見ることができる。
[0083]
 第2実施形態に係る画像調整システム201、画像調整装置210、及び画像調整方法では、画像表示装置204に球面状画像VSS2を表示させる。第2実施形態に係る画像調整システム201、画像調整装置210、及び画像調整方法によれば、撮影画像IM2の水平方向が間違って検出されたり、水平または天頂ZEの指定がずれたりした場合に、使用者USは、コントローラ205を操作して球面状画像VSS2を回転させることにより、画像表示装置204に表示されている撮影画像IM2を水平になるように調整することができる。
[0084]
 従って、第2実施形態に係る画像調整システム201、画像調整装置210、及び画像調整方法によれば、撮影画像IM2の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者USが撮影画像IM2の水平または天頂を簡便に補正することができる。
[0085]
 第2実施形態に係る画像調整システム201、画像調整装置210、及び画像調整方法によれば、補正値CV2が保存されている場合、画像処理部211は、補正値CV2を読み出し、カメラ202が撮影した撮影画像IM2を補正値CV2に基づいて画像調整し、画像表示装置204に表示することができる。
[0086]
 第2実施形態に係る画像調整システム201、画像調整装置210、及び画像調整方法では、合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とを分離させて、撮影画像IM2の水平を調整し、調整結果(補正値CV2)に基づいて合成画像CM2の水平を調整する。合成画像CM2の水平面SHP2と撮影画像IM2の水平面PHP2とが分離しているため、使用者USが球面状画像VSS2を回転させても、合成画像CM2は回転しない。そのため、使用者USは、撮影画像IM2の水平を容易に補正することができる。
[0087]
 第2実施形態に係る画像調整システム201、画像調整装置210、及び画像調整方法によれば、撮影画像IM2が水平調整された場合、補正値CV2に基づいて合成画像CM2の座標軸を回転させ、合成画像CM2の水平面SHP2を撮影画像IM2の水平面PHP2と一致させる。そのため、使用者USは、画像表示装置204に表示されている撮影画像IM2と合成画像CM2とを、違和感を覚えることなく見ることができる。
[0088]
 [第3実施形態]
 図9を用いて、第3実施形態に係る画像調整システム301の構成例を説明する。第3実施形態に係る画像調整システム301は、カメラ302と、第1通信部303と、複数の画像表示装置304と、複数のコントローラ305と、複数の画像調整装置310と、サーバ306とを備える。画像調整装置310は、画像処理部311と、画像生成部312と、第2通信部313とを備える。
[0089]
 第3実施形態のカメラ302、第1通信部303、画像表示装置304、コントローラ305、画像調整装置310、及びサーバ306は、それぞれ、第1実施形態のカメラ102、第1通信部103、画像表示装置104、コントローラ105、画像調整装置110、及び、サーバ106に相当する。第3実施形態の画像処理部311、画像生成部312、及び第2通信部313は、それぞれ、第1実施形態の画像処理部111、画像生成部112、及び、第2通信部113に相当する。
[0090]
 図9では、説明をわかりやすくするために、それぞれ2つの画像表示装置304、コントローラ305、及び画像調整装置310を示している。画像表示装置304、コントローラ305、及び画像調整装置310は3つ以上であってもよい。第1の使用者USaが使用する画像表示装置304を第1画像表示装置304a、コントローラ305を第1コントローラ305a、画像調整装置310を第1画像調整装置310aとする。第2の使用者USbが使用する画像表示装置304を第2画像表示装置304b、コントローラ305を第2コントローラ305b、画像調整装置310を第2画像調整装置310bとする。
[0091]
 第1画像調整装置310aにおける画像処理部311を画像処理部311a、画像生成部312を画像生成部312a、第2通信部313を第2通信部313aとする。第2画像調整装置310bにおける画像処理部311を画像処理部311b、画像生成部312を画像生成部312b、第2通信部313を第2通信部313bとする。
[0092]
 第1画像調整装置310aは、カメラ302が撮影した撮影画像IM3を、第1通信部303と第1画像調整装置310aの第2通信部313aとネットワークとを介して取得することができる。第2画像調整装置310bは、カメラ302が撮影した撮影画像IM3を、第1通信部303と第2画像調整装置310bの第2通信部313bとネットワークとを介して取得することができる。
[0093]
 サーバ306は、カメラ302が撮影した撮影画像IM3を第1通信部303及びネットワークを介して取得し、第1画像調整装置310aがサーバ306から撮影画像IM3をネットワーク及び第1画像調整装置310aの第2通信部313aを介して取得し、第2画像調整装置310bがサーバ306から撮影画像IM3をネットワーク及び第2画像調整装置310bの第2通信部313bを介して取得してもよい。
[0094]
 サーバ306は、第1使用者USaがログイン操作を実行する、または、第1画像表示装置304aが第1画像調整装置310aの第2通信部313aを介してネットワークに接続されることにより、第1使用者USaまたは第1画像表示装置304aを特定することができる。サーバ306は、第2使用者USbがログイン操作を実行する、または、第2画像表示装置304bが第2画像調整装置310bの第2通信部313bを介してネットワークに接続されることにより、第2使用者USbまたは第2画像表示装置304bを特定することができる。
[0095]
 以下、第1画像調整装置310a、第1画像表示装置304a、及び第1コントローラ305aにおける処理について説明する。括弧内の符号は、第2画像調整装置310b、第2画像表示装置304b、及び第2コントローラ305bにおける処理を示している。
[0096]
 画像調整装置310a(310b)が取得した撮影画像IM3は、画像処理部311a(311b)へ入力される。画像処理部311a(311b)は、撮影画像IM3を解析することにより、撮影画像IM3における水平方向を認識する。画像処理部311a(311b)は、撮影画像IM3を解析することにより、撮影画像IM3における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。
[0097]
 画像調整装置310a(310b)は、撮影画像IM3の歪みを補正し、撮影画像IM3の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM3を画像表示装置304a(304b)へ出力する。
[0098]
 サーバ306は、カメラ302が撮影した撮影画像IM3の歪みを補正し、撮影画像IM3の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM3を画像調整装置310a(310b)へ出力してもよい。画像表示装置304a(304b)は、画像調整装置310a(310b)、またはサーバ306によって画像処理された撮影画像IM3を表示する。
[0099]
 使用者USa(USb)は、その頭部に画像表示装置304a(304b)を装着することにより、画像調整装置310a(310b)またはサーバ306によって画像処理された撮影画像IM3を見ることができる。
[0100]
 画像表示装置304a(304b)は、使用者USa(USb)の頭部に装着されている状態において、使用者USa(USb)が向いている方向、及び使用者USa(USb)の姿勢等の状態に基づいて姿勢情報PN3a(PN3b)を生成する。画像処理部311a(311b)は、画像表示装置304a(304b)から姿勢情報PN3a(PN3b)を取得する。即ち、画像処理部311a(311b)は、画像表示装置304a(304b)の姿勢に基づいて姿勢情報PN3a(PN3b)を取得することになる。
[0101]
 画像処理部311a(311b)は、姿勢情報PN3a(PN3b)に基づいて、カメラ302が撮影した撮影画像IM3から、使用者USa(USb)が向いている方向、及び使用者USa(USb)の姿勢等の状態に対応する領域の画像を画像表示装置304a(304b)に表示する。
[0102]
 コントローラ305a(305b)は、使用者USa(USb)の手に装着されている状態において、使用者USa(USb)の手の動きまたは姿勢等の状態に基づいて指示情報NN3a(NN3b)を生成する。画像処理部311a(311b)は、コントローラ305a(305b)から指示情報NN3a(NN3b)を取得する。画像処理部311a(311b)は、指示情報NN3a(NN3b)に基づいて、画像表示装置304a(304b)に表示されている撮影画像IM3を変化させたり調整したりすることができる。
[0103]
 画像生成部312a(312b)は、撮影画像IM3と合成されるCGである合成画像CM3b(CM3a)を生成する。合成画像CM3a(CM3b)は、例えばアバター等のキャラクタの画像である。第2画像生成部312bで生成される合成画像CM3aは第1使用者USaのアバターであり、第1画像生成部312aで生成される合成画像CM3bは第2使用者USbのアバターである。使用者USa(USb)がコントローラ305a(305b)を操作することにより、画像生成部312a(312b)は、使用者USb(USa)のアバターである合成画像CM3b(CM3a)を生成し、内蔵メモリまたは外部のメモリに保存する。
[0104]
 画像処理部311a(311b)は、画像生成部312a(312b)で生成された合成画像CM3b(CM3a)を取得し、第2通信部313a(313b)とネットワークとを介してサーバ306へ出力してもよい。
[0105]
 使用者USa(USb)がコントローラ305a(305b)を操作することにより、画像生成部312a(312b)は、使用者USa(USb)のアバターである合成画像CM3a(CM3b)を生成してもよい。画像処理部311a(311b)は、画像生成部312a(312b)で生成された合成画像CM3a(CM3b)を取得し、第2通信部313a(313b)とネットワークとを介してサーバ306へ出力してもよい。即ち、第1使用者USaは、第2使用者USbのアバターを設定してもよいし、自身のアバターを設定してもよい。また、第2使用者USbは、第1使用者USaのアバターを設定してもよいし、自身のアバターを設定してもよい。
[0106]
 サーバ306は、合成画像CM3a(CM3b)を使用者USa(USb)と対応付けて内蔵メモリまたは外部のメモリに保存する。サーバ306が、合成画像CM3a(CM3b)を使用者USa(USb)と対応付けて自動設定し、内蔵メモリまたは外部のメモリに保存してもよい。
[0107]
 画像処理部311a(311b)は、指示情報NN3a(NN3b)に基づいて、画像生成部312a(312b)またはサーバ306から合成画像CM3b(CM3a)を取得し、画像表示装置304a(304b)に表示されている撮影画像IM3に合成画像CM3b(CM3a)を合成する。従って、画像表示装置304a(304b)は、カメラ302が撮影した撮影画像IM3と、画像生成部312a(312b)またはサーバ306から取得されて撮影画像IM3と合成された合成画像CM3b(CM3a)とを表示することができる。
[0108]
 画像生成部312a(312b)は、CGである球面により構成された仮想画像である球面状画像VSS3a(VSS3b)を生成する。画像生成部312a(312b)は、球面状画像VSS3a(VSS3b)を内蔵メモリまたは外部のメモリに保存する。画像処理部311a(311b)は、指示情報NN3a(NN3b)に基づいて、画像生成部312a(312b)で生成された球面状画像VSS3a(VSS3b)を取得し、画像表示装置304a(304b)に表示する。
[0109]
 第3実施形態の球面状画像VSS3a(VSS3b)は、第1実施形態の球面状画像VSS1に相当する。使用者USa(USb)は、コントローラ305a(305b)が装着されている手を、画像表示装置304a(304b)に表示されている球面状画像VSS3a(VSS3b)に対応する位置に移動させることにより、使用者USa(USb)の手が球面状画像VSS3a(VSS3b)に接触しているように感じる。
[0110]
 コントローラ305a(305b)は、使用者USa(USb)の手と接触する部分にアクチュエータが配置されていてもよい。画像処理部311a(311b)は、指示情報NN3a(NN3b)に基づいて、使用者USa(USb)の手が球面状画像VSS3a(VSS3b)に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者USa(USb)の手に圧力を加えることにより、使用者USa(USb)は、その手が球面状画像VSS3a(VSS3b)に接触する感覚を実感として得ることができる。
[0111]
 球面状画像VSS3a(VSS3b)が画像表示装置304a(304b)に表示されている状態において、使用者USa(USb)が、コントローラ305a(305b)が装着されている手を任意の方向へ移動させた場合、画像処理部311a(311b)は、指示情報NN3a(NN3b)に基づいて、画像表示装置304a(304b)に表示されている球面状画像VSS3a(VSS3b)と撮影画像IM3とが、使用者USa(USb)の手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
[0112]
 使用者USa(USb)は、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS3a(VSS3b)を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USa(USb)は、その手の動きによって球面状画像VSS3a(VSS3b)を回転させることができる。画像処理部311a(311b)は、球面状画像VSS3a(VSS3b)の回転に対応させて撮影画像IM3を移動させる。
[0113]
 画像処理部311a(311b)は、使用者USa(USb)が球面状画像VSS3a(VSS3b)を回転させる前の天頂ZEが、使用者USa(USb)が球面状画像VSS3a(VSS3b)を回転させることによって球面状画像VSS3a(VSS3b)の座標上のどの位置へ移動したかを判定することができる。
[0114]
 画像処理部311a(311b)は、球面状画像VSS3a(VSS3b)の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USa(USb)が球面状画像VSS3a(VSS3b)を回転させる前と回転させた後との球面状画像VSS3a(VSS3b)の変化量を算出する。第3実施形態の球面状画像VSS3a(VSS3b)の変化量は、第1実施形態の球面状画像VSS1の変化量に相当する。
[0115]
 画像処理部311a(311b)は、球面状画像VSS3a(VSS3b)の変化量を補正値CV3a(CV3b)として保存する。第3実施形態の補正値CV3a(CV3b)は、第1実施形態の補正値CV1に相当する。画像処理部311a(311b)は、使用者USa(USb)が球面状画像VSS3a(VSS3b)を回転させた後の天頂ZEの球面状画像VSS3a(VSS3b)上の座標を補正値CV3a(CV3b)として保存してもよい。
[0116]
 画像処理部311a(311b)は、補正値CV3a(CV3b)を内蔵メモリまたは外部のメモリに保存してもよいし、補正値CV3a(CV3b)を第2通信部313a(313b)とネットワークとを介してサーバ306へ出力してもよい。サーバ306は、補正値CV3a(CV3b)を画像表示装置304a(304b)または使用者USa(USb)と関連付けて内蔵メモリまたは外部のメモリに保存する。
[0117]
 画像調整システム301は、使用者USa(USb)が装着している画像表示装置304a(304b)に他の使用者USb(USa)のアバターである合成画像CM3b(CM3a)を撮影画像IM3と合成して表示することができる。
[0118]
 使用者USa(USb)がカメラ302が撮影している撮影画像IM3を見たとき、使用者USa(USb)は、カメラ302の位置からその周囲を見ているように感じる。このような場合、使用者USa(USb)が見ている画像表示装置304a(304b)には、使用者USa(USb)の位置に他の使用者USb(USa)のアバターである合成画像CM3b(CM3a)が表示されているため、使用者USa(USb)は違和感を覚える。複数の他の使用者USがいる場合、使用者USaの位置に複数の他の使用者USb,USc,・・・のアバターが重なって表示される。
[0119]
 サーバ306には、複数の使用者USa,USb,・・・の位置関係が予め設定されている。言い換えれば、サーバ306には、複数の使用者USa,USb,・・・の位置関係を示す位置設定情報が保存されている。複数の使用者USa,USb,・・・の位置関係は、サーバ306が自動設定してもよいし、複数の使用者USa,USb,・・・が各自で設定してもよい。
[0120]
 図10は、第1使用者USaが第1画像表示装置304aを見ているときの第1使用者USaと第2使用者USbのアバターである合成画像CM3bとの位置関係の一例を示している。図11は、第2使用者USbが第2画像表示装置304bを見ているときの第2使用者USbと第1使用者USaのアバターである合成画像CM3aとの位置関係の一例を示している。
[0121]
 図10、11の各々に示す黒点はカメラ302の位置を示している。図10、11の各々に示す矢印はカメラ302の移動方向を示している。即ち、図10は、第1使用者USaがカメラ302の移動方向を向いている状態を示しており、図11は、第2使用者USbがカメラ302の移動方向を向いている状態を示している。従って、図10、11の各々では、第1使用者USaと第2使用者USbとは同じ撮影画像IM3を見ていることになる。
[0122]
 このような場合、第1使用者USaから離れた位置に合成画像CM3bを表示させたり、第2使用者USbから離れた位置に合成画像CM3aを表示させたりすると、第1使用者USaと第2使用者USbはともに違和感を覚える。従って、合成画像CM3b(CM3a)は使用者USa(USb)(カメラ302)の位置から所定の範囲RG内の位置に表示させることが望ましい。
[0123]
 図10に示すように、サーバ306には、例えば、第1使用者USaまたは第1画像表示装置304aにおいては、合成画像CM3bが第1使用者USaの右側に並んで配置されるように、第1使用者USaと第2使用者USbとの位置関係が設定されている。また、図11に示すように、サーバ306には、例えば、第2使用者USbまたは第2画像表示装置304bにおいては、合成画像CM3aが第2使用者USbの左側に並んで配置されるように、第1使用者USaと第2使用者USbとの位置関係が設定されている。
[0124]
 即ち、図10、11の各々は、カメラ302の移動方向を第1使用者USaと第2使用者USbの前方向としたときに、第2使用者USbが第1使用者USaの右側に並んで配置されるように、第1使用者USaと第2使用者USbとの位置関係が設定されている。そのため、第1使用者USaはその右側には常に第2使用者USbが見え、第2使用者USbはその左側には常に第1使用者USaが見えることになる。360度カメラであるカメラ302が静止している状態では、前後左右の基準がないため、第1使用者USaと第2使用者USbとの位置関係は初期設定時に決定しておくことが望ましい。
[0125]
 図12、13に示すフローチャートを用いて、第3実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像IM3に合成画像CM3を合成する方法の一例について説明する。以下、第1画像調整装置310a、第1画像表示装置304a、及び第1コントローラ305aにおける処理について説明する。括弧内の符号は、第2画像調整装置310b、第2画像表示装置304b、及び第2コントローラ305bにおける処理を示している。
[0126]
 画像表示装置304a(304b)が使用者USa(USb)の頭部に装着され、コントローラ305a(305b)が使用者USa(USb)の手に装着されている。画像表示装置304a(304b)には撮影画像IM3が表示されている。
[0127]
 使用者USa(USb)が画像表示装置304a(304b)に表示されている撮影画像IM3が水平でないと判断した場合、図12において、使用者USa(USb)がコントローラ305a(305b)を操作することにより、画像処理部311a(311b)は、ステップS301にて、画像表示装置304a(304b)に設定画面を表示させる。
[0128]
 使用者USa(USb)がコントローラ305a(305b)を操作して、設定画面に表示されている所定の項目(例えば水平調整の項目)を選択することにより、画像処理部311a(311b)は、ステップS302にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部311a(311b)は、撮影画像IM3の水平を調整するための処理モード(水平調整モード)へ処理を移行させる。
[0129]
 画像処理部311a(311b)は、ステップS303にて、画像生成部312a(312b)で生成された球面状画像VSS3a(VSS3b)を取得し、画像表示装置304a(304b)に表示する。画像表示装置304a(304b)には、撮影画像IM3と球面状画像VSS3a(VSS3b)とが混合して表示される。
[0130]
 使用者USa(USb)は撮影画像IM3が水平となるように球面状画像VSS3a(VSS3b)を回転させることにより、画像処理部311a(311b)は、ステップS304にて、球面状画像VSS3a(VSS3b)の回転に対応させて、画像表示装置304a(304b)に表示されている撮影画像IM3を移動させる。使用者USa(USb)は撮影画像IM3が水平になるまで球面状画像VSS3a(VSS3b)を回転させる動作を複数回行ってもよい。
[0131]
 使用者USa(USb)は撮影画像IM3が水平になったと判断した場合にコントローラ305a(305b)を操作することにより、画像処理部311a(311b)は、ステップS305にて、球面状画像VSS3a(VSS3b)の表示を終了させ、画像表示装置304a(304b)に設定画面を表示させる。画像表示装置304a(304b)に表示されている撮影画像IM3を水平にすることにより、カメラ302の天頂と使用者USa(USb)の天頂とを一致させることができる。
[0132]
 使用者USa(USb)がコントローラ305a(305b)を操作して、設定画面に表示されている所定の項目(例えば終了の項目)を選択することにより、画像処理部311a(311b)は、ステップS306にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部311a(311b)は、水平調整を終了するための処理モード(終了モード)へ処理を移行させる。
[0133]
 画像処理部311a(311b)は、ステップS307にて、球面状画像VSS3a(VSS3b)が回転する前と後との回転量(回転角度)を、球面状画像VSS3a(VSS3b)の変化量として取得する。画像処理部311a(311b)は、ステップS308にて、球面状画像VSS3a(VSS3b)の変化量を補正値CV3a(CV3b)として保存し、処理を終了する。
[0134]
 図13に示すフローチャートを用いて、第1使用者USaが見ている第1画像表示装置304aに、第2使用者USbのアバターである合成画像CM3bを撮影画像IM3と合成して表示する場合について説明する。なお、括弧内の符号は、第2使用者USbが見ている第2画像表示装置304bに、第1使用者USaのアバターである合成画像CM3aを撮影画像IM3と合成して表示する場合を示している。
[0135]
 図13において、使用者USa(USb)がコントローラ305a(305b)を操作することにより、画像処理部311a(311b)は、ステップS311にて、画像表示装置304a(304b)に設定画面を表示させる。設定画面には、例えば他の使用者USのアバターを選択するためのアバター選択項目が表示される。
[0136]
 使用者USa(USb)は例えば他の使用者USとして使用者USb(USa)を選択する。コントローラ305a(305b)は、ステップS312にて、他の使用者USb(USa)の選択内容に応じて指示情報NN3a(NN3b)を生成し、画像処理部311a(311b)へ出力する。
[0137]
 画像処理部311a(311b)は、ステップS313にて、指示情報NN3a(NN3b)に基づいて、合成画像CM3b(CM3a)を取得する。合成画像CM3b(CM3a)がサーバ306に保存されている場合、画像処理部311a(311b)は、第2通信部313a(313b)とネットワークとを介してサーバ306から合成画像CM3b(CM3a)を取得する。
[0138]
 画像処理部311a(311b)は、ステップS314にて、カメラ302が移動中であるか否かを判定する。ステップS314においてカメラ302が移動中である(YES)と判定された場合、画像処理部311a(311b)は、ステップS315にて、カメラ302の移動方向を認識する。画像処理部311a(311b)は、撮影画像IM3に基づいて、カメラ302が移動中であるか否かを判定し、カメラ302の移動方向を認識することができる。
[0139]
 画像処理部311a(311b)は、ステップS316にて、カメラ302の移動方向に対して、合成画像CM3b(CM3a)が例えば使用者USa(USb)の右側(左側)に配置されるように、合成画像CM3b(CM3a)を撮影画像IM3と合成して、画像表示装置304a(304b)に表示させる。
[0140]
 ステップS314においてカメラ302が移動中ではない(NO)と判定された場合、画像処理部311a(311b)は、カメラ302が静止している状態であると判断し、ステップS316にて、初期設定時に決定された第1使用者USaと第2使用者USbとの位置関係に基づいて、合成画像CM3b(CM3a)を撮影画像IM3と合成して、画像表示装置304a(304b)に表示させる。
[0141]
 第3実施形態に係る画像調整システム301、画像調整装置310、及び画像調整方法では、画像表示装置304に球面状画像VSS3を表示させる。第3実施形態に係る画像調整システム301、画像調整装置310、及び画像調整方法によれば、撮影画像IM3の水平方向が間違って検出されたり、水平または天頂ZEの指定がずれたりした場合に、使用者USは、コントローラ305を操作して球面状画像VSS3を回転させることにより、画像表示装置304に表示されている撮影画像IM3を水平になるように調整することができる。
[0142]
 従って、第3実施形態に係る画像調整システム301、画像調整装置310、及び画像調整方法によれば、撮影画像IM3の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者USが撮影画像IM3の水平または天頂を簡便に補正することができる。
[0143]
 第3実施形態に係る画像調整システム301、画像調整装置310、及び画像調整方法によれば、補正値CV3が保存されている場合、画像処理部311は、補正値CV3を読み出し、カメラ302が撮影した撮影画像IM3を補正値CV3に基づいて画像調整し、画像表示装置304に表示することができる。
[0144]
 第3実施形態に係る画像調整システム301、画像調整装置310、及び画像調整方法では、複数の使用者USの位置関係が予め設定されている。これにより、画像表示装置304a(304b)に表示されている撮影画像IM3に、他の使用者USb(USa)のアバターである合成画像CM3b(CM3a)を、予め設定されている位置関係に基づく位置に合成して表示することができる。
[0145]
 第3実施形態に係る画像調整システム301、画像調整装置310、及び画像調整方法によれば、使用者USa(USb)がカメラ302が撮影している撮影画像IM3を見たとき、使用者USa(USb)の近傍に他の使用者USb(USa)のアバターである合成画像CM3b(CM3a)が表示されるため、使用者USa(USb)は、違和感を覚えることなく、他の使用者USb(USa)と同じ撮影画像IM3を見ているように感じることができる。
[0146]
 [第4実施形態]
 図14を用いて、第4実施形態に係る画像調整システム401の構成例を説明する。第4実施形態に係る画像調整システム401は、複数のカメラ402と、複数の第1通信部403と、複数の画像表示装置404と、複数のコントローラ405と、複数の画像調整装置410と、サーバ406とを備える。画像調整装置410は、画像処理部411と、画像生成部412と、第2通信部413とを備える。
[0147]
 第4実施形態のカメラ402、通信部403、及び画像表示装置404は、それぞれ、第1実施形態のカメラ102、第1通信部103、及び、画像表示装置104に相当する。第4実施形態のコントローラ405、画像調整装置410、及びサーバ406は、それぞれ、第1実施形態のコントローラ105、画像調整装置110、及び、サーバ106に相当する。第4実施形態の画像処理部411、画像生成部412、及び第2通信部413は、それぞれ、第1実施形態の画像処理部111、画像生成部112、及び、第2通信部113に相当する。
[0148]
 図14では、説明をわかりやすくするために、それぞれ2つのカメラ402、第1通信部403、画像表示装置404、コントローラ405、及び画像調整装置410を示している。カメラ402、第1通信部403、画像表示装置404、コントローラ405、及び画像調整装置410は3つ以上であってもよい。第1使用者USaが使用する画像表示装置404、コントローラ405、及び画像調整装置410を、第1画像表示装置404a、第1コントローラ405a、及び第1画像調整装置410aとする。第2使用者USbが使用する画像表示装置404、コントローラ405、及び画像調整装置410を、第2画像表示装置404b、第2コントローラ405b、及び第2画像調整装置410bとする。
[0149]
 第2画像調整装置410aにおける画像処理部411、画像生成部412、及び第2通信部413を、画像処理部411a、画像生成部412a、及び第2通信部413aとする。また、画像調整装置410bにおける画像処理部411、画像生成部412、及び第2通信部413を、画像処理部411b、画像生成部412b、及び第2通信部413bとする。第1画像調整装置410aは、第1画像調整装置410aの第2通信部413aを介してネットワークに接続されている。第2画像調整装置410bは、第2画像調整装置410bの第2通信部413bを介してネットワークに接続されている。
[0150]
 2つのカメラ402の一方を第1カメラ4021とし、他方を第2カメラ4022とする。2つの第1通信部403の一方を第1通信部4031とし、他方を第1通信部4032とする。第1カメラ4021は、第1通信部4031を介してネットワークに接続され、第2カメラ4022は、第1通信部4032を介してネットワークに接続されている。第1カメラ4021と第2カメラ4022は、共通の第1通信部4031または第1通信部4032を介してネットワークに接続されていてもよい。サーバ406はネットワークに接続されている。
[0151]
 第1カメラ4021と第2カメラ4022は、それぞれ独立して移動することができる。第1カメラ4021と第2カメラ4022はGPS機能を有している。サーバ406は、ネットワークと一方の第1通信部4031と他方の第1通信部4032とを介して、第1カメラ4021と第2カメラ4022の位置(現在位置)を継続して取得することができる。
[0152]
 第1画像調整装置410aは、サーバ406から第1カメラ4021と第2カメラ4022の位置を、第1画像調整装置410aの第2通信部413aとネットワークとを介して取得することができる。第2画像調整装置410bは、サーバ406から第1カメラ4021と第2カメラ4022の位置を、第2画像調整装置410bの第2通信部413bとネットワークとを介して取得することができる。
[0153]
 第1画像調整装置410aは、第1カメラ4021が撮影した撮影画像IM41を、一方の第1通信部4031と第1画像調整装置410aの第2通信部413aとネットワークとを介して取得することができる。第2画像調整装置410bは、第1カメラ4021が撮影した撮影画像IM41を、一方の第1通信部4031と第2画像調整装置410bの第2通信部413bとネットワークとを介して取得することができる。
[0154]
 第1画像調整装置410aは、第2カメラ4022が撮影した撮影画像IM42を、他方の第1通信部4032と第1画像調整装置410aの第2通信部413aとネットワークとを介して取得することができる。第2画像調整装置410bは、第2カメラ4022が撮影した撮影画像IM42を、他方の第1通信部4032と第2画像調整装置410bの第2通信部413bとネットワークとを介して取得することができる。図14は、第1画像調整装置410aが第1カメラ4021が撮影した撮影画像IM41を取得し、第2画像調整装置410bが第2カメラ4022が撮影した撮影画像IM42を取得する場合を示している。
[0155]
 サーバ406は、第1カメラ4021が撮影した撮影画像IM41と第2カメラ4022が撮影した撮影画像IM42を一方の第1通信部4031と他方の第1通信部4032とネットワークとを介して取得してもよい。この場合、第1画像調整装置410aは、サーバ406から第1カメラ4021が撮影した撮影画像IM41と第2カメラ4022が撮影した撮影画像IM42をネットワークと第1画像調整装置410aの第2通信部413aを介して取得する。第2画像調整装置410bは、サーバ406から第1カメラ4021が撮影した撮影画像IM41と第2カメラ4022が撮影した撮影画像IM42をネットワークと第2画像調整装置410bの第2通信部413bを介して取得する。
[0156]
 サーバ406は、第1使用者USaがログイン操作を実行する、または、第1画像表示装置404aが第2通信部413aを介してネットワークに接続されることにより、第1使用者USaまたは第1画像表示装置404aを特定することができる。サーバ406は、第2使用者USbがログイン操作を実行する、または、第2画像表示装置404bが第2通信部413bを介してネットワークに接続されることにより、第2使用者USbまたは第2画像表示装置404bを特定することができる。
[0157]
 サーバ406は、どの画像表示装置にどの撮影画像が表示されているかを認識することができる。例えば、図14に示すように、第1カメラ4021が撮影した撮影画像IM41が第1画像表示装置404aに表示され、第2カメラ4022が撮影した撮影画像IM42が第2画像表示装置404bに表示されている場合、サーバ406は、第1画像表示装置404aに第1カメラ4021が撮影した撮影画像IM41が表示され、第2画像表示装置404bに第2カメラ4022が撮影した撮影画像IM42が表示されていることを認識する。言い換えれば、サーバ406は、第1使用者USaが第1カメラ4021が撮影した撮影画像IM41を見ていることを認識し、第2使用者USbが第2カメラ4022が撮影した撮影画像IM42を見ていることを認識することができる。
[0158]
 第1画像調整装置410aは、サーバ406から、撮影画像IM41を撮影している第1カメラ4021と撮影画像IM42を撮影している第2カメラ4022の現在位置、及び、第2画像調整装置410bが第2カメラ4022が撮影した撮影画像IM42を取得していることを認識することができる。第2画像調整装置410bは、サーバ406から、撮影画像IM41を撮影している第1カメラ4021と撮影画像IM42を撮影している第2カメラ4022の現在位置、及び、第1画像調整装置410aが第1カメラ4021が撮影した撮影画像IM41を取得していることを認識することができる。
[0159]
 第1画像調整装置410aが取得した撮影画像IM41(IM42)は、画像処理部411aへ入力される。画像処理部411aは、撮影画像IM41(IM42)を解析することにより、撮影画像IM41(IM42)における水平方向を認識する。画像処理部411aは、撮影画像IM41(IM42)を解析することにより、撮影画像IM41(IM42)における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。
[0160]
 第1画像調整装置410aは、撮影画像IM41(IM42)の歪みを補正し、撮影画像IM41(IM42)の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM41(IM42)を第1画像表示装置404aへ出力する。
[0161]
 第2画像調整装置410bが取得した撮影画像IM42(IM41)は、画像処理部411bへ入力される。画像処理部411bは、撮影画像IM42(IM41)を解析することにより、撮影画像IM42(IM41)における水平方向を認識する。画像処理部411bは、撮影画像IM42(IM41)を解析することにより、撮影画像IM42(IM41)における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。
[0162]
 第2画像調整装置410bは、撮影画像IM42(IM41)の歪みを補正し、撮影画像IM42(IM41)の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM42(IM41)を第2画像表示装置404bへ出力する。
[0163]
 サーバ406が第1カメラ4021が撮影した撮影画像IM41と第2カメラ4022が撮影した撮影画像IM42の歪みを補正し、第1カメラ4021が撮影した撮影画像IM41と第2カメラ4022が撮影した撮影画像IM42の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM41と撮影画像IM42を、第1画像調整装置410aへ出力してもよいし、第2画像調整装置410bへ出力してもよい。
[0164]
 第1画像表示装置404aは、第1画像調整装置410aまたはサーバ406によって画像処理された撮影画像IM41(IM42)を表示する。第1使用者USaは、その頭部に第1画像表示装置404aを装着することにより、第1画像調整装置410aまたはサーバ406によって画像処理された撮影画像IM41(IM42)を見ることができる。
[0165]
 第2画像表示装置404bは、第2画像調整装置410bまたはサーバ406によって画像処理された撮影画像IM42(IM41)を表示する。第2使用者USbは、その頭部に第2画像表示装置404bを装着することにより、第2画像調整装置410bまたはサーバ406によって画像処理された撮影画像IM42(IM41)を見ることができる。
[0166]
 画像表示装置404a(404b)は、使用者USa(USb)の頭部に装着されている状態において、使用者USa(USb)が向いている方向、及び使用者USa(USb)の姿勢等の状態に基づいて姿勢情報PN4a(PN4b)を生成する。画像処理部411a(411b)は、画像表示装置404a(404b)から姿勢情報PN4a(PN4b)を取得する。即ち、画像処理部411a(411b)は、画像表示装置404a(404b)の姿勢に基づいて姿勢情報PN4a(PN4b)を取得することになる。
[0167]
 第1画像調整装置410aの画像処理部411aは、姿勢情報PN4aに基づいて、第1カメラ4021が撮影した撮影画像IM41または第2カメラ4022が撮影した撮影画像IM42から、第1使用者USaが向いている方向、及び第1使用者USaの姿勢等の状態に対応する領域の画像を第1画像表示装置404aに表示する。第2画像調整装置410bの画像処理部411bは、姿勢情報PN4bに基づいて、第1カメラ4021が撮影した撮影画像IM41または第2カメラ4022が撮影した撮影画像IM42から、第2使用者USbが向いている方向、及び第2使用者USbの姿勢等の状態に対応する領域の画像を第2画像表示装置404bに表示する。
[0168]
 コントローラ405a(405b)は、使用者USa(USb)の手に装着されている状態において、使用者USa(USb)の手の動きまたは姿勢等の状態に基づいて指示情報NN4a(NN4b)を生成する。画像処理部411a(411b)は、コントローラ405a(405b)から指示情報NN4a(NN4b)を取得する。
[0169]
 第1画像調整装置410aの画像処理部411aは、指示情報NN4aに基づいて、第1画像表示装置404aに表示されている撮影画像IM41または撮影画像IM42を変化させたり調整したりすることができる。第2画像調整装置410bの画像処理部411bは、指示情報NN4bに基づいて、第2画像表示装置404bに表示されている撮影画像IM41または撮影画像IM42を変化させたり調整したりすることができる。
[0170]
 第1画像調整装置410aの画像生成部412aは、撮影画像IM41(IM42)と合成されるCGである合成画像CM4bを生成する。第2画像調整装置410bの画像生成部412bは、撮影画像IM42(IM41)と合成されるCGである合成画像CM4aを生成する。合成画像CM4a(CM4b)は、例えばアバター等のキャラクタの画像である。合成画像CM4aは第1使用者USaのアバターであり、合成画像CM4bは第2使用者USbのアバターである。
[0171]
 第1使用者USaが第1コントローラ405aを操作することにより、第1画像調整装置410aの画像生成部412aは、第2使用者USbのアバターである合成画像CM4bを生成し、内蔵メモリまたは外部のメモリに保存する。第2使用者USbが第2コントローラ405bを操作することにより、第2画像調整装置410bの画像生成部412bは、第1使用者USaのアバターである合成画像CM4aを生成し、内蔵メモリまたは外部のメモリに保存する。
[0172]
 画像処理部411a(411b)は、画像生成部412a(412b)で生成された合成画像CM4b(CM4a)を取得し、第2通信部413a(413b)とネットワークとを介してサーバ406へ出力してもよい。
[0173]
 使用者USa(USb)がコントローラ405a(405b)を操作することにより、画像生成部412a(412b)は、使用者USa(USb)のアバターである合成画像CM4a(CM4b)を生成してもよい。画像処理部411a(411b)は、画像生成部412a(412b)で生成された合成画像CM4a(CM4b)を取得し、第2通信部413a(413b)とネットワークとを介してサーバ406へ出力してもよい。即ち、第1使用者USaは、第2使用者USbのアバターを設定してもよいし、自身のアバターを設定してもよい。また、第2使用者USbは、第1使用者USaのアバターを設定してもよいし、自身のアバターを設定してもよい。
[0174]
 サーバ406は、合成画像CM4a(CM4b)を使用者USa(USb)と対応付けて内蔵メモリまたは外部のメモリに保存する。サーバ406が、合成画像CM4a(CM4b)を使用者USa(USb)と対応付けて自動設定し、内蔵メモリまたは外部のメモリに保存してもよい。画像処理部411a(411b)は、指示情報NN4a(NN4b)に基づいて、画像生成部412a(412b)またはサーバ306から合成画像CM4b(CM4a)を取得し、画像表示装置404a(404b)に表示することができる。
[0175]
 画像生成部412a(412b)は、CGである球面により構成された仮想画像である球面状画像VSS4a(VSS4b)を生成する。画像生成部412a(412b)は、球面状画像VSS4a(VSS4b)を内蔵メモリまたは外部のメモリに保存する。画像処理部411a(411b)は、指示情報NN4a(NN4b)に基づいて、画像生成部412a(412b)で生成された球面状画像VSS4a(VSS4b)を取得し、画像表示装置404a(404b)に表示する。
[0176]
 第4実施形態の球面状画像VSS4a(VSS4b)は、第1実施形態の球面状画像VSS1に相当する。使用者USa(USb)は、コントローラ405a(405b)が装着されている手を、画像表示装置404a(404b)に表示されている球面状画像VSS4a(VSS4b)に対応する位置に移動させることにより、使用者USa(USb)の手が球面状画像VSS4a(VSS4b)に接触しているように感じる。
[0177]
 コントローラ405a(405b)は、使用者USa(USb)の手と接触する部分にアクチュエータが配置されていてもよい。画像処理部411a(411b)は、指示情報NN4a(NN4b)に基づいて、使用者USa(USb)の手が球面状画像VSS4a(VSS4b)に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者USa(USb)の手に圧力を加えることにより、使用者USa(USb)は、その手が球面状画像VSS4a(VSS4b)に接触する感覚を実感として得ることができる。
[0178]
 球面状画像VSS4aが第1画像表示装置404aに表示されている状態において、第1使用者USaが、第1コントローラ405aが装着されている手を任意の方向へ移動させた場合、第1画像調整装置410aの画像処理部411aは、指示情報NN4aに基づいて、第1画像表示装置404aに表示されている球面状画像VSS4aと撮影画像IM41または撮影画像IM42とが、第1使用者USaの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
[0179]
 球面状画像VSS4bが第2画像表示装置404bに表示されている状態において、第2使用者USbが、第2コントローラ405bが装着されている手を任意の方向へ移動させた場合、第2画像調整装置410bの画像処理部411bは、指示情報NN4bに基づいて、第2画像表示装置404bに表示されている球面状画像VSS4bと撮影画像IM41または撮影画像IM42とが、第2使用者USbの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
[0180]
 使用者USa(USb)は、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS4a(VSS4b)を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USa(USb)は、その手の動きによって球面状画像VSS4a(VSS4b)を回転させることができる。画像処理部411a(411b)は、球面状画像VSS4a(VSS4b)の回転に対応させて撮影画像IM41(IM42)を移動させる。
[0181]
 画像処理部411a(411b)は、使用者USa(USb)が球面状画像VSS4a(VSS4b)を回転させる前の天頂ZEが、使用者USa(USb)が球面状画像VSS4a(VSS4b)を回転させることによって球面状画像VSS4a(VSS4b)の座標上のどの位置へ移動したかを判定することができる。
[0182]
 画像処理部411a(411b)は、球面状画像VSS4a(VSS4b)の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USa(USb)が球面状画像VSS4a(VSS4b)を回転させる前と回転させた後との球面状画像VSS4a(VSS4b)の変化量を算出する。第4実施形態の球面状画像VSS4a(VSS4b)の変化量は、第1実施形態の球面状画像VSS1の変化量に相当する。
[0183]
 画像処理部411a(411b)は、球面状画像VSS4a(VSS4b)の変化量を補正値CV4a(CV4b)として保存する。第4実施形態の補正値CV4a(CV4b)は、第1実施形態の補正値CV1に相当する。画像処理部411a(411b)は、使用者USa(USb)が球面状画像VSS4a(VSS4b)を回転させた後の天頂ZEの球面状画像VSS4a(VSS4b)上の座標を補正値CV4a(CV4b)として保存してもよい。
[0184]
 画像処理部411a(411b)は、補正値CV4a(CV4b)を内蔵メモリまたは外部のメモリに保存してもよいし、補正値CV4a(CV4b)を第2通信部413a(413b)とネットワークとを介してサーバ406へ出力してもよい。サーバ406は、補正値CV4a(CV4b)を画像表示装置404a(404b)または使用者USa(USb)と関連付けて内蔵メモリまたは外部のメモリに保存する。
[0185]
 画像調整システム401は、第1使用者USaが装着している第1画像表示装置404aに第2使用者USbのアバターである合成画像CM4bを撮影画像IM41(IM42)と合成して表示することができる。画像調整システム401は、第2使用者USbが装着している第2画像表示装置404bに第1使用者USaのアバターである合成画像CM4aを撮影画像IM42(IM41)と合成して表示することができる。
[0186]
 図15、16に示すフローチャートを用いて、第4実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像IM41に合成画像CM4bを合成する方法の一例について説明する。第1画像表示装置404aが第1使用者USaの頭部に装着され、第1コントローラ405aが第1使用者USaの手に装着されている。第2画像表示装置404bが第2使用者USbの頭部に装着され、第2コントローラ405bが第2使用者USbの手に装着されている。第1画像表示装置404aには第1カメラ4021が撮影した撮影画像IM41が表示され、第2画像表示装置404bには第2カメラ4022が撮影した撮影画像IM42が表示されている。
[0187]
 使用者USa(USb)は画像表示装置404a(404b)に表示されている撮影画像IM41(IM42)が水平でないと判断した場合、図15において、使用者USa(USb)がコントローラ405a(405b)を操作することにより、画像処理部411a(411b)は、ステップS401にて、画像表示装置404a(404b)に設定画面を表示させる。
[0188]
 使用者USa(USb)がコントローラ405a(405b)を操作して、設定画面に表示されている所定の項目(例えば水平調整の項目)を選択することにより、画像処理部411a(411b)は、ステップS402にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部411a(411b)は、撮影画像IM41(IM42)の水平を調整するための処理モード(水平調整モード)へ処理を移行させる。
[0189]
 画像処理部411a(411b)は、ステップS403にて、画像生成部412a(412b)で生成された球面状画像VSS4a(VSS4b)を取得し、画像表示装置404a(404b)に表示する。画像表示装置404a(404b)には、撮影画像IM41(IM42)と球面状画像VSS4a(VSS4b)とが混合して表示される。
[0190]
 使用者USa(USb)は撮影画像IM41(IM42)が水平となるように球面状画像VSS4a(VSS4b)を回転させることにより、画像処理部411a(411b)は、ステップS404にて、球面状画像VSS4a(VSS4b)の回転に対応させて、画像表示装置404a(404b)に表示されている撮影画像IM41(IM42)を移動させる。使用者USa(USb)は撮影画像IM41(IM42)が水平になるまで球面状画像VSS4a(VSS4b)を回転させる動作を複数回行ってもよい。
[0191]
 使用者USa(USb)は撮影画像IM41(IM42)が水平になったと判断した場合にコントローラ405a(405b)を操作することにより、画像処理部411a(411b)は、ステップS405にて、球面状画像VSS4a(VSS4b)の表示を終了させ、画像表示装置404a(404b)に設定画面を表示させる。画像表示装置404a(404b)に表示されている撮影画像IM41(IM42)を水平にすることにより、カメラ4021(4022)の天頂と使用者USa(USb)の天頂とを一致させることができる。
[0192]
 使用者USa(USb)がコントローラ405a(405b)を操作して、設定画面に表示されている所定の項目(例えば終了の項目)を選択することにより、画像処理部411a(411b)は、ステップS406にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部411a(411b)は、水平調整を終了するための処理モード(終了モード)へ処理を移行させる。
[0193]
 画像処理部411a(411b)は、ステップS407にて、球面状画像VSS4a(VSS4b)が回転する前と後との回転量(回転角度)を、球面状画像VSS4a(VSS4b)の変化量として取得する。画像処理部411a(411b)は、ステップS408にて、球面状画像VSS4a(VSS4b)の変化量を補正値CV4a(CV4b)として保存し、処理を終了する。
[0194]
 図16に示すフローチャートを用いて、第1使用者USaが見ている第1画像表示装置404aに、第2使用者USbのアバターである合成画像CM4bを撮影画像IM41と合成して表示する場合について説明する。図16において、画像処理部411aは、ステップS411にて、取得している撮影画像IM41を撮影している第1カメラ4021を特定する。
[0195]
 画像処理部411aは、ステップS412にて、第1カメラ4021またはサーバ406から、第1カメラ4021の位置情報を取得する。第1カメラ4021の位置情報には、第1カメラ4021の現在位置、及び、第1カメラ4021が向いている方向または移動している方向の情報が含まれている。
[0196]
 画像処理部411aは、ステップS413にて、サーバ406から、他のカメラ(第1カメラ4021以外のカメラ)の情報を取得する。例えば、画像処理部411aは、ステップS413にて、サーバ406から、第2カメラ4022の情報を取得する。第2カメラ4022の情報には、第2カメラ4022が撮影している撮影画像IM42を見ている第2使用者USb、第2カメラ4022の現在位置、及び、第2カメラ4022が向いている方向または移動している方向の情報が含まれている。第2カメラ4022が向いている方向または移動している方向は、第2使用者USbが向いている方向に相当し、第2画像表示装置404bに表示されている撮影画像IM42に基づいて特定することができる。
[0197]
 画像処理部411aは、ステップS414にて、撮影画像IM41に他のカメラ(第1カメラ4021以外のカメラ)が映っているか否か、言い換えれば他のカメラを撮影しているか否かを、例えば画像認識により判定する。ステップS414において撮影画像IM41に他のカメラが映っていない(NO)と判定された場合、画像処理部411aは、処理をステップS414へ戻す。
[0198]
 ステップS414において撮影画像IM41に他のカメラが映っている(YES)と判定された場合、画像処理部411aは、ステップS415にて、ステップS413において取得した他のカメラの情報に基づいて、撮影画像IM41に映っている他のカメラを特定する。
[0199]
 図17は、第1カメラ4021が地点Aに位置し、第2カメラ4022が、第1カメラ4021の前方の地点Bに位置している状態を示している。図17に示す状態では、第1カメラ4021の撮影画像IM41には他のカメラである第2カメラ4022が映っている。画像処理部411aは、ステップS413において取得した第2カメラ4022の情報に基づいて、第1カメラ4021の撮影画像IM41に映っているカメラが第2カメラ4022であることを特定する。
[0200]
 画像処理部411aは、ステップS416にて、ステップS412において取得した第1カメラ4021の位置情報と、ステップS413において取得した第2カメラ4022の情報とに基づいて、第1カメラ4021に対する第2カメラ4022の位置、及び、第2カメラ4022が向いている方向または移動している方向を特定する。
[0201]
 画像処理部411aは、ステップS417にて、ステップS415において特定されたカメラが撮影している撮影画像IMを見ている使用者USを特定する。例えば、画像処理部411aは、第2カメラ4022が撮影している撮影画像IM42を見ている第2使用者USbを特定する。画像処理部411aは、ステップS418にて、第2使用者USbのアバターである合成画像CM4bを取得する。合成画像CM4bがサーバ406に保存されている場合、画像処理部411aは、サーバ406から合成画像CM4bを取得する。
[0202]
 画像処理部411aは、ステップS419にて、撮影画像IM41に映っている第2カメラ4022に対応する位置に合成画像CM4bを合成し、第1画像表示装置404aに表示する。ステップS401~S408にて撮影画像IM41が水平調整されている場合、画像処理部411aは、合成画像CM4bを、撮影画像IM41と同様に水平調整し、第1画像表示装置404aに表示する。補正値CV4aが保存されている場合、画像処理部411aは、合成画像CM4bを、補正値CV4aに基づいて水平調整し、第1画像表示装置404aに表示する。
[0203]
 画像処理部411aは、第1カメラ4021に対する第2カメラ4022の位置に対応させて合成画像CM4bの大きさを変えてもよい。例えば、画像処理部411aは、カメラ4022がカメラ4021から遠く離れたところに位置している場合には、合成画像CM4bの大きさが、第1カメラ4021と第2カメラ4022との距離に応じて小さくなるように合成画像CM4bを画像処理し、撮影画像IM41に合成する。
[0204]
 画像処理部411aは、第2カメラ4022が向いている方向または移動している方向に対応させて合成画像CM4bの向きを変えてもよい。画像処理部411aは、第2カメラ4022が向いている方向または移動している方向に対応する向きの合成画像CM4bを取得してもよい。
[0205]
 第4実施形態に係る画像調整システム401、画像調整装置410a(410b)、及び画像調整方法では、画像表示装置404a(404b)に球面状画像VSS4a(VSS4b)を表示させる。第4実施形態に係る画像調整システム401、画像調整装置410a(410b)、及び画像調整方法によれば、撮影画像IM41(IM42)の水平方向が間違って検出されたり、水平または天頂ZEの指定がずれたりした場合に、使用者USa(USb)は、コントローラ405a(405b)を操作して球面状画像VSS4a(VSS4b)を回転させることにより、画像表示装置404a(404b)に表示されている撮影画像IM41(IM42)を水平になるように調整することができる。
[0206]
 従って、第4実施形態に係る画像調整システム401、画像調整装置410a(410b)、及び画像調整方法によれば、撮影画像IM41(IM42)の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者USが撮影画像IM41(IM42)の水平または天頂を簡便に補正することができる。
[0207]
 第4実施形態に係る画像調整システム401、画像調整装置410a(410b)、及び画像調整方法によれば、補正値CV4a(CV4b)が保存されている場合、画像処理部411a(411b)は、補正値CV4a(CV4b)を読み出し、カメラ4021(4022)が撮影した撮影画像IM41(IM42)を補正値CV4a(CV4b)に基づいて画像調整し、画像表示装置404a(404b)に表示することができる。
[0208]
 第4実施形態に係る画像調整システム401、画像調整装置410a(410b)、及び画像調整方法では、第1カメラ4021に対する第2カメラ4022の位置を特定し、撮影画像IMにおける第2カメラ4022の位置に、第2カメラ4022が撮影している撮影画像IM42を見ている第2使用者USbのアバターである合成画像CM4bを合成する。これにより、第1使用者USaは第2使用者USbと同じ空間を共有しているような感覚を得ることができる。
[0209]
 本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
[0210]
 例えば、CGにより生成される仮想画像VSSは、楕円体の表面(楕円面)であってもよく、さらには使用者USの手の届く範囲であれば、任意の閉じた面(閉曲面)であればよい。即ち、使用者USが内側からその閉曲面に接触するような感覚を得て、撮影画像IMの水平調整ができればよい。使用者USが仮想画像VSSを回転動作させることから、仮想画像VSSは球面または楕円面等の球面に近い球面状の形状であることが望ましい。

請求の範囲

[請求項1]
 カメラと、
 前記カメラが撮影した撮影画像を調整するための画像調整装置と、
 前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、
 前記画像調整装置へ指示情報を出力するためのコントローラと
を備え、
 前記画像調整装置は、
  球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
  前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える
画像調整システム。
[請求項2]
 前記カメラは、360度の範囲を撮影する全方位カメラであり、
 前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
 前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
 前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項1に記載の画像調整システム。
[請求項3]
 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項2に記載の画像調整システム。
[請求項4]
 前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像及び前記合成画像を調整する
請求項3に記載の画像調整システム。
[請求項5]
 前記画像処理部は、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像及び前記合成画像の水平を調整する
請求項1~4のいずれか1項に記載の画像調整システム。
[請求項6]
 球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
 コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている前記撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える画像調整装置。
[請求項7]
 画像処理部が、コントローラから指示情報を取得し、
 前記画像処理部が、前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
 画像表示装置が、前記球面状画像を表示し、
 前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
 前記画像処理部が、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
 前記画像処理部が、前記画像生成部で生成され前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
 前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する
ことを含む画像調整方法。
[請求項8]
 カメラと、
 前記カメラが撮影した撮影画像を調整するための画像調整装置と、
 前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、
 前記画像調整装置へ指示情報を出力するためのコントローラと
を備え、
 前記画像調整装置は、
  球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
  前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記撮影画像の水平面と前記合成画像の水平面とを分離させ、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える
画像調整システム。
[請求項9]
 前記カメラは、360度の範囲を撮影する全方位カメラであり、
 前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
 前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
 前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項8に記載の画像調整システム。
[請求項10]
 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項9に記載の画像調整システム。
[請求項11]
 前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する
請求項10に記載の画像調整システム。
[請求項12]
 前記画像処理部は、前記変化量に基づいて前記合成画像の水平面と前記撮影画像の水平面とを一致させることにより、前記合成画像を調整する
請求項11に記載の画像調整システム。
[請求項13]
 球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
 コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記画像表示装置に表示されている前記前記撮影画像の水平面と前記合成画像の水平面とを分離させ、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える画像調整装置。
[請求項14]
 画像処理部が、カメラにより撮影された撮影画像を画像表示装置に表示し、
 前記画像処理部が、画像生成部で生成された合成画像を取得して前記画像表示装置に表示し、
 前記画像処理部が、コントローラから指示情報を取得し、
 前記画像処理部が、前記指示情報に基づいて、前記画像生成部で生成された球面状画像を取得して前記画像表示装置に表示し、
 前記画像処理部が、前記撮影画像の水平面と前記合成画像の水平面とを分離させ、
 前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
 前記画像処理部が、前記撮影画像を、前記球面状画像の回転に対応させて調整し、
 前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する
ことを含む画像調整方法。
[請求項15]
 カメラと、
 前記カメラが撮影した撮影画像を調整するための画像調整装置と、
 複数の使用者に対応し、前記画像調整装置により調整された前記撮影画像を表示するための複数の画像表示装置と、
 前記複数の使用者に対応し、前記複数の画像調整装置へ指示情報を出力するための複数のコントローラと、
 前記複数の使用者のうちの第1の使用者、または、前記複数の画像表示装置のうちの第1の画像表示装置を特定するためのサーバと
を備え、
 各々の前記複数の画像調整装置は、
  球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
  前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて、かつ、前記複数の使用者の互いの位置関係を示す位置設定情報に基づいて前記合成画像を調整し、調整された前記合成画像を前記撮影画像と合成するための画像処理部と
を備える
画像調整システム。
[請求項16]
 前記カメラは、360度の範囲を撮影する全方位カメラであり、
 前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
 前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
 前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項15に記載の画像調整システム。
[請求項17]
 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項16に記載の画像調整システム。
[請求項18]
 前記画像処理部は、前記複数の使用者のうちの前記第1の使用者以外の第2の使用者に対応する前記合成画像を前記位置設定情報に基づいて調整し、調整された前記合成画像を前記撮影画像と合成して前記第1の画像表示装置に表示する
請求項15~17のいずれか1項に記載の画像調整システム。
[請求項19]
 球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
 コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている前記撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて、かつ、複数の使用者の互いの位置関係を示す位置設定情報に基づいて前記合成画像を調整し、調整された前記合成画像を前記撮影画像と合成するための画像処理部と
を備える画像調整装置。
[請求項20]
 サーバが、複数の使用者のうちの第1の使用者、または、前記第1の使用者が使用する画像表示装置を特定し、
 画像処理部が、コントローラから指示情報を取得し、
 前記画像処理部が、前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
 画像表示装置が、前記球面状画像を表示し、
 前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
 前記画像処理部が、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
 前記画像処理部が、前記画像生成部で生成され前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
 前記画像処理部が、調整された前記撮影画像に対応させて、かつ、前記複数の使用者の互いの位置関係を示す位置設定情報に基づいて前記合成画像を調整し、調整された前記合成画像を前記撮影画像と合成する
ことを含む画像調整方法。
[請求項21]
 複数のカメラと、
 前記複数のカメラのうちの第1のカメラが撮影した撮影画像を調整するための画像調整装置と、
 前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、
 前記画像調整装置へ指示情報を出力するためのコントローラと
を備え、
 前記画像調整装置は、
  球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
  前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整し、前記撮影画像に前記複数のカメラのうちの第2のカメラが映っている場合には、前記第1のカメラの位置情報と前記第2のカメラの位置情報とに基づいて、調整された前記合成画像を前記撮影画像の前記第2のカメラが映っている位置に対応させて合成するための画像処理部と
を備える
画像調整システム。
[請求項22]
 前記カメラは、360度の範囲を撮影する全方位カメラであり、
 前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
 前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
 前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項21に記載の画像調整システム。
[請求項23]
 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項22に記載の画像調整システム。
[請求項24]
 球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
 コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、複数のカメラのうちの第1のカメラにより撮影されて前記画像表示装置に表示されている前記撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整し、前記撮影画像に前記複数のカメラのうちの第2のカメラが映っている場合には、前記第1のカメラの位置情報と前記第2のカメラの位置情報とに基づいて、調整された前記合成画像を前記撮影画像の前記第1のカメラが映っている位置に対応させて合成するための画像処理部と
を備える画像調整装置。
[請求項25]
 画像処理部が、コントローラから指示情報を取得し、
 前記画像処理部が、前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
 画像表示装置が、前記球面状画像を表示し、
 前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
 前記画像処理部が、複数のカメラのうちの第1のカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
 前記画像処理部が、前記画像生成部で生成され前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
 前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整し、
 前記撮影画像に前記複数のカメラのうちの第2のカメラが映っている場合には、前記画像処理部が、前記第1のカメラの位置情報と前記第2のカメラの位置情報とに基づいて、調整された前記合成画像を前記撮影画像の前記第2のカメラが映っている位置に対応させて合成する
ことを含む画像調整方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6A]

[ 図 6B]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]