Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018134946) IMAGE GENERATION DEVICE, AND IMAGE DISPLAY CONTROL DEVICE
Document

明 細 書

発明の名称 画像生成装置、及び画像表示制御装置

技術分野

0001  

背景技術

0002  

発明の概要

発明が解決しようとする課題

0003   0004  

課題を解決するための手段

0005   0006   0007   0008   0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091  

符号の説明

0092  

請求の範囲

1   2   3   4   5   6   7   8   9  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 画像生成装置、及び画像表示制御装置

技術分野

[0001]
 本発明は、パノラマ画像を生成する画像生成装置、パノラマ画像を表示する画像表示制御装置、画像生成方法、プログラム、及び画像データに関する。

背景技術

[0002]
 観測点から見た全天周の景色を2次元平面に投影したパノラマ画像の画像フォーマットとして、正距円筒図法などのフォーマットが知られている。このようなパノラマ画像を用いることによって、例えばユーザーによる視点の向きの操作に応じて任意の方向の景色を表示するパノラマビューアを実現することができる。

発明の概要

発明が解決しようとする課題

[0003]
 上述した画像フォーマットを利用してパノラマ画像をユーザーに閲覧させる場合、ユーザーの前方や、特定の被写体が写っている箇所など、特定の方向が重要になることがある。しかしながら、従来のパノラマ画像のフォーマットでは、このような重要な方向とそうでない方向とが区別されていなかった。
[0004]
 本発明は上記実情を考慮してなされたものであって、その目的の一つは、重要な方向をより高解像度で表示可能なパノラマ画像の画像データ、及びこれに対応した画像生成装置、画像表示制御装置、画像生成方法、及びプログラムを提供することにある。

課題を解決するための手段

[0005]
 本発明に係る画像生成装置は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部と、前記生成されたパノラマ画像を出力する画像出力部と、を含むことを特徴とする。
[0006]
 本発明に係る画像表示制御装置は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を取得する取得部と、前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、を含むことを特徴とする。
[0007]
 本発明に係る画像生成方法は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するステップと、前記生成されたパノラマ画像を出力するステップと、を含むことを特徴とする。
[0008]
 本発明に係るプログラムは、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部、及び、前記生成されたパノラマ画像を出力する画像出力部、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
[0009]
 本発明に係る画像データは、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面が平面形状に変換されてなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されてなるパノラマ画像の画像データである。

図面の簡単な説明

[0010]
[図1] 全天周の景色に対応する仮想球を示す図である。
[図2] 1/4球面の景色が投影される投影面の一例を示す図である。
[図3] 投影面を構成する幹線の一例を示す図である。
[図4] 投影面を構成する支線の一例を示す図である。
[図5] 図2の投影面に投影される景色が変換されてなるパノラマ画像の一部分を示す図である。
[図6] パノラマ画像の一例を示す図である。
[図7] 投影面の別の例を示す図である。
[図8] 画像表示システムの構成を示す構成ブロック図である。
[図9] 画像表示システムの機能を示す機能ブロック図である。
[図10] 配信対象の動画像を切り替える場合における配信対象動画像の一例を示す図である。

発明を実施するための形態

[0011]
 以下、本発明の実施形態について、図面に基づき詳細に説明する。
[0012]
[パノラマ画像の画像フォーマット]
 本実施形態に係る画像生成装置は、観測点から見た全天周の全部、又は一部範囲の景色を含んだパノラマ画像を生成する。以下では、本実施形態に係る画像生成装置によって生成されるパノラマ画像をパノラマ画像Iと表記する。パノラマ画像Iは、全天周の全部、又は一部範囲の景色を含んだ2次元(平面)の画像データである。ここで全天周とは、観測点から見て水平方向(左右方向)に360度、鉛直方向(上下方向)に天頂から天底まで180度の全ての方位を意味している。
[0013]
 以下、本実施形態におけるパノラマ画像Iの画像フォーマットの具体例について、説明する。観測点から見た全天周の景色は、観測点の位置を中心とした仮想的な球面上に表される。ここで、全天周の景色に対応する仮想的な球を仮想球Sとする。以下では説明のために、観測点に対応する仮想球Sの中心点Oを原点として、互いに直交するx軸、y軸、z軸の3軸からなる座標系を使用する。x軸、及びz軸は水平面上に沿って配置され、y軸は鉛直方向に沿って配置されるものとする。
[0014]
 本実施形態では、全天周のうち、観測点から見て特に重要な方向が設定される。以下では、この重要な方向を注目方向という。ここでは、注目方向はx軸正方向に設定されるものとする。注目方向は、ユーザーが特に注目すると想定される方向や、パノラマ画像Iの生成者がユーザーに特に注目して欲しいと考える方向であって、例えば重要な被写体が写っている方向などであってよい。本実施形態では、仮想球S上において注目方向に近い領域ほど、高画質(高解像度)になるようにパノラマ画像Iが生成される。
[0015]
 仮想球Sを、その中心点Oを通り、注目方向に平行で互いに直交する2つの平面によって4分割すると、図1に示すように4個の1/4球面S1~S4が得られる。この図では、仮想球Sはxy平面(鉛直面)及びxz平面(水平面)の二つの平面によって4分割されている。4個の1/4球面は、いずれも中心点Oを通り注目方向に平行な一つの平面に対して対称な形状になっている。具体的に、1/4球面S1、及び1/4球面S3は、いずれもy=zで表される平面に対して対称な形状を有する。また、1/4球面S2、及び1/4球面S4は、いずれもy=-zで表される平面に対して対称な形状を有する。
[0016]
 以下では、4個の1/4球面のうちの1/4球面S1を例として、この1/4球面S1に対応する景色を含んだパノラマ画像Iの一部分の生成方法を説明する。この1/4球面S1に対応する範囲の景色は、互いに連結された複数の多角形(三角形又は四角形)によって構成される投影面A1に投影される。図2は、この投影面A1の具体例を示す斜視図である。投影面A1の注目方向に沿った中心線を、以下では幹線Tという。前述した通り1/4球面S1はy=zで表される平面に対して対称な形状となっているので、これに対応して幹線Tもこの平面上に配置される。以下では、幹線Tが配置される平面(ここではy=zで表される平面)を中心面という。幹線Tは、投影面A1を中心面で切断した際の形状を表している。
[0017]
 図3は中心面内における幹線Tの形状の具体例を示している。なお、ここでは一例として、投影面A1は6個の多角形が連結されて構成されているものとする。これに対応して、幹線Tは図3に示すように6個の線分によって構成される。また、以下では中心面内の位置を、互いに直交するX軸及びY軸からなる2次元座標系で表すこととする。ここで、X軸は3次元空間のx軸に一致するが、Y軸はy軸をz軸側に45°傾けた向きになっている。
[0018]
 以下、幹線Tの形状の決定方法について、説明する。ここでは、幹線Tを構成する6個の線分を、注目方向と反対側から順にT 、T 、T 、T 、T 、T とする。また、注目方向の反対方向(X軸負方向)側の幹線Tの端点を起点P とし、各線分の端点を、起点P に近い側から順に中継点P 、P 、P 、P 、P とする。さらに、注目方向(X軸正方向)側の幹線Tの端点を終点P とする。
[0019]
 中継点P ~P は、線分T ~T それぞれを中心点Oから見込む角(すなわち、各線分の両端と中心点Oにより形成される角)が互いに等しくなるように配置されている。すなわち、角P OP (=180°)を6等分する5本の補助線を引いた場合に、中継点P ~P はこれらの補助線上に配置されることになる。つまり、角P OP 、角P OP 、角P OP 、角P OP 、角P OP 、角P OP は互いに等しく、全て30°(=180°/6)になる。以下ではこの角度(中心点Oから各線分を見込む角)を対応角αという。線分T ~T は、それぞれ中心点Oから見て対応角αの範囲をカバーすることになる。
[0020]
 起点P は、注目方向の反対方向(X軸負方向)側において中心点Oから所定の距離離れた位置に設定される。ここでは起点P の位置座標を(X=-1,Y=0)とする。さらに、中継点P は、起点P を通り直線OP に垂直な直線と、起点P に最も近い補助線とが交差する位置に設定される。つまり、中継点P の位置は、角P OP がα=30°で、角OP が90°になるように決定される。ここでの角OP を射出角βという。さらに、中継点P は、角P OP が30°、角OP が90°になるように決定される。残る中継点P ~P 、及び終点P のそれぞれも、角P n-1OP (対応角α)が30°、角OP n-1(射出角β)が90°になるように、順次決定される。
[0021]
 このようにして起点P 、中継点P ~P 、及び終点P の位置が決定されると、中心面内における幹線Tの形状が決定される。このとき、線分T ~T は全て長さが異なり、しかも注目方向に近い線分ほど長さが長くなり、注目方向の反対方向に近い線分ほど長さが短くなる。つまり、幹線Tの形状は、中心点Oを通り注目方向に垂直な平面に対して非対称となっており、注目方向側の部分が反対側の部分よりも長くなる。
[0022]
 ここで、中心面内の位置座標を極座標(r,θ)で表すことを考える。このとき、幹線Tの形状はr=f(θ)という極座標系の一価関数によって表現される。rは、中心点Oまでの距離である。θは、X軸負方向を0°とし、反時計回り方向を正方向とする角度値であって、0°以上180°以下の値をとる。以上説明したような方法で決定された幹線Tをこのように関数fで表現すると、関数fはθが増加するにつれてrが増加する単調増加関数となっている。これにより、注目方向に近づくにつれて、単位角度あたりの幹線Tの長さが長くなるようにすることができる。
[0023]
 幹線Tの形状が決定されると、次に、中継点P ~P のそれぞれを通るように、5本の支線F ~F が配置される。これらの支線Fは、幹線Tを背骨と見た場合の肋骨に相当し、幹線Tの延伸方向から見て左右に延びるように配置される。具体的に、ここでは支線F ~F は、中心面と直交する方向に沿って配置される。また、支線F ~F は、いずれもその中点が幹線T上の中継点に一致するように配置される。各支線Fの長さは、1/4球面S1に対応するように決定される。
[0024]
 支線F を例として、その配置を具体的に説明する。図4は、中継点P 及び支線F を含むx軸に垂直な平面内の様子を示している。1/4球面S1を、中継点P を通り注目方向と直交する平面で切断した場合、中心角90°の扇形形状となる。そのため、支線F も、図4に示されるように、その両端とx軸上の点とでなす角が90°になるように、その長さが決定される。このとき支線F の長さは、中継点P からx軸までの距離の2倍に等しくなる。なお、支線F の中点は中継点P に一致するので、支線F は、中心面に対して対称になっている。支線F と同様に、支線F ~F も、対応する中継点からx軸までの距離の2倍に等しくなるように、その長さが決定される。
[0025]
 このようにして幹線T、及び支線F ~F の位置が決定されると、投影面A1の全体形状が決定されることになる。すなわち、投影面A1は、幹線Tの起点P と終点P 、及び各支線Fの両端を結んでできる形状となる。1/4球面S1の景色は、この投影面A1に投影される。各支線F ~F は中心面に対して対称なので、投影面A1全体も、1/4球面S1と同様、中心面に対して対称になる。なお、投影面A1上には、支線F ~F のほかに、支線F が設定される。この支線F は、他の支線F ~F と平行する投影面A1上の線分である。支線F の位置の決定方法については、後述する。
[0026]
 投影面A1に投影された景色は、平面形状に変換されてパノラマ画像Iの一部となる。以下では、投影面A1に対応するパノラマ画像I内の領域を、画像部分Ip1という。本実施形態では、画像部分Ip1は正方形の形状を有するものとする。図5は、この画像部分Ip1を示しており、投影面A1内の幹線T、及び支線F ~F に対応する線分が図示されている。
[0027]
 図5に示されるように、幹線Tは、画像部分Ip1の一方の対角線に対応づけられる。ここでは、画像部分Ip1の右上の頂点が起点P に対応し、左下の頂点が終点P に対応している。この対角線P は、6分割されて、それぞれ幹線Tを構成する線分T ~T のいずれかに対応づけられる。画像部分Ip1内における各線分の長さは、投影面A1内における線分T ~T の長さに応じて決定される。ただし、6個の線分は、投影面A1上における長さの比を完全に保つように変換される必要はなく、その中心面内における位置に応じて補正された長さに変換されてよい。
[0028]
 具体的な長さの補正の例について、説明する。投影面A1内におけるOP の長さを1とすると、投影面A1内における線分T ~T の長さは、以下の表1に示される値となる。
[表1]


[0029]
 各線分の長さは、補正係数を乗じた値に補正される。n番目の線分T に対する補正係数a は、(n-1)番目の線分T n-1(すなわち、注目方向と反対側の隣接する線分)に対する補正係数a n-1と、対応角α、及び射出角βを用いて、以下の式により算出される。
=a n-1×sin(β)/sin(180°-α-β)
ここでは、全ての線分について対応角α=30°、射出角β=90°であるため、
=a n-1/sin60°
となる。また、線分T については補正の必要はないので、a =1である。そのため、例えばa
=1/sin60°
で計算され、およそ1.15となる。線分T ~T に対する補正係数についても、同様にして順に計算される。表1には、この計算式によって計算された各線分に対する補正係数が示されている。各線分の補正後の長さは、投影面A1内の長さに対してこの補正係数を乗じた値である。
[0030]
 画像部分Ip1内における各線分の長さは、この補正後の長さと一致するように計算される。すなわち、線分T ~T までの補正後の長さの合計値をLtとすると、画像部分Ip1内における各線分の長さが幹線Tの全長に対して占める割合は、(補正後の長さ)/Ltで求められる。実際の画像部分Ip1内における各線分の長さは、この割合に画像部分Ip1の対角線の長さを乗じた値となる。
[0031]
 このような補正は、単位角度に対する幹線Tの長さの変化の不連続を緩和するためのものである。前述したように極座標系の一価関数r=f(θ)で幹線Tの形状を表現する場合において、θを増加させていくと、角度θの単位量に対する幹線Tの長さは、線分と線分の境界で不連続に変化する。このような不連続性が存在すると、仮想球S上の単位領域に対応する画像部分Ip1内の領域の広さ(すなわち、画像内に含まれる情報の密度)も不連続に変化することになり、好ましくない。そこで、上述したような補正係数a による補正を行うことにより、このような不連続を防止することができる。なお、投影面A1の各線分上における任意の点の位置と、画像部分Ip1内の各線分内における位置との対応関係は、線形補間等の補間計算により決定されてよい。
[0032]
 投影面A1内の支線F ~F は、それぞれ、画像部分Ip1内において、幹線Tに対応する対角線と交差する対角線に平行な線分に変換される。具体的に支線F ~F は、それぞれ投影面A1内と同様に、画像部分Ip1内でも中継点P ~P を通るように変換される。なお、ここでは画像部分Ip1を正方形としているので、各支線Fは幹線Tと直交する。
[0033]
 さらに、幹線Tに対応する対角線と交差する対角線そのものも、支線Fの一つとして設定される。これが、前述した支線F である。投影面A1内における支線F の位置は、画像部分Ip1内における対角線の位置に対応した位置に設定される。
[0034]
 このようにして幹線T、及び各支線Fの対応関係が決定されることにより、投影面A1内の位置は画像部分Ip1内の位置に変換される。具体的に、投影面A1のうち、支線F と起点P で囲まれる三角形、及び支線F と終点P で囲まれる三角形は、それぞれ画像部分Ip1の右上、及び左下の三角形に変換される。また、支線F ~F 、及びF のうち、隣接する2個の支線Fで挟まれた台形は、画像部分Ip1内で同じ2個の支線Fにより挟まれる台形に変換される。
[0035]
 なお、三角形を三角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に決定される。一方、四角形を四角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に定まらない。そこで、例えば以下のように変換を行う。すなわち、まず幹線Tに平行な方向の位置を、線形に補間する。その後、幹線Tと交差する方向(すなわち、支線Fに平行な方向)の位置を、線形に補間する。このような変換によって、投影面A1上の任意の点を、画像部分Ip1内の位置に対応させることができる。
[0036]
 なお、四角形の変換の方法は、以上説明したものに限られない。例えば投影面A1上において2個の支線Fにより形成される台形を2個の三角形に分割し、そのそれぞれを画像部分Ip1上に変換してもよい。また、テッセレーション処理を実行することによって投影面A1上の三角形や四角形をさらに分割し、分割によって得られるポリゴン単位で変換を行ってもよい。このような変換方法によれば、変換に伴って発生する誤差の程度を抑えることができる。また、テッセレーションを含むこのような多角形から多角形への変換処理は、公知のコンピュータグラフィックスライブラリ等を利用して容易に実現することができる。
[0037]
 以上説明したような変換によって、1/4球面S1内の景色は、平面形状を有する画像部分Ip1に変換される。1/4球面S2~S4についても、その内部の景色を投影面A2~A4に投影し、同様の変換を行うことによって、画像部分Ip2~Ip4が得られる。このようにして得られる4個の画像部分Ip1~Ip4を並べることで、全天周の景色を含んだ平面形状のパノラマ画像Iが生成される。
[0038]
 図6は、このようにして得られるパノラマ画像Iの一例を示している。各画像部分が正方形なので、パノラマ画像Iも全体として正方形の形状を有している。パノラマ画像Iの中心Cが、注目方向(x軸正方向)に対応している。この図においては、注目方向に対して角度30°までの範囲、60°までの範囲、90°までの範囲、及び120°までの範囲のそれぞれを表す曲線が図示されている。この図に示されるように、注目方向に近い場所ほど、パノラマ画像I内においてより広い領域が割り当てられる。そのため、パノラマ画像Iは注目方向に近い場所ほどより多くの情報を含み、注目方向と反対側については比較的少ない情報しか含まないようになっている。このようなパノラマ画像Iを用いて景色画像を描画した場合、注目方向に近い箇所ほど高画質で画像を描画できることになる。
[0039]
 なお、以上の説明では投影面A1は6個の多角形から構成されることとし、これに対応して幹線Tは6個の線分により構成されることとした。しかしながらこれに限らず、幹線Tは3本以上の任意の数の線分によって構成されてよい。図7は、幹線Tを4本の線分によって構成することとし、以上の説明と同様の手順で投影面A1の形状を決定した場合における投影面A1の形状を示している。このように幹線Tをより少ない数の線分で構成すると、注目方向と注目方向の反対側とで情報密度の差がより大きくなる。逆に幹線Tを構成する線分の数を増加させると、幹線Tの形状は半円に近づいていき、注目方向とその反対側との間の情報密度の差は小さくなる。
[0040]
 また、以上の説明では、幹線Tを構成する複数の線分のそれぞれは、対応角αが互いに等しくなるように決定されることとした。しかしながら、対応角αは線分ごとに異なってもよい。
[0041]
 また、以上の説明では射出角βを90°としたが、これに限らず射出角βは90°より大きく180°より小さな任意の値であってもよい。射出角が90°≦β<180°であれば、幹線Tの形状を表す関数r=f(θ)は単調増加関数となる。そのため、幹線Tを構成する複数の線分を、注目方向に近づくにつれて順に長くなるようにすることができる。ただし、射出角βは、次の対応角αに対して、α+β<180°の関係を満たす必要がある。なお、このように幹線Tを構成する各線分の対応角αと射出角βがこれまでの説明と異なる値をとる場合にも、前述した補正係数a については、同様の計算式で順に算出することができる。
[0042]
 また、幹線Tは、その一部又は全部が曲線により構成されてもよい。この場合にも、関数r=f(θ)が単調増加関数となるように幹線Tの形状を定義することで、注目方向に近くなるほど、仮想球S上の単位領域に対応するパノラマ画像I内の領域が広くなるようにすることができる。
[0043]
 また、支線Fも、以上説明したような形状及び配置のものに限られない。例えば支線Fは、対応する中継点を通り、注目方向に垂直な平面内において、複数の線分によって構成される形状であってもよい。あるいは、弧状に形成されるなど、曲線を含む形状であってもよい。いずれにせよ、支線Fは、中心面に対して対称な形状であって、支線Fをx軸上の点から見込む角(支線Fの両端と中心角Oにより形成される角)が対応する1/4球面に一致するように(すなわち、90°になるように)決定される。また、支線Fは、対応する中継点、及び中心点Oを通り、中心面に垂直な平面内に配置されてもよい。
[0044]
 また、以上の説明では、注目方向は水平面に平行な方向であることとしたが、これに限らず注目方向は全天周の任意の方向に設定されてよい。この場合も、注目方向を基準として、中心面が注目方向に平行になるように投影面A1~A4の配置位置を決定することで、注目方向に近づくほど情報量が大きくなるようにパノラマ画像Iを生成することができる。なお、仮想球Sを1/4球面に分割する際の向きについても、任意の向きに設定されてよい。
[0045]
 また、以上の説明では全天周の景色の全てをパノラマ画像Iに含めることとしたが、本実施形態におけるパノラマ画像Iはこのようなものに限られず、全天周の一部の範囲の景色のみを含むものであってもよい。例えばパノラマ画像Iは、1/4球面S1~S4のうちの1個のみに対応する景色を含んだものであってもよいし、2個の1/4球面(すなわち、半球)に対応する景色を含んだものであってもよい。
[0046]
 さらに、本実施形態におけるパノラマ画像Iは、ある1/4球面について、その一部範囲の景色のみを画像部分に変換して生成されるものであってもよい。この場合、景色が投影されていない範囲については、パノラマ画像I内においてダミー情報を持った画素(例えば画素値0の画素)としてもよい。これにより、例えば天底に近い高緯度の範囲など、一部範囲の景色に関する情報がない場合であっても、本実施形態の手法によりパノラマ画像Iを生成することができる。また、1/4球面に対応する投影面A1~A4のそれぞれは、正方形以外の形状(例えば長方形形状)の画像部分に変換されることとしてもよい。
[0047]
[画像表示システムの構成、及び機能]
 次に、本発明の実施形態に係る画像生成装置10、及び画像表示制御装置20を含んだ画像表示システム1の構成を説明する。
[0048]
 画像生成装置10は、パノラマ画像Iを生成する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。図8に示されるように、画像生成装置10は、制御部11と、記憶部12と、通信部13と、を含んで構成される。
[0049]
 制御部11は、CPU等のプロセッサーを少なくとも一つ含み、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部11はパノラマ画像Iの生成処理を実行する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部13は、LANカード等の通信インタフェースであって、通信ネットワーク経由で画像表示制御装置20に対してパノラマ画像Iのデータを送信する。
[0050]
 画像表示制御装置20は、画像生成装置10で生成されたパノラマ画像Iに基づく画像の表示制御を行う情報処理装置であって、画像生成装置10と同様に、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。画像表示制御装置20は、制御部21、記憶部22、及び通信部23を含んで構成されている。さらに画像表示制御装置20は、表示装置24及び操作デバイス25と接続されている。
[0051]
 制御部21は、CPU等のプロセッサーを少なくとも一つ含み、記憶部22に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部21は、パノラマ画像Iに基づいて表示画像を描画する処理を実行する。記憶部22はRAM等のメモリデバイスを少なくとも一つ含み、制御部21が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部23は、LANカード等の通信インタフェースであって、画像生成装置10から送信されるデータを通信ネットワーク経由で受信する。
[0052]
 表示装置24は、液晶ディスプレイ等であって、画像表示制御装置20が供給する映像信号に従って画像を表示する。表示装置24は、画像表示制御装置20が供給する立体視可能な画像を表示する立体画像表示装置であってもよい。また、表示装置24は、ユーザーが頭部に装着可能なヘッドマウントディスプレイ等の頭部装着型表示装置であってもよい。
[0053]
 操作デバイス25は、家庭用ゲーム機のコントローラやポインティングデバイス等であって、ユーザーが画像生成装置10に対して各種の指示操作を行うために使用される。操作デバイス25に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより画像表示制御装置20に送信される。なお、操作デバイス25は画像表示制御装置20の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
[0054]
 次に、画像生成装置10及び画像表示制御装置20が実現する機能について、図9を用いて説明する。図9に示すように、画像生成装置10は、機能的に、景色情報取得部31と、パノラマ画像生成部32と、パノラマ画像送信部33と、を含む。これらの機能は、制御部11が記憶部12に記憶されたプログラムを実行することにより実現される。また、画像表示制御装置20は、機能的に、パノラマ画像取得部34と、方向取得部35と、表示画像描画部36と、を含む。これらの機能は、制御部21が記憶部22に記憶されたプログラムを実行することにより実現される。各装置で実行されるプログラムは、インターネット等の通信ネットワークを介して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
[0055]
 景色情報取得部31は、パノラマ画像Iを生成するための元データとなる景色情報を取得する。景色情報は、観測点から見た全天周の景色を仮想球Sに投影した場合に、仮想球Sの表面上の各単位領域の色(画素値)を特定するのに必要な情報である。例えば景色情報は、正距円筒図法のように本実施形態とは異なる画像フォーマットで生成されたパノラマ画像であってもよい。また、パノラマカメラによって撮影されたパノラマ写真の画像データであってもよい。景色情報取得部31は、景色情報を通信ネットワーク経由で他の装置から受信してもよいし、画像生成装置10に接続されたカメラ等のデバイスから読み込んでもよい。また、フラッシュメモリー等の情報記憶媒体に記憶された景色情報を読み出してもよい。
[0056]
 パノラマ画像生成部32は、景色情報取得部31が取得した景色情報を用いてパノラマ画像Iを生成する。パノラマ画像Iは、前述したように全天周の全部、又は一部の景色を含んだ2次元の画像データである。具体的にパノラマ画像生成部32は、所与の条件により、注目方向、並びに投影面A1~A4の位置及び形状を決定する。そして、前述した投影面内の位置とパノラマ画像I内の位置との対応関係に従って、パノラマ画像I内の各画素の画素値を景色情報に基づいて算出することにより、パノラマ画像Iを生成する。
[0057]
 なお、投影面内の位置とパノラマ画像I内の位置との対応関係は、投影面の位置及び形状によって決定される。そして、これまで説明したように、投影面の位置及び形状は、注目方向がどの方向かと、幹線T及び支線Fの位置及び形状によって定義される。これらの投影面の位置及び形状を定義づける情報は、画像表示制御装置20がパノラマ画像Iを用いてその中に含まれる景色を再現するために必要となる。そこでパノラマ画像生成部32は、このようなパノラマ画像Iの構成を定義する情報(以下、画像定義情報という)を、生成したパノラマ画像Iに関連づけて出力する。
[0058]
 また、パノラマ画像生成部32は、立体視用のパノラマ画像データを生成してもよい。この場合に生成される画像データは、例えば左半分に左目用画像を生成するための正方形のパノラマ画像Iを含み、右半分に右目用画像を生成するための正方形のパノラマ画像Iを含んだ縦横比1:2の矩形の画像データであってよい。また、パノラマ画像生成部32は、時間とともに変化する動画像としてパノラマ画像Iを生成してもよい。
[0059]
 パノラマ画像送信部33は、パノラマ画像生成部32が生成したパノラマ画像Iを、画像表示制御装置20に対して送信する。このときパノラマ画像送信部33は、画像定義情報を併せて送信する。
[0060]
 パノラマ画像取得部34は、画像生成装置10のパノラマ画像送信部33が送信するパノラマ画像Iを受信することによって、取得する。ここではパノラマ画像取得部34は、通信ネットワークを介して画像生成装置10から送信されるパノラマ画像Iを直接受信することとする。しかしながら、これに限らず、パノラマ画像取得部34はサーバコンピュータ等の他の装置を経由してパノラマ画像Iを受信してもよい。
[0061]
 方向取得部35は、ユーザーの指示などに基づいて、表示装置24に表示される表示画像の視野範囲(表示範囲)を決定するために用いられる方向情報を取得する。方向取得部35が取得する方向情報は、後述する表示画像描画部36が表示画像を生成する際の仮想カメラの撮像方向として使用される。この撮像方向は、例えば水平方向の角度を表すヨー角と上下方向の角度を表すピッチ角とによって定義される。さらに方向取得部35は、撮像方向を回転軸としたカメラの回転の角度を示すロール角も取得してもよい。
[0062]
 具体的に、例えば方向取得部35は、操作デバイス25に対するユーザーの方向を指示する操作入力を受け付けることによって、方向情報を取得する。あるいは方向取得部35は、ユーザーが画像表示制御装置20の本体を傾ける動作を行った場合に、画像表示制御装置20に内蔵されているモーションセンサーの検出結果から方向情報を取得してもよい。これにより、例えば画像表示制御装置20がスマートフォンやタブレットのように小型の筐体を備えている場合、ユーザーは画像表示制御装置20の向きを変化させることによって任意の向きに視野範囲を変化させることができる。また、表示装置24が頭部装着型表示装置である場合、方向取得部35は、この表示装置24内に内蔵されたモーションセンサーの検出結果から方向情報を取得してもよい。これにより、ユーザーの頭部の向きの変化に応じて視野範囲を変化させることができる。
[0063]
 表示画像描画部36は、パノラマ画像取得部34が取得したパノラマ画像Iに基づいて、方向取得部35が取得した方向情報に応じて決まる視野範囲内の景色を示す表示画像を描画し、表示装置24に表示させる。これによりユーザーは、パノラマ画像I内に含まれる特定の視野範囲内の景色を閲覧することができる。さらに、操作デバイス25に対する操作入力等によって視野範囲を変化させることで、全天周の任意の方向の景色を閲覧することができる。
[0064]
 具体的に、表示画像描画部36は、パノラマ画像Iとともに送信された画像定義情報に基づいて、仮想空間内に投影面A1~A4を配置する。併せて表示画像描画部36は、その中心位置(仮想球Sの中心点Oに対応する位置)に仮想カメラを配置する。このとき仮想カメラは、方向取得部35が取得した方向情報に応じて決まる向き、及び傾きで配置される。
[0065]
 続いて表示画像描画部36は、投影面A1~A4の内側に、パノラマ画像Iに基づいて生成されるテクスチャーを貼り付ける。具体例として、図6に例示したパノラマ画像Iを用いて描画処理を行う場合、表示画像描画部36は、図2に例示したような投影面A1を仮想空間内に配置する。また、投影面A1と同形の投影面A2~A4を、90度ずつ回転させた向きに配置する。そして、図5に例示される画像部分Ip1に含まれる画像を、投影面A1の内側にテクスチャーとして貼り付ける。具体的に、表示画像描画部36は、画像部分Ip1を支線F ~F 、及びF によって5個の台形と2個の三角形に分割する。そして、この分割によって得られる三角形や台形などのポリゴンを、画像が生成された際と逆のアフィン変換によって、対応する投影面A1内の平面に応じた形状に変換する。そして、この変換によって得られるテクスチャーを投影面A1内に貼り付ける。例えば画像部分Ip1内において起点P と支線F によって形成される右上の三角形は、投影面A1で起点P を頂点に持つ三角形部分に貼り付けられる。同様に、画像部分Ip1内において支線F と支線F で挟まれる台形は投影面A1内でも支線F と支線F で挟まれる台形に変換される。このようにして、パノラマ画像I内の全ての三角形や台形などのポリゴンが、対応する投影面A1~A4に応じた形状に変換されて貼り付けられる。このような処理は、公知の頂点シェーダー等によって実現できる。また、表示画像描画部36は、前述したように、テッセレーション処理を実行して台形をより小さな複数のポリゴンに分割し、分割されたポリゴンごとに変換を行ってもよい。このような描画処理の少なくとも一部は、GPU等によって実現されてもよい。
[0066]
 その後、表示画像描画部36は、仮想球Sの中心点Oに対応する位置に配置された仮想カメラから、このテクスチャーが貼り付けられた投影面A1~A4を見た様子を描画することで、表示画像を生成する。例えば仮想カメラが注目方向に向けられている場合、投影面A1の終点P 近傍の領域、及びこれと隣接する投影面A2~A4の領域を含んだ表示画像が描画されることになる。
[0067]
 ここで、前述したようにパノラマ画像Iは、注目方向近傍の領域についてより多くの面積を占める画像フォーマットになっている。このようなパノラマ画像Iに基づいて表示画像を生成することで、注目方向の近傍では、他の領域と比較して高解像度で景色を表す表示画像を生成することができる。
[0068]
 さらに本実施形態では、表示画像描画部36は、方向取得部35が取得する方向の変化に応じて、表示画像をリアルタイムで更新する。すなわち、表示画像描画部36は、方向取得部35が取得する方向が変化すると、その変化した向きと対応する方向に仮想カメラの向きを変化させる。より具体的に、ピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラの撮像方向を変化させる。また、ロール角が変化した場合には、この変化に連動させて、撮像方向を回転軸として仮想カメラを傾けさせる。これにより、仮想カメラの視野範囲は方向取得部35が取得する方向の変化に連動して変化することになる。表示画像描画部36は、更新された視野範囲に基づいて投影面A1~A4の内面の様子を再描画して表示画像を更新し、表示装置24の画面に表示する。表示画像描画部36は、このような方向取得部35が取得する方向の変化に応じた表示画像の再描画(更新)処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーは視野範囲を動かしてパノラマ画像I内に含まれる全天周の任意の位置の景色を閲覧することができる。
[0069]
 また、方向取得部35は、ユーザーの指示などに基づいて、仮想カメラの向きだけでなく、仮想カメラの位置の情報を取得してもよい。この場合、表示画像描画部36は、この位置の情報の変化に基づいて、仮想カメラを仮想空間内で平行移動させる。これにより、投影面A1~A4に貼り付けられた景色を異なる位置から見た様子を表示させることができる。
[0070]
 なお、以上の説明では表示画像は一つの平面画像であるとしたが、表示画像描画部36は立体画像を描画してもよい。この場合、表示画像描画部36は、投影面A1~A4の中心に左右方向に並んだ二つの仮想カメラを配置する。そして、左目用のパノラマ画像Iに基づいて生成したテクスチャーを貼り付けた投影面A1~A4の内面を左側の仮想カメラから見た様子を描画することにより、左目用の表示画像を生成する。同様に、右目用のパノラマ画像Iに基づいて生成したテクスチャーを貼り付けた投影面A1~A4の内面を右側の仮想カメラから見た様子を描画することにより、右目用の表示画像を生成する。これら二つの表示画像を立体視に対応する表示装置24に表示させることによって、ユーザーは全天周の景色を立体的に閲覧することが可能となる。
[0071]
 以上説明したように、本実施形態では、注目方向に近ければ近いほど全天周に対応する仮想球Sの単位領域あたりの情報量が増加するような画像フォーマットでパノラマ画像Iが生成される。このため、重要な部分については高解像度で表示することが可能でありながら、パノラマ画像Iの全体のデータ量を比較的抑えることができる。
[0072]
 なお、以上の説明では画像生成装置10は通信ネットワークを介してパノラマ画像Iを画像表示制御装置20に送信することとしたが、これに限らず、画像生成装置10はフラッシュメモリー等の情報記憶媒体にパノラマ画像Iを書き込むこととし、画像表示制御装置20はこのような情報記憶媒体からパノラマ画像Iを読み出して取得することとしてもよい。また、例えば以上の説明では画像生成装置10と画像表示制御装置20は互いに独立した装置であることとしたが、一つの情報処理装置がパノラマ画像Iの生成と表示制御の双方を実現してもよい。
[0073]
[複数画像の切り替え配信]
 以上の説明では、画像生成装置10は一つのパノラマ画像Iを画像表示制御装置20に対して送信し、画像表示制御装置20はこのパノラマ画像Iに基づいて表示画像を描画することとした。しかしながら、時間とともに変化するパノラマ動画像Imを表示対象とする場合、画像生成装置10は、複数種類のパノラマ動画像Imを用意しておき、画像表示制御装置20に対してリアルタイムで配信する動画像を、これらのパノラマ動画像Imの中から切り替えることとしてもよい。これにより、ユーザーが表示画像を閲覧している途中で表示対象となるパノラマ動画像Imが変更されることになる。このような制御について、以下に説明する。
[0074]
 この例では、全天周の全部、又は一部の領域を表示可能範囲として、画像生成装置10は、この表示可能範囲内の景色を含んだ複数のパノラマ動画像Imを生成する。そして、これらのパノラマ動画像Imのうち、いずれか一つを配信対象として選択し、画像表示制御装置20のユーザーが表示画像を閲覧中にリアルタイムで動画像を送信するストリーミング配信を行う。
[0075]
 これらのパノラマ動画像Imは、互いに共通する景色情報に基づいて生成されるが、注目方向が互いに異なっている。例えば画像生成装置10は、水平面内で互いに90°ずつ異なる前後左右の4方向と、天頂方向、及び天底方向の6方向を注目方向として、6個のパノラマ動画像Imを生成する。これらのパノラマ動画像Imは、動画像を構成するフレーム画像の解像度は互いに等しく、一つのフレーム画像内において情報量が大きい領域が互いに異なっている。例えば前方を注目方向とするパノラマ動画像Imは、前方として定義された方向については高解像度での表示が可能な情報を含み、これと反対側の後方については比較的低解像度での表示のみが可能な情報を含んでいる。また、全てのパノラマ動画像Imは、表示可能範囲自体は互いに共通であって、解像度の高い領域は互いに異なるものの、画像の内容自体は共通している。
[0076]
 画像表示制御装置20の方向取得部35は、表示画像を閲覧中のユーザーが注視する方向を示す情報を取得し、取得した注視方向の情報を画像生成装置10に対して送信する。画像生成装置10は、この注視方向の情報を用いて、配信対象とするパノラマ動画像Imを選択する。具体例として、ユーザーが前方として定義された方向を注視している場合には前方を注目方向として生成されたパノラマ動画像Imを配信し、ユーザーが天頂方向を注視している場合には天頂方向を注目方向として生成したパノラマ動画像Imを配信する。
[0077]
 なお、画像表示制御装置20の方向取得部35は、所定時間おきにその時点の注視方向の情報を送信してもよいし、注視方向が所定値以上変化したタイミングや、ある範囲から別の範囲に遷移したタイミングなどで、変化後の注視方向の情報を送信してもよい。
[0078]
 また、画像生成装置10のパノラマ画像送信部33は、注視方向の変化を通知する情報を画像表示制御装置20から受信した場合に、直ちに配信対象のパノラマ動画像Imを切り替えてもよいし、所定のタイミングが到来してから切り替えてもよい。具体的に、例えばパノラマ画像送信部33は、GOP(Group Of Pictures)の先頭のフレーム画像を送信するタイミングで、配信対象のパノラマ動画像Imを別のものに切り替えてもよい。
[0079]
 このような制御によれば、画像表示制御装置20は、ユーザーが注視している方向の景色を高画質で表示することができる。また、表示可能範囲の全体を高画質で表示するために必要な情報を含んだパノラマ動画像を配信する場合と比較して、配信すべき動画像のデータ量を小さくすることができる。
[0080]
 さらに、この例では、ストリーミングの実行中、一度に配信されるのはいずれか一つのパノラマ動画像Imだけになるが、どのパノラマ動画像Imも表示可能範囲全体の情報を含んでいる。そのため、例えばユーザーが急に注視方向を大きく変化させた場合などであっても、切り替え後のパノラマ動画像Imが配信されるまで何も表示できないということがなく、注目方向よりは低解像度で変化後の注視方向の景色を表示させ続けることができる。
[0081]
 また、画像生成装置10は、データサイズの異なる複数種類のパノラマ動画像Imを用意しておき、画像生成装置10と画像表示制御装置20との間の通信ネットワークの状況に応じて配信対象のパノラマ動画像Imを切り替えてもよい。例えば画像生成装置10は、表示可能範囲の全体を所定基準以上の解像度で表示可能な一つの第1パノラマ動画像Im1、注目方向を中心とした一定範囲を所定基準以上の解像度で表示可能なn個の第2パノラマ動画像Im2、さらに注目方向を中心として第2パノラマ動画像Im2よりも狭い範囲を所定基準以上の解像度で表示可能なm個の第3パノラマ動画像Im3を配信対象として用意してもよい。ここで、n<mである。
[0082]
 図10は、これらの配信対象のパノラマ動画像Imを示しており、各パノラマ動画像Imのサイズは各動画像のデータサイズの相違を示している。また、ここでは6個の第2パノラマ動画像Im2と26個の第3パノラマ動画像Im3が用意されるものとする。
[0083]
 この図10の例では、第1パノラマ動画像Im1はこれまで説明した画像フォーマットとは異なるフォーマットのデータであって、注目方向とその反対側とで情報の偏りがなく、全方位を高解像度で表示するために必要な情報が含まれている。その代わり、第2パノラマ動画像Im2や第3パノラマ動画像Im3と比較してデータサイズが大きくなっている。仮に画像生成装置10と画像表示制御装置20との間で第1パノラマ動画像Im1を配信するために十分な帯域が確保できる場合、この第1パノラマ動画像Im1を配信対象とすればよい。これにより画像表示制御装置20は、ユーザーがどの方向を注視したとしても、その方向を高解像度で表示する表示画像を描画することができる。
[0084]
 これに対して第2パノラマ動画像Im2は、例えば図2に例示したような6個の多角形から構成される投影面を用いて生成されるパノラマ画像Imをフレーム画像として含んだ動画像データであってよい。具体的にこの第2パノラマ動画像Im2は、それぞれ、注目方向を中心として立体角(4π/6)以上の範囲を所定基準以上の解像度で表示可能なデータであってよい。また、6個の第2パノラマ動画像Im2は、例えば前後左右、天頂、天底の6方向を注目方向とした動画像であってよい。
[0085]
 これら6個の第2パノラマ動画像Im2は、それぞれ互いに異なる範囲を高解像度で表示可能なデータになっている。これら6個の第2パノラマ動画像Im2を用いることで、全天周の全体を高解像度で表示することが可能になる。また、これらの第2パノラマ動画像Im2は、注目方向を中心とした範囲以外は相対的に情報量が少なくなっているので、第1パノラマ動画像Im1よりもデータサイズは小さくなる。そこで、第1パノラマ動画像Im1を配信するために十分な帯域が確保できない場合、6個の第2パノラマ動画像Im2のいずれかを配信対象とすることで、通信ネットワークの帯域使用量を抑えることができる。しかも、前述したようにユーザーの注視方向に応じて互いに注目方向の異なる6個の第2パノラマ動画像Im2の中から配信対象を選択することで、データサイズが小さいにもかかわらず、注目方向の近傍では第1パノラマ動画像Im1と比較して遜色ない解像度で動画像を表示させることができる。
[0086]
 同様に、第3パノラマ動画像Im3は、所定基準以上の解像度で表示可能な領域が第2パノラマ動画像Im2よりもさらに狭くなる代わりに、データサイズが第2パノラマ動画像Im2よりも小さくなる。例えば図7に例示したような4個の多角形から構成される投影面を用いて生成されるパノラマ画像Imをフレーム画像とすることで、所定基準以上の解像度で表示可能な領域が第2パノラマ動画像Im2よりも狭くなっている第3パノラマ動画像Im3を生成することができる。また、所定基準以上の解像度で表示可能な領域が狭くなる分、第2パノラマ動画像Im2よりも多数の第3パノラマ動画像Im3を用意することで、表示可能範囲(ここでは全天周)の全体をカバーできるようにしている。具体的に図10の例では、水平面上で方位角が互いに45°ずつ異なる8方向、仰角45°で方位角が異なる8方向、俯角45°で方位角が異なる8方向、天頂方向、及び天底方向の合計26方向を注目方向とした26個の第3パノラマ動画像Im3が用意されている。
[0087]
 第2パノラマ動画像Im2の配信に必要な通信帯域を確保できない場合、画像生成装置10はこれらの第3パノラマ動画像Im3のうち、注視方向に応じて選択される一つを配信対象とする。これにより、画像表示制御装置20は、注視方向が注目方向の近傍にとどまっている限り、十分な通信帯域が確保できない場合でも第1パノラマ動画像Im1などと比較してそれほど遜色ない解像度で動画像を表示させることができる。なお、第3パノラマ動画像Im3は所定基準以上の解像度で表示可能な領域が相対的に狭くなっているため、ユーザーが注視方向を大きく動かすと、注視方向がこの領域を外れることが多くなる。このような場合であっても、表示可能範囲の全体を含んだ第3パノラマ動画像Im3を配信しているので、低解像度であっても途切れることなく動画像を表示させ続けることができる。
[0088]
 以上説明したように、画像生成装置10は、注目方向が互いに異なる複数のパノラマ動画像Imを配信対象として用意し、ユーザーの注視方向に応じて切り替えることにより、配信すべてデータ量を抑えながら、注視方向が変化してもその方向の近傍を高解像度の動画像として表示することができる。また、所定基準以上の解像度で表示可能な領域の位置、及び大きさが互いに異なる複数種類のパノラマ動画像Imを用意し、通信帯域と注視方向とに応じて切り替えることにより、通信帯域を有効活用しながら、注視方向に応じた領域を所定基準以上の解像度の動画像として表示することができる。
[0089]
 なお、以上の説明では全天周が表示可能範囲となっているパノラマ動画像Imを配信対象としたが、これに限らず、表示可能範囲は例えば半球面など全天周の一部の範囲であってもよい。このようなケースであっても、以上説明した配信方法により、通信帯域を抑えながら表示可能範囲内の任意の位置を表示でき、かつ注視方向の近傍を高解像度で表示することができる。
[0090]
 あるいは、画像生成装置10は、パノラマ動画像Im以外の動画像(例えばフレーム画像が通常の平面画像である動画像)を配信対象としてもよい。この場合にも、例えば公知のアイ・トラッキング技術によりユーザーの視線方向を特定するなどの方法で、ユーザーの注視方向を特定できる。この場合、動画像内の一部領域を他の領域よりも高解像度で描画した配信対象動画像が複数生成される。これらの配信対象動画像は、互いに異なる領域を、他の領域よりも高解像度で表示可能とする。これにより、パノラマ動画像Imの場合と同様に、注視方向近傍を高解像度で表示しつつ、全体を高解像度で描画した動画像を配信する場合と比較して、使用する通信帯域を抑えることができる。
[0091]
 また、以上の説明では配信対象の動画像を生成する画像生成装置10そのものが、生成した動画像の配信、及び配信対象動画像の切り替えを行うこととしたが、これに限らず、画像生成装置とは別の画像配信装置がこのような配信処理を実行することとしてもよい。

符号の説明

[0092]
 1 画像表示システム、10 画像生成装置、11,21 制御部、12,22 記憶部、13,23 通信部、20 画像表示制御装置、24 表示装置、25 操作デバイス、31 景色情報取得部、32 パノラマ画像生成部、33 パノラマ画像送信部、34 パノラマ画像取得部、35 方向取得部、36 表示画像描画部。

請求の範囲

[請求項1]
 観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部と、
 前記生成されたパノラマ画像を出力する画像出力部と、
 を含むことを特徴とする画像生成装置。
[請求項2]
 請求項1に記載の画像生成装置において、
 前記パノラマ画像は、前記仮想球上において前記注目方向に近い単位領域ほど、より広い領域に変換されている
 ことを特徴とする画像生成装置。
[請求項3]
 請求項2に記載の画像生成装置において、
 前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線に対して対称に形成され、当該幹線は、前記注目方向に近づくほど、前記観測点からの距離が大きくなる形状を有する
 ことを特徴とする画像生成装置。
[請求項4]
 請求項1から3のいずれか一項に記載の画像生成装置において、
 前記投影面は、複数の多角形が連結された形状を有する
 ことを特徴とする画像生成装置。
[請求項5]
 請求項1から4のいずれか一項に記載の画像生成装置において、
 前記パノラマ画像内において前記注目方向に対応する点は、前記パノラマ画像の中心に位置する
 ことを特徴とする画像生成装置。
[請求項6]
 観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を取得する取得部と、
 前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、
 を含むことを特徴とする画像表示制御装置。
[請求項7]
 観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するステップと、
 前記生成されたパノラマ画像を出力するステップと、
 を含むことを特徴とする画像生成方法。
[請求項8]
 観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部、及び、
 前記生成されたパノラマ画像を出力する画像出力部、
 としてコンピュータを機能させるためのプログラム。
[請求項9]
 観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面が平面形状に変換されてなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されてなるパノラマ画像の画像データ。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]