Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2018225804) DISPOSITIF D'AFFICHAGE D'IMAGE, PROCÉDÉ D'AFFICHAGE D'IMAGE, ET PROGRAMME D'AFFICHAGE D'IMAGE
Document

明 細 書

発明の名称 画像表示装置、画像表示方法、及び画像表示プログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007   0008  

課題を解決するための手段

0009   0010   0011   0012   0013   0014   0015   0016   0017  

発明の効果

0018  

図面の簡単な説明

0019  

発明を実施するための形態

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078  

符号の説明

0079  

請求の範囲

1   2   3   4   5   6   7   8   9  

補正された請求の範囲(条約第19条)

1  *   2  *   3  *   4  *   5  *   6  *   7  *   8  *   9  *  

条約第19条(1)に基づく説明書

図面

1   2   3   4A   4B   5   6A   6B   7A   7B   7C   8A   8B   8C   9   10   11A   11B   11C   11D   12  

明 細 書

発明の名称 : 画像表示装置、画像表示方法、及び画像表示プログラム

技術分野

[0001]
 本発明は、被写体を撮影することにより得られた画像を表示する画像表示装置、画像表示方法、及び画像表示プログラムに関する。

背景技術

[0002]
 近年、撮影地点の全方位における画角360°の被写体が写った画像が、ゲームなどのエンターテイメント分野の他、観光案内や不動産の内覧などのビジネス分野でも広く活用されるようになっている。このような全方位・画角360°の画像は、全天球画像とも呼ばれる。全天球画像は、仮想現実(バーチャルリアリティ)のコンテンツとして3次元的に表示されたり、パノラマ画像用に加工されて2次元的に表示されたりする。例えば、ヘッドマウントディスプレイ(以下、「HMD」とも記す)と呼ばれるメガネ型又はゴーグル型の表示装置に、全天球画像の一部を表示させ、HMDを装着したユーザの頭の動きに合わせて、画面に表示させる画像の範囲を変化させることにより、ユーザはあたかも、表示された画像の空間内に入り込んだような感覚を得ることができる。
[0003]
 全天球画像は、画角が180°以上の2つの超広角レンズを備えた、所謂全天球カメラにより取得することができる(例えば特許文献1参照)。或いは、広角レンズや魚眼レンズを備えるカメラを用いて複数の方向を順次撮影することにより得られた複数の画像を、画像処理によりつなぎ合わせることによって作成することもできる。このように画像をつなぎ合わせる画像処理技術は、スティッチングと呼ばれる(例えば特許文献2参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2013-198062号公報
特許文献2 : 特表2002-503893号公報

発明の概要

発明が解決しようとする課題

[0005]
 全天球カメラは全方位360°の範囲を一度で撮影するので、カメラを持つ撮影者本人も画像の中に写り込んでしまう。そのため、全天球カメラにより取得された全天球画像を利用する際には、全天球画像に写り込んだ撮影者の像を選択的に消去する作業が必要となり、処理が煩雑である。
[0006]
 他方、複数の画像をつなぎ合わせて全天球画像を作成する場合、三脚等を利用してカメラの位置を固定し、カメラの視野が一部重なるように、且つ、重なった部分において被写体の像にずれが生じないように、カメラの向きを慎重に変化させて順次撮影を行う必要がある。また、そのようにして取得された複数の画像をつなぎ合わせる際には、複数の画像から共通の被写体の像を抽出し、抽出された像同士を正確に重ね合わせ、さらに、隣接する画像間の合わせ目が自然につながって見えるように画素値を調節するといった画像処理を行わなくてはならない。つまり、複数の画像から全天球画像を作成する場合、撮影作業が煩雑であると共に、高度な画像処理が必要となり、撮影コストが非常に高い。また、高度な画像処理を行うために、高スペックな演算装置も必要となる。
[0007]
 このように、従来は、被写体を撮影し、全天球画像を作成して画像表示装置に表示し、ユーザに鑑賞させるまでの間に、多くの手間及び時間と高度な画像処理技術とが必要とされていた。そのため、全天球の画像領域を簡単且つ低コストでユーザに鑑賞させることができる技術が望まれている。
[0008]
 本発明は上記に鑑みてなされたものであって、全天球の画像領域を従来よりも簡単且つ低コストでユーザに鑑賞させることができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。

課題を解決するための手段

[0009]
 上記課題を解決するために、本発明の一態様である画像表示装置は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを記憶する画像データ記憶部と、前記複数の画像のうちの少なくとも一部の範囲を表示可能な表示部と、ユーザの動作又はユーザによる操作に応じた情報を入力する情報入力部と、前記画像データに基づき、前記情報入力部から入力された情報に応じて、前記複数の画像のうち前記表示部に表示させる範囲である表示範囲を制御する表示制御部と、を備えるものである。
[0010]
 上記画像表示装置は、前記複数の画像に、共通の点を中心とする天球面上の座標を割り当てる画像設定部をさらに備え、前記画像設定部は、前記複数の画像のうち、前記天球面上の同一の座標が割り当てられた領域を有する2つの画像を、前記領域において所定の重畳順序となるように配置しても良い。
[0011]
 上記画像表示装置において、前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域における前2つの画像の重畳順序を切り替える画像切替部を有しても良い。
[0012]
 上記画像表示装置において、前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域において表層側に重畳された画像の透明度を変化させる透明度調節部を有しても良い。
[0013]
 上記画像表示装置において、前記画像設定部は、前記複数の画像上における任意の基準点と、当該画像表示装置の初期状態とを関連付け、前記表示制御部は、当該画像表示装置の前記初期状態からの変化に応じて、前記表示範囲を、前記複数の画像に割り当てられた前記天球面上の座標の前記基準点に対する相対位置に基づいてシフトさせても良い。
[0014]
 上記画像表示装置において、前記情報入力部は、当該画像表示装置の向き、傾き、若しくは位置の変化、又は、該変化の単位時間あたりの変化率の少なくともいずれかを検出するセンサであっても良い。
[0015]
 上記画像表示装置において、前記情報入力部は、前記表示部に対する操作に用いられるポインティングデバイスであっても良い。
[0016]
 本発明の別の態様である画像表示方法は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを取得するステップ(a)と、ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ(b)と、前記画像データに基づき、ステップ(b)において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ(c)と、を含むものである。
[0017]
 本発明のさらに別の態様である画像表示プログラムは、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを取得するステップ(a)と、ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ(b)と、前記画像データに基づき、ステップ(b)において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ(c)と、をコンピュータに実行させるものである。

発明の効果

[0018]
 本発明によれば、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を取得し、ユーザの動作又はユーザによる操作に応じて、これらの画像のうち表示部に表示させる範囲を制御するので、全天球カメラを用いて全天球画像を取得したり、複数の画像をつなぎ合わせて全天球画像を作成したりする必要がなくなる。そのため、全天球カメラを用いる場合のように、画像に写り込んだ撮影者や三脚等を画像処理により消去したり、複数の画像をつなぎ合わせる場合のように、複数回の撮影を慎重に行った上で高度な画像処理を行うといった手間や時間をかける必要がなくなり、高スペックな演算装置も不要となる。従って、全天球の画像領域を従来よりも簡単且つ低コストでユーザに鑑賞させることが可能となる。

図面の簡単な説明

[0019]
[図1] 本発明の第1の実施形態に係る画像表示装置の概略構成を示すブロック図である。
[図2] 画像表示装置をユーザに装着させた状態を示す模式図である。
[図3] 図1に示す表示部に表示される画面の一例を示す模式図である。
[図4A] 画像の撮影方法の一例を説明するための模式図である。
[図4B] 画像の撮影方法の一例を説明するための模式図である。
[図5] 図1に示す画像表示装置の動作を示すフローチャートである。
[図6A] 画像の初期設定処理の一例を説明するための模式図である。
[図6B] 画像の初期設定処理の一例を説明するための模式図である。
[図7A] 本発明の第1の実施形態における画像の表示処理の一例を説明するための模式図である。
[図7B] 本発明の第1の実施形態における画像の表示処理の一例を説明するための模式図である。
[図7C] 本発明の第1の実施形態における画像の表示処理の一例を説明するための模式図である。
[図8A] 本発明の第1の実施形態における画像の表示処理の変形例を説明するための模式図である。
[図8B] 本発明の第1の実施形態における画像の表示処理の変形例を説明するための模式図である。
[図8C] 本発明の第1の実施形態における画像の表示処理の変形例を説明するための模式図である。
[図9] 本発明の第2の実施形態に係る画像表示装置の概略構成を示すブロック図である。
[図10] 図9に示す画像表示装置の動作を示すフローチャートである。
[図11A] 本発明の第2の実施形態における画像の表示処理の一例を説明するための模式図である。
[図11B] 本発明の第2の実施形態における画像の表示処理の一例を説明するための模式図である。
[図11C] 本発明の第2の実施形態における画像の表示処理の一例を説明するための模式図である。
[図11D] 本発明の第2の実施形態における画像の表示処理の一例を説明するための模式図である。
[図12] 本発明の第3の実施形態に係る画像の表示例を示す模式図である。

発明を実施するための形態

[0020]
 以下、本発明の実施形態に係る画像表示装置、画像表示方法、及び画像表示プログラムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
[0021]
 図1は、本発明の第1の実施形態に係る画像表示装置の概略構成を示すブロック図である。図1に示すように、本実施形態に係る画像表示装置10は、表示部11と、操作入力部12と、センサ部13と、記憶部14と、各種演算処理を行うプロセッサ15と、を備える。この他、画像表示装置10は、通信インタフェース16や撮像部17を備えても良い。
[0022]
 図2は、画像表示装置10をユーザ1に装着させた状態を示す模式図である。図3は、図1に示す表示部11に表示される画面の一例を示す模式図である。画像表示装置10としては、スマートフォン、携帯情報端末(PDA)、携帯型ゲーム装置のように、表示部を備える汎用の機器を用いることができる。画像表示装置10として例えばスマートフォンを用いる場合、表示部11が設けられた側をユーザに向けてホルダー2に取り付けることにより、ユーザはハンズフリーで表示部11を見ることができる。ホルダー2の内部には、ユーザの左右の眼に対応する位置に2つのレンズがそれぞれ取り付けられている。ユーザに画像を立体視させる場合には、図3に示すように、表示部11内の2つの領域11a、11bに、視差が設けられた2つの画像をそれぞれ表示させる。ユーザは、ホルダー2内の2つのレンズを通して領域11a、11bを見ることにより、領域11a、11bに映った画像を3次元的に認識することができる。
[0023]
 もっとも、画像表示装置10の外観は、図2に示すものに限定されない。例えば、画像表示装置とホルダーが一体化された立体視専用の画像表示装置を用いても良い。なお、このような専用の画像表示装置は、ヘッドマウントディスプレイとも呼ばれる。
[0024]
 また、画像表示装置10として、スマートフォンなどの小型携帯機器に限らず、例えば、デスクトップ型のパーソナルコンピュータや、ノート型のパーソナルコンピュータや、タブレット端末を用いても良い。さらに、画像表示装置10には、2つのレンズを介して見る立体視用のコンテンツだけでなく、パノラマ画像のように裸眼で鑑賞可能なコンテンツを表示させても良い。画像表示装置10に表示させる画像は、静止画であっても良いし、動画であっても良い。
[0025]
 再び図1を参照すると、表示部11は、例えば液晶パネル又は有機EL(エレクトロルミネッセンス)パネル等の表示パネル及び駆動部を含むディスプレイである。
[0026]
 操作入力部12は、操作ボタン、表示部11上に設けられたタッチパネル、マウスやキーボード等の入力デバイスであり、外部からなされる操作に応じた信号をプロセッサ15に入力する。つまり、操作入力部12は、ユーザによる操作に応じた情報を入力する情報入力部として機能する。
[0027]
 センサ部13は、ジャイロセンサ131、加速度センサ132、GPSモジュール133等の各種センサを含み、画像表示装置10の動き、即ち、画像表示装置10の向きや傾きや位置の変化(変化量及び速度)を表す検出信号を出力する。画像表示装置10は、センサ部13から出力された検出信号から、画像表示装置10自体の動きや状態(言い換えるとユーザ1の頭部の動きや状態)を検知することができる。つまり、センサ部13は、ユーザの動作に応じた情報を入力する情報入力部として機能する。
[0028]
 記憶部14は、例えばROMやRAMといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部14は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶するプログラム記憶部141と、画像データを記憶する画像データ記憶部142とを有する。このうち、画像データ記憶部142は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像の画像データを記憶している。この他、記憶部14は、画像を表示する際に共に出力される音声など、各種コンテンツのデータを記憶しても良い。
[0029]
 プロセッサ15は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いて構成され、プログラム記憶部141に記憶された各種プログラムを読み込むことにより、画像表示装置10の各部を統括的に制御すると共に、種々の画像を表示するための各種演算処理を実行する。プロセッサ15によって実現される機能については後述する。
[0030]
 通信インタフェース16は、当該画像表示装置10をインターネット、LAN、電気通信回線等の通信ネットワークに接続し、通信ネットワークに接続された他の機器との間で通信を行う。通信インタフェース16は、例えばソフトモデム、ケーブルモデム、無線モデム、ADSLモデム等を用いて構成される。
[0031]
 撮像部17は、当該画像表示装置10に内蔵されたカメラ、又はケーブル等を介して画像表示装置10に外付けされるカメラである。
[0032]
 ここで、画像表示装置10に表示させる画像は、撮像部17により撮影されたものであっても良いし、当該画像表示装置10とは独立した撮影装置により撮影されたものであっても良い。後者の場合、通信ネットワークに接続されたコンピュータや撮影装置等から通信インタフェース16を介して、画像データが画像表示装置10に取り込まれ、画像データ記憶部142に格納される。
[0033]
 次に、プロセッサ15の機能について説明する。プロセッサ15は、プログラム記憶部141に記憶された画像表示プログラムを読み込むことにより、画像データ記憶部142に格納された画像データを用いて、全天球の画像領域をユーザが鑑賞可能となるように表示部11に表示させる処理を実行する。ここで、上述したように、画像データ記憶部142には、少なくともいずれかの方位における画角が360°に満たない複数の画像の画像データが記憶されており、全方位の画角360°が写った全天球画像の画像データが記憶されているわけではない。本実施形態に係る画像表示装置10は、画角が360°に満たない複数の画像を組み合わせて、ユーザに全天球の画像領域を鑑賞させるものであり、プロセッサ15は、そのための画像表示の制御を行う。
[0034]
 図1に示すように、プロセッサ15が画像表示プログラムを読み込むことにより実現される機能部には、画像設定部151と、姿勢情報取得部152と、表示制御部153とが含まれる。
[0035]
 画像設定部151は、表示部11に表示される複数の画像の相対的な位置関係を設定する。詳細には、共通の点を中心とする天球面上の座標に複数の画像を関連付ける。ここで、これらの画像は、1つの方向における画角の合計が360°よりも大きいため、天球面上の一部の領域には、複数の画像が重畳される領域が発生する。画像設定部151は、このような領域における画像の重畳順序の初期設定も行う。
[0036]
 姿勢情報取得部152は、センサ部13から出力された検出信号に基づいて、画像表示装置10(即ちユーザ1の頭部)の姿勢情報を取得する。姿勢情報は、画像表示装置10の現在の向き(方位角)、傾き(仰角)、及び位置といった画像表示装置10の現在の状態に関する情報、及び、画像表示装置10の動静(静止しているのか、動いているのか、動いているとすればどの方向に移動又は回転しているのか)に関する情報を含む。
[0037]
 表示制御部153は、上記姿勢情報に応じて、画像データ記憶部142に画像データが記憶された複数の画像のうち、表示部11に表示させる領域を制御する。詳細には、表示制御部153は、表示範囲決定部154及び画像切替部155を含む。表示範囲決定部154は、姿勢情報取得部152により取得された姿勢情報に応じて、複数の画像のうち表示部11に表示させる領域を決定する。画像切替部155は、天球面上で複数の画像が重畳している領域に対し、姿勢情報に応じて重畳順序を設定する。
[0038]
 次に、画像表示装置10に表示される画像の撮影方法について説明する。図4A及び図4Bは、画像の撮影方法を説明するための模式図である。本実施形態においては、広角レンズ(又は超広角レンズ)や魚眼レンズ等を用いて、共通の撮影地点において互いに異なる方向を撮影することにより、複数の画像を取得する。撮影に用いるレンズの画角は特に限定されないが、人の視野範囲が左右に180°~200°(片側90°~100°)程度であることを考慮すると、画角を180°以上(人間の視界に概ね一度に入る範囲)とすることが好ましい。例えば、画角が200°~280°程度の魚眼レンズが取り付けられた又は搭載されたカメラを用いても良い。また、魚眼レンズや広角レンズが取り付けられた又は搭載されたスマートフォンを利用しても良い。この場合、撮影に用いたカメラを画像表示装置10としても利用できるので、画像データの転送の手間が省けて便利である。例えば、画角が180°程度の魚眼レンズであって、クリップ等によりスマートフォンに取り付けて使用するタイプの魚眼レンズも市販されている。
[0039]
 撮影を行う際には、カメラの向きを変えるときに視野の一部が重なるように、撮影方向や撮影回数を決定する。例えば、図4A、図4Bに例示するように、画角Aが約250°のカメラ3を用いる場合には、正反対の方向を順次撮影することにより、画像の端部の約70°の領域において視野が重なった2つの画像を取得することができる。別の例として、画角Aが約180°のカメラを用いる場合には、カメラの向きを概ね120°ずつ変えながら3回撮影を行えば良い。要は、複数回撮影を行うことにより生成された複数の画像によって全方位の被写体を漏れなくカバーでき、且つ隣接する画像間で視野の一部が重なっていれば良い。カメラの向きを変える際、正確な位置合わせは必須ではなく、多少ラフであっても良い。
[0040]
 また、撮影作業の観点からも、カメラの画角を180°以上、好ましくは180°よりも大きくすると良い。画角が180°以上である場合、撮影者が水平方向に回転する(例えば、前向きから後ろ向きになる)だけで、撮影者の頂点方向を含む全方位360°の被写体をカバーすることができる。これに対し、画角が180°未満である場合、撮影者が水平方向に回転するだけでは、撮影者の頂点方向とその反対方向に、撮影されない範囲が発生してしまう。そのため、この場合には、別途、頂点方向及びその反対方向並びにその周辺を撮影する必要が生じ、トータルの撮影回数が増えてしまうからである。
[0041]
 画像表示装置10に静止画を表示させる場合には、図4A、図4Bに例示するように、カメラ3の向きを変えて順次撮影を行えば良い。これに対し、画像表示装置10に動画を表示させる場合には、複数のカメラを1箇所に設置し、それぞれのカメラにより複数の方向を同時に動画撮影すれば良い。例えば画角Aが250°のカメラを用いる場合には、これらのカメラを2台、背中合わせとなるように設置し、正反対の領域を同時に動画撮影する。もちろん、複数のカメラを用いて、同時に静止画を撮影することとしても良い。
[0042]
 このように撮影することにより取得された画像データは、撮影を行ったカメラからケーブル等を介して画像表示装置10に直接入力するようにしても良いし、画像サーバ等に保存しておいても良い。後者の場合、画像表示装置10において画像を表示させるときに、通信ネットワークを介して画像データを画像表示装置10にダウンロードし、画像データ記憶部142に保存するようにしても良い。各画像の画像データには、位置データ(GPSデータ)や方角データが撮影時に付帯されるため、複数の画像間の相対的な位置情報も自動的に付与されている。
[0043]
 次に、画像表示装置10の動作について説明する。図5は、画像表示装置10の動作を示すフローチャートである。図6A及び図6Bは、画像の初期設定処理の一例を説明するための模式図である。図7A~図7Cは、本発明の第1の実施形態における画像の表示処理の一例を説明するための模式図である。以下においては、図4A及び図4Bに示すように、画角が約250°のカメラを用いて撮影された2つの画像を鑑賞する場合を例として説明する。
[0044]
 まず、ステップS101において、図6A及び図6Bに示すように、画像設定部151は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像m11、m12を、共通の点(中心点)P1を中心とする天球面C上の座標と関連付ける。言い換えると、複数の画像m11、m12内の各点に対し、方位角φ及び仰角θで表される天球面C上の極座標を割り当てる。図6A及び図6Bは、各方位における画角が約250°の2つの画像m11、m12が、天球面Cに関連付けられた状態を模式的に示している。このように、複数の画像m11、m12を天球面Cと関連付けることにより、複数の画像m11、m12内に任意に設定される基準点P2に対し、各画像m11、m12内の各点の相対的な位置関係を規定できるようになる。
[0045]
 ここで、基準点P2は、いずれかの画像の中心点であっても良いし、複数の画像m11、m12のうち特定の被写体が写った点であっても良い。例えば、住宅内が写った画像であれば玄関、博物館内が写った画像であれば目玉の展示物など、画像を鑑賞するユーザ1に最初に見て欲しい被写体や、ユーザに着目して欲しい被写体の像を基準点P2としても良い。なお、ステップS101の処理は、画像データ記憶部142に画像データを格納する際などに、予め行っておいても良い。
[0046]
 図6A及び図6Bに示すように、画角が約250°の2つの画像m11、m12を1つの天球面Cに関連付けると、画像の端部において2つの画像m11、m12が互いに重なり合う。このような重畳領域m13においても、画像m11、m12内の各点に、天球面C上の同じ座標が割り当てられる。
[0047]
 続くステップS102において、画像設定部151は、重畳領域m13における複数の画像m11、m12の重畳順序を設定する。初期設定としては、基準点P2を含む画像m11が、表層側(天球面Cの内側)となるように設定される。
[0048]
 続くステップS103において、画像設定部151は、画像m11、m12内の基準点P2を画像表示装置10の初期状態と関連付ける。即ち、画像表示装置10の現在の向きや傾きや位置を初期状態として、画像表示装置10の正面方向u(即ち、ユーザ1の視線方向)と、天球面Cの中心点P1から基準点P2に向かう方向u’とを一致させる。
[0049]
 続くステップS104において、表示制御部153は、表示部11における画像m11、m12の表示を開始させる。画像m11、m12のうち、表示部11に表示させる範囲(表示範囲)は、画像の表示形態によって適宜設定される。例えば、図3に示すような立体視用の画像を表示する場合には、一般的な人間の視界(左右方向に180°~200°程度、上下方向に130°程度)をカバーする範囲を表示部11の各領域11a、11bに表示させる。以下の説明においては、天球面Cの半分に相当する画角180°の範囲内の画像を表示部11に表示させるものとする。
[0050]
 画像の表示範囲Vとしては、画像表示装置10の正面方向uに対応する天球面C内の方向u’に位置する点、即ち、ユーザの視点に対応する点P3を中心に、画角180°の範囲が設定される。以下、ユーザの視点に対応する点P3のことをユーザ視点P3という。初期状態において、ユーザ視点P3は基準点P2と一致している。
[0051]
 続くステップS105において、姿勢情報取得部152は、画像表示装置10の姿勢情報を取得する。詳細には、姿勢情報取得部152は、センサ部13から出力された検出信号を取り込み、これらの検出信号に基づいて、画像表示装置10の向きや傾きや位置の変化を検知する。
[0052]
 続くステップS106において、表示範囲決定部154は、姿勢情報に基づいて画像の表示範囲を決定する。詳細には、表示範囲決定部154は、姿勢情報に応じてユーザ視点P3を移動させ、このユーザ視点P3を中心に表示範囲Vを決定する。例えば、図7Aに示すように、画像表示装置10が初期状態からΔφ1だけ時計方向に回転すると、表示範囲決定部154は、ユーザ視点P3を基準点P2から時計回りにΔφ1だけ移動させ、ユーザ視点P3を中心とする画角180°に含まれる画像の範囲を、表示範囲Vとして決定する。
[0053]
 続くステップS107において、画像切替部155は、画像表示装置10の姿勢情報と、画像m11、m12の位置関係とに基づいて、画像の重畳領域m13における重畳順序を決定する。例えば、図7Aに示すように、ユーザ視点P3において画像が重畳していない場合、画像切替部155は、ユーザ視点P3が位置する画像m11が表層側となるように、重畳領域m13における画像の重畳順序を決定する。
[0054]
 また、図7Bに示すように、画像表示装置10がさらに向きを変化させ、ユーザ視点P3において画像が重畳するようになった場合、画像切替部155は、ユーザ視点P3の移動方向の先に位置する画像(図7Bにおいては画像m12)が表層側となるように、画像の重畳順序を決定する。
[0055]
 画像切替部155が画像の重畳順序を決定した結果、重畳順序の変更が生じない場合(ステップS108:No)、表示制御部153は、ステップS106において決定された画像の表示範囲Vを表示部11に表示させる(ステップS109)。ここで、図7Aに示すように、ユーザ視点P3の近傍においては、重畳領域m13を含め、画像m11が連続的に表示されている。それに対し、ユーザ視点P3から見て時計回り方向における表示範囲Vの端部においては、重畳領域m13が終了し、画像m11から画像m12に変化する境界が存在する。しかし、人間の一般的な生理現象として、視界の端部における認識精度は、正面方向における認識精度と比べて大幅に低下しているので、視界の端部で異なる画像m11、m12間の境界が存在していたとしても、両画像m11、m12に写った被写体に大きな違いがなければ、ユーザはあまり違和感を憶えず、画像m11、m12を一体的な画像として認識し易い。従って、ユーザ1は、恰も全天球画像の一部を見ているような自然な感覚で、表示部11に写った画像m11、m12を認識することができる。
[0056]
 他方、画像切替部155が画像の重畳順序を決定した結果、重畳順序の変更が生じる場合(ステップS108:Yes)、画像切替部155は、重畳順序を変更する(ステップS110)。即ち、図7Bに示すように、ユーザ視点P3の移動方向の先に位置する画像m12を表層側に配置する。
[0057]
 その後、ステップS109において、表示制御部153は、変更後の重畳順序で、画像の表示範囲Vを表示部11に表示させる。ここで、図7Bにおいては、ユーザ視点P3からやや反時計回りに戻った位置に、画像m11と画像m12との境界が存在している。しかし、人間の一般的な生理現象として、頭部を動かしている間における視覚の認識精度は、頭部を停止させている場合における認識精度と比較して低下している。そのため、ユーザが頭部を動かしている間に、視界の中に異なる画像m11、m12間の境界が存在していたとしても、両画像m11、m12に写った被写体に大きな違いがなければ、ユーザはあまり違和感を覚えず、画像m11、m12を一体的な画像として認識し易い。それよりも、むしろ、ユーザが頭部を動かし終えた後で認識した画像において違和感が生じないように、現在のユーザ視点P3の位置と、ユーザ視点P3の移動方向の先とにおいて同じ画像が連続して表示されるように画像の重畳順序を決定している。
[0058]
 続くステップS111において、画像表示装置10は、画像表示を終了するか否かを判定する。例えば、操作入力部12に対し、画像表示を終了する操作や、画像表示装置10の電源をオフにする操作が行われた場合には、画像表示を終了すると判定される。画像表示を終了しない場合(ステップS111:No)、処理はステップS105に戻る。他方、画像表示を終了する場合(ステップS111:Yes)、画像表示装置10の動作は終了する。
[0059]
 ここで、表示制御部153は、画像表示装置10の向きや傾きの変化だけでなく、位置の変化に応じて画像の表示範囲Vを変化させても良い。例えば、図7Cに示すように、画像表示装置10が初期状態の位置Qから現在の位置Q’に移動した場合、表示制御部153は、画像表示装置10の位置の変化量及び変化の方向に基づいて、画像表示装置10の正面方向uに対応する天球面C内の方向u’の基点P1’の変位Δrを取得する。そして、移動後の基点P1’、及び、この基点P1’を出発点としたユーザ視点P3を中心として、画像の表示範囲Vを設定する。詳細には、図7Cに示すように、ユーザ1の動きに伴い、基点P1’とユーザ視点P3との距離が図7Bと比べて短くなった場合、画像の表示範囲Vも狭くなるので、この狭くなった表示範囲Vを表示部11の領域11a、11bいっぱいに拡大して表示することになる。それにより、ユーザは、被写体に近づいたような感覚を得ることができる。
[0060]
 以上説明したように、本発明の第1の実施形態においては、共通の撮影地点において互いに異なる方向を撮影することにより複数の画像を取得し、これらの画像のうち表示部11に表示させる表示範囲を、画像表示装置10の姿勢や位置の変化、即ち、ユーザの視線方向の変化に応じて変化させることにより、ユーザに全天球の画像領域を鑑賞させる。この際、複数の画像が重畳された重畳領域m13においては、ユーザの視線が移動している方向に応じて複数の画像m11、m12の重畳順序を切り替えるので、ユーザは、恰も一体化された全天球画像を見ているような自然な感覚で、画像を鑑賞することができる。
[0061]
 また、本実施形態によれば、複数の画像をスティッチングしたり、スティッチングを前提とした撮影時における精密な位置合わせ等が不要となるので、簡単且つ低コストで全天球の画像領域をユーザに鑑賞させることができる。
[0062]
 また、本実施形態によれば、全天球カメラを用いて全天球画像を一度に撮影する場合と異なり、撮影者が画像内に写り込むことはない。従って、撮影後に画像から撮影者を消去する作業が不要になる。
[0063]
 また、本実施形態によれば、撮影素子のスペック(画素数)が同程度である場合、全天球カメラを使用するときと比べて、表示部11に表示させる画像の画質を向上させることができる。具体的には、画角360°を一度に撮影する全天球カメラに対し、本実施形態においては、より狭い範囲(例えば画角250°)を撮影するため、相対的に高精細な画像を表示することが可能となる。
[0064]
 次に、本発明の第1の実施形態の変形例について説明する。図8A~図8Cは、本発明の第1の実施形態における画像の表示処理の変形例を説明するための模式図である。
[0065]
 上記第1の実施形態においては、画角が約250°のレンズが設けられたカメラを用いて2枚の画像を取得することとしたが、画角及び画像の枚数はこれに限定されない。例えば、図8A~図8Cに示すように、画角が180°の3つの画像m21、m22、m23を組み合わせて、全天球の画像領域を表示しても良い。この場合、画像m21と画像m22、画像m22と画像m23、及び画像m23と画像m21との間で、それぞれ重畳領域m24、m25、26が生じる。この場合においても、センサ部13から出力された検出信号に基づいて取得された姿勢情報に応じて、これらの画像m21、m22、m23のうち表示部11に表示させる表示範囲Vを決定すると共に、重畳領域m24、m25、m26における重畳順序を切り替えれば良い。具体的には、図8Aに示すように、ユーザ視点P3において画像が重畳していない場合、ユーザ視点P3に位置する画像m21の重畳順序が、重畳領域m24、m26において表層側となる。また、図8Bに示すように、ユーザ視点P3が重畳領域m24に位置し、且つ、基準点P2から遠ざかる方向に移動している場合には、ユーザ視点P3の移動方向の先にある画像m22が表層側となる。図8Cに示すように、ユーザ視点P3が重畳領域m26に位置し、且つ、基準点P2から遠ざかる方向に移動している場合には、ユーザ視点P3の移動方向の先にある画像m23が表層側となる。
[0066]
 次に、本発明の第2の実施形態について説明する。図9は、本発明の第2の実施形態に係る画像表示装置の概略構成を示すブロック図である。図9に示すように、本実施形態に係る画像表示装置20は、図1に示すプロセッサ15の代わりにプロセッサ21を備える。プロセッサ21以外の画像表示装置20の各部の構成及び動作は、上記第1の実施形態と同様である。
[0067]
 プロセッサ21が画像表示プログラムを読み込むことにより実現される機能部には、画像設定部151と、姿勢情報取得部152と、表示制御部211とが含まれる。このうち、画像設定部151及び姿勢情報取得部152の機能は、上記第1の実施形態と同様である。
[0068]
 表示制御部211は、表示範囲決定部212及び透明度調節部213を含む。表示範囲決定部212は、姿勢情報取得部152により取得された姿勢情報に応じて、複数の画像のうち表示部11に表示させる領域を決定する。透明度調節部213は、図6A、図6Bに示すように、複数の画像m11、m12を天球面Cに関連付けることにより生じる画像の重畳領域m13において、表層側(天球面Cの内側)に重畳された画像の透明度を、姿勢情報に応じて変化させる。
[0069]
 次に、画像表示装置20の動作について説明する。図10は、画像表示装置20の動作を示すフローチャートである。図11A~図11Dは、本発明の第2の実施形態における画像の表示処理の一例を説明するための模式図である。なお、本実施形態における画像の撮影方法は、第1の実施形態と同様である(図4A及び図4B参照)。また、図10のステップS101~S106における処理は、第1の実施形態と同様である(図5のステップS101~S106参照)。
[0070]
 ステップS106に続くステップS201において、透明度調節部213は、画像表示装置20の姿勢情報に応じて、画像の透明度を設定する。その後のステップS202において、表示制御部211は、ステップS106において決定された画像の表示範囲Vを表示部11に表示させる。
[0071]
 例えば、図11Aに示すように、ユーザ視点P3において画像が重畳していない場合、透明度調節部213は、ユーザ視点P3が位置する画像m11の重畳順序(ステップS102参照)が表層側であるか否かを判定する。そして、ユーザ視点P3に位置する画像m11が表層側である場合には、当該画像m11の透明度を0%にする。この場合、ユーザは、表示範囲V全体にわたって連続する画像m11を鑑賞することができる。
[0072]
 これに対し、図11Bに示すように、ユーザ視点P3が位置する画像m12の重畳順序が表層側でない場合、透明度調節部213は、重畳領域m13において、表層側の画像m11の透明度を100%にする。この場合、重畳領域m13においては、画像m11を透かして、奥側の画像m12が表示部11に表示される。従って、ユーザは、表示範囲V全体にわたって連続する画像m12を鑑賞することができる。
[0073]
 また、図11Cに示すように、ユーザ視点P3において画像が重畳している場合、透明度調節部213は、ユーザ視点P3の移動方向の先に位置する画像の重畳順序を判定する。例えば、図11Cに示すように、ユーザ視点P3が重畳領域m13に位置し、且つ、基準点P2から遠ざかる方向に移動している場合、この移動方向の先にある画像m12の重畳順序は表層側ではない。この場合、透明度調節部213は、当該重畳領域m13において、表層側の画像m11の透明度を100%にする。この場合、重畳領域m13においては画像m11が透けているため、ユーザは、現在の視線方向及び視線の移動方向の先において連続する画像m12を鑑賞することができる。
[0074]
 これに対し、図11Dに示すように、ユーザ視点P3が重畳領域m13に位置し、且つ、基準点P2に近づく方向に移動している場合、この移動方向の先にある画像m11の重畳順序は表層側である。この場合、透明度調節部213は、表層側の画像m11の透明度を0%にする。この場合、ユーザは、現在の視線方向及び視線の移動方向の先において連続する画像m11を鑑賞することができる。
[0075]
 次に、本発明の第3の実施形態について説明する。図12は、本発明の第3の実施形態に係る画像の表示例を示す模式図である。本実施形態に係る画像表示装置の構成及び動作は、上記第1又は第2の実施形態と同様であり(図1、図5、図9、図10参照)であり、表示部11に表示させる画像の表示態様が上記第1及び第2の実施形態と異なる。
[0076]
 上記第1及び第2の実施形態においては、ユーザに画像を立体視させるため、図3に示すように、表示部11に設けた2つの領域11a、11bに画像を表示させることとした。しかしながら、図12に示すように、表示部11の画面全体にパノラマ画像を表示させることとしても良い。
[0077]
 パノラマ画像を表示させる場合、表示制御部153、211は、上記第1及び第2の実施形態と同様に、センサ部13から出力された検出信号に基づいて取得した画像表示装置10、20の姿勢情報に応じて、複数の画像(例えば図6Aに示す画像m11、m12)のうち表示部11に表示させる表示範囲Vを決定しても良い。或いは、表示制御部153、211は、操作入力部12から入力された信号に応じて、上記表示範囲Vを決定することとしても良い。例えば、図12に示すように、ユーザが表示部11上に設けられたタッチパネルに対してスワイプ操作を行った場合、このスワイプ操作に応じた方向に、上記表示範囲Vをシフトさせても良い。別の例として、画像表示装置10としてデスクトップ型のパーソナルコンピュータを用いる場合、表示制御部153、211は、表示部11に表示されたアイコン等に対し、マウス等の入力デバイスを用いて対してなされたポインティング操作に応じて、表示範囲Vを変化させても良い。
[0078]
 本発明は、上記第1~第3の実施形態及び変形例に限定されるものではなく、上記第1~第3の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第1~第3の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記第1~第3の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。

符号の説明

[0079]
 1 ユーザ
 2 ホルダー
 3 カメラ
 10、20 画像表示装置
 11 表示部
 11a、11b 領域
 12 操作入力部
 13 センサ部
 14 記憶部
 15、21 プロセッサ
 16 通信インタフェース
 17 撮像部
 131 ジャイロセンサ
 132 加速度センサ
 133 GPSモジュール
 141 プログラム記憶部
 142 画像データ記憶部
 151 画像設定部
 152 姿勢情報取得部
 153、211 表示制御部
 154、212 表示範囲決定部
 155 画像切替部
 213 透明度調節部


請求の範囲

[請求項1]
 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを記憶する画像データ記憶部と、
 前記複数の画像のうちの少なくとも一部の範囲を表示可能な表示部と、
 ユーザの動作又はユーザによる操作に応じた情報を入力する情報入力部と、
 前記画像データに基づき、前記情報入力部から入力された情報に応じて、前記複数の画像のうち前記表示部に表示させる範囲である表示範囲を制御する表示制御部と、
を備える画像表示装置。
[請求項2]
 前記複数の画像に、共通の点を中心とする天球面上の座標を割り当てる画像設定部をさらに備え、
 前記画像設定部は、前記複数の画像のうち、前記天球面上の同一の座標が割り当てられた領域を有する2つの画像を、前記領域において所定の重畳順序となるように配置する、
請求項1に記載の画像表示装置。
[請求項3]
 前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域における前2つの画像の重畳順序を切り替える画像切替部を有する、請求項2に記載の画像表示装置。
[請求項4]
 前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域において表層側に重畳された画像の透明度を変化させる透明度調節部を有する、請求項2に記載の画像表示装置。
[請求項5]
 前記画像設定部は、前記複数の画像上における任意の基準点と、当該画像表示装置の初期状態とを関連付け、
 前記表示制御部は、当該画像表示装置の前記初期状態からの変化に応じて、前記表示範囲を、前記複数の画像に割り当てられた前記天球面上の座標の前記基準点に対する相対位置に基づいてシフトさせる、
請求項2~4のいずれか1項に記載の画像表示装置。
[請求項6]
 前記情報入力部は、当該画像表示装置の向き、傾き、若しくは位置の変化、又は、該変化の単位時間あたりの変化率の少なくともいずれかを検出するセンサである、請求項1~5のいずれか1項に記載の画像表示装置。
[請求項7]
 前記情報入力部は、前記表示部に対する操作に用いられるポインティングデバイスである、請求項1~6のいずれか1項に記載の画像表示装置。
[請求項8]
 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを取得するステップ(a)と、
 ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ(b)と、
 前記画像データに基づき、ステップ(b)において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ(c)と、
を含む画像表示方法。
[請求項9]
 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを取得するステップ(a)と、
 ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ(b)と、
 前記画像データに基づき、ステップ(b)において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ(c)と、
をコンピュータに実行させる画像表示プログラム。


補正された請求の範囲(条約第19条)
[ 2018年10月25日 ( 25.10.2018 )  国際事務局受理 ]

[1]
[補正後] 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを記憶する画像データ記憶部と、
 前記複数の画像のうちの少なくとも一部の範囲を表示可能な表示部と、
 ユーザの動作又はユーザによる操作に応じた情報を入力する情報入力部と、
 前記複数の画像の各々に、共通の点を中心とする天球面上の座標を割り当てると共に、前記複数の画像のうち、画像内の一部に前記天球面上の同一の座標が割り当てられた領域を有する2つの画像を、前記領域において所定の重畳順序となるように配置する画像設定部と、
 前記天球面上の座標が割り当てられた前記複数の画像のうちの所定範囲を、前記表示部に表示させる範囲である表示範囲として設定すると共に、前記情報入力部から入力された情報に応じて前記表示範囲を制御する表示制御部と、
 を備え、
 前記表示制御部は、前記情報入力部から入力された情報に応じて前記表示範囲を移動させると共に、前記2つの画像のうち、前記領域においてユーザに視認させる画像を、前記表示範囲が移動する方向に対応して変化させる、画像表示装置。
[2]
[削除]
[3]
[補正後] 前記表示制御部は、前記情報入力部から入力される情報に応じて、前記2つの画像の重畳順序を切り替えることにより、前記領域においてユーザに視認させる画像を、前記表示範囲が移動する方向に対応して変化させる、請求項1に記載の画像表示装置。
[4]
[補正後] 前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域において表層側に重畳された画像の透明度を変化させることにより、前記領域においてユーザに視認させる画像を、前記表示範囲が移動する方向に対応して変化させる、請求項1に記載の画像表示装置。
[5]
[補正後] 前記画像設定部は、前記複数の画像上における任意の基準点と、当該画像表示装置の初期状態とを関連付け、
 前記表示制御部は、当該画像表示装置の前記初期状態からの変化に応じて、前記表示範囲を、前記複数の画像に割り当てられた前記天球面上の座標の前記基準点に対する相対位置に基づいてシフトさせる、
請求項1、3、4のいずれか1項に記載の画像表示装置。
[6]
[補正後] 前記情報入力部は、当該画像表示装置の向き、傾き、若しくは位置の変化、又は、該変化の単位時間あたりの変化率の少なくともいずれかを検出するセンサである、
請求項1、3~5のいずれか1項に記載の画像表示装置。
[7]
[補正後] 前記情報入力部は、前記表示部に対する操作に用いられるポインティングデバイスである、請求項1、3~6のいずれか1項に記載の画像表示装置。
[8]
[補正後] 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを取得するステップ(a)と、
 ユーザの動作又はユーザによる操作に応じた情報を入力するステップ(b)と、
 前記複数の画像の各々に、共通の点を中心とする天球面上の座標を割り当てると共に、前記複数の画像のうち、画像内の一部に前記天球面上の同一の座標が割り当てられた領域を有する2つの画像を、前記領域において所定の重畳順序となるように配置するステップ(c)と、
 前記天球面上の座標が割り当てられた前記複数の画像のうちの所定範囲を、前記表示部に表示させる範囲である表示範囲として設定すると共に、ステップ(b)において入力された情報に応じて前記表示範囲を制御するステップ(d)と、
を含み、
 ステップ(d)は、ステップ(b)において入力された情報に応じて前記表示範囲を移動させると共に、前記2つの画像のうち、前記領域においてユーザに視認させる画像を、前記表示範囲が移動する方向に対応して変化させる、画像表示方法。
[9]
[補正後] 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が360°に満たない画像であり、1つの方向における画角の合計が360°よりも大きい複数の画像を表す画像データを取得するステップ(a)と、
 ユーザの動作又はユーザによる操作に応じた情報を入力するステップ(b)と、
 前記複数の画像の各々に、共通の点を中心とする天球面上の座標を割り当てると共に、前記複数の画像のうち、画像内の一部に前記天球面上の同一の座標が割り当てられた領域を有する2つの画像を、前記領域において所定の重畳順序となるように配置するステップ(c)と、
 前記天球面上の座標が割り当てられた前記複数の画像のうちの所定範囲を、前記表示部に表示させる範囲である表示範囲として設定すると共に、ステップ(b)において入力された情報に応じて前記表示範囲を制御するステップ(d)と、をコンピュータに実行させ、
 ステップ(d)は、ステップ(b)において入力された情報に応じて前記表示範囲を移動させると共に、前記2つの画像のうち、前記領域においてユーザに視認させる画像を、前記表示範囲が移動する方向に対応して変化させる、画像表示プログラム。

条約第19条(1)に基づく説明書
 請求の範囲第1、8、9項に対する補正は、出願時における請求の範囲第2項、明細書の段落0035、0037、0044、0046、0047、0049、0052~0057、0059、0060、0070~0074、及び0077、並びに、図1、図7A~図7C、図8A~図8C、及び図11A~図11D等の記載に基づくものである。
 上記補正に伴い、補正前の請求の範囲第2項を削除すると共に、請求の範囲第3~7項において引用する請求項の項番を改めた。
 請求の範囲第3項に対する補正は、出願時における明細書の段落0053~0057及び0060、並びに、図7A~図7C及び図8A~図8C等の記載に基づくものである。
 請求の範囲第4項に対する補正は、出願時における明細書の段落0070~0074及び図11A~図11D等の記載に基づくものである。
 上記補正により、本願発明が、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像の各々に、共通の点を中心とする天球面上の座標を割り当てると共に、複数の画像のうち、画像内の一部に天球面上の同一の座標が割り当てられた領域を有する2つの画像を、該領域において所定の重畳順序となるように配置し、天球面上の座標が割り当てられた複数の画像のうちの所定範囲を表示部における表示範囲として設定し、情報入力部から入力された情報に応じて表示範囲を移動させると共に、上記2つの画像のうちユーザに視認させる画像を、表示範囲が移動する方向に対応して変化させるものであることを明確にした。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4A]

[ 図 4B]

[ 図 5]

[ 図 6A]

[ 図 6B]

[ 図 7A]

[ 図 7B]

[ 図 7C]

[ 図 8A]

[ 図 8B]

[ 図 8C]

[ 図 9]

[ 図 10]

[ 図 11A]

[ 図 11B]

[ 図 11C]

[ 図 11D]

[ 図 12]