処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2005032125 - パノラマ画像作成装置及びパノラマ画像撮影装置

注意: このテキストは、OCR 処理によってテキスト化されたものです。法的な用途には PDF 版をご利用ください。

[ JA ]
明 細書

パノラマ画像作成装置及びパノラマ画像撮影装置

技術分野

[0001] 本発明は、パノラマ画像作成装置及びパノラマ画像撮影装置に関し、特に、動画 像から静止画像を作成し、作成した静止画像の中から広視野角のパノラマ画像に合 成するための合成用の静止画像を画面表示しながら選択することによりパノラマ画像 に合成するパノラマ画像作成装置、及び、動画像を撮影する撮影手段を有するパノ ラマ画像撮影装置に関する。

背景技術

[0002] 従来のパノラマ画像の撮影機能を有するパノラマ画像撮影装置としては、複数の静 止画像からパノラマ画像を作成するものと、動画像からパノラマ画像を作成するものと の 2種類の装置がある。

静止画像からパノラマ画像を作成する従来技術としては、特許文献 1に示す「カメラ のノ Vラマ撮影制御装置」に記載されているように、 2枚の撮影画像を横方向に合成 してパノラマ画像を作成する場合、 1枚目の画像を撮影した後で 2枚目の画像の撮影 をアシストするために、例えば 1枚目の画像の右側に 2枚目の撮影画像をつなぐ場合 であれば、撮影操作画面上において 1枚目に撮影した画像を左方向にシフトして、 2 枚目の画像の左側部分と繋がるべき右側の一部を撮影操作画面上に残した状態で 画面表示して、 2枚目の画像の撮影位置を容易にする方法や、あるいは、特許文献 2に示す「カメラ装置及び撮像方法」のように、 1枚目に撮影した画像全体を画面上の 一部を構成する別枠 (別ウィンドウ)に画面表示することにより、ノ Vラマ化したときの 画像を確認しながら、 2枚目の画像を撮影する際に適切な角度にアングル付けを行 なうことができる方法などが提案されて!、る。

[0003] また、動画像からパノラマ画像を作成する従来技術としては、特許文献 3に示す「画 像合成装置、画像合成方法が記録された記録媒体」に記載されているように、パンニ ングしながら撮影することにより、動画像として取り込まれた各フレーム画像 (各コマ) 力 自動的に選択された 2枚のフレーム画像 (コマ)を比較して移動量を求めることに より、それぞれのフレーム画像の合成すべき位置を判別して、リアルタイムあるいは撮 影後に自動的にパノラマ合成する方法が提案されて、る。

特許文献 1:特開平 5- 142682号公報

特許文献 2:特開平 11-75108号公報

特許文献 3:特開 2000—244814号公報

発明の開示

発明が解決しょうとする課題

[0004] しカゝしながら、静止画像を撮影しパノラマ画像を合成する従来技術にっヽては、撮 影時に、ノ Vラマ合成し易いように、特別な撮影方法を必要とするため、かかる特別 な撮影方法を予め習得する必要がある。また、撮影に時間を要するため、撮影対象 物の状態が変わってしま、、所望のパノラマ画像が得られな、場合がある。

[0005] また、動画像を用いてパノラマ画像の合成を行なう従来技術にっ、ては、リアルタイ ムあるいは撮影後に自動合成を行なう方式が採られているため、合成時に、パノラマ 画像として合成させるべき適切な画像の組み合わせを選択することができず、所望の 画像につ、て画像合成を行なうことができなヽと、う問題が生じてしまう。

[0006] 本発明は、力かる事情に鑑みてなされたものであり、動画像の各コマに該当する静 止画像を作成し、作成された各静止画像の中から、操作者が最適なパノラマ合成用 の 2枚の静止画像を、画面に表示させながら任意に手動で選択し、選択された 2枚の 静止画像の位置合わせを行なうことにより、広視野角のノ Vラマ画像に合成するため の所望の静止画像を任意の組み合わせで選択可能とし、かつ、精度の高いパノラマ 画像を容易に得ると共に、なおかつ、パノラマ画像に合成するための所望の画像を 含む撮影対象物を動画像として撮影を行なうことにより、ノ Vラマ合成用の画像を取 得する撮影方法を容易化することを目的として!、る。

課題を解決するための手段

[0007] 第 1の技術手段は、ノ Vラマ画像作成装置において、動画像の各コマに該当する それぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された 複数枚の前記静止画像の中から、任意の 2枚の静止画像を選択する選択手段と、該 選択手段により選択された前記 2枚の静止画像をそれぞれ縮小あるいは拡大させ、 かつ、該 2枚の静止画像それぞれの一部を互いに重複させて配置して、 2つのウィン ドウからなる 2画面として表示する 2画面画像を作成する 2画面画像処理手段と、該 2 画面画像処理手段により作成された前記 2画面画像の中から、パノラマ画像とすべき 2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択 された前記 2画面画像を 1枚の画像に合成して、パノラマ画像を作成するパノラマ画 像処理手段と、前記静止画像あるヽは前記 2画面画像ある、は前記パノラマ画像を 画面表示する画像表示手段と、前記静止画像及び Z又は前記パノラマ画像を蓄積 する記録媒体とを備えて、ることを特徴として、る。

[0008] 第 2の技術手段は、前記第 1の技術手段に記載のパノラマ画像作成装置において 、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動 画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先 頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する画 像として、前記動画像の先頭コマに後続する各コマに該当するいずれ力壬意の静止 画像を選択することができることを特徴として、る。

[0009] 第 3の技術手段は、前記第 1の技術手段に記載のパノラマ画像作成装置において 、前記選択手段が、選択する前記 2枚の静止画像のうち、画面の一方のウィンドウに 画面表示する画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、 反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後 続する各コマに該当するいずれか任意の静止画像を選択することができることを特 徴としている。

[0010] 第 4の技術手段は、前記第 1乃至第 3の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記選択手段が、前記動画処理手段により作成された複数 枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の 前記静止画像を、予め定められた所定のコマ数分の静止画像枚数カゝらなる複数の 画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像 を飛び飛びに順次選択して、前記 2画面画像処理手段により前記 2画面画像として 画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群 を選択画像候補群として選択した後、該選択画像候補群の中、及び Z又は、該選択 画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記

2画面画像処理手段により前記 2画面画像として画面表示し、前記パノラマ画像選択 手段が、パノラマ画像とすべき前記 2画面画像を選択することができることを特徴とし ている。

[0011] 第 5の技術手段は、前記第 1乃至第 4の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記 2画面画像処理手段が、前記選択手段により選択された 2枚の静止画像からなる前記 2画面画像を作成する際に、及び Z又は、前記パノラマ 画像選択手段によりパノラマ画像とすべき前記 2画面画像が選択された際に、前記 2 画面画像を構成する 2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位 置を、上下左右の任意の方向に移動又は回転させることができることを特徴としてヽ る。

[0012] 第 6の技術手段は、前記第 1乃至第 5の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記パノラマ画像処理手段が、前記 2画面画像を合成してパ ノラマ画像を作成する際に、前記 2画面画像を構成する 2枚の静止画像の互いの重 複部分に対してスムージング処理を施すことができることを特徴としている。

[0013] 第 7の技術手段は、前記第 1乃至第 6の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記パノラマ画像処理手段が、前記 2画面画像を合成して前 記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表 示手段に画面表示するスクロール画像として作成することができることを特徴としてい る。

[0014] 第 8の技術手段は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮 影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を 用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えた ノ Vラマ画像撮影装置にぉヽて、パノラマ画像を作成する前記パノラマ画像作成手 段として、前記第 1乃至第 7の技術手段のいずれかに記載のパノラマ画像作成装置 を備えて、ることを特徴として、る。

発明の効果

[0015] 以上のごとき各技術手段力構成される本発明によれば、以下のような効果が得ら れる。即ち、ノ Vラマ画像として合成する所望の静止画像を得るための手段として、 動画像の各コマに該当する静止画像を作成し、作成された各静止画像のうち、選択 された 2枚の静止画像を縮小あるいは拡大して 1つの画面内に 2画面画像として 2つ のウィンドウにそれぞれ順次画面表示しながら、パノラマ画像として合成すべき所望 の 2枚の静止画像を手動で選択することにより、ノ Vラマ画像として合成することが可 能であり、容易に所望のノ Vラマ画像を得ることができる。

[0016] また、ノ Vラマ画像として合成すべき互、の静止画像の位置が最適ではな、場合、 最適となる位置まで互いの静止画像の拡大 '縮小、左右上下方向への移動又は回 転を行なうことにより、互いの静止画像の位置合わせをしたり、更には、互いの重複 部分の画像のスムージング処理を施すことが可能であり、精度がより高いパノラマ画 像を得ることができる。

[0017] また、合成したパノラマ画像を画面上で確認する際に、縮小表示をしなければ 1つ の画面全体では表示し切れな、場合であっても、スクロール画像としてスクロール表 示を行なうことが可能であり、パノラマ画像を縮小することなく確認することができる。

[0018] なおかつ、ノ Vラマ画像に合成すべき画像を、カメラなどの動画撮影手段を用いて 動画像として撮影を行なって取得することが可能であり、ノ Vラマ合成用の画像の撮 影方法を容易化することができる。

図面の簡単な説明

[0019] [図 1]本発明に係るノ Vラマ画像撮影装置のブロック構成の要部を示すブロック構成 図である。

[図 2]本発明に係るパノラマ画像撮影装置において画像表示部に画面表示されるパ ノラマ画像の画面構成方法の一例を説明するための模式図である。

[図 3]動画像の各コマに該当する静止画像列の中から 2枚の静止画像を選択して、 画像表示部に左右に配置して表示する様子を示す模式図である。

[図 4]パノラマ左画像とパノラマ右画像との上下位置を揃えて、ノ Vラマ画像として画 像表示部に表示する様子を説明するための模式図である。

[図 5]静止画像列の中からパノラマ画像に合成すべき任意の 2枚の静止画像を選択 する優先順序の一例を示す模式図である。

[図 6]カメラで撮影した動画像の各コマに該当する静止画像列の中からパノラマ画像 を作成する場合において、パノラマ画像作成用の 2枚の静止画像を選択し、かつ、両 者の静止画像の位置合わせを行なって、ノ Vラマ画像を作成する場合の前半部の処 理手順の一例を示すフローチャートである。

[図 7]図 6の処理に続く中間部の処理手順の一例を示すフローチャートである。

[図 8]図 6の処理に更に続く後半部の処理手順の一例を示すフローチャートである。 発明を実施するための最良の形態

[0020] 本発明に係るパノラマ画像作成装置は、動画像の各コマに該当するそれぞれの静 止画像を作成する動画処理手段と、該動画処理手段により作成された静止画像の 中から、任意の 2枚の静止画像を選択する選択手段と、該選択手段により選択された 2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、 2枚の静止画像それぞれ の一部を互いに重複させて配置して、 2つのウィンドウからなる 2画面として表示する 2 画面画像を作成する 2画面画像処理手段と、該 2画面画像処理手段により順次作成 された前記 2画面画像の中から、パノラマ画像とすべき 2画面画像を選択するパノラ マ画像選択手段と、該パノラマ画像選択手段により選択された前記 2画面画像を 1枚 の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画 像あるいは前記 2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段 と、前記静止画像及び Z又は前記パノラマ画像を蓄積する記録媒体とを備えて、る ことを特徴とし、もって、容易に所望のパノラマ画像を得ることができる。

[0021] 更に、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、 前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位 置する先頭コマに該当する静止画像を、あるいは、前記記録媒体に蓄積された前記 パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、 前記動画像の先頭コマに後続するコマに該当するいずれか任意の静止画像を選択 することができることを特徴とし、もって、より容易に所望のノ Vラマ画像を得ることが できる。

[0022] また、前記 2画面画像処理手段が、前記選択手段により選択された 2枚の静止画像 からなる前記 2画面画像を作成する際に、及び Z又は、前記パノラマ画像選択手段

によりパノラマ画像とすべき前記 2画面画像が選択された際に、前記 2画面画像を構 成する 2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左 右の任意の方向に移動又は回転させることができることを特徴とし、もって、精度がよ り高いパノラマ画像を得ることができる。更に、前記パノラマ画像処理手段が、前記 2 画面画像を合成してパノラマ画像を作成する際に、前記 2画面画像を構成する 2枚 の静止画像の互いの重複部分に対してスムージング処理を施すことができ、また、前 記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール 画像として作成することができることを特徴とし、もって、精度が高いパノラマ画像を得 ると共に、パノラマ画像を縮小することなく確認することができる。

[0023] また、本発明に係るパノラマ画像撮影装置は、動画像を撮影する撮影手段を備え、 更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して 、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノ ラマ画像作成手段を備えたパノラマ画像撮影装置にぉ、て、パノラマ画像を作成す る前記パノラマ画像作成手段として、前述したごときパノラマ画像作成装置を備えて いることを特徴とし、もって、ノ Vラマ合成用の画像を取得するための画像撮影方法 を容易化することができる。

[0024] 以下に、本発明に係るパノラマ画像作成装置及びパノラマ画像撮影装置の実施形 態の一例について、ノ Vラマ画像撮影装置を例にとって、図面を参照しながら説明 する。図 1は、本発明に係るノ Vラマ画像撮影装置のブロック構成の要部を示すプロ ック構成図である。

図 1に示すパノラマ画像撮影装置 10において、撮影手段であるカメラ 1が撮影した 動画像の各コマは順次取り込まれて、ノッファメモリ 2に一時的に格納される。しかる 後、動画処理部 3により、動画像の各コマに該当する静止画像がそれぞれ作成され て、時系列に配列された静止画像列として作業用メモリ 4に格納される。作業用メモリ 4に格納された静止画像列と、静止画像の選択手段を構成するキー入力部 6からの 入力データとにより、パノラマ画像として合成する候補の 2枚の静止画像が順次選択 されて、画像処理部 5の 2画面画像処理部 5aにおいて、選択された 2枚の静止画像 をそれぞれ表示する 2つのウィンドウからなる 2画面表示用の 2画面画像が作成され て、画像表示部 7に表示される。

[0025] ここで、キー入力部 6の左右ボタン 6b, 6cは、作業用メモリ 4に格納されている静止 画像列の中から、任意の 2枚の静止画像を選択する選択手段を構成しており、左右 ボタン 6b, 6cのいずれかを操作することにより、作業用メモリ 4の静止画像が順次選 択されて画像表示部 7に 2画面画像として画面表示されていき、パノラマ画像とすべ き 2画面画像を選択するパノラマ画像選択手段を構成するキー入力部 6の OKボタン 6aの操作により、ノ Vラマ画像として合成すべき 2枚の静止画像が選択される。選択 された 2枚の静止画像は、画像処理部 5のパノラマ画像処理部 5bにおいて、 1枚の ノ Vラマ画像として合成されて、画像表示部 7に画面表示されると共に、操作者の確 認が得られたことを示すキー入力部 6の操作により、合成されたパノラマ画像は記録 媒体 8に蓄積される。

[0026] また、キー入力部 6の図示していないキー操作により、画像処理部 5の 2画面画像 処理部 5aにおいては、ノ Vラマ画像として合成する対象となる静止画像として、パノ ラマ画像処理部 5bによりー且作成されて記録媒体 8に蓄積されているパノラマ画像 を再度読み出して、該パノラマ画像に対して作業用メモリ 4に格納された、ずれかの 静止画像を更に合成させることにより、 2枚以上の複数枚の静止画像力もなるノ Vラ マ画像を合成することも可能である。

[0027] 更に、画像処理部 5の 2画面画像処理部 5aにおいては、パノラマ画像として画像合 成する 2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立つ て、キー入力部 6の左右上下キー 6b, · · ·, 6eを操作することにより、 2画面画像処理 部 5aの上下左右移動処理部 5aを駆動して、 2枚の静止画像のいずれでも任意の方 向に静止画像の位置を移動させて、互、の画像位置を揃えるように調整することが できる。

[0028] 同様に、画像処理部 5の 2画面画像処理部 5aにおいては、ノ Vラマ画像として画像 合成する 2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立 つて、キー入力部 6の左回転ボタン 6f,右回転ボタン 6gを操作することにより、 2画面 画像処理部 5aの左右回転処理部 5a 2を駆動して、 2枚の静止画像のいずれでも任 意の方向に静止画像の位置を回転させて、互ヽの画像位置を揃えるように調整する

ことができる。

[0029] 更には、画像処理部 5の 2画面画像処理部 5aにおいては、ノ Vラマ画像として画像 合成する 2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立 つて、キー入力部 6の拡大ボタン 6h,縮小ボタン 6iを操作することにより、 2枚の静止 画像のいずれでも、任意の大きさの画像サイズに拡大 *縮小して互いの画像サイズを 揃えるように調整することができる。

[0030] また、 2枚の静止画像に対する前述のような移動や回転あるいは拡大 ·縮小の操作 は、作業用メモリ 4の静止画像列の中からパノラマ画像の選択候補として 2枚の静止 画像を順次選択して、 2つのウィンドウにそれぞれ表示する 2画面画像を作成する際 においても、画像処理部 5の 2画面画像処理部 5aにおいて、全く同様に実施させるこ とが可能である。

[0031] 更に、画像処理部 5のパノラマ画像処理部 5bにおいては、パノラマ画像を画像合 成する際に、 2画面画像として 2枚の静止画像の互いに重複した画像部分に対して、 パノラマ画像処理部 5bのスムージング処理部 5bを駆動して、互いの静止画像間の スムージング処理を施し、ノ Vラマ画像としての合成画像の不自然さを除去すること ができる。更に、画像処理部 5のノ Vラマ画像処理部 5bにおいては、パノラマ画像を 画像合成する際に、キー入力部 6に図示していないキー操作により、パノラマ画像処 理部 5bのスクロール画像作成部 5b 2を駆動して、ノ Vラマ画像として元の静止画像サ ィズのまま縮小しな、状態のスクロール画像として作成して、画像表示部 7にスクロー ル画面表示を行なうことができる。

[0032] なお、図 1に示す記録媒体 8には、パノラマ画像処理部 5bにより作成されたパノラマ 画像を蓄積する以外に、作業用メモリ 4に格納されている静止画像を蓄積することが 可能であり、更には、場合によっては、ノッファメモリ 2に格納されている動画像を蓄 積することを可能としても良い。また、画像表示部 7は、 2画面画像処理部 5aにより作 成された 2画面画像を 2つのウィンドウにそれぞれ画面表示したり、パノラマ画像処理 部 5bにより作成されたパノラマ画像を画面表示したりする以外に、作業用メモリ 4に格 納されて、る静止画像や記録媒体 8に蓄積されて、るノ Vラマ画像あるいは静止画 像を再生して画面表示することも可能であり、更には、場合によっては、ノッファメモリ 2に格納されてヽる動画像を画面表示することを可能としても良!ヽ。

[0033] 次に、本発明に係るパノラマ画像撮影装置 10の具体的な動作について更に詳細 に説明する。まず、図 2は、本発明に係るパノラマ画像撮影装置 10において画像表 示部 7に画面表示されるノ Vラマ画像の画面構成方法の一例を説明するための模式 図である。

図 2に示すように、画面構成方法としては、 2枚の静止画像をパノラマ画像の形式に 構成する場合、画像処理部 5の 2画面画像処理部 5aにより、 2枚の静止画像をそれ ぞれ縮小して例えばパノラマ左画像 21、ノ Vラマ右画像 22のように、 2つのウィンドウ を左右に並べて配置して、ノ Vラマ左画像 21の右側領域の一部と、ノ Vラマ右画像 2 2の左側領域の一部とが重複領域 23において互いに重なり合うように、 2つのウィンド ゥを配置する。ここに、該重複領域 23の大きさは、ノ Vラマ合成アルゴリズムに応じて 最適の大きさに予め決定しておく。

[0034] 図 3は、図 2に示す画面構成方法を用いて、動画像の各コマから作成された静止画 像列の中から 2枚の静止画像を選択して、画像表示部 7に左右に配置して表示する 様子を示す模式図である。

図 3において、 31は、カメラ 1により連続的に撮影された動画像の各コマに該当する 静止画像として動画処理部 3により変換されて、作業用メモリ 4に時間軸上に並べら れて格納されている静止画像列を示し、 32は、静止画像列 31の中から任意の 2枚の 静止画像 31a, 31bを選択して、画像表示部 7に表示した 2画面画像を示している。 図 3の 2画面画像の表示例においては、静止画像列 31の最も先頭の静止画像 31a 力 Sパノラマ左画像 21として選択されて、しかる後に、静止画像列 31の中から、ノ Vラ マ右画像 22として表示する静止画像 3 lbが選択される。

[0035] この時、前述したように、パノラマ左画像 21として表示する静止画像を、作業用メモ リ 4に格納されている静止画像列 31の中力も選択する代わりに、該静止画像列 31の 中の所望の静止画像をパノラマ画像として画像合成して一旦記録媒体 8に蓄積した 後、蓄積されている該パノラマ画像を選択することも可能であり、該パノラマ画像を選 択した場合、記録媒体 8から再度読み出して、静止画像列 31の静止画像との間、あ るいは、ノ Vラマ画像同士の間で画像合成して、新たなパノラマ画像を作成すること ちでさる。

[0036] また、前述の説明においては、静止画像列 31の最も先頭の静止画像 31aあるいは 記録媒体 8に蓄積されたパノラマ画像をパノラマ左画像 21として画面左側に画面表 示する例について説明した力本発明においては、かかる場合のみに限ることなぐ 動画像の撮影開始位置が右側から左側方向にパンニングして撮影されるような場合 には、静止画像列 31の最も先頭の静止画像 31aあるいは記録媒体 8に蓄積された パノラマ画像をパノラマ右画像 22として画面右側に画面表示し、しかる後に、静止画 像列 31の中から、パノラマ左画像 21として表示する静止画像を選択するようにしても 良い。

[0037] 図 4は、図 2に示す画面構成方法において、ノ Vラマ左画像とパノラマ右画像との 上下位置を揃えて、パノラマ画像として画像表示部 7に表示する様子を説明するため の模式図であり、図 4 (A)が、図 3の静止画像列 31の中から任意に選択された 2つの 静止画像 31a, 31bを示し、静止画像 31a, 31bの互いの上下位置が揃っていない 場合を示しており、図 4 (B)が、選択された 2つの静止画像 31a, 31bの上下位置を 揃えて画像合成したパノラマ画像 32を画像表示部 7に画面表示している様子を示し ている。図 4 (B)に示すように、最初に静止画像 31aを選択して画面左側に表示され ているノ Vラマ左画像 21に対して、後から選択された静止画像 3 lbの上下位置を揃 えるために、静止画像 31bを上方向に移動させながら、互いの画像が重なり合う重複 領域 23を利用して、ノ Vラマ左画像 21と画像が重なり合う位置まで移動させている 様子を示している。なお、図 4においては、 2枚の静止画像 31a, 31bの上下方向の 位置合わせを行なう様子を説明した力前述のように、 2枚の静止画像 31a, 31bの 左右方向の位置を合わせたり、あるいは、 2枚の静止画像 31a, 31bの回転方向の位 置を合わせたりすることも同様に可能である。

[0038] 一般に、動画像の撮影方法としては、例えばパノラマ画像として表示した、左端の 位置 (場合によっては、右端の位置であっても良い)にカメラ 1のファインダを合わせ て、撮影を開始し、動画像として、右に (場合によっては、左に)パンユングさせながら 撮影を行なう。カゝくのごとき撮影の際には、カメラ 1がぶれたりして、動画像として連続 して撮影された各コマに該当する静止画像の上下位置がずれる場合がある。従って

、本発明に係るパノラマ画像撮影装置 10においては、キー入力部 6を用いて、ノ Vラ マ画像 32として表示する 2枚の静止画像 31a, 3 lbを動画像データ即ち静止画像列 31の中力も選択した後に、更に、キー入力部 6を用いて、図 4に示すように、 2枚の静 止画像の上下位置の位置合わせを行なう仕組みを有している。更には、図 4には示 していないが、前述のように、 2枚の静止画像の左右方向の位置合わせや左右の回 転位置に関する位置合わせを行なうことも可能である。

[0039] 図 5は、静止画像列 31の中からパノラマ画像に合成すべき任意の 2枚の静止画像 31a, 3 lbを選択する優先順序の一例を示す模式図である。

図 5においては、カメラ 1により撮影された動画像の各コマに該当する静止画像列 3 1のうち、ノ Vラマ画像 32として表示する際に、画面の左側のパノラマ左画像 21とし て表示する静止画像 3 laは、カメラ 1により撮影を開始した最も先頭の静止画像 Aに 固定されており、ノ Vラマ右画像 22として、先頭の静止画像 Aに続くどの静止画像を 選択するかを操作者に選択させる優先順序を説明している。

[0040] ここで、先頭の静止画像 Aの次に位置する静止画像 Al, A2,…と 1コマずつ逐次 表示して、操作者に選択させるような優先順序を用いた場合、所望の静止画像を得 るまでに時間が力かるので、静止画像列 31を、予め定められた所定のコマ数分の静 止画像枚数力もなる複数の画像候補群に分割して、各画像候補群のコマ数を示す スキップコマ数 aとして予め設定されているコマ数だけ静止画像の枚数を大きくスキ ップして、各画像候補群の先頭の静止画像を、静止画像 B、静止画像 C、…と飛び飛 びにまず表示していく方法を採用している。即ち、操作者は、例えばキー入力部 6の 左ボタン 6b又は右ボタン 6cを予め定めた所定時間以上に及ぶ長押し操作をすること により、スキップコマ数 αずつ飛び飛びに表示されてくる静止画像 B, C…の中から、 ノ Vラマ左画像 21として表示されている先頭の静止画像 Αのパノラマ画像相手として 所望する静止画像の近傍にあることを示す近似した静止画像を操作者が検出した際 に、該近似した静止画像が属する画像候補群を選択画像候補群として決定する。

[0041] 次いで、決定された該選択画像候補群の中、及び Z又は、該選択画像候補群に 隣接する隣接画像候補群の中に存在して!/、る前記スキップコマ数 a分の各静止画 像を 1コマずつ順次選択して画面表示させるために、操作者は、キー入力部 6を操作 して、例えばキー入力部 6の左ボタン 6b又は右ボタン 6cを予め定めた所定時間より も短い単押し操作をすることにより、該選択画像候補群及び Z又は隣接画像候補群 の中に存在して、る静止画像を 1コマずつ順次表示して、く 1コマ逐次表示指示を 入力する。

[0042] 1コマ逐次表示指示が入力されると、現在画像表示部 7の右側に画面表示されて V、る飛び飛び表示の静止画像の近傍に位置して!/、る静止画像が 1コマずつ逐次表 示されていくことにより、パノラマ右画像 22として所望する最適の静止画像を迅速に 選択することができる。ここで、図 5は、スキップコマ数 αずつ飛び飛びに選択して画 面表示していくことにより、ノ Vラマ左画像 21の相手の静止画像に近似している近似 静止画像が検出された後、該近似静止画像が属する画像候補群として選択された 選択画像候補群及び Ζ又は隣接画像候補群の中から 1コマずつ画面表示していく 近傍の静止画像として、選択画像候補群及び,又は隣接画像候補群にそれぞれ属 する静止画像枚数即ちスキップコマ数 exが示す静止画像枚数分だけ左右!/ヽずれか の方向に順次選択して画面表示して、く例を示して、る。

[0043] 図 5に示す例にぉヽては、近傍に位置してヽるとして選択された飛び飛び表示の 静止画像 Cが含まれている選択画像候補群に隣接する一つ前の隣接画像候補群 Β , B1 , · · · , Β5に遡って、所望の静止画像を選択する場合の例を示しており、一つ前 の隣接画像候補群の中から、最後の静止画像 Β5から逆送り即ち左方向に静止画像 Βまで遡って順次 1コマずつ画面表示する場合を示している。即ち、図 5に示す例に ぉ ヽては、飛び飛び表示の静止画像として所望静止画像の近傍に位置してヽるとさ れる静止画像が、選択画像候補群の先頭の静止画像 Cであり、各画像候補群の静 止画像枚数を示すスキップコマ数 αが 6コマの場合を例示している。ここで、所望の 静止画像に近似している静止画像 Cが検出された後、該静止画像 Cが属する選択画 像候補群に隣接する一つ前の隣接画像候補群の中に所望の静止画像が存在して いるものと判断されて、 1コマ逐次表示指示として、例えば、キー入力部 6の左ボタン 6bの単押しが入力されると、鍵カツコ付きの番号 2, 3, 4, 5, 6, 7に示すように、隣接 画像候補群の最後尾の 6コマ目に位置する静止画像 B5から順次遡って B4, B3, B 2, Bl , Bと所望の静止画像が得られるまで 1コマずつ逆送りに選択されて画面表示 されてくる場合を示している。

[0044] 図 6乃至図 8は、図 1に示すカメラ 1で撮影した動画像の各コマに該当する静止画 像列 31の中からパノラマ画像 32を作成する場合において、ノ Vラマ画像作成用の 2 枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ 画像を作成する場合の手順の一例を示す一連のフローチャートである。即ち、図 6に 示すフローチャートは、 2枚の静止画像を選択する手順の一例を示す前半部のフロ 一チャートを示し、図 7は、図 6の処理に続く中間部の処理手順のフローチャートを示 し、図 8は、図 6の処理に更に続く後半部の処理手順のフローチャートを示している。

[0045] なお、図 6乃至図 8のフローチャートは、図 1に示すカメラ 1により左から右方向にパ ンユング操作して撮影した動画像を、動画処理部 3により静止画像に変換して、時間 軸上に配列した静止画像列 31として作業用メモリ 4に逐次格納し、その先頭の静止 画像をパノラマ左画像 21とし、更に図 5に示すごとき選択方法を用いて、作業用メモ リ 4にある静止画像列 31の中からパノラマ右画像 22を選択すると共に、該パノラマ右 画像 22をパノラマ左画像 21に位置合わせすることにより、精度が高ヽパノラマ画像 3 2を迅速に生成するまでの手順を説明している。

[0046] ここで、図 1に示すキー入力部 6には、前述したごとぐ画像表示部 7に表示された 表示画像の選択が OKか否かを示す OKボタン 6aの他に、ノ Vラマ右画像 22を選択 するために、あるいは、選択されたパノラマ右画像 22をパノラマ左画像 21と左右方向 の位置合わせを行なうために、左方向への移動を指示する左ボタン 6b、及び、右方 向への移動を指示する右ボタン 6cが、また、選択されたパノラマ右画像 22をパノラマ 左画像 21と上下方向の位置合わせを行なうために、上方向への移動を指示する上 ボタン 6d、及び、下方向への移動を指示する下ボタン 6eが備えられている。

更に、左ボタン 6bと右ボタン 6cとは、予め定められた所定の時間以上に亘つて長 押しをするか、該所定の時間よりも短い時間の単押しをするかにより、前述のように、 飛び飛びに静止画像を表示して所望の静止画像に近似する静止画像が属する選択 画像候補群の選択を行なうか、あるいは、 1コマずつ順次静止画像を表示して選択 画像候補群及び,又は隣接画像候補群の中の静止画像から所望の静止画像の選 択を行なうか、 V、ずれかの選択動作に切り換えることが可能とされて、る。

[0047] まず、パノラマ画像撮影装置 10の撮影モードとしてパノラマ画像撮影モードに設定 して、カメラ 1を用いて左から右方向にパンユング操作しながら動画像を撮影する (ス テツプ Sl)。撮影された動画像は、逐次、ノッファメモリ 2に格納されていく(ステップ S 2)。ノッファメモリ 2に格納された動画像の各コマは、順次、動画処理部 3により静止 画像に変換されて、作業用メモリ 4に時間軸上に配列された静止画像列 31として保 存されていく(ステップ S3)、次に、前述したように、カメラ 1により撮影開始した先頭の 画像に該当する静止画像が、作業用メモリ 4の静止画像列 31の中から読み出されて (ステップ S4)、画像処理部 5によりパノラマ左画像 21として画像処理されて、画像表 示部 7の画面左側に画面表示される (ステップ S5)。

[0048] 次に、作業用メモリ 4に保存されている静止画像列 31の中から、パノラマ右画像 22 の候補となる最初の画像候補が読み出されて (ステップ S6)、画像処理部 3によりパノ ラマ右画像 22として画像処理されて、画像表示部 7の画面右側に画面表示される( ステップ S7)。操作者は、表示された画面左右両方の画像の組み合わせ力パノラマ 画像 32として合成すべき画像であるか否かを判断して (ステップ S8)、合成すべき画 像ではないと判断した場合 (ステップ S8の NO)、ノ Vラマ右画像 22としての次の画 像候補を選択するために、キー入力部 6の OKボタン 6aの代わりに、次の静止画像を 選択する選択手段であるキー入力部 6の左右ボタン 6b, 6cV、ずれかのボタン操作を 行なう(ステップ S9)。

[0049] キー入力部 6から、右ボタン 6cが長押しされて!、た場合 (ステップ S 10の YES)、現 在、作業用メモリ 4に保存されている静止画像列 31の最後の画像候補群が選択され ている状態にあるカゝ否かを判断する (ステップ S 11)。最後の画像候補群であった場 合 (ステップ S 11の YES)、左方向に遡った手前側の次の画像候補群を選択するた めに、ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返されるが 、一方、最後の画像候補群ではない場合 (ステップ S11の NO)、次の画像候補群を 表示するために、作業用メモリ 4の静止画像列 31を右方向に一つ先の画像候補群ま で先送り移動して (ステップ S12)、次の画像候補群における最初の画像候補が作業 用メモリ 4から読み出されて (ステップ S13)、画像処理部 5によりパノラマ右画像 22と して画像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S 14)。し かる後、ステップ S8に戻って、ノ Vラマ画像 32として合成すべき画像が選択されたか 否かが判断される。

[0050] 一方、キー入力部 6から、右ボタン 6cが長押しされていなかった場合 (ステップ S 10 の NO)、左ボタン 6bが長押しされていたか否かを判断して (ステップ S15)、左ボタン 6bが長押しされていた場合 (ステップ S 15の YES)、現在、作業用メモリ 4に保存され て!、る静止画像列 31の最初の画像候補群が選択されて、る状態にある力否かを判 断する (ステップ S16)。最初の画像候補群であった場合 (ステップ SI 6の YES)、右 方向にある先方側の次の画像候補群を選択するために、ステップ S9に戻って、キー 入力部 6のボタン操作を行なう動作が繰返される力一方、最初の画像候補群では ない場合 (ステップ S 16の NO)、次の画像候補群を表示するために、作業用メモリ 4 の静止画像列 31を左方向に一つ前の画像候補群まで逆送り移動して (ステップ S17 )、次の画像候補群における最初の画像候補が作業用メモリ 4から読み出されて (ス テツプ S18)、画像処理部 5によりパノラマ右画像 22として画像処理されて、画像表 示部 7の画面右側に画面表示される (ステップ S 19)。し力る後、ステップ S8に戻って 、ノ Vラマ画像 32として合成すべき画像が選択された力否かが判断される。

[0051] 更に、キー入力部 6から、右ボタン 6cも左ボタン 6bも長押しされて、なかった場合 ( ステップ S 15の NO)、右ボタン 6cが単押しされていたか否かを判断して(ステップ S2 0)、右ボタン 6cが単押しされていた場合 (ステップ S 20の YES)、現在選択されてい る画像候補群 (即ち、選択画像候補群及び Z又は隣接画像候補群)の中の、最後の 画像候補が選択されて、る状態にあるか否かを判断する (ステップ S21)。最後の画 像候補であった場合 (ステップ S21の YES)、選択されている当該画像候補群の中 で、遡る方向の次の画像候補を選択するか、又は、次の画像候補群を選択するため に、ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返される。一 方、最後の画像候補ではない場合 (ステップ S21の NO)、現在の画像候補の一つ右 側にある次の画像候補を表示するために、作業用メモリ 4の当該画像候補群の中を 右方向に一つ先の画像候補まで先送り移動して、次の画像候補が作業用メモリ 4か ら読み出されて (ステップ S22)、画像処理部 5によりパノラマ右画像 22として画像処 理されて、画像表示部 7の画面右側に画面表示される (ステップ S23)。し力る後、ス テツプ S8に戻って、ノ Vラマ画像 32として合成すべき画像が選択された力否かが判 断される。

[0052] 一方、キー入力部 6から、右ボタン 6cが単押しされて!、なかった場合 (ステップ S20 の NO)、次に、左ボタン 6bが単押しされていた力否かを判断して (ステップ S24)、左 ボタン 6bが単押しされていた場合 (ステップ S 24の YES)、現在選択されている画像 候補群 (即ち、選択画像候補群及び,又は隣接画像候補群)の中の、最初の画像 候補が選択されて、る状態にあるか否かを判断する (ステップ S25)。最初の画像候 補であった場合 (ステップ S25の YES)、選択されている当該画像候補群の中で、先 方側にある次の画像候補を選択するか、又は、次の画像候補群を選択するために、 ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返される。一方、 最初の画像候補ではない場合 (ステップ S25の NO)、現在の画像候補の一つ左側 にある次の画像候補を表示するために、作業用メモリ 4の当該画像候補群の中を左 方向に一つ前の画像候補まで逆送り移動して、次の画像候補が作業用メモリ 4から 読み出されて (ステップ S26)、画像処理部 5によりパノラマ右画像 22として画像処理 されて、画像表示部 7の画面右側に画面表示される (ステップ S27)。し力る後、ステ ップ S8に戻って、ノ Vラマ画像 32として合成すべき画像が選択された力否かが判断 される。

[0053] 更に、キー入力部 6から、右ボタン 6c、左ボタン 6bの!、ずれのボタンも長押し又は 単押しされていな力つた場合 (ステップ S24の NO)、無効なボタン操作がなされたも のとして、ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返される

[0054] また、ステップ S8にお、て、操作者は、表示された画面左右両方の画像の組み合 わせ力パノラマ画像 32として合成すべき画像であると判断して、パノラマ画像選択手 段としてのキー入力部 6の OKボタン 6aが操作された場合 (ステップ S8の YES)、次 に、操作者は、表示された画面左右両方の画像の表示位置が揃っていて、ノ Vラマ 画像 32として合成する状態に位置合わせができて、る力否かを判断して (ステップ S 28)、位置合わせが十分ではないと判断した場合 (ステップ S28の NO)、左画像の 位置を基準にして、右画像の表示位置を調整するために、キー入力部 6の OKボタン

6aの代わりに、キー入力部 6の上下左右ボタン 6d, 6e, 6b, 6cいずれかのボタン操 作を行なう(ステップ S32)。

[0055] まず、上ボタン 6dが押されて、た力否かを判断して (ステップ S33)、上ボタンが押 されていた場合 (ステップ S33の YES)、右画像を 1ステップ分だけ上方向に移動さ せる上ずらし処理が画像処理部 5の上下左右移動処理部 5aにより実施された後 (ス テツプ S34)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画 像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S35)。しかる後 、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十分なさ れたか否かが判断される。

[0056] 一方、キー入力部 6から、上ボタン 6dが押されて!/、なかった場合 (ステップ S33の N 0)、下ボタン 6eが押されていたか否かを判断して (ステップ S36)、下ボタン 6eが押 されていた場合 (ステップ S36の YES)、右画像を 1ステップ分だけ下方向に移動さ せる下ずらし処理が画像処理部 5の上下左右移動処理部 5aにより実施された後 (ス テツプ S37)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画 像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S38)。しかる後 、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十分なさ れたか否かが判断される。

[0057] 更に、キー入力部 6から、上ボタン 6dも下ボタン 6eも押されていな力つた場合 (ステ ップ S36の NO)、右ボタン 6cが押されていたか否かを判断して(ステップ S39)、右ボ タン 6cが押されていた場合 (ステップ S39の YES)、右画像を 1ステップ分だけ右方 向に移動させる右ずらし処理が画像処理部 5の上下左右移動処理部 5aにより実施 された後(ステップ S40)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S41 )。し力る後、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせ が十分なされたか否力が判断される。

[0058] 一方、キー入力部 6から、右ボタン 6cが押されて!/、なかった場合 (ステップ S39の N O)、左ボタン 6bが押されていた力否かを判断して (ステップ S42)、左ボタン 6bが押 されていた場合 (ステップ S42の YES)、右画像を 1ステップ分だけ左方向に移動さ

せる左ずらし処理が画像処理部 5の上下左右移動処理部により実施された後 (ス テツプ S43)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画 像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S44)。しかる後 、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十分なさ れたか否かが判断される。

[0059] 更に、キー入力部 6から、上下左右ボタン 6d, 6e, 6b, 6cのいずれのボタンも押さ れていなかった場合 (ステップ S42の NO)、右回転ボタン 6gが押されていたか否か を判断して (ステップ S45)、右回転ボタン 6gが押されて、た場合 (ステップ S45の Y ES)、右画像を 1ステップ分だけ右方向に回転させる右回転処理が画像処理部 5の 左右回転処理部 5a 2により実施された後 (ステップ S46)、画像処理部 5の 2画面画像 処理部 5aによりパノラマ右画像 22として画像処理されて、画像表示部 7の画面右側 に画面表示される (ステップ S47)。し力る後、ステップ S28に戻って、パノラマ画像 3 2として左右の画像の位置合わせが十分なされた力否かが判断される。

[0060] 一方、キー入力部 6から、右回転ボタン 6gが押されて、な力つた場合 (ステップ S45 の NO)、左回転ボタン 6fが押されていた力否かを判断して (ステップ S48)、左回転 ボタン 6fが押されていた場合 (ステップ S48の YES)、右画像を 1ステップ分だけ左方 向に回転させる左回転処理が画像処理部 5の左右回転処理部 5a 2により実施された 後(ステップ S49)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22とし て画像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S50)。し かる後、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十 分なされた力否力が判断される。

[0061] また、上下左右ボタン 6d, 6e, 6b, 6c及び左右回転ボタン 6f, 6gのいずれのボタ ンも押されていなカゝつた場合 (ステップ S48の NO)、無効なボタン操作がなされたも のとして、ステップ S32に戻って、キー入力部 6のボタン操作を行なう動作が繰返され る。

[0062] また、ステップ S 28において、操作者が、表示された画面左右両方の画像の表示 位置が揃っていて、パノラマ画像 32として合成する状態に位置合わせが十分にでき ていると判断して、キー入力部 6の OKボタン 6aが操作された場合 (ステップ S28の Y ES)、パノラマ画像 32として画面表示すべき左画像と右画像との選択が終了し、力 つ、左画像と右画像との位置合わせも終了している状態にあるので、画像処理部 5の スムージング処理部 5bにより左右の画像の重複部分を含む両者の画像間のスムー ジング処理が施された後、左右の画像を纏め合わせた 1枚のノ Vラマ画像 32として 画像合成処理がなされて (ステップ S29)、合成されたパノラマ画像 32は、画像表示 部 7に画面表示される (ステップ S30)。更に、合成されたパノラマ画像 32は、操作者 力ものキー入力部 6を介した指示により、記録媒体 8に蓄積される (ステップ S31)。

[0063] 図 6に示したフローチャートにおいては、作業用メモリ 4に格納された静止画像列 3 1の先頭の静止画像をパノラマ左画像 21として固定して、作業用メモリ 4にある静止 画像列 31の中からパノラマ右画像 22を選択し、該パノラマ右画像 22をパノラマ左画 像 21に位置合わせをする場合を示したが、本発明は、カゝかる場合に限るものではな ぐ左右を逆にして、作業用メモリ 4に格納された静止画像列 31の先頭の静止画像を ノ Vラマ右画像 22として固定して、作業用メモリ 4にある静止画像列 31の中からパノ ラマ左画像 21を選択し、該パノラマ左画像 21をパノラマ右画像 22に位置合わせを するようにしても良い。

[0064] 更には、基準とする画像を、作業用メモリ 4の静止画像列 31の先頭の静止画像とす る代わりに、記録媒体 8に蓄積されたパノラマ画像 32を用いることとしても良い。ある いは、場合によっては、ノ Vラマ左画像 21とパノラマ右画像 22との双方共に、作業用 メモリ 4の静止画像列 31及び記録媒体 8のパノラマ画像 32の中から、任意に選択す ることとしても良いし、更に、ノ Vラマ画像としての位置合わせについても、ノ Vラマ右 画像 22のみならず、ノ Vラマ左画像 21についても位置合わせの調整を行なうことを 可能としても良い。

符号の説明

[0065] 1…カメラ、 2· ··バッファメモリ、 3…動画処理部、 4…作業用メモリ、 5…画像処理部、 5&· ·· 2画面画像処理部、 5a 1…上下左右移動処理部、 5a 2…左右回転処理部、 5b

…パノラマ画像処理部、 5b 1…スム一ジング処理部、 5b 2…スクロール画像作成部、 6

…キー入力部、 6a"-OKボタン、 6b…左ボタン、 6c…右ボタン、 6d…上ボタン、 6e …下ボタン、 6f…左回転ボタン、 6g…右回転ボタン、 6h…拡大ボタン、 6i…縮小ボ

タン、 7…画像表示部、 8…記録媒体、 10···パノラマ画像撮影装置、 21···パノラマ左 画像、 22···パノラマ右画像、 23…重複領域、 31···静止画像列、 31a, 31b…静止 画像、 32···パノラマ画像。