処理中

しばらくお待ちください...

設定

設定

1. WO2006038568 - 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

注意: このテキストは、OCR 処理によってテキスト化されたものです。法的な用途には PDF 版をご利用ください。
映像符号化方法及び装置、映像復号方法及び装置、それらのプログラム およびそれらプログラムを記録した記録媒体

技術分野

[0001] 本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適 となる映像符号化及び映像復号に関する技術である。

背景技術

[0002] 一般的に映像符号ィ匕では時間方向の相関を使って高い符号ィ匕効率を実現するた め、フレーム間予測符号化を用いている。フレームの符号化モードには、フレーム間 の相関を使わずに符号ィ匕する Iフレームと、過去に符号ィ匕した 1フレームから予測す る Pフレームと、過去に符号化した 2フレームから予測することができる Bフレームがあ る。

[0003] Pフレームでは、 Iフレームまたは Pフレームから予測し、 Bフレームでは、 Iフレーム または Pフレームまたは Bフレームから予測することができる。特に映像符号ィ匕方式 H . 264では、符号ィ匕装置内の参照画像メモリに複数フレーム分の復号画像を蓄積し ておき、そのメモリから参照画像を選択して予測に用いることができる。また、 Pフレー ムでは入力動画像における時間が過去のフレームから予測する力 Bフレームでは 過去のフレームだけではなく未来のフレームからも予測することができる。

[0004] 図 7 (a)部に動画像の予測関係の例を示す。

[0005] Bフレームで 2フレームから予測する場合(両方向予測)には、 2フレームからの画像 情報を補間して、 1フレーム分の画像情報を作成して予測画像を作成する。第 1フレ 一ムカも第 7フレームの符号ィ匕モードを IBBPBBPの順序で符号ィ匕する場合には、 図 7 (a)部に示す予測関係があるため、実際に符号ィ匕する場合には、図 7 (a)部に示 すフレームの番号を左から 1〜7として、図 7 (b)部に示すように、 "1→4→2→3→7 →5→6"というフレーム番号順でフレームを符号化する。

[0006] ここで、インタレース動画像は 1フレーム内に 2フィールドを持つ構成となる力上記 と同様に、フィールド毎に予測関係を設定することができる。一般的にフレームとフィ 一ルドを総称してピクチャと呼ぶ。また、 Bフレームの両方向予測では、過去の 2フレ ームまたは未来の 2フレームから予測することも可能である。例えば映像符号ィ匕方式 H. 264では、参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメ モリから参照画像を 2フレーム分選択して予測することができる。ここで、選択したフレ 一ムの復号後の表示時刻は、符号ィ匕対象フレームの表示時刻の未来であっても過 去であってもよい。

[0007] また、 Iピクチャを先頭にしたピクチヤの集合を GOP (group of picture)として設定す ることにより、 GOP単位の符号ィ匕データの、時間についてのランダムアクセス機能を 容易に実現できる。

[0008] GOPは、特定のピクチャの符号ィ匕データの前に、 GOP先頭であることを示す情報 を含めることによって、そのピクチャ力そのピクチャ以降の複数ピクチヤで構成され る GOPの先頭であることを指定することが可能である。 MPEG— 2では、特有なビット パターンを持つ符号を挿入することにより GOPの先頭であることを指定する。

[0009] 即ち、 GOPの先頭であることを示す符号間で 1GOPの符号ィ匕データを構成するこ とができる。なお、符号ィ匕データ中に GOPの先頭であることを示す情報を符号ィ匕す るのではなぐ符号ィ匕データとは独立した情報として GOP構成情報を指定することも 可能である。

[0010] 一般に、 GOP先頭であることを示す情報の後には、 GOPの先頭フレームの時刻情 報も含んでおり、時間についてのランダムアクセスを実現する際に利用される。また、 各ピクチャにも時刻情報をつけることも可能である。

この時刻情報は例えば H. 263では TR (Temporal Reference)と呼ぶ。 TRは単位 時間を基本とした、フレームの出力順序を表す情報である。例えば単位時間を 1Z3 0秒に設定すれば、フレームごとに値が 1つずつ増加することはフレームレートが 30 フレーム Z秒であることと等価である。通常 TRは固定長符号ィ匕される。

[0011] 更に、複数のカメラ映像の符号ィ匕について、各カメラ映像を GOPに設定し、 GOP 間で予測符号ィ匕を適用しながら一つの映像情報として符号ィ匕する手法が提案されて いる。

[0012] 例えば、下記に示す非特許文献 1や非特許文献 2では、 Base GOPと InterGOPを

定義して GOP間の予測関係を示す方法を提案している。 Base GOPに含まれるピク チヤは同一 GOP内に含まれるピクチャのみを参照し、 InterGOPに含まれるピクチャ は同一または他の GOP内に含まれるピクチャを参照する。 InterGOPでは、ヘッダ部 分に、参照する GOPを示す参照 GOP情報を含める。

[0013] このように、複数のカメラ入力映像を予め持っていれば、入力映像を切り替えること によって視点位置と視線方向を変更することが可能である。これらによれば撮影した 位置での映像が得られるが、更に撮影されて!ヽなヽ視点位置や視線方向の映像を 生成する技術が提案されて!ヽる。

[0014] 例えば、下記に示す非特許文献 3では、複数のカメラ入力画像力光線空間を生 成して、その光線空間力画像情報を取り出すことにより、撮影されていない視点位 置または視線方向の映像を生成する手法が提案されて!ヽる。

[0015] このような映像を生成する技術では、一般的に、複数のカメラ入力画像で同じ被写 体が撮影されている場合に、それらの撮影されている画像情報を使って、その被写 体にっ、て撮影されて、な、視点位置や視線方向の画像情報を生成する。すなわ ち、複数のカメラ入力画像にまたがって撮影されている被写体について、各カメラ入 力画像の一部分を使って画像情報を生成して、る。

[0016] この画像生成技術としては、例えば適応フィルタ方法 (例えば非特許文献 4参照) や、テーブル参照法 (例えば非特許文献 5参照)が挙げられる。

特干文献 1 : Hideaki Kimata and Masaki Kitahara, Preliminary results on multiple view video coding (3DAV)," document Ml 0976 MPEG Redmond Meeting, July, 2004

非特許文献 2: Hideaki Kimata, Masaki Kitahara, Kazuto Kamikura, Yoshiyuki Yashi ma, Toshiaki Fujn, and Masayuki Tanimoto, "System Design of Free Viewpoint Vide o Communication," CIT2004, Sep., 2004.

非特許文献 3 :藤井,木本,谷本: "光線群表現における 3次元空間情報の圧縮", 3 次元画像コンファレンス' 96, pp.1-6 (1996.7).

非特干文献 4 : T.Kobayashi, T.Fujii, T.Kimoto, M.Tanimoto, Interpolation of Ray- S pace Data by Adaptive Filtering," IS&T/SPIE Electronic Imaging 2000, 2000.

非特許文献 5 : M.Kawaura, T.Ishigami, T.Fujii, T.Kimoto, M.Tanimoto, "Efficient Ve ctor Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Bl ocks," Picture Coding Symposium 2001, pp.203— 206, 2001.

発明の開示

発明が解決しょうとする課題

[0017] 複数のカメラ映像のうち、撮影されて!ヽなヽ視点位置や視線方向の映像を生成す る技術で品質が十分に良い画像が得られる場合には、一部のカメラ映像の画像情報 を符号化せずに、映像再生側で画像を生成できるため、結果的に複数カメラ映像に 対する符号ィ匕効率を向上できる。

[0018] し力しながら、従来の映像符号化方式では、映像再生側で一部のカメラ映像の画 像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成できることを 示す情報を符号ィ匕する仕組みがないため、実際には全てのカメラ映像を符号ィ匕して 送出しており、符号ィ匕効率を向上できな力つた。

[0019] 本発明は力かる事情に鑑みてなされたものであって、映像再生側で一部のカメラ映 像の画像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成でき ることを示す情報を符号化する仕組みを提供することにより、視点位置や視線方向を 変更することを可能とする映像技術などに好適となる新たな映像符号ィ匕及び映像復 号に関する技術の提供を目的とする。

課題を解決するための手段

[0020] この目的を達成するために、本発明の映像符号化方法は、複数の画像を複数の G OPで構成して、それぞれの GOPの画像を 1つの映像として符号ィ匕する映像符号ィ匕 方法であって、

各 GOPに含まれる画像を符号ィ匕するかどうかを決定する GOP符号ィ匕決定ステップ と、

当該 GOPに含まれる画像の符号化データを出力するかどうかを示す GOP符号ィ匕 有無情報を符号化する GOP符号化有無情報符号化ステップと、

当該 GOPに含まれる画像の符号化データを出力する場合に、該 GOPに含まれる 画像を符号化する GOP内画像符号化ステップと

を有する映像符号化方法を提供する。

[0021] 典型例として、上記 GOP符号ィ匕決定ステップでは、当該 GOPの符号化データの 復号によらずに他の 1以上の GOPを用いて生成される画像の方が符号ィ匕データの 復号により得られる画像よりも原画像に近いか否かを判断することにより、当該 GOP に含まれる画像を符号化するかどうかを決定する。なお、この方法以外に、原画像の 変化を評価することなどにより、当該 GOPに含まれる画像を符号化するかどうかを決 定することも可能である。

当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を符号ィ匕する生成参照 GOP符号化ステップを更に有しても良い。

また、当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOP〖こ 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号 化する生成情報符号化ステップを更に有しても良い。

[0022] 本発明はまた、複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1 つの映像として符号ィ匕することで生成された符号ィ匕データを復号する映像復号方法 であって、

各 GOPに含まれる画像の符号化データを復号するかどうかを示す GOP符号化有 無情報を復号する GOP符号化有無情報復号ステップと、

当該 GOPに含まれる画像の符号化データを復号する場合に、 GOPに含まれる画 像を復号する GOP内画像復号ステップと

を有する映像復号方法を提供する。

当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を復号する生成参照 GOP復号ステップを更に有しても良い。

また、当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号 する生成情報復号ステップを更に有しても良い。

[0023] 本発明はまた、複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1 つの映像として符号ィ匕する映像符号ィ匕装置であって、

各 GOPに含まれる画像を符号化するかどうかを決定する GOP符号化決定部と、 当該 GOPに含まれる画像の符号化データを出力するかどうかを示す GOP符号ィ匕 有無情報を符号化する GOP符号化有無情報符号化部と、

当該 GOPに含まれる画像の符号化データを出力する場合に、 GOPに含まれる画 像を符号化する GOP内画像符号化部と

を備える映像符号ィ匕装置を提供する。

[0024] 典型例として、上記 GOP符号化決定部は、当該 GOPの符号化データの復号によ らずに他の 1以上の GOPを用いて生成される画像の方が符号ィ匕データの復号により 得られる画像よりも原画像に近いのか否かを判断することにより、当該 GOPに含まれ る画像を符号化するかどうかを決定する。

当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を符号ィ匕する生成参照 GOP符号ィ匕部を更に備えるようにしても良い。

また、当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOP〖こ 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号 化する生成情報符号ィ匕部を更に備えるようにしても良い。

[0025] 本発明はまた、複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1 つの映像として符号ィ匕することで生成された符号ィ匕データを復号する映像復号装置 であって、

各 GOPに含まれる画像の符号化データを復号するかどうかを示す GOP符号化有 無情報を復号する GOP符号化有無情報復号部と、

当該 GOPに含まれる画像の符号化データを復号する場合に、 GOPに含まれる画 像を復号する GOP内画像復号部と

を備える映像復号装置を提供する。

当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、 1以上の他の GOPを指定する生成参照 GOP指定 情報を復号する生成参照 GOP復号部を更に備えるようにしても良い。

また、当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号 する生成情報復号部を更に備えるようにしても良い。

[0026] 本発明はまた、上記映像符号ィ匕方法の実現に用いられる処理をコンピュータに実 行させるための映像符号ィ匕プログラム、該プログラムを記録したコンピュータ読み取り 可能な記録媒体を提供する。

本発明はまた、上記映像復号方法の実現に用いられる処理をコンピュータに実行 させるための映像復号プログラム、該プログラムを記録したコンピュータ読み取り可能 な記録媒体を提供する。

即ち、これらコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒 体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にィ ンストールされて CPUなどの制御手段上で動作することにより本発明を実現可能で ある。

[0027] 上記本発明によれば、カメラ入力映像ごとに GOPを構成しておき、画像生成手法 でカメラ入力映像が生成できる場合には、その GOPについて画像を符号ィ匕せずに、 代わりに映像再生側で画像を生成するように指定することができる。

すなわち、映像符号化側では、画像生成手法でカメラ入力映像が生成できるかどう かを決定する。そして、カメラ入力映像を生成できる場合には、 GOPに含まれる画像 の符号ィ匕データを出力しないとして GOP符号ィ匕有無情報を符号ィ匕し、カメラ入力映 像を生成できない場合には、 GOPに含まれる画像の符号ィ匕データを出力するとして GOP符号化有無情報を符号化する。そして、カメラ入力映像を生成できない場合に は、 GOPに含まれる画像を符号化する(GOPに含まれる画像の符号化データを出 力する)。

[0028] これを受けて、映像復号側では、 GOPGOPに含まれる画像の符号化データを復 号するかどうかを示す GOP符号化有無情報を復号する。そして、 GOP符号化有無 情報が GOPに含まれる画像の符号化データを復号することを示す場合には、画像 の符号化データを復号する。

ここで、映像復号側では、 GOP符号化有無情報が GOPに含まれる画像の符号ィ匕 データを復号しないことを示す場合には、画像生成技術を使って GOP内の画像を生 成してもよい。ただし、その GOP内の画像が不必要な場合には、画像を生成する必 要はない。

[0029] 更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入 力映像を生成する際に使用する画像を含む GOPを指定することができる。このとき 使用する GOPの画像は符号ィ匕データを復号して得られるものでもよヽし、映像復号 佃 Jで生成して得られるものでもよ、。

これにより、映像復号側で、所望の GOPの画像を生成するときに、生成に必要な画 像が復号または生成されていない場合には、その画像を含む GOPを復号または生 成することにより、所望の画像を生成することができる。ここで、所望の映像を生成す る際に使用する画像を含む GOPとしては、他のカメラ入力映像であっても、所望の映 像の属するカメラ入力映像であってもよい。

[0030] 更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入 力映像を生成する際に使用する画像生成手法を指定することができる。

この画像生成手法については、映像符号化側と映像復号側で、予め複数の画像 生成手法を用意しておき、映像符号化側で、どの画像生成手法を映像復号側で使 用するのかを決定してもよい。これにより、映像符号化側で、画像品質の良い画像生 成手法を選択することができる。

なお、再生させた、映像の属するカメラ入力映像を使用して該映像を生成する場 合には、そのカメラ入力映像に属する前 (過去)の GOPの画像を使用してもよい。ま た、カメラの台数が少ない場合には、画像の生成に使用する GOPが限定されるため 、使用する GOPを指定する必要はない。

発明の効果

[0031] 本発明によれば、映像再生側で画像を生成できるかどうかを符号ィ匕時に判定し、 更に生成することを示す情報を符号ィ匕することが可能となるため、画像符号ィ匕側で 映像を符号ィ匕しないことを制御できるようになり、これにより符号ィ匕効率を向上できる ようになる。

[0032] このようにして、本発明によれば、視点位置や視線方向を変更することを可能とする 映像技術などに好適となる映像符号化'復号技術を提供できるようになる。

図面の簡単な説明

[0033] [図 1]第 1の実施形態例における GOPの構成の一例を示す図である。

[図 2]第 1の実施形態例における映像符号化装置の装置構成例を示す図である。

[図 3]第 1の実施形態例における映像復号装置の装置構成例を示す図である。

[図 4]第 2の実施形態例における映像符号ィ匕装置の装置構成例を示す図である。

[図 5]第 2の実施形態例における GOPの構成の一例を示す図である。

[図 6]第 2の実施形態例における映像復号装置の装置構成例を示す図である。

[図 7]動画像の予測関係の説明図である。

符号の説明

[0034] 101 画像 A入力部

102 画像 A符号化部

103 画像 A復号部

104 画像 A蓄積メモリ

105 画像 B入力部

106 画像 B符号化部

107 画像 B復号部

108 画像 B蓄積メモリ

109 画像 C入力部

110 GOP内画像符号化部

111 画像 C復号部

112 復号画像蓄積メモリ

113 原画像蓄積メモリ

114 画像生成部

115 生成参照 GOP符号化部

116 生成情報符号化部

117 GOP符号化決定部

118 GOP符号化有無情報符号ィ匕部

119 GOP情報蓄積メモリ

201 画像 A復号部

202 画像 A蓄積メモリ

203 画像 B復号部

204 画像 B蓄積メモリ

205 GOP内画像復号部

206 復号画像蓄積メモリ

207 画像生成部

208 生成参照 GOP復号部

209 生成情報復号部

210 GOP符号化有無情報復号部

1180 GOPヘッダ Z符号化有無情報符号化部

2100 GOPヘッダ Z符号化有無情報復号部

発明を実施するための最良の形態

[0035] 以下、実施の形態に従って本発明を詳細に説明する。

[0036] 以下に説明する実施形態例では、 3カメラ映像を符号ィ匕する場合に、 2カメラ映像 を独立に符号ィ匕しておき、 1カメラ映像をそれら 2カメラ映像の画像情報から、あるい は、その 1カメラ映像の過去の画像から、その 1カメラ映像の現在の画像を用いずに 画像生成技術により生成するかどうかを決定する手法について示す。

[0037] 〔I〕第 1の実施形態例

図 1に、第 1の実施形態例における GOPを示す。

[0038] この図に示すように、第 1の実施形態例では、 GOPは予め 2フレームで構成される と決められているものとする。また、各 GOPには図中に示す GOP番号(GOPl〜GO P6)が割り当てられてヽるものとする。

[0039] 図 1に示す 3カメラ映像 A, B, Cのうち、 Cについて画像生成技術により生成するか どうかを決定する。 Aまたは Bから Cを生成する手法としては、画像生成方法 Xと画像 生成方法 Yとが予め用意されており、また、 Cの過去の画像情報から画像を生成する 技術として画像生成方法 Zが用意されているものとする。

[0040] 画像を生成する際に使用する画像として Aまたは Bを選択する場合には、画像生成 方法を指定する情報を符号ィ匕することになるが、画像を生成する際に使用する画像 として Cの過去の画像を選択する場合には、画像生成方法は Zに一意に決まるため、 画像生成方法を指定する情報を符号ィ匕する必要はない。なお、画像生成方法 Zは、 本実施形態においては直前の画像を出力する手法である。

[0041] 画像生成方法 Xは例えば適応フィルタ方法であり、画像生成方法 Yは例えばテー ブル参照方法である。以下に説明する実施形態例では、 Aと Bの復号画像を使って 、 Cの画像生成方法を決定するものとする。

[0042] 〔I 1〕第 1の実施形態例を実現する本発明の映像符号化装置

図 2に、第 1の実施形態例を実現する本発明の映像符号化装置の装置構成の一 例を図示する。

[0043] この図に示すように、本発明の映像符号化装置は、

(ィ)画像 A (カメラ入力映像 A)に対して、画像を入力する画像 A入力部 101と、画 像 A入力部 101の入力した画像を符号化する画像 A符号化部 102と、画像 A符号化 部 102の符号化した画像を復号する画像 A復号部 103と、画像 A復号部 103の復号 した画像を蓄積する画像 A蓄積メモリ 104とを備え、

(口)画像 B (カメラ入力映像 B)に対して、画像を入力する画像 B入力部 105と、画 像 B入力部 105の入力した画像を符号化する画像 B符号化部 106と、画像 B符号ィ匕 部 106の符号化した画像を復号する画像 B復号部 107と、画像 B復号部 107の復号 した画像を蓄積する画像 B蓄積メモリ 108とを備え、

(ハ)画像 C (カメラ入力映像 C)に対して、画像を入力する画像 C入力部 109と、画 像 C入力部 109の入力した画像を符号化する GOP内画像符号化部 110と、 GOP内 画像符号化部 110の符号化した画像を復号する画像 C復号部 111と、画像 C復号部 111の復号した画像を蓄積する復号画像蓄積メモリ 112と、画像 C入力部 109の入 力した原画像を蓄積する原画像蓄積メモリ 113と、原画像 Cを用いずに画像 Cを生成 する画像生成部 114と、画像 Cを生成する際に使用する GOPを指定する情報 (具体 的には GOPの番号)を符号ィ匕する生成参照 GOP符号ィ匕部 115と、画像 Cの生成に 用いられる画像生成方法を指定する情報を符号ィ匕する生成情報符号ィ匕部 116と、 G OPの画像を符号化するかどうかを決定する GOP符号化決定部 117と、 GOPの画像 を符号化した力どうかを指定する情報を符号ィ匕する GOP符号ィ匕有無情報符号ィ匕部 118とを備える。

[0044] ここで、画像 A蓄積メモリ 104と画像 B蓄積メモリ 108は、それぞれ復号画像を 2フレ ーム分蓄積し、また、原画像蓄積メモリ 113は、原画像を 2フレーム分蓄積する。また 、復号画像蓄積メモリ 112は、復号画像を 3フレーム分蓄積するものとする。なお、初 期状態の各メモリには何も画像情報が蓄積されて、な、ものとする。

[0045] GOP符号ィ匕決定部 117は、まず、画像生成部 114にて画像生成方法 Xを使って 生成される 2フレーム分の画像情報(1フレームずつ生成される)と原画像蓄積メモリ 1 13に蓄積された画像との間の平均二乗誤差 Xを計算する。このとき、画像 A蓄積メモ リ 104の画像のみを使う場合の平均二乗誤差を Xaとし、画像 B蓄積メモリ 108の画像 のみを使う場合の平均二乗誤差を Xbとし、画像 A蓄積メモリ 104の画像と画像 B蓄積 メモリ 108の画像の両方を使う場合の平均二乗誤差を Xcとする。

[0046] 更に、 GOP符号ィ匕決定部 117は、画像生成部 114にて画像生成方法 Yを使って 生成される 2フレーム分の画像情報(1フレームずつ生成される)と原画像蓄積メモリ 1 13に蓄積された画像との間の平均二乗誤差 Yを計算する。このとき、画像 A蓄積メモ リ 104の画像のみを使う場合の平均二乗誤差を Yaとし、画像 B蓄積メモリ 108の画像 のみを使う場合の平均二乗誤差を Ybとし、画像 A蓄積メモリ 104の画像と画像 B蓄 積メモリ 108の画像の両方を使う場合の平均二乗誤差を Ycとする。

[0047] 更に、 GOP符号ィ匕決定部 117は、 GOP内画像符号化部 110で符号化し画像 C復 号部 111で復号して復号画像蓄積メモリ 112に蓄積された復号画像のうち、現 GOP の復号画像と原画像蓄積メモリ 113に蓄積された対応する画像との間の平均二乗誤 差 Dを計算する。

[0048] 更に、 GOP符号ィ匕決定部 117は、復号画像メモリ 112に前 GOPの画像が蓄積さ れている場合には、画像生成方法 Zで生成される 2フレーム分の画像情報(1フレー ムずつ生成される)と原画像蓄積メモリ 113に蓄積された画像との間の平均二乗誤差 Zを計算する。

[0049] そして、 GOP符号ィ匕決定部 117は、このようにして算出した平均二乗誤差 Xaと Xb と Xcと Yaと Ybと Ycと D、あるいは、平均二乗誤差 Xaと Xbと Xcと Yaと Ybと Ycと Dと Z を比較して、最も値が小さい場合の条件を、その GOPの符号ィ匕情報 (GOP符号ィ匕 有無情報 Z生成参照 GOPを指定する情報 Z画像生成方法を指定する情報で構成 される)として決定する。すなわち、次のように決定する。

[0050] なお、以下では、 "符号ィ匕データ"ど'符号ィ匕情報"とを明確に区別しており、 "符号 化データ"と記載する場合には、画像を符号ィ匕したときのデータを示している。

[0051] (1)平均二乗誤差 Xaが最も小さい場合

Xaが最も小さい場合には、画像生成方法として Xを指定し、生成参照 GOPとして 画像 Aの GOPを指定する。

[0052] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Xを指定する情報を符号ィ匕する。

[0053] (2)平均二乗誤差 Xbが最も小さヽ場合

Xbが最も小さい場合には、画像生成方法として Xを指定し、生成参照 GOPとして 画像 Bの GOPを指定する。

[0054] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Xを指定する情報を符号ィ匕する。

[0055] (3)平均二乗誤差 Xcが最も小さ!/ヽ場合

Xcが最も小さい場合には、画像生成方法として Xを指定し、生成参照 GOPとして 画像 Aと画像 Bの GOPを指定する。

[0056] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Xを指定する情報を符号ィ匕する。

[0057] (4)平均二乗誤差 Yaが最も小さ!/ヽ場合

Yaが最も小さい場合には、画像生成方法として Yを指定し、生成参照 GOPとして 画像 Aの GOPを指定する。

[0058] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Yを指定する情報を符号ィヒする。

[0059] (5)平均二乗誤差 Ybが最も小さヽ場合

Ybが最も小さい場合には、画像生成方法として Yを指定し、生成参照 GOPとして 画像 Bの GOPを指定する。

[0060] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Yを指定する情報を符号ィヒする。

[0061] (6)平均二乗誤差 Ycが最も小さ!/ヽ場合

Ycが最も小さい場合には、画像生成方法として Yを指定し、生成参照 GOPとして 画像 Aと画像 Bの GOPを指定する。

[0062] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Yを指定する情報を符号ィヒする。

[0063] (7)平均二乗誤差 Zが最も小さヽ場合

Zが最も小さい場合には、画像生成方法として Zを指定し、生成参照 GOPとして画 像 Cの GOPを指定する。

[0064] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。

[0065] ここで、上述したように、画像を生成する際に使用する画像として Cの過去の画像を 選択する場合には、画像生成方法は Zに一意に決まるため、生成情報符号化部 116

は、画像生成方法を指定する情報を符号ィ匕する必要がな、。

[0066] (8)平均二乗誤差 Dが最も小さヽ場合

Dが最も小さい場合には、 GOP内画像符号ィ匕部 110で符号ィ匕した符号ィ匕データを 出力する。

[0067] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号化データを出力することを 示すように GOP符号化有無情報を符号化し、 GOP内画像符号化部 110は、符号化 した符号化データを出力する。

[0068] 即ち、上記(1)〜(7)の場合には、映像再生側でカメラ映像 Cの画像を、その画像 データを用いなくても生成できると判定され、(8)の場合には、その画像データを用

V、なくては該画像を生成できな、と判定される。

このような前提の下、本発明の映像符号ィ匕装置はカメラ入力映像を次のように符号 化する。

[0069] (i)時刻 Tl, T2における符号化処理

まず、時刻 T1と T2において、画像 Aと画像 Bを符号化する。

[0070] 画像 Aについては、画像 A入力部 101で画像を入力して、画像 A符号ィ匕部 102は 画像を符号化し、画像 A復号部 103は符号化データを復号し、画像 A蓄積メモリ 104 は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 A蓄積メモリ 1 04には T1と T2における画像が蓄積される。

[0071] 画像 Bについては、画像 B入力部 105で画像を入力して、画像 B符号ィ匕部 106は 画像を符号化し、画像 B復号部 107は符号化データを復号し、画像 B蓄積メモリ 108 は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 B蓄積メモリ 1 08には T1と T2における画像が蓄積される。

[0072] 続いて、画像 C入力部 109は画像 Cを入力し、原画像蓄積メモリ 113は入力された 画像を蓄積する。 GOP内画像符号ィ匕部 110は T1と T2の画像を符号ィ匕し、画像 C復 号部 111は符号化データを復号して復号画像を復号画像蓄積メモリ 112に蓄積する

[0073] 続いて、画像生成部 114は、画像 A蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 Xおよび画像生成方法 Yを それぞれ適用して、画像を生成する。なお、前フレームが存在しないので、この時点 では、画像生成方法 Zを適用して画像を生成することはできなヽ。

[0074] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dを求める(なお、この時点では平均二乗誤差 Zについては求 めることはできない)。そして、これらから、上述の(1)〜(8)の論理に従って GOPの 符号化情報を決定する。

[0075] そして、本発明の映像符号化装置は、決定した GOPの符号ィ匕情報に基づいて、符 号ィ匕有無情報を符号ィ匕して出力するとともに、符号化データを出力するか、生成参 照 GOPの番号および画像生成方法を示す情報を符号ィ匕して出力する。ただし、画 像生成方法 Zが用いられる場合には、画像生成方法を示す情報については符号ィ匕 する必要がなヽ (なお、この時点では画像生成方法 Zが用いられることはな、)。

[0076] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T1と T2の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP符号化決定部 117で決定された GOPの符号化情報に対応する画像 (即ち、選 択された生成方法により生成された画像)を蓄積する。

[0077] (ii)時刻 T3, T4における符号化処理

続いて、時刻 T3と T4において、時刻 T1と T2と同様な処理を行い、画像 Aと画像 B を符号化する。

[0078] 画像 A蓄積メモリ 104と画像 B蓄積メモリ 108に蓄積されていた復号画像は、最も古 いものから廃棄して、新しく復号された画像を蓄積する。これにより、各メモリには T3 と T4の復号画像が蓄積される。

[0079] 続いて、画像 C入力部 109は画像 Cを入力し、原画像蓄積メモリ 113は入力された 画像を蓄積する。このとき、原画像蓄積メモリ 113に蓄積されていた原画像は、最も 古いものから廃棄して、新しく入力された画像を蓄積する。これにより、原画像蓄積メ モリ 113〖こは T3と T4の原画像が蓄積される。

[0080] 続いて、 GOP内画像符号ィ匕部 110は T3と T4の画像を符号ィ匕し、画像 C復号部 11 1は符号化データを復号して復号画像を復号画像蓄積メモリ 112に蓄積する。このと き、復号画像蓄積メモリ 112に蓄積されていた復号画像は、最も古いものから廃棄し て、新しく復号された画像を蓄積する。これにより、復号画像蓄積メモリ 112には Τ2と Τ3と Τ4の復号画像が蓄積される。

[0081] 続いて、画像生成部 114は、画像 Α蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 X及び画像生成方法 Yを適 用して、それぞれ画像を生成する。更に、復号画像蓄積メモリ 112に蓄積された T2 の画像に対して、画像生成方法 Zを適用して、画像を生成する。

[0082] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dと Zを求める。そして、これらから、上述の(1)〜(8)の論理 に従って GOPの符号ィ匕情報を決定する。

[0083] そして、本発明の映像符号化装置は、決定した GOPの符号化情報に基づいて、符 号ィ匕有無情報を符号ィ匕して出力するとともに、符号化データを出力するか、生成参 照 GOPの番号および画像生成方法を示す情報を符号ィ匕して出力する。ただし、画 像生成方法 Zが選択される場合には、画像生成方法を示す情報については符号ィ匕 する必要がない。

[0084] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 100から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T3と T4の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP符号化決定部 117で決定された符号化情報に対応する画像を蓄積する。

[0085] 〔I 2〕第 1の実施形態例を実現する本発明の映像復号装置

次に、第 1の実施形態例を実現する本発明の映像復号装置について説明する。

[0086] 図 3に、第 1の実施形態例を実現する本発明の映像復号装置の装置構成の一例を 図示する。

[0087] この図に示すように、本発明の映像復号装置は、

(ィ)画像 A (カメラ入力映像 A)に対して、画像を復号する画像 A復号部 201と、画 像 A復号部 201の復号した画像を蓄積する画像 A蓄積メモリ 202とを備え、

(口)画像 B (カメラ入力映像 B)に対して、画像を復号する画像 B復号部 203と、画 像 B復号部 203の復号した画像を蓄積する画像 B蓄積メモリ 204とを備え、

(ハ)画像 C (カメラ入力映像 C)に対して、画像を復号する GOP内画像復号部 205 と、 GOP内画像復号部 205の復号した画像を蓄積する復号画像蓄積メモリ 206と、 画像 Cを生成する画像生成部 207と、画像 Cを生成する際に使用する GOPを指定す る情報 (具体的には GOPの番号)を復号する生成参照 GOP復号部 208と、画像じの 生成に用いられる画像生成方法を指定する情報を復号する生成情報復号部 209と 、GOPの画像を復号するかどうかを指定する情報を復号する GOP符号ィ匕有無情報 復号部 210とを備える。

[0088] 画像生成部 207と生成参照 GOP復号部 208と生成情報復号部 209とは、 GOPの 符号化データを復号しない場合、次のように動作する。

[0089] まず、生成参照 GOP復号部 208は、画像生成に使用する GOPの番号を復号して 得る。 GOPの番号が入力画像 Aまたは Bに属する場合には、続いて、生成情報復号 部 209は、画像生成方法を指定する情報を復号し、画像生成方法の情報として Xま たは Yを得る。一方、 GOPの番号が入力画像 Cに属する場合には、生成情報復号部

209は、画像生成方法を指定する情報を復号しない。

[0090] 続いて、画像生成部 207は、生成参照 GOP復号部 208で得られた GOP番号と、 生成情報復号部 209で得られた画像生成方法の情報の規定する画像生成方法とを 使って画像を生成する。ここで、 GOPの番号が入力画像 Cに属する場合には、画像 生成部 207は、画像生成方法として Zを使用する。

[0091] このような前提の下、本発明の映像復号装置は、本発明の映像符号化装置から出 力される符号化データを次のように復号する。

[0092] (i)時刻 Tl, T2における復号処理

まず、時刻 T1と T2において、画像 Aと画像 Bを復号する。

[0093] 画像 Aについては、画像 A復号部 201は符号化データを復号し、画像 A蓄積メモリ

202は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 A蓄積メ モリ 202には Tlと T2における画像が蓄積される。

[0094] 画像 Βにつ、ては、画像 Β復号部 203は符号化データを復号し、画像 Β蓄積メモリ

204は復号画像を蓄積する。これを T1と Τ2の画像に対して実行する。画像 Β蓄積メ モリ 204には T1と Τ2における画像が蓄積される。

[0095] 続、て、画像 Cにつ、て、 GOP符号ィ匕有無情報復号部 210は、 GOPの符号化デ 一タを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいず れかの処理を実行する。

[0096] すなわち、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指 示する情報を復号する場合には、 GOP内画像復号部 205は、符号化データを復号 して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄積する。

[0097] 一方、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指示し ない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に使用する

GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属するため(前フ レームが存在しないので、この時点では入力画像 Cに属することはない)、続いて、生 成情報復号部 209は、画像生成方法を指定する情報を復号し、画像生成方法の情 報として Xまたは Yを得る。これを受けて、画像生成部 207は、生成参照 GOP復号部

208で得られた GOP番号と、生成情報復号部 209で得られた画像生成方法の情報 の規定する画像生成方法とを使って画像を生成する。

[0098] 復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合には、復号画像 を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成部 207で生成され る画像を蓄積する。

[0099] (ii)時刻 T3, T4における復号処理

続いて、時刻 T3と T4において、時刻 T1と T2と同様な処理を行い、画像 Aと画像 B を復号し、画像 Aについては画像 A蓄積メモリ 202に復号画像を蓄積し、画像 Bにつ いては画像 B蓄積メモリ 204に復号画像を蓄積する。

[0100] 続いて、画像 Cについて、 GOP符号ィ匕有無情報復号部 210は、 GOPの符号化デ 一タを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいず れかの処理を実行する。

[0101] すなわち、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指 示する情報を復号する場合には、 GOP内画像復号部 205は、符号化データを復号 して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄積する。

[0102] 一方、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指示し ない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に使用する GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属する場合には 、続いて、生成情報復号部 209は、画像生成方法を指定する情報を復号し、画像生 成方法の情報として Xまたは Yを得る。一方、 GOPの番号が入力画像 Cに属する場 合には、生成情報復号部 209は、画像生成方法 Zが用いられていることを特定できる ので、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部 207 は、生成参照 GOP復号部 208で得られた GOP番号と、生成情報復号部 209で得ら れた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。この とき、 GOPの番号が入力画像 Cに属する場合には、画像生成方法 Zを使用する。

[0103] 復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合には、 Tl, T2の 画像を廃棄して復号画像を蓄積し、 GOPの符号化データを復号しない場合には、 T 1, T2の画像を廃棄して、画像生成部 207で生成される画像を蓄積する。

[0104] 以上により、本発明の映像符号ィ匕装置は T1と T2と T3と T4の画像を符号ィ匕し、一 方、本発明の映像復号装置は符号化データを復号、または画像を生成することによ り同時刻の画像を得ることができる。

[0105] 〔II〕第 2の実施形態例

次に、第 2の実施形態例について説明する。

[0106] 第 1の実施形態例では、 GOPは 2フレームとして予め決定しておいた力 GOPをフ レーム毎に別にするかどうかを適応的に決定してもよい。第 2の実施形態例は、この 構成を実現するものである。

[0107] 図 4に、第 2の実施形態例を実現する本発明の映像符号化装置の装置構成の一 例を図示する。ここで、図中、図 2で説明したものと同じものについては同一の記号で 示してある。

[0108] 第 1の実施形態例との違いは、 GOPの符号ィ匕情報を蓄積する GOP情報蓄積メモリ 119を備えることである。また、 GOPヘッダ Z符号ィ匕有無情報符号ィ匕部 1180は、符 号化有無情報の符号化に加え、 GOPの先頭に GOPヘッダを符号ィヒする処理を行う 。 GOPヘッダは固有のビットパターンで構成される固定長の符号である。

[0109] 第 2の実施形態例を実現する本発明の映像復号装置の装置構成 (図 6に示す)は、 図 3に示す第 1の実施形態例と同様である。ただし、 GOPヘッダ Z符号化有無情報 復号部 2100は、各フレームにおいて GOPヘッダの有無をチェックして、 GOPヘッダ が検出されると、別の (独立した) GOPとして復号処理を行う。

[0110] 〔II 1〕第 2の実施形態例における符号化処理

第 2の実施形態例におけるカメラ入力映像 Aと Bと Cの符号ィ匕方法は次のようになる

[0111] まず、時刻 T1と T2の画像 Aと Bについて、第 1の実施形態例と同様に画像を符号 化して復号画像を得る。画像 A蓄積メモリ 104と画像 B蓄積メモリ 108には T1と T2の 復号画像が蓄積される。

[0112] すなわち、画像 Aについては、画像 A入力部 101で画像を入力して、画像 A符号化 部 102は画像を符号化し、画像 A復号部 103は符号化データを復号し、画像 A蓄積 メモリ 104は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 A 蓄積メモリ 104には T1と T2における画像が蓄積される。

[0113] また、画像 Bについては、画像 B入力部 105で画像を入力して、画像 B符号化部 10 6は画像を符号化し、画像 B復号部 107は符号化データを復号し、画像 B蓄積メモリ 108は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 B蓄積メ モリ 108には T1と T2における画像が蓄積される。

[0114] (i)時刻 T1における画像 Cの符号化処理

続いて、時刻 T1の画像 Cについて、まず、画像 C入力部 109は画像を入力し、原 画像蓄積メモリ 113は入力された画像を蓄積する。 GOP内画像符号ィ匕部 110は時 刻 T1の画像を符号化し、画像 C復号部 111は符号化データを復号して復号画像を 復号画像蓄積メモリ 112に蓄積する。

[0115] 続いて、画像生成部 114は、画像 A蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 X及び画像生成方法 Yをそ れぞれ適用して、時刻 Tlの画像を生成する。なお、前フレームが存在しないので、こ の時点では、画像生成方法 Zを適用して画像を生成することはできなヽ。

[0116] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dを求める(なお、この時点では平均二乗誤差 Zについては求 めることができない)。そして、これらから、上述の(1)〜(8)の論理に従って GOPの 符号化情報を決定する。

[0117] そして、 GOP符号ィ匕決定部 117は、決定した GOPの符号ィ匕情報を GOP情報蓄積 メモリ 119に蓄積し、 GOP符号ィ匕有無情報符号ィ匕部 1180は、 GOPヘッダを符号ィ匕 して出力する。

[0118] そして、本発明の映像符号化装置は、決定した GOPの符号ィ匕情報に基づいて、符 号ィ匕有無情報を符号ィ匕して出力するとともに、符号化データを出力するか、生成参 照 GOPの番号および画像生成方法を示す情報を符号ィ匕して出力する。ただし、画 像生成方法 Zが用いられる場合には、画像生成方法を示す情報については符号ィ匕 する必要がなヽ (なお、この時点では画像生成方法 Zが用いられることはな、)。

[0119] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T1の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP 符号化決定部 117で決定された GOPの符号化情報に対応する画像を蓄積する。

[0120] (ii)時刻 T2における画像 Cの符号化処理

続いて、時刻 T2の画像 Cについて、まず、画像 C入力部 109は画像を入力し、原 画像蓄積メモリ 113は入力された画像を蓄積する。 GOP内画像符号ィ匕部 110は時 刻 T2の画像を符号化し、画像 C復号部 111は符号化データを復号して復号画像を 復号画像蓄積メモリ 112に蓄積する。

[0121] 続いて、画像生成部 114は、画像 A蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 X及び画像生成方法 Yをそ れぞれ適用して、時刻 T2の画像を生成する。更に、復号画像蓄積メモリ 112に蓄積 された画像に対して画像生成方法 Zを適用して、時刻 T2の画像を生成する。

[0122] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dと Zを求める。そして、これらから、上述の(1)〜(8)の論理 に従って GOPの符号ィ匕情報を決定する。

[0123] 続いて、 GOP符号ィ匕決定部 117は、ここで決定した GOPの符号ィ匕情報と、 GOP 情報蓄積メモリ 119に蓄積されている GOPの符号ィ匕情報とを比較し、両者の GOPの 符号ィ匕情報が異なる場合には、別の GOPとして画像を符号ィ匕することを決定し、両 者の GOPの符号ィ匕情報が同じ場合には、同じ GOPとして画像を符号ィ匕することを決 定する。

[0124] そして、 GOP符号ィ匕決定部 117は、決定した GOPの符号ィ匕情報を GOP情報蓄積 メモリ 119に蓄積する。以後は、具体的には次のように動作する。

[0125] (ii—l)別の GOPとして符号ィ匕する場合

別の GOPとして符号ィ匕する場合には、 GOPヘッダ Z符号ィ匕有無情報符号ィ匕部 11 80は、 GOPヘッダを符号ィ匕して出力する。そして、本発明の映像符号化装置は、決 定した GOPの符号ィ匕情報に基づいて、符号ィ匕有無情報を符号ィ匕して出力するととも に、符号化データを出力するか、生成参照 GOPの番号および画像生成方法を示す 情報を符号ィ匕して出力する。ただし、画像生成方法 Zが用いられている場合には、画 像生成方法を示す情報につ!、ては符号化する必要がな、。

[0126] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T2の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP 符号化決定部 117で決定された GOPの符号化情報に対応する画像を蓄積する。

[0127] (ii- 2)同じ GOPとして符号ィ匕する場合

同じ GOPとして符号ィ匕する場合で、 GOP内画像符号ィ匕部 110から符号ィ匕データ を出力する場合には、そのフレームの符号ィ匕データを出力し、一方、 GOP内画像符 号ィ匕部 110から符号ィ匕データを出力しない場合には、復号側に通知済みの 1つ前の 時刻の Tlにおける GOPの符号ィ匕情報により復号側で画像生成方法を特定できるの で、何も出力しない。

[0128] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T2の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP 符号化決定部 117で決定された符号化情報に対応する画像を蓄積する。

[0129] 〔II 2〕第 2の実施形態例における復号処理

これに対応する第 2の実施形態例における復号処理は次のように動作する。

[0130] まず、時刻 T1と T2の画像 Aと Bについて、第 1の実施形態例と同様に画像を復号 して復号画像を得る。画像 A蓄積メモリ 202と画像 B蓄積メモリ 204には T1と T2の復 号画像が蓄積される。

[0131] すなわち、画像 Aについては、画像 A復号部 201は符号化データを復号し、画像 A 蓄積メモリ 202は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画 像 A蓄積メモリ 202には T1と T2における画像が蓄積される。

[0132] また、画像 Bについては、画像 B復号部 203は符号化データを復号し、画像 B蓄積 メモリ 204は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 B 蓄積メモリ 204には T1と T2における画像が蓄積される。

[0133] (i)時刻 Tlにおける画像 Cの復号処理

続いて、時刻 T1の画像 Cについて、 GOPヘッダ Z符号ィ匕有無情報復号部 2100 は、 GOPヘッダの有無をチェックする。 GOPヘッダがあるので、 GOPヘッダ Z符号 化有無情報復号部 2100は、続いて、 GOPの符号ィ匕データを復号するかどうかを指 定する情報 (符号化有無情報)を復号する。この情報に基づいて、次のいずれかの 処理を実行する。

[0134] すなわち、 GOPヘッダ Z符号化有無情報復号部 2100が GOPの符号化データの 復号を指示する情報を復号する場合には、 GOP内画像復号部 205は、符号化デー タを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄 積する。

[0135] 一方、 GOPヘッダ Z符号ィ匕有無情報復号部 2100が GOPの符号ィ匕データの復号 を指示しない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に 使用する GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属する ため(先頭フレームであるので、この時点では入力画像 Cに属することはない)、続い て、生成情報復号部 209は、画像生成方法を指定する情報を復号し、画像生成方 法の情報として Xまたは Yを得る。これを受けて、画像生成部 207は、生成参照 GOP 復号部 208で得られた GOP番号と、生成情報復号部 209で得られた画像生成方法 の情報の規定する画像生成方法とを使って画像を生成する。

[0136] これを受けて、復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合 には、復号画像を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成 部 207で生成される画像を蓄積する。

[0137] (ii)時刻 T2における画像 Cの復号処理

(ii- 1) GOPヘッダが検出される場合の復号処理 (GOPの符号ィ匕情報が符号ィ匕さ れている場合)

続いて、時刻 T2の画像 Cについて、 GOPヘッダ Z符号化有無情報復号部 2100 は、 GOPヘッダの有無をチェックする。 GOPヘッダを検出する場合には、更に、 GO Pの符号ィ匕データを復号するかどうかを指定する情報を復号する。この情報に基づ いて、次のいずれかの処理を実行する。

[0138] すなわち、 GOPヘッダ Z符号化有無情報復号部 2100が GOPの符号化データの 復号を指示する情報を復号する場合には、 GOP内画像復号部 205は、符号化デー タを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄 積する。

[0139] 一方、 GOPヘッダ Z符号ィ匕有無情報復号部 2100が GOPの符号ィ匕データの復号 を指示しない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に 使用する GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属する 場合は、続いて、生成情報復号部 209は、画像生成方法を指定する情報を復号し、 画像生成方法の情報として Xまたは Yを得る。 GOPの番号が入力画像 Cに属する場 合は、生成情報復号部 209は、画像生成方法 Zが用いられていることを特定できるの で、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部 207は 、生成参照 GOP復号部 208で得られた GOP番号と、生成情報復号部 209で得られ た画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。 GOP の番号が入力画像 Cに属する場合には、画像生成方法 Zを使用する。

[0140] これを受けて、復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合 には、復号画像を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成 部 207で生成される画像を蓄積する。

[0141] (ii- 2) GOPヘッダが検出されな、場合の復号処理 (GOPの符号化情報が符号化 されていない場合)

GOPヘッダ Z符号ィ匕有無情報復号部 2100が GOPヘッダを検出しない場合には 、次のように動作する。

[0142] すなわち、前フレームで符号ィ匕データを復号した場合には、 GOP内画像復号部 2 05は、現フレームにおいて符号ィ匕データを復号して画像を出力し、更に、その復号 した画像を復号画像蓄積メモリ 206に蓄積する。

[0143] 一方、前フレームで符号ィ匕データを復号しな力つた場合には、現フレームにおいて 前フレームにおける GOPの符号ィ匕情報と同一の GOPの符号ィ匕情報が用いられてヽ ることに対応して、生成参照 GOP復号部 208が前フレームで得た GOPの番号を復 号処理に用いる。この場合、 GOPの番号が入力画像 Aまたは Bに属する場合には、 生成情報復号部 209が前フレームで画像生成方法を指定する情報として Xまたは Y を得ているので、それを使って復号処理を行う。なお、ここでは、前フレームは先頭フ レームであるので、 GOPの番号が入力画像 Cに属することはないが、 GOPヘッダが 検出されな、場合の一般の復号処理として、 GOPの番号が入力画像 Cに属する場 合には生成情報復号部 209が前フレームで画像生成方法を指定する情報を復号し ていないことで、画像生成方法を指定する情報として Zを得ているので、それを使つ て復号処理を行う。

[0144] したがって、画像生成部 207は、生成参照 GOP復号部 208が前フレームで得た G OP番号と、生成情報復号部 209が前フレームで得た画像生成方法の情報とを使つ て画像を生成する。

[0145] これを受けて、復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合 には、復号画像を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成 部 207で生成される画像を蓄積する。

[0146] 以上の動作により、 GOP構成が予め決定されていない場合であっても、本発明の 映像符号ィ匕装置は画像を符号ィ匕し、本発明の映像復号装置は符号化データを復号 することができる。このとき得られる符号ィ匕データの GOPは図 5のような構成になる。

[0147] 図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるもので はない。

[0148] 例えば、実施形態例では、 Cの画像の生成方法を決定するために、 Aと Bの復号画 像を使用したが、 Aと Bの原画像を使用してもよい。この場合には、映像符号化装置 に、画像 A符号ィ匕部 102と画像 A復号部 103と画像 B符号ィ匕部 106と画像 B復号部 107とを備える必要はない。

[0149] また、実施形態例では、画像生成方法として Xと Yを用意したが、 Vヽずれかのみ用 意してもよい。この場合には、映像符号化装置に、生成情報符号化部 116を備える 必要がないとともに、映像復号装置に、生成情報復号部 209を備える必要がない。

[0150] また、実施形態例では、画像生成方法として Zを用意したが、これを用意しなくても よい。この場合には、 Cの復号画像を蓄積する必要がないため、映像符号化装置に 、画像 C復号部 111と復号画像蓄積メモリ 112とを備える必要がないとともに、映像復 号装置に、復号画像蓄積メモリ 206を備える必要がない。

[0151] また、実施形態例では説明しな力たが、画像生成をするために使用するカメラ入 力映像が予め決められている場合には、生成に使用する GOPを指定する必要がな いため、映像符号化装置に、生成参照 GOP符号ィ匕部 115を備える必要がないととも に、映像復号装置に、生成参照 GOP復号部 208を備える必要がない。

[0152] また、実施形態例では、 Cの画像を生成するために、同時刻の Aまたは Bの画像を 使用したが、過去の Aまたは Bの画像を使用しても良ぐまた、複数の過去の画像を 使用してちょい。

産業上の利用可能性

[0153] 映像再生側で画像を生成できるかどうかを符号ィ匕時に判定し、更に生成することを 示す情報を符号ィ匕することが可能となるため、画像符号ィ匕側で映像を符号ィ匕しない ことを制御できるようになり、これにより符号ィ匕効率を向上できる。従って、視点位置 や視線方向を変更することを可能とする映像技術などに好適となる映像符号化'復 号技術を提供できる。