国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2006038607) スケーラブル符号化方法および装置,スケーラブル復号方法および装置,それらのプログラムおよびそれらプログラムを記録した記録媒体
注意: このテキストは、OCR 処理によってテキスト化されたものです。法的な用途には PDF 版をご利用ください。
明 細書

スケーラブル符号化方法および装置,スケーラブル復号方法および装置 ,それらのプログラムおよびそれらプログラムを記録した記録媒体

技術分野

[oooi] 本発明は,高能率画像信号符号化 Z復号技術に関し,特にスケーラブル符号ィ匕 において最適な符号量の割当てを行う符号ィ匕 Z復号技術に関するものである。

本願 ίま、 2004年 10月 6日【こ出願された特願 2004— 293395号【こ基づさ優先権 を主張し、その内容をここに援用する。

背景技術

[0002] 近年,多様ィ匕するネットワーク環境'端末環境などに対応するためスケーラブル符 号ィ匕が注目を集めている。スケーラブル符号化では,画像信号を階層的に分割し, 各階層ごとに符号ィ匕が行われる。階層分割の方法としては,

(i)空間周波数に関する帯域分割

(ii)時間周波数に関する帯域分割

などがある。

[0003] (i)としては, wavelet分割(例えば,非特許文献 1参照), (ii)としては, Motion Co mpensation Temporal Fitering (MCTF) (例えば,非特許文献 2参照)が代表例であ る。

[0004] なお,分割された各階層の符号ィ匕に関する技術としては, EBCOT (例えば,非特 許文献 3参照), 3D— ESCOT (例えば,非特許文献 4参照)に示すようなビットプレ ーンベースの手法などがある。

非特干文献 1: A tneory for multiresolution signal decomposition: the wavelet repre sentation , S. G. Mallat, IEEE Trans. Pattern Analysis and Machine Intelligence, V ol.l l, No.7, pp. 674-693, July, 1989

非特許文献 2 : "Three- dimensional subband coding with motion compensation", J. R. Ohm , IEEE Trans. Image Processing, Vol.3 , No.5, pp. 559—571, Sept., 1994 非特許文献 3 : "High performance scalable image compression with EBCOT", D. Ta

ubman; IEEE Trans. Image Processing, Volume: 9, Issue: 7, pp. 1158—1170, July, 2000

非特許文献 4: "Three-Dimensional Embedded Subband Coding with Optimized Trun cation (3-D ESCOT)", J. Xu, Z. Xiong, S. Li, and Y. Zhang, Applied and Computati onal Harmonic Analysis 10, pp. 290 - 315, 2001

発明の開示

発明が解決しょうとする課題

[0005] 一般的に,各階層への割当て符号量は,ネットワークの帯域等を考慮して,符号ィ匕 前に設定される。

[0006] 図 1は,スケーラブル符号ィ匕における階層の設定例を示す図である。図 1の例は, 画素数 4CIF (704 X 576 [pels] , 60 [frames/sec] )の画像信号を 6階層に分割した 場合の例である("Description of Core Experiments in SVC", ISO/IEC JTC1/SC29/ WG11 N6373, March, 2004参照)。

[0007] こうした条件の下,各階層の信号を独立に符号ィ匕した場合,画像によっては致命的 な画質劣化を引き起こすことがある。下位階層の信号へ情報が集中している画像に 対して,下位階層に対する符号量が十分に割当てられていなければ,大きな符号ィ匕 歪みが発生する。しかし,各階層を独立に符号ィ匕しているため,下位階層の情報に 上位階層の情報を付加しても下位階層での劣化は修復できない。このため,下位階 層の信号へ情報が集中しているような画像では、上位階層の復号信号を付加した復 号画像においても,符号量に見合う画質の向上は期待できない。問題は,各階層へ の割当て符号量が画像によらず一定であること,および,各階層の符号化が独立に 行われることにある。

[0008] 本発明は,このような事情に鑑みてなされたものであって,階層間の情報量の偏り に応じた適応的な階層ごとの符号量割当て法を確立し,復号画像の画質を向上させ る技術を提供することを目的とする。

課題を解決するための手段

[0009] 上述した課題を解決するために、本発明は、符号化対象の画像信号を複数の階層 に分割し符号ィ匕するスケーラブル符号ィ匕方法において,

前記複数の階層中の少なくとも一つの対象階層の画像信号を,該対象階層に割当 てられた符号量に基づいて符号ィ匕するとともに、符号ィ匕前の画像信号と符号ィ匕後の 画像信号を復号した画像信号との差に相当する残差信号を出力するステップと, 前記残差信号と,他の目的階層への割当て符号量およびその目的階層の画像信 号とに基づき,前記残差信号の符号化に割当てる対象符号量を決定するステップと

前記決定した対象符号量に基づき前記残差信号を符号化するステップと, 前記目的階層への割当て符号量を前記対象符号量に基づき変更し,変更した符 号量に基づいて前記目的階層の画像信号を符号化するステップと

を有するスケーラブル符号化方法を提供する。

[0010] 前記複数の階層の符号ィ匕信号を多重化して符号化ストリームとするステップを更に 有し、該ステップにおいて、前記対象符号量を用いて符号ィ匕した残差信号を,符号 化済みの前記対象階層の画像信号に対する付加情報とし,多重化される符号化信 号は、前記符号化済みの前記対象階層の画像信号と、前記対象符号量に基づいて 符号化した残差信号、及び、前記変更した符号量に基づいて符号化した前記目的 階層の画像信号とを含むようにしても良い。

好適例としては、前記対象符号量を決定するステップは、前記対象階層および前 記目的階層の符号化歪みをそれぞれ求め、それらの総和を最小にする符号量を該 対象符号量とすることを含む。

[0011] 本発明よれば,下位階層の信号に情報が集中しているにもかかわらず同階層への 割当て符号量が少ない場合に,上位階層に対する割当て符号量の一部を用いて下 位階層の符号ィ匕残差を符号ィ匕する。信号全体に割当てられる符号量が一定であると いう条件のもと,例えば符号ィ匕歪みの総和を最小化するように,下位階層の符号ィ匕 残差への割当て符号量を設定する。その際,符号量と符号ィヒ歪みとの関係をモデル 化し,各階層の信号電力,および,下位階層信号の符号化残差電力の測定結果に 基づき,同残差電力に対する適切な符号量を設定することが可能であり、これにより ,符号量の再配分を行う。

また,決定した対象符号量に基づき符号化した残差信号を符号化済みの対象階

層の画像信号に対する付加情報とし,該対象符号量と他の目的階層の信号に対す る割当て符号量から目的階層信号に対する新たな割当て符号量を算出することによ りスケーラブル符号ィ匕を行う。

[0012] 本発明はまた、符号化対象の画像信号を複数の階層に分割し符号化するスケーラ ブル符号ィ匕装置であって,

前記複数の階層中の少なくとも一つの対象階層の画像信号を,該対象階層に割当 てられた符号量に基づいて符号ィ匕するとともに、符号ィ匕前の画像信号と符号ィ匕後の 画像信号を復号した画像信号との差に相当する残差信号を出力する対象階層符号 化部と,

前記残差信号と,他の目的階層への割当て符号量およびその目的階層の画像信 号とに基づき,前記残差信号の符号化に割当てる対象符号量を決定する対象符号 量決定部と,

前記決定した対象符号量に基づき前記残差信号を符号化する残差信号符号化部 と,

前記目的階層への割当て符号量を前記対象符号量に基づき変更し,変更した符 号量に基づいて前記目的階層の画像信号を符号化する目的階層符号化部と を有するスケーラブル符号化装置を提供する。

[0013] 本発明はまた、上記スケーラブル符号化方法によって符号化された画像信号の符 号化ストリームを復号するスケーラブル復号方法であって,

入力した符号化ストリームを,各階層ごとの符号ィ匕済み階層信号の符号化ストリー ムと,前記階層信号に対する符号化済み残差信号の符号化ストリームと,各階層の 信号に対する制御情報とに分解するステップと,

第 1階層から第 N階層までの各階層ごとに,前記入力した符号化ストリーム中に前 記符号化済み階層信号の符号化ストリームが含まれる場合に,その階層信号の符号 ィ匕ストリームを復号するステップと,

第 1階層から第 N階層までの各階層ごとに,前記入力した符号化ストリーム中に前 記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合 に,その残差信号の符号化ストリームを復号するステップと,

前記各階層ごとに復号された階層信号と残差信号とを合成するステップと を有するスケーラブル復号方法を提供する。

[0014] 本発明はまた、上記スケーラブル符号ィ匕装置によって符号化された画像信号の符 号化ストリームを復号するスケーラブル復号装置であって,

入力した符号化ストリームを,各階層ごとの符号ィ匕済み階層信号の符号化ストリー ムと,前記階層信号に対する符号化済み残差信号の符号化ストリームと,各階層の 信号に対する制御情報とに分解する階層分離部と,

第 1階層から第 N階層までの各階層ごとに,前記入力した符号化ストリーム中に前 記符号化済み階層信号の符号化ストリームが含まれる場合に,その階層信号の符号 ィ匕ストリームを復号する階層信号復号部と,

第 1階層から第 N階層までの各階層ごとに,前記入力した符号化ストリーム中に前 記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合 に,その残差信号の符号化ストリームを復号する残差信号復号部と,

前記各階層ごとに復号された階層信号と残差信号とを合成する復号信号合成部と を備えるスケーラブル復号装置を提供する。

[0015] 本発明はまた、符号化対象の画像信号を複数の階層に分割し符号化する処理をコ ンピュータに実行させるためのスケーラブル符号ィ匕プログラムであって,

前記複数の階層中の少なくとも一つの対象階層の画像信号を,該対象階層に割当 てられた符号量に基づいて符号ィ匕するとともに、符号ィ匕前の画像信号と符号ィ匕後の 画像信号を復号した画像信号との差に相当する残差信号を出力するステップと, 前記残差信号と,他の目的階層への割当て符号量およびその目的階層の画像信 号とに基づき,前記残差信号の符号化に割当てる対象符号量を決定するステップと

前記決定した対象符号量に基づき前記残差信号を符号化するステップと, 前記目的階層への割当て符号量を前記対象符号量に基づき変更し,変更した符 号量に基づいて前記目的階層の画像信号を符号化するステップと

を有するスケーラブル符号ィ匕プログラムを提供する。

[0016] 本発明はまた、上記スケーラブル符号化方法によって符号化された画像信号の符 号化ストリームを復号する処理をコンピュータに実行させるためのスケーラブル復号 プログラムであって,

入力した符号化ストリームを,各階層ごとの符号ィ匕済み階層信号の符号化ストリー ムと,前記階層信号に対する符号化済み残差信号の符号化ストリームと,各階層の 信号に対する制御情報とに分解するステップと,

第 1階層から第 N階層までの各階層ごとに,前記入力した符号化ストリーム中に前 記符号化済み階層信号の符号化ストリームが含まれる場合に,その階層信号の符号 ィ匕ストリームを復号するステップと,

第 1階層から第 N階層までの各階層ごとに,前記入力した符号化ストリーム中に前 記階層信号に対する前記符号化済み残差信号の符号化ストリームが含まれる場合 に,その残差信号の符号化ストリームを復号するステップと,

前記各階層ごとに復号された階層信号と残差信号とを合成するステップと を有するスケーラブル復号プログラムを提供する。

[0017] 本発明はまた、上記スケーラブル符号ィ匕プログラムを記録したコンピュータ読み取り 可能な記録媒体,上記スケーラブル復号プログラムを記録したコンピュータ読み取り 可能な記録媒体を提供する。

発明の効果

[0018] 本発明によれば、階層分割後の任意の隣接階層間において,低階層信号を基本 信号と残差信号に分割し,該基本信号,該残差信号,および高階層信号を用いて, 符号化ストリームを多重化することができる。復号装置は,該符号化ストリームを入力 として,低階層信号の復号信号を該基本信号および該残差信号カゝら得ることができ る。

これによれば、従来,各階層の信号を独立に符号ィ匕した場合,下位階層の信号に 情報が集中している画像に対して下位階層に対する符号量が十分割当てられてい なければ,上位階層の復号信号を付加しても情報量に見合う画質の向上は期待でき なカゝつたものを、下位階層に含まれる情報量に応じて上位階層の割当て符号量の一 部を下位階層の符号ィ匕に割当てることができる。このため,全符号量を一定とした場 合,その符号量で得られる復号画像の画質を向上させることができる。

図面の簡単な説明

圆 1]スケーラブル符号ィ匕における階層の設定例を示す図である。

圆 2]入力信号に対する帯域分割の例を示す図である。

[図 3]本実施の形態における符号ィ匕の処理フローチャートである。

圆 4]本実施の形態における符号ィ匕装置の構成例を示す図である。

[図 5]本実施の形態における復号の処理フローチャートである。

圆 6]本実施の形態における復号装置の構成例を示す図である。

圆 7]図 6に示す復号装置における残差信号復号部の構成例を示す図である。 符号の説明

1 符号化装置

10 高階層信号抽出部

11 低階層信号抽出部

12 割当て符号量設定部

13 低階層信号符号化部

14 低階層補填符号量算出部

15 低階層残差信号符号化部

16 高階層信号符号化部

17 符号化ストリーム多重化部

2 復号装置

20 階層分離部

21' -23 第 1〜第 N階層信号復号部

24 残差信号復号部

25- -27 加算器

28 復号信号合成部

241 残差信号階層分離部

242 残差信号制御部

243 復号処理切換え部

244〜246 第 1〜第 N階層残差信号復号部

発明を実施するための最良の形態

[0021] 以下,本発明の実施の形態について,図を用いて説明する。

図 3は,本実施の形態における符号ィ匕の処理フローチャートである。ここでは,階層 数は 2とし,低階層信号に対する割当て符号量を R 1 ,高階層信号に対する割当て符 号量を R hとする。

[0022] まず,符号化対象信号を入力し,低階層と高階層の 2階層に分割する処理を行い, 低階層信号および高階層信号を出力する (ステップ S 10)。このとき,具体的な分割 方法は,外部力も与えられるものとする。図 2に示す帯域分割 (詳細は後述)は,その 一例である。

[0023] 次に,各階層に対する割当て符号量 (低階層信号に対する割当て符号量 R 1 ,高階 層信号に対する割当て符号量 R h )を入力情報として取得する (ステップ Sl l)。低階 層信号および同信号に対する割当て符号量 R 1を入力として,低階層信号に対する 符号化処理を行!ヽ,符号化ストリームおよび低階層信号に対する符号化残差信号( 低階層残差信号)を出力する (ステップ S12)。このとき,具体的な符号化方法は外部 力 与えられるものとする。

なお、符号化残差信号とは、符号化前の画像信号 (原画像)と符号化後の画像信 号を復号した画像信号 (復号画像)との差に相当する信号である。

[0024] ステップ S12で出力された低階層残差信号を入力とし,その低階層残差信号の電 力値を算出する処理を行い,低階層残差信号の電力 (低階層残差信号電力 1 )を 出力する (ステップ S13)。

[0025] 次に,高階層信号電力 A hと,低階層残差信号電力 A' 1と,高階層信号に対する 割当て符号量 R hとを入力とし,以下に説明する処理を行い,低階層補填符号量 を算出する (ステップ S 14)。

[0026] 図 2に示すように,周波数 fに対して p (f)の電力特性をもつ信号を例にとり,同信号 を 2つの帯域 (low-bandと high-band )に分割する場合を考える。この帯域分割は,信 号の階層的な表現の一手段であることから,各帯域を階層ととらえ,以下では, low-b and信号を低階層信号, high-band信号を高階層信号と呼ぶ。

[0027] ここで,低階層信号に対する割当て符号量を R ,高階層信号に対する割当て符号

量を R hとし,低階層信号電力 A 1 ,高階層信号電力 A hを,それぞれ以下の通りとする

[0028] [数 1]

= I P{f)df


[0029] この場合,前述の通り,従来は、低階層信号に対する割当て符号量 R 1 ,高階層信 号に対する割当て符号量 R h力ネットワーク等の外的条件により、画像によらず一定 に設定されることが問題となる。

そこで,本実施形態では、低階層信号への情報量の偏りが大きい場合には,高階 層信号に対する割当て符号量の一部を低階層信号の符号ィ匕に割当てる。

具体的には,低階層信号を符号量 R 1で符号化した際の符号化残差 (信号)に対し て,高階層信号に対する割当て符号量 R hの一部(ひ)を同残差の符号ィ匕に用いる。 以下では,低階層信号の符号化残差信号を低階層残差信号と呼び,同残差信号に 対する割当て符号量 Oを低階層補填符号量と呼ぶ。

[0030] 低階層補填符号量 (Xの設定方法を以下に示す。なお,電力 aを持つ信号を符号量 rで符号化した場合の符号ィ匕歪みを D (a, r)と表す。低階層信号,低階層残差信号, 高階層信号を,それぞれ符号量 R 1 , a, R h-αで符号化した場合,符号化歪みの 総和 J(a)は,次式となる。

[0031] j(a)=D(D(A 1 , R1 ), a)+D(A h , R h - a) (1)

この J ( a )を最小化する αの求解が目標である。上式右辺の各項につ!、て, aに依 存しない D(A 1 , R1)について, D(A 1 , R1)=A' 1とおくと,式(1)は,

j(a)=D(A 1 , a)+D(A h , R h - α) (2)

と表すことができる。

[0032] 式(2)の右辺の 2項 {D(A' 1 , a), D(A h , R h α)}について,量子化誤差によ る符号ィ匕歪みと符号量との関係(N. S. Jayant and P. Noll: "Digital coding ofwavefor ms", Prentice Hall, 1984参照)から,次のようにモデル化する。

[0033] [数 2]

D{A!',a) = β2Α 2- (3)

D{Ak,Rh -a) = β2Α„Τ2 ^α (4)

ここで, βは変換係数の分布に対応して定まる定数である。 J(a)を最小化する α を求めるため,式(3),式 (4)を式(2)に代入し,

dj(a)/da=0 (5)

を αについて解く。

[0034] この方程式(5)の解として次の (X *を得る。

a* = (log 2 (Α' 1 /A h ))/4+R h /2 (6)

[0035] さらに,算出された低階層補填符号量 α*が物理的に実現可能な値にあることを検 証するため,低階層補填符号量と高階層信号に対する割当て符号量 R hとを入力 とし,求めた符号量 α*が

0≤ a*≤R h

の範囲にあるか否かを判定する処理を行い,が上式の範囲にあれば真値" 1"を 出力してステップ S17へ進み,そうでなければ,偽値" 0"を出力してステップ S16へ 進む(ステップ S 15)。

[0036] ステップ S16では,算出された低階層補填符号量 α*と,高階層信号電力 Α hと,低 階層残差信号電力 A' 1と,高階層信号に対する割当て符号量 R hとを入力とし,下 式 (7)に示すクリッピング処理を行い (式中、 αを α*とする),最終的な低階層補填符 号量である αの最適値 α を出力する。

[0037] [数 3]

I . A; 1 D (0 <« < Rh)

4 A, 2

= (7)

0 («≤ 0)

R {Rh≤ a)

なお,ここでは,簡単のため 1次元信号の周波数帯域の分割を例に挙げているが, 同様の考え方は,フレーム内信号に対する 2次元の周波数帯域分割,および,時空 間の動画像信号に対する 3次元の周波数帯域分割にも適用できる。

[0038] この処理により,ステップ S15の判定結果が真値" 1"の場合には,前述の式(6)で 表される右辺の値が最終的な低階層補填符号量 α optとして出力され,ステップ S15 の判定結果が偽値" 0"の場合には,そのときのひ *の値により, 0または R hが最終的 な低階層補填符号量ひ

optとして出力される。

[0039] この低階層補填符号量 α optと低階層残差信号とを入力として,低階層残差信号に 対する符号化処理を行い,符号化ストリームを出力する (ステップ S 17)。このとき,具 体的な符号ィ匕方法は外部力与えられるものとする。

[0040] 次に,低階層補填符号量 α optと高階層信号に対する割当て符号量 R hとを入力し,

R h力 a optを減じた結果を求める処理を行、,低階層補填後の高階層信号に対す る符号量 (R n - a opt )を出力する (ステップ S18)

最後に,低階層補填後の高階層信号に対する符号量 R h - a opt t,高階層信号とを 入力として,高階層信号に対する符号ィ匕処理を行い,高階層信号に対する符号化ス トリームを出力する (ステップ S19)。このとき,具体的な符号ィ匕方法は外部力与えら れるものとする。

[0041] 上記各階層の符号化方法としては,外部力与えられるものとしたが,例えば上記 非特許文献 3や非特許文献 4に記載されているようなビットプレーンベースの手法を 用!/、ることができる。

[0042] 図 4は,本実施の形態における符号化装置の構成例を示す図である。符号化装置 1は,高階層信号抽出部 10と,低階層信号抽出部 11と,割当て符号量設定部 12と ,低階層信号符号化部 13と,低階層補填符号量算出部 14と,低階層残差信号符号 化部 15と,高階層信号符号化部 16と,符号化ストリーム多重化部 17とから構成され る。

[0043] 高階層信号抽出部 10は,符号化対象の信号を入力して帯域分割処理を行い,高 階層信号を出力する。また,低階層信号抽出部 11は,符号化対象の信号を入力し て帯域分割処理を行い,低階層信号を出力する。割当て符号量設定部 12は,あら かじめ外部から指定された低階層信号に対する割当て符号量 R 1 ,高階層信号に対 する割当て符号量 R hを設定する。

[0044] 低階層信号符号化部 13は,低階層信号と同信号に対する割当て符号量 Rとを入

力し,符号化処理を行い,低階層信号に対する符号化ストリームを出力する。低階層 補填符号量算出部 14は,高階層信号電力と,低階層残差信号と,高階層信号に対 する割当て符号量 R hとを入力し,図 3のステップ S 13〜S 16, S 18に相当する処理 により,低階層残差信号の電力値の算出,低階層補填符号量 α optの算出および低 階層補填後の高階層信号に対する割当て符号量 R h— a optの算出を行い,算出され た低階層補填符号量 o optを低階層残差信号符号化部 15へ出力し,また、低階層補 填後の高階層信号に対する割当て符号量 R —

h a optを高階層信号符号化部 16へ出 力する。

[0045] 低階層残差信号符号化部 15は,低階層残差信号と低階層補填符号量 α optとを入 力し,低階層残差信号の符号化処理を行い,符号化ストリームを出力する。また,高 階層信号符号化部 16は,高階層信号と低階層補填後の高階層信号に対する割当 て符号量 R h— a optとを入力し,高階層信号の符号化処理を行い,符号化ストリーム を出力する。符号化ストリーム多重化部 17は,低階層信号に対する符号化ストリーム ,高階層信号に対する符号化ストリーム,低階層残差信号に対する符号化ストリーム を入力し,多重化処理を行い,多重化された符号化ストリームを出力する。

[0046] 以上,階層数が 2の場合の符号ィ匕処理の実施の形態について説明したが,本発明 はこれに限られるものではなく, 3階層以上に分割する場合にも同様に適用すること ができる。

以下、階層数が Nの場合を考える。このとき、第 n階層における信号電力、割り当て 符号量、符号化歪みを各々、 A , R , D とする。符号化歪み D = β A の値に関し て、降順にソートを行い、同値が最小となる階層(第 1階層)から同値が最大値となる 階層 (第 h階層)へと、符号量の一部を補填する。また、補填先、補填元を決定する 際のソートに用いる値としては、上記の他に、 A/Rをとることもできる。具体的な補填 方法は、先に示した 2階層の場合と同様である。つまり、第 1階層を 2階層の例にお ける低階層とみなし、第 h階層を 2階層の例における高階層とみなせば良い。

また, N階層(N≥3)の中の複数の階層について,符号化残差への割当て符号量 を適応的に設定し,各階層への割当て符号量を再分配して階層ごとに符号化するこ とも可能である。

[0047] 図 5は,本実施の形態における復号の処理フローチャートである。ここでは,符号ィ匕 装置において画像信号を 2階層以上に分割して符号ィ匕し,その符号化ストリームを符 号化装置から受信し,それを復号する場合の例を説明する。総階層数を N (N≥2)と する。

[0048] まず,多重化された符号化ストリームを入力し,それを各階層に対する符号化ストリ ームに分解し,各階層に対する符号化ストリーム,各階層に対する符号化残差ストリ ーム,各階層の信号に対する制御情報を出力する (ステップ S20)。

[0049] 復号対象階層を示す変数 nを n= lに初期化し (ステップ S21) ,各階層の符号化ス トリームの復号処理を以下のように行う。ステップ S20で分解された符号化ストリームと 制御情報とを入力し,符号化ストリームに第 n階層に対する符号化ストリームが存在 するか否かを判定する処理を行!ヽ,第 n階層に対する符号化ストリームが存在すれ ば真値" 1"を出力し,そうでなければ偽値" 0"を出力する (ステップ S22)。ここで,偽 値" 0"を出力した場合には,同階層に対して復号処理は行わない。真値" 1"を出力 した場合には,第 n階層信号に対する符号化ストリームを入力して復号処理を行い, 第 n階層信号の復号信号を出力する (ステップ S23)。

[0050] 次に,全ての階層をチェックしたかどうを判定する。すなわち,復号対象階層を示す 変数 nと総階層数 Nとの大小比較を行い, n≥Nであれば,全階層の復号処理を終え たとして,真値" 1"を出力し,そうでなければ偽値" 0"を出力する (ステップ S24)。ここ で偽値" 0"を出力した場合には,復号対象階層を示す変数 nに 1を加算する処理を 行い(ステップ S25) ,ステップ S22以降の処理を同様に繰り返す。

[0051] また,ステップ S20に続く別系統の処理として、復号対象階層を示す変数 nを n= 1 に初期化し (ステップ S26) ,各階層の残差信号に対する復号処理を以下のように行 う。ステップ S20で分解された符号化ストリームと制御情報とを入力し,符号化ストリー ムに第 n階層に対する符号化残差信号の符号化ストリームが存在するか否かを判定 する処理を行い,第 n階層に対する符号化残差信号の符号化ストリームが存在すれ ば真値" 1"を出力し,そうでなければ偽値" 0"を出力する (ステップ S27)。ここで,偽 値" 0"を出力した場合には,同階層に対して符号ィ匕残差信号の復号処理は行わな い。真値" 1"を出力した場合には,第 n階層信号に対する符号化残差信号の符号ィ匕

ストリームを入力して復号処理を行い,その符号ィ匕残差信号の復号信号を出力する( ステップ S 28)。

[0052] 次に,全ての階層をチェックしたかどうを判定する。すなわち,復号対象階層を示す 変数 nと総階層数 Nとの大小比較を行い, n≥Nであれば,全階層の符号化残差信 号に対する復号処理を終えたとして,真値" 1"を出力し,そうでなければ偽値" 0"を 出力する (ステップ S29)。ここで偽値" 0"を出力した場合には,復号対象階層を示す 変数 nに 1を加算する処理を行い (ステップ S30) ,ステップ S27以降の処理を同様に 繰り返す。

[0053] ステップ S31では,各階層の復号信号および各階層の符号化残差の復号信号を 入力し,これらを合成する処理を行い,合成後の復号信号を出力する。

[0054] 図 6は,本実施の形態における復号装置の構成例を示す図である。復号装置 2は, 図 5で説明した復号処理を実行する装置であり(ただし、わ力りやすいように、総階層 数 N = 3以上の場合を図示している),階層分離部 20と,第 1階層信号から第 N階層 信号までの復号部 21〜23と,残差信号復号部 24と,加算器 25〜27と,復号信号 合成部 28とから構成される。

[0055] 階層分離部 20は,多重化された符号化ストリームを入力として,各階層ごとに分離 する処理を行い,各階層の符号化ストリーム,各階層ごとの符号化残差の符号化スト リーム,各階層の信号に対する制御情報を出力する。

[0056] 第 1階層信号復号部 21は,第 1階層の符号化ストリームが存在すれば,その符号 ィ匕ストリームを入力として復号処理を行い,復号信号を出力する。第 2階層信号復号 部 22は,第 2階層の符号化ストリームが存在すれば,その符号化ストリームを入力と して復号処理を行い,復号信号を出力する。同様に,各階層の符号化ストリームを復 号する復号処理部を有し,第 N階層信号復号部 23は,第 N階層の符号化ストリーム が存在すれば,その符号化ストリームを入力として復号処理を行い,復号信号を出力 する。

[0057] 残差信号復号部 24は,各階層ごとの符号ィ匕残差の符号化ストリームとその制御情 報とを入力として復号処理を行い,各階層の符号ィ匕残差の符号化ストリームに対する 復号信号を出力する。加算器 25〜27では,第 1〜第 N階層信号復号部 21〜23の 出力と,残差信号復号部 24の出力であるそれぞれ対応する階層の符号化残差の復 号信号とが加算され,復号信号合成部 28に出力される。復号信号合成部 28は,加 算器 25〜27の出力である各階層ごとの復号信号を入力として合成処理を行い,合 成された信号を最終的な復号信号として出力する。

または,復号信号合成部 28は,各階層ごとの復号信号および各階層ごとの符号ィ匕 残差の復号信号を,第 1〜第 N階層信号復号部 21〜23および残差信号復号部 24 から直接入力し,それらの合成処理を行い,合成された信号を最終的な復号信号と して出力するようにしてもよい。この場合、加算器 25〜27は不要となる。

[0058] 図 7は,図 6に示す残差信号復号部 24の構成例を示す図である。残差信号復号部 24は,残差信号階層分離部 241と,残差信号制御部 242と,復号処理切換え部 24 3と,第 1階層信号力も第 N階層信号までの残差信号復号部 244〜246とから構成さ れる。

[0059] 残差信号階層分離部 241は,各階層ごとの符号ィ匕残差の符号化ストリームを入力 として,階層ごとに分離する処理を行い,分離された符号化ストリームを出力する。残 差信号制御部 242は,各階層信号に対する制御情報を入力として,階層ごとに符号 化残差信号の重畳の有無を判定し,判定結果を出力する。判定結果は,例えば Nビ ットの 2進数列として出力される。

[0060] 復号処理切換え部 243は,残差信号制御部 242から出力された判定結果を入力と して,符号ィ匕残差信号が重畳される階層については復号処理を行うべく,対応する 残差信号復号部へ、復号すべき符号化残差の符号化ストリームを送信する。符号ィ匕 残差信号が重畳されない階層については,対応する階層の残差信号復号部による 復号処理は行わない。第 1階層から第 N階層までの残差信号復号部 244〜246は, それぞれ担当する階層の符号化残差の符号化ストリームが存在する場合,その符号 ィ匕ストリームを入力として復号処理を行い,その符号化残差信号の符号化ストリーム に対する復号信号を出力する。

[0061] 以上説明した画像信号符号化および復号の処理は,コンピュータとソフトウェアプロ グラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な 記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。 産業上の利用可能性

下位階層に含まれる情報量に応じて上位階層の割当て符号量の一部を下位階層 の符号ィ匕に割当てることができる。このため,全符号量を一定とした場合,その符号 量で得られる復号画像の画質を向上させることができる。