処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2013001729 - 映像符号化装置及び映像復号装置

Document

明 細 書

発明の名称 映像符号化装置及び映像復号装置

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044  

先行技術文献

特許文献

0045  

非特許文献

0046  

発明の概要

発明が解決しようとする課題

0047   0048  

課題を解決するための手段

0049   0050  

発明の効果

0051  

図面の簡単な説明

0052  

発明を実施するための形態

0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163  

符号の説明

0164  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

明 細 書

発明の名称 : 映像符号化装置及び映像復号装置

技術分野

[0001]
 本発明は、映像符号化技術、特に、再構築画像を参照しての予測と量子化によるデータ圧縮とを行う映像符号化技術に関する。

背景技術

[0002]
 一般的な映像符号化装置は、入力映像の各フレームに対し、所定の映像符号化方式に準拠した符号化処理を行うことによって、符号化データすなわちビットストリームを生成する。所定の映像符号化方式の代表例である、非特許文献1に記載されたISO/IEC 14496-10 Advanced Video Coding (AVC)は、各フレームをMB(Macro Block)とよばれる16×16画素サイズのブロックに分割し、さらに、MBを4×4画素サイズのブロックに分割して、MBを符号化の最小構成単位とする。図17に、フレームのカラーフォーマットがYCbCr 4:2:0フォーマットであり、空間解像度がQCIF(Quarter Common Intermediate Format)の場合におけるブロック分割の例を示す。
[0003]
 分割された各画像ブロックは、順次映像符号化装置に入力され、符号化される。図18は、AVC方式に準拠したビットストリームを生成する一般的な映像符号化装置の構成の一例を示すブロック図である。以下、図18を参照して、一般的な映像符号化装置の構成と動作について説明する。
[0004]
 図18に示す映像符号化装置は、周波数変換器101と、量子化器102と、可変長符号化器103と、量子化制御器104と、逆量子化器105と、逆周波数変換器106と、フレームメモリ107と、フレーム内予測器108と、フレーム間予測器109と、予測選択器110と、ビットストリームバッファ111とを備える。
[0005]
 映像符号化装置に入力された画像は、予測選択器110を介してフレーム内予測器108もしくはフレーム間予測器109より供給される予測画像を減じられた後、予測誤差画像として周波数変換器101に入力される。
[0006]
 周波数変換器101は、入力された予測誤差画像を空間領域から周波数領域に変換し、係数画像として出力する。
[0007]
 量子化器102は、周波数変換器101より供給された係数画像を、量子化制御器104より供給される、量子化の粒度を制御するための量子化ステップサイズを用いて量子化し、量子化係数画像として出力する。
[0008]
 可変長符号化器103は、量子化器102より供給される量子化係数画像をエントロピー符号化する。また、量子化制御器104から供給される前記量子化ステップサイズと、予測選択器110から供給される画像予測パラメータとを併せて符号化する。これらの符号化データは多重化され、ビットストリームとしてビットストリームバッファ111に蓄積される。
[0009]
 ビットストリームバッファ111は、可変長符号化器103より供給されるビットストリームを蓄積し、所定の伝送速度によって、映像符号化装置の出力としてビットストリームを出力する。ビットストリームバッファ111によって、映像符号化装置内の処理速度と、映像符号化装置より出力されるビットストリームの伝送速度とが調整される。
[0010]
 ここで、図19を用いて、可変長符号化器103における量子化ステップサイズの符号化処理を説明する。可変長符号化器103において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図19に示されるように、量子化ステップサイズバッファ10311と、エントロピー符号化器10312とを含む。
[0011]
 量子化ステップサイズバッファ10311は、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズQ(i-1)を保持する。
[0012]
 入力された量子化ステップサイズQ(i)は、以下の(1)式に示すように、量子化ステップサイズバッファ10311から供給される直前の量子化ステップサイズQ(i-1)を減じられた後、差分量子化ステップサイズdQ(i)として、エントロピー符号化器10312に入力される。
[0013]
 dQ(i) = Q(i) - Q(i-1)            ・・・(1)
[0014]
 エントロピー符号化器10312は、入力された差分量子化ステップサイズdQ(i)をエントロピー符号化し、量子化ステップサイズに対応する符号として出力する。
[0015]
 以上で、量子化ステップサイズ符号化処理の説明を終了する。
[0016]
 量子化制御器104は、現在の入力画像ブロックに対する量子化ステップサイズを決定する。一般には、量子化制御器104は、可変長符号化器103の出力符号量を監視し、当該画像ブロックに対する出力符号量が小さくなるように量子化ステップサイズを大きくしたり、逆に当該画像ブロックに対する出力符号量が大きくなるように量子化ステップサイズを小さくしたりする。量子化ステップサイズを増減することによって、映像符号化装置が入力動画像を目標符号量で符号化できるようにする。決定された量子化ステップサイズは、量子化器102及び可変長符号化器103に供給される。
[0017]
 量子化器102より出力された量子化係数画像は、以降の画像ブロックの符号化において予測に用いるために、逆量子化器105によって逆量子化されて、係数画像となる。逆量子化器105より出力された係数画像は、逆周波数変換器106によって空間領域に戻されて、予測誤差画像となる。予測誤差画像は、予測画像を加えられた後、再構築画像としてフレームメモリ107及びフレーム内予測器108に入力される。
[0018]
 フレームメモリ107は、過去に入力され符号化された画像フレームの再構築画像を蓄積する。フレームメモリ107に蓄積される画像フレームを、参照フレームと呼ぶ。
[0019]
 フレーム内予測器108は、現在符号化中の画像フレーム内において過去に符号化された画像ブロックの再構築画像を参照して、予測画像を生成する。
[0020]
 フレーム間予測器109は、フレームメモリ107より供給される参照フレームを参照して、予測画像を生成する。
[0021]
 予測選択器110は、フレーム内予測器108から供給される予測画像とフレーム間予測器109から供給される予測画像を比較して、入力画像に近い側の予測画像を選択し出力する。また、フレーム内予測器108又はフレーム間予測器109が行った予測方法に関する情報(画像予測パラメータと呼ぶ)を出力し、可変長符号化器103に供給する。
[0022]
 一般的な映像符号化装置は、以上の処理によって入力動画像を圧縮符号化し、ビットストリームを生成する。
[0023]
 出力されたビットストリームは、映像復号装置に伝達され、映像復号装置によって復号処理が行われて、動画像として復元される。図20は、一般的な映像符号化装置が出力したビットストリームを復号し復号映像を得る、一般的な映像復号装置の構成の一例を示す。以下、図20を参照して、一般的な映像復号装置の構成と動作を説明する。
[0024]
 図20に示す映像復号装置は、可変長復号器201と、逆量子化器202と、逆周波数変換器203と、フレームメモリ204と、フレーム内予測器205と、フレーム間予測器206と、予測選択器207と、ビットストリームバッファ208とを備える。
[0025]
 ビットストリームバッファ208は、入力されたビットストリームを蓄積した後、可変長復号器201に出力する。ビットストリームバッファ208によって、映像復号装置に入力されるビットストリームの伝送速度と、映像復号装置内の処理速度とが調整される。
[0026]
 可変長復号器201は、ビットストリームバッファ208より入力されたビットストリームを可変長復号し、逆量子化の粒度を制御するための量子化ステップサイズと、量子化係数画像と、画像予測パラメータとを得る。前記量子化ステップサイズと量子化係数画像は、逆量子化器202に供給される。画像予測パラメータは、予測選択器207に供給される。
[0027]
 逆量子化器202は、入力された量子化係数画像を、入力された量子化ステップサイズに基づいて逆量子化して、係数画像として出力する。
[0028]
 逆周波数変換器203は、逆量子化器202から供給される係数画像を周波数領域から空間領域に変換し、予測誤差画像として出力する。予測誤差画像は、予測選択器207から供給される予測画像と加算されて、復号画像となる。復号画像は、出力画像として映像復号装置から出力されるとともに、フレームメモリ204及びフレーム内予測器205に入力される。
[0029]
 フレームメモリ204は、過去に復号された画像フレームを蓄積する。フレームメモリ204に蓄積される画像フレームを、参照フレームと呼ぶ。
[0030]
 フレーム内予測器205は、現在復号中の画像フレーム内において過去に復号された画像ブロックの再構築画像を、可変長復号器201より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。
[0031]
 フレーム間予測器206は、フレームメモリ204より供給される参照フレームを、可変長復号器201より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。
[0032]
 予測選択器207は、フレーム内予測器205とフレーム間予測器206から供給される予測画像を、可変長復号器201から供給される画像予測パラメータに基づいて選択する。
[0033]
 ここで、図21を用いて、可変長復号器201における量子化ステップサイズの復号処理について説明する。可変長復号器201において、量子化ステップサイズの符号化を行う量子化ステップサイズ復号器は、図21に示されるように、エントロピー復号器20111と、量子化ステップサイズバッファ20112とを含む。
[0034]
 エントロピー復号器20111は、入力された符号をエントロピー復号し、差分量子化ステップサイズdQ(i)を出力する。
[0035]
 量子化ステップサイズバッファ20112は、直前の量子化ステップサイズQ(i-1)を保持する。
[0036]
 以下の(2)式に示すように、エントロピー復号器20111により生成された差分量子化ステップサイズdQ(i)に、量子化ステップサイズバッファ20112から供給されるQ(i-1)が加算される。加算値は、量子化ステップサイズQ(i)として出力されるとともに、量子化ステップサイズバッファ20112に入力される。
[0037]
 Q(i) = Q(i-1) + dQ(i)           ・・・(2)
[0038]
 以上で、量子化ステップサイズ復号処理の説明を終了する。
[0039]
 一般的な映像復号装置は、以上の処理によって入力ビットストリームを復号し、動画像を生成する。
[0040]
 ところで、符号化処理によって圧縮される動画像の主観品質を保つために、一般的な映像符号化装置における量子化制御器104は、一般に、出力符号量を解析するだけでなく、入力画像と予測誤差画像の一方又は双方を解析して、人間の視覚感度に応じた量子化ステップサイズを決定する。すなわち、量子化制御器104は、視覚感度適応量子化を行う。具体的には、現符号化対象画像に対する人間の視覚感度が高いと判定された場合には量子化ステップサイズを小さく、逆に視覚感度が低いと判定された場合には量子化ステップサイズを大きく設定する。そのような制御が行われることによって、視覚感度の高い領域に対して、より多くの符号量を割り当てることが可能になるので、主観画質が向上する。
[0041]
 視覚感度適応量子化技術としては、例えば、MPEG-2のTest Model 5(TM5)で採用された、入力画像のテクスチャの複雑度に基づく適応量子化が知られている。テクスチャの複雑度は、一般に、アクティビティと呼ばれる。また、特許文献1では、入力画像のアクティビティに併せて予測画像のアクティビティを用いる適応量子化方式が提案されている。また、特許文献2では、エッジ部を考慮したアクティビティに基づく適応量子化方式が提案されている。
[0042]
 視覚感度適応量子化技術を用いるときに、画像フレーム内で、頻繁に量子化ステップサイズの変動が発生することが問題となる。AVCに従うビットストリームを生成する一般的な映像符号化装置では、量子化ステップサイズを符号化するにあたって、直前に符号化した画像ブロックに対する量子化ステップサイズとの差分をエントロピー符号化する。従って、符号化順序方向に対する量子化ステップサイズの変動が大きくなると、量子化ステップサイズの符号化に要する符号量が増加する。その結果、ビットストリームのサイズが増加し、ビットストリームバッファの実装に必要なメモリサイズが増大してしまう。
[0043]
 符号化順序方向は画面上の視覚感度の連続性とは無関係であるため、視覚感度適応量子化技術は、必然的に量子化ステップサイズの符号化に要する符号量を増加させる。ゆえに、一般的な映像符号化装置では、視覚感度適応量子化技術によって主観画質を改善させようとした場合、必然的にビットストリームのサイズが増加し、所要メモリサイズが増大してしまうという問題がある。
[0044]
 この問題に対して、特許文献3には、視覚感度に応じて量子化ステップサイズを適応設定する代わりに、空間領域及び周波数領域での視覚感度に応じて、ゼロに量子化する範囲すなわちデッドゾーンを適応設定する技術が開示されている。特許文献3に記載された方式は、視覚感度が低いと判定された変換係数に対するデッドゾーンを、視覚感度が高いと判定された変換係数に対するデッドゾーンよりも広くする。そのような制御が行われることによって、量子化ステップサイズを変動させることなく、視覚感度適応量子化を行うことができる。

先行技術文献

特許文献

[0045]
特許文献1 : 特許2646921号公報
特許文献2 : 特許4529919号公報
特許文献3 : 特許4613909号公報

非特許文献

[0046]
非特許文献1 : ISO/IEC 14496-10 Advanced Video Coding

発明の概要

発明が解決しようとする課題

[0047]
 しかし、特許文献3に記載された技術を用いると、デッドゾーンの範囲に収まらない変換係数に対しては、視覚感度に適応した量子化を行うことができない。すなわち、視覚感度が低いと判定されても、デッドゾーンの範囲に収まらない変換係数に対しては係数符号量を削減することができない。また、量子化ステップサイズを拡大した場合には、量子化後の変換係数値はゼロ付近に集中するが、デッドゾーンを拡大した場合には、デッドゾーンの範囲に収まらない変換係数は量子化してもゼロ付近に集中しなくなる。すなわち、デッドゾーンを拡大した場合には、量子化ステップサイズを拡大した場合と比較して、エントロピー符号化による符号化効率が不十分となる。こうした理由により、一般的な符号化技術には、視覚感度に適応した量子化を行うと、映像符号化装置および映像復号装置における所要メモリサイズが増大するという問題があるといえる。
[0048]
 本発明は上記の課題に鑑みてなされた発明であって、第1の目的は、符号量増加を抑えつつ量子化ステップサイズを頻繁に変動させることを可能とし、所要メモリサイズ増大を抑えて高画質な動画像符号化を行う映像符号化装置を提供することである。また、本発明の第2の目的は、所要メモリサイズ増大を抑えて高画質な動画像の再生が可能な映像復号装置を提供することである。

課題を解決するための手段

[0049]
 本発明による映像符号化装置は、入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、量子化ステップサイズ符号化手段は、量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測することを特徴とする。
[0050]
 本発明による映像復号装置は、入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、復号済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、量子化ステップサイズ復号手段は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測することを特徴とする。

発明の効果

[0051]
 本発明によれば、映像符号化装置において、量子化ステップサイズを画像フレーム内で頻繁に変動させても、それに付随する発生符号量の増加を抑えることができる。換言すれば、より少ない符号量で量子化ステップサイズの符号化を行える。従って、視覚感度適応量子化による主観画質向上のために所要メモリサイズが増大するという問題が解消される。さらに、本発明によれば、映像復号装置において、少量の符号を受信するだけで、頻繁に変動する量子化ステップサイズを復号することができるので、少ない所要メモリサイズで高画質な動画像の再生を行える。

図面の簡単な説明

[0052]
[図1] 本発明の第1の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
[図2] 符号化対象の画像ブロックと近傍画像ブロックとの位置関係の一例を示す説明図である。
[図3] 本発明の第2の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。
[図4] 本発明の第3の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
[図5] ブロック座標の例を示す説明図である。
[図6] 本発明の第4の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。
[図7] 本発明の第5の実施形態の映像符号化装置を示すブロック図である。
[図8] 本発明の第5の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
[図9] 量子化ステップサイズダウンサンプリングパラメータの多重化の例を示したリストを示す説明図である。
[図10] 本発明の第6の実施形態の映像復号装置を示すブロック図である。
[図11] 本発明の第6の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。
[図12] 本発明による映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
[図13] 本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。
[図14] 本発明による映像復号装置における特徴的な構成要素を示すブロック図である。
[図15] 本発明による映像符号化方法における特徴的なステップを示すフローチャートである。
[図16] 本発明による映像復号方法における特徴的なステップを示すフローチャートである。
[図17] ブロック分割の例を示す説明図である。
[図18] 映像符号化装置の構成の一例を示すブロック図である。
[図19] 一般的な映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
[図20] 映像復号装置の構成の一例を示すブロック図である。
[図21] 一般的な映像復号装置における量子化ステップサイズ符号化器を示すブロック図である。

発明を実施するための形態

[0053]
 以下、本発明の実施形態について、図面を参照して説明する。
[0054]
実施形態1.
 本発明の第1の実施形態の映像符号化装置は、図18に示された一般的な映像符号化装置と同様に、周波数変換器101と、量子化器102と、可変長符号化器103と、量子化制御器104と、逆量子化器105と、逆周波数変換器106と、フレームメモリ107と、フレーム内予測器108と、フレーム間予測器109と、予測選択器110と、ビットストリームバッファ111とを備える。しかし、可変長符号化器103に含まれている量子化ステップサイズ符号化器の構成は、図19に示された構成とは異なる。
[0055]
 図1は、本発明の第1の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。図1に示すように、本実施形態における量子化ステップサイズ符号化器は、図19に示された量子化ステップサイズ符号化器と比較すると、予測量子化ステップサイズ生成器10313を含む点が異なる。
[0056]
 量子化ステップサイズバッファ10311は、過去に符号化した画像ブロックに対して割り当てた量子化ステップサイズを蓄積し、保持する。
[0057]
 予測量子化ステップサイズ生成器10313は、過去に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。
[0058]
 入力量子化ステップサイズは、予測量子化ステップサイズ生成器10313から供給される予測量子化ステップサイズを減じられた後、差分量子化ステップサイズとして、エントロピー符号化器10312に入力される。
[0059]
 エントロピー符号化器10312は、入力された差分量子化ステップサイズをエントロピー符号化し、量子化ステップサイズに対応した符号として出力する。
[0060]
 このように構成することによって、量子化ステップサイズの符号化に要する符号量を削減することができる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。その理由は、予測量子化ステップサイズ生成器10313が、符号化順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することにより、エントロピー符号化器10312に入力される差分量子化ステップサイズの絶対量を小さくすることができるからである。また、近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成するとエントロピー符号化器10312に入力される差分量子化ステップサイズの絶対量を小さくすることができる理由は、動画像には一般に近傍画素間の相関性があるために、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。
[0061]
 上述した第1の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
[0062]
 本例では、符号化単位となる画像ブロックは固定サイズであるとする。量子化ステップサイズの予測に用いる近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する3つの画像ブロックを用いることにする。
[0063]
 現在符号化対象の画像ブロックをXとし、3つの近傍画像ブロックA,B,Cがそれぞれ、図2に示すように、画像ブロックXに対して左、上、右斜め上に隣接する位置にあるとする。任意のブロックZにおける量子化ステップサイズをQ(Z)、予測量子化ステップサイズをpQ(Z) と表記するとき、予測量子化ステップサイズ生成器10313は、予測量子化ステップサイズpQ(X)を、以下の(3)式により求める。
[0064]
 pQ(X) = Median(Q(A),Q(B),Q(C))         ・・・(3)
[0065]
 ただし、Median(x, y, z) は、x, y, z の3つの値から中間値を求める関数である。
[0066]
 エントロピー符号化器10312は、以下の(4)式により得られた差分量子化ステップサイズdQ(X)を、エントロピー符号の一つである符号付きExp-Golomb(Exponential-Golomb)符号を用いて符号化し、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。
[0067]
 dQ(X) = Q(X) - pQ(X)             ・・・(4)
[0068]
 本例では、量子化ステップサイズの予測に利用する近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する3つの画像ブロックを用いた。しかし、近傍画像ブロックはそれに限定されず、例えば、左、上、左斜め上にそれぞれ隣接する画像ブロックを用い、以下の(5)式によって予測量子化ステップサイズを求めてもよい。
[0069]
 pQ(X) = Median(Q(A), Q(B), Q(D))        ・・・(5)
[0070]
 なお、予測に用いる画像ブロックは、3つではなく任意の個数であってよく、また、予測に用いる演算として、中間値ではなく例えば平均値などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。また、さらに、予測に用いる画像ブロックは、空間近傍すなわち同一画像フレーム内の画像ブロックに限定されず、時間近傍すなわち既に符号化された他の画像フレーム内の画像ブロックであってもよいし、他の任意の近傍画像ブロックであってもよい。
[0071]
 また、本例では、符号化対象画像ブロックと予測に用いる画像ブロックとが同じ固定サイズである場合を仮定した。しかし、本発明は、符号化の単位となる画像ブロックが固定サイズである場合に限定されず、符号化の単位となる画像ブロックが可変サイズであり、符号化対象画像ブロックと予測に用いる画像ブロックとが互いに異なるサイズであってもよい。
[0072]
 また、本例では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化する際に、Exp-Golomb符号に基づいて符号化する例を示したが、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。
[0073]
 以上で、本発明の第1の実施形態の映像符号化装置の説明を終了する。
[0074]
実施形態2.
 本発明の第2の実施形態の映像復号装置は、図20に示された一般的な映像復号装置と同様に、可変長復号器201と、逆量子化器202と、逆周波数変換器203と、フレームメモリ204と、フレーム内予測器205と、フレーム間予測器206と、予測選択器207と、ビットストリームバッファ208とを備える。しかし、可変長復号器201に含まれている量子化ステップサイズ復号器の構成は、図21に示された構成とは異なる。
[0075]
 図3は、本発明の第2の実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図3に示すように、本実施形態における量子化ステップサイズ復号器は、図21に示された量子化ステップサイズ復号器と比較すると、予測量子化ステップサイズ生成器20113を含む点が異なる。
[0076]
 エントロピー復号器20111は、入力された符号をエントロピー復号し、差分量子化ステップサイズを出力する。
[0077]
 量子化ステップサイズバッファ20112は、過去に復号した量子化ステップサイズを蓄積し、保持する。
[0078]
 予測量子化ステップサイズ生成器20113は、過去に復号済みの量子化ステップサイズのうち、現在の復号対象画像ブロックの近傍画素ブロックに対応する量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。具体的には、例えば、第1の実施形態の映像符号化装置の具体例における予測量子化ステップサイズ生成器10313と同じ動作を行う。
[0079]
 エントロピー復号器20111により生成された差分量子化ステップサイズは、予測量子化ステップサイズ生成器20113から供給される予測量子化ステップサイズを加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ20112に入力される。
[0080]
 このように量子化ステップサイズ復号器を構成することによって、映像復号装置は、より少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。その理由は、予測量子化ステップサイズ生成器20113が、復号順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって、予測量子化ステップサイズは実際に割り当てられる量子化ステップサイズに近くなるので、エントロピー復号器20111はゼロに近い差分量子化ステップサイズを復号すればよいからである。近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって実際に割り当てられる量子化ステップサイズに近い予測量子化ステップサイズが得られる理由は、動画像には一般に近傍画素間の相関性があり、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。
[0081]
 以上で、本発明の第2の実施形態の映像復号装置の説明を終了する。
[0082]
実施形態3.
 本発明の第3の実施形態の映像符号化装置は、本発明の第1の実施形態の映像符号化装置と同様に、図18に示されるように、周波数変換器101と、量子化器102と、可変長符号化器103と、量子化制御器104と、逆量子化器105と、逆周波数変換器106と、フレームメモリ107と、フレーム内予測器108と、フレーム間予測器109と、予測選択器110と、ビットストリームバッファ111とを備える。しかし、可変長符号化器103における量子化ステップサイズ符号化器の構成は、図19及び図1に示された構成とは異なる。
[0083]
 図4は、本発明の第3の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。図4に示すように、本実施形態における量子化ステップサイズ符号化器の構成は、図1に示された第1の実施形態の映像符号化装置における量子化ステップサイズ符号化器と比較すると、量子化ステップサイズダウンサンプリング器10314および量子化ステップサイズアップサンプリング器10315を含む点が異なる。
[0084]
 予測量子化ステップサイズ生成器10313及びエントロピー符号化器10312の動作は、第1の実施形態の映像符号化装置における量子化ステップサイズ符号化器の動作と同じであるため、ここでは説明を省略する。
[0085]
 量子化ステップサイズダウンサンプリング器10314は、符号化済みの画像ブロックに対して割り当てた量子化ステップサイズを所定の方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ10311に供給する。
[0086]
 量子化ステップサイズバッファ10311は、量子化ステップサイズダウンサンプリング器10314より供給される、ダウンサンプリングされた過去の符号化済み画像ブロックに対する量子化ステップサイズを蓄積し、保持する。
[0087]
 量子化ステップサイズアップサンプリング器10315は、量子化ステップサイズバッファ10311から、ダウンサンプリングされた過去の符号化済み画像ブロックに対する量子化ステップサイズを取り出し、所定の方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器10313に供給する。
[0088]
 このように構成することによって、本実施形態の映像符号化装置は、第1の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。その結果、映像符号化装置において、量子化ステップサイズを変動させるための所要メモリサイズの増大をさらに抑制できる。
[0089]
 上述した第3の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
[0090]
 本例では、符号化単位となる画像ブロックは固定サイズであるとし、それぞれの画像ブロックは図5に示されるようにフレーム上の左上端のブロックを原点とする2次元ブロック座標によって表されるとする。また、量子化ステップサイズの予測に用いる近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する3つの画像ブロックを用いることにする。
[0091]
 現在符号化対象の画像ブロックをX、ブロックXのブロック座標を(x(X), y(X))とし、図2に示すように、左に隣接しブロック座標(x(X)-1, y(X))に位置するブロックをA、上に隣接しブロック座標 (x(X), y(X)-1)に位置するブロックをB、右斜め上に隣接しブロック座標 (x(X)+1, y(X)-1)に位置するブロックをCとする。任意のブロックZにおける符号化済み量子化ステップサイズをQ(Z), 予測量子化ステップサイズをpQ(Z)と表記するとき、予測量子化ステップサイズ生成器10313は、ブロックXの予測量子化ステップサイズpQ(X)を、以下の(6)式により求める。
[0092]
 pQ(X) = Median(Q ds(A), Q ds(B), Q ds(C))         ・・・(6)
[0093]
 ただし、Median(x, y, z) は、x, y, z の3つの値から中間値を求める関数である。また、Q ds(Z)は、ブロックZにおける量子化ステップサイズ代表値を表す。Zのブロック座標を(x(Z), y(Z))、ブロック座標(v, w)に位置するブロックをBlk(v, w) と表すとき、Q ds(Z)は、以下の(7)式により求められる。
[0094]
 Q ds(Z) = Q( Blk( N*(x(Z)//N), N*(y(Z)//N) ))         ・・・(7)
[0095]
 ただし、Nはダウンサンプリングの倍率を表す数値である。例えば、N=4ならば水平方向1/4、垂直方向1/4のダウンサンプリングを行うことを意味する。また、(a*b)はaとbの乗算、(a//b)は整数aのbによる除算(小数点以下切り捨て)を表す。
[0096]
 以上の(6)式および(7)式で規定される動作に従うと、予測量子化ステップサイズ生成器10313は、量子化ステップサイズバッファ10311より量子化ステップサイズアップサンプリング器10315を通じて供給される量子化ステップサイズを参照するにあたって、水平方向N個×垂直方向N個の計N 個のブロックごとに、代表値として最も左上の1個の量子化ステップサイズしか参照しない。従って、量子化ステップサイズダウンサンプリング器10314は、それ以外の量子化ステップサイズを量子化ステップサイズバッファ10311に供給しないよう動作する。その結果、量子化ステップサイズバッファ10311の所要メモリ容量を1/N に削減できる。
[0097]
 得られた予測量子化ステップサイズは、エントロピー符号化器10312によって符号化され、出力される。エントロピー符号化器10312の動作は、第1の実施形態の映像符号化装置における具体的な動作例と同じである。
[0098]
 以上、本例では、量子化ステップサイズの予測に利用する近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する3つの画像ブロックを用いた。しかし、近傍画像ブロックはそれに限定されず、例えば、左、上、左斜め上にそれぞれ隣接する画像ブロックを用い、(6)式の代わりに、以下の(8)式によって予測量子化ステップサイズを求めてもよい。
[0099]
 pQ(X) = Median(Q ds(A), Q ds(B), Q ds(D))         ・・・(8)
[0100]
 ただし、DはブロックXに対して左斜め上に隣接しブロック座標 (x(X)-1, y(X)-1)に位置するブロックである。
[0101]
 また、予測に用いる画像ブロックは、3つではなく任意の個数であってよく、また、予測に用いる演算として、中間値ではなく例えば平均値などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。また、さらに、予測に用いる画像ブロックは、空間近傍すなわち同一画像フレーム内の画像ブロックに限定されず、時間近傍すなわち既に符号化された他の画像フレーム内の画像ブロックであってもよいし、他の任意の近傍画像ブロックであってもよい。
[0102]
 また、本例では、符号化対象画像ブロックと予測に用いる画像ブロックとが同じ固定サイズである場合を仮定した。しかし、本発明は、符号化の単位となる画像ブロックが固定サイズである場合に限定されず、符号化の単位となる画像ブロックが可変サイズであり、符号化対象画像ブロックと予測に用いる画像ブロックとが互いに異なるサイズであってもよい。
[0103]
 また、本例では、水平方向N個×垂直方向N個の計N 個のブロックごとに、最も左上の1個の量子化ステップサイズを選択して量子化ステップサイズ代表値としたが、本発明はそれに限定されず、任意のサンプリング位置から1個の量子化ステップサイズを選択してもよい。あるいは、任意のサンプリング位置から複数の量子化ステップサイズを選択し、その平均値を量子化ステップサイズ代表値としてもよい。たとえば、(7)式の代わりに、以下の(9)式によって量子化ステップサイズ代表値を求めてもよいし、さらには中間値演算など、平均値演算以外の任意の演算を用いてもよい。
[0104]
[数1]


[0105]
 また、本例では、水平方向のダウンサンプリングと垂直方向のダウンサンプリングを同じ倍率で行ったが、水平方向と垂直方向で異なる倍率を用いてもよい。あるいは、水平方向と垂直方向のいずれか一方向のみダウンサンプリングを行うようにしてもよい。さらには、他の任意の方法によりダウンサンプリングを行うようにしてもよい。
[0106]
 以上で、本発明の第3の実施形態の映像符号化装置の説明を終了する。
[0107]
実施形態4.
 本発明の第4の実施形態の映像復号装置は、本発明の第2の実施形態の映像復号装置と同様に、図20に示されるように、可変長復号器201と、逆量子化器202と、逆周波数変換器203と、フレームメモリ204と、フレーム内予測器205と、フレーム間予測器206と、予測選択器207と、ビットストリームバッファ208とを備える。しかし、可変長復号器201に含まれている量子化ステップサイズ復号器の構成は、図21及び図3に示された構成とは異なる。
[0108]
 図6は、本発明の第4の実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図6に示されるように、本実施形態の映像符号化装置の可変長復号器201において量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図3に示した第2の実施形態の映像復号装置における量子化ステップサイズ復号器と比較すると、量子化ステップサイズダウンサンプリング器20114および量子化ステップサイズアップサンプリング器20115を含む点が異なる。
[0109]
 予測量子化ステップサイズ生成器20113およびエントロピー復号器20111の動作は、第2の実施形態の映像復号装置における量子化ステップサイズ復号器の動作と同じであるため、ここでは説明を省略する。
[0110]
 量子化ステップサイズダウンサンプリング器20114は、過去に復号済みの量子化ステップサイズを所定の方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ20112に供給する。
[0111]
 量子化ステップサイズバッファ20112は、量子化ステップサイズダウンサンプリング器20114より供給される、ダウンサンプリングされた過去の復号済み量子化ステップサイズを蓄積し、保持する。
[0112]
 量子化ステップサイズアップサンプリング器20115は、量子化ステップサイズバッファ20112から、ダウンサンプリングされた過去の復号済み量子化ステップサイズを取り出し、所定の方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器20113に供給する。
[0113]
 予測量子化ステップサイズ生成器20113は、ブロックXの予測量子化ステップサイズpQ(X)を、上記の(6)式または(8)式により求める。
[0114]
 このように構成することによって、本実施形態の映像復号装置は、第2の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。その結果、映像符号化装置において、量子化ステップサイズを変動させるための所要メモリサイズの増大をさらに抑制できる。
[0115]
実施形態5.
 図7は、本発明の第5の実施形態の映像符号化装置の構成を示すブロック図である。また、図8は、本実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。
[0116]
 図7に示されるように、本実施形態の映像符号化装置は、第3の実施形態の映像符号化装置(図18参照)と比較すると、量子化ステップサイズダウンサンプリング制御器112および多重化器113を含む点が異なる。さらに、図8に示されるように、本実施形態の映像符号化装置の可変長符号化器103において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図4に示された量子化ステップサイズ符号化器と比較すると、量子化ステップサイズダウンサンプリング器10314及び量子化ステップサイズアップサンプリング器10315に対して、図7に示される量子化ステップサイズダウンサンプリング制御器112から量子化ステップサイズダウンサンプリングパラメータが供給される点が、第3の実施形態とは異なる。
[0117]
 量子化ステップサイズダウンサンプリング制御器112は、量子化ステップサイズダウンサンプリング器10314におけるダウンサンプリング動作及び量子化ステップサイズアップサンプリング器10315におけるアップサンプリング動作を規定する制御情報を、可変長符号化器103及び多重化器113に供給する。量子化ステップサイズのダウンサンプリング動作及びアップサンプリング動作を規定する制御情報を、量子化ステップサイズダウンサンプリングパラメータと呼ぶ。量子化ステップサイズダウンサンプリングパラメータは、ダウンサンプリングの粒度を表す数Nの値を含む。
[0118]
 多重化器113は、可変長符号化器103より供給される映像ビットストリームに、上記量子化ステップサイズダウンサンプリングパラメータを多重化して、ビットストリームとして出力する。
[0119]
 量子化ステップサイズダウンサンプリング器10314は、符号化済みの画像ブロックに対して割り当てた量子化ステップサイズを、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ10311に供給する。
[0120]
 量子化ステップサイズアップサンプリング器10315は、量子化ステップサイズバッファ10311から、ダウンサンプリングされた過去の符号化済み画像ブロックに対する量子化ステップサイズを取り出し、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器10313に供給する。
[0121]
 このように構成することによって、本実施形態の映像符号化装置は、第1の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。また、本実施形態の映像符号化装置は、第3の実施形態の映像符号化装置と比較すると、符号化対象量子化ステップサイズと予測に用いる量子化ステップサイズとの相関性の低下を抑えるよう、ダウンサンプリングの粒度を制御できる。よって、量子化ステップサイズの符号化に要する符号量を削減することができる。すなわち、本実施形態の映像符号化装置は、第1及び第3の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量の削減量と、量子化ステップサイズの符号化に要する符号量の削減量との間のバランスを最適化できる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。
[0122]
 上述した第5の実施形態の映像符号化装置の具体的な動作を、具体例を用いて以下で説明する。
[0123]
 本例では、量子化ステップサイズ符号化器は、第3の実施形態の映像符号化装置の具体的な動作の例と同様の動作を行う。ただし、上述した(7)式または(9)式におけるダウンサンプリングの粒度を表す数Nは、量子化ステップサイズダウンサンプリング制御器112より供給される。
[0124]
 多重化器113は、上述したNの値を、例えば、temporal_qp_buffer_decimation_depth = log Nとするとき、非特許文献1の”Specification of syntax functions, categories, and descriptors”の記述に準じ、図9に示すリストに例示されるように、ヘッダ情報の一部としてビットストリームに多重化する。
[0125]
 なお、本実施例では、ダウンサンプリングの粒度を表す数Nの値を量子化ステップサイズダウンサンプリングパラメータとして用いたが、本発明はそれに限定されず、他の任意のパラメータを量子化ステップサイズダウンサンプリングパラメータとして用いてもよい。例えば、水平方向N個×垂直方向N個の計N 個のブロックごとにいずれか一つの量子化ステップサイズを量子化ステップサイズ代表値として選択する際のサンプリング位置を量子化ステップサイズダウンサンプリングパラメータとして用いてもよいし、あるいは、複数の量子化ステップサイズを用いて量子化ステップサイズ代表値を生成する際の演算の種類を表す情報を量子化ステップサイズダウンサンプリングパラメータとして用いてもよい。
[0126]
実施形態6.
 図10は、本発明の第6の実施形態の映像復号装置の構成を示すブロック図である。また、図11は、本実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図10に示されるように、本実施形態の映像復号装置は、第4の実施形態の映像復号装置(図20参照)と比較すると、多重化解除器209および量子化ステップサイズダウンサンプリング制御器210を含む点が異なる。さらに、図11に示されるように、本実施形態の映像復号装置の可変長復号器201において量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図6に示された量子化ステップサイズ復号器と比較すると、量子化ステップサイズダウンサンプリング器20114及び量子化ステップサイズアップサンプリング器20115に対して、図10に示される量子化ステップサイズダウンサンプリング制御器210から量子化ステップサイズダウンサンプリングパラメータが供給される点が、第4の実施形態とは異なる。
[0127]
 多重化解除器209は、ビットストリームバッファ208より供給される映像ビットストリームの多重化を解除して、映像ビットストリームと、量子化ステップサイズダウンサンプリング器20114におけるダウンサンプリング動作及び量子化ステップサイズアップサンプリング器20115におけるアップサンプリング動作を規定する制御情報とを抽出する。量子化ステップサイズのダウンサンプリング動作及びアップサンプリング動作を規定する制御情報を、量子化ステップサイズダウンサンプリングパラメータと呼ぶ。上述したように、量子化ステップサイズダウンサンプリングパラメータは、ダウンサンプリングの粒度を表す数Nの値を含む。
[0128]
 量子化ステップサイズダウンサンプリング器20114は、過去に復号済みの量子化ステップサイズを、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ20112に供給する。
[0129]
 量子化ステップサイズアップサンプリング器20115は、量子化ステップサイズバッファ20112から、ダウンサンプリングされた過去の復号済み画像ブロックに対する量子化ステップサイズを取り出し、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器20113に供給する。
[0130]
 予測量子化ステップサイズ生成器20113は、ブロックXの予測量子化ステップサイズpQ(X)を、上記の(6)式または(8)式により求める。
[0131]
 このように構成することによって、本実施形態の映像復号装置は、第2の実施形態の映像復号装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。また、本実施形態の映像復号装置は、第4の実施形態の映像復号装置と比較すると、復号対象量子化ステップサイズと予測に用いる量子化ステップサイズとの相関性の低下を抑える制御のもとでダウンサンプリングを行うことができる。よって、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。すなわち、本実施形態の映像復号装置は、第2及び第4の実施形態の映像復号装置と比較すると、量子化ステップサイズバッファの所要容量の削減量と、量子化ステップサイズの復号に伴う受信符号量の削減量との間のバランスを最適化できる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。
[0132]
 また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
[0133]
 図12に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003及びビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
[0134]
 図12に示された情報処理システムにおいて、プログラムメモリ1002には、図18、図20、図7、図10のそれぞれに示された各ブロック(図1、図3、図4、図6、図8、図11に示された各ブロックを含む。また、バッファのブロックを除く)の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図18、図20、図7、図10および図1、図3、図4、図6、図8、図11のそれぞれに示された映像符号化装置又は映像復号装置の機能を実現する。
[0135]
 図13は、本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。図13に示すように、本発明による映像符号化装置は、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化部11と、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング部12とを備え、量子化ステップサイズ符号化部11は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するように構成される。
[0136]
 映像符号化装置は、さらに、所定の動作パラメータに基づいて量子化ステップサイズダウンサンプリング部12の動作を制御する量子化ステップサイズダウンサンプリング制御部13と、圧縮符号化された映像ビットストリームと量子化ステップサイズダウンサンプリング部12の動作パラメータの少なくとも一部とを多重化する多重化部14とを備えていてもよい。
[0137]
 図14は、本発明による映像復号装置における特徴的な構成要素を示すブロック図である。図14に示すように、本発明による映像復号装置は、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号部21と、復号済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング部22とを備え、量子化ステップサイズ復号部21は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するように構成される。
[0138]
 映像復号装置は、さらに、所定の動作パラメータに基づいて量子化ステップサイズダウンサンプリング部22の動作を制御する量子化ステップサイズダウンサンプリング制御部23と、量子化ステップサイズダウンサンプリング部12の動作パラメータの少なくとも一部を含むビットストリームの多重化を解除する多重化解除部24とを備えていてもよい。
[0139]
 図15は、本発明による映像符号化方法における特徴的なステップを示すフローチャートである。図15に示すように、映像符号化方法は、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成するステップS11と、量子化の粒度を制御する量子化ステップサイズを符号化するときに量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するステップS12とを含む。
[0140]
 図16は、本発明による映像復号方法における特徴的なステップを示すフローチャートである。図16に示すように、映像復号方法は、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成するステップS21と、量子化の粒度を制御する量子化ステップサイズを復号するときに量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するステップS22とを含む。
[0141]
 上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
[0142]
(付記1)入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成し、前記量子化の粒度を制御する量子化ステップサイズを符号化するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測することを特徴とする映像符号化方法。
[0143]
(付記2)付記1の映像符号化方法であって、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像符号化方法。
[0144]
(付記3)付記1の映像符号化方法であって、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像符号化方法。
[0145]
(付記4)付記1から付記3のいずれかの映像符号化方法であって、所定の動作パラメータに基づいて前記ダウンサンプリング処理の動作制御を行い、圧縮符号化された映像ビットストリームと前記ダウンサンプリング処理の動作パラメータの少なくとも一部とを多重化する映像符号化方法。
[0146]
(付記5)付記4の映像符号化方法であって、動作パラメータは、少なくともダウンサンプリングの倍率を含む映像符号化方法。
[0147]
(付記6)入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成し、前記量子化の粒度を制御する量子化ステップサイズを復号するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測することを特徴とする映像復号方法。
[0148]
(付記7)付記6の映像復号方法であって、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像復号方法。
[0149]
(付記8)付記6の映像復号方法であって、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像復号方法。
[0150]
(付記9)付記6から付記8のいずれかの映像復号方法であって、動作パラメータの少なくとも一部を含むビットストリームの多重化を解除し、前記動作パラメータに基づいて前記ダウンサンプリング処理の動作制御を行う映像復号方法。
[0151]
(付記10)付記9の映像復号方法であって、動作パラメータは、少なくともダウンサンプリングの倍率を含む映像復号方法。
[0152]
(付記11)入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置における映像符号化プログラムであって、コンピュータに、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成する処理と、前記量子化の粒度を制御する量子化ステップサイズを符号化するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理とを実行させるための映像符号化プログラム。
[0153]
(付記12)付記11の映像符号化プログラムであって、コンピュータに、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像符号化プログラム。
[0154]
(付記13)付記11の映像符号化プログラムであって、コンピュータに、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像符号化プログラム。
[0155]
(付記14)付記11から付記13のいずれかの映像符号化プログラムであって、コンピュータに、所定の動作パラメータに基づいて前記ダウンサンプリング処理を行わせ、圧縮符号化された映像ビットストリームと前記ダウンサンプリング処理の動作パラメータの少なくとも一部とを多重化する処理を実行させるための映像符号化プログラム。
[0156]
(付記15)付記14の映像符号化プログラムであって、コンピュータに、動作パラメータとして、少なくともダウンサンプリングの倍率を使用して前記ダウンサンプリング処理を行わせるための映像符号化プログラム。
[0157]
(付記16)入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置における映像復号プログラムであって、コンピュータに、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成する処理と、前記量子化の粒度を制御する量子化ステップサイズを復号するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理とを実行させるための映像復号プログラム。
[0158]
(付記17)付記16の映像復号プログラムであって、コンピュータに、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像復号プログラム。
[0159]
(付記18)付記16の映像復号プログラムであって、コンピュータに、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像復号プログラム。
[0160]
(付記19)付記16から付記18のいずれかの映像復号プログラムであって、コンピュータに、動作パラメータの少なくとも一部を含むビットストリームの多重化を解除する処理を実行させ、前記動作パラメータに基づいて前記ダウンサンプリング処理を行わせるための映像復号プログラム。
[0161]
(付記20)付記19の映像復号プログラムであって、コンピュータに、動作パラメータとして、少なくともダウンサンプリングの倍率を使用して前記ダウンサンプリング処理を行わせるための映像復号プログラム。
[0162]
 以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
[0163]
 この出願は、2011年6月28日に出願された日本特許出願2011-143249を基礎とする優先権を主張し、その開示の全てをここに取り込む。

符号の説明

[0164]
 11     量子化ステップサイズ符号化部
 12     量子化ステップサイズダウンサンプリング部
 13     量子化ステップサイズダウンサンプリング制御部
 14     多重化部
 21     量子化ステップサイズ復号部
 22     量子化ステップサイズダウンサンプリング部
 23     量子化ステップサイズダウンサンプリング制御部
 24     多重化解除部
 101    周波数変換器
 102    量子化器
 103    可変長符号化器
 104    量子化制御器
 105    逆量子化器
 106    逆周波数変換器
 107    フレームメモリ
 108    フレーム内予測器
 109    フレーム間予測器
 110    予測選択器
 111    ビットストリームバッファ
 112    量子化ステップサイズダウンサンプリング制御器
 113    多重化器
 201    可変長復号器
 202    逆量子化器
 203    逆周波数変換器
 204    フレームメモリ
 205    フレーム内予測器
 206    フレーム間予測器
 207    予測選択器
 208    ビットストリームバッファ
 209    多重化解除器
 210    量子化ステップサイズダウンサンプリング制御器
 1001   プロセッサ
 1002   プログラムメモリ
 1003   記憶媒体
 1004   記憶媒体
 10311  量子化ステップサイズバッファ
 10312  エントロピー符号化器
 10313  予測量子化ステップサイズ生成器
 10314  量子化ステップサイズダウンサンプリング器
 10315  量子化ステップサイズアップサンプリング器
 20111  エントロピー復号器
 20112  量子化ステップサイズバッファ
 20113  予測量子化ステップサイズ生成器
 20114  量子化ステップサイズダウンサンプリング器
 20115  量子化ステップサイズアップサンプリング器

請求の範囲

[請求項1]
 入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、
 前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、
 符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、
 前記量子化ステップサイズ符号化手段は、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する
 ことを特徴とする映像符号化装置。
[請求項2]
 前記量子化ステップサイズ符号化手段は、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
 請求項1に記載の映像符号化装置。
[請求項3]
 前記量子化ステップサイズ符号化手段は、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
 請求項1に記載の映像符号化装置。
[請求項4]
 所定の動作パラメータに基づいて前記量子化ステップサイズダウンサンプリング手段の動作を制御する量子化ステップサイズダウンサンプリング制御手段と、
 圧縮符号化された映像ビットストリームと前記量子化ステップサイズダウンサンプリング手段の動作パラメータの少なくとも一部とを多重化する多重化手段とを有する
 請求項1から請求項3のいずれかに記載の映像符号化装置。
[請求項5]
 前記動作パラメータは、少なくともダウンサンプリングの倍率を含む
 請求項4に記載の映像符号化装置。
[請求項6]
 入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、
 前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、
 復号済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、
 前記量子化ステップサイズ復号手段は、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する
 ことを特徴とする映像復号装置。
[請求項7]
 前記量子化ステップサイズ復号手段は、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
請求項6に記載の映像復号装置。
[請求項8]
 前記量子化ステップサイズ復号手段は、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
 請求項6に記載の映像復号装置。
[請求項9]
 所定の動作パラメータに基づいて前記量子化ステップサイズダウンサンプリング手段の動作を制御する量子化ステップサイズダウンサンプリング制御手段と、
 前記量子化ステップサイズダウンサンプリング手段の動作パラメータの少なくとも一部を含むビットストリームの多重化を解除する多重化解除手段とを有する
 請求項6から請求項8のいずれかに記載の映像復号装置。
[請求項10]
 前記動作パラメータは、少なくともダウンサンプリングの倍率を含む
 請求項9に記載の映像復号装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]