Processing

Please wait...

Settings

Settings

1. WO2017135151 - PREDICTION IMAGE GENERATION DEVICE, MOVING IMAGE DECODING DEVICE, AND MOVING IMAGE ENCODING DEVICE

Document

明 細 書

発明の名称 予測画像生成装置、動画像復号装置、および動画像符号化装置

技術分野

0001  

背景技術

0002   0003   0004   0005   0006  

先行技術文献

非特許文献

0007  

発明の概要

発明が解決しようとする課題

0008   0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015   0016  

発明の効果

0017  

図面の簡単な説明

0018  

発明を実施するための形態

0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323   0324   0325   0326   0327   0328   0329   0330   0331   0332   0333   0334   0335   0336   0337   0338   0339   0340   0341   0342   0343   0344   0345   0346   0347   0348   0349   0350   0351   0352   0353   0354   0355   0356   0357   0358   0359   0360   0361   0362   0363   0364   0365   0366   0367   0368   0369   0370  

産業上の利用可能性

0371  

符号の説明

0372  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34  

明 細 書

発明の名称 : 予測画像生成装置、動画像復号装置、および動画像符号化装置

技術分野

[0001]
 本発明は、予測画像生成装置、動画像復号装置、および動画像符号化装置に関する。

背景技術

[0002]
 動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
[0003]
 具体的な動画像符号化方式としては、例えば、H.264/MPEG-4.AVCやHEVC(High-Efficiency Video Coding)にて提案されている方式などが挙げられる。
[0004]
 このような動画像符号化方式においては、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位(符号化ユニット(Coding Unit)と呼ばれることもある)、及び、符号化単位を分割することより得られるブロックである予測ユニット(PU)、変換ユニット(TU)からなる階層構造により管理され、ブロックごとに符号化/復号される。
[0005]
 また、このような動画像符号化方式においては、通常、入力画像を符号化/復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像(原画像)から減算して得られる予測残差(「差分画像」または「残差画像」と呼ぶこともある)が符号化される。予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)が挙げられる。
[0006]
 また、近年の動画像符号化及び復号の技術として非特許文献1が挙げられる。

先行技術文献

非特許文献

[0007]
非特許文献1 : Video/JVET, "Algorithm Description of Joint Exploration TestModel 1 (JEM 1)", INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11/N15790, October 2015, Geneva, CH.

発明の概要

発明が解決しようとする課題

[0008]
 近年の動画像符号化及び復号技術においては、予測画像を生成する際の動き補償処理において、動き補償フィルタを用いることが行われている。一方で、動き補償の精度が上がるほど必要なフィルタ係数が増加し、フィルタ係数を格納しておくために必要なメモリ量が増加するという第1の課題が生じていた。
[0009]
 また、近年の動画像符号化及び復号技術においては、高精度の動きベクトルを用いて予測画像を生成することが行われている。一方で、高精度の動きベクトルを用いるためには差分ベクトルの符号量が増大するので、符号化効率が必ずしも向上しないという第2の課題が生じていた。
[0010]
 本発明は、上記の第1及び第2の課題の少なくとも何れかの解決を図ることのできる画像復号装置、画像符号化装置、および予測画像生成装置を提供することである。

課題を解決するための手段

[0011]
 上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、上記参照画像に対して動きベクトルを作用させて得られる1/Mac画素精度の動きベクトル適用済画像に対して作用するフィルタ部を備え、上記フィルタ部は、位相i(iは0以上Mac-1以下の整数)と、フィルタ係数位置k(kは0以上Ntaps-1以下の整数、Ntapsはタップ数)とによって指定されるフィルタ係数mcFilter[i][k]を用いたフィルタ処理を、上記動きベクトル適用済画像に作用させるものであり、上記フィルタ係数mcFilter[i][k]は、フィルタ係数mcFilter[p][k](P≠i)及びフィルタ係数mcFilter[q][k](Q≠i)の重み付き平均の関係にある。
[0012]
 また、上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、参照画像に対して動き補償を行うことによって予測ブロック毎に予測画像を生成する予測画像生成装置であって、予測ブロック毎に、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、上記動きベクトル導出部は、予測ブロックのサイズに応じて、当該予測ブロックに関して導出する動きベクトルの精度を切り替える。
[0013]
 また、上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、参照画像に対して動き補償を行うことによって予測ブロック毎に予測画像を生成する予測画像生成装置であって、予測ブロック毎に、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、上記動きベクトル導出部は、予測ブロックに関する量子化パラメータの大きさに応じて、当該予測ブロックに関して導出する動きベクトルの精度を切り替える。
[0014]
 また、上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、逆量子化された差分ベクトルを予測ベクトルに対して加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、上記動きベクトル導出部は、量子化された差分ベクトルの量子化値に応じて、差分ベクトルに対する逆量子化処理の精度を切り替える。
[0015]
 また、上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、上記動きベクトル導出部は、動きベクトルの精度を示すフラグが第1の値を示している場合、量子化された差分ベクトルの量子化値に応じて、差分ベクトルに対する逆量子化処理の精度を切り替え、動きベクトルの精度を示すフラグが第2の値を示している場合、量子化された差分ベクトルの量子化値にかかわらず、一定の精度にて差分ベクトルに対する逆量子化処理を行う。
[0016]
 また、上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、上記動きベクトル導出部は、動きベクトルの精度を示すフラグが第1の値を示している場合、差分ベクトルに対する逆量子化処理の精度を第1の精度とするか第2の精度とするかを、量子化された差分ベクトルの量子化値に応じて切り替え、動きベクトルの精度を示すフラグが第2の値を示している場合、差分ベクトルに対する逆量子化処理の精度を第3の精度とするか第4の精度とするかを、量子化された差分ベクトルの量子化値に応じて切り替え、上記第1の精度及び第2の精度の少なくとも何れかは、上記第3の精度及び第4の精度よりも精度が高い。

発明の効果

[0017]
 以上の構成によれば、上記の第1及び第2の課題の少なくとも何れかの解決を図ることができる。

図面の簡単な説明

[0018]
[図1] 本実施形態に係る符号化ストリームのデータの階層構造を示す図である。
[図2] PU分割モードのパターンを示す図である。(a)~(h)は、それぞれ、PU分割モードが、2N×2N、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、および、N×Nの場合のパーティション形状について示している。
[図3] 参照ピクチャリストの一例を示す概念図である。
[図4] 参照ピクチャの例を示す概念図である。
[図5] 本実施形態に係る画像復号装置の構成を示す概略図である。
[図6] 本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。
[図7] 本実施形態に係るマージ予測パラメータ導出部の構成を示す概略図である。
[図8] 本実施形態に係るAMVP予測パラメータ導出部の構成を示す概略図である。
[図9] ベクトル候補の一例を示す概念図である。
[図10] 本実施形態に係るインター予測パラメータ復号制御部の構成を示す概略図である。
[図11] 本実施形態に係るインター予測画像生成部の構成を示す概略図である。
[図12] 本実施形態に係る画像符号化装置の構成を示すブロック図である。
[図13] 本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。
[図14] 本発明の実施形態に係る画像伝送システムの構成を示す概略図である。
[図15] 本実施形態に係るインター予測パラメータ復号制御部によって行われるインター予測シンタックス復号処理の流れを示すフローチャートである。
[図16] 本実施形態に係る差分ベクトル復号処理の例を示すフローチャートである。
[図17] 本実施形態に係る差分ベクトル復号処理の他の例を示すフローチャートである。
[図18] 本実施形態に係るインター予測パラメータ復号部によって行われる動きベクトル導出処理の流れを示すフローチャートである。
[図19] 本実施形態に係る差分ベクトル導出処理の例を示すフローチャートである。
[図20] 本実施形態に係る予測ベクトルラウンド処理の例を示すフローチャートである。
[図21] 本実施形態に係る動きベクトルスケール導出処理の例を具体的に示すフローチャートである。
[図22] 本実施形態に係る動きベクトルスケール導出処理の他の例をより具体的に示すフローチャートである。
[図23] 本実施形態に係る動きベクトルスケール導出処理の他の例をより具体的に示すフローチャートである。
[図24] (a)~(c)は、本実施形態に係る基本ベクトル精度と、対象ブロックのブロックサイズとによって設定される(切り替えられる)動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。
[図25] (a)~(c)は、本実施形態に係る対象ブロックのブロックサイズと動きベクトル精度フラグとによって設定される(切り替えられる)動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。
[図26] (a)~(c)は、本実施形態に係るQPによって設定される(切り替えられる)動きベクトル精度を示すパラメータ(shiftS)を示すテーブルである。
[図27] (a)および(b)は、本実施形態に係るQPと動きベクトル精度フラグとによって設定される(切り替えられる)動きベクトル精度(shiftS)を示すテーブルである。
[図28] 本実施形態に係る量子化済差分ベクトルと逆量子化差分ベクトルとの関係を示すグラフである。
[図29] 本実施形態に係る動きベクトルスケール導出処理の他の例をより具体的に示すフローチャートである。
[図30] 本実施形態に係る動き補償部の具体的構成を示すブロック図である。
[図31] 本実施形態に係るフィルタ係数の一例を示す図である。
[図32] (a)は、本実施形態に係る動き補償フィルタ部が偶数の位相のフィルタ係数から奇数の位相のフィルタ係数を算出する例を示す図である。(b)は、本実施形態に係る動き補償フィルタ部が奇数の位相のフィルタ係数から偶数の位相のフィルタ係数を算出する例を示す図である。
[図33] 上記画像符号化装置を搭載した送信装置、および、上記画像復号装置を搭載した受信装置の構成について示した図である。(a)は、画像符号化装置を搭載した送信装置を示しており、(b)は、画像復号装置を搭載した受信装置を示している。
[図34] 上記画像符号化装置を搭載した記録装置、および、上記画像復号装置を搭載した再生装置の構成について示した図である。(a)は、画像符号化装置を搭載した記録装置を示しており、(b)は、画像復号装置を搭載した再生装置を示している。

発明を実施するための形態

[0019]
  (第1の実施形態)
 以下、図面を参照しながら本発明の実施形態について説明する。
[0020]
 図14は、本実施形態に係る画像伝送システム1の構成を示す概略図である。
[0021]
 画像伝送システム1は、符号化対象画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム1は、画像符号化装置(動画像符号化装置)11、ネットワーク21、画像復号装置(動画像復号装置)31及び画像表示装置41を含んで構成される。
[0022]
 画像符号化装置11には、単一レイヤもしくは複数レイヤの画像を示す信号Tが入力される。レイヤとは、ある時間を構成するピクチャが1つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測(インターレイヤ予測、インタービュー予測)を行う場合には、符号化効率が大きく向上する。また予測を行わない場合(サイマルキャスト)の場合にも、符号化データをまとめることができる。
[0023]
 ネットワーク21は、画像符号化装置11が生成した符号化ストリームTeを画像復号装置31に伝送する。ネットワーク21は、インターネット(internet)、広域ネットワーク(WAN:Wide Area Network)、小規模ネットワーク(LAN:Local Area Network)またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向または双方向の通信網であっても良い。また、ネットワーク21は、DVD(Digital Versatile Disc)、BD(Blue-ray Disc:登録商標)等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
[0024]
 画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した1または複数の復号レイヤ画像Td(復号視点画像Td)を生成する。
[0025]
 画像表示装置41は、画像復号装置31が生成した1または複数の復号レイヤ画像Tdの全部または一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、3次元画像(立体画像)や自由視点画像が表示され、一部の場合、2次元画像が表示される。画像表示装置41は、例えば、液晶ディスプレイ、有機EL(Electro-luminescence)ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、SNRスケーラブル符号化では、画像復号装置31、画像表示装置41が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示する。また、画像復号装置31、画像表示装置41が低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
[0026]
  <符号化ストリームTeの構造>
 本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
[0027]
 図1は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図1の(a)~(f)は、それぞれ、シーケンスSEQを既定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位(Coding Unit;CU)を規定する符号化ユニットレイヤを示す図である。
[0028]
  (シーケンスレイヤ)
 シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1の(a)に示すように、ビデオパラメータセット(Video Parameter Set)シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。ここで#の後に示される値はレイヤIDを示す。図1では、#0と#1すなわちレイヤ0とレイヤ1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
[0029]
 ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
[0030]
 シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
[0031]
 ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
[0032]
  (ピクチャレイヤ)
 ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1の(b)に示すように、スライスS0~SNS-1を含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
[0033]
 なお、以下、スライスS0~SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
[0034]
  (スライスレイヤ)
 スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために画像復号装置31が参照するデータの集合が規定されている。スライスSは、図1の(c)に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
[0035]
 スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
[0036]
 スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、または、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるBスライスなどが挙げられる。
[0037]
 なお、スライスヘッダSHには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットPPSへの参照(pic_parameter_set_id)を含んでいても良い。
[0038]
  (スライスデータレイヤ)
 スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータSDATAは、図1の(d)に示すように、符号化ツリーブロック(CTB:Coded Tree Block)を含んでいる。CTBは、スライスを構成する固定サイズ(例えば64×64)のブロックであり、最大符号化単位(LCU:Largest Cording Unit)、符号化ツリーユニット(CTU:Coded Tree Unit)と呼ぶこともある。
[0039]
  (符号化ツリーレイヤ)
 符号化ツリーレイヤは、図1の(e)に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置31が参照するデータの集合が規定されている。符号化ツリーブロックは、再帰的な4分木分割により分割される。再帰的な4分木分割により得られる木構造のノードのことを符号化ツリー(coding tree)と称する。4分木の中間ノードは、符号化4分木(CQT:Coded Quad Tree)であり、符号化ツリーブロック自身も最上位のCQTとして規定される。CQTは、分割フラグ(split_flag)を含み、split_flagが1の場合には、4つの符号化ツリーユニットCQTに分割される。split_flagが0の場合には、符号化ツリーユニットCQTは分割されず、1つの符号化ユニット(CU:Coded Unit)をノードとして持つ。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
[0040]
 また、符号化ツリーブロックCTBのサイズ64×64画素の場合には、符号化ユニットのサイズは、64×64画素、32×32画素、16×16画素、および、8×8画素の何れかをとり得る。
[0041]
  (符号化ユニットレイヤ)
 符号化ユニットレイヤは、図1の(f)に示すように、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、符号化ユニットは、符号化ツリー、予測ツリー、変換ツリー、CUヘッダCUFから構成される。符号化ツリーでは分割フラグ、分割パターン、予測モード等が規定される。
[0042]
 予測ツリーは、符号化ユニットを1または複数に分割した各予測ブロックの予測情報(参照ピクチャインデックス、動きベクトル等)が規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。なお、以下では、予測ブロックをさらに分割した予測単位を「サブブロック」と呼ぶ。サブブロック(予測ブロック)は、1または複数の画素によって構成されている。予測ブロックとサブブロックのサイズが等しい場合には、予測ブロック中のサブブロックは1つである。予測ブロックがサブブロックのサイズよりも大きい場合には、予測ブロックは、サブブロックに分割される。たとえば予測ブロックが8x8、サブブロックが4x4の場合には、予測ブロックは水平に2分割、垂直に2分割され、4つのサブブロックに分割される。
[0043]
 予測処理は、この予測ブロック(サブブロック)ごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU、予測ユニット)とも称する。
[0044]
 予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。
[0045]
 イントラ予測の場合、分割方法は、2N×2N(符号化ユニットと同一サイズ)と、N×Nとがある。
[0046]
 また、インター予測の場合、分割方法は、符号化データのPU分割モード(part_mode)により符号化される。分割には、2N×2N(符号化ユニットと同一サイズ)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、および、N×Nなどがある。なお、2N×nUは、2N×2Nの符号化ユニットを上から順に2N×0.5Nと2N×1.5Nの2領域に分割することを示す。2N×nDは、2N×2Nの符号化ユニットを上から順に2N×1.5Nと2N×0.5Nの2領域に分割することを示す。nL×2Nは、2N×2Nの符号化ユニットを左から順に0.5N×2Nと1.5N×2Nの2領域に分割することを示す。nR×2Nは、2N×2Nの符号化ユニットを左から順に1.5N×2Nと0.5N×1.5Nの2領域に分割することを示す。分割数は1、2、4のいずれかであるため、CUに含まれるPUは1個から4個である。これらのPUを順にPU0、PU1、PU2、PU3と表現する。
[0047]
 図2の(a)~(h)に、それぞれの分割タイプについて、CUにおけるPU分割の境界の位置を具体的に図示している。
[0048]
 なお、図2の(a)は、CUの分割を行わない2N×2NのPU分割モードを示している。
[0049]
 また、図2の(b)、(c)、および(d)は、それぞれ、PU分割モードが、それぞれ、2N×N、2N×nU、および、2N×nDである場合のパーティションの形状について示している。以下、PU分割モードが、2N×N、2N×nU、および、2N×nDである場合のパーティションを、まとめて横長パーティションと称する。
[0050]
 また、図2の(e)、(f)、および(g)は、それぞれ、PU分割モードが、N×2N、nL×2N、および、nR×2Nである場合のパーティションの形状について示している。以下、PU分割タイプが、N×2N、nL×2N、および、nR×2Nである場合のパーティションを、まとめて縦長パーティションと称する。
[0051]
 また、横長パーティションおよび縦長パーティションをまとめて長方形パーティションと称する。
[0052]
 また、図2の(h)は、PU分割モードが、N×Nである場合のパーティションの形状を示している。図2の(a)および(h)のPU分割モードのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図2の(b)~(g)のPU分割モードのことは、非正方形分割とも称する。
[0053]
 また、図2の(a)~(h)において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、パーティションのスキャン順を表している。
[0054]
 また、図2の(a)~(h)において、左上がCUの基準点(原点)であるとする。
[0055]
 また、変換ツリーにおいては、符号化ユニットが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。
[0056]
 変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な4分木分割によるものがある。
[0057]
 変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。
[0058]
  (予測パラメータ)
 予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ(インター予測パラメータ)について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「XXであるか否かを示すフラグ」と記す場合、1をXXである場合、0をXXではない場合とし、論理否定、論理積などでは1を真、0を偽と扱う(以下同様)。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。2つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1,predFlagL1=1の場合が、双予測に対応する。また、1つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。通常、後述の予測画像生成部(予測画像生成装置)308、予測パラメータメモリ307では、予測リスト利用フラグが用いられる。また、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idcが用いられる。
[0059]
 符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
[0060]
  (参照ピクチャリストの一例)
 次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ306(図5)に記憶された参照ピクチャからなる列である。図3は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト601において、左右に一列に配列された5個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、P1、P2、Q0、P3、P4は、それぞれの参照ピクチャを示す符号である。P1等のPとは、視点Pを示し、そしてQ0のQとは、視点Pとは異なる視点Qを示す。P及びQの添字は、ピクチャ順序番号POCを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ306において参照ピクチャQ0を参照するインデックスであることを示す。
[0061]
  (参照ピクチャの例)
 次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図4は、参照ピクチャの例を示す概念図である。図4において、横軸は表示時刻を示し、縦軸は視点を示す。図4に示されている、縦2行、横3列(計6個)の長方形は、それぞれピクチャを示す。6個の長方形のうち、下行の左から2列目の長方形は復号対象のピクチャ(対象ピクチャ)を示し、残りの5個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャQ0は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャQ0が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャP1は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャP2は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャP1またはP2が用いられる。
[0062]
  (インター予測フラグと予測リスト利用フラグ)
 インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えてもよい。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えてもよい。
[0063]
 インター予測フラグ = (predFlagL1<<1) + predFlagL0
 predFlagL0 =インター予測フラグ & 1
 predFlagL1 =インター予測フラグ >> 1
 ここで、>>は右シフト、<<は左シフトである。
[0064]
  (マージ予測とAMVP予測)
 予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Adaptive Motion Vector Prediction、適応動きベクトル予測)モードがある。マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象PUの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX(またはインター予測フラグinter_pred_idc)、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に導出した近傍PUの予測パラメータをそのまま用いるモードである。また、AMVPモードは、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。
[0065]
 インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に1枚の参照ピクチャを用いること(単予測)を示す。L0リスト、L1リストを用いた予測を各々L0予測、L1予測と呼ぶ。Pred_Biは2枚の参照ピクチャを用いること(双予測)を示し、L0リストとL1リストに記憶された参照ピクチャの2つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。例えば、refIdxL0はL0予測に用いる参照ピクチャインデックス、refIdxL1はL1予測に用いる参照ピクチャインデックス、refIdx(refIdxLX)は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
[0066]
 マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補(マージ候補)のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
[0067]
 なお、「対象ブロック」は複数の予測ブロックよりも一階層上の予測ブロックでもよいし、上記複数の予測ブロックを含む符号化ユニットでもよい。
[0068]
  (動きベクトルと変位ベクトル)
 動きベクトルmvLXには、異なる時間の2つのピクチャ上のブロック間のずれ量を示す狭義の動きベクトル(狭義の動きベクトル)と同じ時間の2つのブロック間のずれ量を示す変位ベクトル(disparity vector、視差ベクトル)に分けることもできる。以下の説明では、動きベクトルと変位ベクトルを区別せず、単に動きベクトルmvLXと呼ぶ。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。動きベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて識別される。
[0069]
  (画像復号装置の構成)
 次に、本実施形態に係る画像復号装置31の構成について説明する。図5は、本実施形態に係る画像復号装置31の構成を示す概略図である。画像復号装置31は、エントロピー復号部301、予測パラメータ復号部(予測画像生成装置)302、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)306、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)307、予測画像生成部308、逆量子化・逆DCT部311、及び加算部312、残差格納部313(残差記録部)を含んで構成される。
[0070]
 また、予測パラメータ復号部302は、インター予測パラメータ復号部(動きベクトル導出部)303及びイントラ予測パラメータ復号部304を含んで構成される。予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。
[0071]
 エントロピー復号部301は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号(シンタックス要素)を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
[0072]
 エントロピー復号部301は、分離した符号の一部を予測パラメータ復号部302に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部302の指示に基づいて行われる。エントロピー復号部301は、量子化係数を逆量子化・逆DCT部311に出力する。この量子化係数は、符号化処理において、残差信号に対してDCT(Discrete Cosine Transform、離散コサイン変換)を行い量子化して得られる係数である。
[0073]
 インター予測パラメータ復号部303は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測パラメータを復号する。
[0074]
 インター予測パラメータ復号部303は、復号したインター予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。インター予測パラメータ復号部303の詳細については後述する。
[0075]
 イントラ予測パラメータ復号部304は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを1つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部304は、復号したイントラ予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。
[0076]
 イントラ予測パラメータ復号部304は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部304は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、35モードであり、プレーナ予測(0)、DC予測(1)、方向予測(2~34)が対応する。色差予測モードIntraPredModeCは、プレーナ予測(0)、DC予測(1)、方向予測(2~34)、LMモード(35)の何れかを用いるものである。イントラ予測パラメータ復号部304は、IntraPredModeCは輝度モードと同じモードであるか否かを示すフラグを復号し、フラグが輝度モードと同じモードであることを示せば、IntraPredModeCにIntraPredModeYを割り当てる。また、フラグが輝度モードと異なるモードであることを示せば、イントラ予測パラメータ復号部304はIntraPredModeCとして、プレーナ予測(0)、DC予測(1)、方向予測(2~34)、LMモード(35)を復号しても良い。
[0077]
 参照ピクチャメモリ306は、加算部312が生成した参照ピクチャのブロック(参照ピクチャブロック)を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
[0078]
 予測パラメータメモリ307は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ307は、インター予測パラメータ復号部303が復号したインター予測パラメータ、イントラ予測パラメータ復号部304が復号したイントラ予測パラメータ及びエントロピー復号部301が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX(インター予測フラグinter_pred_idc)、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。
[0079]
 予測画像生成部308には、エントロピー復号部301から入力された予測モードpredModeが入力され、また予測パラメータ復号部302から予測パラメータが入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックP(予測画像)を生成する。
[0080]
 ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部309は、インター予測パラメータ復号部303から入力されたインター予測パラメータと読み出した参照ピクチャとを用いてインター予測により予測ピクチャブロックPを生成する。予測ピクチャブロックPは予測単位PUに対応する。PUは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり1度に予測処理が行われる復号対象ブロックに相当する。
[0081]
 インター予測画像生成部309は、予測リスト利用フラグpredFlagLXが1である参照ピクチャリスト(L0リスト、もしくはL1リスト)に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ306から読み出す。インター予測画像生成部309は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックPを生成する。インター予測画像生成部309は、生成した予測ピクチャブロックPを加算部312に出力する。
[0082]
 予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部310は、イントラ予測パラメータ復号部304から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部310は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ306から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
[0083]
 イントラ予測画像生成部310は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部310は、生成した予測ピクチャブロックPを加算部312に出力する。
[0084]
 イントラ予測パラメータ復号部304において、輝度と色差とで異なるイントラ予測モードを導出する場合、イントラ予測画像生成部310は、輝度予測モードIntraPredModeYに応じて、プレーナ予測(0)、DC予測(1)、方向予測(2~34)の何れかによって輝度の予測ピクチャブロックを生成する。また、イントラ予測画像生成部310は、色差予測モードIntraPredModeCに応じて、プレーナ予測(0)、DC予測(1)、方向予測(2~344)、LMモード(35)の何れかによって色差の予測ピクチャブロックを生成する。
[0085]
 逆量子化・逆DCT部311は、エントロピー復号部301から入力された量子化係数を逆量子化してDCT係数を求める。逆量子化・逆DCT部311は、求めたDCT係数について逆DCT(Inverse Discrete Cosine Transform、逆離散コサイン変換)を行い、復号残差信号を算出する。逆量子化・逆DCT部311は、算出した復号残差信号を加算部312および残差格納部313に出力する。
[0086]
 加算部312は、インター予測画像生成部309及びイントラ予測画像生成部310から入力された予測ピクチャブロックPと逆量子化・逆DCT部311から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部312は、生成した参照ピクチャブロックを参照ピクチャメモリ306に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Tdを外部に出力する。
[0087]
  (インター予測パラメータ復号部の構成)
 次に、インター予測パラメータ復号部303の構成について説明する。
[0088]
 図6は、本実施形態に係るインター予測パラメータ復号部303の構成を示す概略図である。インター予測パラメータ復号部303は、インター予測パラメータ復号制御部(動きベクトル導出部)3031、AMVP予測パラメータ導出部3032、加算部3035及びマージ予測パラメータ導出部3036を含んで構成される。
[0089]
 インター予測パラメータ復号制御部3031は、インター予測に関連する符号(シンタックス要素)の復号をエントロピー復号部301に指示し、符号化データに含まれる符号(シンタックス要素)、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
[0090]
 インター予測パラメータ復号制御部3031は、まず、マージフラグを抽出する。インター予測パラメータ復号制御部3031が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部301に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が1、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部3031は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部3031は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部3036に出力する。
[0091]
 マージフラグmerge_flagが0、すなわち、AMVP予測モードを示す場合、インター予測パラメータ復号制御部3031は、エントロピー復号部301を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部3031は、抽出したインター予測フラグinter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXとをAMVP予測パラメータ導出部3032及び予測画像生成部308(図5)に出力し、また予測パラメータメモリ307(図5)に記憶する。インター予測パラメータ復号制御部3031は、抽出した予測ベクトルインデックスmvp_LX_idxをAMVP予測パラメータ導出部3032に出力する。インター予測パラメータ復号制御部3031は、抽出した差分ベクトルmvdLXを加算部3035に出力する。
[0092]
 図7は、本実施形態に係るマージ予測パラメータ導出部3036の構成を示す概略図である。マージ予測パラメータ導出部3036は、マージ候補導出部30361(予測ベクトル算出部)とマージ候補選択部30362を備える。マージ候補格納部303611は、マージ候補導出部30361から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部303611において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。
[0093]
 マージ候補導出部30361は、すでに復号処理が行われた隣接ブロックの動きベクトルと参照ピクチャインデックスrefIdxLXをそのまま用いてマージ候補を導出する。それ以外にアフィン予測を用いてマージ候補を導出してもよい。この方法を以下で詳細に説明する。マージ候補導出部30361は、アフィン予測を、後述する空間マージ候補導出処理、時間マージ(フレーム間マージ)候補導出処理、結合マージ候補導出処理、およびゼロマージ候補導出処理に用いてもよい。なお、アフィン予測はサブブロック単位で行われ、予測パラメータはサブブロック毎に予測パラメータメモリ307に格納されている。あるいは、アフィン予測は画素単位で行われてもよい。
[0094]
  (空間マージ候補導出処理)
 空間マージ候補導出処理として、マージ候補導出部30361は、所定の規則に従って、予測パラメータメモリ307が記憶している予測パラメータ(予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX)を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック(例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部または一部)のそれぞれに係る予測パラメータである。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部303611に格納される。
[0095]
  (時間マージ候補導出処理)
 時間マージ導出処理として、マージ候補導出部30361は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ307から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダにおいて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部303611に格納される。
[0096]
  (結合マージ候補導出処理)
 結合マージ導出処理として、マージ候補導出部30361は、既に導出され、マージ候補格納部303611に格納された2つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスとを、それぞれL0、L1のベクトルとして組み合わせることで結合マージ候補を導出する。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部303611に格納される。
[0097]
  (ゼロマージ候補導出処理)
 ゼロマージ候補導出処理として、マージ候補導出部30361は、参照ピクチャインデックスrefIdxLXが0であり、動きベクトルmvLXのX成分、Y成分が共に0であるマージ候補を導出する。マージ候補導出部30361によって導出されたマージ候補はマージ候補格納部303611に格納される。
[0098]
 マージ候補選択部30362は、マージ候補格納部303611に格納されているマージ候補のうち、インター予測パラメータ復号制御部3031から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象PUのインター予測パラメータとして選択する。マージ候補選択部30362は選択したマージ候補を予測パラメータメモリ307に記憶するとともに、予測画像生成部308(図5)に出力する。
[0099]
 図8は、本実施形態に係るAMVP予測パラメータ導出部3032の構成を示す概略図である。AMVP予測パラメータ導出部3032は、ベクトル候補導出部3033(ベクトル算出部)とベクトル候補選択部3034を備える。ベクトル候補導出部3033は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ307が記憶するベクトル(動きベクトルまたは変位ベクトル)を予測ベクトルmvpLXとして読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック(例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部または一部)のそれぞれに係るベクトルである。
[0100]
 ベクトル候補選択部3034は、ベクトル候補導出部3033が読み出したベクトル候補のうち、インター予測パラメータ復号制御部3031から入力された予測ベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。ベクトル候補選択部3034は、選択した予測ベクトルmvpLXを加算部3035に出力する。
[0101]
 また、ベクトル候補選択部3034は、選択した予測ベクトルmvpLXに対して、後述するラウンド処理を行う構成としてもよい。
[0102]
 ベクトル候補格納部30331は、ベクトル候補導出部3033から入力されたベクトル候補を格納する。なお、ベクトル候補は、予測ベクトルmvpLXを含んで構成されている。ベクトル候補格納部30331において、格納されたベクトル候補には、所定の規則に従ってインデックスが割り当てられる。
[0103]
 ベクトル候補導出部3033は、アフィン予測を用いてベクトル候補を導出する。ベクトル候補導出部3033は、アフィン予測を、後述する空間ベクトル候補導出処理、時間ベクトル(フレーム間ベクトル)候補導出処理、結合ベクトル候補導出処理、およびゼロベクトル候補導出処理に用いてもよい。なお、アフィン予測はサブブロック単位で行われ、予測パラメータはサブブロック毎に予測パラメータメモリ307に格納する。あるいは、アフィン予測は画素単位で行われてもよい。
[0104]
 図9は、ベクトル候補の一例を示す概念図である。図9に示す予測ベクトルリスト602は、ベクトル候補導出部3033において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト602において、左右に一列に配列された5個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から2番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、予測ベクトルインデックスmvp_LX_idxが、予測パラメータメモリ307においてベクトルmvpLXを参照するインデックスであることを示す。
[0105]
 ベクトル候補は、ベクトル候補選択部3034が参照したブロックに係るベクトルに基づいて生成される。ベクトル候補選択部3034が参照するブロックは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック(例えば、隣接ブロック)であってもよい。なお、隣接ブロックは、復号対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、復号対象ブロックに時間的に隣接するブロック、例えば、復号対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
[0106]
 加算部3035は、AMVP予測パラメータ導出部3032から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部3031から入力された差分ベクトルmvdLXとを加算して動きベクトルmvLXを算出する。加算部3035は、算出した動きベクトルmvLXを予測画像生成部308(図5)に出力する。
[0107]
 図10は、本実施形態に係るインター予測パラメータ復号制御部3031の構成を示す概略図である。インター予測パラメータ復号制御部3031は、追加予測フラグ復号部30311、マージインデックス復号部30312、ベクトル候補インデックス復号部30313、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部などを含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部30313、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。
[0108]
  (インター予測画像生成部309)
 図11は、本実施形態に係るインター予測画像生成部309の構成を示す概略図である。インター予測画像生成部309は、動き補償部3091、重み予測部3094を含んで構成される。
[0109]
  (動き補償)
 動き補償部3091は、インター予測パラメータ復号部303から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの復号対象ブロックの位置を起点として、動きベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き補償画像を生成する。ここで、動きベクトルmvLXの精度が整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、動き補償画像を生成する。以下、L0予測の動き補償画像をpredSamplesL0、L1予測の動き補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。
[0110]
  (重み予測)
 重み予測部3094は、入力される動き変位画像predSamplesLXに重み係数を乗算することにより予測ピクチャブロックP(予測画像)を生成する。入力される動き変位画像predSamplesLXは、残差予測が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1の場合(単予測の場合)で、重み予測を用いない場合には入力された動き変位画像predSamplesLX(LXはL0もしくはL1)を画素ビット数に合わせる以下の式の処理を行う。
[0111]
 predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLX[ x ][ y ] + offset1 ) >> shift1 )
 ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
[0112]
 また、参照リスト利用フラグの両者(predFlagL0もしくはpredFlagL1)が1の場合(双予測の場合)で、重み予測を用いない場合には、入力された動き変位画像predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。
[0113]
 predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0[ x ][ y ] + predSamplesL1[ x ][ y ] + offset2 ) >> shift2 )
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
[0114]
 さらに、単予測の場合で、重み予測を行う場合には、重み予測部3094は、重み予測係数w0とオフセットo0を符号化データから導出し、以下の式の処理を行う。
[0115]
 predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( (predSamplesLX[ x ][ y ] * w0 + 2log2WD - 1) >> log2WD ) + o0 )
 ここで、log2WDは所定のシフト量を示す変数である。
[0116]
 さらに、双予測の場合で、重み予測を行う場合には、重み予測部3094は、重重み予測係数w0、w1、o0、o1を符号化データから導出し、以下の式の処理を行う。
[0117]
 predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0 [ x ][ y ] * w0 + predSamplesL1[ x ][ y ] * w1 + ((o0 + o1 + 1) << log2WD) ) >> (log2WD + 1) )
 <動きベクトル復号処理>
 以下では、図15~図27を参照して、本実施形態に係る動きベクトル復号処理について具体的に説明する。
[0118]
 上述の説明から明らかなように、本実施形態に係る動きベクトル復号処理は、インター予測に関連するシンタックス要素を復号する処理(動きシンタックス復号処理とも呼ぶ)と、動きベクトルを導出する処理(動きベクトル導出処理)とを含んでいる。
[0119]
  (動きシンタックス復号処理)
 図15は、インター予測パラメータ復号制御部3031によって行われるインター予測シンタックス復号処理の流れを示すフローチャートである。図15の説明における以下の説明において、特に明示のない場合、各処理はインター予測パラメータ復号制御部3031によって行われる。
[0120]
 まず、ステップS101において、マージフラグmerge_flagが復号され、ステップS102において、
 merge_flag!=0 ?
が判断される。
[0121]
 merge_flag!=0が真(S102でY)の場合、S103においてマージインデックスmerge_idxが復号され、マージモードにおける動きベクトル導出処理(S201)(図18(a))に進む。
[0122]
 merge_flag!=0 が偽(S102でN)の場合、S104においてインター予測フラグinter_pred_idcが復号され、S105では、参照ピクチャインデックスrefIdxL0が復号され、S106では、差分ベクトルのシンタックスmvdL0が復号され、S107では予測ベクトルインデックスmvp_L0_idxが復号される。
[0123]
 S108では、参照ピクチャインデックスrefIdxL1が復号され、S109では、差分ベクトルのシンタックスmvdL1が復号され、S110では予測ベクトルインデックスmvp_L1_idxが復号され、AMVPモードにおける動きベクトル導出処理(S301)(図18(b))に進む。
[0124]
 なお、インター予測フラグinter_pred_idcが0、すなわち、L0予測(PRED_L0)を示している場合、S108~S110の処理は不要である。一方で、インター予測フラグinter_pred_idcが1、すなわち、L1予測(PRED_L1)を示している場合、S105~S107の処理は不要である。また、インター予測フラグinter_pred_idcが2、すなわち、双予測(PRED_B)を示している場合、S105~S110の各ステップが実行される。
[0125]
  (差分ベクトル復号処理)
 図16は、上述したステップS106及びS109における差分ベクトル復号処理をより具体的に示すフローチャートである。これまで動きベクトル、差分ベクトルmvdLXの水平成分、垂直成分を区別せずに、mvLX、mvdLXと表記していた。ここでは、水平成分と垂直成分とのシンタックスが必要になることと、水平成分と垂直成分の処理が必要であることとを明確にするために、[0]、[1]を用いて、各成分を表記する。
[0126]
 図16に示すように、まず、ステップS10611において、水平動きベクトル差分絶対値を示すシンタックスmvdAbsVal[0]が符号化データから復号され、ステップS10612において、(水平)動きベクトル差分絶対値が0であるか否か
 mvdAbsVal[0]!=0
が判断される。
[0127]
 水平動きベクトル差分絶対値mvdAbsVal[0]!=0が真(S10612でY)の場合、S10614において水平動きベクトル差分の符号(正負)を示すシンタックスmv_sign_flag[0]が符号化データから復号され、S10615に進む。一方で、mvdAbsVal[0]!=0が偽(S10612でN)の場合、S10613において、mv_sign_flag[0]が、0にセット(infer)され、S10615に進む。
[0128]
 続いて、ステップS10615において、垂直動きベクトル差分絶対値を示すシンタックスmvdAbsVal[1]が復号され、ステップS10612において、(垂直)動きベクトル差分絶対値が0であるか否か
 mvdAbsVal[1]!=0
が判断される。
[0129]
 mvdAbsVal[1]!=0が真(S10616でY)の場合、S10618において、垂直動きベクトル差分の符号(正負)を示すシンタックスmv_sign_flag[1]が符号化データから復号される。一方で、mvdAbsVal[1]!=0?が偽(S10616でN)の場合、S10617において、垂直動きベクトル差分の符号(正負)を示すシンタックスmv_sign_flag[1]が0にセットされる。
[0130]
 上記では、動きベクトル差分絶対値mvdAbsVal、動きベクトル差分の符号mvd_sign_flagの各々を{水平成分、垂直成分}からなるベクトルで表現し、水平成分を[0]、垂直成分を[1]でアクセスしている。他のアクセス方法として、たとえば、垂直成分を[0]、水平成分を[1]、としてもよい。また水平成分の次に垂直成分を処理しているが、処理の順序はこれに限定されない。たとえば、垂直成分が先で水平成分を後に処理してもよい(以下同様)。
[0131]
 図17は、図16にて例示した処理とは異なる方法で、ステップS106及びS109において差分ベクトルを復号処理する例を示すフローチャートである。図16においてすでに説明したステップについては、図17でも同じ符号を付し説明を省略する。
[0132]
 図17に示す例においては、動きベクトル精度フラグmvd_dequant_flagを更に復号する点が、図16とは異なる。
[0133]
 すなわち、図17に示す例では、既に説明したS10617及びS10618の後、S10629において、差分ベクトルが0であるか否かを示す変数nonZeroMVを導出し、差分ベクトルが0であるか否か
nonZeroMV!=0?
が判断される。
[0134]
 ここで、変数nonZeroMVは、以下により導出できる。
[0135]
  nonZeroMV = mvdAbsVal[0]+mvdAbsVal[1]
 nonZeroMV!=0が真(S10629でY)の場合、すなわち、差分ベクトルが0以外の場合、S10630において、動きベクトル精度フラグmvd_dequant_flagが符号化データから復号される。また、nonZeroMV!=0が偽(S10629でN)の場合、mvd_dequant_flagは符号化データから復号されずmvd_dequant_flagに0が設定される。つまり、差分ベクトルが0以外の場合、すなわち、nonZeroMV!=0のときのみ、mvd_dequant_flagが復号される。
[0136]
 なお、動きベクトル精度フラグmvd_dequant_flagは動きベクトルの精度を切り替えるために用いられる。また、当該フラグを動きベクトルの精度をフルペルにするか否かを選択するフラグとする場合には、integer_mv_flagと書いてもよい(表記してもよい)。
[0137]
  (動きベクトル導出処理)
 次に、図18~27を用いて、動きベクトル導出処理について説明する。
[0138]
 図18は、本実施形態に係るインター予測パラメータ復号部303によって行われる動きベクトル導出処理の流れを示すフローチャートである。
[0139]
  (マージ予測モードにおける動きベクトル導出処理)
 図18の(a)は、マージ予測モードにおける動きベクトル導出処理の流れを示すフローチャートである。図18の(a)に示すように、S201において、マージ候補導出部30361はマージ候補リストmergeCandListを導出する。S202において、マージ候補選択部30362は、マージインデックスmerge_idxによって指定されるマージ候補mvLXをmergeCandList[merge_idx]に基づいて選択する。たとえば、mvLX = mergeCandList[merge_idx]により導出する。
[0140]
  (AMVPモードにおける動きベクトル導出処理)
 AMVPモードでは、復号されたシンタックスmvdAbsVal、mv_sign_flagから差分動きベクトルmvdLXを導出し、差分動きベクトルmvdLXを予測ベクトルmvpLXに加算することで動きベクトルmvLXを導出する。シンタックスの説明では、mvdAbsVal[0]、mvdAbsVal[1]などと、[0]、[1]を用いて、水平成分と垂直成分とを区別して説明していたが、以下では、簡単のため成分を区別せずに、単にmvdAbsValなどと記載する。実際には、動きベクトルには水平成分と垂直成分とがあるため、成分を区別せずに記載する処理を、各成分について順に実行すればよい。
[0141]
 一方、図18の(b)は、AMVPモードにおける動きベクトル導出処理の流れを示すフローチャートである。図18の(b)に示すように、S301において、ベクトル候補導出部3033は動きベクトル予測子リストmvpListLXを導出する。S302において、ベクトル候補選択部3034は、予測ベクトルインデックスmvp_LX_idxによって指定される動きベクトル候補(予測ベクトル、予測動きベクトル)mvpLX=mvpListLX[mvp_LX_idx]を選択する。
[0142]
 次に、S303において、インター予測パラメータ復号制御部3031は差分ベクトルmvdLXを導出する。図18の(b)のS304に示すように、ベクトル候補選択部3034は、選択した予測ベクトルをラウンド処理してもよい。次に、S305において、予測ベクトルmvpLXと差分ベクトルmvdLXとが加算部3035において加算され動きベクトルmvLXが算出される。すなわち、mvLXが、
  mvLX=mvpLX+mvdLX
によって算出される。
[0143]
  (差分ベクトル導出処理)
 次に、図19を用いて、差分ベクトル導出処理について説明する。図19は、上述したステップS303における差分ベクトル導出処理をより具体的に示すフローチャートである。差分ベクトル導出処理は、下記の2つの処理から構成される。逆量子化処理(PS_DQMV):符号化データから復号された値であり、量子化された値である動きベクトル差分絶対値mvdAbsVal(量子化値)を、逆量子化し、特定の精度(たとえば後述の基本ベクトル精度)の動きベクトル差分絶対値mvdAbsValとして導出する処理。符号付与処理(PS_SIGN):導出された動きベクトル差分絶対値mvdAbsValの符号を定めて、動きベクトル差分mvdLXを導出する処理。
[0144]
 図19の説明における以下の説明において、特に明示のない場合、各処理はインター予測パラメータ復号制御部3031によって行われる。
[0145]
 図19に示すように、S3031において、動きベクトル精度を指定するパラメータである動きベクトルスケールshiftSが導出され、S3032において、動きベクトルスケール>0か否かが判断される。動きベクトルスケール>0が真、すなわち、shiftS>0(S3032でY)の場合、S3033において、たとえば、shiftSを用いたビットシフト処理により差分ベクトルを逆量子化する。ここで、ビットシフト処理は、より具体的には、例えば、量子化された動きベクトル差分絶対値mvdAbsValを、shiftSで左シフトする処理、
  mvdAbsVal = mvdAbsVal << shiftS          式(Scale)
によって行われる(処理PS_DQMV0)。
[0146]
 そして、S3034において、差分ベクトルの符号付与処理が行われ、S3041に進む。なお、当該符号付与処理(処理PS_SIGN)は、
  mvdLX = mvdAbsVal * (1 - 2*mv_sign_flag)     式(sign)
によって行われる。すなわち、mv_sign_flagの値に応じて、動きベクトル差分絶対値mvdAbsValから、動きベクトル差分mvdLXを導出する。なお、動きベクトルスケール>0が偽、すなわち、shiftS=0(S3032でN)の場合、S3033を経由せずに、S3034に進む。なお、値0(shiftS=0)でのシフトを適用した差分ベクトルの逆量子化が、差分ベクトルの値に影響を与えることがない。そのため、動きベクトルスケール>0が偽の場合である場合にも、S3033をスキップせず、動きベクトルスケールを0(shiftS=0)と導出したうえで、S3033を行う構成としてもよい。
[0147]
 また、動きベクトルスケールは一般に0以上の値が用いられるので、動きベクトルスケールが0以外である場合には、動きベクトルスケールは常に正(>0)になる。よって、「動きベクトルスケール>0」の判定の代わりに、「動きベクトルスケール!=0」を判定に用いてもよい。なお、本明細書において、「動きベクトルスケール>0」の判断を行う他の処理においても同様である。
[0148]
  (予測ベクトルラウンド処理)
 次に、図20を用いて、予測ベクトルラウンド処理(予測動きベクトルラウンド処理)について説明する。図20は、上述したステップS304における予測ベクトルラウンド処理をより具体的に示すフローチャートである。図20の説明における以下の説明において、特に明示のない場合、各処理はベクトル候補選択部3034によって行われる。図20に示すように、S3041において、動きベクトルスケールが導出され、S3042において、動きベクトルスケール>0が判断される。動きベクトルスケール>0が真(S3042でY)の場合、つまり、動きベクトルスケールによる差分ベクトルの逆量子化が行われる場合には、S3043において、予測動きベクトルmvpLXは、動きベクトルスケールに基づいたラウンド、
  mvpLX = round(mvpLX, shiftS)
によってラウンド処理してもよい(処理PS_PMVROUND)。ここで、round(mvpLX, shiftS)は、予測動きベクトルmvpLXに対してshiftSを用いたラウンド処理を行う関数のことを表している。たとえば、ラウンド処理は、後述の式(SHIFT-1)から(SHIFT-4)などを用い、予測動きベクトルmvpLXを1<<shiftS単位の値(とびとびの値)にしてもよい。
[0149]
 S304の後、S305へ進む。S305では、予測ベクトルmvpLXと差分ベクトルmvdLXとから動きベクトルmvLXが導出される。なお、動きベクトルスケール>0が偽(S3042でN)の場合、予測動きベクトルmvpLXはラウンドされずに、S305へ進み、動きベクトルmvLXが導出される。
[0150]
  (動きベクトル精度フラグを利用した動きベクトルスケール導出処理)
 次に、図21を用いて、動きベクトル精度フラグを利用した動きベクトルスケール導出処理(PS_P0)について説明する。図21は、上述したS3031(図19参照)およびS3041(図20参照)における動きベクトルスケール導出処理をより具体的に示すフローチャートである。図21では、説明の便宜上、S3041の処理を具体的に例示しているが、図21が示す処理がS3031に適用されてもよい。
[0151]
 図21の説明における以下の説明において、特に明示のない場合、各処理はインター予測パラメータ復号制御部3031によって行われる。
[0152]
 図21に示すように、S304111において、動きベクトル精度フラグmvd_dequant_flagが、
  mvd_dequant_flag!=0
を満たすか否かが判断される。mvd_dequant_flag!=0が真(S304111でY)の場合、例えば、mvd_dequant_flag=1の場合、S304112において、たとえばshiftSは、動きベクトル精度の基準を示すパラメータである動きベクトル基本精度mvBaseAccu(>0)と等しく設定され、動きベクトルの精度はフルペルに設定される。ここで、mvBaseAccuの値は例えば2である。S304112の後、S3042に進む。動きベクトル精度フラグmvd_dequant_flag!=0が偽(S304111でN)の場合、例えば、mvd_dequant_flag=0の場合、S304113において、shiftS = 0と設定され、S3042に進む。この場合、動きベクトルの精度は1/4ペルに設定される。なお、S304112において、たとえばshiftS は、動きベクトル精度の基準を示すパラメータである動きベクトル基本精度mvBaseAccu-1としてもよい。この場合には、mvd_dequant_flagが1(0以外)の場合、動きベクトルの精度はハーフペルに設定される。
[0153]
 なお、上記では、mvd_dequant_flagが1の場合に動きベクトルの精度をさげ、mvd_dequant_flagが0の場合に、動きベクトルの精度を維持する構成としている。他の構成として、mvd_dequant_flagの値が別の値、たとえば0で動きベクトル精度を低下させ、1で動きベクトル精度を維持してもよい。すなわち、本明細書に示すフラグについては、その数値とフラグが示す内容とを任意の組合せとすることができる。
[0154]
 このように、上記の構成によれば、動きベクトル精度フラグを参照して動きベクトルの精度を切り替えるので、より適切な精度を有する動きベクトルを用いることができる。その一方で、動きベクトル精度フラグを符号化データに含める必要があるので符号量が増大し、符号化効率が期待しているほど向上しない場合もあり得る。
[0155]
 以下では、符号化効率の向上を図りつつ、適切な精度の動きベクトルを用いるための構成例について説明する。
[0156]
  (対象ブロックのブロックサイズを利用した動きベクトルスケール導出処理)
 符号化効率の向上を図りつつ、適切な精度の動きベクトルを用いる構成例(導出処理PS_P1A)の一つとして図22を用いて、対象ブロックのブロックサイズを利用した動きベクトルスケール導出処理について説明する。図22は、上述したS3031(図19参照)およびS3041(図20参照)における動きベクトルスケール導出処理をより具体的に示すフローチャートである。図22では、説明の便宜上、S3041の処理を具体的に例示しているが、図22が示す処理がS3031に適用されてもよい。
[0157]
 図22の説明における以下の説明において、特に明示のない場合、各処理はインター予測パラメータ復号制御部3031によって行われる。
[0158]
 図22に示すように、S304121において、ブロックサイズblkWが
  blkW <TH(THは所定の閾値)
を満たすか否かが判断される。ブロックサイズblkW<THが真(S304121でY)の場合、つまり、ブロックサイズblkWが小さい場合、S304122において、
  shiftS = shiftM
と設定され、S3042に進む。また、ブロックサイズblkW<THが偽(S304121でN)の場合、つまり、ブロックサイズblkWが大きい場合、S304123において
  shiftS = shiftN
と設定され、S3042に進む。ここで、shiftM及びshiftNは、shiftM>shiftNを満たすスケールパラメータであり、shiftN = 0であってもよい。
[0159]
 なお、図22の処理は、まとめると、以下の式でも表現できる。
[0160]
 shiftS = (blkW < TH) ? shiftM : shiftN  (式P1A)
 なお、ブロックサイズの幅blkWと高さblkHとが異なる場合がある構成では、ブロックのサイズの域値判定として、blkW < THの代わりに、blkW + blkH < THを用いてもよい。なお、本明細書における他の処理においても上記の変更を、適宜、適用してもよい。
。また分岐判定は、<(より大きい)によらず≦(以下)を用いてもよいし、等価な構成として、>、≧としてY、Nの分岐を逆にしてよい。なお、本明細書における他の処理においても上記の変更を、適宜、適用してもよい。
[0161]
 以上、ブロックサイズを大きさに応じて、ブロックサイズが大きいほど動きベクトルスケールの値が小さく(動きベクトル精度を高く)なるように、動きベクトルスケールを導出する。上記の例のように、ブロックサイズの大きさに応じて、ブロックサイズを分類し、分類に応じて動きベクトルスケールを切り替える構成では、ブロックサイズの分類数は2に限定されず、3以上でもよい。
[0162]
 このように、上記の構成によれば、ブロックサイズに応じて差分ベクトルの精度を切り替えることができる。例えば、ブロックサイズが所定の値より大きい場合に、高精度のベクトルに切り替えることができ、ブロックサイズが所定の値より小さい場合には低精度の動きベクトルに切り替えることができる。このように、ブロックサイズに応じて動きベクトルの精度を切り替えることにより、より適切な精度の動きベクトルを用いることができる。
[0163]
 また、上記の構成では、動きベクトル精度フラグを利用せずに差分ベクトルの精度を切り替えることができる。したがって、動きベクトル精度フラグを符号化及び復号する必要がなくなり、符号化データの符号量が低減される。また、これにより符号化効率の向上を図ることができる。
[0164]
  (ブロックサイズおよび動きベクトル精度フラグを利用した動きベクトルスケール導出処理)
 また、他の構成例(導出処理PS_P1B)として、次に、図23を用いて、対象ブロックのブロックサイズおよび動きベクトル精度フラグを利用した動きベクトルスケール導出処理について説明する。図23は、上述したS3031およびS3041における動きベクトルスケール導出処理をより具体的に示すフローチャートである。図23では、説明の便宜上、S3041の処理を具体的に例示しているが、図23が示す処理がS3031に適用されてもよい。
[0165]
 図23に示すように、S304131において、mvd_dequant_flag!=0か否かが判断される。mvd_dequant_flag!=0が偽(S304131でN)の場合、つまり、mvd_dequant_flagが0の場合、S304132において、ブロックサイズblkWが、
  blkW <TH(THは所定の閾値)
を満たすかが判断される。ブロックサイズblkW<THが真(S304132でY)の場合、つまり、ブロックサイズblkWが小さい場合、
、S304133において、
  shiftS = shiftM
と設定され、S3042に進む。また、ブロックサイズblkW<THが偽(S304132でN)の場合、つまり、ブロックサイズblkWが大きい場合、S304133において、動きベクトルスケールとして、ブロック値が小さい場合の値(shiftM)とは異なる値、
  shiftS = shiftN
と設定され、S3042に進む。
[0166]
 また、mvd_dequant_flag!=0が真(S304131でY)の場合、つまり、mvd_dequant_flagが1の場合、
  shiftS = shiftLと設定され、S3042に進む。ここで、shiftL、shiftM、shiftNは、shiftL≧shiftM>shiftNを満たすスケールパラメータであり、shiftN = 0であってもよい。shiftN = 0であるとは、動きベクトル(差分動きベクトル)を逆量子化しないことに相当する(量子化スケールにより粗くしない動きベクトルが符号化される)。なお、shiftL = mvBaseAccuとし、mvd_dequant_flagが1の場合にフルペルとすることも適当である。
[0167]
 なお、図23の処理の一部、S304132~S304134の処理(図22に相当)は、上述の(式P1A)でも表現できる。
[0168]
 図23の全体の処理は、まとめると、以下の式(式P1B)でも表現できる。
[0169]
 shiftS = mvd_dequant_flag !=0 ? shiftL : (blkW < TH) ? shiftM : shiftN (式P1B)
 以上、ブロックサイズの大きさに応じて複数の精度の動きベクトルを用いるモードに分類し、ブロックサイズが大きいほど動きベクトルスケールの値が小さく(動きベクトル精度を高く)なるように、切り替える構成を構成した。なお、ブロックサイズの分類については、2つの分類によらず、3つ以上に分類する構成としてもよい。
[0170]
 上記の構成によれば、ブロックサイズおよび動きベクトル精度フラグの双方を参照して動きベクトルの精度を決定するので、より適切な精度を有する動きベクトルを用いることができる。例えば、動きベクトル精度フラグにより動きベクトルの精度が整数精度(低精度)で示された場合は、ブロックサイズによらず差分ベクトルの精度を整数精度(低精度)に設定する。また、動きベクトル精度フラグにより動きベクトルの精度が小数精度(高精度)で示された場合は、ブロックサイズに応じて、さらに差分ベクトルの精度を切り替えることができる。
[0171]
 したがって、上記の構成によれば、より適切な精度の動きベクトルを用いて、符号化効率の向上を図ることができる。
[0172]
 なお、上述の動きベクトルの導出について、以下のように換言することができる。すなわち、インター予測パラメータ復号部303(動きベクトル導出部)は、予測ブロック毎に、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する。インター予測パラメータ復号部303は、予測ブロックのサイズに応じて、当該予測ブロックに関して導出する動きベクトルの精度(特に動きベクトル差分絶対値の導出に用いるシフト値)を切り替える。
[0173]
 また、上述の動きベクトルの導出の処理により、導出される動きベクトルを下記の式に表すことができる。すなわち、導出対象の動きベクトルをmv
LX、予測ベクトルをmvpLX、差分ベクトルをmvdLX、ラウンド処理をround()と表記した場合、予測ブロックのサイズに応じて、シフト量shiftSが決定され、
  mvLX = round(mvpLX) + (mvdLX << shiftS)
によってmvLXを定めてもよい。
[0174]
 なお、上記(mvdLX << shiftS)の項で示す、差分ベクトルmvdLXの逆量子化は、動きベクトル差分絶対値において行っても構わない。すなわち、以下のように、動きベクトル差分絶対値mvdAbsValを逆量子化する処理し、符号処理を行う構成としてもよい。
[0175]
 mvdAbsVal = mvdAbsVal(=|qmvd|) << shiftS
 mvdLX = mvdAbsVal * (1 - 2*mv_sign_flag)
 mvLX = round(mvpLX) + mvdLX
 上記では、変数mvdAbsVal、mvdLXを更新する構成で表現したが、処理を明確にするために「´」を用いて表現すると以下のように表現できる。
[0176]
 mvdAbsVal´ = mvdAbsVal(=|qmvd|) << shiftS
 mvdLX´ = mvdAbsVal´ * (1 - 2*mv_sign_flag)
 mvLX = round(mvpLX) + mvdLX´
 また上記の括弧()内に記載したように、逆量子化前(量子化された)差分動きベクトル絶対値をmvdAbsValにかえて、qmvdで示してもよい。
[0177]
 (ラウンド処理の種々の具体例)
 以上の説明においてラウンド処理に言及した。ラウンド処理の具体例は本実施形態を限定するものではないが、例えば、
  round(mvpLX) = (mvpLX >>shiftS <<shiftS)・・・(SHIFT-1)
を用いればよい。また、round()内の変数は、mvpLXに限られるものではない。また、ラウンド処理については、上述した例の他に、以下の式を用いる例を挙げることができる。例えば、オフセット値
  offsetS = 1<<(shiftS-1)
を用いて、
  round(mvpLX) = ((mvpLX + offsetS)>> shiftS) << shiftS ・・・(SHIFT-2)
としてもよい。また、
  round(mvpLX) = mvpLX > 0 ? (mvpLX >> shiftS) << shiftS : -(((- mvpLX) >> shiftS) << shiftS) ・・・(SHIFT-3)
すなわち、ラウンドの対象が負の場合、-1を乗じることによって一旦正の値に変換したうえで、(式:SHIFT-1)と同様の処理を実行し、その後に-1を乗じることによって負に変換する構成としてもよい。
また、
  round(mvpLX) = mvpLX > 0 ? ((mvpLX + offsetS) >> shiftS) << shiftS : -((((- mvpLX + offsetS)) >> shiftS) << shiftS) ・・・(SHIFT-4)
すなわち、式(SHIFT-2)の処理と式(SHIFT-3)とを組み合わせた処理としてもよい。
[0178]
  (ブロックサイズを用いて切り替えられる動きベクトル精度の例)
 以下では、対象ブロックのブロックサイズを用いて切り替えられる動きベクトル精度(導出処理P1A)の具体例について、図24を用いて説明する。図24の(a)~(c)は、基本ベクトル精度と、対象ブロックのブロックサイズとによって設定される(切り替えられる)動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。例えば、インター予測パラメータ復号制御部3031は、上述した図22に示すS304121からS304123の処理を、図24の(a)~(c)に示す例のように行ってもよい。
[0179]
 なお、本明細書では、「基本ベクトル」との概念を導入し、この基本ベクトルの精度を指定するパラメータをmvBaseAccuによって表すことにする。また、「基本ベクトル」は、仮想的に1<<mvBaseAccuの精度で復号されるものとする。ただし、「基本ベクトル」との呼び名はあくまで便宜上のものであり、「基本ベクトル」は動きベクトルの精度を指定するための基準として導入したものに過ぎない。当特許では、動き補償フィルタ部30912へ入力する際のベクトルの精度を、基本ベクトル精度で与える。たとえば、mvBaseAccu=2の場合には、基本ベクトルは1 / 4 (=1 / (1<< mvBaseAccu))ペル精度で扱われるものとする。動き補償フィルタ部30912では、0からM-1(M=(1<< mvBaseAccu))の位相のフィルタ係数のセット(0からM-1までのフィルタ係数)を用いてフィルタ処理を行う。また、この基本ベクトルの精度を用いて、予測パラメータメモリ108に導出した(利用した)動きベクトルを格納する構成としてもよい。
[0180]
 図24の(a)は、動きベクトル精度を2つの値に切替える場合における、対象ブロックのブロックサイズと、基本ベクトル精度と、動きベクトル精度を示すパラメータshiftSとの関係を示すテーブルである。図24の(a)の「I」に示す例では、mvBaseAccu=3であり、基本ベクトルの精度は1/8pelである。「I」に示す例では、対象ブロックのブロックサイズblkWがblkW >= 64を満たしていると、shiftS=0に設定され、動きベクトル精度は1/8pelとなる。一方で、ブロックサイズblkWがblkW < 64を満たしていると、shiftS=1に設定され、動きベクトル精度は1/4pelとなる。
[0181]
 図24の(a)の「II」に示す例では、mvBaseAccu=4であり、基本ベクトルの精度は1/16pelである。「II」に示す例では、対象ブロックのブロックサイズblkWがblkW >= 64を満たしていると、shiftS=0に設定され、動きベクトル精度は1/16pelとなる。一方で、ブロックサイズblkWがblkW < 64を満たしていると、shiftS=2に設定され、動きベクトル精度は1/4pelとなる。
[0182]
 図24の(a)の「III」に示す例では、mvBaseAccu=6であり、基本ベクトルの精度は1/64pelである。「III」に示す例では、対象ブロックのブロックサイズblkWがblkW >= 64を満たしていると、shiftS=0に設定され、動きベクトル精度は1/64pelとなる。一方で、ブロックサイズblkWがblkW < 64を満たしていると、shiftS=4に設定され、動きベクトル精度は1/4pelとなる。
[0183]
 図24の(b)は、動きベクトル精度を3つの値に切替える場合における、対象ブロックのブロックサイズと、基本ベクトル精度と、動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。
[0184]
 図24の(b)に示す例では、基本ベクトル精度が、1/64pelである。対象ブロックのブロックサイズblkWがblkW >= 64を満たしていると、shiftS=0に設定され、動きベクトル精度は1/64pelとなる。また、ブロックサイズblkWがblkW>= 32 && blkW < 64を満たしていると、shiftS=2に設定され、動きベクトル精度は1/16pelとなる。また、ブロックサイズblkWがblkW < 32を満たしていると、shiftS=4に設定され、動きベクトル精度は1/4pelとなる。
[0185]
 図24の(c)は、動きベクトル精度を5つの値に切替える場合における、対象ブロックのブロックサイズと、基本ベクトル精度と、動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。
[0186]
 図24の(c)に示す例では、基本ベクトル精度が、1/64pelである。対象ブロックのブロックサイズblkWがblkW >= 128を満たしていると、shiftS=0に設定され、動きベクトル精度は1/64pelとなる。また、ブロックサイズblkWがblkW>= 64 && blkW < 128を満たしていると、shiftS=1に設定され、動きベクトル精度は1/32pelとなる。また、ブロックサイズblkWがblkW>= 32 && blkW < 64を満たしていると、shiftS=2に設定され、動きベクトル精度は1/16pelとなる。また、ブロックサイズblkWがblkW>= 16 && blkW < 32を満たしていると、shiftS=3に設定され、動きベクトル精度は1/8pelとなる。また、ブロックサイズblkWがblkW < 16を満たしていると、shiftS=4に設定され、動きベクトル精度は1/4pelとなる。
[0187]
  (動きベクトル精度MVQStepの利用)
 インター予測パラメータ復号制御部3031は、動きベクトルスケールshiftSによる左シフトの代わりに、動きベクトルの量子化ステップサイズMVQStepの積により逆量子化を行う構成でもよい。すなわち、式(Scale)の代わりに下記式により、逆量子化を行ってもよい。
[0188]
  mvdAbsVal = mvdAbsVal * MVQStep          式(QStep)
ここで、MVQStepとshiftSとは、
  shiftS = log 2(MVQStep)
の関係を満たす。これは、以下と等価である。
[0189]
  MVQStep = 1 << shiftS = 2 shiftS
 ところで、基本動きベクトルの精度が1/8では、量子化ステップMVQStepが1の場合、符号化される動きベクトルの精度(MVStep)は1/8、量子化ステップMVQStepが2の場合、符号化される動きベクトルの精度(MVStep)は1/4になる。したがって、基本動きベクトルの精度を1/mvBaseAccuとすると、量子化ステップMVQStepにおいて、符号化される動きベクトルの精度MVStepは、1/mvBaseAccu* MVQStepになる。例えば、図24の(a)の「I」に示した動きベクトル精度の切替えを、量子化スケールshiftSでのシフトの代わりに、MVQStepの積を用いて行う場合、ブロックサイズblkWがblkW>= 64を満たすと、MVQStep = 1 (=1<<ShiftS = 1<<0 = 1)に設定される。換言すると、MVStep = 1/8 = (1/mvBaseAccu*MVQStep = 1/8*1)に設定される。一方で、ブロックサイズblkWがblkW < 64を満たすと、MVQStep = 2 (=1<<ShiftS = 1<<1 = 2)に設定される。換言すると、MVStep = 1/4 = (1/8*2)に設定される。
[0190]
 また、図24の(b)に示した動きベクトル精度の切替えを、MVQStepを用いて行う場合、ブロックサイズblkWがblkW>= 64を満たすとMVQStep = 1 (=1<<shiftS = 1<<0)に設定される。換言すると、MVStep = 1/64 = (1/64*1)に設定される。また、ブロックサイズblkWがblkW>= 32 && blkW < 64を満たすと、MVQStep = 4 (=1<<ShiftS = 1<<2 = 4)に設定される。換言すると、MVStep = 1/16 = (1/64*4)に設定される。また、ブロックサイズblkWがblkW < 32を満たすとMVQStep = 16 (=1<<ShiftS = 1<<4)に設定される。換言すると、MVStep = 1/4 = (1/64*16)に設定される。
[0191]
 また、図24の(c)に示した動きベクトル精度の切替えを、MVQStepを用いて行う場合、ブロックサイズblkWがblkW>= 128を満たすとMVQStep = 1に設定される。換言すると、MVStep = 1/64に設定される。また、ブロックサイズblkWがblkW>= 64 && blkW < 128を満たすとMVQStep = 2に設定される。換言すると、MVStep = 1/32に設定される。また、ブロックサイズblkWがblkW>= 32 && blkW < 64を満たすと、MVQStep = 3に設定される。換言すると、MVStep = 1/16に設定される。また、ブロックサイズblkWがblkW>= 16 && blkW< 32を満たすと、MVQStep = 4に設定される。換言すると、MVStep = 1/8に設定される。また、ブロックサイズblkW < 16を満たすと、MVQStep = 5に設定される。換言すると、MVStep = 1/4に設定される。
[0192]
  (ブロックサイズおよび動きベクトル精度フラグを用いて切り替えられる動きベクトル精度の例)
 次に、ブロックサイズおよび動きベクトル精度フラグであるmvd_dequant_flagを用いて切り替えられる動きベクトル精度(導出処理PS_P1B)の具体例について、図25を用いて説明する。図25の(a)~(c)は、対象ブロックのブロックサイズと動きベクトル精度フラグとによって設定される(切り替えられる)動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。なお、図25の(a)~(c)においては、基本ベクトル精度を1/16とする例を示すが、基本ベクトル精度の値は任意の値を適用することができる。インター予測パラメータ復号制御部3031は、上述した図23に示すS304131からS304135の処理を、図25の(a)~(c)に示す例のように行ってもよい。
[0193]
 図25の(a)に示す例では、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、ブロックサイズが所定の値より大きい(ブロックサイズ大)場合、shiftS=0に設定され、動きベクトル精度は1/16pelとなる。また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、ブロックサイズが所定の値より小さい(ブロックサイズ小)場合、shiftS=2に設定され、動きベクトル精度は1/4pelとなる。一方で、動きベクトル精度フラグがmvd_dequant_flag=1の場合、shiftS=4に設定され、動きベクトル精度は1pel(フルペル)となる。式で示すと以下になる。
[0194]
 shiftS = mvd_dequant_flag !=0 ? 4 : (blkW < TH) ? 2 : 0 (式P1Bに相当)
 図25の(b)に示す例では、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、ブロックサイズが所定の値より大きい(ブロックサイズ大)場合、shiftS=0に設定され、動きベクトル精度MVStepは1/16pelとなる。また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、ブロックサイズが所定の値より小さい(ブロックサイズ小)場合、shiftS=2に設定され、動きベクトル精度は1/4pelとなる。一方で、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、ブロックサイズが所定の値より大きい(ブロックサイズ大)場合、shiftS=3に設定され、動きベクトル精度は1/2pel(ハーフペル)となる。また、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、ブロックサイズが所定の値より小さい(ブロックサイズ小)場合、shiftS=4に設定され、動きベクトル精度は1pel(フルペル)となる。
[0195]
 図25の(c)に示す例では、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、ブロックサイズが所定の値より大きい(ブロックサイズ大)場合、shiftS=0に設定され、動きベクトル精度は1/16pelとなる。また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、ブロックサイズが所定の値より小さい(ブロックサイズ小)場合、shiftS=1に設定され、動きベクトル精度は1/8pelとなる。一方で、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、ブロックサイズが所定の値より大きい(ブロックサイズ大)場合、shiftS=2に設定され、動きベクトル精度は1/4pelとなる。また、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、ブロックサイズが所定の値より小さい(ブロックサイズ小)場合、shiftS=3に設定され、動きベクトル精度は1/2pel(ハーフペル)となる。
[0196]
  (QPを用いて切り替えられる動きベクトル精度の例)
 なお、上述の例示においては、対象ブロックのブロックサイズに基づき、shiftSを導出する構成について説明した。他の構成として、対象ブロックのブロックサイズの代わりに量子化パラメータであるQP(Quantization Parameter)に基づき、インター予測パラメータ復号制御部3031(動きベクトル導出部)がshiftSを導出する構成としてもよい(導出処理PS_P2A)。特に、QP(もしくはQPの予測値)の大きさに応じてshiftSを導出することにより、QPが小さい場合に高精度動きベクトル(小さなshiftS)を用い、QPが大きい場合に低精度(大きなshiftS)を用いる。例えば、所定の値に応じてQPの判定を行うことで、QPが所定の値より小さい場合に高精度動きベクトルを用い、それ以外の場合には、低精度にする。
[0197]
 ここで、QPを用いて切り替えられる動きベクトル精度の例について、図26を用いて説明する。図26の(a)~(c)は、QPによって設定される(切り替えられる)動きベクトル精度を示すパラメータ(shiftS)を示すテーブルである。例えば、インター予測パラメータ復号制御部3031は、差分ベクトル導出の処理を、図26の(a)~(c)に示す例のように行ってもよい。図26の(a)~(c)の説明において、基本ベクトル精度の値については特に言及しないが、任意の値の基本ベクトル精度を用いることができる。図26の(a)(b)(c)では、各々、QPに応じて2、3、5つの値を切り替える例を示しているが、切り替えの数(QPの分類数)はこれに限定されない。また、QPの分類に用いる域値も図の例に限定されない。
[0198]
 図26の(a)は、動きベクトル精度を2つの値に切替える場合における、QPと動きベクトル精度(shiftS)との関係を示すテーブルである。図26の(a)に示す例ではQPが小さい場合(QP<24)、shiftS=0に設定される。一方で、QPが大きい場合(QP>= 24)、shiftS にQPが小さい場合より大きい値、ここでは、shiftS=1に設定される。
[0199]
 図26の(b)に示す例では、動きベクトル精度を3つの値に切替える場合における、QPと動きベクトル精度を示すパラメータ(shiftS)との関係を示すテーブルである。図26の(b)に示すように、QPが小さい場合(QP < 12)、shiftS=0に設定される。また、QPが中程度の場合(QP>= 12 && QP < 24)、shiftS=1に設定される。また、QPが大きな場合(QP>= 36)、shiftS=2に設定される。
[0200]
 図26の(c)は、動きベクトル精度を5つの値に切替える場合における、QPと動きベクトル精度を示すパラメータ(shiftS)との対応を示すテーブルである。図26の(c)に示すように、QP < 12を満たしていると、shiftS=0に設定される。また、QP>= 12 && QP< 18を満たしていると、shiftS=1に設定される。また、QP>= 18 && QP < 24を満たして
いると、shiftS=2に設定される。また、QP>= 24 && QP < 36を満たしていると、shiftS=3に設定される。また、QP>= 36を満たしていると、shiftS=4に設定される。
[0201]
 上記の構成によれば、量子化パラメータの大きさに応じて、当該予測ブロックに関して導出する動きベクトルの精度を切り替えるので、適切な精度を有する動きベクトルを用いて予測画像を生成することができる。なお、フラグに応じて動きベクトルの精度を切り替える構成と併用してもよい。
[0202]
  (動きベクトル精度MVQStepの利用)
 また、インター予測パラメータ復号制御部3031は、動きベクトル精度として、上述したshiftSの代わりにMVQStepを対象ブロックのブロックサイズに応じて導出する構成としてもよい。
[0203]
 例えば、図26の(a)に示した動きベクトル精度の切替えを、MVQStepを用いて行う場合、QP<24を満たすと、MVQStep = 16に設定される。換言すると、MVStep = 1/16に設定される。一方で、QP >= 24を満たすと、MVQStep = 4に設定される。換言すると、MVStep = 1/4に設定される。
[0204]
 また、図26の(b)に示した動きベクトル精度の切替えを、MVQStepを用いて行う場合、QP < 12を満たすとMVQStep = 64に設定される。換言すると、MVStep = 1/64に設定される。また、QP >= 12 && QP < 36を満たすと、MVQStep = 16に設定される。換言すると、MVStep = 1/16に設定される。また、QP < 36を満たすとMVQStep = 4に設定される。換言すると、MVStep = 1/4に設定される。
[0205]
 また、図26の(c)に示した動きベクトル精度の切替えを、MVQStepを用いて行う場合、QP < 12を満たすとMVQStep = 64に設定される。換言すると、MVStep = 1/64に設定される。また、QP>= 12 && QP < 18を満たすとMVQStep = 32に設定される。換言すると、MVStep = 1/32に設定される。また、QP>= 18 && QP < 24を満たすと、MVQStep = 16に設定される。換言すると、MVStep = 1/16に設定される。また、QP >= 24 && QP < 36を満たすと、MVQStep = 8に設定される。換言すると、MVStep = 1/8に設定される。また、QP >= 36を満たすと、MVQStep = 4に設定される。換言すると、MVStep = 1/4に設定される。
[0206]
  (QPおよび動きベクトル精度フラグを用いて切り替えられる動きベクトル精度の例)
 次に、QPおよび動きベクトル精度フラグであるmvd_dequant_flagを用いて切り替えられる動きベクトル精度(導出処理PS_P2B)の例について、図27を用いて説明する。図27の(a)および(b)は、QPと動きベクトル精度フラグとによって設定される(切り替えられる)動きベクトル精度(shiftS)を示すテーブルである。インター予測パラメータ復号制御部3031は、差分ベクトル導出の処理を、図27の(a)および(b)で示す例のように行ってもよい。
図27の(a)および(b)においては、基本ベクトル精度を1/16pel(mvBaseAccu=4)とする例を示すが、基本ベクトル精度(mvBaseAccu)の値は任意の値を適用することができる。
[0207]
 図27の(a)に示す例では、動きベクトル精度フラグmvd_dequant_flagが1(0以外)の場合に、QPにかかわらず固定の値にshiftSの値を決定する。また、動きベクトル精度フラグmvd_dequant_flagが0の場合には、QPに応じて動きベクトルスケールshiftSの値を決定する。たとえば、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、QPが所定の値より小さい(QP小)場合、shiftS=0に設定され、動きベクトル精度は1/16pelとなる。また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、QPが所定の値より大きい(QP大)場合、shiftS=2に設定され、動きベクトル精度は1/4pelとなる。一方で、動きベクトル精度フラグがmvd_dequant_flag=1の場合、固定的にshiftS=mvBaseAccu(=4)に設定され、動きベクトル精度は1pel(フルペル)となる。このように、QPに応じて変更する場合にも、動きベクトル精度フラグmvd_dequant_flagが1の場合のshiftSを、それ以外の場合(mvd_dequant_flagが0)の場合のshiftSよりも大きくする(動きベクトル精度を低精度とする)ことが適当である。
[0208]
 図27の(b)に示す例では、動きベクトル精度フラグが1(0以外)の場合にもQPに応じて、動きベクトルスケールshiftSを導出する例を示す。具体的には、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、QPが所定の値より小さい(QP小)場合、shiftS=0に設定され、動きベクトル精度は1/16pelとなる。また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、QPが所定の値より大きい(QP大)場合、shiftS=4に設定され、動きベクトル精度は1pelとなる。一方で、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、QPが所定の値より小さい(QP小)場合、shiftS=3に設定され、動きベクトル精度は1/2pel(ハーフペル)となる。また、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、QPが所定の値より大きい(QP大)場合、shiftS= mvBaseAccu(=4)に設定され、動きベクトル精度は1pel(フルペル)となる。このように、動きベクトル精度フラグmvd_dequant_flagが1の場合には、ハーフペルとフルペルを切り替えるようにすることが適当である。
[0209]
 また、上述の動きベクトルの導出の処理により、導出される動きベクトルを下記の式に表すことができる。すなわち、導出対象の動きベクトルをmvLX、予測ベクトルをmvpLX、差分ベクトルをmvdLX、ラウンド処理をround()と表記した場合、予測ブロックのサイズに応じて、シフト量shiftSが決定され、
  mvLX = round(mvpLX) + (mvdLX << shiftS)
によってmvLXが定まる。
[0210]
 <差分ベクトル逆量子化処理>
 以下では、図28および図29を参照して、本実施形態に係る差分ベクトルの逆量子化処理について説明する。
[0211]
 以下で説明する処理は特に明示がない限り、インター予測パラメータ復号制御部3031によって行われる。
[0212]
  (逆量子化処理例1:量子化済差分ベクトルに応じた動きベクトル精度で差分ベクトルを逆量子)
 以下では、インター予測パラメータ復号制御部3031による、量子化された差分ベクトルqmvd(量子化値、量子化済差分ベクトル)に対する非線形逆量子化処理について説明する。
[0213]
 なお、量子化済差分ベクトルは、符号化データのシンタックスを復号して得られる時点(逆量子化する前の時点)での差分ベクトル絶対値の値mvdAbsValと等価であり、qmvdの絶対値はmvdAbsValである。なお、図28では、差分ベクトルが負である場合においても、差分ベクトルが正である場合においても、イメージを明確にするために差分ベクトルの量子化値qmvdを正および負のどちらでも成り得る値として例を示している。一方、実際の処理では、qmvdとして差分ベクトルの絶対値、すなわち、qmvd = mvdAbsValとしてもよい。以下の説明では、qmvdが絶対値として処理する。
[0214]
 図28は、本処理例における、量子化済差分ベクトルと逆量子化差分ベクトルとの関係を示すグラフである。図28に示すグラフの横軸は量子化済差分ベクトルであるqmvd(符号化装置にて量子化及び符号化された差分ベクトルを復号したものであって、逆量子化がされていないもの、すなわち、差分ベクトルの量子化値)であり、図28に示すグラフの縦軸は逆量子化後の差分ベクトル(単に逆量子化差分ベクトルとも呼ぶ)mvd(=逆量子化後mvdAbsVal)である。インター予測パラメータ復号制御部3031は、図28に示すグラフに示すように量子化済差分ベクトルqmvdを逆量子化処理する。
[0215]
 mvdAbsVal = mvdAbsVal (=qmvd) << shiftS
 その後、加算部3035は、逆量子化された差分ベクトルを予測ベクトルに対して加算又は減算することによって動きベクトルを導出する。たとえば、
 mvdLX = mvdAbsVal * (1 - 2*mv_sign_flag)
 mvLX = round(mvpLX) + mvdLX
 により導出する。
[0216]
 図28に示すグラフについて、詳細に説明する。図28に示すように、インター予測パラメータ復号制御部3031は、符号化データから復号した量子化済み動きベクトル差分と所定値(dTH)との大小関係に応じて、量子化済み動きベクトルの逆量子化処理の精度を切り替える。
[0217]
 例えば、差分ベクトルmvdの絶対値が小さい場合には動きベクトルの精度は高く設定され、差分ベクトルmvdの絶対値が大きい場合には動きベクトルの精度は低く設定される。
[0218]
 換言すると、差分ベクトルmvdがゼロ点付近(差分ベクトルmvdの絶対値が小さい場合)は、差分ベクトルmvdの絶対値がゼロ点付近から離れている場合に比べ、量子化済差分ベクトルqmvdの変化に対して逆量子化差分ベクトルmvdは小さく変化する。
[0219]
 差分ベクトルmvdがゼロ点付近から離れると(動きベクトル差分の絶対値が大きい場合)、差分ベクトルmvdがゼロ点付近である場合に比べ、量子化済差分ベクトルqmvdの変化に対して逆量子化差分ベクトルは大きく変化する。
[0220]
 これは、以下の構成によって実現できる。すなわち、量子化済差分ベクトルであるqmvdの絶対値が所定値(域値)dTH未満(もしくは以下)の場合、インター予測パラメータ復号制御部3031が、量子化済差分ベクトルqmvdに対して所定の傾き(比例係数)によって特定される逆量子化を行う構成。および、量子化済差分ベクトルqmvdが所定値dTH以上の場合、インター予測パラメータ復号制御部3031が当該所定の傾きを動きベクトルスケールshiftSによって左ビットシフトして得られる傾きによって特定される逆量子化を行う構成。ここで、上記所定の傾きは例えば1であってもよい。
[0221]
 以上を纏めれば以下の通りである(導出処理Q2)。すなわち、インター予測パラメータ復号制御部3031は、
 量子化済差分ベクトルの絶対値が小さい(qmvd<dTH)場合、逆量子化を行わない。もしくはKとの積(or log2(K)による左シフト)による基本的な逆量子化のみを行い、
  mvdAbsVal = K * qmvd・・・式Q1
によって、mvdAbsValを導出する。
 また、インター予測パラメータ復号制御部3031は、量子化済差分ベクトルの絶対値が大きい(qmvd>=dTHを満たす)場合、基本的な逆量子化に加えて、さらに所定の逆量子化スケールshiftSにより追加の逆量子化を行い、
  mvdAbsVal = K * (dTH + (qmvd - dTH) << shiftS)・・・式Q2
によって、mvdAbsValを導出する。
[0222]
 なお、dTHが式中に現れているが、これは、式Q1での値と、式Q2での値がqmvd=dTHにおいて等しくなるように接続するためである。qmvdにかかる係数(傾き)に注目すると、K * 1 << shiftSとなっている、つまり、逆量子化スケールがshiftSだけ大きくなっていることに注意するとよい。
[0223]
 ここで、mvdAbsValは逆量子化後の差分ベクトルの絶対値であり、Kは、所定の比例係数を表す。上述の通り、K=1としてもよいし、そうでなくてもよい。Kによる積は、log2(K)による左シフトで実現しても構わない。なお、K=1の場合には、量子化済差分ベクトルqmvd>=dTHを満たす場合のみshiftSによる逆量子化がなされ、qmvdが小さい場合には、shiftSによる逆量子化はなされない。
[0224]
 また、具体的には、上記式Q1およびQ2において、基本ベクトル精度が1/8pel(mvBaseAccu=3)、shiftS = 1、dTH = 16とする構成としてもよい。この場合、量子化済差分ベクトルqmvdが16以上の場合(動きベクトル精度が2pel以上に相当)、qmvdをshiftS=1で左シフトして逆量子化し、動きベクトル精度が1/4pelに設定される。すなわち、qmvdが大きい場合に、動きベクトル精度を低く設定する構成としてもよい。
[0225]
 また、他の例では、上記式Q1およびQ2において、基本ベクトル精度が1/16pel(mvBaseAccu=4)、shiftS = 1、dTH = 16とする構成としてもよい。この場合、量子化差分ベクトqmvdが16以上の場合(動きベクトル精度が1pel以上に相当)、qmvdをshiftS=1で左シフトして逆量子化し、動きベクトル精度が1/8pelに設定される。すなわち、qmvdが大きい場合に、動きベクトル精度を低く設定する構成としてもよい。
[0226]
 なお、式Q1と式Q2とを一つの式で表せば、インター予測パラメータ復号制御部3031は、差分ベクトル絶対値であるmvdAbsValを、
mvdAbsVal = min(qmvd, dTH) + max(0, (qmvd - dTH) << shiftS)・・・式Q3
によって導出する構成と言うこともできる。
[0227]
 また、他の構成として量子化済差分ベクトルqmvdが域値dTH未満(もしくは以下)の場合には、
 1<< shiftS1
によって得られる傾きにより特定される逆量子化をインター予測パラメータ復号制御部3031は行う。また、量子化済差分ベクトルqmvdが域値dTH以上(もしくはdTHより大きい)の場合には、
 1<< shiftS2
によって得られる傾きにより特定される逆量子化をインター予測パラメータ復号制御部3031は行う。ここで、shiftS1とshiftS2とは互いに等しい値であってもよいし、そうでなくてもよい。
[0228]
 上記の構成によれば、量子化された差分ベクトルの値に応じて、差分ベクトルに対する逆量子化処理の精度を切り替えるので、より適切な精度の動きベクトルを用いて予測画像を生成することができる。また、差分ベクトルの符号量の低減を図ることができるので符号化効率が向上する。
[0229]
  (逆量子化処理例2A:動きベクトル精度フラグおよび量子化済差分ベクトルに応じた動きベクトル精度で差分ベクトルを逆量子化する例)
 次に、動きベクトル精度フラグであるmvd_dequant_flagおよび量子化済差分ベクトルに応じた動きベクトル精度で差分ベクトルを逆量子化する例について説明する(導出処理PS_P2A)。本処理例においては、動きベクトル精度フラグがmvd_dequant_flag=1を満たす場合、
  mvdAbsVal = qmvd << shiftA・・・式Q4
によりmvdAbsValが導出される。
[0230]
 一方で、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、量子化済差分ベクトルqmvd<所定値dTHSを満たす場合、
 mvdAbsVal =qmvd・・・式Q5
によりmvdAbsValが導出される。
[0231]
 また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、量子化済差分ベクトルqmvd >= 所定値dTHSを満たす場合、
 mvdAbsVal = dTHS + (qmvd - dTHS) << shiftS・・・式Q6
によりmvdAbsValが導出される。
[0232]
 すなわち、動きベクトル精度フラグmvd_dequant_flag==0の場合は非線形逆量子化が行われ、動きベクトル精度フラグmvd_dequant_flag==1の場合は線形量子化が行われる。
[0233]
 以上をまとめると、以下の式となる。
mvdAbsVal = mvd_quant_flag==1 ?
  qmvd << shiftA
  :
qmvd < dTHS ? qmvd : dTHS + (qmvd - dTHS) << shiftS
 換言すると、インター予測パラメータ復号制御部3031は、動きベクトルの精度を示すフラグが第1の値を示している場合(mvd_dequant_flag==0の場合)、量子化された差分ベクトルの値(量子化値)に応じて、差分ベクトルに対する逆量子化処理の精度を切り替え、動きベクトルの精度を示すフラグが第2の値を示している場合(mvd_dequant_flag==1の場合)、量子化された差分ベクトルの量子化値にかかわらず、一定の精度にて差分ベクトルに対する逆量子化処理を行う。
[0234]
 例えば、上記式Q4~Q6において、基本ベクトル精度を1/8pel(mvBaseAccu=3)とし、shiftA = 3、shiftS = 1、dTHS = 16とした場合、動きベクトル精度フラグmvd_dequant_flag=1を満たすと、インター予測パラメータ復号制御部3031は、qmvdに関わらず、量子化後動きベクトルqmvd(差分動きベクトル絶対値)をshiftA(=3ビット)左シフトして、動きベクトルを逆量子化する。すなわち、動きベクトル精度をフルペルとすることで、動きベクトル精度をmvd_dequant_flag=0の場合に比べ、固定的に低く設定する。一方で、動きベクトル精度フラグmvd_dequant_flag=0を満たすと、qmvdが所定の域値16(2pel相当)以上の場合において、インター予測パラメータ復号制御部3031は量子化後動きベクトルqmvdをshiftS(=1ビット)左シフトすることで、動きベクトルを逆量子化する。すなわち、動きベクトル精度を1/4pelとし、動きベクトル精度をqmvdが所定の域値16未満である場合よりも低く設定する。
[0235]
 また、他の例においては、上記式Q4~Q6において、基本ベクトル精度が1/16pel(mvBaseAccu=4)とし、shiftA = 4、shiftS = 2、dTHS = 16とした場合、動きベクトル精度フラグmvd_dequant_flag=1を満たすと、インター予測パラメータ復号制御部3031は、qmvdに関わらず、量子化後動きベクトルqmvdをshiftA(=4ビット)左シフトして動きベクトルを逆量子化する。すなわち、動きベクトル精度をフルペルとし、動きベクトル精度を低く設定する。一方で、動きベクトル精度フラグmvd_dequant_flag=0を満たすと、所定の域値qmvdが16(1pel相当)以上の場合において、量子化後動きベクトルqmvdをshiftS(=2ビット)左シフトして動きベクトルを逆量子化する。すなわち、動きベクトル精度を1/4pelとし、動きベクトル精度を低く設定する。
[0236]
 なお、上記Q4~Q6の構成においても所定の域値および逆量子化スケール(shiftS, shiftA)の値は、上記例によらず別の値を用いることができる。
[0237]
 上記の構成によれば、より適切な精度の動きベクトルを用いて予測画像を生成することができる。このため予測精度が向上するので符号化効率が向上する。
[0238]
  (逆量子化処理例2B:動きベクトル精度フラグおよび量子化済差分ベクトルに応じた動きベクトル精度で差分ベクトルを逆量子化する他の例)
 次に、動きベクトル精度フラグおよび量子化済差分ベクトルに応じた動きベクトル精度で差分ベクトルを逆量子化する他の例(導出処理Q2B)について説明する。本処理例においては、動きベクトル精度フラグがmvd_dequant_flag=1であり、かつ、量子化済差分ベクトルqmvd<所定値dTHAを満たす場合、
  mvdAbsVal= qmvd<<shiftA1・・・式Q7
によりmvdAbsValが導出される。
[0239]
 また、動きベクトル精度フラグがmvd_dequant_flag=1、かつ、量子化済差分ベクトルqmvd >= 所定値dTHAを満たす場合、
 mvdAbsVal= dTHA << shiftA1 + (qmvd - dTHA) << shiftA2・・・式Q8
によりmvdAbsValが導出される。
[0240]
 一方で、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、量子化済差分ベクトルqmvd <所定値dTHSを満たす場合、
  mvdAbsVal =qmvd・・・式Q9
によりmvdAbsValが導出される。
[0241]
 また、動きベクトル精度フラグがmvd_dequant_flag=0、かつ、量子化済差分ベクトルqmvd >= dTHSを満たす場合、
  mvdAbsVal = dTHS + (qmvd - dTHS) << shiftS・・・式Q10
によりmvdAbsValが導出される。
[0242]
 すなわち、動きベクトル精度フラグmvd_dequant_flag==0、または、動きベクトル精度フラグmvd_dequant_flag==1のどちらの場合においても、量子化された差分ベクトルの非線形逆量子化が行わる。
[0243]
 以上をまとめると、以下の式となる。
mvdAbsVal = mvd_quant_flag==1 ?
  qmvd < dTHA ? qmvd <<shiftA1 : dTHA<<shiftA1 + (qmvd - dTHA) << shiftA2
  :
qmvd < dTHS ? qmvd : dTHS + (qmvd - dTHS) << shiftS
 換言すると、インター予測パラメータ復号制御部3031は、動きベクトルの精度を示すフラグが第1の値を示している場合(mvd_dequant_flag==0の場合)、差分ベクトルに対する逆量子化処理の精度を第1の精度とするか第2の精度とするかを、量子化された差分ベクトルの量子化値(逆量子化前の値qmvd)に応じて切り替え、動きベクトルの精度を示すフラグが第2の値を示している場合(mvd_dequant_flag==1の場合)、差分ベクトルに対する逆量子化処理の精度を第3の精度とするか第4の精度とするかを、量子化された差分ベクトルの量子化値に応じて切り替える。上記第1の精度及び第2の精度の少なくとも何れかは、上記第3の精度及び第4の精度よりも精度が高い。
[0244]
 例えば、上記式Q7~Q10において、基本ベクトル精度を1/8pelとし、shiftA1 = 2、shift A2 = 3、dTHA = 4、shiftS = 2、dTHS = 16とした場合、動きベクトル精度フラグmvd_dequant_flag=1を満たし、かつ、量子化済差分ベクトルqmvdがdTHA=4未満の場合、インター予測パラメータ復号制御部3031は、量子化済差分ベクトルqmvd(差分動きベクトル絶対値)をshiftA1=2左シフトして、動きベクトルを逆量子化する。すなわち、動きベクトル精度を1/2pelに設定し、動きベクトル精度を低く設定する。
[0245]
 また、動きベクトル精度フラグmvd_dequant_flag=1を満たし、かつ、量子化済差分ベクトルqmvdがdTHA=4以上の場合、インター予測パラメータ復号制御部3031は、量子化済差分ベクトルqmvd(差分動きベクトル絶対値)をshiftA2=3左シフトして、動きベクトルを逆量子化する。すなわち、動きベクトル精度を1pelに設定し、動きベクトル精度を低く設定する。
[0246]
 一方で、動きベクトル精度フラグmvd_dequant_flag=0を満たし、かつ、量子化済差分ベクトルqmvdがdTHS = 16未満の場合、インター予測パラメータ復号制御部3031は、動きベクトル精度を基本ベクトル精度である1/8に設定する。
[0247]
 また、動きベクトル精度フラグmvd_dequant_flag=0を満たし、かつ、量子化済差分ベクトルqmvdがdTHS = 16以上の場合、インター予測パラメータ復号制御部3031は、量子化済差分ベクトルqmvdをshiftS=2左シフトして、動きベクトルを逆量子化する。すなわち、動きベクトル精度を1/2pelに設定し、動きベクトル精度を低く設定する。
[0248]
 上記の構成によればより適切な精度の動きベクトルを用いて予測画像を生成することができる。このため予測精度が向上するので符号化効率が向上する。
[0249]
  (逆量子化処理例3:量子化済差分ベクトルに応じた差分ベクトルの逆量子化および予測ベクトルのラウンド処理)
 次に、量子化済差分ベクトルに応じて差分ベクトルの逆量子化を行う場合に、予測ベクトルのラウンド処理を行う例について説明する。
[0250]
 本処理例においては、インター予測パラメータ復号制御部3031が差分ベクトルに対する逆量子化処理をより低い精度にて行う場合、逆量子化された差分ベクトルを、ベクトル候補選択部3034によってラウンド処理を施した予測ベクトルに対して加算又は減算することによって動きベクトルを導出する。
[0251]
 例えば、上述の(量子化済差分ベクトルに応じた動きベクトル精度で差分ベクトルを逆量子)において説明した式Q3から、
  mvdAbsVal = qmvd + (qmvd - dTH) << shiftS・・・式Q20
とすることができる。
[0252]
 量子化済差分ベクトルであるqmvdが所定値dTH以上である場合、動きベクトルmvLXは、ラウンド処理を施した予測ベクトルmvpLXと差分ベクトルmvdLXとの和として導出される。すなわち、
  mvLX = round(mvpLX, shiftS) + mvdLX
として導出される。ここで、round (mvpLX, shiftS)により、mvpLXの動きベクトル精度が、1<<shiftS単位の精度に低下される。ここで、mvdLXをmvdAbsValから導出する処理は符号付与処理PS_SIGNとして説明したとおりである。
[0253]
 一方で、量子化済差分ベクトルであるqmvdが所定値dTH未満である場合、動きベクトルmvLXは、予測ベクトルmvpLXと差分ベクトルmvdLXとの和として導出される。すなわち、
  mvLX = mvpLX + mvdLX
として導出される。
[0254]
 (逆量子化処理例4:動きベクトル精度フラグおよび量子化済差分ベクトルの値に応じた差分ベクトルの逆量子化および予測ベクトルのラウンド処理)
 本処理例においては、インター予測パラメータ復号制御部3031が動きベクトル精度フラグおよび量子化済差分ベクトルに応じて逆量子化された差分ベクトルを、ベクトル候補選択部3034によってラウンド処理を施した予測ベクトルに対して加算又は減算することによって動きベクトルを導出する。
[0255]
 例えば、動きベクトル精度フラグがmvd_dequant_flag=1の場合、
  mvdAbsVal= qmvd << shiftA
によってmvdAbsが導出される。そして、動きベクトルmvLXは、ラウンド処理を施した予測ベクトルmvpLXと差分ベクトルmvdLXとの和として、
  mvLX = round(mvpLX, shiftA) + mvdLX
により導出される。ここで、round (mvpLX, shiftA)により、mvpLXの動きベクトル精度が、1<<shiftA単位の精度に低下される。ここで、mvdLXをmvdAbsValから導出する処理は符号付与処理PS_SIGNとして説明したとおりである。
[0256]
 一方で、動きベクトル精度フラグがmvd_dequant_flag=0の場合は次の通りである。量子化済差分ベクトルqmvdが所定値dTH未満であると、差分ベクトルの絶対値mvdAbsValは量子化済差分ベクトルqmvdと等しいものとして導出される。すなわち、mvdAbsVal = qmvdにより導出される。そして、動きベクトルmvLXは、予測ベクトルmvpLXと差分ベクトルmvdLXとの和となる。すなわち、
  mvLX == mvpLX + mvdLX
により導出される。また、量子化済差分ベクトルqmvdが所定値dTH以上であると、差分ベクトルの絶対値mvdAbsValは、
  mvdAbsVal = dTHS + (qmvd - dTHS) << shiftS
により導出される。そして、動きベクトルmvLXは、ラウンド処理を施した予測ベクトルmvpLXと差分ベクトルmvdLXとの和となる。すなわち、
  mvLX = round(mvpLX, shiftS) + mvdLX
によって導出される。ここで、round (mvpLX, shiftS)により、mvpLXの動きベクトル精度は、1<<shiftS単位の精度に低下される。ここで、mvdLXをmvdAbsValから導出する処理は符号付与処理PS_SIGNとして説明したとおりである。
[0257]
  (逆量子化処理例5:動きベクトル精度フラグおよび量子化済差分ベクトルに応じた差分ベクトルの逆量子化および予測ベクトルのラウンド処理の他の例)
 次に、動きベクトル精度フラグおよび量子化済差分ベクトルに応じた差分ベクトルの逆量子化および予測ベクトルのラウンド処理を行う他の例について説明する。
[0258]
 本処理例においては、インター予測パラメータ復号制御部3031が、第1の精度、第2の精度、第3の精度、及び第4の精度のうち、最も高い精度以外の精度にて差分ベクトルに対する逆量子化処理を行う場合には、加算部3035は、逆量子化された差分ベクトルを、ベクトル候補選択部3034によってラウンド処理を施した予測ベクトルに対して加算又は減算することによって動きベクトルを導出する。
[0259]
 本実施形態の一例について詳細に説明する。
[0260]
 動きベクトル精度フラグがmvd_dequant_flag=1の場合、量子化済差分ベクトルが所定値dTHA未満を満たすと、
 mvdAbsVal = qmvd << shiftA1
によりmvdAbsValが導出される。
[0261]
 そして、動きベクトルmvLXは、ラウンド処理を施した予測ベクトルmvpLXと差分ベクトルmvdLXとの和として導出される。すなわち、
  mvLX = round(mvpLX, shiftA1) + mvdLX
として導出される。ここで、round (mvpLX, shiftA1)により、mvpLXの動きベクトル精度が、1<<shiftA1単位の精度に低下される。
[0262]
 また、動きベクトル精度フラグがmvd_dequant_flag=1の場合、量子化済差分ベクトルが所定値dTHA以上を満たすと、
  mvdAbsVal = 所定値dTHA << shiftA1 + (qmvd - dTHA) << shiftA2
によりmvdAbsValが導出される。
[0263]
 そして、動きベクトルmvLXは、ラウンド処理を施した予測ベクトルmvpLXと差分ベクトルmvdLXとの和として導出される。すなわち、
  mvLX = round(mvpLX, shiftA2) + mvdLX
として導出される。ここで、round (mvpLX, shiftA2)により、mvpLXの動きベクトル精度が、1<<shiftA2単位の精度に低下される。ここで、mvdLXをmvdAbsValから導出する処理は符号付与処理PS_SIGNとして説明したとおりである。
[0264]
 一方で、動きベクトル精度フラグがmvd_dequant_flag=0の場合は次の通りである。量子化済差分ベクトルqmvdが所定値dTH未満であると、差分ベクトルの絶対値mvdAbsValは量子化済差分ベクトルqmvdと等しいものとして導出される。すなわち、mvdAbsVal = qmvdにより導出される。そして、動きベクトルmvLXは、予測ベクトルmvpLXと差分ベクトルmvdLXとの和となる。すなわち、
  mvLX = mvpLX + mvdLX
により導出される。また、量子化済差分ベクトルqmvdが所定値dTH以上であると差分ベクトルの絶対値mvdAbsValは、
  mvdAbsVal = dTHS + (qmvd - dTHS) << shiftS
により導出される。そして、動きベクトルmvLXは、ラウンド処理を施した予測ベクトルmvpLXと差分ベクトルmvdLXとの和となる。すなわち、
  mvLX = round(mvpLX, shiftS) + mvdLX
によって導出される。ここで、round (mvpLX, shiftS)により、mvpLXの動きベクトル精度は、1<<shiftS単位の精度に低下される。ここで、mvdLXをmvdAbsValから導出する処理は符号付与処理PS_SIGNとして説明したとおりである。
[0265]
  (量子化済差分ベクトルを利用した動きベクトルスケール導出処理の流れ)
 図29は、上述したS3031(図19参照)およびS3041(図20参照)における動きベクトルスケール導出処理をより具体的に示すフローチャートである。図29では、説明の便宜上、S3041の処理を具体的に例示しているが、図22が示す処理がS3031に適用されてもよい。
[0266]
 図29に示すように、S304131において、量子化済差分ベクトルqmvd<所定値dTHを満たすか否かが判断される。量子化済差分ベクトルqmvd<所定値dTHが偽(S304131でN)の場合、S304132において、shiftS =Mと設定され、量子化済差分ベクトルqmvd<所定値dTHが真(S304131でY)の場合、S304133においてshiftS=0と設定される。次に、S3042に進む。
[0267]
 <動き補償フィルタ>
 以下では、図30~図32を参照して、動き補償部3091が備える動き補償フィルタについて説明する。
[0268]
 図30は、動き補償部3091の具体的構成を示すブロック図である。図30に示すように、動き補償部3091は、動きベクトル適用部30911、動き補償フィルタ部(フィルタ部)30912、及び、フィルタ係数メモリ30913を備えている。
[0269]
 動きベクトル適用部3091は、インター予測パラメータ復号部303から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの復号対象ブロックの位置を起点として、動きベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動きベクトル適用済画像を生成する。
[0270]
 動きベクトルmvLXが整数精度ではなく1/M画素精度(Mは2以上の自然数)である場合、動きベクトル適用済画像も同じく1/M画素精度となる。
[0271]
 動きベクトルmvLXが整数精度でない場合、動き補償フィルタ30912は、フィルタ係数mcFilter[i][k](ここで、iは0以上M-1以下の整数、kは0以上Ntaps-1以下の整数)を用いたフィルタを、動きベクトル適用済画像に対して作用させることにより、上述した動き補償画像(L0予測の動き補償画像である場合predSamplesL0、L1予測の動き補償画像である場合predSamplesL1、両者を区別しない場合predSamplesLX)を生成する。
[0272]
 動きベクトルmvLXが整数精度である場合、動き補償フィルタ30912は、動きベクトル適用済画像に対して作用せず、動きベクトル適用済画像がそのまま動き補償画像となる。
[0273]
 フィルタ係数メモリ30913は、符号化データから復号された動き補償フィルタ係数を格納する。より具体的には、フィルタ係数メモリ30913は、動き補償フィルタ30912によって用いられるフィルタ係数mcFilter[i][k](ここで、iは0以上M-1以下の整数、kは0以上Ntaps-1以下の整数)のうち、少なくとも一部のiに関するフィルタ係数を格納している。
[0274]
  (フィルタ係数)
 ここで、フィルタ係数mcFilter[i][k]の詳細について、図31を用いて説明する。図31は本実施形態に係るフィルタ係数の一例を示す図である。
[0275]
 図31に示すフィルタ係数mcFilter[i][k]は、動きベクトル適用済画像の位相(i=0-15)の合計数が16であり、フィルタのtaps数が8(8taps(k=0-7))の場合のフィルタ係数mcFilter[i][k]を例示している。この例示においては、位相(i=0-15)の合計数が16である。位相数の合計が16である場合、動きベクトルの精度は1/16画素精度となる。すなわち、位相数の合計がMである場合、動きベクトルの精度は1/M画素精度となる。
[0276]
 例えば、図31の最上段に示されているフィルタ係数{0,0,0,64,0,0,0,0}は、位相i=0における各係数位置のフィルタ係数を示している。ここで、係数位置とは、フィルタ係数を作用させる画素の相対位置を意味する。同様に、図31の他の段に示されているフィルタ係数は他の位相(i=1-15)の各係数位置に対するフィルタ係数である。
[0277]
 フィルタ係数の総数は、フィルタのtaps数と位相数(すなわち、動きベクトルの精度の逆数)とを乗した値となる。
[0278]
  (フィルタ係数の算出)
 動き補償フィルタ部(フィルタ部)30912が用いる上記フィルタ係数mcFilter[i][k]には、フィルタ係数mcFilter[p][k](p≠i)及びフィルタ係数mcFilter[q][k](q≠i)を用いて算出されたフィルタ係数が含まれてもよい。フィルタ係数mcFilter[i][k]の算出例の詳細は以下の通りである。
[0279]
  (算出例1:位相iのフィルタ係数を位相i-1、i+1のフィルタ係数の平均から算出)
 本実施形態に係るフィルタ係数の算出の一例について、図32の(a)および(b)を用いて説明する。
[0280]
 図32の(a)は、動き補償フィルタ部30912が一部(ここでは偶数)の位相のフィルタ係数から別の位相(ここでは奇数の位相)のフィルタ係数を算出し、算出したフィルタ係数を用いる例を示している。図32の(a)では、偶数の位相のフィルタ係数は下線を付して示されている。
[0281]
 図32の(a)で示す例示においては、フィルタ係数メモリ30913は、偶数の位相のフィルタ係数を格納している。そして、奇数の位相iのフィルタ係数は偶数の位相i-1、i+1のフィルタ係数の平均から算出される。すなわち、i%2=1(iを2で割った余りが1)の場合、mcFilter[i][k]=(mcFilter[i-1][k]+mcFilter[i+1][k])/2となる。また、偶数の位相iにおいては、フィルタ係数メモリ30913に格納されているmcFilter[i][k]がフィルタ係数として用いられる。すなわち、i%2=0(iを2で割った余りが0)の場合、mcFilter[i][k]=mcFilter[i][k]となる。
[0282]
 また、i%2=1の場合において、mcFilter[i][k]=(mcFilter[i-1][k]+mcFilter[i+1][k])>>1としてもよい。
[0283]
 また、奇数の一部の位相のフィルタ係数について、フィルタ係数メモリ30913に格納されており、当該格納されているフィルタ係数を動き補償フィルタ部30912がフィルタ係数として用いる構成としてもよい。
[0284]
 なお、上記は、基本となるフィルタ係数mcFilterCをフィルタ係数メモリ30913に格納し、以下の式で、実際に利用するフィルタ係数mcFitlerを導出する構成と等価である。
[0285]
 mcFilter[i][k] = mcFilterC[i>>1][k]  (i = 0, 2, 4, …, 2n, 2n + 1, n = 7)
 mcFilter[i][k] = (mcFilterC[i>>1][k] + mcFilterC[(i>>1)+1][k])/2  (i = 1, 3, 5, …, 2n+1, n = 6)
 ここで、/2で記載した除算は、>>1としてもよい。
[0286]
 たとえば、図32(a)に示す例では、mcFilterCとしては、以下のテーブルを用いればよい。
[0287]
 mcFilterC[][] =
{
{ 0, 0, 0, 64, 0, 0, 0, 0 },
{ -1, 2, -5, 62, 8, -3, 1, 0 },
{ -1, 4, -10, 58, 17, -5, 1, 0 },
{ -1, 3, -9, 47, 31, -10, 4, -1 },
{ -1, 4, -11, 40, 40, -11, 4, -1 },
{ -1, 4, -10, 31, 47, -9, 3, -1 },
{ 0, 1, -5, 17, 58, -10, 4, -1 },
{ 0, 1, -3, 8, 62, -5, 2, -1 },
{ 0, 1, -2, 4, 63, -3, 1, 0 }
}
 一方で、図32の(b)は、動き補償フィルタ部30912が一部(ここでは奇数の位相)のフィルタ係数から別の位相(偶数の位相)のフィルタ係数を算出する例を示している。図32の(b)では、奇数の位相のフィルタ係数は下線を付して示されている。
[0288]
 図32の(b)の例示においては、フィルタ係数メモリ30913は、奇数の位相のフィルタ係数を格納している。そして、偶数の位相iのフィルタ係数は奇数の位相i-1、i+1のフィルタ係数の平均から算出される。すなわち、i%2=0(iを2で割った余りが0)の場合、mcFilter[i][k]=(mcFilter[i-1][k]+mcFilter[i+1][k])/2となる。また、奇数の位相iにおいては、フィルタ係数メモリ30913に格納されているmcFilter[i][k]が用いられる。すなわち、i%2=1(iを2で割った余りが1)の場合、mcFilter[i][k]=mcFilter[i][k]となる。
[0289]
 また、i%2=0の場合、mcFilter[i][k]=(mcFilter[i-1][k]+mcFilter[i+1][k])>>1としてもよい。
[0290]
 上記は、基本となるフィルタ係数mcFilterCをフィルタ係数メモリ30913に格納し、以下の式で、実際に利用するフィルタ係数mcFitlerを導出する構成と等価である。
[0291]
 mcFilter[i][k] = mcFilterC[i>>1][k]  (i = 0, 1, 3, 5, …, 2n+1, n = 7)
 mcFilter[i][k] = (mcFilterC[i>>1][k] + mcFilterC[(i>>1)+1][k])/2  (i = 0, 2, 4, 6, …, 2n+1, n = 7)
 ここで、/2は>>1としてもよい。
[0292]
 たとえば、図32(b)に示す例では、mcFilterCとしては、以下のテーブルを用いればよい。
[0293]
 mcFilterC[][] =
{
{ 0, 0, 0, 64, 0, 0, 0, 0 },
{ 0, 1, -3, 63, 4, -2, 1, 0 },
{ -1, 3, -8, 60, 13, -4, 1, 0 },
{ -1, 4, -11, 52, 26, -8, 3, -1 },
{ -1, 4, -11, 45, 34, -10, 4, -1 },
{ -1, 4, -10, 34, 45, -11, 4, -1 },
{ -1, 3, -8, 26, 52, -11, 4, -1 },
{ 0, 1, -4, 13, 60, -8, 3, -1 },
{ 0, 1, -2, 4, 63, -3, 1, 0 }
}
 また、偶数の一部の位相のフィルタ係数については、フィルタ係数メモリ30913に格納されており、当該格納されているフィルタ係数を動き補償フィルタ部30912がフィルタ係数として用いる構成としてもよい。
[0294]
  (算出例2:位相iのフィルタ係数を前後の他の位相のフィルタ係数の線形補間によって算出)
 次に、動き補償フィルタ部30912が位相iのフィルタ係数を前後の他の位相のフィルタ係数の線形補間から算出する例について説明する。動き補償フィルタ部30912は下記の式を用いて、位相iのフィルタ係数を算出する。
[0295]
 mcFilter[i][k] = ((N-w) * mcFilter[i0][k] + w * mcFilter[i1][k]) >> log(N)
 ここで、i0 = (i / N) * N、i1 = i0 + N、w = (i % N)、Nは2以上の整数である。
[0296]
 すなわち、上記フィルタ係数Filter[i][k]には、mcFilter[i][k] = ((N-w) * mcFilter[i0][k] + w * mcFilter[i1][k]) >> log2(N)であり、i0 = (i / N) * N、i1 = i0 + N、w = (i % N)、Nは2以上の整数を満たすフィルタ係数が含まれる。
[0297]
 上記は、基本となるフィルタ係数mcFilterCをフィルタ係数メモリ30913に格納し、以下の式で、実際に利用するフィルタ係数mcFitlerを導出する構成と等価である。
[0298]
 上記は、基本となるフィルタ係数mcFilterCをフィルタ係数メモリ30913に格納し、以下の式で、実際に利用するフィルタ係数mcFitlerを導出する構成と等価である。
[0299]
 mcFilter[i][k] = mcFilterC[i>>log2(N)][k]  (i = N * n)
 mcFilter[i][k] = ((N-w) * mcFilterC[i>>log2(N)][k] + w * mcFilter[(i>>log2(N))+1][k]) >> log2(N)   (i != N * n)
 また、以下の構成でもよい。
[0300]
 mcFilter[i][k] = mcFilterC[i>>log2(N)][k]  (i = 0, N * n + 1)
 mcFilter[i][k] = ((N-w) * mcFilterC[i>>log2(N)][k] + w * mcFilter[(i>>log2(N))+1][k]) >> log2(N)   (i != N * n + 1)
 以上の算出例で示す構成によれば、フィルタ係数メモリ30913に動き補償フィルタ係数の全てを格納する必要はない。したがって、フィルタ係数を格納するためのメモリの量を抑制することができる。また、動き補償フィルタ係数のうち、一部のフィルタ係数を符号化データに含めればよいので、符号化データの符号量が削減され符号化効率の向上が期待できる。
[0301]
  (画像符号化装置の構成)
 次に、本実施形態に係る画像符号化装置11の構成について説明する。図12は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、DCT・量子化部103、エントロピー符号化部104、逆量子化・逆DCT部105、加算部106、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、予測パラメータ符号化部111、残差格納部313(残差記録部)を含んで構成される。予測パラメータ符号化部111は、インター予測パラメータ符号化部112及びイントラ予測パラメータ符号化部113を含んで構成される。
[0302]
 予測画像生成部101は、外部から入力されたレイヤ画像Tの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックPを生成する。ここで、予測画像生成部101は、予測パラメータ符号化部111から入力された予測パラメータに基づいて参照ピクチャメモリ109から参照ピクチャブロックを読み出す。予測パラメータ符号化部111から入力された予測パラメータとは、例えば、動きベクトルまたは変位ベクトルである。予測画像生成部101は、符号化対象ブロックを起点として予測された動きベクトルまたは変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部101は、読み出した参照ピクチャブロックについて複数の予測方式のうちの1つの予測方式を用いて予測ピクチャブロックPを生成する。予測画像生成部101は、生成した予測ピクチャブロックPを減算部102に出力する。なお、予測画像生成部101は、既に説明した予測画像生成部308と同じ動作であるため予測ピクチャブロックPの生成の詳細は省略する。
[0303]
 予測画像生成部101は、予測方式を選択するために、例えば、画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックPの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
[0304]
 複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。
[0305]
 予測画像生成部101は、イントラ予測を選択した場合、予測ピクチャブロックPを生成する際に用いたイントラ予測モードを示す予測モードIntrapredModeを予測パラメータ符号化部111に出力する。
[0306]
 予測画像生成部101は、動き予測を選択した場合、予測ピクチャブロックPを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ108に記憶し、インター予測パラメータ符号化部112に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックPを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報(例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号POC)を含み、予測パラメータを表すものであっても良い。また、予測画像生成部101は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部111に出力する。
[0307]
 予測画像生成部101は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部112に出力する。また、予測画像生成部101は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部111に出力する。
[0308]
 また、予測画像生成部101は、画像復号装置31が備える動き補償部3091によって参照される動き補償フィルタ係数を生成する構成を有していてもよい。
[0309]
 また、予測画像生成部101は、画像復号装置31において説明した動きベクトルの精度切り替えに対応する構成を有していてもよい。すなわち、予測画像生成部101は、ブロックサイズ及びQP等に応じて動きベクトルの精度を切り替えてもよい。また、画像復号装置31において動きベクトルの精度を切り替える際に参照する動きベクトル精度フラグmvd_dequant_flagを符号化する構成としてもよい。
[0310]
 減算部102は、予測画像生成部101から入力された予測ピクチャブロックPの信号値を、外部から入力されたレイヤ画像Tの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部102は、生成した残差信号をDCT・量子化部103と符号化パラメータ決定部110に出力する。
[0311]
 DCT・量子化部103は、減算部102から入力された残差信号についてDCTを行い、DCT係数を算出する。DCT・量子化部103は、算出したDCT係数を量子化して量子化係数を求める。DCT・量子化部103は、求めた量子化係数をエントロピー符号化部104及び逆量子化・逆DCT部105に出力する。
[0312]
 エントロピー符号化部104には、DCT・量子化部103から量子化係数が入力され、符号化パラメータ決定部110から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
[0313]
 なお、エントロピー符号化部104は、差分ベクトルmvdLXを符号化する前に、画像復号装置31において説明した非線形逆量子化処理に対応する処理、すなわち、差分ベクトルに対する非線形量子化処理を行う構成としてもよい。
[0314]
 エントロピー符号化部104は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。
[0315]
 逆量子化・逆DCT部105は、DCT・量子化部103から入力された量子化係数を逆量子化してDCT係数を求める。逆量子化・逆DCT部105は、求めたDCT係数について逆DCTを行い、復号残差信号を算出する。逆量子化・逆DCT部105は、算出した復号残差信号を加算部106に出力する。
[0316]
 加算部106は、予測画像生成部101から入力された予測ピクチャブロックPの信号値と逆量子化・逆DCT部105から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部106は、生成した参照ピクチャブロックを参照ピクチャメモリ109に記憶する。
[0317]
 予測パラメータメモリ108は、予測パラメータ符号化部111が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
[0318]
 参照ピクチャメモリ109は、加算部106が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
[0319]
 符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、1つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックPを生成する。
[0320]
 符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
[0321]
 予測パラメータ符号化部111は、予測画像生成部101から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部111は、生成した符号化パラメータのセットをエントロピー符号化部104に出力する。
[0322]
 予測パラメータ符号化部111は、生成した符号化パラメータのセットのうち符号化パラメータ決定部110が選択したものに対応する予測パラメータを予測パラメータメモリ108に記憶する。
[0323]
 予測パラメータ符号化部111は、予測画像生成部101から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部112を動作させる。予測パラメータ符号化部111は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部113を動作させる。
[0324]
 インター予測パラメータ符号化部112は、符号化パラメータ決定部110から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部112は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部303(図5等、参照)がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部112の構成については、後述する。
[0325]
 イントラ予測パラメータ符号化部113は、符号化パラメータ決定部110から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
[0326]
  (インター予測パラメータ符号化部の構成)
 次に、インター予測パラメータ符号化部112の構成について説明する。インター予測パラメータ符号化部112は、インター予測パラメータ復号部303に対応する手段である。
[0327]
 図13は、本実施形態に係るインター予測パラメータ符号化部112の構成を示す概略図である。
[0328]
 インター予測パラメータ符号化部112は、マージ予測パラメータ導出部1121、AMVP予測パラメータ導出部1122、減算部1123、及び予測パラメータ統合部1126を含んで構成される。
[0329]
 マージ予測パラメータ導出部1121は、上述のマージ予測パラメータ導出部3036(図7参照)と同様な構成を有し、AMVP予測パラメータ導出部1122は、上述のAMVP予測パラメータ導出部3032(図8参照)と同様な構成を有する。
[0330]
 マージ予測パラメータ導出部1121には、予測画像生成部101から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部110からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部1126に出力される。マージ予測パラメータ導出部1121は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを予測パラメータメモリ108から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック(例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロック)であって、符号化処理が完了した参照ブロックである。
[0331]
 AMVP予測パラメータ導出部1122は、上述のAMVP予測パラメータ導出部3032(図8参照)と同様な構成を有する。
[0332]
 すなわち、AMVP予測パラメータ導出部1122には、予測画像生成部101から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部110から動きベクトルmvLXが入力される。AMVP予測パラメータ導出部1122は、入力された動きベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部1122は、導出した予測ベクトルmvpLXを減算部1123に出力する。なお、参照ピクチャインデックスrefIdx及び予測ベクトルインデックスmvp_LX_idxは、予測パラメータ統合部1126に出力される。
[0333]
 減算部1123は、符号化パラメータ決定部110から入力された動きベクトルmvLXからAMVP予測パラメータ導出部1122から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部1126に出力する。
[0334]
 予測画像生成部101から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部1126は、符号化パラメータ決定部110から入力されたマージインデックスmerge_idxをエントロピー符号化部104に出力する。
[0335]
 予測画像生成部101から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部1126は、次の処理を行う。
[0336]
 予測パラメータ統合部1126は、符号化パラメータ決定部110から入力された参照ピクチャインデックスrefIdxLX及び予測ベクトルインデックスmvp_LX_idx、減算部1123から入力された差分ベクトルmvdLXを統合する。予測パラメータ統合部1126は、統合した符号をエントロピー符号化部104に出力する。
[0337]
 なお、インター予測パラメータ符号化部112は、インター予測に関連する符号(シンタックス要素)の復号をエントロピー符号化部104に指示し、符号化データに含まれる符号(シンタックス要素)を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化するインター予測パラメータ符号化制御部(図示せず)を含んでいてもよい。
[0338]
 この場合、インター予測パラメータ符号化制御部1031は、マージインデックス符号化部(図10のマージインデックス復号部30312に対応)、ベクトル候補インデックス符号化部(図10のベクトル候補インデックス復号部30313に対応)、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部などを含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
[0339]
 なお、上述した実施形態における画像符号化装置11、画像復号装置31の一部、例えば、エントロピー復号部301、予測パラメータ復号部302、予測画像生成部101、DCT・量子化部103、エントロピー符号化部104、逆量子化・逆DCT部105、符号化パラメータ決定部110、予測パラメータ符号化部111、エントロピー復号部301、予測パラメータ復号部302、予測画像生成部308、逆量子化・逆DCT部311をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置11-11h、画像復号装置31-31hのいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
[0340]
 また、上述した実施形態における画像符号化装置11、画像復号装置31の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。画像符号化装置11、画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
[0341]
 以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
[0342]
 〔応用例〕
 上述した画像符号化装置11及び画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
[0343]
 まず、上述した画像符号化装置11及び画像復号装置31を、動画像の送信及び受信に利用できることを、図33を参照して説明する。
[0344]
 図33の(a)は、画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図33の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した画像符号化装置11は、この符号化部PROD_A1として利用される。
[0345]
 送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図33の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
[0346]
 なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
[0347]
 図33の(b)は、画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図33の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した画像復号装置31は、この復号部PROD_B3として利用される。
[0348]
 受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図33の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
[0349]
 なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
[0350]
 なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
[0351]
 例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
[0352]
 また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線または有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
[0353]
 なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
[0354]
 次に、上述した画像符号化装置11及び画像復号装置31を、動画像の記録及び再生に利用できることを、図34を参照して説明する。
[0355]
 図34の(a)は、上述した画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図34の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した画像符号化装置11は、この符号化部PROD_C1として利用される。
[0356]
 なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
[0357]
 また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図34の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
[0358]
 なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
[0359]
 このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5または画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
[0360]
 図34の(b)は、上述した画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロック図である。図34の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した画像復号装置31は、この復号部PROD_D2として利用される。
[0361]
 なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
[0362]
 また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図34の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
[0363]
  なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
[0364]
 このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型またはタブレット型PC(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
[0365]
  (ハードウェア的実現およびソフトウェア的実現)
 また、上述した画像復号装置31および画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
[0366]
 後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
[0367]
 上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM(Compact Disc Read-Only Memory)/MOディスク(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD-R(CD Recordable)/ブルーレイディスク(Blu-ray Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
[0368]
 また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and ElectronicEngineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
[0369]
 本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
[0370]
 (関連出願の相互参照)本出願は、2016年2月1日に出願された特願2016-017444に対して優先権の利益を主張するものであり、当該出願を参照することにより、その内容の全てが本書に含まれる。

産業上の利用可能性

[0371]
 本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

符号の説明

[0372]
11・・・画像符号化装置(動画像符号化装置)
31・・・画像復号装置(動画像復号装置)
302・・・予測パラメータ復号部(予測画像生成装置)
303・・・インター予測パラメータ復号部(動きベクトル導出部)
308・・・予測画像生成部(予測画像生成装置)
3031・・・インター予測パラメータ復号制御部(動きベクトル導出部)
30912・・・補償フィルタ部(フィルタ部)

請求の範囲

[請求項1]
 参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
 上記参照画像に対して動きベクトルを作用させて得られる1/Mac画素精度の動きベクトル適用済画像に対して作用するフィルタ部を備え、
 上記フィルタ部は、位相i(iは0以上Mac-1以下の整数)と、フィルタ係数位置k(kは0以上Ntaps-1以下の整数、Ntapsはタップ数)とによって指定されるフィルタ係数mcFilter[i][k]を用いたフィルタ処理を、上記動きベクトル適用済画像に作用させるものであり、
 上記フィルタ係数mcFilter[i][k]は、フィルタ係数mcFilter[p][k](p≠i)及びフィルタ係数mcFilter[q][k](q≠i)の重み付き平均の関係にある
ことを特徴とする予測画像生成装置。
[請求項2]
 上記フィルタ係数mcFilter[i][k]には、
  mcFilter[i][k] = (mcFilter[i-1][k] + mcFilter[i+1][k]) >> 1、又は、
  mcFilter[i][k] = (mcFilter[i-1][k] + mcFilter[i+1][k]) / 2
を満たすフィルタ係数が含まれる
ことを特徴とする請求項1に記載の予測画像生成装置。
[請求項3]
 上記フィルタ係数mcFilter[i][k]には、
  mcFilter[i][k] = ((N-w) * mcFilter[i0][k] + w * mcFilter[i1][k]) >> log(N)
 ここで、i0 = (i / N) * N、i1 = i0 + N、w = (i % N)、Nは2以上の整数
を満たすフィルタ係数が含まれる
ことを特徴とする請求項1に記載の予測画像生成装置。
[請求項4]
 参照画像に対して動き補償を行うことによって予測ブロック毎に予測画像を生成する予測画像生成装置であって、
 予測ブロック毎に、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、
 上記動きベクトル導出部は、予測ブロックのサイズに応じて、当該予測ブロックに関して導出する動きベクトルの精度を切り替える
ことを特徴とする予測画像生成装置。
[請求項5]
  上記予測ブロックのサイズに応じて、シフト量shiftSを決定し、上記差分ベクトルを上記シフトshiftSだけ左シフトした値、又は、上記差分ベクトルを上記シフトshiftSだけ左シフトした値と予測ベクトルとの和に基づいて、上記予測ブロックの動きベクトルを導出することを特徴とする請求項4に記載の予測画像生成装置。
[請求項6]
 導出対象の動きベクトルをMV、予測ベクトルをPMV、差分ベクトルをDMV、ラウンド処理をround()と表記した場合、
 上記動きベクトル導出部は、
  予測ブロックのサイズに応じて、シフト量shiftSを決定し、上記予測ベクトルPMVと上記差分ベクトルを上記シフトshiftSだけ左シフトした値との和に基づいて、
  MV = round(PMV) + (DMV << shiftS)
によって動きベクトルMVを導出する
ことを特徴とする請求項4に記載の予測画像生成装置。
[請求項7]
 参照画像に対して動き補償を行うことによって予測ブロック毎に予測画像を生成する予測画像生成装置であって、
 予測ブロック毎に、予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、
 上記動きベクトル導出部は、予測ブロックに関する量子化パラメータの大きさに応じて、当該予測ブロックに関して導出する動きベクトルの精度を切り替える
ことを特徴とする予測画像生成装置。
[請求項8]
 導出対象の動きベクトルをMV、予測ベクトルをPMV、差分ベクトルをDMV、ラウンド処理をround()と表記した場合、
 上記動きベクトル導出部は、
  予測ブロックに関する量子化パラメータの大きさに応じて、シフト量shiftSを決定し、
  MV = round(PMV) + (DMV << shiftS)
によって動きベクトルを導出する
ことを特徴とする請求項7に記載の予測画像生成装置。
[請求項9]
 参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
 逆量子化された差分ベクトルを予測ベクトルに対して加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、
 上記動きベクトル導出部は、量子化された差分ベクトルの量子化値に応じて、差分ベクトルに対する逆量子化処理の精度を切り替える
ことを特徴とする予測画像生成装置。
[請求項10]
 上記動きベクトル導出部は、
  差分ベクトルに対する逆量子化処理をより低い精度にて行う場合には、
  逆量子化された差分ベクトルを、ラウンド処理を施した予測ベクトルに対して加算又は減算することによって動きベクトルを導出する
ことを特徴とする請求項9に記載の予測画像生成装置。
[請求項11]
 参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
 予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、
 上記動きベクトル導出部は、
  動きベクトルの精度を示すフラグが第1の値を示している場合、量子化された差分ベクトルの量子化値に応じて、差分ベクトルに対する逆量子化処理の精度を切り替え、
  動きベクトルの精度を示すフラグが第2の値を示している場合、量子化された差分ベクトルの量子化値にかかわらず、一定の精度にて差分ベクトルに対する逆量子化処理を行う、
ことを特徴とする予測画像生成装置。
[請求項12]
 上記動きベクトル導出部は、
  逆量子化された差分ベクトルを、ラウンド処理を施した予測ベクトルに対して加算又は減算することによって動きベクトルを導出する
ことを特徴とする請求項11に記載の予測画像生成装置。
[請求項13]
 参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
 予測ベクトルに対して差分ベクトルを加算又は減算することによって動きベクトルを導出する動きベクトル導出部を備え、
 上記動きベクトル導出部は、
  動きベクトルの精度を示すフラグが第1の値を示している場合、差分ベクトルに対する逆量子化処理の精度を第1の精度とするか第2の精度とするかを、量子化された差分ベクトルの量子化値に応じて切り替え、
  動きベクトルの精度を示すフラグが第2の値を示している場合、差分ベクトルに対する逆量子化処理の精度を第3の精度とするか第4の精度とするかを、量子化された差分ベクトルの量子化値に応じて切り替え、
  上記第1の精度及び第2の精度の少なくとも何れかは、上記第3の精度及び第4の精度よりも精度が高い
ことを特徴とする予測画像生成装置。
[請求項14]
 上記動きベクトル導出部は、
  上記第1の精度、第2の精度、第3の精度、及び第4の精度のうち、最も高い精度以外の精度にて差分ベクトルに対する逆量子化処理を行う場合には、
  逆量子化された差分ベクトルを、ラウンド処理を施した予測ベクトルに対して加算又は減算することによって動きベクトルを導出する
ことを特徴とする請求項13に記載の予測画像生成装置。
[請求項15]
 請求項1~14のいずれか1項に記載の予測画像生成装置を備え、
 上記予測画像に対して、残差画像を加算または減算することによって符号化対象画像を復元することを特徴とする動画像復号装置。
[請求項16]
 請求項1~3のいずれか1項に記載の予測画像生成装置を備え、
 上記予測画像と符号化対象画像との残差を符号化することを特徴とする動画像符号化装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]