処理中

しばらくお待ちください...

設定

設定

1. WO2011125625 - 画像処理装置および方法

Document

明 細 書

発明の名称 画像処理装置および方法

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051  

先行技術文献

非特許文献

0052  

発明の概要

発明が解決しようとする課題

0053   0054   0055   0056   0057   0058  

課題を解決するための手段

0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078  

発明の効果

0079  

図面の簡単な説明

0080  

発明を実施するための形態

0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323   0324   0325   0326   0327   0328   0329   0330   0331   0332   0333   0334   0335   0336   0337   0338   0339   0340   0341   0342   0343   0344   0345   0346   0347   0348   0349   0350   0351   0352   0353   0354   0355   0356   0357   0358   0359   0360   0361   0362   0363   0364   0365   0366   0367   0368   0369   0370   0371   0372   0373   0374   0375   0376   0377   0378   0379   0380   0381   0382   0383   0384   0385   0386  

符号の説明

0387  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24  

明 細 書

発明の名称 : 画像処理装置および方法

技術分野

[0001]
 本発明は画像処理装置および方法に関し、特に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができるようにした画像処理装置および方法に関する。

背景技術

[0002]
 近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG(Moving Picture Experts Group)などがある。
[0003]
 特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量(ビットレート)が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量(ビットレート)が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
[0004]
 MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
[0005]
 さらに、近年、当初テレビ会議用の画像符号化を目的として、H.26L (ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。その後、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH.264及びMPEG-4 Part10 (Advanced Video Coding、以下H.264/AVCと記す)という国際標準となっている。
[0006]
 さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H.264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc(商標)等の幅広いアプリケーションに用いられる運びとなった。
[0007]
 しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
[0008]
 ところで、例えば、MPEG2方式においては、線形内挿処理により1/2画素精度の動き予測・補償処理が行われている。これに対して、H.264/AVC方式においては、内挿フィルタとして、6タップのFIR (Finite Impulse Response Filter)フィルタを用いた1/4画素精度の予測・補償処理が行われている。
[0009]
 図1は、H.264/AVC方式における1/4画素精度の予測・補償処理を説明する図である。H.264/AVC方式においては、6タップのFIR (Finite Impulse Response Filter)フィルタを用いた1/4画素精度の予測・補償処理が行われている。
[0010]
 図1の例において、位置Aは、整数精度画素の位置、位置b,c,dは、1/2画素精度の位置、位置e1,e2,e3は、1/4画素精度の位置を示している。まず、以下においては、Clip()を次の式(1)のように定義する。
[0011]
[数1]


 なお、入力画像が8ビット精度である場合、max_pixの値は255となる。
[0012]
 位置bおよびdにおける画素値は、6タップのFIRフィルタを用いて、次の式(2)のように生成される。
 
[数2]


[0013]
 位置cにおける画素値は、水平方向および垂直方向に6タップのFIRフィルタを適用し、次の式(3)のように生成される。

[数3]


 なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に1度のみ実行される。
[0014]
 位置e1乃至e3は、次の式(4)のように線形内挿により生成される。

[数4]


[0015]
 また、MPEG2方式においては、フレーム動き補償モードの場合には、16×16画素、フィールド動き補償モードの場合には、第1フィールド、第2フィールドのそれぞれに対し、16×8画素を単位として動き予測・補償処理が行われている。
[0016]
 これに対して、H.264/AVC方式の動き予測補償においては、マクロブロックサイズは、16×16画素であるが、ブロックサイズを可変にして、動き予測・補償が行われる。
[0017]
 図2は、H.264/AVC方式における動き予測・補償のブロックサイズの例を示す図である。
[0018]
 図2の上段には、左から、16×16画素、16×8画素、8×16画素、および8×8画素のパーティションに分割された16×16画素で構成されるマクロブロックが順に示されている。また、図2の下段には、左から、8×8画素、8×4画素、4×8画素、および4×4画素のサブパーティションに分割された8×8画素のパーティションが順に示されている。
[0019]
 すなわち、H.264/AVC方式においては、1つのマクロブロックを、16×16画素、16×8画素、8×16画素、あるいは8×8画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、8×8画素のパーティションに関しては、8×8画素、8×4画素、4×8画素、あるいは4×4画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
[0020]
 また、H.264/AVC方式においては、マルチ参照フレームの予測・補償処理も行われている。
[0021]
 図3は、H.264/AVC方式におけるマルチ参照フレームの予測・補償処理を説明する図である。H.264/AVC方式においては、マルチ参照フレーム(Multi-Reference Frame) の動き予測・補償方式が定められている。
[0022]
 図3の例においては、いまから符号化される対象フレームFnと、符号化済みのフレームFn-5,…,Fn-1が示されている。フレームFn-1は、時間軸上、対象フレームFnの1つ前のフレームであり、フレームFn-2は、対象フレームFnの2つ前のフレームであり、フレームFn-3は、対象フレームFnの3つ前のフレームである。また、フレームFn-4は、対象フレームFnの4つ前のフレームであり、フレームFn-5は、対象フレームFnの5つ前のフレームである。一般的には、対象フレームFnに対して時間軸上に近いフレームほど、小さい参照ピクチャ番号(ref_id)が付加される。すなわち、フレームFn-1が一番参照ピクチャ番号が小さく、以降、Fn-2,…, Fn-5の順に参照ピクチャ番号が小さい。
[0023]
 対象フレームFnには、ブロックA1とブロックA2が示されており、ブロックA1は、2つ前のフレームFn-2のブロックA1’と相関があるとされて、動きベクトルV1が探索されている。また、ブロックA2は、4つ前のフレームFn-4のブロックA1’と相関があるとされて、動きベクトルV2が探索されている。
[0024]
 以上のように、H.264/AVC方式においては、複数の参照フレームをメモリに格納しておき、1枚のフレーム(ピクチャ)において、異なる参照フレームを参照することが可能である。すなわち、例えば、ブロックA1がフレームFn-2を参照し、ブロックA2がフレームFn-4を参照しているというように、1枚のピクチャにおいて、ブロック毎にそれぞれ独立した参照フレーム情報(参照ピクチャ番号(ref_id))を持つことができる。
[0025]
 ここで、ブロックとは、図2を参照して上述した16×16画素、16×8画素、8×16画素、および8×8画素のパーティションのいずれかを示す。8×8サブブロック内における参照フレームは同一でなければならない。
[0026]
 以上のように、H.264/AVC方式においては、図1を参照して上述した1/4画素精度の動き予測・補償処理、および図2および図3を参照して上述したような動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成される。この膨大な動きベクトル情報をこのまま符号化することは、符号化効率の低下を招いてしまう。これに対して、H.264/AVC方式においては、図4に示す方法により、動きベクトルの符号化情報の低減が実現されている。
[0027]
 図4は、H.264/AVC方式による動きベクトル情報の生成方法について説明する図である。
[0028]
 図4の例において、これから符号化される対象ブロックE(例えば、16×16画素)と、既に符号化済みであり、対象ブロックEに隣接するブロックA乃至Dが示されている。
[0029]
 すなわち、ブロックDは、対象ブロックEの左上に隣接しており、ブロックBは、対象ブロックEの上に隣接しており、ブロックCは、対象ブロックEの右上に隣接しており、ブロックAは、対象ブロックEの左に隣接している。なお、ブロックA乃至Dが区切られていないのは、それぞれ、図2で上述した16×16画素乃至4×4画素のうちのいずれかの構成のブロックであることを表している。
[0030]
 例えば、X(=A,B,C,D,E)に対する動きベクトル情報を、mv Xで表す。まず、対象ブロックEに対する予測動きベクトル情報pmv Eは、ブロックA,B,Cに関する動きベクトル情報を用いて、メディアン予測により次の式(5)のように生成される。
[0031]
 pmv E = med(mv A,mv B,mv C)            ・・・(5)
 ブロックCに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない(unavailableである)場合がある。この場合には、ブロックCに関する動きベクトル情報は、ブロックDに関する動きベクトル情報で代用される。
[0032]
 対象ブロックEに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvd Eは、pmv Eを用いて、次の式(6)のように生成される。

 mvd E = mv E - pmv E               ・・・(6)
[0033]
 なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。
[0034]
 このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分を、圧縮画像のヘッダ部に付加することにより、動きベクトル情報が低減されている。
[0035]
 また、Bピクチャについての動きベクトル情報における情報量は膨大であるが、H.264/AVC方式においては、ダイレクトモードと呼ばれるモードが用意されている。ダイレクトモードにおいては、動きベクトル情報は、圧縮画像中には格納されない。
[0036]
 すなわち、復号側においては、対象ブロックの周辺の動きベクトル情報、または参照ピクチャにおいて、対象ブロックと座標が同じブロックであるco-locatedブロックの動きベクトル情報から、対象ブロックの動きベクトル情報が抽出される。したがって、動きベクトル情報を復号側に送る必要がない。
[0037]
 このダイレクトモードには、空間ダイレクトモード(Spatial Direct Mode)と、時間ダイレクトモード(Temporal Direct Mode)の2種類が存在する。空間ダイレクトモードは、主として空間方向(ピクチャ内の水平、垂直の2次元空間)の動き情報の相関を利用するモードであり、一般的に、同じような動きが含まれる画像で、動きの速度が変化する画像で効果がある。一方、時間ダイレクトモードは、主として時間方向の動き情報の相関を利用するモードであり、一般的に、異なる動きが含まれる画像で、動きの速度が一定の画像で効果がある。
[0038]
 これらの空間ダイレクトモードと時間ダイレクトモードのうち、どちらを用いるかは、スライス毎に切り替えることができる。
[0039]
 再び、図4を参照して、H.264/AVC方式による空間ダイレクトモードについて説明する。図4の例においては、上述したように、これから符号化される対象ブロックE(例えば、16×16画素)と、既に符号化済みであり、対象ブロックEに隣接するブロックA乃至Dが示されている。そして、例えば、X(=A,B,C,D,E)に対する動きベクトル情報は、mvXで表わされる。
[0040]
 対象ブロックEに対する予測動きベクトル情報pmvEは、ブロックA,B,Cに関する動きベクトル情報を用いて、メディアン予測により上述した式(5)のように生成される。そして、空間ダイレクトモードにおける対象ブロックEに対する動きベクトル情報mvEは、次の式(7)で表される。

 mvE = pmvE                 ・・・(7)
[0041]
 すなわち、空間ダイレクトモードにおいては、メディアン予測により生成された予測動きベクトル情報が、対象ブロックの動きベクトル情報とされる。すなわち、対象ブロックの動きベクトル情報は、符号化済みブロックの動きベクトル情報で生成される。したがって、空間ダイレクトモードによる動きベクトルは、復号側でも生成することができるので、動きベクトル情報を送る必要がない。
[0042]
 次に、図5を参照して、H.264/AVC方式における時間ダイレクトモードについて説明する。
[0043]
 図5の例においては、時間軸tが時間の経過を表しており、左から順に、L0(List0)参照ピクチャ、いまから符号化される対象ピクチャ、L1(List1)参照ピクチャが示されている。なお、L0参照ピクチャ、対象ピクチャ、L1参照ピクチャの並びは、H.264/AVC方式においては、この順に限らない。
[0044]
 対象ピクチャの対象ブロックは、例えば、Bスライスに含まれている。したがって、対象ピクチャの対象ブロックについては、L0参照ピクチャとL1参照ピクチャに対して、時間ダイレクトモードに基づくL0動きベクトル情報mvL0とL1動きベクトル情報mvL1が算出される。
[0045]
 また、L0参照ピクチャにおいて、いまから符号化される対象ブロックと同じ空間上のアドレス(座標)にあるブロックであるco-locatedブロックにおける動きベクトル情報mvcolは、L0参照ピクチャとL1参照ピクチャに基づいて算出されている。
[0046]
 ここで、対象ピクチャとL0参照ピクチャの時間軸上の距離をTDBとし、L0参照ピクチャとL1参照ピクチャの時間軸上の距離をTDDとする。この場合、対象ピクチャにおけるL0動きベクトル情報mvL0と、対象ピクチャにおけるL1動きベクトル情報mvL1は、次の式(8)で算出することができる。
[0047]
[数5]


[0048]
 なお、H.264/AVC方式においては、圧縮画像中には、対象ピクチャに対する時間軸t上の距離TDB、TDDに相当する情報が存在しない。したがって、距離TDB、TDDの実際の値としては、ピクチャの出力順序を示す情報であるPOC(Picture Order Count)が用いられる。
[0049]
 また、H.264/AVC方式においては、ダイレクトモードは、16×16画素マクロブロック、もしくは、8×8画素ブロック単位で定義することが可能である。
[0050]
 ところで、図4を参照して説明したメディアン予測は、必ずしも高い効率で動きベクトルの符号化を行えるとは限らない。そこで、非特許文献1などにおいては、単にメディアン予測を行うのではなく、周辺動きベクトル情報の値に応じて場合分けを行い、これに応じた処理により、予測動きベクトル情報の生成を行うことが提案されている。
[0051]
 なお、上述した図や数式は、適宜、本願の説明としても利用される。

先行技術文献

非特許文献

[0052]
非特許文献1 : ”A new method for improving motion vector coding”,VCEG-AJ14,ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6, Oct 2008

発明の概要

発明が解決しようとする課題

[0053]
 ところで、図6の例においては、静止画領域である背景に対して、黒い楕円形の物体が、画面右方向に向かって速度vで動いている当該フレームが示されている。図6に示されるように、当該ブロックXが、楕円形の動物体と背景である静止画領域の境界エリアに存在している。また、当該ブロックXの左、上、右上にそれぞれ隣接する隣接ブロックA,B,Cも、その境界エリアに存在している。
[0054]
 いま、MVKを、ブロックKに対する動きベクトル情報であるとすると、図6の例においては、各隣接ブロックA,B,Cの動きベクトル情報は、次の式(9)で表わされる。

 MVA = 0 ; MVB = v ; MVC =v ; MVX = 0      ・・・(9)
[0055]
 この場合に、上述した式(5)のメディアン予測を行うことにより、ブロックXの予測動きベクトル情報は、次の式(10)となる。

 Median(MVA,MVB,MVC) = Median(0,v,v) = v   ・・・(10)
[0056]
 これは、式(9)で示した実際のMVXとは異なる値であるため、符号化効率が低下してしまう。
[0057]
 これに対して、非特許文献1において提案されているような方法を適用することも考えられるが、非特許文献1において提案されている方法は、条件分岐のため多大なる処理量を要してしまう。
[0058]
 本発明は、このような状況に鑑みてなされたものであり、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができるものである。

課題を解決するための手段

[0059]
 本発明の第1の側面の画像処理装置は、符号化対象フレームにおける符号化対象ブロックに対して探索された動きベクトル情報と、前記符号化対象ブロックの予測動きベクトル情報との差分である前記符号化対象ブロックの差分動きベクトル情報を生成する差分動きベクトル生成手段と、前記差分動きベクトル生成手段により生成された前記符号化対象ブロックの差分動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報との差分である2次差分動きベクトル情報を生成する2次差分動きベクトル生成手段とを備える。
[0060]
 前記符号化対象フレームにおいて、メディアン予測により、前記符号化対象ブロックの予測動きベクトル情報を生成する予測動きベクトル生成手段をさらに備えることができる。
[0061]
 前記2次差分動きベクトル生成手段は、前記対応ブロックがイントラ予測されたブロックである場合、前記対応ブロックの差分動きベクトル情報を0であるとして、前記2次差分動きベクトル情報を生成することができる。
[0062]
 前記2次差分動きベクトル生成手段により生成された2次差分動きベクトル情報と前記符号化対象ブロックの画像とを符号化する符号化手段と、前記符号化手段により符号化された2次差分動きベクトル情報と前記符号化対象ブロックの画像とを伝送する伝送手段とをさらに備えることができる。
[0063]
 前記差分動きベクトル生成手段により生成された前記符号化対象ブロックの差分動きベクトル情報と、前記2次差分動きベクトル生成手段により生成された2次差分動きベクトル情報とのどちらか一方を選択し、選択された一方の情報と前記符号化対象ブロックの画像とを符号化する符号化手段と、前記符号化手段により符号化された一方の情報と前記符号化対象ブロックの画像とを伝送する伝送手段とをさらに備えることができる。
[0064]
 前記伝送手段は、前記符号化対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらが選択されて符号化されたかに関するフラグ情報も伝送することができる。
[0065]
 前記符号化手段は、前記符号化対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方を、適応的に選択することができる。
[0066]
 前記符号化手段は、前記符号化対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方を、符号化パラメータにおけるプロファイルに応じて選択することができる。
[0067]
 本発明の第1の側面の画像処理方法は、差分動きベクトル生成手段と、2次差分動きベクトル生成手段とを備える画像処理装置において、前記差分動きベクトル生成手段は、符号化対象フレームにおける符号化対象フレームにおいて、符号化対象ブロックに対して探索された動きベクトル情報と、前記符号化対象ブロックの予測動きベクトル情報との差分である前記符号化対象ブロックの差分動きベクトル情報を生成し、前記2次差分動きベクトル生成手段は、前記差分動きベクトル生成手段により生成された前記符号化対象ブロックの差分動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報との差分である2次差分動きベクトル情報を生成する。
[0068]
 本発明の第2の側面の画像処理装置は、復号対象フレームにおける復号対象ブロックの画像と、2次差分動きベクトル情報を受け取る受け取り手段と、前記受け取り手段により受け取られた2次差分動きベクトル情報と、前記復号対象ブロックの予測動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報とを用いて、前記復号対象ブロックの動きベクトル情報を生成する動きベクトル生成手段とを備える。
[0069]
 前記復号対象フレームにおいて、メディアン予測により、前記復号対象ブロックの予測動きベクトル情報を生成する予測動きベクトル生成手段をさらに備えることができる。
[0070]
 前記動きベクトル生成手段は、前記対応ブロックがイントラ予測されたブロックである場合、前記対応ブロックの差分動きベクトル情報を0であるとして、前記復号対象ブロックの動きベクトル情報を生成することができる。
[0071]
 前記受け取り手段は、前記復号対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらが符号化されているかに関するフラグ情報も受け取り、前記フラグ情報が、前記2次差分動きベクトル情報が符号化されていることを示す場合、前記2次差分動きベクトル情報を受け取ることができる。
[0072]
 前記受け取り手段は、前記フラグ情報が、前記復号対象ブロックの差分動きベクトル情報が符号化されていることと示す場合、前記差分動きベクトル情報を受け取り、前記動きベクトル生成手段は、前記受け取り手段により受け取られた前記復号対象ブロックの差分動きベクトル情報と、前記予測動きベクトル生成手段により生成された前記復号対象ブロックの予測動きベクトル情報を用いて、前記復号対象ブロックの動きベクトル情報を生成することができる。
[0073]
 前記復号対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方は、適応的に選択されて符号化されている。
[0074]
 前記復号対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方は、符号化パラメータにおけるプロファイルに応じて選択されて符号化されている。
[0075]
 本発明の第2の側面の画像処理方法は、受け取り手段と、動きベクトル生成手段とを備える画像処理装置において、前記受け取り手段は、復号対象フレームにおける復号対象ブロックの画像と、2次差分動きベクトル情報を受け取り、前記動きベクトル生成手段は、受け取られた2次差分動きベクトル情報と、前記復号対象ブロックの予測動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報とを用いて、前記復号対象ブロックの動きベクトル情報を生成する。
[0076]
 本発明の第1の側面においては、符号化対象フレームにおける符号化対象ブロックに対して探索された動きベクトル情報と、前記符号化対象ブロックの予測動きベクトル情報との差分である前記符号化対象ブロックの差分動きベクトル情報が生成される。そして、生成された前記符号化対象ブロックの差分動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報との差分である2次差分動きベクトル情報が生成される。
[0077]
 本発明の第2の側面においては、復号対象フレームにおける復号対象ブロックの画像と、2次差分動きベクトル情報が受け取られる。そして、受け取られた2次差分動きベクトル情報と、前記復号対象ブロックの予測動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報とを用いて、前記復号対象ブロックの動きベクトル情報が生成される。
[0078]
 なお、上述の画像処理装置のそれぞれは、独立した装置であっても良いし、1つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

発明の効果

[0079]
 本発明によれば、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。

図面の簡単な説明

[0080]
[図1] 1/4画素精度の動き予測・補償処理を説明する図である。
[図2] 可変ブロックサイズ動き予測・補償処理を説明する図である。
[図3] マルチ参照フレームの動き予測・補償方式について説明する図である。
[図4] 動きベクトル情報の生成方法の例を説明する図である。
[図5] 時間ダイレクトモードを説明する図である。
[図6] 予測動きベクトル情報の生成方法の例を説明する図である。
[図7] 本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。
[図8] 対象ブロックが動画領域と静止画領域の間に位置する場合について説明する図である。
[図9] 対象ブロックが静止画領域の間に位置する場合について説明する図である。
[図10] 図7の動き予測・補償部と動きベクトル情報符号化部の構成例を示すブロック図である。
[図11] 図7の画像符号化装置の符号化処理を説明するフローチャートである。
[図12] 図11のステップS21のイントラ予測処理を説明するフローチャートである。
[図13] 図11のステップS22のインター動き予測処理を説明するフローチャートである。
[図14] 図13のステップS53の2次差分動きベクトル情報生成処理を説明するフローチャートである。
[図15] 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。
[図16] 図15の動き予測・補償部と動きベクトル情報復号部の構成例を示すブロック図である。
[図17] 図15の画像復号装置の復号処理を説明するフローチャートである。
[図18] 図17のステップS138の予測処理を説明するフローチャートである。
[図19] 拡張マクロブロックの例を示す図である。
[図20] コンピュータのハードウエアの構成例を示すブロック図である。
[図21] 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。
[図22] 本発明を適用した携帯電話機の主な構成例を示すブロック図である。
[図23] 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。
[図24] 本発明を適用したカメラの主な構成例を示すブロック図である。

発明を実施するための形態

[0081]
 以下、図を参照して本発明の実施の形態について説明する。
[0082]
[画像符号化装置の構成例]
 図7は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
[0083]
 この画像符号化装置51は、例えば、H.264及びMPEG-4 Part10(Advanced Video Coding)(以下H.264/AVCと記す)方式をベースに、画像を圧縮符号化する。すなわち、画像符号化装置51においては、H.264/AVC方式において規定されている動き補償ブロックモードが用いられる。
[0084]
 図7の例において、画像符号化装置51は、A/D変換部61、画面並べ替えバッファ62、演算部63、直交変換部64、量子化部65、可逆符号化部66、蓄積バッファ67、逆量子化部68、逆直交変換部69、演算部70、デブロックフィルタ71、フレームメモリ72、スイッチ73、イントラ予測部74、動き予測・補償部75、動きベクトル情報符号化部76、予測画像選択部77、およびレート制御部78により構成されている。
[0085]
 A/D変換部61は、入力された画像をA/D変換し、画面並べ替えバッファ62に出力し、記憶させる。画面並べ替えバッファ62は、記憶した表示の順番のフレームの画像を、GOP(Group of Picture)に応じて、符号化のためのフレームの順番に並べ替える。
[0086]
 演算部63は、画面並べ替えバッファ62から読み出された画像から、予測画像選択部77により選択されたイントラ予測部74からの予測画像または動き予測・補償部75からの予測画像を減算し、その差分情報を直交変換部64に出力する。直交変換部64は、演算部63からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部65は直交変換部64が出力する変換係数を量子化する。
[0087]
 量子化部65の出力となる、量子化された変換係数は、可逆符号化部66に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。
[0088]
 可逆符号化部66は、イントラ予測を示す情報をイントラ予測部74から取得し、インター予測モードを示す情報などを動き予測・補償部75から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。
[0089]
 可逆符号化部66は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部66は、符号化したデータを蓄積バッファ67に供給して蓄積させる。
[0090]
 例えば、可逆符号化部66においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H.264/AVC方式で定められているCAVLC(Context-Adaptive Variable Length Coding)などがあげられる。算術符号化としては、CABAC(Context-Adaptive Binary Arithmetic Coding)などがあげられる。
[0091]
 蓄積バッファ67は、可逆符号化部66から供給されたデータを、H.264/AVC方式で符号化された圧縮画像として、例えば、後段の画像復号装置、図示せぬ記録装置や伝送路などに出力する。
[0092]
 また、量子化部65より出力された、量子化された変換係数は、逆量子化部68にも入力され、逆量子化された後、さらに逆直交変換部69において逆直交変換される。逆直交変換された出力は演算部70により予測画像選択部77から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ71は、復号された画像のブロック歪を除去した後、フレームメモリ72に供給し、蓄積させる。フレームメモリ72には、デブロックフィルタ71によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
[0093]
 スイッチ73はフレームメモリ72に蓄積された参照画像を動き予測・補償部75またはイントラ予測部74に出力する。
[0094]
 この画像符号化装置51においては、例えば、画面並べ替えバッファ62からのIピクチャ、Bピクチャ、およびPピクチャが、イントラ予測(イントラ処理とも称する)する画像として、イントラ予測部74に供給される。また、画面並べ替えバッファ62から読み出されたBピクチャおよびPピクチャが、インター予測(インター処理とも称する)する画像として、動き予測・補償部75に供給される。
[0095]
 イントラ予測部74は、画面並べ替えバッファ62から読み出されたイントラ予測する画像とフレームメモリ72から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。その際、イントラ予測部74は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。
[0096]
 イントラ予測部74は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部77に供給する。イントラ予測部74は、予測画像選択部77により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部66に供給する。可逆符号化部66は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
[0097]
 動き予測・補償部75には、画面並べ替えバッファ62から読み出されたインター処理する画像と、スイッチ73を介してフレームメモリ72から参照画像が供給される。動き予測・補償部75は、候補となる全てのインター予測モードの動き探索(予測)を行い、探索した動きベクトルを用いて、参照画像に補償処理を施し、予測画像を生成する。
[0098]
 動き予測・補償部75は、探索した符号化の対象ブロックの動きベクトル情報、対象ブロックの周辺のブロックの動きベクトル情報、対応ブロック(co-located block)の差分動きベクトル情報を、動きベクトル情報符号化部76に供給する。そして、動き予測・補償部75は、動きベクトル情報符号化部76からの2次差分動きベクトル情報を用いて、候補となる全てのインター予測モードに対してコスト関数値を算出する。
[0099]
 ここで、対応ブロックとは、対象フレームとは異なる、符号化済みのフレーム(前または後に位置するフレーム)のブロックであって、対象ブロックに対応する位置のブロックである。
[0100]
 動き予測・補償部75は、候補となる各インター予測モードの各ブロックにおいて、コスト関数値が最小値を与えるインター予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部75は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部77に供給する。
[0101]
 動き予測・補償部75は、予測画像選択部77により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報(インター予測モード情報)を可逆符号化部66に出力する。
[0102]
 このとき、2次差分動きベクトル情報なども可逆符号化部66に出力される。可逆符号化部66は、動き予測・補償部75からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
[0103]
 動きベクトル情報符号化部76には、動き予測・補償部75から、対象ブロックの動きベクトル情報の他に、対象ブロックの周辺ブロックで既に求められている周辺動きベクトル情報と、対応ブロックの差分動きベクトル情報とが供給される。なお、周辺ブロックとは、空間的だけでなく、時空間的に周辺であるブロック、すなわち、対象フレームの時間的に1つ前のフレームにおいて空間的に周辺であるブロックも含む。
[0104]
 動きベクトル情報符号化部76は、供給された周辺の動きベクトル情報を用いて、上述した式(5)のメディアン予測などにより、対象ブロックの予測動きベクトル情報を生成する。また、動きベクトル情報符号化部76は、上述した式(6)のように、対象ブロックの動きベクトル情報と予測動きベクトル情報との差分である対象ブロックの差分動きベクトル情報を生成する。さらに、動きベクトル情報符号化部76は、対象ブロックの差分動きベクトル情報と、動き予測・補償部75からの対応ブロックの差分動きベクトル情報との差分である対象ブロックの2次差分動きベクトル情報を生成する。生成された対象ブロックの差分動きベクトル情報と、2次差分動きベクトル情報とは、動き予測・補償部75に供給される。
[0105]
 予測画像選択部77は、イントラ予測部74または動き予測・補償部75より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部77は、決定された最適予測モードの予測画像を選択し、演算部63,70に供給する。このとき、予測画像選択部77は、予測画像の選択情報を、イントラ予測部74または動き予測・補償部75に供給する。
[0106]
 レート制御部78は、蓄積バッファ67に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部65の量子化動作のレートを制御する。
[0107]
 以下、処理対象フレームやブロックを、適宜、対象フレームおよび対象ブロック、または当該フレームおよび当該ブロックと、それぞれ称するが、それらは同意である。
[0108]
[本発明の概要の説明]
 次に、図8を参照して、本発明の概要について説明する。図8の例においては、参照フレームと、当該フレームが示されている。例えば、図8の参照フレームと当該フレームにおいては、画面上半分が、速度vで移動しており、画面下半分が静止画領域である。
[0109]
 当該フレームにおいては、当該ブロックX と、当該ブロックX の左、上、右上にそれぞれ隣接する隣接ブロックA ,B ,C とが示されている。また、参照フレームにおいては、当該ブロックX の対応ブロック(co-located block)X と、対応ブロックX の左、上、右上にそれぞれ隣接する隣接ブロックA ,B ,C とが示されている。
[0110]
 いま、MVKを、ブロックKに対する動きベクトル情報であるとし、図8の例における各ブロックの動きベクトル情報は、次の式(11)で表わされる。

 MVX c = MVX r = 0
MVA c = MVA r = 0
MVB c = MVB r = MVC c = MVC r = v        ・・・(11)
[0111]
 このとき、参照フレームの対応ブロックにおける予測動きベクトル情報pmv rは、次の式(12)となり、予測動きベクトル情報と、対応ブロックにおける動きベクトル情報との差分である差分動きベクトル情報mvd rは、次の式(13)となる。

 pmv r = Median(MVA r,MVB r,MVC r) = Median(0,v,v) = v ・・・(12)

 mvd r = MVX r pmv r = 0 v = -v          ・・・(13)
[0112]
 また、当該フレームの当該ブロックにおける予測動きベクトル情報pmv cは、次の式(14)となり、予測動きベクトル情報と、当該ブロックにおける動きベクトル情報との差分である差分動きベクトル情報mvd cは、次の式(15)となる。

 pmv c = Median(MVA c,MVB c,MVC c) = Median(0,v,v) = v ・・・(14)

 mvd c = MVX c pmv c = 0 v = -v          ・・・(15)
[0113]
 このように、図8の例においては、参照フレームにおいても、当該フレームにおいても、メディアン予測による効率はよいものとはいえない。
[0114]
 これに対して、画像符号化装置51においては、復号側へ送信する当該ブロックにおける動きベクトル情報として、次の式(16)に示す2次差分動きベクトル情報mvddが符号化される。
 mvdd = mvd c - mvd r          ・・・(16)
[0115]
 図8の例の場合、2次差分動きベクトル情報mvddは、次の式(17)となる。
 mvdd = -v (-v) = 0        ・・・(17)
[0116]
 したがって、図8の例のように、当該ブロックが、動領域と静止画領域の間に存在しても、単なるメディアン予測に比して、高い符号化効率を実現することができる。
[0117]
 また、図9の例のように、参照フレームおよび当該フレームの双方で、当該ブロックおよび対応ブロックと各隣接ブロックとが静止画領域に存在する場合、次の式(18)となる。

 MVX c = MVX r = 0
MVA c = MVA r = 0
MVB c = MVB r = MVC c = MVC r = 0      ・・・(18)
[0118]
 したがって、参照フレームの対応ブロックにおける予測動きベクトル情報pmv rは、次の式(19)となり、予測動きベクトル情報と、対応ブロックにおける動きベクトル情報との差分である差分動きベクトル情報mvd rは、次の式(20)となる。

 pmv c = Median(MVA c,MVB c,MVC c) = Median(0,0,0) = 0 ・・・(19)

 mvd c = MVX c pmv c = 0 0 = 0        ・・・(20)
[0119]
 また、当該フレームの当該ブロックにおける予測動きベクトル情報pmv cは、次の式(21)となり、予測動きベクトル情報と、当該ブロックにおける動きベクトル情報との差分である差分動きベクトル情報mvd cは、次の式(22)となる。

 pmv c = Median(MVA c,MVB c,MVC c) = Median(0,0,0) = 0 ・・・(21)

 mvd c = MVX c pmv c = 0 0 = 0           ・・・(22)
[0120]
 このように、図9の例においては、単なるメディアン予測でも高い符号化効率を達成可能である。なお、図9の例の場合、2次差分動きベクトル情報mvddは、次の式(23)となる。
 mvdd = 0 0 = 0         ・・・(23)
[0121]
 すなわち、図9の例の場合に、本発明による方法を適用しても、符号化効率を低下させることはない。
[0122]
 なお、非特許文献1に記載の提案では、図8の例のような場合と図9の例のような場合で場合分け処理を行い、それぞれに対して異なる処理が行われる。場合分け処理を行うことで、条件分岐が必要となり、多大なる演算量を要することになる。
[0123]
 これに対して、本発明においては、条件分岐による場合分け処理を行わず、図9の例のような場合の動きベクトル情報の符号化効率を低下させることなく、図8の例のような場合の動きベクトル情報の符号化効率を向上させることができる。また、非特許文献1に記載の提案の場合、上述した場合分け処理の結果によってどのような処理が行われたかを示すフラグ情報の伝送が必要になる。これに対して、本発明においては、場合分け処理が行われないので、そのようなフラグ情報の伝送は不要であり、このフラグ情報の伝送による圧縮効率の低減を回避することができる。
[0124]
 以下、さらに具体的に説明していく。
[0125]
[動き予測・補償部および動きベクトル情報符号化部の構成例]
 図10は、動き予測・補償部75および動きベクトル情報符号化部76の詳細な構成例を示すブロック図である。なお、図10においては、図7のスイッチ73が省略されている。
[0126]
 図10の例において、動き予測・補償部75は、動き探索部81、コスト関数算出部82、モード判定部83、動き補償部84、差分動きベクトル情報バッファ85、および動きベクトル情報バッファ86により構成されている。また、動きベクトル情報符号化部76は、メディアン予測部91、差分動きベクトル生成部92、および2次差分動きベクトル生成部93により構成されている。
[0127]
 動き探索部81には、画面並べ替えバッファ62からの入力画像画素値と、フレームメモリ72からの参照画像画素値が入力される。動き探索部81は、図2に示されたすべてのインター予測モードの動き探索処理を行い、探索した動きベクトル情報を用いて、参照画像に補償処理を行い、予測画像を生成する。動き探索部81は、各インター予測モードについて探索された動きベクトル情報と、生成した予測画像画素値とをコスト関数算出部82に供給する。また、動き探索部81は、各インター予測モードについて探索された動きベクトル情報を差分動きベクトル生成部92に供給する。
[0128]
 コスト関数算出部82には、画面並べ替えバッファ62からの入力画像画素値、動き探索部81からの各インター予測モードの動きベクトル情報と予測画像画素値、差分動きベクトル生成部92からの差分動きベクトル情報、および2次差分動きベクトル生成部93からの2次差分動きベクトル情報が供給される。
[0129]
 コスト関数算出部82は、供給された情報を用いて、各インター予測モードに対するコスト関数値を算出する。なお、コスト関数において、符号化される動きベクトル情報としては、2次差分動きベクトル情報が用いられる。コスト関数算出部82は、各インター予測モードに対する動きベクトル情報、差分動きベクトル情報、2次差分動きベクトル情報、およびコスト関数値を、モード判定部83に供給する。
[0130]
 モード判定部83は、各インター予測モードのうち、どのモードを用いるのが最適かを、各インター予測モードに対するコスト関数値を用いて判定し、最も小さいコスト関数値のインター予測モードを、最適予測モードとする。そして、モード判定部83は、最適予測モード情報、およびそれに対応する動きベクトル情報と、差分動きベクトル情報と、2次差分動きベクトル情報と、コスト関数値とを、動き補償部84に供給する。
[0131]
 動き補償部84は、モード判定部83からの最適予測モードに対応する動きベクトルを用いて、フレームメモリ72からの参照画像に補償を行うことで、最適予測モードの予測画像を生成する。そして、動き補償部84は、最適予測モードの予測画像とコスト関数値を、予測画像選択部77に出力する。
[0132]
 予測画像選択部77により最適インターモードの予測画像が選択された場合には、それを示す信号が予測画像選択部77から供給される。これに対応して、動き補償部84は、最適インターモード情報、そのモードの2差分動きベクトル情報を、復号側へ送るために、可逆符号化部66に供給する。また、動き補償部84は、差分動きベクトル情報を、差分動きベクトル情報バッファ85に格納し、動きベクトル情報を、動きベクトル情報バッファ86に格納する。
[0133]
 なお、予測画像選択部77により最適インターモードの予測画像が選択されなかった場合(すなわち、イントラ予測画像が選択された場合)には、差分動きベクトル情報および動きベクトル情報として、それぞれ0ベクトルが、差分動きベクトル情報バッファ85および動きベクトル情報バッファ86に格納される。
[0134]
 差分動きベクトル情報バッファ85には、最適予測モードの各ブロックの差分動きベクトル情報が格納されている。格納されている差分動きベクトル情報は、次のフレームにおいて、同じ位置のブロックにおける2次差分動きベクトル情報を生成するために、対応ブロック差分動きベクトル情報として、2次差分動きベクトル生成部93に供給される。
[0135]
 動きベクトル情報バッファ86には、最適予測モードの各ブロックの動きベクトル情報が格納されている。格納されている動きベクトル情報は、次のブロックにおける予測動きベクトル情報を生成するために、周辺動きベクトル情報として、メディアン予測部91に供給される。
[0136]
 メディアン予測部91は、動きベクトル情報バッファ86から供給される対象ブロックに空間に隣接する周辺ブロックの動きベクトル情報を用いて、上述した式(5)のメディアン予測により、予測動きベクトル情報を生成する。メディアン予測部91は、生成した予測動きベクトル情報を、差分動きベクトル生成部92に供給する。
[0137]
 差分動きベクトル生成部92は、動き探索部81からの動きベクトル情報と、メディアン予測部91からの予測動きベクトル情報とを用いて、上述した式(6)により、差分動きベクトル情報を生成する。差分動きベクトル生成部92は、生成した差分動きベクトル情報を、コスト関数算出部82と2次差分動きベクトル生成部93に供給する。
[0138]
 2次差分動きベクトル生成部93は、上述した式(16)のように、差分動きベクトル生成部92からの対象ブロックの差分動きベクトル情報と、差分動きベクトル情報バッファ85からの対象ブロックの対応ブロックの差分動きベクトル情報の差分を行う。そして、2次差分動きベクトル生成部93は、差分を行った結果生成された2次差分動きベクトル情報を、コスト関数算出部82に供給する。
[0139]
[画像符号化装置の符号化処理の説明]
 次に、図11のフローチャートを参照して、図7の画像符号化装置51の符号化処理について説明する。
[0140]
 ステップS11において、A/D変換部61は入力された画像をA/D変換する。ステップS12において、画面並べ替えバッファ62は、A/D変換部61より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
[0141]
 ステップS13において、演算部63は、ステップS12で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部75から、イントラ予測する場合はイントラ予測部74から、それぞれ予測画像選択部77を介して演算部63に供給される。
[0142]
 差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
[0143]
 ステップS14において、直交変換部64は演算部63から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップS15において、量子化部65は変換係数を量子化する。この量子化に際しては、後述するステップS26の処理で説明されるように、レートが制御される。
[0144]
 以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップS16において、逆量子化部68は量子化部65により量子化された変換係数を量子化部65の特性に対応する特性で逆量子化する。ステップS17において、逆直交変換部69は逆量子化部68により逆量子化された変換係数を直交変換部64の特性に対応する特性で逆直交変換する。
[0145]
 ステップS18において、演算部70は、予測画像選択部77を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像(演算部63への入力に対応する画像)を生成する。ステップS19においてデブロックフィルタ71は、演算部70より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップS20においてフレームメモリ72は、フィルタリングされた画像を記憶する。なお、フレームメモリ72にはデブロックフィルタ71によりフィルタ処理されていない画像も演算部70から供給され、記憶される。
[0146]
 画面並べ替えバッファ62から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ72から読み出され、スイッチ73を介してイントラ予測部74に供給される。
[0147]
 これらの画像に基づいて、ステップS21において、イントラ予測部74は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ71によりデブロックフィルタリングされていない画素が用いられる。
[0148]
 ステップS21におけるイントラ予測処理の詳細は、図12を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部77に供給される。
[0149]
 画面並べ替えバッファ62から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ72から読み出され、スイッチ73を介して動き予測・補償部75に供給される。これらの画像に基づいて、ステップS22において、動き予測・補償部75は、インター動き予測処理を行う。
[0150]
 ステップS22におけるインター動き予測処理の詳細は、図13を参照して後述する。この処理により、候補となる全てのインター予測モードで動き探索処理が行われ、予測動きベクトル情報、差分動きベクトル情報、および2次差分動きベクトル情報が次々生成され、全てのインター予測モードに対してコスト関数が算出される。そして、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部77に供給される。
[0151]
 ステップS23において、予測画像選択部77は、イントラ予測部74および動き予測・補償部75より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部77は、決定した最適予測モードの予測画像を選択し、演算部63,70に供給する。この予測画像が、上述したように、ステップS13,S18の演算に利用される。
[0152]
 なお、この予測画像の選択情報は、イントラ予測部74または動き予測・補償部75に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部74は、最適イントラ予測モードを示す情報(すなわち、イントラ予測モード情報)を、可逆符号化部66に供給する。
[0153]
 最適インター予測モードの予測画像が選択された場合、動き予測・補償部75は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部66に出力する。最適インター予測モードに応じた情報としては、ブロック毎の2次差分動きベクトル情報や参照フレーム情報などがあげられる。なお、このとき、動き予測・補償部75の動き補償部84は、差分動きベクトル情報を、差分動きベクトル情報バッファ85に格納し、動きベクトル情報を、動きベクトル情報バッファ86に格納する。
[0154]
 ステップS24において、可逆符号化部66は量子化部65より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップS21において可逆符号化部66に入力された、イントラ予測部74からのイントラ予測モード情報、または、ステップS22において、動き予測・補償部75からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。
[0155]
 例えば、インター予測モードを示す情報は、マクロブロック毎に符号化される。2次差分動きベクトル情報や参照フレーム情報は、対象となるブロック毎に符号化される。
[0156]
 ステップS25において蓄積バッファ67は差分画像を圧縮画像として蓄積する。蓄積バッファ67に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
[0157]
 ステップS26においてレート制御部78は、蓄積バッファ67に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部65の量子化動作のレートを制御する。
[0158]
[イントラ予測処理の説明]
 次に、図12のフローチャートを参照して、図11のステップS21におけるイントラ予測処理を説明する。なお、図12の例においては、輝度信号の場合を例として説明する。
[0159]
 イントラ予測部74は、ステップS41において、4×4画素、8×8画素、および16×16画素の各イントラ予測モードに対してイントラ予測を行う。
[0160]
 輝度信号のイントラ予測モードには、9種類の4×4画素および8×8画素のブロック単位、並びに4種類の16×16画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、4種類の8×8画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の4×4画素および8×8画素のイントラ予測モードについては、4×4画素および8×8画素の輝度信号のブロック毎に1つのイントラ予測モードが定義される。輝度信号の16×16画素のイントラ予測モードと色差信号のイントラ予測モードについては、1つのマクロブロックに対して1つの予測モードが定義される。
[0161]
 具体的には、イントラ予測部74は、処理対象のブロックの画素を、フレームメモリ72から読み出され、スイッチ73を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ71によりデブロックフィルタリングされていない画素が用いられる。
[0162]
 イントラ予測部74は、ステップS42において、4×4画素、8×8画素、および16×16画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値を求めるためのコスト関数としては、次のように、H.264/AVC方式において採用されているコスト関数が用いられる。
[0163]
 H.264/AVC方式においては、例えば、JMにおいて定められているHigh Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択する方法が用いられている。この方法の場合、どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
[0164]
 High Complexity Modeにおけるコスト関数値は、以下の式(24)のように求めることができる。
[0165]
 Cost(Mode∈Ω)=D+λ×R ・・・(24)
[0166]
 式(24)において、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合である。また、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。さらに、λは、量子化パラメータの関数として与えられるLagrange未定乗数である。また、Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
[0167]
 つまり、High Complexity Modeでの符号化を行なうには、上記パラメータD及びRを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
[0168]
 これに対してLow Complexity Modeにおけるコスト関数値は、以下の式(25)のように求めることができる。
[0169]
 Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit・・・(25)
[0170]
となる。式(25)において、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。また、QP2Quant(QP)は、量子化パラメータQPの関数として与えられる。さらに、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
[0171]
 すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
[0172]
 イントラ予測部74は、ステップS43において、4×4画素、8×8画素、および16×16画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ4×4予測モードおよびイントラ8×8予測モードの場合には、予測モードの種類が9種類あり、イントラ16×16予測モードの場合には、予測モードの種類が4種類ある。したがって、イントラ予測部74は、ステップS42において算出されたコスト関数値に基づいて、それらの中から、最適イントラ4×4予測モード、最適イントラ8×8予測モード、最適イントラ16×16予測モードを決定する。
[0173]
 イントラ予測部74は、ステップS44において、4×4画素、8×8画素、および16×16画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップS42において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、4×4画素、8×8画素、および16×16画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部74は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部77に供給する。
[0174]
[インター動き予測処理の説明]
 次に、図13のフローチャートを参照して、図11のステップS22のインター動き予測処理について説明する。
[0175]
 動き探索部81は、ステップS51において、上述した図2の16×16画素乃至4×4画素からなる8種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。
[0176]
 そして、動き探索部81は、ステップS52において、各インター予測モードについて、決定した動きベクトルに基づいて参照画像に補償処理を行い、予測画像を生成する。動き探索部81は、各インター予測モードについて探索された動きベクトル情報(MVX c)と、生成した予測画像画素値とをコスト関数算出部82に供給する。また、動き探索部81は、各インター予測モードについて探索された動きベクトル情報(MVX c)を差分動きベクトル生成部92に供給する。
[0177]
 ステップS53において、動きベクトル情報符号化部76は、2次差分動きベクトル情報生成処理を行う。この2次差分動きベクトル情報生成処理の詳細は、図14を参照して後述する。
[0178]
 ステップS53の処理により、各インター予測モードの各ブロックの予測動きベクトル情報(pmv c)が生成されて、差分動きベクトル情報(mvd c)が生成され、さらに、2次差分動きベクトル情報(mvdd)が生成される。生成された差分動きベクトル情報(mvd c)と2次差分動きベクトル情報(mvdd)は、コスト関数算出部82に供給される。
[0179]
 コスト関数算出部82には、画面並べ替えバッファ62からの入力画像画素値、動き探索部81からの各インター予測モードの動きベクトル情報(MVX c)と予測画像画素値、差分動きベクトル生成部92からの差分動きベクトル情報(mvd c)、および2次差分動きベクトル生成部93からの2次差分動きベクトル情報(mvdd)が供給される。ステップS54において、コスト関数算出部82は、供給された情報を用いて、上述した式(24)または式(25)により、各インター予測モードに対するコスト関数値を算出する。このとき、符号化対象の動きベクトルの情報として、2次差分動きベクトル情報(mvdd)が用いられる。コスト関数算出部82は、各インター予測モードに対する動きベクトル情報(MVX c)、差分動きベクトル情報(mvd c)、2次差分動きベクトル情報(mvdd)、およびコスト関数値を、モード判定部83に供給する。
[0180]
 モード判定部83は、ステップS55において、最適インター予測モードを決定する。すなわち、モード判定部83は、候補の全インター予測モードのコスト関数値を比較し、最小のコスト関数値のインター予測モードを、最適インター予測モードとして決定する。そして、モード判定部83は、最適予測モード情報、並びにそれに対応する動きベクトル情報(MVX c)、差分動きベクトル情報(mvd c)、2次差分動きベクトル情報(mvdd)、およびコスト関数値を、動き補償部84に供給する。
[0181]
 動き補償部84は、ステップS56において、最適インター予測モードの動きベクトルに基づいて、フレームメモリ72からの参照画像に補償処理を行い、予測画像を生成する。そして、動き補償部84は、最適予測モードの予測画像とコスト関数値を、予測画像選択部77に出力する。
[0182]
[2次差分動きベクトル情報生成処理の説明]
 次に、図14のフローチャートを参照して、図13のステップS53の2次差分動きベクトル情報生成処理を説明する。
[0183]
 ステップS71において、メディアン予測部91は、動きベクトル情報バッファ86から供給される当該ブロックに空間に隣接する周辺ブロックの動きベクトル情報を用いて、上述した式(5)のメディアン予測により、予測動きベクトル情報(pmv c)を生成する。メディアン予測部91は、生成した予測動きベクトル情報(pmv c)を、差分動きベクトル生成部92に供給する。
[0184]
 ステップS72において、差分動きベクトル生成部92は、動き探索部81からの動きベクトル情報と、メディアン予測部91からの予測動きベクトル情報とを用いて、上述した式(6)により、当該ブロックの差分動きベクトル情報(mvd c)を生成する。差分動きベクトル生成部92は、生成した差分動きベクトル情報(mvd c)を、コスト関数算出部82と2次差分動きベクトル生成部93に供給する。
[0185]
 ステップS73において、2次差分動きベクトル生成部93は、当該ブロックに対する対応ブロックの差分動きベクトル情報(mvd r)を、差分動きベクトル情報バッファ85から抽出する。なお、対応ブロックがイントラマクロブロックである場合には、対応ブロックの差分動きベクトル情報mvd r=0とされる。
[0186]
 ステップS74において、2次差分動きベクトル生成部93は、上述した式(16)により、対応ブロックの差分動きベクトル情報(mvd r)と、当該ブロックの差分動きベクトル情報(mvd c)の差分値である2次差分動きベクトル情報(mvdd)を生成する。2次差分動きベクトル生成部93は、生成した2次差分動きベクトル情報(mvdd)を、コスト関数算出部82に供給する。
[0187]
 以上のように、画像符号化装置51においては、復号側へ送信する当該ブロックにおける動きベクトル情報として、当該ブロックの差分動きベクトル情報と対応ブロックの差分動きベクトル情報の差分である2次差分動きベクトル情報を符号化するようにした。すなわち、空間相関だけでなく、時空間相関も利用するようにした。
[0188]
 これにより、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、復号側へ送る動きベクトル情報の符号化効率を向上させることができる。
[0189]
 符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。
[0190]
[画像復号装置の構成例]
 図15は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。
[0191]
 画像復号装置101は、蓄積バッファ111、可逆復号部112、逆量子化部113、逆直交変換部114、演算部115、デブロックフィルタ116、画面並べ替えバッファ117、D/A変換部118、フレームメモリ119、スイッチ120、イントラ予測部121、動き予測・補償部122、動きベクトル情報復号部123、およびスイッチ124により構成されている。
[0192]
 蓄積バッファ111は伝送されてきた圧縮画像を蓄積する。可逆復号部112は、蓄積バッファ111より供給された、図7の可逆符号化部66により符号化された情報を、可逆符号化部66の符号化方式に対応する方式で復号する。逆量子化部113は可逆復号部112により復号された画像を、図7の量子化部65の量子化方式に対応する方式で逆量子化する。逆直交変換部114は、図7の直交変換部64の直交変換方式に対応する方式で逆量子化部113の出力を逆直交変換する。
[0193]
 逆直交変換された出力は演算部115によりスイッチ124から供給される予測画像と加算されて復号される。デブロックフィルタ116は、復号された画像のブロック歪を除去した後、フレームメモリ119に供給し、蓄積させるとともに、画面並べ替えバッファ117に出力する。
[0194]
 画面並べ替えバッファ117は、画像の並べ替えを行う。すなわち、図7の画面並べ替えバッファ62により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部118は、画面並べ替えバッファ117から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
[0195]
 スイッチ120は、インター処理される画像と参照される画像をフレームメモリ119から読み出し、動き予測・補償部122に出力するとともに、イントラ予測に用いられる画像をフレームメモリ119から読み出し、イントラ予測部121に供給する。
[0196]
 イントラ予測部121には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部112から供給される。イントラ予測部121は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ124に出力する。
[0197]
 動き予測・補償部122には、ヘッダ情報を復号して得られた情報のうち、インター予測モード情報、2差分動きベクトル情報、参照フレーム情報などが可逆復号部112から供給される。インター予測モード情報は、マクロブロック毎に送信されてくる。2次差分動きベクトル情報や参照フレーム情報は、ブロック毎に送信されてくる。
[0198]
 動き予測・補償部122は、可逆復号部112から供給される対象ブロックの2次差分動きベクトル情報を、動きベクトル情報復号部123に供給し、それに対応して動きベクトル情報復号部123により生成される対象ブロックの差分動きベクトル情報と動きベクトル情報を得る。動き予測・補償部122は、動きベクトル情報復号部123からの動きベクトル情報を用いて、フレームメモリ119からの参照画像に補償処理を行い、可逆復号部112から供給されるインター予測モード情報が示す予測モードで、対象ブロックに対する予測画像の画素値を生成する。また、動き予測・補償部122は、動きベクトル情報復号部123からの差分動きベクトル情報を、次の対象ブロックの予測動きベクトル情報生成のために蓄積する。
[0199]
 動きベクトル情報復号部123は、動き予測・補償部122からの対象ブロックの2次差分動きベクトル情報が供給されると、動き予測・補償部122から、対象ブロックに対する周辺ブロックの動きベクトル情報と、対象ブロックに対する対応ブロックの差分動きベクトル情報を取得する。
[0200]
 動きベクトル情報復号部123は、取得した周辺ブロックの動きベクトル情報を用いて、予測動きベクトル情報を生成する。そして、動きベクトル情報復号部123は、2次差分動きベクトル情報、および対応ブロックの差分動きベクトル情報を用いて、対象ブロックの差分動きベクトル情報を生成する。また、動きベクトル情報復号部123は、生成した差分動きベクトル情報および生成した予測動きベクトル情報を用いて、対象ブロックの動きベクトル情報を生成する。生成された対象ブロックの動きベクトル情報と、差分動きベクトル情報は、動き予測・補償部122に供給される。
[0201]
 スイッチ124は、動き予測・補償部122またはイントラ予測部121により生成された予測画像を選択し、演算部115に供給する。
[0202]
 なお、図7の動き予測・補償部75においては、全ての候補モードに対して予測画像の生成、およびコスト関数値の算出を行い、モード判定を行う必要がある。これに対して、図15の動き予測・補償部122においては、圧縮画像のヘッダから当該ブロックに対するモード情報、2次差分動きベクトル情報(mvdd)を受信して、これを用いた動き補償処理のみが行われる。
[0203]
 すなわち、図15の画像復号装置101においては、2次差分動きベクトル情報が受信され、対象ブロックの周辺ブロックの動きベクトル情報から、上述した式(5)のメディアン予測により、予測動きベクトル情報(pmv c)が生成される。さらに、動き予測・補償部122が有するバッファから、対象ブロックの対応ブロックにおける差分動きベクトル情報(mvd r)が読み出される。
[0204]
 これらにより、対象ブロックにおける動きベクトル情報mvが、次の式(26)のように算出される。
 mv = mvdd + pmv c + mvd r     ・・・(26)
[0205]
 画像復号装置101においては、このように算出された動きベクトル情報を用いて、動き補償が行われる。
[0206]
[動き予測・補償部および動きベクトル情報復号部の構成例]
 図16は、動き予測・補償部122および動きベクトル情報復号部123の詳細な構成例を示すブロック図である。なお、図16においては、図15のスイッチ120が省略されている。
[0207]
 図16の例においては、動き予測・補償部122は、2次差分動きベクトル情報バッファ131、動きベクトル情報バッファ132、差分動きベクトル情報バッファ133、および動き補償部134により構成されている。また、動きベクトル情報復号部123は、メディアン予測部141、および動きベクトル情報生成部142により構成されている。
[0208]
 2次差分動きベクトル情報バッファ131には、可逆復号部112からブロック毎の2次差分動きベクトル情報が供給される。2次差分動きベクトル情報バッファ131は、供給される2次差分動きベクトル情報を蓄積し、動きベクトル情報生成部142に供給する。
[0209]
 動きベクトル情報バッファ132は、動き補償部134からの各ブロックの動きベクトル情報を、次のブロックの予測動きベクトル情報の生成のための周辺動きベクトル情報として格納する。差分動きベクトル情報バッファ133は、動き補償部134からの各ブロックの差分動きベクトル情報を、次のフレームの各ブロックの動きベクトル情報の生成のための対応ブロックの差分動きベクトル情報として格納する。
[0210]
 動き補償部134は、動きベクトル情報生成部142からの対象ブロックの動きベクトル情報を用いて、フレームメモリ119からの参照画像画素値に補償処理を行い、予測画像を生成する。動き補償部134は、予測画像画素値を、スイッチ124に供給するとともに、対象ブロックの動きベクトル情報を、動きベクトル情報バッファ132に格納させる。また、動き補償部134は、対象ブロックの差分動きベクトル情報を、差分動きベクトル情報バッファ133に格納させる。
[0211]
 メディアン予測部141は、動きベクトル情報バッファ132から、対象ブロックに対する周辺ブロックの動きベクトル情報を取得する。メディアン予測部141は、取得した周辺ブロックの動きベクトル情報を用いて、上述した式(5)のメディアン予測により、対象ブロックの予測動きベクトル情報を生成し、生成した予測動きベクトル情報を、動きベクトル情報生成部142に供給する。
[0212]
 動きベクトル情報生成部142は、2次差分動きベクトル情報バッファ131から対象ブロックの2次差分動きベクトル情報が供給されると、差分動きベクトル情報バッファ133から、対象ブロックの対応ブロックにおける差分動きベクトル情報を読み出す。また、動きベクトル情報生成部142には、メディアン予測部141から対象ブロックの予測動きベクトル情報も供給される。
[0213]
 動きベクトル情報生成部142は、上述した式(26)により、動きベクトル情報を生成する。また、動きベクトル情報生成部142は、2次差分動きベクトル情報に、対応ブロックの差分動きベクトル情報を加算することで、すなわち、次の式(27)により、対象ブロックの差分動きベクトル情報を生成する。生成された対象ブロックの動きベクトル情報と差分動きベクトル情報は、動き補償部134に供給される。
[0214]
  mvd c = mvdd + mvd r         ・・・(27)
[0215]
[画像復号装置の復号処理の説明]
 次に、図17のフローチャートを参照して、画像復号装置101が実行する復号処理について説明する。
[0216]
 ステップS131において、蓄積バッファ111は伝送されてきた画像を蓄積する。ステップS132において、可逆復号部112は、蓄積バッファ111から供給される圧縮画像を復号する。すなわち、図7の可逆符号化部66により符号化されたIピクチャ、Pピクチャ、並びにBピクチャが復号される。
[0217]
 このとき、2次差分動きベクトル情報、参照フレーム情報、および予測モード情報(イントラ予測モード、またはインター予測モードを示す情報)なども復号される。
[0218]
 すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部121に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する2次差分動きベクトル情報および参照フレーム情報は、動き予測・補償部122に供給される。
[0219]
 ステップS133において、逆量子化部113は可逆復号部112により復号された変換係数を、図7の量子化部65の特性に対応する特性で逆量子化する。ステップS134において逆直交変換部114は逆量子化部113により逆量子化された変換係数を、図7の直交変換部64の特性に対応する特性で逆直交変換する。これにより図7の直交変換部64の入力(演算部63の出力)に対応する差分情報が復号されたことになる。
[0220]
 ステップS135において、演算部115は、後述するステップS139の処理で選択され、スイッチ124を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップS136においてデブロックフィルタ116は、演算部115より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップS137においてフレームメモリ119は、フィルタリングされた画像を記憶する。
[0221]
 ステップS138において、イントラ予測部121または動き予測・補償部122は、可逆復号部112から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
[0222]
 すなわち、可逆復号部112からイントラ予測モード情報が供給された場合、イントラ予測部121は、イントラ予測モードのイントラ予測処理を行う。可逆復号部112からインター予測モード情報が供給された場合、動き予測・補償部122は、インター予測モードの動き予測・補償処理を行う。その際、可逆復号部112からの2次差分動きベクトル情報と、対応ブロックの差分動きベクトル情報から、対象ブロックの差分動きベクトル情報が生成される。また、生成された対象ブロックの差分動きベクトル情報と周辺ブロックの動きベクトル情報から生成された予測動きベクトル情報とから、対象ブロックの動きベクトル情報が生成される。そして、生成された動きベクトル情報が用いられて、参照画像に対して補償処理が行われることにより、インター予測モードの予測画像が生成される。
[0223]
 ステップS138における予測処理の詳細は、図18を参照して後述するが、この処理により、イントラ予測部121により生成された予測画像、または動き予測・補償部122により生成された予測画像がスイッチ124に供給される。
[0224]
 ステップS139において、スイッチ124は予測画像を選択する。すなわち、イントラ予測部121により生成された予測画像、または動き予測・補償部122により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部115に供給され、上述したように、ステップS135において逆直交変換部114の出力と加算される。
[0225]
 ステップS140において、画面並べ替えバッファ117は並べ替えを行う。すなわち画像符号化装置51の画面並べ替えバッファ62により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
[0226]
 ステップS141において、D/A変換部118は、画面並べ替えバッファ117からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
[0227]
[画像復号装置の予測処理の説明]
 次に、図18のフローチャートを参照して、図17のステップS138の予測処理を説明する。
[0228]
 イントラ予測部121は、ステップS171において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部112からイントラ予測モード情報がイントラ予測部121に供給されると、イントラ予測部121は、ステップS171において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップS172に進む。
[0229]
 イントラ予測部121は、ステップS172において、イントラ予測モード情報を取得し、ステップS173において、イントラ予測を行う。
[0230]
 すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ119から読み出され、スイッチ120を介してイントラ予測部121に供給される。ステップS173において、イントラ予測部121は、ステップS172で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ124に出力される。
[0231]
 一方、ステップS171において、イントラ符号化されていないと判定された場合、処理は、ステップS174に進む。
[0232]
 処理対象の画像がインター処理される画像である場合、可逆復号部112からマクロブロック毎のインター予測モード情報、並びに、ブロック毎の参照フレーム情報、2次差分動きベクトル情報が動き予測・補償部122に供給される。
[0233]
 ステップS174において、動き予測・補償部122は、インター予測モード情報、参照フレーム情報、および2次差分動きベクトル情報などを取得する。取得された2次差分動きベクトル情報は、2次差分動きベクトル情報バッファ131に蓄積され、動きベクトル情報生成部142に供給される。インター予測モード情報、参照フレーム情報は、図16の例では図示されないが、動き補償部134に供給される。
[0234]
 ステップS175において、メディアン予測部141は、対象ブロックの予測動きベクトル情報を生成する。すなわち、メディアン予測部141は、動きベクトル情報バッファ132から、対象ブロックに対する周辺ブロックの動きベクトル情報を取得する。メディアン予測部141は、取得した周辺ブロックの動きベクトル情報を用いて、上述した式(5)のメディアン予測により、対象ブロックの予測動きベクトル情報を生成し、生成した予測動きベクトル情報を、動きベクトル情報生成部142に供給する。
[0235]
 2次差分動きベクトル情報バッファ131から対象ブロックの2次差分動きベクトル情報が供給されると、ステップS176において、動きベクトル情報生成部142は、差分動きベクトル情報バッファ133から、対象ブロックの対応ブロックにおける差分動きベクトル情報を取得する。
[0236]
 ステップS177において、動きベクトル情報生成部142は、上述した式(26)により、対象ブロックの動きベクトル情報の再構築を行う。すなわち、動きベクトル情報生成部142は、2次差分動きベクトル情報に、対応ブロックの差分動きベクトル情報と、対象ブロックの予測動きベクトル情報とを加算することで、対象ブロックの動きベクトル情報を生成する。また、動きベクトル情報生成部142は、上述した式(27)により、対象ブロックの差分動きベクトル情報を生成する。生成された対象ブロックの動きベクトル情報と差分動きベクトル情報は、動き補償部134に供給される。
[0237]
 ステップS178において、動き補償部134は、動きベクトル情報生成部142からの対象ブロックの動きベクトル情報を用いて、フレームメモリ119からの参照画像画素値に補償処理を行い、予測画像を生成する。そして、動き補償部134は、予測画像画素値を、スイッチ124に供給するとともに、対象ブロックの動きベクトル情報を、動きベクトル情報バッファ132に格納させる。また、動き補償部134は、対象ブロックの差分動きベクトル情報を、差分動きベクトル情報バッファ133に格納させる。
[0238]
 以上のように、画像符号化装置51において、2次差分動きベクトル情報を符号化して送り、画像復号装置101において、符号化された2次差分動きベクトル情報を受け取り、動きベクトル情報を生成して、動き補償処理を行うようにした。すなわち、本発明においては、対象フレームと参照フレームとにおいて、差分動きベクトル情報における相関を利用するようにした。
[0239]
 例えば、通常のメディアン予測による差分動きベクトル情報を符号化する方法の場合に、ビットレートが低いと、静止画領域と動画領域の境界が弱点であったが、それを改善することができる。
[0240]
 以上により、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0241]
 なお、上述した式(6)で生成される、通常のメディアン予測による差分動きベクトル情報を符号化する方法と、本発明の2次差分動きベクトル情報を符号化する方法とを、動き予測ブロックレベルで適応的に選択して用いてもよい。この場合の選択の方法としては、例えば、コスト関数値などを求めて比較するなどが用いられる。そして、この場合には、前者および後者のどちらの方法により符号化が行われたかを示すフラグ情報が、ブロック毎に、圧縮画像のヘッダに付加して復号側に送信される。なお、このフラグ情報は、どちらの方法により符号化が行われたかが復号側で識別できる情報であれば、どのような情報であってもよい。復号側では、前者で符号化が行われたことを示すフラグ情報を参照し、送信されてくる通常のメディアン予測による差分動きベクトル情報と、生成される予測動きベクトル情報を用いて動きベクトル情報が生成される。
[0242]
 また、本発明による動きベクトル符号化方法は、非特許文献1における提案よりは、条件分岐を行わない分、より低い演算処理量により実現が可能である。しかしながら、H.264/AVC方式において規定されているメディアン予測処理よりは、差分動きベクトル情報をメモリなどに格納し、これを参照する分、より高い演算量を要する。そこで、プロファイルに応じて、例えば、H.264/AVCにおけるHigh Profileのように、より高い演算処理量により実現されるプロファイルについてのみ、本発明による方法を適用するようにしてもよい。すなわち、符号化パラメータ内のシーケンスパラメータセットにおけるprofile_idcを参照し、これに応じて本発明による方法を適用する、しないの決定を行うようにしてもよい。
[0243]
 なお、上記説明においては、動きベクトル情報における、空間相関を用いてから時間相関を用いる例を説明した。H.264/AVCにおいては、メディアン予測が用いられるので、適用しやすいという理由からである。ただし、上述した図8および図9の例において、次のように、時間相関を用いてから空間相関を用いる、動きベクトル情報の時空間相関を利用した符号化処理および復号処理を行うことも可能である。
[0244]
 符号化側の処理に関しては、まず、第1ステップとして、次の式(28)のように、diff_mvA、diff_mvB、diff_mvC、およびdiff_mvXが算出される。

 diff_mvA = (mvA c mvA r)
 diff_mvB = (mvB c mvB r)
 diff_mvC = (mvC c mvC r)
 diff_mvX = (mvX c mvX r)       ・・・(28)
[0245]
 第2ステップとして、diff_pmvが、次の式(29)のように算出される。

 diff_pmv = Median(diff_mvA,diff_mvB,diff_mvC)   ・・・(29)
[0246]
 第3ステップとして、符号化すべき動きベクトル情報mvddが、次の式(30)のように算出され、算出されたmvddが可逆符号化されて、伝送される。

 mvdd = diff_mvX diff_pmv          ・・・(30)
[0247]
 復号側の処理に関して、第1ステップとして、可逆復号処理により、mvddが圧縮画像から抽出される。次に、第2ステップとして、符号化側と同様に、diff_pmvが生成される。そして、第3ステップとして、動きベクトルバッファから、対応(co-located)ブロックにおける動きベクトル情報mvX rが抽出される。
[0248]
 その結果、対象ブロックに対する動きベクトル情報mvXcが、次の式(31)のように算出される。

 mvX c = mvdd + mvX r + diff_pmv       ・・・(31)
[0249]
 なお、上記説明においては、マクロブロックの大きさが、16×16画素の場合について説明してきたが、本発明は、拡張されたマクロブロックサイズに対しても適用することが可能である。
[0250]
 図19は、拡張されたマクロブロックサイズの例を示す図である。
[0251]
 図19の上段には、左から、32×32画素、32×16画素、16×32画素、および16×16画素のブロック(パーティション)に分割された32×32画素で構成されるマクロブロックが順に示されている。図19の中段には、左から、16×16画素、16×8画素、8×16画素、および8×8画素のブロックに分割された16×16画素で構成されるブロックが順に示されている。また、図19の下段には、左から、8×8画素、8×4画素、4×8画素、および4×4画素のブロックに分割された8×8画素のブロックが順に示されている。
[0252]
 すなわち、32×32画素のマクロブロックは、図19の上段に示される32×32画素、32×16画素、16×32画素、および16×16画素のブロックでの処理が可能である。
[0253]
 また、上段の右側に示される16×16画素のブロックは、H.264/AVC方式と同様に、中段に示される16×16画素、16×8画素、8×16画素、および8×8画素のブロックでの処理が可能である。
[0254]
 さらに、中段の右側に示される8×8画素のブロックは、H.264/AVC方式と同様に、下段に示される8×8画素、8×4画素、4×8画素、および4×4画素のブロックでの処理が可能である。
[0255]
 このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、16×16画素のブロック以下に関してH.264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
[0256]
 以上のように提案される拡張されたマクロブロックサイズにも、本発明を適用することができる。
[0257]
 なお、上記説明においては、予測動きベクトル情報として、メディアン予測による空間予測動きベクトル情報(Spatial Predictor)を用いて説明したが、予測動きベクトル情報としては、時間予測動きベクトル情報(Temporal Predictor)および時空間予測動きベクトル情報(Spatio-Temporal Predictor)、あるいは、その他の予測動きベクトル情報を用いるようにしてもよい。
[0258]
 以上においては、符号化方式としてH.264/AVC方式をベースに用いるようにしたが、これに限らない。すなわち、本発明は、差分処理を用いた動きベクトル情報符号化処理を行う、その他の符号化方式/復号方式にも適用することができる。例えば、空間方向の相関を利用する方法として、MPEG-2のように、左側に位置するブロックにおける動きベクトル情報との差分値により処理を行ってもよい。
[0259]
 なお、本発明は、例えば、MPEG、H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
[0260]
 上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
[0261]
[パーソナルコンピュータの構成例]
 図20は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
[0262]
 コンピュータにおいて、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203は、バス204により相互に接続されている。
[0263]
 バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続されている。
[0264]
 入力部206は、キーボード、マウス、マイクロホンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
[0265]
 以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを入出力インタフェース205及びバス204を介してRAM203にロードして実行することにより、上述した一連の処理が行われる。
[0266]
 コンピュータ(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
[0267]
 コンピュータでは、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
[0268]
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
[0269]
 本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
[0270]
 例えば、上述した画像符号化装置51や画像復号装置101は、任意の電子機器に適用することができる。以下にその例について説明する。
[0271]
[テレビジョン受像機の構成例]
 図21は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
[0272]
 図21に示されるテレビジョン受像機300は、地上波チューナ313、ビデオデコーダ315、映像信号処理回路318、グラフィック生成回路319、パネル駆動回路320、および表示パネル321を有する。
[0273]
 地上波チューナ313は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ315に供給する。ビデオデコーダ315は、地上波チューナ313から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路318に供給する。
[0274]
 映像信号処理回路318は、ビデオデコーダ315から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路319に供給する。
[0275]
 グラフィック生成回路319は、表示パネル321に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路320に供給する。また、グラフィック生成回路319は、項目の選択などにユーザにより利用される画面を表示するための映像データ(グラフィック)を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路320に供給するといった処理も適宜行う。
[0276]
 パネル駆動回路320は、グラフィック生成回路319から供給されたデータに基づいて表示パネル321を駆動し、番組の映像や上述した各種の画面を表示パネル321に表示させる。
[0277]
 表示パネル321はLCD(Liquid Crystal Display)などよりなり、パネル駆動回路320による制御に従って番組の映像などを表示させる。
[0278]
 また、テレビジョン受像機300は、音声A/D(Analog/Digital)変換回路314、音声信号処理回路322、エコーキャンセル/音声合成回路323、音声増幅回路324、およびスピーカ325も有する。
[0279]
 地上波チューナ313は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ313は、取得した音声信号を音声A/D変換回路314に供給する。
[0280]
 音声A/D変換回路314は、地上波チューナ313から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路322に供給する。
[0281]
 音声信号処理回路322は、音声A/D変換回路314から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル/音声合成回路323に供給する。
[0282]
 エコーキャンセル/音声合成回路323は、音声信号処理回路322から供給された音声データを音声増幅回路324に供給する。
[0283]
 音声増幅回路324は、エコーキャンセル/音声合成回路323から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ325から出力させる。
[0284]
 さらに、テレビジョン受像機300は、デジタルチューナ316およびMPEGデコーダ317も有する。
[0285]
 デジタルチューナ316は、デジタル放送(地上デジタル放送、BS(Broadcasting Satellite)/CS(Communications Satellite)デジタル放送)の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS(Moving Picture Experts Group-Transport Stream)を取得し、それをMPEGデコーダ317に供給する。
[0286]
 MPEGデコーダ317は、デジタルチューナ316から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象(視聴対象)になっている番組のデータを含むストリームを抽出する。MPEGデコーダ317は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路322に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路318に供給する。また、MPEGデコーダ317は、MPEG-TSから抽出したEPG(Electronic Program Guide)データを図示せぬ経路を介してCPU332に供給する。
[0287]
 テレビジョン受像機300は、このように映像パケットをデコードするMPEGデコーダ317として、上述した画像復号装置101を用いる。したがって、MPEGデコーダ317は、画像復号装置101の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0288]
 MPEGデコーダ317から供給された映像データは、ビデオデコーダ315から供給された映像データの場合と同様に、映像信号処理回路318において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路319において、生成された映像データ等が適宜重畳され、パネル駆動回路320を介して表示パネル321に供給され、その画像が表示される。
[0289]
 MPEGデコーダ317から供給された音声データは、音声A/D変換回路314から供給された音声データの場合と同様に、音声信号処理回路322において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル/音声合成回路323を介して音声増幅回路324に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ325から出力される。
[0290]
 また、テレビジョン受像機300は、マイクロホン326、およびA/D変換回路327も有する。
[0291]
 A/D変換回路327は、音声会話用のものとしてテレビジョン受像機300に設けられるマイクロホン326により取り込まれたユーザの音声の信号を受信する。A/D変換回路327は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル/音声合成回路323に供給する。
[0292]
 エコーキャンセル/音声合成回路323は、テレビジョン受像機300のユーザ(ユーザA)の音声のデータがA/D変換回路327から供給されている場合、ユーザAの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル/音声合成回路323は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路324を介してスピーカ325より出力させる。
[0293]
 さらに、テレビジョン受像機300は、音声コーデック328、内部バス329、SDRAM(Synchronous Dynamic Random Access Memory)330、フラッシュメモリ331、CPU332、USB(Universal Serial Bus) I/F333、およびネットワークI/F334も有する。
[0294]
 A/D変換回路327は、音声会話用のものとしてテレビジョン受像機300に設けられるマイクロホン326により取り込まれたユーザの音声の信号を受信する。A/D変換回路327は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック328に供給する。
[0295]
 音声コーデック328は、A/D変換回路327から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス329を介してネットワークI/F334に供給する。
[0296]
 ネットワークI/F334は、ネットワーク端子335に装着されたケーブルを介してネットワークに接続される。ネットワークI/F334は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック328から供給された音声データを送信する。また、ネットワークI/F334は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子335を介して受信し、それを、内部バス329を介して音声コーデック328に供給する。
[0297]
 音声コーデック328は、ネットワークI/F334から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル/音声合成回路323に供給する。
[0298]
 エコーキャンセル/音声合成回路323は、音声コーデック328から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路324を介してスピーカ325より出力させる。
[0299]
 SDRAM330は、CPU332が処理を行う上で必要な各種のデータを記憶する。
[0300]
 フラッシュメモリ331は、CPU332により実行されるプログラムを記憶する。フラッシュメモリ331に記憶されているプログラムは、テレビジョン受像機300の起動時などの所定のタイミングでCPU332により読み出される。フラッシュメモリ331には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
[0301]
 例えば、フラッシュメモリ331には、CPU332の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ331は、例えばCPU332の制御により、そのMPEG-TSを、内部バス329を介してMPEGデコーダ317に供給する。
[0302]
 MPEGデコーダ317は、デジタルチューナ316から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機300は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ317を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
[0303]
 また、テレビジョン受像機300は、リモートコントローラ351から送信される赤外線信号を受光する受光部337も有する。
[0304]
 受光部337は、リモートコントローラ351からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU332に出力する。
[0305]
 CPU332は、フラッシュメモリ331に記憶されているプログラムを実行し、受光部337から供給される制御コードなどに応じてテレビジョン受像機300の全体の動作を制御する。CPU332とテレビジョン受像機300の各部は、図示せぬ経路を介して接続されている。
[0306]
 USB I/F333は、USB端子336に装着されたUSBケーブルを介して接続される、テレビジョン受像機300の外部の機器との間でデータの送受信を行う。ネットワークI/F334は、ネットワーク端子335に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
[0307]
 テレビジョン受像機300は、MPEGデコーダ317として画像復号装置101を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機300は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。
[0308]
[携帯電話機の構成例]
 図22は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
[0309]
 図22に示される携帯電話機400は、各部を統括的に制御するようになされた主制御部450、電源回路部451、操作入力制御部452、画像エンコーダ453、カメラI/F部454、LCD制御部455、画像デコーダ456、多重分離部457、記録再生部462、変復調回路部458、および音声コーデック459を有する。これらは、バス460を介して互いに接続されている。
[0310]
 また、携帯電話機400は、操作キー419、CCD(Charge Coupled Devices)カメラ416、液晶ディスプレイ418、記憶部423、送受信回路部463、アンテナ414、マイクロホン(マイク)421、およびスピーカ417を有する。
[0311]
 電源回路部451は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機400を動作可能な状態に起動する。
[0312]
 携帯電話機400は、CPU、ROMおよびRAM等でなる主制御部450の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
[0313]
 例えば、音声通話モードにおいて、携帯電話機400は、マイクロホン(マイク)421で集音した音声信号を、音声コーデック459によってデジタル音声データに変換し、これを変復調回路部458でスペクトラム拡散処理し、送受信回路部463でデジタルアナログ変換処理および周波数変換処理する。携帯電話機400は、その変換処理により得られた送信用信号を、アンテナ414を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号(音声信号)は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
[0314]
 また、例えば、音声通話モードにおいて、携帯電話機400は、アンテナ414で受信した受信信号を送受信回路部463で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部458でスペクトラム逆拡散処理し、音声コーデック459によってアナログ音声信号に変換する。携帯電話機400は、その変換して得られたアナログ音声信号をスピーカ417から出力する。
[0315]
 更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機400は、操作キー419の操作によって入力された電子メールのテキストデータを、操作入力制御部452において受け付ける。携帯電話機400は、そのテキストデータを主制御部450において処理し、LCD制御部455を介して、画像として液晶ディスプレイ418に表示させる。
[0316]
 また、携帯電話機400は、主制御部450において、操作入力制御部452が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機400は、その電子メールデータを、変復調回路部458でスペクトラム拡散処理し、送受信回路部463でデジタルアナログ変換処理および周波数変換処理する。携帯電話機400は、その変換処理により得られた送信用信号を、アンテナ414を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号(電子メール)は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
[0317]
 また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機400は、基地局から送信された信号を、アンテナ414を介して送受信回路部463で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機400は、その受信信号を変復調回路部458でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機400は、復元された電子メールデータを、LCD制御部455を介して液晶ディスプレイ418に表示する。
[0318]
 なお、携帯電話機400は、受信した電子メールデータを、記録再生部462を介して、記憶部423に記録する(記憶させる)ことも可能である。
[0319]
 この記憶部423は、書き換え可能な任意の記憶媒体である。記憶部423は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
[0320]
 さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機400は、撮像によりCCDカメラ416で画像データを生成する。CCDカメラ416は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部454を介して、画像エンコーダ453で、例えばMPEG2やMPEG4等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
[0321]
 携帯電話機400は、このような処理を行う画像エンコーダ453として、上述した画像符号化装置51を用いる。したがって、画像エンコーダ453は、画像符号化装置51の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0322]
 なお、携帯電話機400は、このとき同時に、CCDカメラ416で撮像中にマイクロホン(マイク)421で集音した音声を、音声コーデック459においてアナログデジタル変換し、さらに符号化する。
[0323]
 携帯電話機400は、多重分離部457において、画像エンコーダ453から供給された符号化画像データと、音声コーデック459から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機400は、その結果得られる多重化データを、変復調回路部458でスペクトラム拡散処理し、送受信回路部463でデジタルアナログ変換処理および周波数変換処理する。携帯電話機400は、その変換処理により得られた送信用信号を、アンテナ414を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号(画像データ)は、ネットワーク等を介して、通信相手に供給される。
[0324]
 なお、画像データを送信しない場合、携帯電話機400は、CCDカメラ416で生成した画像データを、画像エンコーダ453を介さずに、LCD制御部455を介して液晶ディスプレイ418に表示させることもできる。
[0325]
 また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機400は、基地局から送信された信号を、アンテナ414を介して送受信回路部463で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機400は、その受信信号を変復調回路部458でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機400は、多重分離部457において、その多重化データを分離して、符号化画像データと音声データとに分ける。
[0326]
 携帯電話機400は、画像デコーダ456において、符号化画像データを、MPEG2やMPEG4等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部455を介して液晶ディスプレイ418に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ418に表示される。
[0327]
 携帯電話機400は、このような処理を行う画像デコーダ456として、上述した画像復号装置101を用いる。したがって、画像デコーダ456は、画像復号装置101の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0328]
 このとき、携帯電話機400は、同時に、音声コーデック459において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ417より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
[0329]
 なお、電子メールの場合と同様に、携帯電話機400は、受信した簡易ホームページ等にリンクされたデータを、記録再生部462を介して、記憶部423に記録する(記憶させる)ことも可能である。
[0330]
 また、携帯電話機400は、主制御部450において、撮像されてCCDカメラ416で得られた2次元コードを解析し、2次元コードに記録された情報を取得することができる。
[0331]
 さらに、携帯電話機400は、赤外線通信部481で赤外線により外部の機器と通信することができる。
[0332]
 携帯電話機400は、画像エンコーダ453として画像符号化装置51を用いることにより、符号化効率を向上させることができる。結果として、携帯電話機400は、符号化効率のよい符号化データ(画像データ)を、他の装置に提供することができる。
[0333]
 また、携帯電話機400は、画像デコーダ456として画像復号装置101を用いることにより、符号化効率を向上させることができる。その結果として、携帯電話機400は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。
[0334]
 なお、以上において、携帯電話機400が、CCDカメラ416を用いるように説明したが、このCCDカメラ416の代わりに、CMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンサ(CMOSイメージセンサ)を用いるようにしてもよい。この場合も、携帯電話機400は、CCDカメラ416を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
[0335]
 また、以上においては携帯電話機400として説明したが、例えば、PDA(Personal Digital Assistants)、スマートフォン、UMPC(Ultra Mobile Personal Computer)、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機400と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機400の場合と同様に、画像符号化装置51および画像復号装置101を適用することができる。
[0336]
[ハードディスクレコーダの構成例]
 図23は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
[0337]
 図23に示されるハードディスクレコーダ(HDDレコーダ)500は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号(テレビジョン信号)に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
[0338]
 ハードディスクレコーダ500は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ500は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
[0339]
 さらに、ハードディスクレコーダ500は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ560に供給し、モニタ560の画面にその画像を表示させる。また、ハードディスクレコーダ500は、モニタ560のスピーカよりその音声を出力させることができる。
[0340]
 ハードディスクレコーダ500は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ560に供給し、モニタ560の画面にその画像を表示させる。また、ハードディスクレコーダ500は、モニタ560のスピーカよりその音声を出力させることもできる。
[0341]
 もちろん、この他の動作も可能である。
[0342]
 図23に示されるように、ハードディスクレコーダ500は、受信部521、復調部522、デマルチプレクサ523、オーディオデコーダ524、ビデオデコーダ525、およびレコーダ制御部526を有する。ハードディスクレコーダ500は、さらに、EPGデータメモリ527、プログラムメモリ528、ワークメモリ529、ディスプレイコンバータ530、OSD(On Screen Display)制御部531、ディスプレイ制御部532、記録再生部533、D/Aコンバータ534、および通信部535を有する。
[0343]
 また、ディスプレイコンバータ530は、ビデオエンコーダ541を有する。記録再生部533は、エンコーダ551およびデコーダ552を有する。
[0344]
 受信部521は、リモートコントローラ(図示せず)からの赤外線信号を受信し、電気信号に変換してレコーダ制御部526に出力する。レコーダ制御部526は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ528に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部526は、このとき、ワークメモリ529を必要に応じて使用する。
[0345]
 通信部535は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部535は、レコーダ制御部526により制御され、チューナ(図示せず)と通信し、主にチューナに対して選局制御信号を出力する。
[0346]
 復調部522は、チューナより供給された信号を、復調し、デマルチプレクサ523に出力する。デマルチプレクサ523は、復調部522より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ524、ビデオデコーダ525、またはレコーダ制御部526に出力する。
[0347]
 オーディオデコーダ524は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部533に出力する。ビデオデコーダ525は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ530に出力する。レコーダ制御部526は、入力されたEPGデータをEPGデータメモリ527に供給し、記憶させる。
[0348]
 ディスプレイコンバータ530は、ビデオデコーダ525またはレコーダ制御部526より供給されたビデオデータを、ビデオエンコーダ541により、例えばNTSC(National Television Standards Committee)方式のビデオデータにエンコードし、記録再生部533に出力する。また、ディスプレイコンバータ530は、ビデオデコーダ525またはレコーダ制御部526より供給されるビデオデータの画面のサイズを、モニタ560のサイズに対応するサイズに変換する。ディスプレイコンバータ530は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ541によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部532に出力する。
[0349]
 ディスプレイ制御部532は、レコーダ制御部526の制御のもと、OSD(On Screen Display)制御部531が出力したOSD信号を、ディスプレイコンバータ530より入力されたビデオ信号に重畳し、モニタ560のディスプレイに出力し、表示させる。
[0350]
 モニタ560にはまた、オーディオデコーダ524が出力したオーディオデータが、D/Aコンバータ534によりアナログ信号に変換されて供給されている。モニタ560は、このオーディオ信号を内蔵するスピーカから出力する。
[0351]
 記録再生部533は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
[0352]
 記録再生部533は、例えば、オーディオデコーダ524より供給されるオーディオデータを、エンコーダ551によりMPEG方式でエンコードする。また、記録再生部533は、ディスプレイコンバータ530のビデオエンコーダ541より供給されるビデオデータを、エンコーダ551によりMPEG方式でエンコードする。記録再生部533は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部533は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
[0353]
 記録再生部533は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部533は、デコーダ552によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部533は、復号したオーディオデータをD/A変換し、モニタ560のスピーカに出力する。また、記録再生部533は、復号したビデオデータをD/A変換し、モニタ560のディスプレイに出力する。
[0354]
 レコーダ制御部526は、受信部521を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ527から最新のEPGデータを読み出し、それをOSD制御部531に供給する。OSD制御部531は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部532に出力する。ディスプレイ制御部532は、OSD制御部531より入力されたビデオデータをモニタ560のディスプレイに出力し、表示させる。これにより、モニタ560のディスプレイには、EPG(電子番組ガイド)が表示される。
[0355]
 また、ハードディスクレコーダ500は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
[0356]
 通信部535は、レコーダ制御部526に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部526に供給する。レコーダ制御部526は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部533に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部526および記録再生部533が、必要に応じて再エンコード等の処理を行うようにしてもよい。
[0357]
 また、レコーダ制御部526は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ530に供給する。ディスプレイコンバータ530は、ビデオデコーダ525から供給されるビデオデータと同様に、レコーダ制御部526から供給されるビデオデータを処理し、ディスプレイ制御部532を介してモニタ560に供給し、その画像を表示させる。
[0358]
 また、この画像表示に合わせて、レコーダ制御部526が、復号したオーディオデータを、D/Aコンバータ534を介してモニタ560に供給し、その音声をスピーカから出力させるようにしてもよい。
[0359]
 さらに、レコーダ制御部526は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ527に供給する。
[0360]
 以上のようなハードディスクレコーダ500は、ビデオデコーダ525、デコーダ552、およびレコーダ制御部526に内蔵されるデコーダとして画像復号装置101を用いる。したがって、ビデオデコーダ525、デコーダ552、およびレコーダ制御部526に内蔵されるデコーダは、画像復号装置101の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0361]
 したがって、ハードディスクレコーダ500は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ500は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部533のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ560に表示させることができる。
[0362]
 また、ハードディスクレコーダ500は、エンコーダ551として画像符号化装置51を用いる。したがって、エンコーダ551は、画像符号化装置51の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0363]
 したがって、ハードディスクレコーダ500は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ500は、ハードディスクの記憶領域をより効率よく使用することができる。
[0364]
 なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ500について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ500の場合と同様に、画像符号化装置51および画像復号装置101を適用することができる。
[0365]
[カメラの構成例]
 図24は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
[0366]
 図24に示されるカメラ600は、被写体を撮像し、被写体の画像をLCD616に表示させたり、それを画像データとして、記録メディア633に記録したりする。
[0367]
 レンズブロック611は、光(すなわち、被写体の映像)を、CCD/CMOS612に入射させる。CCD/CMOS612は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部613に供給する。
[0368]
 カメラ信号処理部613は、CCD/CMOS612から供給された電気信号を、Y,Cr,Cbの色差信号に変換し、画像信号処理部614に供給する。画像信号処理部614は、コントローラ621の制御の下、カメラ信号処理部613から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ641で例えばMPEG方式により符号化したりする。画像信号処理部614は、画像信号を符号化して生成した符号化データを、デコーダ615に供給する。さらに、画像信号処理部614は、オンスクリーンディスプレイ(OSD)620において生成された表示用データを取得し、それをデコーダ615に供給する。
[0369]
 以上の処理において、カメラ信号処理部613は、バス617を介して接続されるDRAM(Dynamic Random Access Memory)618を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM618に保持させる。
[0370]
 デコーダ615は、画像信号処理部614から供給された符号化データを復号し、得られた画像データ(復号画像データ)をLCD616に供給する。また、デコーダ615は、画像信号処理部614から供給された表示用データをLCD616に供給する。LCD616は、デコーダ615から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
[0371]
 オンスクリーンディスプレイ620は、コントローラ621の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス617を介して画像信号処理部614に出力する。
[0372]
 コントローラ621は、ユーザが操作部622を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス617を介して、画像信号処理部614、DRAM618、外部インタフェース619、オンスクリーンディスプレイ620、およびメディアドライブ623等を制御する。FLASH ROM624には、コントローラ621が各種処理を実行する上で必要なプログラムやデータ等が格納される。
[0373]
 例えば、コントローラ621は、画像信号処理部614やデコーダ615に代わって、DRAM618に記憶されている画像データを符号化したり、DRAM618に記憶されている符号化データを復号したりすることができる。このとき、コントローラ621は、画像信号処理部614やデコーダ615の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部614やデコーダ615が対応していない方式により符号化・復号処理を行うようにしてもよい。
[0374]
 また、例えば、操作部622から画像印刷の開始が指示された場合、コントローラ621は、DRAM618から画像データを読み出し、それを、バス617を介して外部インタフェース619に接続されるプリンタ634に供給して印刷させる。
[0375]
 さらに、例えば、操作部622から画像記録が指示された場合、コントローラ621は、DRAM618から符号化データを読み出し、それを、バス617を介してメディアドライブ623に装着される記録メディア633に供給して記憶させる。
[0376]
 記録メディア633は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア633は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
[0377]
 また、メディアドライブ623と記録メディア633を一体化し、例えば、内蔵型ハードディスクドライブやSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
[0378]
 外部インタフェース619は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ634と接続される。また、外部インタフェース619には、必要に応じてドライブ631が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア632が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM624にインストールされる。
[0379]
 さらに、外部インタフェース619は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ621は、例えば、操作部622からの指示に従って、DRAM618から符号化データを読み出し、それを外部インタフェース619から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ621は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース619を介して取得し、それをDRAM618に保持させたり、画像信号処理部614に供給したりすることができる。
[0380]
 以上のようなカメラ600は、デコーダ615として画像復号装置101を用いる。したがって、デコーダ615は、画像復号装置101の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0381]
 したがって、カメラ600は、精度の高い予測画像を生成することができる。その結果として、カメラ600は、例えば、CCD/CMOS612において生成された画像データや、DRAM618または記録メディア633から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD616に表示させることができる。
[0382]
 また、カメラ600は、エンコーダ641として画像符号化装置51を用いる。したがって、エンコーダ641は、画像符号化装置51の場合と同様に、予測動きベクトル情報を生成する際に、処理量の増加を抑制するとともに、符号化効率を向上させることができる。
[0383]
 したがって、カメラ600は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ600は、DRAM618や記録メディア633の記憶領域をより効率よく使用することができる。
[0384]
 なお、コントローラ621が行う復号処理に画像復号装置101の復号方法を適用するようにしてもよい。同様に、コントローラ621が行う符号化処理に画像符号化装置51の符号化方法を適用するようにしてもよい。
[0385]
 また、カメラ600が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
[0386]
 もちろん、画像符号化装置51並びに画像復号装置101は、上述した装置以外の装置やシステムにも適用可能である。

符号の説明

[0387]
 51 画像符号化装置, 66 可逆符号化部, 74 イントラ予測部, 75 動き予測・補償部, 76 動きベクトル情報符号化部, 81 動き探索部, 82 コスト関数算出部, 83 モード判定部, 84 動き補償部, 91 メディアン予測部, 92 差分動きベクトル生成部, 93 2次差分動きベクトル生成部,101 画像復号装置, 112 可逆復号部, 121 イントラ予測部, 122 動き補償部, 123 動きベクトル情報復号部, 131 2次差分動きベクトル情報バッファ, 132 動きベクトル情報バッファ, 133 差分動きベクトル情報バッファ, 134 動き補償部, 141 メディアン予測部, 142 動きベクトル情報生成部

請求の範囲

[請求項1]
 符号化対象フレームにおける符号化対象ブロックに対して探索された動きベクトル情報と、前記符号化対象ブロックの予測動きベクトル情報との差分である前記符号化対象ブロックの差分動きベクトル情報を生成する差分動きベクトル生成手段と、
 前記差分動きベクトル生成手段により生成された前記符号化対象ブロックの差分動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報との差分である2次差分動きベクトル情報を生成する2次差分動きベクトル生成手段と
 を備える画像処理装置。
[請求項2]
 前記符号化対象フレームにおいて、メディアン予測により、前記符号化対象ブロックの予測動きベクトル情報を生成する予測動きベクトル生成手段を
 さらに備える請求項1に記載の画像処理装置。
[請求項3]
 前記2次差分動きベクトル生成手段は、前記対応ブロックがイントラ予測されたブロックである場合、前記対応ブロックの差分動きベクトル情報を0であるとして、前記2次差分動きベクトル情報を生成する
 請求項1に記載の画像処理装置。
[請求項4]
 前記2次差分動きベクトル生成手段により生成された2次差分動きベクトル情報と前記符号化対象ブロックの画像とを符号化する符号化手段と、
 前記符号化手段により符号化された2次差分動きベクトル情報と前記符号化対象ブロックの画像とを伝送する伝送手段と
 をさらに備える請求項1に記載の画像処理装置。
[請求項5]
 前記差分動きベクトル生成手段により生成された前記符号化対象ブロックの差分動きベクトル情報と、前記2次差分動きベクトル生成手段により生成された2次差分動きベクトル情報とのどちらか一方を選択し、選択された一方の情報と前記符号化対象ブロックの画像とを符号化する符号化手段と、
 前記符号化手段により符号化された一方の情報と前記符号化対象ブロックの画像とを伝送する伝送手段と
 をさらに備える請求項1に記載の画像処理装置。
[請求項6]
 前記伝送手段は、前記符号化対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらが選択されて符号化されたかに関するフラグ情報も伝送する
 請求項5に記載の画像処理装置。
[請求項7]
 前記符号化手段は、前記符号化対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方を、適応的に選択する
 請求項5に記載の画像処理装置。
[請求項8]
 前記符号化手段は、前記符号化対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方を、符号化パラメータにおけるプロファイルに応じて選択する
 請求項5に記載の画像処理装置。
[請求項9]
 差分動きベクトル生成手段と、2次差分動きベクトル生成手段とを備える画像処理装置において、
 前記差分動きベクトル生成手段は、符号化対象フレームにおける符号化対象フレームにおいて、符号化対象ブロックに対して探索された動きベクトル情報と、前記符号化対象ブロックの予測動きベクトル情報との差分である前記符号化対象ブロックの差分動きベクトル情報を生成し、
 前記2次差分動きベクトル生成手段は、前記差分動きベクトル生成手段により生成された前記符号化対象ブロックの差分動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報との差分である2次差分動きベクトル情報を生成する
 画像処理方法。
[請求項10]
 復号対象フレームにおける復号対象ブロックの画像と、2次差分動きベクトル情報を受け取る受け取り手段と、
 前記受け取り手段により受け取られた2次差分動きベクトル情報と、前記復号対象ブロックの予測動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報とを用いて、前記復号対象ブロックの動きベクトル情報を生成する動きベクトル生成手段と
 を備える画像処理装置。
[請求項11]
 前記復号対象フレームにおいて、メディアン予測により、前記復号対象ブロックの予測動きベクトル情報を生成する予測動きベクトル生成手段を
 さらに備える請求項10に記載の画像処理装置。
[請求項12]
 前記動きベクトル生成手段は、前記対応ブロックがイントラ予測されたブロックである場合、前記対応ブロックの差分動きベクトル情報を0であるとして、前記復号対象ブロックの動きベクトル情報を生成する
 請求項10に記載の画像処理装置。
[請求項13]
 前記受け取り手段は、前記復号対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらが符号化されているかに関するフラグ情報も受け取り、
 前記フラグ情報が、前記2次差分動きベクトル情報が符号化されていることを示す場合、前記2次差分動きベクトル情報を受け取る
 請求項10に記載の画像処理装置。
[請求項14]
 前記受け取り手段は、前記フラグ情報が、前記復号対象ブロックの差分動きベクトル情報が符号化されていることと示す場合、前記差分動きベクトル情報を受け取り、
 前記動きベクトル生成手段は、前記受け取り手段により受け取られた前記復号対象ブロックの差分動きベクトル情報と、前記予測動きベクトル生成手段により生成された前記復号対象ブロックの予測動きベクトル情報を用いて、前記復号対象ブロックの動きベクトル情報を生成する
 請求項13に記載の画像処理装置。
[請求項15]
 前記復号対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方は、適応的に選択されて符号化されている
 請求項13に記載の画像処理装置。
[請求項16]
 前記復号対象ブロックの差分動きベクトル情報と前記2次差分動きベクトル情報とのどちらか一方は、符号化パラメータにおけるプロファイルに応じて選択されて符号化されている
 請求項13に記載の画像処理装置。
[請求項17]
 受け取り手段と、動きベクトル生成手段とを備える画像処理装置において、
 前記受け取り手段は、復号対象フレームにおける復号対象ブロックの画像と、2次差分動きベクトル情報を受け取り、
 前記動きベクトル生成手段は、受け取られた2次差分動きベクトル情報と、前記復号対象ブロックの予測動きベクトル情報と、参照フレームのブロックであって、前記符号化対象ブロックに対応する位置のブロックである対応ブロックの差分動きベクトル情報とを用いて、前記復号対象ブロックの動きベクトル情報を生成する
 画像処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]