処理中

しばらくお待ちください...

設定

設定

1. WO2011125729 - 画像処理装置と画像処理方法

Document

明 細 書

発明の名称 画像処理装置と画像処理方法

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008  

先行技術文献

特許文献

0009  

非特許文献

0010  

発明の概要

発明が解決しようとする課題

0011   0012  

課題を解決するための手段

0013   0014   0015   0016   0017  

発明の効果

0018  

図面の簡単な説明

0019  

発明を実施するための形態

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170  

産業上の利用可能性

0171  

符号の説明

0172  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

補正された請求の範囲(条約第19条)

1  *   2  *   3  *   4  *   5  *   6  *   7  *   8  *   9  *   10  *   11  *   12  *   13  *   14  *   15  *   16  *   17  *   18  *   19  *   20  *   21  *   22  *   23  *   24  *   25  *   26  *  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 画像処理装置と画像処理方法

技術分野

[0001]
 この発明は、画像処理装置と画像処理方法に関する。詳しくは、良好な画質の復号画像を得られるようにする。

背景技術

[0002]
 近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するMPEGなどの方式に準拠した装置が、放送局や一般家庭において普及しつつある。
[0003]
 特に、MPEG2(ISO/IEC13818-2)は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。このMPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば、4~8Mbps符号量(ビットレート)を割り当てることで良好な画質の実現が可能である。また、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18~22Mbpsの符号量(ビットレート)を割り当てることで良好な画質の実現が可能である。
[0004]
 MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC14496-2としてその規格が国際標準に承認された。
[0005]
 さらに、近年、当初テレビ会議用の画像符号化を目的として、H.26L(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH.264およびMPEG-4 Part10 (Advanced Video Coding、以下「H.264/AVC」と記す)という名の下に国際標準となった。
[0006]
 さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG2で規定されていた8×8DCTや量子化マトリクスをも含んだFRExt(Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、H.264/AVC方式を用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray(商標)等の幅広いアプリケーションに用いられる運びとなった。
[0007]
 このような符号化復号化処理では、ブロック単位で画像データの符号化が行われている。また、符号化データの復号化では、例えば特許文献1に示すように、ブロック境界強度や量子化パラメータを基にしてフィルタ処理を行うことブロック歪みを抑制することが行われている。
[0008]
 さらに、昨今、4000×2000画素程度の画像を圧縮したい、またはインターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、さらなる高圧縮率符号化に対するニーズが高まっている。このため、非特許文献1のように、マクロブロックサイズを、MPEG2やH.264/AVCよりも大きい例えば32画素×32画素といった大きさにすることが提案されている。すなわち、非特許文献1では、マクロブロックについて階層構造を採用することにより、16×16画素ブロック以下に関しては、H.264/AVCにおけるマクロブロックと互換性を保ち、そのスーパーセットとして、より大きなブロックが定義されている。

先行技術文献

特許文献

[0009]
特許文献1 : 特開2007-36463号公報

非特許文献

[0010]
非特許文献1 : “Video Coding Using Extended Block”(Study Group16, Contribution 123, ITU, 2009年1月)

発明の概要

発明が解決しようとする課題

[0011]
 ところで、拡張された大きさのマクロブロックを用いる場合、特に低いビットレートにおいては、ブロック歪みが大きくなる。このため、従来のデブロッキングフィルタでブロック歪みの除去を行う場合には、ブロック歪みが十分に除去されなくなって画質の劣化を生じてしまうおそれがある。
[0012]
 そこで、この発明では、拡張された大きさのマクロブロックを用いる場合でも良好な画質の復号画像を得られる画像処理装置と画像処理方法を提供することを目的とする。

課題を解決するための手段

[0013]
 この発明の第1の側面は、画像データがブロック毎に符号化されている符号化ストリームを復号化して復号画像データを生成する復号部と、前記復号部により生成された復号画像データに対してブロック歪みを除去するフィルタ処理を行うフィルタと、ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整するフィルタ強度調整部とを設けた画像処理装置にある。
[0014]
 この発明の第2の側面は、復号画像データに対してブロック歪みを除去するフィルタ処理を行うフィルタと、ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整するフィルタ強度調整部と、前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データを符号化する符号化部とを設けた画像処理装置にある。
[0015]
 この発明では、例えば画像データの符号化で生成された量子化データの逆量子化や逆量子化後のデータの逆直交変換等を行うことにより得られた復号画像データや、符号化ストリームの可逆復号化を行うことにより得られた量子化データの逆量子化や逆量子化後のデータの逆直交変換等を行うことにより得られた復号画像データに対して、ブロック歪みを除去するフィルタ処理が行われる。フィルタ処理では、ブロックサイズが大きいほどフィルタ処理がかかりやすくなるようにフィルタ強度の調整が行われる。フィルタ強度の調整では、フィルタ強度を調整するパラメータ値がブロックサイズに応じて設定される。また、隣接する2つのブロックでブロックサイズが異なる場合、大きい方のブロックサイズに応じてフィルタ強度が調整される。また、フィルタ強度の調整では、符号化規格のシンタックス・エレメントの値が調整される。例えば、H.264/AVC規格のシンタックス・エレメントであるslice_alpha_c0_offset_div2およびslice_beta_offset_div2で指定するFilterOffsetAおよびFilterOffsetBの値を調整してフィルタ強度の調整が行われる。さらに、予め設けられているパラメータ値と異なるパラメータ値を用いるときは、シンタックス・エレメントであるピクチャパラメータセットのdeblocking_filter_control_present_flagの値を所定の値例えば「1」に設定し、スライスヘッダに、FilterOffsetAおよびFilterOffsetBの値が記述される。
[0016]
 この発明の第3の側面は、画像データがブロック毎に符号化されている符号化ストリームを復号化して復号画像データを生成する工程と、前記復号部により生成された復号画像データに対してブロック歪みを除去するフィルタ処理を行う工程と、ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整する工程とを設けた画像処理方法にある。
[0017]
 この発明の第4の側面は、復号画像データに対してブロック歪みを除去するフィルタ処理を行う工程と、ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整する工程と、前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データを符号化する工程とを設けた画像処理方法にある。

発明の効果

[0018]
 この発明によれば、復号画像データに対してブロック歪みを除去するフィルタ処理を行うとき、ブロック境界で隣接する隣接ブロックのブロックサイズに応じてフィルタ強度が調整される。このため、拡張された大きさのマクロブロックが用いられても、ブロックサイズに応じてフィルタ強度を調整することで、ブロック歪みが軽減された良好な画質の復号画像を得られるようになる。

図面の簡単な説明

[0019]
[図1] 画像符号化装置の構成を示す図である。
[図2] デブロッキングフィルタのフィルタ処理に用いる画素データを示した図である。
[図3] 量子化パラメータQPと閾値αの関係を示す図である。
[図4] デブロッキングフィルタとフィルタ強度調整部の構成を示す図である。
[図5] 画像符号化処理で用いる予測ブロックサイズを示す図である。
[図6] HEVC符号化方式で定義されているCUの例を示す図である。
[図7] 画像符号化処理動作を示すフローチャートである。
[図8] 予測処理を示すフローチャートである。
[図9] イントラ予測処理を示すフローチャートである。
[図10] インター予測処理を示すフローチャートである。
[図11] フィルタ設定処理を示すフローチャートである。
[図12] 画像復号化装置の構成を示している。
[図13] 画像復号化処理動作を示すフローチャートである。

発明を実施するための形態

[0020]
 以下、発明を実施するための形態について説明する。本発明の画像処理装置は、ブロック毎に画像データを符号化処理する画像符号化装置や、画像データがブロック毎に符号化されている符号化ストリームを復号化処理する画像復号化装置等に適用可能であり、画像符号化装置に適用した場合と、画像復号化装置に適用した場合について、以下の順序で説明する。
 1.画像符号化装置の構成
 2.デブロッキングフィルタのフィルタ処理について
 3.画像符号化装置におけるデブロッキングフィルタとフィルタ強度調整部の構成
 4.画像符号化装置の動作
 5.画像復号化装置の構成
 6.画像復号化装置の動作
[0021]
 <1.画像符号化装置の構成>
 図1は、画像符号化装置の構成を示している。画像符号化装置10は、アナログ/ディジタル変換部(A/D変換部)11、画面並び替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18を備えている。さらに、画像符号化装置10は、逆量子化部21、逆直交変換部22、加算部23、デブロッキングフィルタ24、フレームメモリ25、セレクタ26、イントラ予測部31、動き予測・補償部32、予測画像・最適モード選択部33を備えている。
[0022]
 A/D変換部11は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ12に出力する。
[0023]
 画面並べ替えバッファ12は、A/D変換部11から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ12は、符号化処理に係るGOP(Group of Pictures)構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部13とイントラ予測部31と動き予測・補償部32に出力する。
[0024]
 減算部13には、画面並べ替えバッファ12から出力された画像データと、後述する予測画像・最適モード選択部33で選択された予測画像データが供給される。減算部13は、画面並べ替えバッファ12から出力された画像データと予測画像・最適モード選択部33から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部14に出力する。
[0025]
 直交変換部14は、減算部13から出力された予測誤差データに対して、離散コサイン変換(DCT;Discrete Cosine Transform)、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部14は、直交変換処理を行うことにより得られた変換係数データを量子化部15に出力する。
[0026]
 量子化部15には、直交変換部14から出力された変換係数データと、後述するレート制御部18からレート制御信号が供給されている。量子化部15は変換係数データの量子化を行い、量子化データを可逆符号化部16と逆量子化部21に出力する。また、量子化部15は、レート制御部18からのレート制御信号に基づき量子化パラメータ(量子化スケール)を切り替えて、量子化データのビットレートを変化させる。
[0027]
 可逆符号化部16には、量子化部15から出力された量子化データと、後述するイントラ予測部31と動き予測・補償部32および予測画像・最適モード選択部33から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、例えば予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部16は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ17に出力する。また、可逆符号化部16は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。
[0028]
 蓄積バッファ17は、可逆符号化部16からの符号化ストリームを蓄積する。また、蓄積バッファ17は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
[0029]
 レート制御部18は、蓄積バッファ17の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部15に出力する。レート制御部18は、例えば蓄積バッファ17から空き容量を示す情報を取得する。レート制御部18は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部18は蓄積バッファ17の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
[0030]
 逆量子化部21は、量子化部15から供給された量子化データの逆量子化処理を行う。逆量子化部21は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部22に出力する。
[0031]
 逆直交変換部22は、逆量子化部21から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部23に出力する。
[0032]
 加算部23は、逆直交変換部22から供給されたデータと予測画像・最適モード選択部33から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ24とフレームメモリ25に出力する。
[0033]
 デブロッキングフィルタ24は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ24は、加算部23から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ25に出力する。また、デブロッキングフィルタ24は、後述するフィルタ強度調整部41から供給されたパラメータ値に基づきフィルタ強度を調整する。
[0034]
 フレームメモリ25は、加算部23から供給された復号画像データとデブロッキングフィルタ24から供給されたフィルタ処理後の復号画像データとを保持する。
[0035]
 セレクタ26は、イントラ予測を行うためにフレームメモリ25から読み出されたフィルタ処理前の復号画像データをイントラ予測部31に供給する。また、セレクタ26は、インター予測を行うためフレームメモリ25から読み出されたフィルタ処理後の復号画像データを動き予測・補償部32に供給する。
[0036]
 イントラ予測部31は、画面並べ替えバッファ12から出力された符号化対象画像の画像データとフレームメモリ25から読み出したフィルタ処理前の復号画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部31は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部31は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部33に出力する。また、イントラ予測部31は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部16に出力する。
[0037]
 動き予測・補償部32は、マクロブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部32は、画面並べ替えバッファ12から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ25から読み出されたフィルタ処理後の復号画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部32は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部32は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部32は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部33に出力する。また、動き予測・補償部32は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部16に出力する。なお、動き予測・補償部32は、インター予測モードとして、スキップドマクロブロックやダイレクトモードでの予測も行う。
[0038]
 予測画像・最適モード選択部33は、イントラ予測部31から供給されたコスト関数値と動き予測・補償部32から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部33は、最適モードで生成した予測画像データを減算部13と加算部23に出力する。さらに、予測画像・最適モード選択部33は、最適モードの予測モード情報を可逆符号化部16とフィルタ強度調整部41に出力する。なお、予測画像・最適モード選択部33は、スライス単位でイントラ予測またはインター予測を行う。
[0039]
 フィルタ強度調整部41は、最適モードの予測モード情報によって示された予測ブロックサイズに応じてフィルタ強度を調整するためのパラメータ値を設定してデブロッキングフィルタ24に出力する。
[0040]
 <2.デブロッキングフィルタのフィルタ処理について>
 デブロッキングフィルタのフィルタ処理において、H264./AVCの符号化方式では、画像圧縮情報に含まれるPicture Parameter Set RBSPのdeblocking_filter_control_present_flagおよびSlice Headerに含まれるdisable_deblocking_filter_idcという2つのパラメータによって、
  (a) ブロック境界、およびマクロブロック境界に施す
  (b) Macroblock境界にのみ施す
  (c) 施さない
の3通りを指定することが可能である。
[0041]
 量子化パラメータQPについては、以下の処理を輝度データに対して適用する場合は、QPYを、色差データに対して適用する場合はQPCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化(CAVLC/CABAC)においては、異なるスライスに属する画素値は“not available”として処理する。さらに、フィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は“available”であるとして処理を行う。
[0042]
 以下の説明では、隣接するブロックP,Qについて、ブロック境界におけるフィルタ処理前の画素データを、図2の(A)に示すようにp0~p3,q0~q3とする。また、処理後の画素データを、図2の(B)に示すようにp0’~p3’,q0’~q3’とする。
[0043]
 フィルタ処理に先立ち、図2における画素pおよび画素qに対して、表1に示すように、ブロック境界強度データBs(Boundary Strength)が定義される。
[0044]
[表1]


[0045]
 表1に示すように、ブロック境界強度データBsは、画素pまたは画素qのいずれか一方がイントラ符号化されるマクロブロックMBに属し、且つ、当該画素がマクロブロックMBの境界に位置する場合に、最もフィルタ強度が高い「4」が割り当てられている。
[0046]
 ブロック境界強度データBsは、画素pまたは画素qのいずれか一方がイントラ符号化されるマクロブロックMBに属し、且つ、当該画素がマクロブロックMBの境界に位置しない場合に、「4」の次にフィルタ強度が高い「3」が割り当てられている。
[0047]
 ブロック境界強度データBsは、画素pおよび画素qの双方がイントラ符号化されるマクロブロックMBに属するものではなく、且つ、いずれかの画素が変換係数を持つ場合に、「3」の次にフィルタ強度が高い「2」が割り当てられている。
[0048]
 ブロック境界強度データBsは、画素pおよび画素qの双方がイントラ符号化されるマクロブロックMBに属するものではなく、且つ、いずれかの画素が変換係数を持たないという条件を場合に満たし、且つ、参照フレームが異なるか、参照フレームの枚数が異なるか、動きベクトルが異なるかのいずれかの条件を満たす場合に、「1」が割り当てられている。
[0049]
 ブロック境界強度データBsは、画素p,qの双方がイントラ符号化されるマクロブロックMBに属するものではなく、どちらの画素も変換係数を持たず、参照フレームおよび動きベクトルが同じ場合に、フィルタ処理を行わないことを意味する「0」が割り当てられている。
[0050]
 図2における(p2,p1,p0,q0,q1,q2)は、式(1)の条件が成立する場合のみ、フィルタ処理が施される。
   Bs>0
   |p0-q0|<α;|p1-p0|<β;|q1-q0|<β
                           ・・・(1)
[0051]
 ここで、フィルタ強度すなわちフィルタのかかりやすさを調整するパラメータ値である閾値α,βは、デフォルトでは以下のように量子化パラメータQPに応じてその値が定められている。また、画像圧縮情報中のSlice Headerに含まれるslice_alpha_c0_offset_div2、およびslice_beta_offset_div2という2つのパラメータによって、ユーザがその強度を調整することが可能である。なお、図3は、量子化パラメータQPと閾値αの関係を示しており、量子化パラメータQPにオフセット量を加えると、量子化パラメータQPと閾値αの関係を示す曲線は矢印の方向に移動することから、フィルタ強度を調整することが明らかである。
[0052]
 また、隣接するブロックPとブロックQのそれぞれの量子化パラメータqPp,qPqを用いて式(2)~(4)からindexAとindexBを算出して、表2に示すテーブルから閾値α,βを求める。
  qPav=(qPp+qPq+1)>>1         ・・・(2)
  indexA=Clip3(0,51,qPav+FilterOffsetA) ・・・(3)
  indexB=Clip3(0,51,qPav+FilterOffsetB) ・・・(4)
[0053]
[表2]


 
[0054]
 フィルタ処理は、「Bs<4」の場合と「Bs=4」の場合に対して異なる方法が定義されている。先ず、「Bs<4」の場合を説明する。
[0055]
 デブロッキングフィルタは、式(5)~(7)に示す演算を行って、フィルタ処理後の画素データp0’,q0’を算出する。式(7)において、Clip3は、クリッピング処理を示す。
  p0’=Clip1(p0+Δ)   ・・・(5)
  q0’=Clip1(q0+Δ)   ・・・(6)
  Δ=Clip3(-tc,tc((((q0-p0)<<2)+(p1-q1)+4)>>3))      ・・・(7)
[0056]
 デブロッキングフィルタは、式(7)の「tc」を、chromaEdgeFlagが「0」を示す場合に式(8)に基づいて算出し、それ以外の場合に式(9)に基づいて算出する。
[0057]
 式(8)において、「( )?1:0」は、( )内の条件を満たすと「1」、それ以外の場合は「0」を示す。
  tc=tc0+((ap<β)?1:0)+(aq<β)?1:0) ・・・(8)
  tc=tc0+1                        ・・・(9)
 このtcの値は、BsとindexAの値に応じて表3のように定義される。
[0058]
[表3]


[0059]
 また、デブロッキングフィルタは、式(8)のap,aqを式(10)(11)にしたがって算出する。
  ap=|p2-p0|    ・・・(10)
  aq=|q2-q0|    ・・・(11)
[0060]
 デブロッキングフィルタは、フィルタ処理後の画素データp1’を、chromaEdgeFlagが「0」で、且つ、apが「β」以下である場合に式(12)に示す演算を行って算出し、それ以外の場合に式(13)により取得する。
  p1’=p1+Clip3(-tc0,tc0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)     ・・・(12)
  p1’=p1      ・・・(13)
[0061]
 デブロッキングフィルタは、フィルタ処理後の画素データq1’を、chromaEdgeFlagが「0」で、且つ、aqが「β」以下である場合に式(14)に示す演算を行って算出し、それ以外の場合に式(15)により取得する。
  q1’=q1+Clip3(-tc0,tc0,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)    ・・・(14)
  q1’=q1     ・・・(15)
[0062]
 次に、「Bs=4」の場合を説明する。デブロッキングフィルタは、chromaEdgeFlagが「0」を示し、且つ、式(16)の条件を満たす場合に、画素データp0’,p1’,p2’を式(17)~(19)にしたがって算出する。
  ap<β && |p0-q0|<((α>>2)+2)    ・・・(16)
  p0’=(p2+2・p1+2・p0+2・q0+q1+4)>>3 ・・・(17)
  p1’=(p2+p1+p0+q0+2)>>2          ・・・(18)
  p2’=(2・p3+3・p2+p1+p0+q0+4)>>3   ・・・(19)
[0063]
 デブロッキングフィルタは、chromaEdgeFlagが「0」を示し、且つ、式(16)の条件を満たさない場合に、画素データp0’,p1’,p2’を式(20)~(22)にしたがって算出する。
  p0’=(2・p1+p0+q1+2)>>2 ・・・(20)
  p1’=p1               ・・・(21)
  p2’=p2               ・・・(22)
[0064]
 デブロッキングフィルタは、chromaEdgeFlagが「0」を示し、且つ、式(23)の条件を満たす場合に、画素データq0’,q1’,q2’を式(24)~(26)にしたがって算出する。
  aq<β && |p0-q0|<((α>>2)+2)    ・・・(23)
  q0’=(p1+2・p0+2・q0+2・q1+q2+4)>>3 ・・・(24)
  q1’=(p0+q0+q1+q2+2)>>2          ・・・(25)
  q2’=(2・q3+3・q2+q1+q0+p4+4)>>3   ・・・(26)
[0065]
 デブロッキングフィルタは、chromaEdgeFlagが「0」を示し、且つ、式(23)の条件を満たさない場合に、画素データq0’,q1’,q2’を式(27)~(29)にしたがって算出する。
  q0’=(2・q1+q0+p1+2)>>2 ・・・(27)
  q1’=q1               ・・・(28)
  q2’=q2               ・・・(29)
[0066]
 <3.画像符号化装置におけるデブロッキングフィルタとフィルタ強度調整部の構成>
 フィルタ強度調整部41は、当該マクロブロックにおける最適モードの予測ブロックサイズに応じて、デブロッキングフィルタ24におけるフィルタ強度の調整を行う。
[0067]
 一般に、ブロック歪みは、ブロックサイズがより大きい場合の方が、人間の目につきやすい。また、より大きなブロックサイズは、あまりテクスチャ情報を含まないフラットな領域に対して選択されやすい。
[0068]
 また、デブロッキングフィルタのフィルタ強度を強くすると、ブロック歪みは除去されるが、同時に、デブロッキングフィルタのフィルタ処理はローパスフィルタ処理であるため、画像の持つ鮮鋭度が失われるという問題点を有する。
[0069]
 しかるに、例えば、元々テクスチャ情報をあまり含まない、より大きな予測ブロックサイズを用いたブロックに対してフィルタをかかりやすくすれば、テクスチャに与える影響が少なく、目につきやすいブロック歪みを除去し、良好な画質の復号画像を得ることが可能となる。
[0070]
 フィルタ強度調整部41は、フィルタ強度を調整するパラメータ値を予測ブロックサイズに応じて設定することで、デブロッキングフィルタ24におけるフィルタ強度の調整を行う。
[0071]
 また、隣接する2つのブロックは、予測ブロックサイズが等しくなる場合に限られない。したがって、フィルタ強度調整部41は、当該ブロック、若しくは隣接ブロックのどちらか一方で最適モードにおける予測ブロックサイズが拡張されたブロックサイズである場合、大きい方の予測ブロックサイズに応じてフィルタ強度を調整する。
[0072]
 さらに、フィルタ強度調整部41は、所定のマクロブロックよりもブロックサイズが大きい複数のマクロブロックが用いられる場合、ブロックサイズが大きいほどフィルタ強度が強くなるように、隣接する2つのブロックの予測ブロックサイズの組み合わせに応じてフィルタ強度を調整する。
[0073]
 図4は、デブロッキングフィルタとフィルタ強度調整部の構成を示している。フィルタ強度調整部41は、ブロックサイズバッファ411とパラメータ選択部412を備えている。ブロックサイズバッファ411は、予測画像・最適モード選択部33で選択された最適モードおける予測ブロックサイズを示す情報を、1フレーム画像分蓄積する。すなわち、ブロックサイズバッファ411には、符号化対象の1フレーム画像における各マクロブロックの予測ブロックサイズに関する情報が記憶されている状態となる。
[0074]
 パラメータ選択部412は、ブロックサイズバッファ411の予測ブロックサイズの情報に基づき、より大きなブロックサイズの復号画像部分に対してはフィルタ処理がかかりやすくなるように、パラメータ値を設定する。パラメータ選択部412は、例えばH.264/AVC規格のシンタックス・エレメントであるslice_alpha_c0_offset_div2およびslice_beta_offset_div2で指定するFilterOffsetAおよびFilterOffsetBの値を、より大きな値に設定する。また、パラメータ選択部412は、隣接する予測ブロックサイズの組み合わせに応じて、FilterOffsetAおよびFilterOffsetBを予め設定しておき、予測ブロックサイズの情報に基づき隣接するブロックがどのような予測ブロックサイズであるか判別する。さらに、判別された予測ブロックサイズの組み合わせに応じた値を用いるようにする。
[0075]
 さらに、パラメータ選択部412は、上述の式(2)~(4)からindexAとindexBを算出して、表2に示すテーブルを用いて、フィルタ強度を設定するパラメータ値である閾値α,βを予測ブロックサイズに応じて設定して、デブロッキングフィルタ24のフィルタ強度決定部241に出力する。
[0076]
 フィルタ強度決定部241は、可逆符号化部16から供給された予測モード情報に基づきブロック境界強度データBsを決定して、決定したブロック境界強度データBsと、パラメータ選択部412から供給された閾値α,βをフィルタ処理部242に出力する。
[0077]
 フィルタ処理部242は、ブロック境界強度データBsと閾値α,βおよびブロック境界部分の画素データp3,p2,p1,p0,q0,q1,q2,q3を用いて上述のフィルタ演算を行い、フィルタ処理後の画素データp3',p2',p1',p0',q0',q1',q2',q3'を算出する。
[0078]
 <4.画像符号化装置の動作>
 次に、画像符号化処理動作について説明する。図5は、画像符号化処理で用いる予測ブロックサイズを示している。H.264/AVC方式では、図5の(C)(D)に示すように16×16画素~4×4画素の予測ブロックサイズが規定されている。また、H.264/AVC方式よりも拡張された大きさのマクロブロックを用いる場合、例えば32×32画素のマクロブロックを用いる場合、例えば図5の(B)に示す予測ブロックサイズが規定される。また、例えば64×64画素のマクロブロックを用いる場合、例えば図5の(A)に示す予測ブロックサイズが規定される。
[0079]
 図5において、「Skip/direct」は、動き予測・補償部32において、スキップドマクロブロックやダイレクトモードを選択したときの予測ブロックサイズであることを示している。また、「ME」は動き補償ブロックサイズであることを示している。また、「P8×8」は、マクロブロックのサイズを小さくした下位の階層で更に分割できることを示している。
[0080]
 なお、H.264/AVC方式より更なる符号化効率の向上を目的として、ITU―Tと、ISO/IECの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。2010年9月現在、Draftとして、”Test Model under Consideration”, (JCTVC-B205) が発行されている。
[0081]
 HEVC符号化方式では、H.264/AVC方式よりも拡張された大きさのマクロブロックを用いることが可能とされており、CU(Coding Unit)が定義されている。
[0082]
 CUは、CTB(Coding Tree Block)とも呼ばれ、H.264/AVC方式におけるマクロブロックと同様の役割を果たす。また、H.264/AVC方式は、マクロブロックが16×16画素の大きさに固定されているのに対し、HEVC符号化方式は、大きさが固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
[0083]
 特に、最大の大きさを持つCUを、LCU (Largest Coding Unit) と呼び、また、最小の大きさを持つCUをSCU (Smallest Coding Unit) と呼ぶ。画像圧縮情報に含まれるシーケンスパラメータセットにおいて、これらのサイズが指定されることになるが、それぞれ、正方形で、2のべき乗で表される大きさに限定される。
[0084]
 図6は、HEVC符号化方式で定義されているCUの例を示す。図の例では、LCUの大きさが128であり、最大階層深度が5となる。2N×2Nの大きさのCUは、split_flagの値が1である時、一つ下の階層となる、N×Nの大きさのCUに分割される。
[0085]
 更に、CUは、イントラ若しくはインター予測の単位であるPU(Prediction Unit)に分割され、また、直交変換の単位である、TU(Transform Unit)に分割される。
[0086]
 CUは、更に、イントラ若しくはインター予測の単位であるPUに分割され、また、直交変換の単位であるTUに分割され、予測処理及び直交変換処理が行われる。現在、HEVC符号化方式においては、4×4及び8×8に加え、16×16及び32×32直交変換を用いることが可能である。
[0087]
 本明細書において、ブロック、マクロブロックは、上述したようなCU、PU、TUの概念を含んでおり、大きさが固定されたブロックに限定されない。
[0088]
 図7は、画像符号化処理動作を示すフローチャートである。ステップST11において、A/D変換部11は入力された画像信号をA/D変換する。
[0089]
 ステップST12において画面並べ替えバッファ12は、画像並べ替えを行う。画面並べ替えバッファ12は、A/D変換部11より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
[0090]
 ステップST13において減算部13は、予測誤差データの生成を行う。減算部13は、ステップST12で並び替えられた画像の画像データと予測画像・最適モード選択部33で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像・最適モード選択部33でイントラ予測部31から供給された予測画像と動き予測・補償部32からの予測画像の選択がスライス単位で行われるとき、イントラ予測部31から供給された予測画像が選択されたスライスでは、イントラ予測が行われることになる。また、動き予測・補償部32からの予測画像が選択されたスライスでは、インター予測が行われることになる。
[0091]
 ステップST14において直交変換部14は、直交変換処理を行う。直交変換部14は、減算部13から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
[0092]
 ステップST15において量子化部15は、量子化処理を行う。量子化部15は、変換係数データを量子化する。量子化に際しては、後述するステップST25の処理で説明されるように、レート制御が行われる。
[0093]
 ステップST16において逆量子化部21は、逆量子化処理を行う。逆量子化部21は、量子化部15により量子化された変換係数データを量子化部15の特性に対応する特性で逆量子化する。
[0094]
 ステップST17において逆直交変換部22は、逆直交変換処理を行う。逆直交変換部22は、逆量子化部21により逆量子化された変換係数データを直交変換部14の特性に対応する特性で逆直交変換する。
[0095]
 ステップST18において加算部23は、復号画像データの生成を行う。加算部23は、予測画像・最適モード選択部33から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。
[0096]
 ステップST19においてデブロッキングフィルタ24は、フィルタ処理を行う。デブロッキングフィルタ24は、加算部23より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
[0097]
 ステップST20においてフレームメモリ25は、復号画像データを記憶する。フレームメモリ25は、フィルタ処理前の復号画像データとフィルタ処理後の復号画像データを記憶する。
[0098]
 ステップST21においてイントラ予測部31と動き予測・補償部32は、それぞれ予測処理を行う。すなわち、イントラ予測部31は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部32は、インター予測モードの動き予測・補償処理を行う。予測処理の詳細は、図8を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部33に供給される。
[0099]
 ステップST22において予測画像・最適モード選択部33は、予測画像データの選択を行う。予測画像・最適モード選択部33は、イントラ予測部31および動き予測・補償部32より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部33は、決定した最適モードの予測画像データを選択して、減算部13と加算部23に供給する。この予測画像が、上述したように、ステップST13,ST18の演算に利用される。なお、選択した予測画像データに対応する予測モード情報は、可逆符号化部16とフィルタ強度調整部41に出力される。
[0100]
 ステップST23において可逆符号化部16は、可逆符号化処理を行う。可逆符号化部16は、量子化部15より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップST22において可逆符号化部16に入力された予測モード情報(例えばマクロブロックタイプや予測モード、動きベクトル情報、参照ピクチャ情報等を含む)なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。
[0101]
 ステップST24において蓄積バッファ17は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ17に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。
[0102]
 ステップST25においてレート制御部18は、レート制御を行う。レート制御部18は、蓄積バッファ17で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ17で発生しないように、量子化部15の量子化動作のレートを制御する。
[0103]
 次に、図8のフローチャートを参照して、図7のステップST21における予測処理を説明する。
[0104]
 ステップST31において、イントラ予測部31はイントラ予測処理を行う。イントラ予測部31は処理対象のブロックの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ24によりフィルタ処理が行われることなくフレームメモリ25に記憶されている復号画像データが用いられる。イントラ予測処理の詳細は後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる1つのイントラ予測モードが選択される。
[0105]
 ステップST32において、動き予測・補償部32はインター予測処理を行う。動き予測・補償部32は、フレームメモリ25に記憶されているフィルタ処理後の復号画像データを用いて、候補となる全てのインター予測モード(全ての予測ブロックサイズ)のインター予測処理を行う。インター予測処理の詳細は後述するが、この処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる1つのインター予測モードが選択される。
[0106]
 次に、図8のステップST31におけるイントラ予測処理について図9のフローチャートを参照して説明する。
[0107]
 ステップST41でイントラ予測部31は、各予測モードのイントラ予測を行う。イントラ予測部31は、フレームメモリ25に記憶されているフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
[0108]
 ステップST42でイントラ予測部31は、各予測モードに対するコスト関数値を算出する。コスト関数値としては、H.264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているように、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。
[0109]
 すなわち、High Complexity モードにおいては、ステップST41の処理として、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式(30)で表されるコスト関数値を各予測モードに対して算出する。
  Cost(Mode∈Ω)=D+λ・R      ・・・(30)
[0110]
 Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Dは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー(歪み)を示している。Rは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
[0111]
 つまり、High Complexity Modeでの符号化を行うには、上記パラメータDおよびRを算出するため、候補となる全ての予測モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
[0112]
 一方、Low Complexity モードにおいては、ステップST41の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式(31)で表されるコスト関数値を各予測モードに対して算出する。
  Cost(Mode∈Ω)=D+QPtoQuant(QP)・Header_Bit   ・・・(31)
[0113]
 Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Dは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー(歪み)を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
[0114]
 すなわち、Low Complexity Modeにおいては、それぞれの予測モードに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、High Complexity Modeより低い演算量での実現が可能である。
[0115]
 ステップST43でイントラ予測部31は、最適イントラ予測モードを決定する。イントラ予測部31は、ステップST42において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である1つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
[0116]
 次に、図10のフローチャートを参照して、図8のステップST32のインター予測処理について説明する。
[0117]
 ステップST51で動き予測・補償部32は、各予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、動き予測・補償部32は、各予測モードの処理対象のブロックについて、動きベクトルと参照画像をそれぞれ決定する。
[0118]
 ステップST52で動き予測・補償部32は、各予測モードに対して動き補償を行う。動き予測・補償部32は、各予測モード(各予測ブロックサイズ)について、ステップST51で決定された動きベクトルに基づいて、参照画像に対する動き補償を行い、各予測モードについて予測画像データを生成する。
[0119]
 ステップST53で動き予測・補償部32は、各予測モードに対して動きベクトル情報の生成を行う。動き予測・補償部32は、各予測モードで決定された動きベクトルについて、符号化ストリームに含める動きベクトル情報を生成する。例えば、メディアン予測等を用いて予測動きベクトルを決定して、動き予測により検出した動きベクトルと予測動きベクトルの差を示す動きベクトル情報を生成する。このようにして生成された動きベクトル情報は、次のステップST54におけるコスト関数値の算出にも用いられて、最終的に予測画像・最適モード選択部33で対応する予測画像が選択された場合には、予測モード情報に含まれて可逆符号化部16へ出力される。
[0120]
 ステップST54で動き予測・補償部32は、各インター予測モードに対して、コスト関数値の算出を行う。動き予測・補償部32は、上述した式(30)または式(31)を用いてコスト関数値の算出を行う。なお、インター予測モードに対するコスト関数値の算出には、H.264/AVC方式において定められているSkip ModeおよびDirect Modeのコスト関数値の評価も含まれる。
[0121]
 ステップST55で動き予測・補償部32は、最適インター予測モードを決定する。動き予測・補償部32は、ステップST54において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である1つの予測モードを選択して最適インター予測モードに決定する。
[0122]
 次に、デブロッキングフィルタ調整処理について説明する。H.264/AVC符号化方式におけるデブロッキングフィルタに関連するパラメータの規定方法において、ピクチャパラメータセットに、deblocking_filter_control_present_flagが存在する。このフラグの値が「1」である場合、スライスヘッダにおいて、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が存在することになり、存在しない場合には、デフォルト値として「0」が用いられるという構成になっている。
[0123]
 これに対して、本発明では、隣接する2つのブロックの大きさの組み合わせに応じて、オフセット値SZa,SZbを、例えば0<SZa≦SZb≦6である整数として、FilterOffsetAおよびFilterOffsetBと共に、表4のように値が定義されているものとする。
[0124]
[表4]


[0125]
 表4は、所定のマクロブロックよりもブロックサイズが大きい複数のマクロブロックが用いられる場合、ブロックサイズが大きいほどフィルタ強度が強くなるように、隣接する2つのブロックの予測ブロックサイズの組み合わせ毎のオフセット値を示している。また、表4のオフセット値は、隣接する2つのブロックで予測ブロックサイズが異なる場合、大きい方の予測ブロックサイズに応じてフィルタ強度を調整するように設定されている。すなわち、隣接する2つのブロックのうち、より大きいサイズのブロックに合わせてFilterOffsetAおよびFilterOffsetBの値が設定されることになる。例えば、大きい方のブロックが64画素であるときはオフセット値SZb、大きい方のブロックが32画素であるときはオフセット値SZa、16×16画素のときはオフセット値「0」とする。
[0126]
 図11は、フィルタ設定処理を示すフローチャートである。
ステップST61でフィルタ強度調整部41は、最適モードの予測ブロックサイズを取得する。フィルタ強度調整部41は、図7のステップST22で選択された予測画像に対応する予測ブロックサイズ、すなわち最適モードで符号化を行うときの予測ブロックサイズを取得する。
[0127]
 ステップST62でフィルタ強度調整部41は、当該ブロックまたは隣接ブロックの境界部分が64画素であるか否か判別する。フィルタ強度調整部41は、当該ブロックまたは隣接ブロックの境界部分が64画素であるときステップST63に進み、当該ブロックと隣接ブロックの境界部分が共に64画素よりも小さいときステップST64に進む。
[0128]
 ステップST63でフィルタ強度調整部41は、オフセット値SZbを選択してFilterOffsetAおよびFilterOffsetBとしてステップST67に進む。
[0129]
 ステップST64でフィルタ強度調整部41は、当該ブロックまたは隣接ブロックの境界部分が32画素であるか否か判別する。フィルタ強度調整部41は、当該ブロックまたは隣接ブロックの境界部分が32画素であるときステップST65に進み、当該ブロックと隣接ブロックの境界部分が共に32画素よりも小さいときステップST66に進む。
[0130]
 ステップST65でフィルタ強度調整部41は、オフセット値SZa(≦SZb)を選択してFilterOffsetAおよびFilterOffsetBとしてステップST67に進む。
[0131]
 ステップST66でフィルタ強度調整部41は、オフセット値0(<SZa)を選択してFilterOffsetAおよびFilterOffsetBとしてステップST67に進む。
[0132]
 ステップST67でフィルタ強度調整部41は、フィルタ強度調整を行う。フィルタ強度調整部41は、ステップST63,65,66で設定されたFilterOffsetA,FilterOffsetBを用いてフィルタ強度を設定するパラメータ値である閾値α,βを決定してデブロッキングフィルタ24に出力する。
[0133]
 このようにフィルタ強度調整部41によって、境界部分のブロックサイズが大きいとき、オフセット量を大きくして閾値α,βの設定を行うことで、デブロッキングフィルタ24では、フィルタ処理をかかりやすくすることができる。
[0134]
 なお、表4および図11では、64×64画像、32×32画素、16×16画素の組み合わせについて例示したが、組み合わせはこれらのサイズに限られない。また、大きい方のブロックが64画素であるときはオフセット値SZb、大きい方のブロックが32画素であるときはオフセット値SZa、16×16画素のときはオフセット値「0」としたが、オフセット値は大きいブロックについてフィルタをかかりやすくして良好な画質を得られればよく、上述の組み合わせに限らない。
[0135]
 さらに、表4とは異なる値をユーザが独自に設定したい場合には、ピクチャパラメータセットにおけるdeblocking_filter_control_present_flagの値を所定の値「1」として、ユーザは、スライスヘッダにおいて、FilterOffsetA16,FilterOffsetA32,FilterOffsetA64およびFilterOffsetB16,FilterOffsetB32,FilterOffsetB64の値を設定することが可能である。それぞれのパラメータは、隣接する2つのブロックのうち、大きい方が、16×16,32×32,64×64の場合に相当する。deblocking_filter_control_present_flagの値が「1」であっても、FilterOffsetA32,FilterOffsetA64およびFilterOffsetB32,FilterOffsetB64の値はスライスヘッダに存在しなくてもよい。その場合には、
  FilterOffsetA32=FilterOffsetA16+SZa
  FilterOffsetA64=FilterOffsetA16+SZb
  FilterOffsetB32=FilterOffsetB16+SZa
  FilterOffsetB64=FilterOffsetB16+SZb
のような値を用いればよい。
[0136]
 このように、本発明を適用した画像符号化装置および方法によれば、符号化効率が最良となるブロックサイズを決定して、決定されたブロックサイズで画像データの符号化処理が行われる。このとき、このブロックサイズを示す情報は、フィルタ強度調整部41のブロックサイズバッファ411に蓄積される。したがって、符号化効率が最良となるブロックサイズで符号化処理された画像データを復号化処理して復号画像データを生成したとき、復号画像における予測ブロックの位置が明らかとなる。このため、ブロックサイズバッファ411に蓄積された情報に基づき、大きなブロックサイズに対してフィルタ強度を調整してフィルタをかかりやすくすれば、ブロックサイズが大きくてもブロック歪みを少なくできる。また、復号画像データにおけるブロック歪みを少なくできるので、ブロック歪みの影響によって予測誤差データが大きくなってしまうことを防止できることから、符号化処理後のデータ量を更に少なくできる。
[0137]
 <5.画像復号化装置の構成>
 入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号化装置に供給されて復号される。
[0138]
 図12は、画像復号化装置の構成を示している。画像復号化装置50は、蓄積バッファ51、可逆復号化部52、逆量子化部53、逆直交変換部54、加算部55、デブロッキングフィルタ56、画面並べ替えバッファ57、D/A変換部58を備えている。さらに、画像復号化装置50は、フレームメモリ61、セレクタ62,65、イントラ予測部63、動き補償部64、フィルタ強度調整部71を備えている。
[0139]
 蓄積バッファ51は、伝送されてきた符号化ストリームを蓄積する。可逆復号化部52は、蓄積バッファ51より供給された符号化ストリームを、図1の可逆符号化部16の符号化方式に対応する方式で復号化する。また、可逆復号化部52は、符号化ストリームのヘッダ情報を復号して得られた予測モード情報をイントラ予測部63や動き補償部64、デブロッキングフィルタ56に出力する。
[0140]
 逆量子化部53は、可逆復号化部52で復号された量子化データを、図1の量子化部15の量子化方式に対応する方式で逆量子化する。逆直交変換部54は、図1の直交変換部14の直交変換方式に対応する方式で逆量子化部53の出力を逆直交変換して加算部55に出力する。
[0141]
 加算部55は、逆直交変換後のデータとセレクタ65から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ56とフレームメモリ61に出力する。
[0142]
 デブロッキングフィルタ56は、加算部55から供給された復号画像データに対してフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ61に供給し蓄積させるとともに、画面並べ替えバッファ57に出力する。また、デブロッキングフィルタ56は、可逆復号化部52から供給された予測モード情報と後述するフィルタ強度調整部71から供給されたフィルタ強度調整のための閾値α,βに基づき、フィルタ強度を調整する。
[0143]
 画面並べ替えバッファ57は、画像の並べ替えを行う。すなわち、図1の画面並べ替えバッファ12により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、D/A変換部58に出力される。
[0144]
 D/A変換部58は、画面並べ替えバッファ57から供給された画像データをD/A変換し、図示せぬディスプレイに出力することで画像を表示させる。
[0145]
 フレームメモリ61は、加算部55から供給されたフィルタ処理前の復号画像データとデブロッキングフィルタ24から供給されたフィルタ処理後の復号画像データとを保持する。
[0146]
 セレクタ62は、可逆復号化部52から供給された予測モード情報に基づき、イントラ予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ61から読み出されたフィルタ処理前の復号画像データをイントラ予測部63に供給する。また、セレクタ26は、可逆復号化部52から供給された予測モード情報に基づき、インター予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ61から読み出されたフィルタ処理後の復号画像データを動き補償部64に供給する。
[0147]
 イントラ予測部63は、可逆復号化部52から供給された予測モード情報に基づいて予測画像の生成を行い、生成した予測画像データをセレクタ65に出力する。また、イントラ予測部63は生成した予測画像のブロックサイズを示す情報をフィルタ強度調整部71に出力する。
[0148]
 動き補償部64は、可逆復号化部52から供給された予測モード情報に基づいて、動き補償を行い、予測画像データを生成してセレクタ65に出力する。すなわち、動き補償部64は、予測モード情報に含まれる動きベクトル情報と参照フレーム情報に基づいて、参照フレーム情報で示された参照画像に対して動きベクトル情報に基づく動きベクトルで動き補償を行い、予測画像データを生成する。また、動き補償部64は生成した予測画像のブロックサイズを示す情報をフィルタ強度調整部71に出力する。
[0149]
 セレクタ65は、イントラ予測部63で生成された予測画像データを加算部55に供給する。また、セレクタ65は、動き補償部64で生成された予測画像データを加算部55に供給する。
[0150]
 フィルタ強度調整部71は、図4に示すフィルタ強度調整部41と同様に構成されて、同様な動作を行う。フィルタ強度調整部71は、フィルタ強度を調整するパラメータ値を予測ブロックサイズに応じて設定することで、デブロッキングフィルタ56におけるフィルタ強度の調整を行う。また、フィルタ強度調整部71は、当該ブロック、若しくは隣接ブロックのどちらか一方で最適モードにおける予測ブロックサイズが拡張されたブロックサイズである場合、大きい方の予測ブロックサイズに応じてフィルタ強度を調整する。さらに、フィルタ強度調整部71は、所定のマクロブロックよりもブロックサイズが大きい複数のマクロブロックが用いられる場合、ブロックサイズが大きいほどフィルタ強度が強くなるように、隣接する2つのブロックの予測ブロックサイズの組み合わせに応じてフィルタ強度を調整する。すなわち、フィルタ強度調整部71は、イントラ予測部63や動き補償部64から供給されたブロックサイズに応じてフィルタ強度を調整するためのパラメータ値である閾値α,βを設定して、デブロッキングフィルタ56に出力する。
[0151]
 <6.画像復号化装置の動作>
 次に、図13のフローチャートを参照して、画像復号化装置50で行われる画像復号処理動作について説明する。
[0152]
 ステップST71で蓄積バッファ51は、伝送されてきた符号化ストリームを蓄積する。ステップST72で可逆復号化部52は、可逆復号化処理を行う。可逆復号化部52は、蓄積バッファ51から供給される符号化ストリームを復号化する。すなわち、図1の可逆符号化部16により符号化された各ピクチャの量子化データが得られる。また、可逆復号化部52、符号化ストリームのヘッダ情報に含まれている予測モード情報の可逆復号化を行い、得られた予測モード情報をデブロッキングフィルタ56やセレクタ62,65に供給する。さらに、可逆復号化部52は、予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部63に出力する。また、可逆復号化部52は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部64に出力する。
[0153]
 ステップST73において逆量子化部53は、逆量子化処理を行う。逆量子化部53は、可逆復号化部52により復号された量子化データを、図1の量子化部15の特性に対応する特性で逆量子化する。
[0154]
 ステップST74において逆直交変換部54は、逆直交変換処理を行う。逆直交変換部54は、逆量子化部53により逆量子化された変換係数データを、図1の直交変換部14の特性に対応する特性で逆直交変換する。
[0155]
 ステップST75において加算部55は、復号画像データの生成を行う。加算部55は、逆直交変換処理を行うことにより得られたデータと、後述するステップST79で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
[0156]
 ステップST76においてデブロッキングフィルタ56は、フィルタ処理を行う。デブロッキングフィルタ56は、加算部55より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
[0157]
 ステップST77においてフレームメモリ61は、復号画像データの記憶処理を行う。
[0158]
 ステップST78においてイントラ予測部63と動き補償部64は、予測処理を行う。イントラ予測部63と動き補償部64は、可逆復号化部52から供給される予測モード情報に対応してそれぞれ予測処理を行う。
[0159]
 すなわち、可逆復号化部52からイントラ予測の予測モード情報が供給された場合、イントラ予測部63は、予測モード情報に基づいてイントラ予測処理を行い、予測画像データを生成する。また、可逆復号化部52からインター予測の予測モード情報が供給された場合、動き補償部64は、予測モード情報に基づき動き補償を行い、予測画像データを生成する。
[0160]
 ステップST79において、セレクタ65は予測画像データの選択を行う。すなわち、セレクタ65は、イントラ予測部63から供給された予測画像と動き補償部64で生成された予測画像データを選択して加算部55に供給して、上述したように、ステップST75において逆直交変換部54の出力と加算させる。
[0161]
 ステップST80において画面並べ替えバッファ57は、画像並べ替えを行う。すなわち画面並べ替えバッファ57は、図1の画像符号化装置10の画面並べ替えバッファ12により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
[0162]
 ステップST81において、D/A変換部58は、画面並べ替えバッファ57からの画像データをD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
[0163]
 また、図13のステップST76におけるフィルタ処理では、上述の図11に示すフィルタ強度調整処理をフィルタ強度調整部71で行う。フィルタ強度調整部71は、例えばH.264/AVC規格のシンタックス・エレメントであるslice_alpha_c0_offset_div2およびslice_beta_offset_div2で指定するFilterOffsetAおよびFilterOffsetBを値を調整することで、予測ブロックサイズが大きいほどフィルタがかかりやすくなるようにフィルタ強度を調整するためのパラメータ値である閾値α,βを設定する。
[0164]
 このように、フィルタ強度調整部71は、符号化が行われたときの予測ブロックサイズに応じて、フィルタ強度を調整するパラメータ値である閾値α,βを生成して、デブロッキングフィルタ56に出力する。デブロッキングフィルタ56は、予測モード情報に基づきブロック境界強度データBsを決定して、閾値α,βを用いて復号画像データに対してフィルタ処理を行う。
[0165]
 また、フィルタ強度調整部71、シンタックス・エレメントであるピクチャパラメータセットのdeblocking_filter_control_present_flagの値が所定の値に設定されており、スライスヘッダに、FilterOffsetAおよびFilterOffsetBの値が記述されているとき、この記述されている値を用いて閾値α,βを生成して、デブロッキングフィルタ56に出力する。このようなフィルタ強度の調整を行えば、画像符号化装置で、表4とは異なる値をユーザが独自に設定した場合、画像復号化装置でも、ユーザの設定に応じたフィルタ処理を行うことができるようになる。
[0166]
 このように、本発明を適用した画像復号化装置および方法によれば、符号化処理で用いられたブロックサイズを示す情報が、フィルタ強度調整部71のブロックサイズバッファに蓄積される。したがって、符号化ストリームの復号化処理を行って復号画像データを生成したとき、復号画像における予測ブロックの位置が明らかとなる。このため、ブロックサイズバッファに蓄積された情報に基づき、大きなブロックサイズに対してフィルタ強度を調整してフィルタをかかりやすくすれば、ブロックサイズが大きくてもブロック歪みを少なくできる。したがって、画質の良好な復号画像を得ることができるようになる。
[0167]
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
[0168]
 例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
[0169]
 なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
[0170]
 さらに、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

産業上の利用可能性

[0171]
 この発明の画像処理装置と画像処理方法では、復号画像データに対してブロック歪みを除去するフィルタ処理を行うとき、ブロック境界で隣接する隣接ブロックのブロックサイズに応じてフィルタ強度が調整される。このため、拡張された大きさのマクロブロックが用いられても、ブロックサイズに応じてフィルタ強度を調整することで、ブロック歪みが軽減された良好な画質の復号画像を得られるようになる。したがって、MPEG、H.26x等のように、ブロック単位で符号化を行うことにより得られた画像情報(ビットストリーム)を、衛星放送、ケーブルTV、インターネット、携帯電話などのネットワークメディアを介して送受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号化装置等に適している。

符号の説明

[0172]
 10・・・画像符号化装置、11・・・A/D変換部、12,57・・・画面並べ替えバッファ、13・・・減算部、14・・・直交変換部、15・・・量子化部、16・・・可逆符号化部、17,51・・・蓄積バッファ、18・・・レート制御部、21,53・・・逆量子化部、22,54・・・逆直交変換部、23,55・・・加算部、24,56・・・デブロッキングフィルタ、25,61・・・フレームメモリ、26,62,65・・・セレクタ、31,63・・・イントラ予測部、32・・・動き予測・補償部、33・・・予測画像・最適モード選択部、41・・・フィルタ強度調整部、50・・・画像復号化装置、52・・・可逆復号化部、58・・・D/A変換部、64・・・動き補償部、71・・・フィルタ強度調整部、241・・・フィルタ強度決定部、242・・・フィルタ処理部、411・・・ブロックサイズバッファ、412・・・パラメータ選択部

請求の範囲

[請求項1]
 画像データがブロック毎に符号化されている符号化ストリームを復号化して復号画像データを生成する復号部と、
前記復号部により生成された復号画像データに対してブロック歪みを除去するフィルタ処理を行うフィルタと、
 ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整するフィルタ強度調整部と
を設けた画像処理装置。 
[請求項2]
 前記フィルタ強度調整部は、前記隣接ブロックのブロックサイズが大きいほどフィルタ処理をかかりやすくするようにフィルタ強度を調整する請求項1記載の画像処理装置。
[請求項3]
 前記フィルタ強度調整部は、前記フィルタ強度を調整するパラメータ値を前記ブロックサイズに応じて設定する請求項2記載の画像処理装置。
[請求項4]
 前記フィルタ強度調整部は、隣接ブロックのブロックサイズの組み合わせに応じて、前記フィルタ処理におけるフィルタ強度を調整する請求項3に記載の画像処理装置。
[請求項5]
 前記フィルタ強度調整部は、隣接ブロックでブロックサイズが異なる場合、大きい方のブロックサイズに応じてフィルタ強度を調整する請求項4記載の画像処理装置。
[請求項6]
 前記フィルタ強度調整部は、所定のマクロブロックよりもブロックサイズが大きいマクロブロックが用いられる場合、ブロックサイズが大きいほどフィルタ強度が強くなるように、隣接ブロックのブロックサイズの組み合わせに応じて、パラメータ値を設定する請求項5記載の画像処理装置。
[請求項7]
 前記フィルタ強度調整部は、符号化規格のシンタックス・エレメントの値を調整して、前記フィルタ強度を調整する請求項3記載の画像処理装置。
[請求項8]
 前記フィルタ強度調整部は、H.264/AVC規格のシンタックス・エレメントであるslice_alpha_c0_offset_div2およびslice_beta_offset_div2で指定するFilterOffsetAおよびFilterOffsetBの値を調整して、前記フィルタ強度を調整する請求項7記載の画像処理装置。
[請求項9]
 前記フィルタ強度調整部は、予め設けられているパラメータ値と異なるパラメータ値を用いる場合に、前記シンタックス・エレメントであるピクチャパラメータセットのdeblocking_filter_control_present_flagの値を所定の値に設定し、スライスヘッダに、前FilterOffsetAおよびFilterOffsetBの値を記述する請求項7記載の画像処理装置。
[請求項10]
 画像データがブロック毎に符号化されている符号化ストリームを復号化して復号画像データを生成する工程と、
 前記復号部により生成された復号画像データに対してブロック歪みを除去するフィルタ処理を行う工程と、
 ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整する工程と
を設けた画像処理方法。 
[請求項11]
 復号画像データに対してブロック歪みを除去するフィルタ処理を行うフィルタと、
 ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整するフィルタ強度調整部と、
 前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データを符号化する符号化部と、
 を設けた画像処理装置。
[請求項12]
 前記フィルタ強度調整部は、前記隣接ブロックのブロックサイズが大きいほどフィルタ処理をかかりやすくするようにフィルタ強度を調整する請求項11記載の画像処理装置。
[請求項13]
 前記フィルタ強度調整部は、前記フィルタ強度を調整するパラメータ値を前記ブロックサイズに応じて設定する請求項12記載の画像処理装置。
[請求項14]
 前記フィルタ強度調整部は、隣接ブロックのブロックサイズの組み合わせに応じて、前記フィルタ処理におけるフィルタ強度を調整する請求項13に記載の画像処理装置。
[請求項15]
 前記フィルタ強度調整部は、隣接ブロックでブロックサイズが異なる場合、大きい方のブロックサイズに応じてフィルタ強度を調整する請求項14記載の画像処理装置。
[請求項16]
 前記フィルタ強度調整部は、所定のマクロブロックよりもブロックサイズが大きいマクロブロックが用いられる場合、ブロックサイズが大きいほどフィルタ強度が強くなるように、隣接ブロックのブロックサイズの組み合わせに応じて、パラメータ値を設定する請求項15記載の画像処理装置。
[請求項17]
 前記フィルタ強度調整部は、符号化規格のシンタックス・エレメントの値を調整して、前記フィルタ強度を調整する請求項13記載の画像処理装置。
[請求項18]
 前記フィルタ強度調整部は、H.264/AVC規格のシンタックス・エレメントであるslice_alpha_c0_offset_div2およびslice_beta_offset_div2で指定するFilterOffsetAおよびFilterOffsetBの値を調整して、前記フィルタ強度を調整する請求項17記載の画像処理装置。
[請求項19]
 前記フィルタ強度調整部は、予め設けられているパラメータ値と異なるパラメータ値を用いる場合に、前記シンタックス・エレメントであるピクチャパラメータセットのdeblocking_filter_control_present_flagの値を所定の値に設定し、スライスヘッダに、前FilterOffsetAおよびFilterOffsetBの値を記述する請求項17記載の画像処理装置。
[請求項20]
 復号画像データに対してブロック歪みを除去するフィルタ処理を行う工程と、
 ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整する工程と、
 前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データを符号化する工程と
を設けた画像処理方法。

補正された請求の範囲(条約第19条)
[ 2011年8月5日 ( 05.08.2011 )  国際事務局受理 ]

[1]
[補正後]
 画像データがブロック毎に符号化されている符号化ストリームを復号化して復号画像データを生成する復号部と、
 前記復号部により生成された復号画像データのブロック境界において隣接する隣接ブロックに対してブロック歪みを除去するフィルタ処理を行うフィルタと、
 ブロックサイズが所定のブロックサイズよりも大きいサイズの隣接ブロックを対象として設定された、前記フィルタ処理におけるフィルタ強度を調整するパラメータを用いて、前記フィルタ強度を調整するフィルタ強度調整部と
 を設けた画像処理装置。
[2]
[補正後] 
 前記フィルタ強度調整部は、前記フィルタ強度を調整するオフセット値として設定された前記パラメータを用いて、前記フィルタ強度を調整する
請求項1記載の画像処理装置。
[3]
[補正後]
 前記オフセット値は、前記オフセット値、前記隣接ブロックのブロックサイズに応じて設定される
請求項2記載の画像処理装置。
[4]
[補正後] 
 前記オフセット値は、前記隣接ブロックのブロックサイズの組み合わせに応じて設定される
請求項3に記載の画像処理装置。
[5]
[補正後] 
 前記オフセット値は、2つの隣接ブロックにおいてブロックサイズが異なる場合、大きい方のブロックサイズに応じて設定される
請求項4記載の画像処理装置。
[6]
[削除] 
[7]
[削除] 
[8]
[削除] 
[9]
[削除] 
[10]
[補正後]
 画像データがブロック毎に符号化されている符号化ストリームを復号化して復号画像データを生成する工程と、
 前記復号部により生成された復号画像データに対してブロック歪みを除去するフィルタ処理を行う工程と、
 ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整する工程と
を設けた画像処理方法。
[11]
[補正後]
 ローカル復号された復号画像データのブロック境界に対して隣接する隣接ブロックに対してブロック歪みを除去するフィルタ処理を行うフィルタと、
ブロックサイズが所定サイズよりも大きいサイズの隣接ブロックを対象として設定された、前記フィルタ処理におけるフィルタ強度を調整するパラメータを用いて、前記フィルタ処理におけるフィルタ強度を調整するフィルタ強度調整部と、
前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データを符号化する符号化部と、
を設けた画像処理装置。
[12]
[補正後]
 前記フィルタ強度調整部は、前記パラメータを、前記フィルタ強度を調整するオフセット値として設定する
請求項11記載の画像処理装置。
[13]
[補正後]
前記フィルタ強度調整部は、前記オフセット値を、前記隣接ブロックのブロックサイズに応じて設定する
請求項12記載の画像処理装置。
[14]
[補正後] 
 前記フィルタ強度調整部は、前記隣接ブロックのブロックサイズの組み合わせに応じて、前記オフセット値を設定する
請求項13に記載の画像処理装置。
[15]
[補正後] 
  前記フィルタ強度調整部は、2つの隣接ブロックにおいてブロックサイズが異なる場合、大きい方のブロックサイズに応じて、前記オフセット値を設定する
請求項14記載の画像処理装置。
[16]
[削除] 
[17]
[削除] 
[18]
[削除] 
[19]
[削除] 
[20]
[補正後] 
復号画像データに対してブロック歪みを除去するフィルタ処理を行う工程と、
ブロック境界で隣接する隣接ブロックのブロックサイズに応じて、前記フィルタ処理におけるフィルタ強度を調整する工程と、前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データを符号化する工程と
を設けた画像処理方法。
[21]
[追加] 
 前記オフセット値は、前記隣接ブロックのブロックサイズが大きいほど大きくなるように設定される
請求項3に記載の画像処理装置。
[22]
[追加]
 前記フィルタ調整部は、前記隣接ブロックのブロックサイズごとに設定された前記オフセット値から、前記隣接ブロックのブロックサイズに応じて前記オフセット値を選択する
請求項21に記載の画像処理装置。
[23]
[追加] 
前記所定サイズは、AVC規格のマクロブロックサイズである16×16画素サイズである
請求項1に記載の画像処理装置。
[24]
[追加] 
前記フィルタ強度調整部は、前記オフセット値を、前記隣接ブロックのブロックサイズが大きいほど大きくなるように設定する
請求項13に記載の画像処理装置。
[25]
[追加] 
前記フィルタ調整部は、前記オフセット値を、前記隣接ブロックのブロックサイズごとに設定し、前記隣接ブロックのブロックサイズに応じて前記オフセット値を選択する
請求項24に記載の画像処理装置。
[26]
[追加] 
前記所定サイズは、AVC規格のマクロブロックサイズである16×16画素サイズである
請求項11に記載の画像処理装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]