処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020129407 - 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム

Document

明 細 書

発明の名称 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008  

発明の効果

0009   0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6A   6B   7A   7B   7C   7D   7E   7F   8A   8B   8C   9   10A   10B   10C   11A   11B  

明 細 書

発明の名称 : 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム

技術分野

[0001]
 本発明は、画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラムに関するものである。

背景技術

[0002]
 動画像の圧縮記録の符号化方式として、HEVC(High Efficiency Video Coding)符号化方式(以下、HEVCと記す)が知られている。HEVCでは符号化効率向上のため、従来のマクロブロック(16×16画素)より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはCTU(Coding Tree Unit)と呼ばれ、そのサイズは最大64×64画素である。CTUはさらに予測や変換を行う単位となるサブブロックに分割される。
[0003]
 また、HEVCにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数(以下、直交変換係数と記す)を、周波数成分に応じて重み付けをする処理が用いられている。人間の視覚には劣化が目立ちにくい高周波成分のデータをより削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献1には、このような量子化マトリクスを符号化する技術が開示されている。
[0004]
 近年、HEVCの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。JVET(Joint Video Experts Team)がISO/IECとITU-Tの間で設立され、VVC(Versatile Video Coding)符号化方式(以下、VVC)として標準化が進められている。符号化効率向上のため、従来のイントラ予測、インター予測に加え、イントラ予測画素とインター予測画素の両方を用いた新たな予測方法(以下、重み付きイントラ・インター予測と呼称する)が検討されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2013-38758号公報

発明の概要

発明が解決しようとする課題

[0006]
 VVCにおいても、HEVCと同様に量子化マトリクスの導入が検討されている。しかしながら、HEVCにおける量子化マトリクスは従来のイントラ予測やインター予測といった予測方法を前提としており、新しい予測方法である重み付きイントラ・インター予測には対応できていない。このため、重み付きイントラ・インター予測の誤差に対しては、周波数成分に応じた量子化制御を行うことができず、主観画質を向上できないという問題がある。
[0007]
 本発明はかかる問題に鑑みなされたものであり、重み付きイントラ・インター予測に対応した量子化マトリクスを用いた量子化処理を可能とし、主観画質を向上させる技術を提供しようとするものである。

課題を解決するための手段

[0008]
 この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
 画像を符号化する画像符号化装置であって、
 画像における符号化対象の所定のサイズの着目ブロックに対し、イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像の両方から予測画像を生成し、前記着目ブロックと前記予測画像との差分である予測誤差を求める予測手段と、
 該予測手段で得た前記予測誤差を周波数変換する変換手段と、
 該変換手段で得た変換係数を、量子化マトリクスを用いて量子化する量子化手段と、
 該量子化手段による量子化後の変換係数をエントロピー符号化する符号化手段とを有する。

発明の効果

[0009]
 本発明によれば、イントラ予測画素とインター予測画素の両方を用いた新しい予測方法に対する誤差に対しても量子化マトリクスを用いた量子化を行い、主観画質を向上させることができる。
[0010]
 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

[0011]
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
[図1] 第1の実施形態における画像符号化装置のブロック構成図。
[図2] 第2の実施形態における画像復号装置のブロック構成図
[図3] 第1の実施形態に係る画像符号化装置における画像符号化処理を示すフローチャート。
[図4] 第2の実施形態に係る画像復号装置における画像復号処理を示すフローチャート。
[図5] 画像符号化装置、復号装置として適用可能なコンピュータのハードウェア構成例を示すブロック図。
[図6A] 第1の実施形態によって生成されるビットストリーム構造の一例を示す図。
[図6B] 第1の実施形態によって生成されるビットストリーム構造の一例を示す図。
[図7A] の実施形態で用いられるサブブロック分割の一例を示す図。
[図7B] の実施形態で用いられるサブブロック分割の一例を示す図。
[図7C] の実施形態で用いられるサブブロック分割の一例を示す図。
[図7D] の実施形態で用いられるサブブロック分割の一例を示す図。
[図7E] の実施形態で用いられるサブブロック分割の一例を示す図。
[図7F] の実施形態で用いられるサブブロック分割の一例を示す図。
[図8A] 実施形態で用いられる量子化マトリクスの例を示す図。
[図8B] 実施形態で用いられる量子化マトリクスの例を示す図。
[図8C] 実施形態で用いられる量子化マトリクスの例を示す図。
[図9] 量子化マトリクスの要素の走査方法を示す図。
[図10A] 量子化マトリクスの差分値行列を示す図。
[図10B] 量子化マトリクスの差分値行列を示す図。
[図10C] 量子化マトリクスの差分値行列を示す図。
[図11A] 量子化マトリクス用の符号化テーブルの例を示す図。
[図11B] 量子化マトリクス用の符号化テーブルの例を示す図。

発明を実施するための形態

[0012]
 以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。例えば、以下の説明において、「基本ブロック」や「サブブロック」といった語句を用いるが、各実施形態は画像符号化技術において「ブロック」や「ユニット」等の名称で呼ばれる種々の処理単位に応用可能である。
[0013]
 [第1の実施形態]
 図1は第1の実施形態の画像符号化装置を示すブロック構成図である。画像符号化装置は、以下に説明する構成要素を制御し、装置全体の制御を司る制御部150を有する。この制御部150は、CPU、CPUが実行するプログラムや各種パラメータ等を記憶しているROM、CPUのワークエリアとして使用されるRAMを含む。なお、ROMや他の不揮発性記憶装置に格納されたOS(オペレーティングシステム)、プログラム、パラメータをRAMにロードした後に、OSの制御下でプログラムを実行するようにしてもよい。
[0014]
 また、画像符号化装置は、入力端子101、ブロック分割部102、量子化マトリクス保持部103、予測部104、変換・量子化部105、逆量子化・逆変換部106、画像再生部107、フレームメモリ108、インループフィルタ部109、符号化部110、統合符号化部111、出力端子112、及び、量子化マトリクス符号化部113を有する。
[0015]
 上記構成において、不図示の画像発生源から画像データ(例えば30フレーム/秒)が、本装置の入力端子101に供給される。なお、画像発生源の種類は問わないが、簡単には撮像部もしくはビデオカメラ、或いは、符号化対象の画像データを記憶するハードディスクや記憶媒体である。
[0016]
 ブロック分割部102は、入力端子101を介して入力した1フレームの画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを後段の予測部104に供給する。
[0017]
 量子化マトリクス保持部103は、量子化処理に用いる複数の量子化マトリクスを保持する。保持される量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。本実施形態では、図8A~8Cに示される3種類の8×8画素の直交変換(周波数変換)に対応した2次元の量子化マトリクス801~803が生成され、保持されるものとする。
[0018]
 予測部104は、基本ブロック単位の画像データに対し、サブブロック分割を行い、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部104は、サブブロックの画像データと予測画像データから予測誤差データを算出し、出力する。また、予測部104は、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力する。以下ではこの予測に必要な情報を予測情報と呼称する。
[0019]
 変換・量子化部105は、予測部104から供給された予測誤差データをサブブロック単位で直交変換(周波数変換)して変換係数を得る。そして、変換・量子化部105は、着目サブブロックの変換係数を、量子化マトリクス保持部103が保持する該当量子化マトリクスを用いて量子化を行う(以降、量子化後の変換係数を単に「量子化係数」と呼称する)。
[0020]
 逆量子化・逆変換部106は、変換・量子化部105から入力した量子化係数を、量子化マトリクス保持部103が保持する該当量子化マトリクスを用いて逆量子化することで変換係数を再生(導出)し、さらにその変換係数を逆直交変換して予測誤差データを再生する。
[0021]
 画像再生部107は、予測部104から入力した予測情報に基づいて、フレームメモリ108を適宜参照して予測画像データを生成する。そして、画像再生部107は、生成した予測画像データと、逆量子化・逆変換部106からの予測誤差データとから、再生画像データを生成し、再びフレームメモリ108に出力する。
[0022]
 インループフィルタ部109は、フレームメモリ108に格納された画像再生部107からの再生画像データに対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データを、再びフレームメモリ109に格納する。
[0023]
 符号化部110は、変換・量子化部105から入力した量子化係数および予測部104から入力した予測情報を符号化して、符号データを生成し出力する。
[0024]
 量子化マトリクス符号化部113は、量子化マトリクス保持部103から入力した量子化マトリクスを符号化して、量子化マトリクスの符号データを生成し出力する。
[0025]
 統合符号化部111は、量子化マトリクス符号化部113からの出力である量子化マトリクスの符号データを用いて、ヘッダ符号データを生成する。さらに統合符号化部111は、生成したヘッダ符号化データに、符号化部110から入力した画像の符号データを結合することでビットストリームを形成し、出力端子112を介して外部に出力する。
[0026]
 なお、出力先は特に問わないが、記録媒体などの記憶装置や、ネットワーク上のファイルサーバー等で構わない。
[0027]
 以下、実施形態の画像符号化装置における画像の符号化動作を更に詳しく説明する。
[0028]
 最初に、量子化マトリクス保持部103は、量子化マトリクスを生成する。量子化マトリクスは、符号化を行うサブブロックのサイズや予測方法の種類に応じて生成される。本実施形態では、図7Aに示された8×8画素の基本ブロック700に対応する、8×8画素サイズの量子化マトリクスを生成するものとする。ただし、生成される量子化マトリクスはこれに限定されず、4×8画素や8×4画素、4×4画素など、サブブロックの形状に対応した量子化マトリクスが生成されても良い。量子化マトリクスを構成する各要素の決定方法は特に限定しない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて生成されても構わない。
[0029]
 量子化マトリクス保持部103は、このようにして生成された量子化マトリクスを保持する。図8A~8Cにおいて、参照符号800~802が、実施形態における量子化マトリクス保持部103が生成し、保持される量子化マトリクスを示している。図8Aの量子化マトリクス800はイントラ予測に用いる量子化マトリクスを示している。図8Bの量子化マトリクス801はインター予測に用いる量子化マトリクスを示している。そして、図8Cの量子化マトリクス802は、重み付きイントラ・インター予測に対応する量子化マトリクスを示している。量子化マトリクス800~802それぞれは、図示の通り、8×8個の要素(量子化ステップ値)で構成される。本実施形態では、図8A~8Cに示された三種の量子化マトリクス800~802が二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はもちろんこれに限定されない。また、サブブロックのサイズによって、あるいは符号化対象が輝度ブロックか色差ブロックかによって、同じ予測方法に対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図8A~8Cに示すように量子化マトリクス800~802の左上隅部分に相当する直流成分用の要素は小さく、右下部分に相当する交流成分の要素は大きくなっている。
[0030]
 量子化マトリクス符号化部113は、二次元形状で格納されている量子化マトリクス800~802を量子化マトリクス保持部106から順に読み出し、各要素を走査して差分を計算し、一次元の行列に配置する。本実施形態では、図8A~8Cに示された各量子化マトリクス800~802は図9に示された走査方法を用い、要素ごとに走査順に直前の要素との差分を計算するものとする。例えば図8Cで示された8×8画素分の量子化マトリクス802は図9で示された走査方法によって走査されるが、左上隅に位置する最初の要素“8”の次は、そのすぐ下に位置する要素“11”が走査され、差分である“+3”が計算される。また、量子化マトリクス802の最初の要素(本実施形態では“8”の符号化には、所定の初期値(例えば“8”)との差分を計算するものとするが、もちろんこれに限定されず、任意の値との差分や、最初の要素の値そのものを用いても良い。
[0031]
 このようにして、本実施形態では、図8A~8Cの量子化マトリクス800~802は、図9の走査方法を用い、図10A~10Cに示される1次元の差分行列1000~1002が生成される。量子化マトリクス符号化部113はさらに差分行列1000~1002を符号化して量子化マトリクス符号データを生成する。本実施形態では図11Aに示される符号化テーブルを用いて符号化するものとするが、符号化テーブルはこれに限定されず、例えば図11Bに示される符号化テーブルを用いても良い。このようにして生成された量子化マトリクス符号データは後段の統合符号化部111に出力される。
[0032]
 図1に戻り、統合符号化部111は、画像データの符号化に必要なヘッダ情報を符号化し、量子化マトリクス800~802の符号データを統合する。続いて、画像データの符号化を説明する。
[0033]
 ブロック分割部102は、入力端子101から入力された1フレーム分の画像データを、複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部104に供給する。本実施形態では、先に説明したように、基本ブロックのサイズは8×8画素である。
[0034]
 予測部104は、ブロック分割部102から入力した基本ブロック単位の画像データに対し予測処理を実行する。具体的には、予測部104は、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割法を決定し、さらにサブブロック単位でイントラ予測やインター予測、重み付きイントラ・インター予測などの予測モードを決定する。
[0035]
 図7A~7Fは、サブブロック分割パターンの例を示している。同図の外側の太枠を示す参照符号700は基本ブロックを表しており、実施形態では8×8画素のサイズである。そして、太枠内の矩形がサブブロックを表している。図7Aは基本ブロック=サブブロックの例を示している。図7Bは従来の正方形サブブロック分割の一例を表しており、8×8画素の基本ブロック700は4つの4×4画素のサブブロックに分割されている。一方、図7C~7Fは長方形サブブロック分割の一例を表している。図7Cでは基本ブロック700は4×8画素の縦長の2つのサブブロックへの分割例を示している。図7Dは基本ブロック700を、8×4画素の横長の長方形の2つサブブロックへの分割を示している。また、図7E,8Fは、基本ブロック700を、1:2:1の比で3つの長方形サブブロックへの分割を示している。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。
[0036]
 本実施形態では、上記のように、8×8画素の基本ブロックを分割しない(図7A)のみが用いられるものとするが、サブブロック分割方法はこれに限定されない。図7Bのような四分木分割や、図7E,8Fのような三分木分割または図7Cや図7Dのような二分木分割を用いても構わない。図7A以外のサブブロック分割も用いられる場合には、量子化マトリクス保持部103にて使用されるサブブロックに対応する量子化マトリクスが生成される。また、生成された量子化マトリクスは量子化マトリクス符号化部113にて符号化されることとなる。
[0037]
 また、本実施形態で用いられる予測方法について、改めて説明する。本実施形態ではイントラ予測、インター予測、重み付きイントラ・インター予測の3種類の予測方法が用いられる。イントラ予測は、符号化対象ブロックの空間的に周辺に位置する符号化済画素を用いて符号化対象ブロックの予測画素を生成し、水平予測や垂直予測、DC予測などのイントラ予測方法を示すイントラ予測モードも生成する。インター予測は符号化対象ブロックとは時間的に異なるフレームの符号化済画素を用いて符号化対象ブロックの予測画素を生成し、参照するフレームや動きベクトルなどを示す動き情報も生成する。
[0038]
 そして、重み付きイントラ・インター予測は、前述のイントラ予測により生成された画素値と前述のインター予測により生成された画素値とを加重平均して、符号化対象ブロックの予測画素を生成するものである。例えば、下記の式(1)のような式を用いて計算される。
p[x][y]={w×pinter[x][y] + (8-w)×pintra[x][y]}>>3…(1)
(ただし、「>>」は右へのビットシフトを示す)
 上記式(1)において、p[x][y]は符号化対象の着目ブロック内の座標(x,y)に対する、重み付きイントラ・インター予測による予測画素である。また、pinter[x][y]は、着目ブロック内の座標(x,y)に対するインター予測画像内の画素値を示している。また、pintra[x][y]は、着目ブロック内の座標(x,y)に対するイントラ予測画像内の画素値を示している。wはインター予測の画素値およびイントラ予測の画素値に対する重み値を表しており、本実施形態ではw=4の時にインター予測の画素値とイントラ予測の画素値に対する重みが同一となる。言い換えれば、w>4であればインター予測の画素値に対する重みが増し、w<4であればイントラ予測の画素値に対する重みが増す。こうして重み付きイントラ・インター予測では、符号化対象ブロックの予測画素を生成し、予測画素の生成に用いられたイントラ予測モードや動き情報も生成する。
[0039]
 予測部104は、決定した予測モードおよび符号化済の画素から、符号化対象のサブブロックの予測画像データを生成する。そして、予測部104は、符号化対象のサブブロックの画像データと、生成した予測画像データとの差分を演算して予測誤差データを生成し、生成した予測誤差データを変換・量子化部105に供給する。また、予測部104は、サブブロック分割や予測モード(イントラ予測、インター予測、重み付きイントラ・インター予測のいずれであるかを示す情報)やベクトルデータなどの予測情報を、符号化部110、画像再生部107に供給する。
[0040]
 変換・量子化部105は、入力された予測誤差データに直交変換・量子化を行い、量子化係数を生成する。具体的には、変換・量子化部105は、予測誤差データのサイズに対応した直交変換処理を施し、直交変換係数を生成する。次に変換・量子化部105は、直交変換係数を予測モードに応じて量子化マトリクス保持部103に格納されている量子化マトリクスを選択し、その選択した量子化マトリクスを用いて量子化し、量子化係数を生成する。本実施形態では、イントラ予測で予測処理が行われたサブブロックには図8Aに示す量子化マトリクス800が用いられる。また、インター予測が行われたサブブロックには図8Bに示す量子化マトリクス801が用いられる。そして、重み付きイントラ・インター予測が行われたサブブロックには図8Cの量子化マトリクス802が用いられる。ただし、使用される量子化マトリクスはこれに限定されない。そして、変換・量子化部105は、生成された量子化係数を符号化部110および逆量子化・逆変換部106に供給する。
[0041]
 逆量子化・逆変換部106は、入力したサブブロックの量子化係数を、量子化マトリクス保持部103に格納されている量子化マトリクスを用いて逆量子化して、変換係数を再生する。逆量子化・逆変換部106は、更に、再生された変換係数を逆直交変換して予測誤差データを再生する。逆量子化処理には、変換・量子化部105同様、符号化対象ブロックの予測モードに対応した量子化マトリクスが用いられる。具体的には、変換・量子化部105で用いられた量子化マトリクスと同一のものが用いられる。逆量子化・逆変換部106は、そして再生された予測誤差データを画像再生部107に供給する。
[0042]
 画像再生部107は、予測部104から入力される予測情報に基づいて、フレームメモリ108を適宜参照し、予測画像データを再生する。そして画像再生部107は、再生された予測画像と、逆量子化・逆変換部106から入力した予測誤差データとを加算することで、サブブロックの画像データを再生し、フレームメモリ108に格納する。
[0043]
 インループフィルタ部109は、フレームメモリ108から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部109は、フィルタ処理された画像データを再びフレームメモリ108に格納する。
[0044]
 符号化部110は、サブブロック単位に、変換・量子化部105で生成された量子化係数、及び、予測部104から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に問わないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された符号データは統合符号化部111に供給される。
[0045]
 統合符号化部111は、前述のヘッダの符号データとともに符号化部110から入力した符号データなどを多重化してビットストリームを形成する。最終的には、ビットストリームは端子112から外部に出力される。
[0046]
 図6Aは第1の実施形態で出力されるビットストリームのデータ構造例を示している。シーケンスヘッダには量子化マトリクスの符号データが含まれ、各要素の符号化データで構成されている。ただし、符号化される位置はこれに限定されず、ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、1つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスに対応する量子化マトリクスの予測モードを指定することでその一部を変更するようにすることも可能である。
[0047]
 以下、第1の実施形態に係る画像符号化装置における1フレームの符号化処理の処理手順を図3のフローチャートを参照して説明する。なお、以下の説明における各工程は、その主体が制御部150による制御下にてそれぞれの処理を実行するものとする。
[0048]
 まず、画像の符号化に先立ち、S301にて、量子化マトリクス保持部103は二次元の量子化マトリクスを生成し、保持する。本実施形態における量子化マトリクス保持部103は、図8A~8Cに示された、8×8画素のサブブロックに対応し、イントラ予測、インター予測および重み付きイントラ・インター予測のそれぞれの予測方法に対応した量子化マトリクス800~802を生成し、保持する。
[0049]
 S302にて、量子化マトリクス符号化部113は、S301にて生成・保持された量子化マトリクス800~802を走査して各要素の差分を算出し、1次元の差分行列を生成する。本実施形態の量子化マトリクス符号化部113は、図8A~8Cに示された量子化マトリクス800~802は図9の走査方法を用い、図10A~10Cに示される差分行列1000~1002を生成することになる。量子化マトリクス符号化部113は、さらに生成された差分行列1000~1002を、図11A(又は図11B)に示す符号化テーブルを参照して二進符号を生成し、符号化データを生成していく。
[0050]
 S303にて、統合符号化部111は、生成された量子化マトリクス800~802の符号データとともに、画像データの符号化に必要なヘッダ情報を生成し、出力する。
[0051]
 S304にて、ブロック分割部102は、フレーム単位の入力画像を基本ブロック単位に分割する。そして、S305にて、予測部104は、S304にて生成された基本ブロック単位の画像データから1以上のサブブロックに分割し、サブブロック単位に予測処理を実行し、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成する。本実施形態では、イントラ予測、インター予測および重み付きイントラ・インター予測の3種類の予測方法が用いられる。さらに予測部104は、入力された画像データと、予測画像データとの差分である予測誤差データを算出する。
[0052]
 なお、予測部104による具体例な処理例を示すと次の通りである。予測部104は、符号化しようとする着目サブブロックの画像データに対して、当該着目サブブロックが属する同じフレームの符号化済み領域を参照してイントラ予測処理を行い、イントラ予測画像データPintra[x][y]を生成する。また、予測部104は、符号化しようとする着目サブブロックが属するフレームと異なる既符号化のフレーム(例えば直前のフレーム)を参照してインター予測処理を行い、インター予測画像データPinter[x][y]を生成する。そして、先に示した式(1)に基づき重み付きイントラ・インター予測画像データP[x][y]を生成する。そして、予測部104は、これらの3つの予測画像データそれぞれと、着目サブブロックの画素値どうしの差分データの2乗和(または、絶対値和でも良い)を求め、2乗和が最小となった予測画像データの予測モードを着目サブブロックの予測モードとして決定する。本実施形態では、重み値wはイントラ予測モードや動きベクトルの大きさ、着目サブブロックの位置などに応じて一意に算出されるものとするが、重み値wの算出方法についてはこれに限定されない。例えば、予測部104は、w=0、1、…、8を設定して、それぞれの場合の9個の予測画像データを求める。そして、予測部104は、これら9個の予測画像データそれぞれと、着目サブブロックの画素値どうしの差分データの2乗和(または、絶対値和でも良い)を求め、2乗和が最小となった“w”を判定する構成としても良い。その場合、w=0であった場合、予測部104は、式(1)から、着目サブブロックはイントラ予測符号化するものとして決定する。また、w=8であった場合、予測部104は、式(1)から、着目サブブロックはインター予測符号化するものとして決定する。そして、wが1~7の範囲内にある場合、着目サブブロックは重み付きイントラ・インター予測符号化を行うものとして決定する。その場合、決定したwの値も予測情報として、後段のS309にて符号化する構成としても良い。
[0053]
 S306にて、変換・量子化部105は、S305で算出された予測誤差データを直交変換して変換係数を生成する。更に、変換・量子化部105は、予測情報に基づき、S301にて生成・保持された量子化マトリクスの1つを選択し、その選択した量子化マトリクスを用いて量子化を行い、量子化係数を生成する。本実施形態では、イントラ予測が用いられたサブブロックには図8Aの量子化マトリクス800、インター予測が用いられたサブブロックには図8Bの量子化マトリクス801、重み付きイントラ・インター予測が用いられたサブブロックには図8Cの量子化マトリクス802が用いられる。
[0054]
 S307にて、逆量子化・逆変換部106は、S305で生成された量子化係数を、S301にて生成・保持された量子化マトリクスを用いて逆量子化を行い、変換係数を再生する。逆量子化・逆変換部106は、さらに、変換係数に対して逆直交変換し、予測誤差データを再生する。本ステップでは、S306で用いられた量子化マトリクスと同一のものが用いられ、逆量子化処理が行われることになる。
[0055]
 S308にて、画像再生部107は、S305で生成された予測情報に基づいて予測画像データを再生する。画像再生部107は、さらに、再生された予測画像データと、S307で生成された予測誤差データからサブブロックの画像データを再生する。
[0056]
 S309にて、符号化部110は、S305で生成された予測情報およびS306で生成された量子化係数を符号化し、符号データを生成する。また、他の符号データも含め、ビットストリームを生成する。
[0057]
 S310にて、制御部150は、フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していればS311に処理を進め、そうでなければ次の基本ブロックを対象とする符号化を行うため、処理をS305に戻す。
[0058]
 S311にて、インループフィルタ部109は、S308で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。
[0059]
 上記の処理において、動画像の2つ目以降のフレームの符号化を行う場合には、S304乃至S311を、符号化すべき最後のフレームの入力まで繰り返すことになる。
[0060]
 以上の構成と動作により、特にS306において、重み付きイントラ・インター予測を用いたサブブロックに対して、それ専用の量子化マトリクスを用いた量子化処理を実行することで、周波数成分ごとに量子化を制御し、主観画質を向上させることができる。
[0061]
 なお、本実施形態では、イントラ予測、インター予測および重み付きイントラ・インター予測の3種類の予測方法に対して、個別に量子化マトリクスを定義し、3種類の量子化マトリクス全てを符号化する構成としたが、そのうちのいくつかを共通化しても構わない。
[0062]
 例えば、重み付きイントラ・インター予測を用いたサブブロックに対しても、イントラ予測を用いたサブブロック同様に図8Aの量子化マトリクス800を用いて量子化し、図8Cの量子化マトリクス802の符号化を省略することも可能である。これにより、図8Cの量子化マトリクス802分の符号量を削減しつつ、ブロック歪みなどのイントラ予測による誤差から生じる画質劣化を軽減させることができる。
[0063]
 同様に、重み付きイントラ・インター予測を用いたサブブロックに対しても、インター予測を用いたサブブロック同様に図8Bの量子化マトリクス801を用いて量子化し、図8Cの量子化マトリクス802の符号化を省略することも可能である。これにより、図8Cの量子化マトリクス分の符号量を削減しつつ、ガクガクした動きなどのインター予測による誤差から生じる画質劣化を低減させることもできる。
[0064]
 あるいは、前述の式(1)において、イントラ予測画素値とインター予測画素値の重みを示す重み値wの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを適応的に決定する構成としても構わない。例えば、差分が最小となる重み値wの値が所定の値(例えば中心値の4)以上であれば図8Bの量子化マトリクス801を、小さければ図8Aの量子化マトリクス800を重み付きイントラ・インター予測を用いたサブブロックに対して用いる構成にすることも可能である。これにより、より重みが大きい方の予測方法に対する画質劣化を低減しつつ、図8Cの量子化マトリクスの符号化を省略した分の符号量を削減することができる。あるいは、重み値wの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを新たに生成する構成としても良い。例えば、次式(2)を用いて計算することもできる。
QM[x][y]={w×QMinter[x][y] +(8-w)×QMintra[x][y]}>>3…(2)
上記の式(2)において、QM[x][y]は算出された重み付きイントラ・インター予測を用いたサブブロックに用いられる量子化マトリクスの座標(x,y)における要素(量子化ステップ値)である。QMinter[x][y]はインター予測用のサブブロックに用いられる量子化マトリクスの座標(x,y)における要素である。同様に、QMintra[x][y]はイントラ予測用の量子化マトリクスの座標(x,y)における要素である。これにより、図8Cの量子化マトリクス802の符号化を省略した分の符号量を削減しつつ、重み値wに応じた適切な量子化制御を行い、主観画質を向上させることができる。
[0065]
 さらには、本実施形態では、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクスが一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。例えば図6Bは、量子化マトリクス符号化方法情報符号を新たに導入することで、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクス符号化を選択的にしたものである。例えば、量子化マトリクス符号化方法情報符号が0を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、イントラ予測を用いたサブブロックに対する量子化マトリクス800(図8A)が用いられる。また、1を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、インター予測を用いたサブブロックに対する量子化マトリクス801(図8B)が用いられる。一方、2を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、個別に符号化された量子化マトリクス802(図8C)が用いられるといった具合である。これにより、量子化マトリクス符号量削減と重み付きイントラ・インター予測を用いたサブブロックに対する独自の量子化制御とを選択的に実現することが可能となる。
[0066]
 [第2の実施形態]
 第2の実施形態では、上記第1の実施形態の画像符号化装置で生成された符号化データを復号する画像復号装置を説明する。図2は、その画像復号装置のブロック構成図である。
[0067]
 画像復号装置は、以下に説明する構成要素を制御し、装置全体の制御を司る制御部250を有する。この制御部250は、CPU、CPUが実行するプログラムや各種パラメータ等を記憶しているROM、CPUのワークエリアとして使用されるRAMを含む。なお、ROMや他の不揮発性記憶装置に格納されたOS(オペレーティングシステム)、プログラム、パラメータをRAMにロードした後に、OSの制御下でプログラムを実行するようにしてもよい。
[0068]
 また、画像復号装置は、入力端子201、分離復号部202、復号部203、逆量子化・逆変換部204、画像再生部205、フレームメモリ206、インループフィルタ部207、出力端子208、及び、量子化マトリクス復号部209を有する。
[0069]
 上記画像復号装置の構成における画像復号装置の構成とその動作を以下に説明する。なお、画像復号装置は、先に説明した画像符号化装置が生成したビットストリームをフレーム単位で入力する構成となっている。
[0070]
 分離復号部202は、入力端子201を介して符号化ビットストリームを入力し、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態の分離復号部202は、符号化ビットストリームから量子化マトリクスの符号化データを分離し、その符号化データを量子化マトリクス復号部209に供給する。また、分離復号部202は、符号化ビットストリームから画像データの符号化データを分離し、復号部203に供給する。要するに分離復号部202は、図1の統合符号化部111と逆の動作を行う。
[0071]
 量子化マトリクス復号部209は、分離復号部202からの量子化マトリクスの符号化データを復号して量子化マトリクス800~802を再生、保持する。
[0072]
 復号部203は、分離復号部202から入力した符号化データを復号し、量子化係数および予測情報を再生する。
[0073]
 逆量子化・逆変換部204は、図1の逆量子化・逆変換部106と同様、再生された量子化マトリクス800~802を用いて量子化係数を逆量子化して変換係数を得、さらに逆直交変換を行い、予測誤差データを再生する。
[0074]
 画像再生部205は、入力された予測情報に基づいてフレームメモリ206を適宜参照して予測画像データを生成する。そして、画像再生部205は、この予測画像データに、逆量子化・逆変換部204で再生された予測誤差データを加算することで、画像データを生成し、フレームメモリ206に格納する。
[0075]
 インループフィルタ部207は、図1のインループフィルタ部109と同様、フレームメモリ206に格納された再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像データをフレームメモリ206に再格納する。そして、出力端子208は、再生された画像データを外部装置(例えば表示装置)に出力する。
[0076]
 次に、図2の画像復号装置における各構成要素の動作を更に詳しく説明する。
[0077]
 本第2の実施形態では、第1の実施形態で生成されたビットストリームをフレーム単位で入力する構成となっている。
[0078]
 入力端子201を介して入力された1フレーム分のビットストリームは分離復号部202に供給される。分離復号部202は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。より具体的には、分離復号部202は、量子化マトリクスの符号データを再生する。本実施形態の分離復号部202は、まず、図6Aに示されるビットストリームのシーケンスヘッダから図8A~8Cの量子化マトリクス800~802の符号データを抽出し、量子化マトリクス復号部209に供給する。分離復号部202は、続いて、ピクチャデータの基本ブロックのサブブロック単位の符号データを再生し、復号部203に供給する。
[0079]
 量子化マトリクス復号部209は、まず入力された量子化マトリクス符号データを復号し、図10A~10Cに示される一次元の差分行列1000~1002を再生する。本実施形態では、第1の実施形態と同様、図11A(又は図11B)に示される符号化テーブルを用いて復号するものとするが、符号化テーブルはこれに限定されず、第1の実施形態と同じものを用いる限りは他の符号化テーブルを用いても良い。さらに量子化マトリクス復号部209は、再生された一次元の差分行列を逆走査し、二次元の量子化マトリクスを再生する。ここでは第1の実施形態の量子化マトリクス符号化部113の動作とは逆の動作を行う。すなわち、本実施形態の量子化マトリクス復号部209は、図10A~10Cに示される差分行列1000~1002を、図9に示される走査方法を用いて、それぞれ図8A~8Cに示される3種の量子化マトリクス800~802を再生し、保持することになる。
[0080]
 復号部203は、符号データを復号し、量子化係数および予測情報を再生する。そして、復号部203は、再生された量子化係数を逆量子化・逆変換部204に供給し、再生された予測情報を画像再生部205に供給する。
[0081]
 逆量子化・逆変換部204は、量子化マトリクス復号部209で再生された量子化マトリクス800~802の1つを選択する。そして、逆量子化・逆変換部204は、入力した量子化係数を、選択した量子化マトリクスを用いて逆量子化し、直交変換係数を生成する。逆量子化・逆変換部204は、さらに逆直交変換を施して予測誤差データを再生し、再生された予測情報を画像再生部205に供給する。本実施形態の逆量子化・逆変換部204は、復号部203で再生された予測情報に従って定まる復号対象ブロックの予測モードに応じて、逆量子化処理で用いる量子化マトリクスを決定する。すなわち、イントラ予測が用いられているサブブロックには図8Aの量子化マトリクス800、インター予測が用いられているサブブロックには図8Bの量子化マトリクス801、重み付きイントラ・インター予測が用いられているサブブロックには図8Cの量子化マトリクス802が選択される。ただし、使用される量子化マトリクスはこれに限定されず、第1の実施形態の変換・量子化部105および逆量子化・逆変換部106で用いられた量子化マトリクスと同一のものであれば良い。
[0082]
 画像再生部205は、復号部203から入力された予測情報に基づいて、フレームメモリ206を適宜参照し、予測画像データを再生する。本実施形態では、第1の実施形態の予測部104と同様、イントラ予測、インター予測および重み付きイントラ・インター予測の3種類の予測方法が用いられる。具体的な予測の処理については、第1の実施形態の予測部104と同様であるため、説明を省略する。画像再生部205は、この予測画像データに、逆量子化・逆変換部204から入力された予測誤差データを加算することで画像データを再生し、フレームメモリ206に格納する。格納された画像データは他のサブブロックの復号する際の予測参照候補となる。
[0083]
 インループフィルタ部207は、図1のインループフィルタ部109と同様、フレームメモリ206から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部207は、フィルタ処理された画像データを再びフレームメモリ206に格納する。
[0084]
 フレームメモリ206に格納された再生画像は、最終的には出力端子208から外部に出力される。
[0085]
 以下、第2の実施形態に係る画像復号装置における1フレームの復号処理の処理手順を図4のフローチャートを参照して説明する。なお、以下の説明における各工程は、その主体が制御部250による制御下にて、それぞれの処理を実行するものとする。
[0086]
 まず、S401にて、分離復号部202は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号する。より具体的には、量子化マトリクスの符号データを再生する。
[0087]
 S402にて、量子化マトリクス復号部209は、S401で再生された量子化マトリクスの符号データを復号し、図10A~10Cで示される一次元の差分行列1000~1002を再生する。さらに、量子化マトリクス復号部209は再生された一次元の差分行列1000~1002を逆走査し、二次元の量子化マトリクス800~802を再生し、保持する。
[0088]
 すなわち、本実施形態では、量子化マトリクス復号部209は、図10A~10Cに示される差分行列1000~1002は、図9に示される走査方法を用いて、それぞれ図8A~8Cに示される3種の量子化マトリクス800~802が再生し、保持する。
[0089]
 S403にて、復号部203は、S401で分離された符号データを復号し、量子化係数および予測情報を再生する。
[0090]
 S404にて、逆量子化・逆変換部204は、量子化係数に対してS402で再生された量子化マトリクス800~802のいずれかを用いて逆量子化を行って変換係数を得る。逆量子化・逆変換部204は、さらに逆直交変換を行い、予測誤差データを再生する。本実施形態の逆量子化・逆変換部204は、S403で再生された予測情報によって定まる予測モードに応じて、利用する量子化マトリクスを決定する。すなわち、イントラ予測が用いられているサブブロックには図8Aの量子化マトリクス800が用いられる。また、インター予測が用いられているサブブロックには図8Bの量子化マトリクス801が用いられる。そして、重み付きイントラ・インター予測が用いられているサブブロックには図8Cの量子化マトリクス802が用いられる。ただし、使用される量子化マトリクスはこれに限定されず、第1の実施形態のS306およびS307で用いられた量子化マトリクスと同一のものであれば良い。
[0091]
 S405にて、画像再生部205は、S403で生成された予測情報から予測画像データを再生する。本実施形態の画像再生部205は、第1の実施形態のS305同様、イントラ予測、インター予測および重み付きイントラ・インター予測の3種類の予測方法が用いられる。さらに画像再生部205は、再生された予測画像データに、S404で生成された予測誤差データを加算して、画像データを再生する。
[0092]
 S406にて、制御部250は、フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していればS407に処理を進め、そうでなければ次の基本ブロックを復号対象とするため処理をS403に戻す。
[0093]
 S407にて、インループフィルタ部207は、S405で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。
[0094]
 以上の構成と動作により、第1の実施形態で生成された、重み付きイントラ・インター予測を用いたサブブロックに対しても、周波数成分ごとに量子化を制御し主観画質を向上したビットストリームを復号することができる。
[0095]
 なお、本実施形態では、イントラ予測、インター予測および重み付きイントラ・インター予測の3種類の予測方法に対して、個別に量子化マトリクスを定義し、3種類の量子化マトリクス全てを復号する構成としたが、そのうちのいくつかを共通化しても構わない。
[0096]
 例えば、重み付きイントラ・インター予測を用いたサブブロックに対しても、イントラ予測を用いたサブブロック同様に図8Aの量子化マトリクス800を用いて逆量子化し、図8Cの量子化マトリクス802の復号を省略することも可能である。これにより、図8Cの量子化マトリクス分の符号量を削減しつつ、ブロック歪みなどのイントラ予測による誤差から生じる画質劣化を軽減させたビットストリームを復号することができる。
[0097]
 同様に、重み付きイントラ・インター予測を用いたサブブロックに対しても、インター予測を用いたサブブロック同様に図8Bの量子化マトリクス801を用いて逆量子化し、図8Cの量子化マトリクスの復号を省略することも可能である。これにより、図8Cの量子化マトリクス802分の符号量を削減しつつ、ガクガクした動きなどのインター予測による誤差から生じる画質劣化を低減させたビットストリームを復号することもできる。
[0098]
 あるいは、前述の式(1)において、イントラ予測画素値とインター予測画素値の重みを示す重み値wの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを適応的に決定する構成としても構わない。例えば、wの値が所定の値(例えば中心値の4)以上であれば図8(b)を、小さければ図8Aの量子化マトリクス800を重み付きイントラ・インター予測を用いたサブブロックに対して用いる構成にすることも可能である。これにより、より重みが大きい方の予測方法に対する画質劣化を低減しつつ、図8Cの量子化マトリクス802の符号化を省略した分の符号量を削減したビットストリームを復号することができる。あるいは、前述の式(2)のように、重み値wの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを新たに生成する構成としても良い。これにより、図8Cの量子化マトリクス802の符号化を省略した分の符号量を削減しつつ、重み値wに応じた適切な量子化制御を行い、主観画質を向上させたビットストリームを復号することができる。
[0099]
 さらには、本実施形態では、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクスが一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。例えば図6Bは、量子化マトリクス符号化方法情報符号を新たに導入することで、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクス符号化を選択的にしたものである。例えば、量子化マトリクス符号化方法情報符号が0を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、イントラ予測を用いたサブブロックに対する量子化マトリクス800(図8A)が用いられる。また、1を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、インター予測を用いたサブブロックに対する量子化マトリクス801(図8B)が用いられる。一方、2を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、個別に符号化された量子化マトリクス802(図8C)が用いられるといった具合である。これにより、量子化マトリクス符号量削減と重み付きイントラ・インター予測を用いたサブブロックに対する独自の量子化制御とを選択的に実現したビットストリームを復号することが可能となる。
[0100]
 [第3の実施形態]
 図1、図2に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
[0101]
 図5は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
[0102]
 CPU501は、RAM502やROM503に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、CPU501は、図1、図2に示した各処理部として機能することになる。
[0103]
 RAM502は、外部記憶装置506からロードされたコンピュータプログラムやデータ、I/F(インターフェース)507を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM502は、CPU501が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM502は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
[0104]
 ROM503には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部504は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU501に対して入力することができる。表示部505は、CPU501による処理結果を表示する。また表示部505は例えば液晶ディスプレイで構成される。
[0105]
 外部記憶装置506は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置506には、OS(オペレーティングシステム)や、図1、図2に示した各部の機能をCPU501に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置506には、処理対象としての各画像データが保存されていても良い。
[0106]
 外部記憶装置506に保存されているコンピュータプログラムやデータは、CPU501による制御に従って適宜、RAM502にロードされ、CPU501による処理対象となる。I/F507には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのI/F507を介して様々な情報を取得したり、送出したりすることができる。508は上述の各部を繋ぐバスである。
[0107]
 上記構成において、本装置の電源がONになると、CPU501はROM503のブートプログラムを実行して、外部記憶装置506に格納されたOSをRAM502にロードし、OSを起動する。この結果、本装置が、インターフェース507を介した通信が可能となり、情報処理装置として機能する。そして、OSの制御下で、CPU501は画像符号化に係るアプリケーション(図3に相当する)を外部記憶装置506からRAM502にロードして実行することで、CPU501が図1に示す各種処理部として機能することになり、本装置が画像符号化装置として機能することになる。一方、CPU501は画像復号に係るアプリケーション(図4に相当する)を外部記憶装置506からRAM502にロードして実行した場合、CPU501は図2に示す各種処理部として機能することになり、本装置が画像復号装置として機能することになる。
[0108]
 (その他の実施例)
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[0109]
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
[0110]
 本願は、2018年12月17日提出の日本国特許出願特願2018-235912を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

請求の範囲

[請求項1]
 画像を符号化する画像符号化装置であって、
 画像における符号化対象の所定のサイズの着目ブロックに対し、イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像の両方から予測画像を生成し、前記着目ブロックと前記予測画像との差分である予測誤差を求める予測手段と、
 該予測手段で得た前記予測誤差を周波数変換する変換手段と、
 該変換手段で得た変換係数を、量子化マトリクスを用いて量子化する量子化手段と、
 該量子化手段による量子化後の変換係数をエントロピー符号化する符号化手段と
 を有することを特徴とする画像符号化装置。
[請求項2]
 前記予測手段は、前記イントラ予測画像と前記インター予測画像との加重平均を、前記着目ブロックに対する予測画像として求める
ことを特徴とする請求項1に記載の画像符号化装置。
[請求項3]
 前記量子化手段は、予め設定されたイントラ予測用の量子化マトリクスとインター予測用の量子化マトリクスのうち少なくとも1つを用いて、前記変換手段で得た変換係数を量子化するための量子化マトリクスを求める
ことを特徴とする請求項1又は2に記載の画像符号化装置。
[請求項4]
 前記量子化手段は、前記イントラ予測用の量子化マトリクスと前記インター予測用の量子化マトリクスの加重平均を、前記変換手段で得た変換係数を量子化する際に用いる量子化マトリクスとする
ことを特徴とする請求項3に記載の画像符号化装置。
[請求項5]
 前記量子化手段が用いる量子化マトリクスを符号化する第2の符号化手段と、
 前記符号化手段で得た符号化データと、前記第2の符号化手段で生成された量子化マトリクスの符号化データとを統合する統合手段と
 を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。
[請求項6]
 画像を符号化する画像符号化装置の制御方法であって、
 画像における符号化対象の所定のサイズの着目ブロックに対し、イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像の両方から予測画像を生成し、前記着目ブロックと前記予測画像との差分である予測誤差を求める予測工程と、
 該予測工程で得た前記予測誤差を周波数変換する変換工程と、
 該変換工程で得た変換係数を、量子化マトリクスを用いて量子化する量子化工程と、
 該量子化工程による量子化後の変換係数をエントロピー符号化する符号化工程と
 を有することを特徴とする画像符号化装置の制御方法。
[請求項7]
 画像データをブロック単位で復号する画像復号装置であって、
 量子化された変換係数である量子化変換係数を復号する復号手段と、
 量子化マトリクスを用いて、前記量子化変換係数から、変換係数を導出する導出処理を行う逆量子化手段と、
 前記変換係数を逆変換して、予測誤差を導出する逆変換手段と、
 イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像との両方から予測画像を生成し、当該予測画像と前記予測誤差とを用いて着目ブロックを復号する予測手段と、
 を有することを特徴とする画像復号装置。
[請求項8]
 前記予測手段は、前記イントラ予測画像と前記インター予測画像との加重平均を、前記着目ブロックに対する予測画像として求める
ことを特徴とする請求項7に記載の画像復号装置。
[請求項9]
 前記逆量子化手段は、予め設定されたイントラ予測用の量子化マトリクスとインター予測用の量子化マトリクスのうち少なくとも1つを用いて、前記導出処理において用いる前記量子化マトリクスを求める
ことを特徴とする請求項7又は8に記載の画像復号装置。
[請求項10]
 前記逆量子化手段は、前記イントラ予測用の量子化マトリクスと前記インター予測用の量子化マトリクスの加重平均を、前記導出処理において用いる量子化マトリクスとする
ことを特徴とする請求項9に記載の画像復号装置。
[請求項11]
 画像データをブロック単位で復号する画像復号装置の制御方法であって、
 量子化された変換係数である量子化変換係数を復号する復号工程と、
 量子化マトリクスを用いて、前記量子化変換係数から、変換係数を導出する導出処理を行う逆量子化工程と、
 前記変換係数を逆変換して、予測誤差を導出する逆変換工程と、
 イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像との両方から予測画像を生成し、当該予測画像と前記予測誤差とを用いて着目ブロックを復号する予測工程と、
 を有することを特徴とする画像復号装置の制御方法。
[請求項12]
 コンピュータが読み込み実行することで、前記コンピュータに、請求項6又は11に記載の制御方法の各工程を実行させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6A]

[ 図 6B]

[ 図 7A]

[ 図 7B]

[ 図 7C]

[ 図 7D]

[ 図 7E]

[ 図 7F]

[ 図 8A]

[ 図 8B]

[ 図 8C]

[ 図 9]

[ 図 10A]

[ 図 10B]

[ 図 10C]

[ 図 11A]

[ 図 11B]