Colecciones nacionales e internacionales de patentes
Parte del contenido de esta aplicación no está disponible en este momento.
Si esta situación persiste, contáctenos aComentarios y contacto
1. (WO2018190242) MOVING IMAGE PROCESSING DEVICE, MOVING IMAGE PROCESSING METHOD, AND RECORDING MEDIUM HAVING MOVING IMAGE PROCESSING PROGRAM STORED THEREON
Document

明 細 書

発明の名称 動画像処理装置、動画像処理方法、及び、動画像処理プログラムが格納された記録媒体

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008   0009   0010   0011  

先行技術文献

特許文献

0012  

非特許文献

0013  

発明の概要

発明が解決しようとする課題

0014   0015  

課題を解決するための手段

0016   0017   0018   0019  

発明の効果

0020  

図面の簡単な説明

0021  

発明を実施するための形態

0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135  

符号の説明

0136  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18  

明 細 書

発明の名称 : 動画像処理装置、動画像処理方法、及び、動画像処理プログラムが格納された記録媒体

技術分野

[0001]
 本願発明は、画像を複数の画素ブロックに分割し、分割した画素ブロックごとに符号化処理あるいは復号処理を行う技術に関する。

背景技術

[0002]
 H.264/MPEG(Moving Picture Experts Group) -4 AVC(Advanced Video Coding)(以降「H.264」と称する)やH.265/HEVC(High Efficiency Video Coding)(以降「H.265」と称する)といった動画像の符号化に関する標準規格では、画像を多数の画素ブロック(例えば16x16画素ブロックや4x4画素ブロック等)に分割し、画素ブロックごとに符号化および復号を行う。
[0003]
 H.264などの動画像の符号化では、時間的あるいは空間的な相関性に基づいて予測画像を生成し、入力画像と予測画像との差分を示す情報のみを符号化することによって、情報を圧縮する。このような情報の圧縮処理を行うエンコーダは、予測画像の生成方法を指定する符号化タイプを、インター予測とイントラ予測のいずれかから選択できる。インター予測は、時間的な相関性に基づいて、近傍フレームを構成する画素を基に予測画像を作成する方法である。これに対してイントラ予測は、空間的な相関性に基づいて同一フレームを構成する近傍画素を基に予測画像を生成する方法である。例えばH.264に準拠するイントラ予測では、フレームの左上に位置する画素ブロックからラスタスキャン順に処理を行う。すなわちH.264に準拠するイントラ予測では、ある対象画素ブロックの画素値を予測する場合に、例えば当該対象画素ブロックの左、左上、上、及び右上に位置する、符号化あるいは復号済みである画素ブロックの画素値に基づいて処理する。これらの画素ブロックは、符号化(あるいは復号)が未だ行なわれていない対象画素ブロックが符号化(あるいは復号)される際に参照されるべき、当該対象画素ブロックに隣接する画素ブロックである。本願では、これらの画素ブロックを、以降、「参照隣接ブロック」と称することとする。
[0004]
 図17はH.264規格に準拠した一般的な動画像復号装置40の構成を概念的に示すブロック図である。動画像復号装置40は、可変長復号部410、逆変換逆量子化部411、ループフィルタ412、フレームバッファ413、インター予測部414、及び、イントラ予測部415を備えている。
[0005]
 可変長復号部410は、入力された動画像のビットストリームを復号する。逆変換逆量子化部411は、可変長復号部410によって復号された信号に対して、逆量子化したのち逆変換を行う。動画像復号装置40は、逆変換逆量子化部411が出力した信号と後述する予測画像とを加算することにより復元画像を生成する。ループフィルタ412は生成された復元画像におけるブロック歪を除去した結果である復号画像を出力する。フレームバッファ413は、ループフィルタ412から出力された復号画像を保持する。
[0006]
 上述した予測画像は、インター予測部414もしくはイントラ予測部415によって生成される。インター予測部414は、フレームバッファ413に保持された復号画像の画素を用いることにより予測画像を生成する。インター予測部414は、処理対象とする画素ブロック(インター予測ブロック)に対する処理を行う際に、同一フレーム内の画素を参照しないので、同一フレームのインター予測ブロック間に処理順序に関する依存関係は存在しない。したがって、インター予測部414は、複数のインター予測ブロックに対する処理を、それらの処理状況に関係なく(依存することなく)、高並列に処理することができる。
[0007]
 一方、イントラ予測部415は、参照隣接ブロックに含まれる復元画像の画素を用いて処理対象とする画素ブロック(イントラ予測ブロック)に関する予測画像を生成する。即ち、参照隣接ブロックに対する処理が完了するまで、イントラ予測部415によるイントラ予測ブロックに対する処理を行うことができないという、処理順序に関する依存関係が存在する。したがって、このような依存関係が存在する場合においても、動画像に対する符号化処理あるいは復号処理を高速化する技術への期待が高まってきている。
[0008]
 このような技術に関連する技術として、特許文献1には、分割された画素ブロック単位で、符号化処理あるいは復号処理を並列に行う装置が開示されている。この装置は、フレーム内の左上端の画素ブロックから処理を開始し、各画素ブロックに対する処理が完了したか否かを管理する。この装置は、ある画素ブロックに対する処理を完了したときに、左と右上に位置する画素ブロックの処理が完了している画素ブロックを、次に処理する画素ブロックとして検索し、検索された画素ブロックに対して処理を行うことを繰り返し行なう。この装置は、左端の画素ブロックから右方向へ処理を進めるので、右上に位置する画素ブロックの処理が完了していることを確認できれば、左上と上に位置する画素ブロックに対する処理が完了しているという関係を保証することができる。
[0009]
 図18は、上述した関係が保証されることを前提として、例えば特許文献1が示す技術を使用した一般的な動画像復号装置40が、画素ブロック(図18が示す個々の四角形)に対する予測処理を並列に実行する順番の一例を示す図である。図18における画素ブロックの位置は、2次元空間における(x,y)座標値により表すことができる。図18において各画素ブロックに付与された数字は、画素ブロックごとの処理順を表し、同一の数字が付与された画素ブロックは並列に処理可能であることを示している。
[0010]
 図18に示す例では、最初に、フレームの左上を表す座標値(1,1)に位置する画素ブロック(本願では、以降画素ブロック(1,1)と称し、他の画素ブロックについても同様に称することとする)に対する処理が行われる。次(2番目)に、画素ブロック(1,1)の右隣に位置する画素ブロック(2,1)に対する処理が行われる。画素ブロック(2,1)に対する処理が完了した時点で、画素ブロック(2,1)の右隣に位置する画素ブロック(3,1)と、画素ブロック(1,1)及び(2,1)を参照隣接ブロックとする画素ブロック(1,2)とに対する処理を実行することが可能となる。これにより、画素ブロック(3,1)及び(1,2)に対する処理が、3番目の処理として並列に行われる。図18に示す例では、以降、同様に、画素ブロック(m,n)(mは3以上の任意の整数、nは1以上の任意の整数)と、画素ブロック(m-2,n+1)とが並列処理される。但し、「-」は減算を表す演算子であり、「+」は加算を表す演算子である。
[0011]
 また、特許文献2には、 各画像をマトリックス状に分割して生成されるn×n画素(nは任意の自然数)のマクロブロック(画素ブロック)単位に符号化された動画像ストリームを復号する装置が開示されている。この装置は、入力された動画像ストリームに含まれる、1以上のマクロブロックにより構成されるスライスを表す情報を解析することによって、当該スライス内のインターマクロブロック(インター予測ブロック)を検出する。この装置は、マクロブロックを単位としたデコード処理を実行する2つ以上のデコード処理手段を備えている。そして、この装置は、検出した当該スライス内のインターマクロブロックに対するデコード処理を、当該2つ以上のデコード処理手段により並列実行させた後、当該スライス内のイントラマクロブロック(イントラ予測ブロック)に対するデコード処理を、当該デコード処理手段が実行するように制御する。

先行技術文献

特許文献

[0012]
特許文献1 : 特開2006-129284号公報
特許文献2 : 特開2009-038501号公報

非特許文献

[0013]
非特許文献1 : "情報源符号化部 H.264 | MPEG-4 AVC 規格の概要"、[Online]、[2017年3月29日検索]、インターネット<URL: http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/bunkakai/pdf/060720_3_1-2_sa2.pdf>

発明の概要

発明が解決しようとする課題

[0014]
 上述した一般的な動画像復号処理、あるいは動画像符号化処理では、例えば図18に例示するように、処理対象とする画素ブロック(イントラ予測ブロック)をフレームにおける所定の位置(例えば左上)から順番に検索する。そして、検索したイントラ予測ブロックに関する参照隣接ブロック(例えば、当該イントラ予測ブロックの左、左上、上、及び右上に位置する画素ブロック)に対する処理が全て完了している場合に、当該イントラ予測ブロックに対する処理を開始する。
[0015]
 このような処理を行う場合において、例えば、あるイントラ予測ブロックに関する参照隣接ブロックが全てインター予測ブロックであるような場合を考える。インター予測ブロックに対する処理は、上述した通り、それらの処理状況に関係なく(依存することなく)、並列に処理することができるので、高並列に処理されることによって、短時間に完了することができる。そして、当該イントラ予測ブロックが、例えばフレームの右下付近に位置する場合、当該イントラ予測ブロックが検索対象となるのは、検索順番において最後に近くなる。この場合、当該イントラ予測ブロックは、早いタイミングに処理可能となるにもかかわらず、実際に処理が開始されるタイミングは遅くなる。すなわち、一般的な動画像復号処理、あるいは動画像符号化処理では、早いタイミングに処理可能となるイントラ予測ブロックに対する処理の開始が遅れるケースが存在するので、処理の高速化が十分であるとは言えない。特許文献1及び2は、この問題について特に言及していない。本願発明の主たる目的は、このような問題を解決する動画像処理装置等を提供することである。

課題を解決するための手段

[0016]
 本願発明の一態様に係る動画像処理装置は、画像を複数の画素ブロックに分割し、個々の前記画素ブロックに対する画像処理を行うことによって、前記画像に対する符号化処理あるいは復号処理を行う場合に、前記画素ブロック毎に前記画像処理の実行状態を記憶する記憶手段と、前記記憶手段に記憶された、第一の前記画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の前記画素ブロックに対する画像処理の実行状態に基づいて、前記第一の画素ブロックに対する画像処理が実行可能か否かを判定する判定手段と、前記判定手段によって、前記画像処理が実行可能と判定された複数の前記第一の画素ブロックに対する画像処理を並列または擬似並列に実行するとともに、前記記憶手段に記憶された前記第一の画素ブロックに対する画像処理の実行状態を更新する実行手段と、を備える。
[0017]
 上記目的を達成する他の見地において、本願発明の一態様に係る動画像処理方法は、情報処理装置によって、画像を複数の画素ブロックに分割し、個々の前記画素ブロックに対する画像処理を行うことによって、前記画像に対する符号化処理あるいは復号処理を行う場合に、前記画素ブロック毎に前記画像処理の実行状態を記憶手段に記憶し、前記記憶手段に記憶された、第一の前記画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の前記画素ブロックに対する画像処理の実行状態に基づいて、前記第一の画素ブロックに対する画像処理が実行可能か否かを判定し、前記画像処理が実行可能と判定した複数の前記第一の画素ブロックに対する画像処理を並列または擬似並列に実行するとともに、前記記憶手段に記憶された前記第一の画素ブロックに対する画像処理の実行状態を更新する。
[0018]
 また、上記目的を達成する更なる見地において、本願発明の一態様に係る動画像処理プログラムは、画像を複数の画素ブロックに分割し、個々の前記画素ブロックに対する画像処理を行うことによって、前記画像に対する符号化処理あるいは復号処理を行う場合に、前記画素ブロック毎に前記画像処理の実行状態を記憶手段に記憶する記憶制御処理と、前記記憶手段に記憶された、第一の前記画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の前記画素ブロックに対する画像処理の実行状態に基づいて、前記第一の画素ブロックに対する画像処理が実行可能か否かを判定する判定処理と、前記判定処理によって、前記画像処理が実行可能と判定された複数の前記第一の画素ブロックに対する画像処理を並列または擬似並列に実行するとともに、前記記憶手段に記憶された前記第一の画素ブロックに対する画像処理の実行状態を更新する実行処理と、をコンピュータに実行させるためのプログラムである。
[0019]
 更に、本願発明は、係る動画像処理プログラム(コンピュータプログラム)が格納された、コンピュータ読み取り可能な、不揮発性の記録媒体によっても実現可能である。

発明の効果

[0020]
 本願発明は、動画像に対する符号化処理あるいは復号処理を高速化することを可能とする。

図面の簡単な説明

[0021]
[図1] 本願発明の第1の実施形態に係る動画像復号装置10の構成を示すブロック図である。
[図2] 本願発明の第1の実施形態に係る動画像復号装置10の動作全体を示すフローチャートである。
[図3] 本願発明の第1の実施形態に係る動画像復号装置10が画素ブロックに対してインター予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[図4] 本願発明の第1の実施形態に係る動画像復号装置10が画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[図5] 本願発明の第1の実施形態に係る動画像復号装置10、及び、一般的な動画像復号装置が、画素ブロックに対する予測処理を並列に実行する順番の比較例を示す図である。
[図6] 本願発明の第2の実施形態に係る動画像復号装置10Aが参照する各イントラ予測モードの内容を例示する図である。
[図7] 本願発明の第2の実施形態に係る動画像復号装置10Aが、画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[図8] 本願発明の第2の実施形態に係る動画像復号装置10A、及び、一般的な動画像復号装置が、画素ブロックに対する予測処理を並列に実行する順番の比較例を示す図である。
[図9] 本願発明の第3の実施形態に係る動画像復号装置10Bにより更新される画素ブロックに関する依存指標を例示する図である。
[図10] 本願発明の第3の実施形態に係る動画像復号装置10Bが、画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[図11] 本願発明の第4の実施形態に係る動画像符号化装置20の構成を示すブロック図である。
[図12] 本願発明の第4の実施形態に係る動画像符号化装置20の動作全体を示すフローチャートである。
[図13] 本願発明の第4の実施形態に係る動画像符号化装置20が、画素ブロックに対してインター予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[図14] 本願発明の第4の実施形態に係る動画像符号化装置20が、画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャート
[図15] 本願発明の第5の実施形態に係る動画像処理装置30の構成を示すブロック図である。
[図16] 本願発明の各実施形態に係る動画像復号装置10(10A、10B)、動画像符号化装置20、及び、動画像処理装置30を実行可能な情報処理装置900の構成を示すブロック図である。
[図17] 一般的な動画像復号装置40の構成を示すブロック図である。
[図18] 一般的な動画像復号装置40が画素ブロックに対する予測処理を並列に実行する順番の一例を示す図である。

発明を実施するための形態

[0022]
 以下、本願発明の実施の形態について図面を参照して詳細に説明する。
[0023]
 <第1の実施形態>
 図1は、本願発明の第1の実施の形態に係る動画像復号装置10の構成を概念的に示すブロック図である。尚、図1は、後述する第2の実施形態に係る動画像復号装置10A、及び、第3の実施形態に係る動画像復号装置10Bに関する説明においても、参照することとする。
[0024]
 本実施形態に係る動画像復号装置10は、図示しない動画像符号化装置によって符号化された動画像を表す入力ビットストリームに対して、例えばH.264あるいはH.265等の標準規格に準拠した復号処理を行い、その復号処理の結果として復号画像を出力する装置である。動画像復号装置10は、動画像を構成するフレームに含まれる画素ブロック(例えば16x16画素ブロックや4x4画素ブロック等)ごとに復号処理を並列または擬似並列に行う。但し、擬似並列は、例えば時分割等による並列処理のことである。本願では以降、「擬似並列」も含めて、「並列」と称することとする。
[0025]
 動画像復号装置10が復号処理を行う入力ビットストリームは、時間的あるいは空間的な相関性に基づいて生成された予測画像と入力画像(元画像)との差分を示す情報のみを符号化することによって圧縮が行なわれた情報である。そして、入力ビットストリームに含まれる個々の画素ブロックに関する予測画像は、インター予測(方法)あるいはイントラ予測(方法)によって生成されている。インター予測は、時間的な相関性に基づいて、近傍フレームに含まれる画素を用いて予測画像を生成する方法である。イントラ予測は、空間的な相関性に基づいて同一フレームに含まれる近傍画素を用いて予測画像を生成する方法である。
[0026]
 本実施形態に係る動画像復号装置10は、大別して、実行部11、記憶部12、及び、判定部13を備えている。
[0027]
 記憶部12は、電子メモリあるいは磁気ディスク等の記憶デバイスである。記憶部12は、後述するインター予測部114によるインター予測処理(画像処理)及びイントラ予測部115によるイントラ予測処理(画像処理)の実行状態を、画素ブロック毎に記憶している。これらの実行状態は、インター予測部114あるいはイントラ予測部115により更新される。記憶部12は、また、後述する可変長復号部110によって出力された符号化タイプ(情報)を画素ブロックと関連付けて記憶している。符号化タイプについては後述する。
[0028]
 判定部13は、後述するイントラ予測部115が、ある未処理の画素ブロック(第一の画素ブロック)をイントラ予測処理対象として選択した場合に、当該画素ブロックに対するイントラ予測処理の実行が可能であるか否かを判定する。判定部13は、より具体的には、当該画素ブロックに対して、例えば、左、左上、上、右上に位置する画素ブロック(第二の画素ブロック)を、参照隣接ブロックとして順番に設定し、その実行状態を、記憶部12を参照することによって確認する。尚、判定部13により参照隣接ブロックとして設定される画素ブロックは、当該画素ブロックに対して、左、左上、上、右上以外の位置に位置する画素ブロックであってもよい。判定部13は、参照隣接ブロックに対する予測処理が全て完了している(即ち、選択した画素ブロックから参照隣接ブロックに対する、処理順序に関する依存関係が解消している)場合に、イントラ予測部115によるイントラ予測処理の実行が可能であると判定し、その判定結果をイントラ予測部115へ通知する。
[0029]
 実行部11は、可変長復号部110、逆変換逆量子化部111、ループフィルタ112、フレームバッファ113、インター予測部114、イントラ予測部115、及び、スイッチ116及び117を含んでいる。
[0030]
 可変長復号部110は、入力ビットストリームに対する復号処理を行うことによって、量子化後変換係数、及び、符号化タイプを含む情報を出力する。量子化後変換係数については、本願発明の技術領域においては周知の技術を採用することができるので、その詳細な説明を省略する。符号化タイプは、画素ブロック毎に、インター予測により符号化されたのかイントラ予測により符号化されたのかを識別する情報である。可変長復号部110は、符号化タイプを画素ブロックと関連付けて記憶部12へ格納する。
[0031]
 逆変換逆量子化部111は、可変長復号部110から出力された量子化後変換係数を逆量子化した後、逆変換することによって残差信号を出力する。逆変換逆量子化部111により行なわれる処理は、本願発明の技術領域においては周知の技術を採用することができるので、その詳細な説明を省略する。
[0032]
 インター予測部114は、記憶部12に記憶された各画素ブロックに関する符号化タイプと予測処理の実行状態を参照する。インター予測部114は、符号化タイプが「インター予測」を示す画素ブロック(インター予測ブロック)のうち、予測処理が未処理であるインター予測ブロックを選択し、選択したインター予測ブロックに対してインター予測処理を行う。インター予測部114は、より具体的には、後述するフレームバッファ113に記憶された復号済みのフレーム(画像)を参照することによってインター予測処理を行った結果を表す予測画像を生成する。実行部11は、生成した予測画像と、逆変換逆量子化部111から出力された残差信号とを加算することによって、復元画像を生成する。インター予測部114は、予測処理を完了したインター予測ブロックに関して、記憶部12に記憶された実行状態を「完了」に更新する。
[0033]
 イントラ予測部115は、記憶部12に記憶された各画素ブロックに関する符号化タイプと予測処理の実行状態を参照する。イントラ予測部115は、符号化タイプが「イントラ予測」を示す画素ブロック(イントラ予測ブロック)のうち、予測処理が未処理であるイントラ予測ブロックを選択する。
[0034]
 イントラ予測部115は、判定部13から、選択したイントラ予測ブロックに対するイントラ予測処理の実行が可能であることを通知された場合、当該イントラ予測ブロックに対するイントラ予測処理を開始する。イントラ予測部115は、より具体的には、隣接参照ブロックに関する復元画像を参照することによってイントラ予測処理を行った結果を表す予測画像を生成する。但し、隣接参照ブロックに関する復元画像は、イントラ予測部115によって、例えば記憶部12に格納されていることとする。実行部11は、生成した予測画像と、逆変換逆量子化部111から出力された残差信号とを加算することによって、復元画像を生成する。イントラ予測部115は、予測処理を完了したイントラ予測ブロックに関して、記憶部12に記憶された実行状態を「完了」に更新する。
[0035]
 実行部11は、処理対象とする画素ブロックの符号化タイプに応じて、インター予測部114及びイントラ予測部115に関する入出力を切り換えるスイッチ116及び117を切り換えることによって、上述したインター予測処理及びイントラ予測処理を適宜切り換えることができることとする。この切り換えについては、本願発明の技術領域においては周知の技術を採用することができるので、その詳細な説明を省略する。ループフィルタ112は、実行部11によって生成された復元画像からブロック歪を除去した復号画像を生成して、生成した復号画像を外部へ出力する。ループフィルタ112は、生成した復号画像を、フレームバッファ113に格納する。
[0036]
 次に図2乃至図4のフローチャートを参照して、本実施形態に係る動画像復号装置10の動作(処理)について詳細に説明する。
[0037]
 図2は、動画像復号装置10の動作全体を示すフローチャートである。
[0038]
 実行部11における可変長復号部110は、入力ビットストリームに対する復号処理を行うことによって、量子化後変換係数、及び、符号化タイプを含む情報を出力する(ステップS101)。実行部11における逆変換逆量子化部111は、可変長復号部110から出力された量子化後変換係数を逆量子化した後、逆変換することによって残差信号を出力する(ステップS102)。
[0039]
 実行部11は、符号化タイプがインター予測である画素ブロック(インター予測ブロック)に対して、インター予測処理を行なうことにより、復元画像を生成する(ステップS103)。実行部11は、符号化タイプがイントラ予測である画素ブロック(イントラ予測ブロック)に対して、イントラ予測処理を行なうことにより、復元画像を生成する(ステップS104)。実行部11におけるループフィルタ112は、生成された復元画像からブロック歪を除去した復号画像を生成し、生成した復号画像を、外部へ出力するとともにフレームバッファ113に格納し(ステップS105)、全体の処理は終了する。
[0040]
 図3は、動画像復号装置10が画素ブロックに対してインター予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。即ち、図3は、図2に示すフローチャートにおけるステップS103の詳細を示すフローチャートである。
[0041]
 実行部11におけるインター予測部114は、記憶部12に記憶された画素ブロック毎の予測処理の実行状態を参照することによって、未処理のインター予測ブロックを選択する(ステップS201)。インター予測部114は、選択したインター予測ブロックに対して、インター予測処理を行なう(ステップS202)。
[0042]
 インター予測部114は、予測処理を完了したインター予測ブロックに関して、記憶部12に記憶された実行状態を「完了」に更新する(ステップS203)。インター予測部114は、記憶部12を参照することによって、未処理のインター予測ブロックがあるか否かを確認する(ステップS204)。
[0043]
 未処理のインター予測ブロックが存在する場合(ステップS205でYes)、処理はステップS201へ戻る。未処理のインター予測ブロックが存在しない場合(ステップS205でNo)、ステップS103の処理は終了する。
[0044]
 図4は、動画像復号装置10が画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。即ち、図4は、図2に示すフローチャートにおけるステップS104の詳細を示すフローチャートである。
[0045]
 実行部11におけるイントラ予測部115は、記憶部12に記憶された画素ブロック毎の予測処理の実行状態を参照することによって、未処理のイントラ予測ブロックを選択する(ステップS301)。判定部13は、イントラ予測部115が選択したイントラ予測ブロックに対して、左、左上、上、右上に位置する画素ブロックを、参照隣接ブロックとして順番に設定し、記憶部12を参照することによって、当該参照隣接ブロックに対する予測処理が完了しているか否かを確認する(ステップS302)。
[0046]
 当該参照隣接ブロックに対する予測処理が完了していない場合(ステップS303でNo)、処理はステップS301へ戻る。当該参照隣接ブロックに対する予測処理が完了している場合(ステップS303でYes)、判定部13は、次の参照隣接ブロックについてステップS302からのループ処理を行い、全ての参照隣接ブロックに対する処理が完了した場合、処理はステップS305へ進む(ステップS304)。
[0047]
 判定部13は、イントラ予測部115が選択したイントラ予測ブロックに対するイントラ予測処理が実行可能と判定し、その判定結果をイントラ予測部115へ通知する(ステップS306)。イントラ予測部115は、選択したイントラ予測ブロックに対して、イントラ予測処理を行なう(ステップS306)。
[0048]
 イントラ予測部115は、予測処理を完了したイントラ予測ブロックに関して、記憶部12に記憶された実行状態を「完了」に更新する(ステップS307)。イントラ予測部115は、記憶部12を参照することによって、未処理のイントラ予測ブロックがあるか否かを確認する(ステップS308)。
[0049]
 未処理のイントラ予測ブロックが存在する場合(ステップS309でYes)、処理はステップS301へ戻る。未処理のイントラ予測ブロックが存在しない場合(ステップS309でNo)、ステップS104の処理は終了する。
[0050]
 本実施形態に係る動画像復号装置10は、動画像に対する復号処理を高速化することができる。その理由は、動画像復号装置10は、予測処理に関して第一の画素ブロックが第二の画素ブロックに対して処理順序に関する依存関係がある場合、画素ブロックごとに予測処理(画像処理)の実行状態を管理することによって、当該依存関係が解消したことを早いタイミングに検出し、その結果として、第一の画素ブロックに対する予測処理の開始を早めることができるからである。
[0051]
 以下に、本実施形態に係る動画像復号装置10によって実現される効果について、詳細に説明する。
[0052]
 一般的な動画像復号処理では(動画像符号化処理でも同様)、処理対象とするイントラ予測ブロックを、フレームにおける例えば左上から順番に検索する。そして、検索したイントラ予測ブロックに関する参照隣接ブロックに対する処理が全て完了している場合に、当該イントラ予測ブロックに対する処理を開始する。このような処理を行う場合において、例えば、あるイントラ予測ブロックに関する参照隣接ブロックが全てインター予測ブロックであり、かつ、フレームの右下付近に位置する場合、当該イントラ予測ブロックは、早いタイミングに処理可能となるにもかかわらず、実際に処理が開始されるタイミングは遅くなる。すなわち、一般的な動画像復号処理、あるいは動画像符号化処理では、早いタイミングに処理可能となるイントラ予測ブロックに対する処理の開始が遅れるケースが存在するので、処理の高速化が十分でないという問題がある。
[0053]
 このような問題に対して、本実施形態に係る動画像復号装置10は、実行部11、記憶部12、及び、判定部13を備え、例えば、図2乃至図4を参照して上述する通り動作する。即ち、記憶部12は、画像を複数の画素ブロックに分割し、個々の画素ブロックに対する画像処理を行うことによって、画像に対する復号処理を行う場合に、画素ブロック毎に画像処理の実行状態を記憶する。判定部13は、記憶部12に記憶された、第一の画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の画素ブロックに対する画像処理の実行状態に基づいて、第一の画素ブロックに対する画像処理が実行可能か否かを判定する。実行部11は、判定部13によって、画像処理が実行可能と判定された複数の第一の画素ブロックに対する画像処理を並列に実行するとともに、記憶部12に記憶された第一の画素ブロックに対する画像処理の実行状態を更新する。
[0054]
 図5は、本実施形態に係る動画像復号装置10、及び、一般的な動画像復号装置が、画素ブロックに対する予測処理(画像処理)を並列に実行する順番の比較例を示す図である。図5において、白の四角形はインター予測ブロックを表し、グレーの四角形はイントラ予測ブロックを表している。図5において、イントラ予測ブロックに付与された数字は、イントラ予測ブロックごとの処理順を表し、同一の数字が付与されたイントラ予測ブロックは並列に処理可能であることを示している。また、各イントラ予測ブロックに関する参照隣接ブロックは、当該イントラ予測ブロックの左、左上、上、及び右上に位置する画素ブロックであることとする。
[0055]
 図5に示す例では、各イントラ予測ブロックに関する参照隣接ブロックは、全てインター予測ブロックであることとする。本実施形態に係る動画像復号装置10は、画素ブロック(第一の画素ブロック)ごとに参照隣接ブロック(第二の画素ブロック)に対する予測処理の実行状態を管理する。このため、動画像復号装置10は、図5(a)に示す通り、6つのイントラ予測ブロックに対する予測処理を並列に実行することができる。即ちこの場合、処理の最大並列度は「6」であり、処理のステップ数は「1」である。
[0056]
 これに対して、一般的な動画像復号装置は、処理対象とするイントラ予測ブロックを、フレームにおける左上から順番に検索する。したがって、一般的な動画像復号装置がイントラ予測ブロック(m,n)に対する予測処理を開始できるのは、座標値(1,n)乃至座標値(m-1,n)の範囲(即ち、イントラ予測ブロック(m,n)とy座標が等しい列における左側)に位置するイントラ予測ブロックに対する予測処理が完了した後となる。このため、一般的な動画像復号装置は、図5(b)に示す通り、6つのイントラ予測ブロックに対する予測処理を順番に並列に実行する。即ちこの場合、処理の最大並列度は「3」であり、処理のステップ数は「3」である。
[0057]
 上述した通り、本実施形態に係る動画像復号装置10は、一般的な動画像復号装置と比較して、画素ブロックに対する予測処理の並列度を高めることによって、予測処理のステップ数を削減するので、動画像に対する復号処理を高速化することができる。近年、多数の演算器を備えることによって多数の処理を並列に実行可能であるGPU(Graphics Processing Unit)などのデバイスが実現されている。本実施形態に係る動画像復号装置10は、このようなデバイスが備える機能を有効活用することによって、動画像に対する復号処理を高速化することができる。
[0058]
 <第2の実施形態>
 本願発明の第2の実施形態に係る動画像復号装置10Aの構成を、図1を参照して説明する。本実施形態において、上述した第1の実施形態と同様の機能を有する構成に関しては、第1の実施形態と同一の番号を付与することにより、その詳細な説明を省略する。
[0059]
 本実施形態に係る動画像復号装置10Aは、イントラ予測ブロックに対する予測処理を行う際に、イントラ予測ブロック毎に設定されたイントラ予測モードを参照する点において、第1の実施形態に係る動画像復号装置10と異なる。第1の実施形態に係る参照隣接ブロックは、イントラ予測ブロックの、例えば、左、左上、上、及び右上に位置する画素ブロックに固定されている。即ち、第1の実施形態では、イントラ予測ブロックとその参照隣接ブロックとの位置関係は、イントラ予測ブロック同士で共通である。これに対し、本実施形態では、イントラ予測ブロックとその参照隣接ブロックとの位置関係が、イントラ予測ブロック毎に異なってもよい。イントラ予測モードは、あるイントラ予測ブロックに関する参照隣接ブロックを特定可能な情報である。
[0060]
 図6は本実施形態に係る動画像復号装置10Aが参照するイントラ予測モードの内容を例示する図である。図6に示す内容は、非特許文献1に記載されている。図6に示す例では、例えばモード0は、イントラ予測ブロックの上側に位置する画素ブロックを参照隣接ブロックとすることを示している。同様に、例えばモード1は、イントラ予測ブロックの左側に位置する画素ブロックを参照隣接ブロックとすることを示している。即ち、予測処理において、イントラ予測モードが「0」に設定されたイントラ予測ブロックは、上側に位置する画素ブロックに対する依存関係を有し、イントラ予測モードが「1」に設定されたイントラ予測ブロックは、左側に位置する画素ブロックに対する依存関係を有する。
[0061]
 図1に示す通り、本実施形態に係る動画像復号装置10Aは、実行部11、記憶部12A、及び、判定部13Aを備えている。
[0062]
 記憶部12Aは、画素ブロック毎に、イントラ予測モードを示す値を記憶している。
[0063]
 判定部13Aは、イントラ予測部115が処理対象として選択したイントラ予測ブロックに対して、記憶部12Aに記憶されたイントラ予測モードにより特定される位置に位置する画素ブロックを、参照隣接ブロックとして順番に設定する。そして、判定部13Aは、それら参照隣接ブロックに対する予測処理の実行状態を、記憶部12を参照することによって確認する。判定部13Aは、参照隣接ブロックに対する予測処理が全て完了している場合に、イントラ予測部115によるイントラ予測処理の実行が可能であると判定し、その判定結果をイントラ予測部115へ通知する。
[0064]
 本実施形態に係る動画像復号装置10Aの動作は、図2に示すフローチャートの通りであり、図2に示すフローチャートにおけるステップS104の詳細が、第1の実施形態に係る動画像復号装置10と異なる。
[0065]
 図7は、本実施形態に係る動画像復号装置10Aが、ステップS104の処理、即ち、画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[0066]
 実行部11におけるイントラ予測部115は、図4に示すステップS301と同様の処理を行う(ステップS401)。判定部13Aは、イントラ予測部115が選択したイントラ予測ブロックに対して、イントラ予測モードにより特定される位置に位置する画素ブロックを、参照隣接ブロックとして順番に設定し、当該参照隣接ブロックに対する予測処理の実行状態を確認する(ステップS402)。
[0067]
 当該参照隣接ブロックに対する予測処理が完了していない場合(ステップS403でNo)、処理はステップS401へ戻る。当該参照隣接ブロックに対する予測処理が完了している場合(ステップS403でYes)、判定部13Aは、次の参照隣接ブロックについてステップS402からのループ処理を行い、全ての参照隣接ブロックに対する処理が完了した場合、処理はステップS405へ進む(ステップS404)。動画像復号装置10Aは、図4に示すステップS305乃至S309と同様の処理を行い(ステップS405)、ステップS104の処理は終了する。
[0068]
 本実施形態に係る動画像復号装置10Aは、動画像に対する復号処理を高速化することができる。その理由は、第1の実施形態に関して説明した通りである。
[0069]
 また、本実施形態に係る動画像復号装置10Aは、イントラ予測ブロックに対する予測処理において、依存関係が解消されたか否かを確認する対象を、イントラ予測モードによって特定される参照隣接ブロックに絞り込むので、動画像に対する復号処理をさらに高速化することができる。
[0070]
 図8は、本実施形態に係る動画像復号装置10A、及び、第1の実施形態に係る動画像復号装置10が、画素ブロックに対する予測処理を並列に実行する順番の比較例を示す図である。図8において、白及びグレーの四角形、及び、画素ブロックに付与された数字は、図5について説明した通りである。
[0071]
 図8(a)は、画素ブロック(イントラ予測ブロック)毎のイントラ予測モードを例示している。図8(a)において、例えば、画素ブロック(2,2)に対しては、イントラ予測モードとして、図6に例示するモード2が設定されている。図8(a)において、例えば、画素ブロック(5,1)に対しては、イントラ予測モードとして、図6に例示するモード1が設定されている。
[0072]
 画素ブロック毎のイントラ予測モードが図8(a)に例示する通りに設定されている場合において、本実施形態に係る動画像復号装置10Aが行なうイントラ予測ブロックに対する予測処理の実行順番は、図8(b)に例示する通りとなる。即ち、図8(b)において、実行順番が「1」を示すイントラ予測ブロックは、図8(a)に例示する通り、その参照隣接ブロックが全てインター予測ブロックであるので、動画像復号装置10Aは、1ステップ目に、これらのイントラ予測ブロックに対する予測処理を並列に行うことが可能である。図8(b)において、実行順番が「2」を示すイントラ予測ブロックは、図8(a)に例示する通り、その参照隣接ブロックが1ステップ目に予測処理が行われるイントラ予測ブロックである。即ちこの場合、処理の最大並列度は「6」であり、処理のステップ数は「2」である。
[0073]
 一方、画素ブロック毎のイントラ予測モードが図8(a)に例示する通りに設定されている場合において、第1の実施形態に係る動画像復号装置10が行なうイントラ予測ブロックに対する予測処理の実行順番は、図8(c)に例示する通りとなる。動画像復号装置10は、イントラ予測ブロック毎に設定されたイントラ予測モードを参照しないので、あるイントラ予測ブロックに対する予測処理は、その参照隣接ブロック(即ち、左、左上、上、右上に位置する画素ブロック)に対する予測処理が完了した後に実行する。したがってこの場合、処理の最大並列度は「2」であり、処理のステップ数は「6」である。
[0074]
 このように、本実施形態に係る動画像復号装置10Aは、第1の実施形態に係る動画像復号装置10よりもさらに、動画像に対する復号処理を高速化することができる。
[0075]
 <第3の実施形態>
 本願発明の第3の実施形態に係る動画像復号装置10Bの構成を、図1を参照して説明する。本実施形態において、上述した第1の実施形態と同様の機能を有する構成に関しては、第1の実施形態と同一の番号を付与することにより、その詳細な説明を省略する。
[0076]
 本実施形態に係る動画像復号装置10Bは、イントラ予測ブロックに対する予測処理に関する依存関係を事前に解析することによって得られた、イントラ予測ブロックに関する処理順序の依存関係を表す値(以下、「依存指標」と称する)を算出する。そして動画像復号装置10Bは、その依存指標を使用することにより、イントラ予測ブロックに対する予測処理を並列に実行することを制御する点において、第1の実施形態に係る動画像復号装置10、及び、第2の実施形態に係る動画像復号装置10Aと異なる。但し、依存指標は、予測処理において、イントラ予測ブロックが依存する参照隣接ブロックの数を表す情報であり、ある参照隣接ブロックに対する予測処理が完了することに伴い、その値が更新される。尚、インター予測ブロックに対する予測処理は、高並列に短時間で処理されることから、本実施形態に係る依存指標は、イントラ予測ブロックのみを対象として算出した値であってもよい。
[0077]
 図1に示す通り、本実施形態に係る動画像復号装置10Bは、実行部11B、記憶部12B、及び、判定部13Bを備えている。
[0078]
 実行部11Bは、動画像復号装置10Bによって動画像に対する復号処理が開始される前に、記憶部12Bに記憶されている、イントラ予測ブロックごとに参照隣接ブロックを特定可能な情報(例えば、第1の実施形態に係る符号化タイプ、及び、第2の実施形態に係るイントラ予測モードなど)に基づいて、各イントラ予測ブロックに関する依存指標を算出する。実行部11Bは、算出した各イントラ予測ブロックに関する依存指標を、記憶部12Bに格納する。
[0079]
 実行部11Bは、いずれかのイントラ予測ブロックに対する予測処理を完了する度に、当該イントラ予測ブロックを参照隣接ブロックとするイントラ予測ブロックに関する依存指標を「1」減算した値に更新(カウントダウン)する。
[0080]
 判定部13Bは、あるイントラ予測ブロックに関する依存指標が、予測処理が完了していない参照隣接ブロックが存在しない(例えば、依存指標が「0」である)ことを示す場合、イントラ予測ブロックに対する予測処理が実行可能と判定する。
[0081]
 図9は、本実施形態に係る動画像復号装置10Bにより更新される画素ブロック(イントラ予測ブロック)に関する依存指標を例示する図である。図9において、白及びグレーの四角形は、図5について説明した通りである。
[0082]
 図9(a)は、イントラ予測ブロック毎のイントラ予測モードを例示している。本実施形態に係るイントラ予測ブロック毎のイントラ予測モードは、図8(a)に例示する第2の実施形態に係るイントラ予測ブロック毎のイントラ予測モードと同等であることとする。
[0083]
 イントラ予測ブロック毎のイントラ予測モードが図9(a)に例示する通りに設定されている場合において、本実施形態に係る動画像復号装置10Bにより更新されるイントラ予測ブロックに関する依存指標は図9(b)に例示する通りとなる。但し、図9(b)において、イントラ予測ブロックに付与された数字は、当該イントラ予測ブロックに関する依存指標を表す。
[0084]
 図9(b)に例示する通り、フレームに含まれる9個のイントラ予測ブロックのうちの6個は、その依存指標が0に初期設定され、9個のイントラ予測ブロックのうちの3個は、その依存指標が1に初期設定されていることとする。図9(b)において依存指標が0に初期設定された6個のイントラ予測ブロックは、図8(b)において、予測処理の実行順番が「1」である画素ブロックと等しい。図9(b)において依存指標が1に初期設定された3個のイントラ予測ブロックは、図8(b)において、予測処理の実行順番が「2」である画素ブロックと等しい。
[0085]
 動画像復号装置10Bは、依存指標が0に初期設定された6個のイントラ予測ブロックに対する予測処理を、1ステップ目に並列に実行する。動画像復号装置10Bは、1ステップ目の予測処理を完了したのち、予測処理が実行されたイントラ予測ブロックに依存する、依存指標が1に初期設定された3個のイントラ予測ブロックに関する依存指標を、「1」から「0」に更新する。この後、動画像復号装置10Bは、当該3個のイントラ予測ブロックに対する予測処理を、2ステップ目に並列に実行する。即ちこの場合、処理の最大並列度は「6」であり、処理のステップ数は「2」である。
[0086]
 本実施形態に係る動画像復号装置10Bの動作は、図2に示すフローチャートの通りであり、図2に示すフローチャートにおけるステップS104の詳細が、第1の実施形態に係る動画像復号装置10と異なる。
[0087]
 図10は、本実施形態に係る動画像復号装置10Bが、ステップS104の処理、即ち、画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。
[0088]
 実行部11Bは、動画像復号装置10Bによって動画像に対する復号処理が開始される前に、記憶部12Bに記憶されている情報に基づいて、イントラ予測ブロックを順番に選択する(ステップS501)。実行部11Bは、記憶部12Bに記憶されている情報に基づいて、選択したイントラ予測ブロックに関する依存指標を算出し、算出した依存指標を、記憶部12Bに格納する(ステップS502)。実行部11Bは、全てのイントラ予測ブロックに対する処理を完了するまで、ステップS501乃至S503のループ処理を繰り返し行う(ステップS103)。
[0089]
 実行部11Bにおけるイントラ予測部115は、図4に示すステップS301と同様の処理を行う(ステップS504)。判定部13Bは、記憶部12Bを参照することによって、イントラ予測部115が選択したイントラ予測ブロックに関する依存指標を確認する(ステップS505)。依存指標が「0」でない場合(ステップS506でNo)、処理はステップS504へ戻る。依存指標が「0」である場合(ステップS506でYes)、動画像復号装置10Bは、図4に示すステップS305乃至S307と同様の処理を行う(ステップS507)。
[0090]
 実行部11Bは、選択したイントラ予測ブロックに関する依存指標を「1」減算する(ステップS508)。イントラ予測部115は、図4に示すステップS308と同様の処理を行う(ステップS509)。未処理のイントラ予測ブロックが存在する場合(ステップS510でYes)、処理はステップS504へ戻る。未処理のイントラ予測ブロックが存在しない場合(ステップS510でNo)、ステップS104の処理は終了する。
[0091]
 本実施形態に係る動画像復号装置10Bは、動画像に対する復号処理を高速化することができる。その理由は、第1の実施形態に関して説明した通りである。
[0092]
 また、本実施形態に係る動画像復号装置10Bは、イントラ予測ブロックに対する予測処理において、依存関係が解消されたか否かに関する判定を、当該イントラ予測ブロックに関する依存指標が例えば「0」であるか否かを確認するという簡易な処理により行なうことができるので、動画像に対する復号処理を高速化することができる。
[0093]
 <第4の実施形態>
 図11は、本願発明の第4の実施の形態に係る動画像符号化装置20の構成を概念的に示すブロック図である。本実施形態に係る動画像符号化装置20は、入力画像に対して、例えばH.264あるいはH.265等に準拠した符号化処理を行い、その符号化処理の結果として、出力ビットストリームを、図示しない動画像復号装置(例えば第1の実施形態に係る動画像復号装置10等)に出力する装置である。そして、本実施形態に係る動画像符号化装置20は、第1の実施形態に係る動画像復号装置10が備える構成(技術)が適用された装置である。
[0094]
 本実施形態に係る動画像符号化装置20は、大別して、実行部21、記憶部22、判定部23、第1コスト算出部24、第2コスト算出部25、及び、生成部26を備えている。
[0095]
 第1コスト算出部24は、画素ブロックに対する予測処理(画像処理)として、インター予測方法を用いた場合の符号化コストを、画素ブロック毎に算出する。但し、符号化コストは、画像に対する符号化及び復号を実行するのに必要な情報処理量を示す指標である。第1コスト算出部24は、インター予測方法を用いた場合の符号化コストを算出するための算出基準を有していることとする。また、第1コスト算出部24は、この際、インター予測における動きベクトル(予測ベクトル)も併せて生成する。
[0096]
 第2コスト算出部25は、画素ブロックに対する予測処理(画像処理)として、イントラ予測方法を用いた場合の符号化コストを、画素ブロック毎に算出する。但し、第2コスト算出部25は、イントラ予測方法を用いた場合の符号化コストを算出するための算出基準を有していることとする。
[0097]
 生成部26は、第1コスト算出部24及び第2コスト算出部25による、符号化コストに関する算出結果に基づいて、画素ブロック毎に符号化タイプ情報(即ち、符号化をインター予測により行なうのかイントラ予測により行なうのかを識別する情報)を生成する。生成部26は、例えばある画素ブロックに関して、インター予測の方が符号化コストが小さい場合は、当該画素ブロックに関する符号化タイプをインター予測に設定し、イントラ予測の方が符号化コストが小さい場合は、当該画素ブロックに関する符号化タイプをイントラ予測に設定する。生成部26は、生成した符号化タイプ情報を、記憶部22に格納する。
[0098]
 記憶部22は、電子メモリあるいは磁気ディスク等の記憶デバイスである。記憶部22は、後述するインター予測部215によるインター予測処理(画像処理)及びイントラ予測部216によるイントラ予測処理(画像処理)の実行状態を、画素ブロック毎に記憶している。これらの実行状態は、インター予測部215あるいはイントラ予測部216により更新される。記憶部22は、また、生成部によって入力された符号化タイプ情報を記憶している。
[0099]
 判定部23は、イントラ予測部216が、ある未処理の画素ブロック(第一の画素ブロック)をイントラ予測処理対象として選択した場合に、当該画素ブロックに対するイントラ予測処理の実行が可能であるか否かを判定する。判定部23は、その際、第1の実施形態に係る判定部13と同様な処理を行う。判定部23は、その判定結果をイントラ予測部216へ通知する。
[0100]
 実行部21は、可変長符号化部210、逆変換逆量子化部211、変換量子化部212、ループフィルタ213、フレームバッファ214、インター予測部215、イントラ予測部216、及び、スイッチ217を含んでいる。
[0101]
 インター予測部215は、第1の実施形態に係るインター予測部114と同様に、選択したインター予測ブロックに対してインター予測処理を行う。インター予測部215は、より具体的には、後述するフレームバッファ214に記憶された符号化済みのフレーム(画像)と、第1コスト算出部24により生成された動きベクトルとに基づいて、インター予測処理を行った結果を表す予測画像を生成する。インター予測部215は、予測処理を完了したインター予測ブロックに関して、記憶部22に記憶された実行状態を「完了」に更新する。実行部21は、インター予測部215により生成された予測画像と入力画像との差分を残差信号として生成する。
[0102]
 イントラ予測部216は、第1の実施形態に係るイントラ予測部115と同様に、選択したイントラ予測ブロックに対してイントラ予測処理を行う。イントラ予測部216は、より具体的には、隣接参照ブロックに関する再構築画像(後述)を参照することによってイントラ予測処理を行った結果を表す予測画像を生成する。イントラ予測部216は、予測処理を完了したイントラ予測ブロックに関して、記憶部22に記憶された実行状態を「完了」に更新する。実行部21は、イントラ予測部216により生成された予測画像と入力画像との差分を残差信号として生成する。
[0103]
 実行部21は、処理対象とする画素ブロックの符号化タイプに応じて、インター予測部215及びイントラ予測部216に関する出力を切り換えるスイッチ217を切り換えることによって、上述したインター予測処理及びイントラ予測処理を適宜切り換えることができることとする。
[0104]
 変換量子化部212は、実行部21により生成された残差信号を直交変換することによって、変換係数を量子化する。逆変換逆量子化部211は、量子化された変換係数を逆量子化したのち、逆直交変換を行なう。実行部21は、その逆直交変換の結果と、インター予測部215あるいはイントラ予測部216により生成された予測画像とを加算することによって、再構築画像を生成する。
[0105]
 可変長符号化部210は、変換量子化部212により量子化された変換係数を符号化することにより生成したビットストリームを出力する。ループフィルタ213は、実行部21により生成された再構築画像のブロック歪を除去することによって生成したフレーム(画像)をフレームバッファ214に格納する。
[0106]
 次に図12乃至図14のフローチャートを参照して、本実施形態に係る動画像符号化装置20の動作(処理)について詳細に説明する。
[0107]
 図12は、動画像符号化装置20の動作全体を示すフローチャートである。
[0108]
 第1コスト算出部24は、インター予測方法を用いた場合の符号化コストを算出する(ステップS601)。第2コスト算出部25は、イントラ予測方法を用いた場合の符号化コストを算出する(ステップS602)。生成部26は、第1コスト算出部24及び第2コスト算出部25による算出結果に基づいて決定した符号化タイプを含む符号化タイプ情報を生成し、符号化タイプ情報を記憶部22へ格納する(ステップS603)。
[0109]
 実行部21は、符号化タイプがインター予測である画素ブロック(インター予測ブロック)に対して、インター予測処理、変換量子化処理、及び、逆変換逆量子化処理を行うことにより、再構築画像を生成する(ステップS604)。実行部21は、符号化タイプがイントラ予測である画素ブロック(イントラ予測ブロック)に対して、イントラ予測処理、変換量子化処理、及び、逆変換逆量子化処理を行うことにより、再構築画像を生成する(ステップS605)。
[0110]
 実行部21における可変長符号化部210は、変換量子化部212により量子化された変換係数を符号化することによって、出力ビットストリームを生成する(ステップS606)。実行部21におけるループフィルタ213は、実行部21により生成された再構築画像のブロック歪を除去した結果をフレームバッファ214に格納し(ステップS607)、全体の処理は終了する。
[0111]
 図13は、動画像符号化装置20が画素ブロックに対してインター予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。即ち、図13は、図12に示すフローチャートにおけるステップS604の詳細を示すフローチャートである。
[0112]
 実行部21におけるインター予測部215は、記憶部22に記憶された画素ブロック毎の予測処理の実行状態を参照することによって、未処理のインター予測ブロックを選択する(ステップS701)。実行部21は、選択したインター予測ブロックに対して、インター予測処理、ブロック変換量子化処理、及び、ブロック逆変換逆量子化処理を行うことにより、再構築画像を生成する(ステップS702)。
[0113]
 実行部21におけるインター予測部215は、予測処理を完了したインター予測ブロックに関して、記憶部22に記憶された実行状態を「完了」に更新する(ステップS703)。インター予測部215は、記憶部22を参照することによって、未処理のインター予測ブロックがあるか否かを確認する(ステップS704)。
[0114]
 未処理のインター予測ブロックが存在する場合(ステップS705でYes)、処理はステップS701へ戻る。未処理のインター予測ブロックが存在しない場合(ステップS705でNo)、ステップS604の処理は終了する。
[0115]
 図14は、動画像符号化装置20が画素ブロックに対してイントラ予測方法を用いた予測処理を行う動作の詳細を示すフローチャートである。即ち、図14は、図12に示すフローチャートにおけるステップS605の詳細を示すフローチャートである。
[0116]
 実行部21におけるイントラ予測部216は、記憶部22に記憶された画素ブロック毎の予測処理の実行状態を参照することによって、未処理のイントラ予測ブロックを選択する(ステップS801)。判定部23は、イントラ予測部216が選択したイントラ予測ブロックに対して、左、左上、上、及び右上に位置する画素ブロックを、参照隣接ブロックとして順番に設定し、その実行状態を確認する(ステップS802)。
[0117]
 当該参照隣接ブロックに対する予測処理が完了していない場合(ステップS803でNo)、処理はステップS801へ戻る。当該参照隣接ブロックに対する予測処理が完了している場合(ステップS803でYes)、判定部23は、次の参照隣接ブロックについてステップS802からのループ処理を行い、全ての参照隣接ブロックに対する処理が完了した場合、処理はステップS805へ進む(ステップS804)。
[0118]
 実行部21は、選択したイントラ予測ブロックに対して、イントラ予測処理、ブロック変換量子化処理、及び、ブロック逆変換逆量子化処理を行うことにより、再構築画像を生成する(ステップS805)。イントラ予測部216は、予測処理を完了したイントラ予測ブロックに関して、記憶部22に記憶された実行状態を「完了」に更新する(ステップS806)。
[0119]
 イントラ予測部216は、記憶部22を参照することによって、未処理のイントラ予測ブロックがあるか否かを確認する(ステップS807)。未処理のイントラ予測ブロックが存在する場合(ステップS808でYes)、処理はステップS801へ戻る。未処理のインター予測ブロックが存在しない場合(ステップS808でNo)、ステップS605の処理は終了する。
[0120]
 本実施形態に係る動画像符号化装置20は、動画像に対する符号化処理を高速化することができる。その理由は、第1の実施形態に関して説明した通りである。
[0121]
 また、本実施形態に係る動画像符号化装置20は、第2の実施形態に係る動画像復号装置10A、あるいは、第3の実施形態に係る動画像復号装置10Bが備える構成(技術)が適用された装置であってもよい。
[0122]
 <第5の実施形態>
 図15は、本願発明の第5の実施形態に係る動画像処理装置30の構成を概念的に示すブロック図である。
[0123]
 本実施形態に係る動画像処理装置30は、実行部31、記憶部32、及び、判定部33を備えている。
[0124]
 記憶部32は、画像を複数の画素ブロックに分割し、個々の画素ブロックに対する画像処理を行うことによって、画像に対する符号化処理あるいは復号処理を行う場合に、当該画素ブロック毎に画像処理の実行状態を記憶する。
[0125]
 判定部33は、記憶部32に記憶された、第一の画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の画素ブロックに対する画像処理の実行状態に基づいて、第一の画素ブロックに対する画像処理が実行可能か否かを判定する。
[0126]
 実行部31は、判定部33によって、画像処理が実行可能と判定された複数の第一の画素ブロックに対する画像処理を並列または擬似並列に実行する。実行部31は、また、記憶部32に記憶された第一の画素ブロックに対する画像処理の実行状態を更新する。
[0127]
 本実施形態に係る動画像処理装置30は、動画像に対する画像処理を高速化することができる。その理由は、動画像処理装置30は、画像処理に関して第一の画素ブロックが第二の画素ブロックに対して処理順序に関する依存関係がある場合、画素ブロックごとに画像処理の実行状態を管理することによって、当該依存関係が解消したことを早いタイミングに検出し、その結果として、第一の画素ブロックに対する画像処理の開始を早めることができるからである。
[0128]
 <ハードウェア構成例>
 上述した各実施形態において、図1に示した動画像復号装置10(10A、10B)、図11に示した動画像符号化装置20、及び、図15に示した動画像処理装置30における各部は、専用のHW(HardWare)(電子回路)によって実現することができる。また、図1、図11、及び、図15において、少なくとも、下記構成は、ソフトウェアプログラムの機能(処理)単位(ソフトウェアモジュール)と捉えることができる。
・実行部11(11B)、21、及び31、
・記憶部12(12A、12B)、22、及び32における記憶制御機能、
・判定部13(13A、13B)、23、及び33、
・第1コスト算出部24、
・第2コスト算出部25、
・生成部26。
[0129]
 但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図16を参照して説明する。
[0130]
 図16は、本願発明の各実施形態に係る動画像復号装置10(10A、10B)、動画像符号化装置20、及び、動画像処理装置30を実行可能な情報処理装置900(コンピュータ)の構成を例示的に説明する図である。即ち、図16は、図1、図11、及び、図15に示した動画像復号装置10(10A、10B)、動画像符号化装置20、及び、動画像処理装置30、或いはその一部を実現可能なコンピュータ(情報処理装置)の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。図16に示した情報処理装置900は、構成要素として下記を備えている。
・CPU(Central_Processing_Unit)901、
・ROM(Read_Only_Memory)902、
・RAM(Random_Access_Memory)903、
・ハードディスク(記憶装置)904、
・外部装置との通信インタフェース905、
・バス906(通信線)、
・CD-ROM(Compact_Disc_Read_Only_Memory)等の記録媒体907に格納されたデータを読み書き可能なリーダライタ908、
・入出力インタフェース909。
[0131]
 即ち、上記構成要素を備える情報処理装置900は、これらの構成がバス906を介して接続された一般的なコンピュータである。情報処理装置900は、CPU901を複数備える場合もあれば、マルチコアにより構成されたCPU901を備える場合もある。情報処理装置900は、あるいは、複数の処理を並列に実行できるように、メインとなる汎用CPUと特定の演算処理に特化されたハードウェアアクセラレータとが協業する構成を備えてもよい。
[0132]
 そして、上述した実施形態を例に説明した本願発明は、図16に示した情報処理装置900に対して、次の機能を実現可能なコンピュータプログラムを供給する。その機能とは、その実施形態の説明において参照したブロック構成図(図1、図11、及び図15)における上述した構成、或いはフローチャート(図2乃至4、図7、図10、及び、図12乃至14)の機能である。本願発明は、その後、そのコンピュータプログラムを、当該ハードウェアのCPU901に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性のメモリ(RAM903)、または、ROM902やハードディスク904等の不揮発性の記憶デバイスに格納すれば良い。
[0133]
 また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、CD-ROM等の各種記録媒体907を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本願発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記録媒体907によって構成されると捉えることができる。
[0134]
 以上、上述した実施形態を模範的な例として本願発明を説明した。しかしながら、本願発明は、上述した実施形態には限定されない。即ち、本願発明は、本願発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
[0135]
 この出願は、2017年4月10日に出願された日本出願特願2017-077532を基礎とする優先権を主張し、その開示の全てをここに取り込む。

符号の説明

[0136]
 10  動画像復号装置
 11  実行部
 110  可変長復号部
 111  逆変換逆量子化部
 112  ループフィルタ
 113  フレームバッファ
 114  インター予測部
 115  イントラ予測部
 116及び117 スイッチ
 12  記憶部
 13  判定部
 20  動画像符号化装置
 21  実行部
 210  可変長符号化部
 211  逆変換逆量子化部
 212  変換量子化部
 213  ループフィルタ
 214  フレームバッファ
 215  インター予測部
 216  イントラ予測部
 217  スイッチ
 22  記憶部
 23  判定部
 24  第1コスト算出部
 25  第2コスト算出部
 30  動画像処理装置
 31  実行部
 32  記憶部
 33  判定部
 40  動画像復号装置
 410  可変長復号部
 411  逆変換逆量子化部
 412  ループフィルタ
 413  フレームバッファ
 414  インター予測部
 415  イントラ予測部
 900  情報処理装置
 901  CPU
 902  ROM
 903  RAM
 904  ハードディスク(記憶装置)
 905  通信インタフェース
 906  バス
 907  記録媒体
 908  リーダライタ
 909  入出力インタフェース

請求の範囲

[請求項1]
 画像を複数の画素ブロックに分割し、個々の前記画素ブロックに対する画像処理を行うことによって、前記画像に対する符号化処理あるいは復号処理を行う場合に、前記画素ブロック毎に前記画像処理の実行状態を記憶する記憶手段と、
 前記記憶手段に記憶された、第一の前記画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の前記画素ブロックに対する画像処理の実行状態に基づいて、前記第一の画素ブロックに対する画像処理が実行可能か否かを判定する判定手段と、
 前記判定手段によって、前記画像処理が実行可能と判定された複数の前記第一の画素ブロックに対する画像処理を並列または擬似並列に実行するとともに、前記記憶手段に記憶された前記第一の画素ブロックに対する画像処理の実行状態を更新する実行手段と、
 を備える動画像処理装置。
[請求項2]
 前記実行手段は、前記第一の画素ブロックに隣接する前記第二の画素ブロックを表す情報を用いて、前記第一の画素ブロックに関する予測画像を生成する、
 請求項1に記載の動画像処理装置。
[請求項3]
 前記記憶手段は、前記画素ブロックに対する画像処理として、時間的な相関性に基づいて前記予測画像を生成するインター予測方法と、空間的な相関性に基づいて前記予測画像を生成するイントラ予測方法とのいずれかを使用するかを示す符号化タイプ情報を、前記画素ブロック毎に記憶し、
 前記判定手段は、前記符号化タイプ情報が前記イントラ予測方法を使用することを示し、かつ、前記画像処理の実行状態が未完了であることを示す前記第二の画素ブロックが存在しなくなったときに、前記第一の画素ブロックに対する画像処理が実行可能と判定する、
 請求項2に記載の動画像処理装置。
[請求項4]
 前記画素ブロックに対する画像処理として、前記インター予測方法を用いた場合の符号化コストを算出する第一のコスト算出手段と、
 前記画素ブロックに対する画像処理として、前記イントラ予測方法を用いた場合の符号化コストを算出する第二のコスト算出手段と、
 前記第一及び第二のコスト算出手段による算出結果に基づいて、前記画素ブロック毎に前記符号化タイプ情報を生成し、生成した前記符号化タイプ情報を、前記記憶手段に格納する生成手段と、
 をさらに備える請求項3に記載の動画像処理装置。
[請求項5]
 前記記憶手段は、前記イントラ予測方法において、前記第一の画素ブロックに隣接する前記第二の画素ブロックを特定するイントラ予測モードを示す値を、前記画素ブロック毎に記憶し、
 前記判定手段は、前記イントラ予測モードを示す値によって特定される前記第二の画素ブロックに対する画像処理の実行状態を参照する、
 請求項3または4に記載の動画像処理装置。
[請求項6]
 前記記憶手段は、前記画像に対する符号化処理あるいは復号処理が開始される前に、前記イントラ予測方法を使用した前記第一の画素ブロックと前記第二の画素ブロックとに関する前記依存関係を表す値を、前記画素ブロック毎に記憶し、
 前記実行手段は、いずれかの前記第二の画素ブロックに対する画像処理を完了する度に、前記第一の画素ブロックに関する前記依存関係を表す値を更新し、
 前記判定手段は、前記第一の画素ブロックに関する前記依存関係を表す値が、前記画像処理が完了していない前記第二の画素ブロックが存在しないことを示す場合に、前記第一の画素ブロックに対する画像処理が実行可能と判定する、
 請求項3乃至5のいずれか一項に記載の動画像処理装置。
[請求項7]
 前記実行手段は、前記画像に対する符号化処理あるいは復号処理が開始される前に、前記イントラ予測方法を使用した前記画像処理が行われる前記画素ブロックに関する前記依存関係を表す値を算出し、算出した前記依存関係を表す値を前記記憶手段に格納する、
 請求項6に記載の動画像処理装置。
[請求項8]
 前記実行手段は、H264及びH265を含む動画像の符号化に関する標準規格のいずれかに準じた前記画像処理を実行する、
 請求項1乃至7のいずれか一項に記載の動画像処理装置。
[請求項9]
 情報処理装置によって、
  画像を複数の画素ブロックに分割し、個々の前記画素ブロックに対する画像処理を行うことによって、前記画像に対する符号化処理あるいは復号処理を行う場合に、前記画素ブロック毎に前記画像処理の実行状態を記憶手段に記憶し、
  前記記憶手段に記憶された、第一の前記画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の前記画素ブロックに対する画像処理の実行状態に基づいて、前記第一の画素ブロックに対する画像処理が実行可能か否かを判定し、
  前記画像処理が実行可能と判定した複数の前記第一の画素ブロックに対する画像処理を並列または擬似並列に実行するとともに、前記記憶手段に記憶された前記第一の画素ブロックに対する画像処理の実行状態を更新する、
 動画像処理方法。
[請求項10]
 画像を複数の画素ブロックに分割し、個々の前記画素ブロックに対する画像処理を行うことによって、前記画像に対する符号化処理あるいは復号処理を行う場合に、前記画素ブロック毎に前記画像処理の実行状態を記憶手段に記憶する記憶制御処理と、
 前記記憶手段に記憶された、第一の前記画素ブロックに対する画像処理が処理順序に関して依存関係を有する第二の前記画素ブロックに対する画像処理の実行状態に基づいて、前記第一の画素ブロックに対する画像処理が実行可能か否かを判定する判定処理と、
 前記判定処理によって、前記画像処理が実行可能と判定された複数の前記第一の画素ブロックに対する画像処理を並列または擬似並列に実行するとともに、前記記憶手段に記憶された前記第一の画素ブロックに対する画像処理の実行状態を更新する実行処理と、
 をコンピュータに実行させるための動画像処理プログラムが格納された記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]