Processing

Please wait...

Settings

Settings

Goto Application

1. WO2012060156 - MULTI-VIEWPOINT IMAGE ENCODING DEVICE AND MULTI-VIEWPOINT IMAGE DECODING DEVICE

Document

明 細 書

発明の名称 多視点画像符号化装置及び多視点画像復号装置

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014  

先行技術文献

特許文献

0015  

発明の概要

発明が解決しようとする課題

0016   0017  

課題を解決するための手段

0018   0019   0020   0021  

発明の効果

0022  

図面の簡単な説明

0023  

発明を実施するための形態

0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082  

産業上の利用可能性

0083  

符号の説明

0084  

請求の範囲

1   2   3   4   5   6   7   8   9  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 多視点画像符号化装置及び多視点画像復号装置

技術分野

[0001]
 本発明は、複数の視点から撮影された画像とその奥行き画像とを符号化する多視点画像符号化装置と、それらを復号する多視点画像復号装置に関する。

背景技術

[0002]
 近年、立体画像ディスプレイおよび立体画像コンテンツの普及が進みつつある。立体画像ディスプレイで現在主流のものは、2眼式の立体画像ディスプレイに分類されるもので、その一方式として、アクティブシャッター方式がある。アクティブシャッター方式の立体画像ディスプレイは、左眼用画像と右眼用画像を時分割で交互にスクリーンに表示させる一方、画像の観賞者が装着する液晶シャッターメガネを、左右画像を表示するタイミングに同期させて開閉することにより、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せて、その結果として立体感を知覚させるものである。
[0003]
 立体画像を表示・観賞するためには、上記の通り左眼用と右眼用の2視点分の画像データが必要になるため、従来の平面画像と比べると情報量が約2倍に増加する。これを効率よく圧縮・記録するための符号化方式の一つに、国際標準であるITU-T H.264およびAdvanced Video Coding(ISO/IEC 14496-10)のAnnex Hとして、Multi-view Video Coding(以下、MVCと記す)が規定されている。MVCは、多視点の動画像を効率よく圧縮するための符号化方式であるが、そのアプリケーションの一つとして、3D映画などの立体画像作品をBlu-ray Discに格納する際の符号化方式として採用されている。
[0004]
 上記のような、左眼用と右眼用の2視点の画像を表示する2眼式の立体画像ディスプレイの普及が進む一方で、多眼式の立体画像ディスプレイの普及も期待される。多眼式の立体画像ディスプレイは、スクリーン面から発する光の方向を制御するための光学的な機構を備えることにより、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せるものである。そのため、アクティブシャッター方式で使用するようなメガネを不要とし、さらに、2視点を超える視点数の画像表示、すなわち観察位置の移動に伴う観察画像の変化も可能にしている。光学的な機構の例としてはパララクスバリアやレンティキュラレンズなどがあり、その構造と加工の精細度により、観察可能な視点数が決定される。現状では、5視点や8視点などの多眼式立体画像ディスプレイが実用化されている。
[0005]
 多眼式の立体画像ディスプレイを使用すると、視点が2視点に限定されないため、立体画像の観察における自由度や自然さが向上するという利点がある。しかし一方で、視点数が増えることによって、必要となる画像のデータ量が増加するため、記録や伝送にかかるコストが増大するという問題がある。
[0006]
 この問題を解決する一方法として、特許文献1では、複数視点の画像を符号化すると共に、複数視点の画像から生成した奥行き情報も符号化し、両者を含む符号化ストリームを生成する画像符号化装置が開示されている。ここで生成・符号化された奥行き情報は、実在する視点の画像信号から、存在しない所望の仮想視点の画像信号を生成するために用いられる。すなわち、視点の数が多いためにそれらの視点すべての画像を撮影、伝送または蓄積することが困難な場合に、より少ない視点数の画像から、多数の視点画像を生成することを可能とするものである。
[0007]
 特許文献1では、多視点画像の符号化効率を向上させるために、視差予測符号化方式を利用している。視差予測符号化方式は、撮影視点が異なることにより生じる視差を画像から抽出し、視差を補償して予測符号化を行うことによって、従来の単視点画像の符号化で行われていた時間方向の予測符号化による冗長度削減と同様に、視差間の冗長度削減を実現するものである。視差予測符号化方式は、前述のMVCでも導入されている技術である。
[0008]
 ここで、従来の単視点画像の符号化方式および視差予測符号化方式に基づく画像符号化処理について簡単に説明する。図7は、従来の単一視点の動画像符号化装置700の機能構成を示すブロック図である。動画像符号化装置700は、DCT量子化部701を備えている。DCT量子化部701は、入力画像から過去または未来の画像を減算したデータに対して、まず変換符号化処理であるDCTおよび量子化処理を行う。動画像符号化装置700には、減算器709が設けられている。減算器709は、入力画像から過去または未来の画像を減算したデータをDCT量子化部701に与える。
[0009]
 動画像符号化装置700は、逆量子化逆DCT部702を備えている。逆量子化逆DCT部702は、DCT量子化部701によりDCTおよび量子化処理されたデータに対して、逆量子化逆DCT処理を行って加算器710に供給する。加算器710は、逆量子化逆DCT部702により逆量子化逆DCT処理が行われたデータに、予測結果を加算して、画像信号に復元する。復元された画像信号は、さらにデブロッキングフィルタ703によりDCTに起因するブロック歪みを低減した上で、参照メモリ704に蓄えられる。
[0010]
 動画像符号化装置700には、動きベクトル検出部705が設けられている。動きベクトル検出部705は、時間方向の画像間の冗長度を削減するため、入力画像から動きベクトルを探索・検出する。動画像符号化装置700は、動き補償・予測部706を備えている。動き補償・予測部706は、動きベクトル検出部705により検出された動きベクトルに基づいて、参照画像との間で動き補償・予測を行う。
[0011]
 動画像符号化装置700には、画面内予測部707が設けられている。画面内予測部707は、入力画像に基づいて、画像内の空間的な冗長度を削減するため、画面内予測を行う。動画像符号化装置700は、スイッチ708を備えている。スイッチ708は、動き補償・予測部706の処理結果、または、画面内予測部707の処理結果を減算器709及び加算器710に供給する。このように、動き補償・予測部706または画面内予測部707のいずれかの処理結果が、予測画像データとして利用される。
[0012]
 動画像符号化装置700には、エントロピー符号化部711が設けられている。エントロピー符号化部711は、DCT量子化部701によりDCTおよび量子化処理された画像データと、動きベクトル検出部705により検出された動きベクトルとを可変長符号に変換し、符号化ストリームとして動画像符号化装置700の外部へ出力する。
[0013]
 以上が、単一視点の動画像を対象とする従来の符号化方式である。図7および上記説明の通り、空間的な冗長度を削減するための画面内予測と、時間方向の冗長度を削減するための動き補償・予測を適応的に切り替え、トータルの符号化向上を図っている。この動き補償・予測すなわち時間方向の予測符号化を複数視点の画像間に適用したものが視差予測符号化方式である。前述の多視点用画像符号化方式MVCは、所定の符号化処理単位で、前述の画面内予測、時間方向予測、視差予測のいずれかを選択し、トータルの符号化効率向上を図っている。
[0014]
 視差予測符号化方式における視差の抽出は、従来の時間方向の予測符号化でも同様であるが、主にブロックマッチングにより行われる。ブロックマッチングは、対象画像を所定サイズで分割したブロックごとに、参照画像との比較で最も一致度の高いブロックを探索する処理である。特許文献2には、ブロックマッチングを複数画像間に適用して視差ベクトルを検出する符号化方式が開示されている。

先行技術文献

特許文献

[0015]
特許文献1 : 日本国公開特許公報特開2010-157823号公報(2010年7月15日公開)
特許文献2 : 日本国公開特許公報特開平6-98312号公報(1994年4月8日公開)

発明の概要

発明が解決しようとする課題

[0016]
 多視点画像を符号化する際に、符号化対象とする視点数を減らして効率よく記録・伝送するために、特許文献1のように奥行き画像を利用して符号化する手法は有効性が高い。しかしながら、視点画像の数を減らす一方で、奥行き画像を符号化する処理が別途必要になるため、処理量および発生符号量の観点から充分な効率向上効果が得られるとは限らない。特に、視点画像間の視差予測符号化方式において視差ベクトルを抽出する際のブロックマッチング処理は、特許文献2の図8にも示されている通り、ブロック内の全画素を対象に誤差評価を行いながら所定のサーチ範囲にわたって処理・判定を行う必要があるため、演算コストが高く、画像符号化のリアルタイム処理を困難にする要因の一つになっている。
[0017]
 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数の視点画像と奥行き画像を符号化する際に、奥行き画像を利用して視点画像の符号化効率を向上させると共に、視差ベクトルを生成するために必要な演算量を低減させることを可能とする多視点画像符号化装置及び多視点画像復号装置を提供することにある。

課題を解決するための手段

[0018]
 上記の課題を解決するために、本発明に係る多視点画像符号化装置は、第1視点から撮像した第1視点画像を受け取って符号化し、符号化した第1視点画像を第1視点画像に復元する第1視点画像符号化手段と、第2視点から撮像した第2視点画像に対応する奥行き画像を符号化し、符号化した奥行き画像を奥行き画像に復元する奥行き画像符号化手段と、前記奥行き画像符号化手段により復元された奥行き画像と、前記第1視点画像と前記第2視点画像とを撮像するための撮像条件情報とに基づいて、前記第1視点と前記第2視点との間の視差情報を生成する視差情報生成手段と、前記第1視点画像符号化手段により復元された第1視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、前記第2視点画像を受け取って符号化する第2視点画像符号化手段とを備えたことを特徴とする。
[0019]
 この特徴により、前記奥行き画像符号化手段により復元された奥行き画像と、前記第1視点画像と前記第2視点画像とを撮像するための撮像条件情報とに基づいて、前記第1視点と前記第2視点との間の視差情報を生成するので、視点画像間でブロックマッチングをとるような演算コストの高い処理を行うかわりに、前記奥行き画像符号化手段により復元された奥行き画像と、前記第1視点画像と前記第2視点画像とを撮像するための撮像条件情報とに基づいて生成された第1視点と第2視点との間の視差情報を用いて予測処理を行うことができ、符号化処理の演算量を削減することができる。
[0020]
 本発明に係る多視点画像復号装置は、符号化された第1視点画像を受け取って復号する第1視点画像復号手段と、符号化された奥行き画像を受け取って復号する奥行き画像復号手段と、符号化された撮像条件情報を受け取って復号する撮像条件情報復号手段と、前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第1視点と第2視点との間の視差情報を生成する視差情報生成手段と、前記第1視点画像復号手段により復号された第1視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、符号化された第2視点画像を受け取って復号する第2視点画像復号手段とを備えたことを特徴とする。
[0021]
 この特徴により、前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第1視点と第2視点との間の視差情報を生成するので、復号された奥行き画像に基づいて視差情報が生成される。このため、視差ベクトルは、符号化装置から伝送されることなく、復号装置側で生成することができる。従って、符号化装置から復号装置へ伝送される符号量を削減し、符号化データの伝送及び記録の際の伝送路の利用効率及び記録メディアの利用効率を高めることができる。

発明の効果

[0022]
 本発明に係る多視点画像符号化装置は、前記第1視点画像と前記第2視点画像とを撮像するための撮像条件情報とに基づいて、前記第1視点と前記第2視点との間の視差情報を生成する視差情報生成手段を設けたので、奥行き画像符号化手段により復元された奥行き画像と、第1視点画像と第2視点画像とを撮像するための撮像条件情報とに基づいて生成された第1視点と第2視点との間の視差情報を用いて予測処理を行うことができ、符号化処理の演算量を削減することができる。

図面の簡単な説明

[0023]
[図1] 実施の形態1に係る多視点画像符号化装置の構成を示すブロック図である。
[図2] 上記多視点画像符号化装置に設けられた視差情報生成部の構成を示すブロック図である。
[図3] 上記視差情報生成部に設けられた代表奥行き値決定部による代表奥行き値決定処理の概念図である。
[図4] 奥行き値と視差値との関係を示す概念図である。
[図5] 撮影における撮影距離を示す図であり、(a)は平行法撮影における撮影距離を示す図であり、(b)は交差法撮影における撮影距離を示す図である。
[図6] 実施の形態2に係る多視点画像復号装置の構成を示すブロック図である。
[図7] 従来の画像符号化装置の構成を示すブロック図である。

発明を実施するための形態

[0024]
 本発明の多視点画像符号化装置及び多視点画像復号装置に関する実施の一形態について図1~図6に基づいて説明すれば以下のとおりである。
[0025]
 (実施の形態1)
 (多視点画像符号化装置の基本構成)
 図1は、実施の形態1に係る多視点画像符号化装置1の構成を示すブロック図である。
[0026]
 多視点画像符号化装置1に入力される入力データは、基準視点から撮像した基準視点の視点画像(基準視点画像)、非基準視点から撮像した非基準視点の視点画像(非基準視点画像)、非基準視点画像に対応する奥行き画像、および基準視点画像と非基準視点画像とを撮像するための撮影条件情報である。基準視点画像は単一の視点による画像に限定されるが、非基準視点画像は複数の視点による画像が複数入力されてもよい。また、奥行き画像は、非基準視点画像の対応するひとつの奥行き画像でもよいし、全ての非基準視点画像に対応する複数の奥行き画像が入力されてもよい。なお、各視点画像、奥行き画像は、静止画像であっても良いし、動画像であってもよい。
[0027]
 多視点画像符号化装置1は、基準視点画像符号化部4を備えている。基準視点画像符号化部4は、基準視点から撮像した基準視点画像を受け取って符号化し、さらに、符号化した基準視点画像を再び基準視点画像に復元する。多視点画像符号化装置1には、奥行き画像符号化部5が設けられている。奥行き画像符号化部5は、非基準視点から撮像した非基準視点画像に対応する奥行き画像を符号化し、さらに、符号化した奥行き画像を再び奥行き画像に復元する。
[0028]
 多視点画像符号化装置1は、撮像条件情報符号化部6を備えている。撮像条件情報符号化部6は、基準視点画像と非基準視点画像とを撮像するための撮像条件情報を受け取って符号化する。
[0029]
 多視点画像符号化装置1は、視差情報生成部2を備えている。視差情報生成部2は、奥行き画像符号化部5により復元された奥行き画像と、基準視点画像と非基準視点画像とを撮像するための撮像条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する。多視点画像符号化装置1には、非基準視点画像符号化部3が設けられている。非基準視点画像符号化部3は、非基準視点画像を受け取って、基準視点画像符号化部4により復元された基準視点画像と、視差情報生成部2により生成された視差情報とに基づいて、符号化する。非基準視点画像符号化部3は、奥行き画像符号化部5により復元された奥行き画像を分割したブロックに対応するブロックごとに、視差情報生成部2により生成された視差情報が示す基準視点画像内の画素値を利用して予測符号化する。
[0030]
 基準視点画像符号化部4は、基準視点画像を視点内予測符号化方式により圧縮符号化する。視点内予測符号化方式とは、単一の視点内の画像データのみに基づいて画像データを圧縮符号化する予測符号化方式をいう。視点内予測符号化方式では、図7に示した従来の動画像符号化装置700と同様に、画面内予測及び動き補償を行って画像データを圧縮符号化する。
[0031]
 基準視点画像符号化部4は、同時に、圧縮符号化した基準視点画像に対して、逆処理すなわち復号を行い、基準視点画像に復元しておく。後述する非基準視点画像の符号化の際に参照するためである。
[0032]
 基準視点画像は、視差予測符号化方式において参照画像として使用される。視差予測符号化方式によって符号化された非基準視点画像は、さらに、動き補償時や別の視点画像からの視差予測の際の参照画像として使用される可能性がある。この時、非基準視点画像が入力画像を参照していると、復号装置側では入力画像と同一の画像は得られないので(ここでの符号化方式は非可逆圧縮を前提としている)、符号化時と復号時で、参照した画素値に不一致が生じる。不一致が生じると、それを参照してさらに動き補償や視差予測を行った別の画像の復号時にさらに不一致(=誤差)が生じ、それが誤差となって伝播して符号化画像の品質を悪化させてしまう。従って、符号化装置側でも一旦復号した結果の画像を視差予測符号化方式の参照画像用に使用する。
[0033]
 奥行き画像符号化部5は、奥行き画像を、基準視点画像符号化部4と同様に、視点内予測符号化方式により圧縮符号化する。即ち、奥行き画像符号化部5は、奥行き画像のみに基づいて奥行き画像を圧縮符号化する。同時に、奥行き画像符号化部5は、圧縮符号化した奥行き画像に対して逆処理すなわち復号を行い、奥行き画像を表すデータに復元しておく。後述する視差情報を生成する際に参照するためである。
[0034]
 復元した奥行き画像を視差ベクトル生成に使用するのは、入力した奥行き画像から視差ベクトルを生成した場合、復号装置側では復号奥行き画像からしか視差ベクトルを生成することができないので、画像符号化装置側で生成した視差ベクトルと画像復号装置側で生成した視差ベクトルとの間に不一致が生じ、このような不一致が生じた異なる視差ベクトルを用いて符号化/復号を続けると、視差補償時や、さらにその符号化結果を参照して動き補償及び視差補償を行う際に不一致が生じ、それが誤差として伝播されてしまうからである。
[0035]
 視差情報生成部2は、奥行き画像符号化部5により復元された奥行き画像および、撮影条件情報に基づいて、視差情報を生成する。視差情報生成の詳細については後述する。
[0036]
 非基準視点画像符号化部3は、基準視点画像符号化部4により復元された基準視点画像と、視差情報生成部2により生成された視差情報とに基づいて、非基準視点画像を視点間予測符号化方式により圧縮符号化する。視点間予測符号化方式とは、ある視点から撮像した画像データを、別視点から撮像した画像データを利用して圧縮符号化する予測符号化方式をいう。
[0037]
 撮影条件情報符号化部6は、複数視点の視点画像を撮影した際の条件である撮影条件情報を、所定の符号に変換する符号化処理を行う。最終的に、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報の各符号化データは、図示しない符号構成部により連結・並べ替えがなされ、符号化ストリームとして多視点画像符号化装置1の外部へ出力される。
[0038]
 (視差情報生成部の構成)
 図2は、視差情報生成部2の構成を示すブロック図である。視差情報生成部2は、ブロック分割部7を有している。ブロック分割部7は、入力される奥行き画像を所定のサイズ(例えば、8画素×8画素)に従うブロックに分割して、代表奥行き値決定部8に供給する。代表奥行き値決定部8は、ブロック分割部7により分割されたブロック内の奥行き値の頻度分布に基づいて代表奥行き値を決定する。
[0039]
 視差情報生成部2には、距離情報抽出部13が設けられている。距離情報抽出部13は、撮影条件情報の中から、カメラ間距離Aと撮影距離a(図4)に相当する情報を抽出し、視差情報算出部9へ伝送する。視差情報算出部9は、代表奥行き値決定部8により決定された代表奥行き値と、距離情報抽出部13により抽出されたカメラ間距離A及び撮影距離aに基づいて視差情報を算出し、非基準視点画像符号化部3に供給する。
[0040]
 (代表奥行き値決定処理)
 図3は、視差情報生成部2に設けられた代表奥行き値決定部8による代表奥行き値決定処理の概念図である。代表奥行き値決定部8は、ブロック分割部7により分割されたブロックごとに奥行き値の代表値を決定する。具体的には、ブロック内の奥行き値の頻度分布(ヒストグラム)を作成し、最も出現頻度の高い奥行き値を抽出して代表奥行き値として決定する。
[0041]
 図3を参照すると、視点画像14に対応する奥行き画像15が与えられているとする。奥行き画像15は、輝度のみのモノクロ画像として表される。輝度が高い(=奥行き値が大きい)領域ほどカメラからの距離が近いことを意味し、輝度が低い(=奥行き値が小さい)領域ほどカメラからの距離が遠いことを意味する。奥行き画像15の中の分割されたブロック16において奥行き値が頻度分布17に示すように現れる場合、最も出現頻度の高い奥行き値18を、そのブロック16の代表奥行き値として決定する。
[0042]
 なお、奥行き値の代表値を決定する方法として、前述のようなヒストグラムに基づく方法の例を説明したが、本発明はこれに限定されない。ヒストグラムに基づく方法の他に、以下の方法に従って決定してもよい。例えば、ブロック内奥行き値の(a)中間値;(b)出現頻度を考慮した平均値;(c)カメラからの距離が最も近い値(ブロック内奥行き値の最大値);(d)カメラからの距離が最も遠い値(ブロック内奥行き値の最小値);をそれぞれ抽出して代表値として決定しても良い。どの方法を選択するかについては、例えば、それぞれの方法に基づいて得られた奥行き代表値を用いて視差予測をした際のもっとも予測誤差の小さい方法を選択するという方法がある。
[0043]
 奥行き値の代表値を決定する方法を選択する方法の具体例を以下に説明する。まず、上記(a)~(d)を含む各方法に基づいて決定した奥行き値の代表値および、カメラ間距離と撮影距離とから、後述の方法に従って視差情報を算出する。得られる視差情報は、非基準視点画像における符号化対象ブロックの、基準視点画像に対する画像のズレを意味するものであるから、そのズレに対応する基準視点画像上の画像ブロックの画素値と、現在の符号化対象ブロックの画素値との差分をとると、その差分は充分小さな値になるはずである。この差分値が小さければ小さいほど符号化する際の効率が良くなるため、もっとも差分値が小さくなる視差情報すなわち奥行き代表値が得られる決定方法を選択すればよい。
[0044]
 また、奥行き画像15を分割する際のブロックサイズは、前述の8画素×8画素サイズに限らず、16画素×16画素、4画素×4画素などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば16画素×8画素、8画素×16画素、8画素×4画素、4画素×8画素などのサイズでもよい。これらのサイズは、奥行き画像15及び対応する視点画像14に含まれる被写体の大きさや、要求される圧縮率などに応じて最適なサイズを選択する。
[0045]
 視差情報算出部9は、代表奥行き値決定部8により決定された代表奥行き値Zと、距離情報抽出部13により撮影条件情報から抽出されたカメラ間隔Aおよび撮影距離aを示す情報とに基づいて、後述する(式1)に従って、該当ブロックの視差値(視差情報)vを算出する。
[0046]
 この視差情報を算出する際、奥行き画像15に含まれる奥行き値は、カメラから被写体までの距離そのものではなく、撮影した画像に含まれる距離レンジを所定の数値範囲(例えば0~255)によって表したものである。このため、撮影条件情報に含まれる撮影時の距離レンジを表す情報(例えば、画像に含まれる被写体に関するカメラからの距離の最小値と最大値で構成される)に基づいて、奥行き値を実際の距離である画像距離に変換し、撮影距離a及びカメラ間隔Aなどの実距離を示す数値と次元を合わせておく。視差値の算出式は次の(式1)の通り定義する。
[0047]
 v=(a-Z)/Z×A=(a/Z-1)×A …(式1)
 ただし、
  v … 視差値(視差情報)
  a … 撮影距離
  A … カメラ間隔
  Z … 代表奥行き値
 ここで、(式1)と各パラメータの意味を説明する。図4は、奥行き値と視差値との関係を示す概念図である。2つの視点すなわちカメラ10A・10Bと、2つの被写体12A・12Bとが、図4のような位置関係にある場合を想定する。この時、各被写体12A・12B上の正面の点19A・19Bは、カメラ10A・10Bから撮影距離aだけ離れた平面20上の位置PL1・PR1及び位置PL2・PR2に投影される。
[0048]
 平面20が観察時のスクリーン面に相当するとみなすと、位置PL1及びPR1は、被写体12A上の点19Aに関する左視点画像上と右視点画像上との画素の対応点を意味する。同様に位置PL2・PR2は、被写体12B上の点19Bに関する左視点画像上と右視点画像上との画素の対応点を意味する。
[0049]
 そして、2つのカメラ10A・10Bの間の距離をA、カメラ10A・10Bの撮影距離をa、被写体12A・12Bの正面の点19A・19Bまでの距離(代表奥行き値)をZ1、Z2とすると、被写体12Aに対応するカメラ10Aの視点からの画像とカメラ10Bの視点からの画像との間の視差d1と、被写体12Bに対応するカメラ10Aの視点からの画像とカメラ10Bの視点からの画像との間の視差d2と、上記各パラメータ(カメラ間隔A、撮影距離a、代表奥行き値Z1・Z2)との間には、以下の関係が成り立つ。ここで、代表奥行き値Z1・Z2は、(式1)における画像距離(代表値)Zと同様に、カメラからの実距離であって、奥行き画像における奥行き値そのものではない。
[0050]
 A:Z1=d1:(a-Z1) …(式2)
 A:Z2=d2:(Z2-a) …(式3)
 そして、視差値vを、右視点画像の対応点に対する左視点画像の対応点の位置(ベクトル)として定義すると、前述の(式1)で視差値vを与えることができる。視差値vは、図2および図3を用いて説明した通り、所定のブロック単位で算出することができる。このため、奥行き画像をブロック分割部7で分割する際のブロックサイズを、非基準視点画像符号化部3における視差予測符号化方式の処理単位と同じサイズに設定することにより、視差情報算出部9で生成した視差値を、そのまま非基準視点画像に関する視差ベクトルとして扱うことができる。すなわち、非基準視点画像符号化部3は、視差予測符号化を行う際に、視点画像間でブロックマッチングをとるような演算コストの高い処理を行う代わりに、(式1)に従って視差情報生成部2が算出した視差値をそのまま用いて視差予測符号化を行うことができる。
[0051]
 図5の(a)は平行法撮影における撮影距離を示す図であり、図5の(b)は交差法撮影における撮影距離を示す図である。上述したカメラ10A・10Bの撮影距離aは、平行法撮影の場合、すなわち2つのカメラ10A・10Bの光軸が平行の場合には、撮影時にピントを合わせた距離(焦点距離)を撮影距離aに相当するとみなし(図5の(a))、交差法撮影の場合、すなわち2つのカメラ10A・10Bの光軸が前方で交差する場合には、カメラ10A・10Bから交差点(クロスポイント)までの距離を撮影距離aに相当するとみなしてよい(図5の(b))。
[0052]
 以上、本発明の実施の形態の一つである多視点画像符号化装置1について説明した。図1に示したように、本実施の形態では視点画像が基準視点画像と非基準視点画像との2つ、奥行き画像が1つであるケースを例に挙げているが、視点画像が3つ以上の場合や、奥行き画像が2つ以上の場合でも、本発明の思想に基づいて多視点画像符号化装置を構成することができる。例えば視点画像が3つの場合は、1つの視点画像を基準視点として扱って視点内予測符号化方式により圧縮符号化し、残りの2つの視点画像は非基準視点の視点画像として視点間予測符号化方式により圧縮符号化する。あるいは、基準視点の視点画像が2つで、残りの1つの視点画像のみ非基準視点の視点画像としてもよい。奥行き画像が2つの場合は、2つとも視点内予測符号化方式により圧縮符号化してもよいし、一方を基準視点、他方を非基準視点とみなして、それぞれ視点内予測符号化方式と視点間予測符号化方式により圧縮符号化してもよい。奥行き画像が3つの場合は、視点画像が3つの場合と同様の考え方を適用できる。さらに、視点画像と奥行き画像がそれぞれ3つを超える場合も、同様の考え方を適用することができる。
[0053]
 なお、本実施形態において、奥行き画像は、入力データとしてあらかじめ用意されているものとして扱っているが、奥行き画像は、複数の視点画像からブロックマッチング等により推定する方法や、赤外線や超音波などを被写体に向けて放射しその反射時間を測定する方法等によって、生成することができる。
[0054]
 (実施の形態2)
 (多視点画像復号装置の構成)
 図6は、実施の形態2に係る多視点画像復号装置50の構成を示すブロック図である。多視点画像復号装置50に入力されるデータは、実施形態1に係る多視点画像符号化装置1から出力される基準視点画像の符号化データ、非基準視点画像の符号化データ、奥行き画像の符号化データ、撮影条件情報の符号化データである。各符号化データは、符号化ストリームとして連結されて伝送されたものを、図示しない符号分離部により分離・抽出することによって与えられる。
[0055]
 多視点画像復号装置50は、基準視点画像復号部53を備えている。基準視点画像復号部53は、符号化された基準視点画像を受け取って復号する。多視点画像復号装置50には、奥行き画像復号部54が設けられている。奥行き画像復号部54は、符号化された奥行き画像を受け取って復号する。多視点画像復号装置50は、撮像条件情報復号部55を備えている。撮像条件情報復号部55は、符号化された撮像条件情報を受け取って復号する。
[0056]
 多視点画像復号装置50には、視差情報生成部51が設けられている。視差情報生成部51は、奥行き画像復号部54により復号された奥行き画像と、撮像条件情報復号部55により復号された撮像条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する。多視点画像復号装置50は、非基準視点画像復号部52を備えている。非基準視点画像復号部52は、基準視点画像復号部53により復号された基準視点画像と、視差情報生成部51により生成された視差情報とに基づいて、符号化された非基準視点画像を受け取って復号する。
[0057]
 視差情報生成部51は、復号された奥行き画像を分割したブロックの代表奥行き値を決定する。撮像条件情報復号部55により復号された撮像条件情報は、基準視点に配置されたカメラと非基準視点に配置されたカメラとの間のカメラ間距離、及び両カメラと被写体との間の撮影距離を含む。視差情報生成部51は、各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて視差情報を算出する。
[0058]
 非基準視点画像復号部52は、奥行き画像復号部54により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す基準視点画像内の画素値を利用して復号する。
[0059]
 基準視点画像復号部53は、視点内予測符号化方式により、圧縮符号化された符号化データを復号し、基準視点画像を復元する。復元した基準視点画像は、そのまま表示に使用されると共に、後述する非基準視点画像の復号にも使用される。奥行き画像復号部54は、基準視点画像復号部53と同様に、視点内予測符号化に従う方式により、圧縮符号化された符号化データを復号し、奥行き画像を復元する。復元した奥行き画像は、非基準視点画像を生成・表示するために使用される。
[0060]
 撮影条件情報復号部55は、撮影条件情報の符号化データから、撮影時のカメラ間距離と撮影距離とを含む情報を復元する。復元した撮影条件情報は、奥行き画像と共に、必要な視点画像を生成・表示するために使用される。視差情報生成部51は、復元された前記奥行き画像および、撮影条件情報に基づいて、視差情報を生成する。視差情報生成の方法・手順は、前述の多視点画像符号化装置1における視差情報生成部2と同様である。
[0061]
 非基準視点画像復号部52は、視点間予測符号化に従う方式により、圧縮符号化された非基準視点画像の符号化データを、復元された前記基準視点画像と、前記視差情報とに基づいて復号し、非基準視点画像を復元する。最終的に、基準視点画像、非基準視点画像は、そのまま表示用画像として使用され、また、必要に応じて、奥行き画像と撮影条件情報とに基づいて、その他の視点の画像が表示用に生成される。視点画像の生成処理については、多視点画像復号装置50内で行ってもよいし、多視点画像復号装置50の外部で行ってもよい。
[0062]
 ここで、多視点画像復号装置50に入力される符号化データのうち、視点間予測符号化方式により圧縮符号化された非基準視点画像の符号化データについてさらに説明する。前述の画像符号化装置1に関する説明の通り、視差予測符号化方式に必要な視差ベクトルは、複数の視点画像から検出するのではなく、奥行き画像から生成することによって得られている。画像復号装置50においても、奥行き画像が符号化データとして与えられるため、奥行き画像を復元した後、復元された奥行き画像から視差ベクトルを生成している。すなわち、視差ベクトルは、画像符号化装置から伝送されることなく、画像復号装置側で生成することができる。この構成により、画像符号化装置から画像復号装置へ伝送される符号量を削減し、符号化データの伝送や記録の際に、伝送路や記録メディアの利用効率を高めることができる。
[0063]
 前述した特許文献1に記載の画像符号化装置では、符号化データの中に視差ベクトルも含む構成となっているが(特許文献1:明細書段落[0105])、実施の形態2に係る多視点画像復号装置50では、奥行き画像から視差ベクトルを生成することができ、復号装置側でも視差ベクトルを生成することができるので、実施の形態1に係る多視点画像符号化装置1では視差ベクトルを符号化する必要がなくなり、その分の符号量を削減することができる。
[0064]
 (画像符号化・復号装置のソフトウェア的実現方法)
 最後に、多視点画像符号化装置1および多視点画像復号装置50の各ブロック、特に基準視点画像符号化部4、奥行き画像符号化部5、視差情報生成部2、非基準視点画像符号化部3、基準視点画像復号部53、奥行き画像復号部54、視差情報生成部51、および非基準視点画像復号部52、は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(central processing unit)を用いてソフトウェア的に実現してもよい。
[0065]
 後者の場合、多視点画像符号化装置1および多視点画像復号装置50は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像符号化装置100および画像復号装置600の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU(microprocessor unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
[0066]
 上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD-R(CD Recordable)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
[0067]
 また、多視点画像符号化装置1および多視点画像復号装置50を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asynchronous digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(high data rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
[0068]
 本実施の形態に係る多視点画像符号化装置では、前記視差情報生成手段は、前記復元された奥行き画像を分割したブロックの代表奥行き値を決定する代表奥行き値決定手段を有することが好ましい。
[0069]
 上記構成により、最も出現頻度の高い奥行き値を抽出して代表値として決定するためである。
[0070]
 本実施の形態に係る多視点画像符号化装置では、前記代表奥行き値決定手段は、前記復元された奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、前記代表奥行き値を決定することが好ましい。
[0071]
 上記構成により、視差予測の予測誤差を小さくすることができる。
[0072]
 本実施の形態に係る多視点画像符号化装置では、前記撮像条件情報は、前記第1視点に配置された第1カメラと前記第2視点に配置された第2カメラとの間のカメラ間距離、及び前記第1及び第2カメラと被写体との間の撮影距離を含み、前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する視差情報算出手段をさらに有することが好ましい。
[0073]
 上記構成により、簡単な数式に従って視差情報を算出することができる。
[0074]
 本実施の形態に係る多視点画像符号化装置では、前記第2視点画像符号化手段は、前記奥行き画像符号化手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第1視点画像内の画素値を利用して予測符号化することが好ましい。
[0075]
 上記構成により、簡単な構成により第2視点画像を符号化することができる。
[0076]
 本実施の形態に係る多視点画像符号化装置では、前記撮像条件情報を受け取って符号化する撮像条件情報符号化手段をさらに備え、前記第1視点画像は、基準となる視点からの視点画像である基準視点画像であり、前記第2視点画像は、前記基準視点画像以外の視点画像であることが好ましい。
[0077]
 上記構成によれば、撮像条件情報を符号化して伝送することができ、基準視点から撮像した画像と基準視点以外の視点から撮像した画像とを符号化して伝送することができる。
[0078]
 本実施の形態に係る多視点画像復号装置では、前記視差情報生成手段は、前記復号された奥行き画像を分割したブロックの代表奥行き値を決定し、前記撮像条件情報復号手段により復号された撮像条件情報は、第1視点に配置された第1カメラと第2視点に配置された第2カメラとの間のカメラ間距離、及び前記第1及び第2カメラと被写体との間の撮影距離を含み、前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出することが好ましい。
[0079]
 上記構成によれば、最も出現頻度の高い奥行き値を抽出して代表値として決定し、簡単な数式に従って視差情報を算出することができる。
[0080]
 本実施の形態に係る多視点画像復号装置では、前記第2視点画像復号手段は、前記奥行き画像復号手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第1視点画像内の画素値を利用して復号することが好ましい。
[0081]
 上記構成によれば、簡単な構成により第2視点画像を復号することができる。
[0082]
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

産業上の利用可能性

[0083]
 本発明は、複数の視点から撮影された画像とその奥行き画像とを符号化する多視点画像符号化装置と、それらを復号する多視点画像復号装置に適用することができる。

符号の説明

[0084]
 1 多視点画像符号化装置
 2 視差情報生成部(視差情報生成手段)
 3 非基準視点画像符号化部(第2視点画像符号化手段)
 4 基準視点画像符号化部(第1視点画像符号化手段)
 5 奥行き画像符号化部(奥行き画像符号化手段)
 6 撮像条件情報符号化部(撮像条件情報符号化手段)
 7 ブロック分割部
 8 代表奥行き値決定部(代表奥行き値決定手段)
 9 視差情報算出部
10A、10B カメラ(第1カメラ、第2カメラ)
12A、12B 被写体
13 距離情報抽出部
14 視点画像
15 奥行き画像
16 ブロック
17 頻度分布
18 奥行き値
19A、19B 点
20 平面
PR1、PL1、PR2、PL2 位置

請求の範囲

[請求項1]
 第1視点から撮像した第1視点画像を受け取って符号化し、符号化した第1視点画像を第1視点画像に復元する第1視点画像符号化手段と、
 第2視点から撮像した第2視点画像に対応する奥行き画像を符号化し、符号化した奥行き画像を奥行き画像に復元する奥行き画像符号化手段と、
 前記奥行き画像符号化手段により復元された奥行き画像と、前記第1視点画像と前記第2視点画像とを撮像するための撮像条件情報とに基づいて、前記第1視点と前記第2視点との間の視差情報を生成する視差情報生成手段と、
 前記第1視点画像符号化手段により復元された第1視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、前記第2視点画像を受け取って符号化する第2視点画像符号化手段とを備えたことを特徴とする多視点画像符号化装置。
[請求項2]
 前記視差情報生成手段は、前記復元された奥行き画像を分割したブロックの代表奥行き値を決定する代表奥行き値決定手段を有する請求項1記載の多視点画像符号化装置。
[請求項3]
 前記代表奥行き値決定手段は、前記復元された奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、前記代表奥行き値を決定する請求項2記載の多視点画像符号化装置。
[請求項4]
 前記撮像条件情報は、前記第1視点に配置された第1カメラと前記第2視点に配置された第2カメラとの間のカメラ間距離、及び前記第1及び第2カメラと被写体との間の撮影距離を含み、
 前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する視差情報算出手段をさらに有する請求項2記載の多視点画像符号化装置。
[請求項5]
 前記第2視点画像符号化手段は、前記奥行き画像符号化手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第1視点画像内の画素値を利用して予測符号化する請求項1記載の多視点画像符号化装置。
[請求項6]
 前記撮像条件情報を受け取って符号化する撮像条件情報符号化手段をさらに備え、
 前記第1視点画像は、基準となる視点からの視点画像である基準視点画像であり、
 前記第2視点画像は、前記基準視点画像以外の視点画像である請求項1記載の多視点画像符号化装置。
[請求項7]
 符号化された第1視点画像を受け取って復号する第1視点画像復号手段と、
 符号化された奥行き画像を受け取って復号する奥行き画像復号手段と、
 符号化された撮像条件情報を受け取って復号する撮像条件情報復号手段と、
 前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第1視点と第2視点との間の視差情報を生成する視差情報生成手段と、
 前記第1視点画像復号手段により復号された第1視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、符号化された第2視点画像を受け取って復号する第2視点画像復号手段とを備えたことを特徴とする多視点画像復号装置。
[請求項8]
 前記視差情報生成手段は、前記復号された奥行き画像を分割したブロックの代表奥行き値を決定し、
 前記撮像条件情報復号手段により復号された撮像条件情報は、第1視点に配置された第1カメラと第2視点に配置された第2カメラとの間のカメラ間距離、及び前記第1及び第2カメラと被写体との間の撮影距離を含み、
 前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する請求項7記載の多視点画像復号装置。
[請求項9]
 前記第2視点画像復号手段は、前記奥行き画像復号手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第1視点画像内の画素値を利用して復号する請求項7記載の多視点画像復号装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]