Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020116178 - IMAGE PROCESSING DEVICE AND METHOD

Document

明 細 書

発明の名称 画像処理装置および方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008   0009   0010   0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323  

符号の説明

0324  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

補正された請求の範囲(条約第19条)

1  *   2  *   3  *   4  *   5  *   6  *   7  *   8  *   9  *   10  *   11  *   12  *   13  *   14  *   15  *   16  *   17  *   18  *   19  *   20  *  

条約第19条(1)に基づく説明書

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40  

明 細 書

発明の名称 : 画像処理装置および方法

技術分野

[0001]
 本開示は、画像処理装置および方法に関し、特に、予測誤差の増大を抑制することができるようにした画像処理装置および方法に関する。

背景技術

[0002]
 従来、イメージセンサに画素の一部を遮光した像面位相差検出画素を設け、その像面位相差検出画素の画素値を用いて位相差検出を行い、焦点距離を制御する方法が考えられた(例えば、特許文献1参照)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2014-145867号公報

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、このような像面位相差検出画素の画素値は、その一部が遮光されていることにより、その他の通常画素の画素値と値が大きく異なる。そのため、符号化・復号の際に、通常画素の予測画素としてこのような像面位相差検出画素を用いると、予測誤差が増大するおそれがあった。また、像面位相差検出画素の予測値として通常画素を用いる場合も同様に、予測誤差が増大するおそれがあった。
[0005]
 本開示は、このような状況に鑑みてなされたものであり、予測誤差の増大を抑制することができるようにするものである。

課題を解決するための手段

[0006]
 本技術の一側面の画像処理装置は、画素の種類に応じた方法で画像データを符号化する符号化部を備える画像処理装置である。
[0007]
 本技術の一側面の画像処理方法は、画素の種類に応じた方法で画像データを符号化する画像処理方法である。
[0008]
 本技術の他の側面の画像処理装置は、画像データの符号化データを画素の種類に応じた方法で復号する復号部を備える画像処理装置である。
[0009]
 本技術の他の側面の画像処理方法は、画像データの符号化データを画素の種類に応じた方法で復号する画像処理方法である。
[0010]
 本技術の一側面の画像処理装置および方法においては、画素の種類に応じた方法で画像データが符号化される。
[0011]
 本技術の他の側面の画像処理装置および方法においては、画像データの符号化データが画素の種類に応じた方法で復号される。

図面の簡単な説明

[0012]
[図1] 予測方法の一例を説明する図である。
[図2] 本技術を適用した符号化・復号方法の一覧を示す図である。
[図3] 方法1について説明する図である。
[図4] 方法1を実現する画像処理装置の主な構成例を示すブロック図である。
[図5] 符号化処理の流れの例を説明するフローチャートである。
[図6] 復号処理の流れの例を説明するフローチャートである。
[図7] 方法2-1について説明する図である。
[図8] 方法2-1を実現する画像処理装置の主な構成例を示すブロック図である。
[図9] 符号化部の主な構成例を示すブロック図である。
[図10] 復号部の主な構成例を示すブロック図である。
[図11] 符号化処理の流れの例を説明するフローチャートである。
[図12] 予測画素生成処理の流れの例を説明するフローチャートである。
[図13] 復号処理の流れの例を説明するフローチャートである。
[図14] 方法2-2について説明する図である。
[図15] 方法2-2を実現する画像処理装置の主な構成例を示すブロック図である。
[図16] 符号化部の主な構成例を示すブロック図である。
[図17] 復号部の主な構成例を示すブロック図である。
[図18] 予測画素生成処理の流れの例を説明するフローチャートである。
[図19] 方法3-1について説明する図である。
[図20] 予測画素生成処理の流れの例を説明するフローチャートである。
[図21] 方法3-1について説明する図である。
[図22] 予測画素生成処理の流れの例を説明するフローチャートである。
[図23] 方法3-2について説明する図である。
[図24] 予測画素生成処理の流れの例を説明するフローチャートである。
[図25] 方法3-2について説明する図である。
[図26] 予測画素生成処理の流れの例を説明するフローチャートである。
[図27] 方法3-3について説明する図である。
[図28] 符号化処理の流れの例を説明するフローチャートである。
[図29] 復号処理の流れの例を説明するフローチャートである。
[図30] 方法4を実現する画像処理装置の主な構成例を示すブロック図である。
[図31] 誤差情報について説明する図である。
[図32] 信頼度情報生成部の主な構成例を示すブロック図である。
[図33] 誤差情報について説明する図である。
[図34] 復号処理の流れの例を説明するフローチャートである。
[図35] 信頼度情報生成処理の流れの例を説明するフローチャートである。
[図36] 撮像装置の主な構成例を示すブロック図である。
[図37] 撮像処理の流れの例を説明するフローチャートである。
[図38] 積層型イメージセンサの主な構成例を示す図である。
[図39] 積層型イメージセンサの主な構成例を示す図である。
[図40] コンピュータの主な構成例を示すブロック図である。

発明を実施するための形態

[0013]
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.像面位相差検出画素を含む画素アレイでの予測
2.コンセプト
3.第1の実施の形態(方法1詳細)
4.第2の実施の形態(方法2詳細)
5.第3の実施の形態(方法3詳細)
6.第4の実施の形態(方法4詳細)
7.第5の実施の形態(撮像装置・積層型イメージセンサ)
8.付記
[0014]
 <1.像面位相差検出画素を含む画素アレイでの予測>
  <技術内容・技術用語をサポートする文献等>
 本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。
[0015]
 特許文献2:US2011/0292247
 特許文献3:US2012/0219231
 特許文献4:特開2014-103543号公報
[0016]
 つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。
[0017]
  <DPCM符号化>
 従来、例えば特許文献1に記載のように、イメージセンサに画素の一部を遮光した像面位相差検出画素を設け、その像面位相差検出画素の画素値を用いて位相差検出を行い、焦点距離を制御する方法が考えられた。
[0018]
 また、例えば特許文献2乃至特許文献4に記載のように、インタフェースの使用帯域やメモリ容量の増大抑制等を目的として、撮像画像のデータ(撮像画像データとも称する)の伝送時や記録時において、その撮像画像データを、DPCM(Differential Pulse Code Modulation)を用いた符号化により圧縮する方法が考えられた。DPCM符号化においては、処理対象画素の画素値をその周辺に位置する画素(周辺画素とも称する)の画素値を用いて予測し、その予測値との差分(予測誤差)を符号化することにより符号化効率を向上させる。
[0019]
 しかしながら、引用文献1に記載のような像面位相差検出画素の画素値は、その一部が遮光されていることにより、その他の通常画素の画素値と値が大きく異なる。そのため、符号化・復号の際に、通常画素の予測画素としてこのような像面位相差検出画素を用いると、予測誤差が増大するおそれがあった。また、像面位相差検出画素の予測値として通常画素を用いる場合も同様に、予測誤差が増大するおそれがあった。
[0020]
 例えば、図1においては、像面位相差検出画素を有する画素アレイの1行(の一部)の画素配列を示している。複数の四角がその画素配列を示しており、文字Rが付された四角は、赤色(R)のカラーフィルタが配置された画素(R画素)を示しており、文字Gが付された四角は、緑色(G)のカラーフィルタが配置された画素(G画素)を示している。また、文字ZAが付された四角は、画素の右半分が遮光された右遮光画素を示し、文字ZBが付された四角は、画素の左半分が遮光された左遮光画素を示す。カラーフィルタの配列はベイヤ配列であり、図1においては、R画素とG画素が並ぶ行(の一部)が示されている。
[0021]
 例えば、画素値が100のフラット領域であるとすると、右遮光画素および左遮光画素の遮光率は50%であるので、その画素値は(理想的には)50となる。したがって、隣接画素を予測画素として予測を行うと、差分は、図1に示されるように大きく変動し、予測誤差が増大するおそれがあった。予測誤差が増大すると、可変長復号の場合、符号化効率が低減するおそれがあった。また、固定長復号の場合、復号画像の画質が低減するおそれがあった。
[0022]
 <2.コンセプト>
  <予測方式制御>
 そこで、図2に示される表の一番上の段に示されるように、圧縮に用いる画素の種類に応じた方法で画像データの符号化や、その符号化データの復号を行うようにする。
[0023]
 例えば、画素の種類に応じた方法で画像データを符号化するようにする。例えば、画像処理装置において、画素の種類に応じた方法で画像データを符号化する符号化部を備えるようにする。
[0024]
 このようにすることにより、符号化において行われる予測において、画素の種類の違いによる画素値の違いを抑制することができる。したがって、予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。
[0025]
 また、例えば、画像データの符号化データを画素の種類に応じた方法で復号するようにする。例えば、画像処理装置において、画像データの符号化データを画素の種類に応じた方法で復号する復号部を備えるようにする。
[0026]
 このようにすることにより、復号において行われる予測において、画素の種類の違いによる画素値の違いを抑制することができる。したがって、予測誤差の増大を抑制することができる。これにより、可変長復号の場合、符号化効率の低減を抑制することができる。また、固定長復号の場合、復号画像の画質の低減を抑制することができる。
[0027]
 例えば、像面位相差検出画素であるか、通常画素であるかに応じた方法で画像データを符号化したり、その符号化データを復号したりするようにしてもよい。なお、像面位相差検出画素とは、画素の一部が遮光された像面位相差検出用の画素であり、通常画素とは、画素の一部が遮光されていない画像生成用の画素である。
[0028]
 また、符号化・復号の際に、像面位相差検出画素の画素値の補正・逆補正を行うようにしてもよい(図2の表の方法1)。例えば、符号化において、画像データの像面位相差検出画素の画素値に対して簡易補正を行い、像面位相差検出画素の画素値が簡易補正された画像データを符号化するようにしてもよい。また、復号において、その符号化データを復号して画像データ(予測値との差分)を生成し、生成された画像データ(差分)の像面位相差検出画素の画素値に対して簡易補正を行うようにしてもよい。
[0029]
 例えば、符号化においては、その簡易補正として、像面位相差検出画素の画素値に固定値を乗算するようにしてもよい。また、復号においては、その簡易補正として、像面位相差検出画素の画素値を固定値により除算するようにしてもよい。さらに、その固定値は、像面位相差検出画素の遮光率に応じた値であるようにしてもよい。
[0030]
 また、符号化・復号の際に、処理対象画素が通常画素である場合、画素の種類に応じて予測方法を切り替えるようにしてもよい(図2の表の方法2)。例えば、符号化において、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データを符号化するようにしてもよい。また、復号において、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、符号化データを復号するようにしてもよい。
[0031]
 なお、隣接同色画素とは、処理対象画素に最も近い(最近傍の)同色画素を示す。同色画素とは、画素に設けられたフィルタの種類が処理対象画素と同一(または近似)である、処理対象画素の周辺に位置する画素(周辺画素とも称する)を示す。フィルタの種類とは、フィルタが透過する光の波長域を示す。つまり同色画素とは、その波長域が処理対象画素と一致または近似する周辺画素を示す。例えば、RGBのカラーフィルタが配置される画素の場合、同色画素とは、配置されたカラーフィルタの色が処理対象画素と同一の周辺画素を示す。
[0032]
 上述の方法2において、最近傍の同色通常画素を予測画素とするようにしてもよい(図2の表の方法2-1)。なお、同色通常画素とは、画素に設けられたフィルタの種類が処理対象画素と同一(または近似)である、処理対象画素の周辺に位置する通常画素(つまり、通常画素である同色画素)を示す。例えば、符号化において、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化するようにしてもよい。その際、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とするようにしてもよい。
[0033]
 また、例えば、復号において、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号するようにしてもよい。その際、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とするようにしてもよい。
[0034]
 上述の方法2において、隣接同色画素の像面位相差検出画素の画素値を補正して予測画素とするようにしてもよい(図2の表の方法2-2)。例えば、符号化において、隣接同色画素が像面位相差検出画素である場合、隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化するようにしてもよい。その際、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。また、その固定値は、隣接同色画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。
[0035]
 また、例えば、復号において、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号するようにしてもよい。その際、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。また、その固定値は、隣接同色画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。
[0036]
 また、符号化・復号の際に、処理対象画素が像面位相差検出画素である場合、画素の種類に応じて予測方法を切り替えるようにしてもよい(図2の表の方法3)。例えば、符号化において、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データを符号化するようにしてもよい。また、復号において、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、符号化データを復号するようにしてもよい。
[0037]
 上述の方法3において、最近傍の同色像面位相差検出画素を予測画素とするようにしてもよい(図2の表の方法3-1)。なお、同色像面位相差検出画素とは、画素に設けられたフィルタの種類が処理対象画素と同一(または近似)である、処理対象画素の周辺に位置する像面位相差検出画素(つまり、像面位相差検出画素である同色画素)を示す。例えば、符号化において、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化するようにしてもよい。その際、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とするようにしてもよい。
[0038]
 また、例えば、復号において、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号するようにしてもよい。その際、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とするようにしてもよい。
[0039]
 上述の方法3において、隣接同色画素の通常画素の画素値を補正して予測画素とするようにしてもよい(図2の表の方法3-2)。例えば、符号化において、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化するようにしてもよい。その際、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。なお、その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。
[0040]
 また、例えば、復号において、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号するようにしてもよい。その際、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。なお、その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。
[0041]
 上述の方法3において、隣接同色画素が通常画素である場合、予測を省略するようにしてもよい(方法3-3)。例えば、符号化において、隣接同色画素が通常画素である処理対象画素の予測を行わずに、画像データを符号化するようにしてもよい。また、例えば、復号において、隣接同色画素が通常画素である処理対象画素の予測を行わずに、符号化データを復号するようにしてもよい。
[0042]
 また、復号の際に、符号化・復号の誤差情報を利用して位相差を検出するようにしてもよい(図2の表の方法4)。例えば、画像データの符号化および復号による誤差を示す誤差情報に基づいて、符号化データが復号されて生成された画像データの位相差検出を行うようにしてもよい。その際、その誤差情報に基づいて、位相差検出の結果の信頼度を示す信頼度情報を生成し、その信頼度情報に基づいて位相差検出を行うようにしてもよい。
[0043]
 なお、この方法4は、例えば、方法1と組み合させて適用することができる(図2の表の方法5)。また、この方法4は、例えば、方法2および方法3のいずれか一方、または両方と組み合わせて適用することができる(図2の表の方法6)。
[0044]
 また、符号化において、画像データを量子化し、予測を行い、量子化された画像データの画素値と予測値との差分を導出し、導出された差分を可変長符号化し、符号化データを生成し、生成された符号化データの符号量を調整するようにしてもよい。また、復号において、符号化データに対して、符号化の際に行われた符号量の調整を元に戻す逆調整を行い、その符号量が逆調整された符号化データを可変長復号し、量子化された画像データの画素値と予測値との差分を生成し、予測を行い、生成された差分に予測値を加算することにより、量子化された画像データを生成し、生成されたその量子化された画像データを、逆量子化するようにしてもよい。
[0045]
 以上のような各方法により、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。
[0046]
 <3.第1の実施の形態>
  <方法1>
 本実施の形態においては、「方法1」について説明する。この方法1では、図3に示される例のように、画像データに簡易補正を行ってから符号化を行う。その簡易補正として、像面位相差検出画素の画素値に所定の値(固定値)を乗算してから予測を行うようにする。例えば、この固定値は、像面位相差検出画素の遮光率に応じた値とする。図3の例は、図1の例に対応する。すなわち、像面位相差検出画素の遮光率は50%であるので、固定値は「2」である。つまり、像面位相差検出画素の画素値を2倍に補正する。このようにすることにより、図3の例のように、理想的には、像面位相差検出画素および通常画素の画素値はともに100となる。したがって、処理対象画素の隣接同色画素を予測画素として予測を行う場合、予測誤差は全て0となる。このように、通常画素と像面位相差検出画素との間の画素値の差が低減されるので、予測誤差の増大を抑制することができる。
[0047]
   <画像処理装置>
 図4は、このような方法1を実現する画像処理装置の主な構成例を示すブロック図である。図4の示される画像処理装置100は、入力された画像データを符号化して符号化データを生成し、さらに、その符号化データを復号して撮像画像データを生成し、出力する装置である。図4に示されるように、画像処理装置100は、符号化部101、送信部102、受信部103、および復号部104を有する。
[0048]
 符号化部101は、入力された画像データを符号化し、その符号化データを生成する。その際、符号化部101は、画素の種類に応じた方法で画像データを符号化する。例えば、符号化部101は、処理対象画素が、像面位相差検出画素であるか、通常画素であるかに応じた方法で画像データを符号化する。したがって、符号化部101は、像面位相差検出画素と通常画素との画素値の差を低減させることができ、予測誤差の増大を抑制することができる。
[0049]
 そして、符号化部101は、その符号化データを送信部102供給する。送信部102は、符号化部101から供給された符号化データを受信部103に送信する。受信部103は、その符号化データを受信すると、それを復号部104に供給する。
[0050]
 復号部104は、受信部103から供給される符号化データを受信すると、それを復号し、画像データを生成する(復元する)。その際、復号部104は、画像データの符号化データを画素の種類に応じた方法で復号する。例えば、復号部104は、処理対象画素が、像面位相差検出画素であるか、通常画素であるかに応じた方法で符号化データを復号する。したがって、復号部104は、像面位相差検出画素と通常画素との画素値の差を低減させて符号化された符号化データを正しく復号することができ、予測誤差の増大の抑制を実現することができる。
[0051]
 復号部104は、生成(復元)した画像データを画像処理装置100の外部に出力する。このように画像データは符号化データとして送信部102から受信部103に伝送されるので、送信部102と受信部103との間のデータ伝送に必要な帯域幅の増大を抑制することができる。したがって遅延量やコストの増大を抑制することができる。
[0052]
 符号化部101は、画像データの像面位相差検出画素の画素値に対して簡易補正を行い、像面位相差検出画素の画素値が簡易補正された画像データを符号化する。図4に示されるように、符号化部101は、画素種類判定部111、乗算部112、および符号化部113を有する。画素種類判定部111は、入力された画像データの各画素値について、画素の種類(例えば、通常画素であるか像面位相差検出画素であるか)を判定する。そして、画素種類判定部111は、その判定結果に基づいて、通常画素の画素値を符号化部113に供給し、像面位相差検出画素の画素値を乗算部112に供給する。
[0053]
 乗算部112は、画素種類判定部111から供給された画素値に、簡易補正として、所定の値(固定値)を乗算する。この固定値は、例えば、像面位相差検出画素の遮光率に応じた値とする。乗算部112は、その固定値が乗算された画素値を符号化部113に供給する。
[0054]
 符号化部113は、供給された画像データ(各画素値)を符号化し、符号化データを生成する。その際、符号化部113は、処理対象画素の周辺画素を用いて予測を行い、その予測値との差分を符号化する。符号化部113は、生成した符号化データを送信部102に供給し、送信させる。
[0055]
 つまり、画像データは、像面位相差検出画素の画素値のみ固定値が乗算された状態で(すなわち簡易補正されて)、符号化部113に供給される。したがって、その画像データは、図3の例のように像面位相差検出画素と通常画素との画素値の差が低減されている。したがって、符号化部113は、その予測における予測誤差の増大を抑制することができる。
[0056]
 復号部104は、符号化データを復号して画像データを生成し、その生成された画像データの像面位相差検出画素の画素値に対して簡易補正(逆簡易補正)を行う。図4に示されるように、復号部104は、復号部121、画素種類判定部122、および除算部123を有する。復号部121は、供給された符号化データを、符号化部113の符号化方法に対応する方法で復号する。その際、復号部121は、符号化データを復号して画像データと予測値との差分を導出し、さらに、処理対象画素の周辺画素を用いて予測を行い、その予測値を導出した差分に加算することにより、画像データを生成(復元)する。復号部121は、生成した画像データを画素種類判定部122に供給する。
[0057]
 画素種類判定部122は、復号部121から供給された画像データの各画素値について、画素の種類(例えば、通常画素であるか像面位相差検出画素であるか)を判定する。そして、画素種類判定部122は、その判定結果に基づいて、像面位相差検出画素の画素値を除算部123に供給する。
[0058]
 除算部123は、逆簡易補正として、画素種類判定部122から供給された像面位相差検出画素の画素値を、所定の値(固定値)で除算する。この固定値は、乗算部112が乗算した値と同一である。つまり、例えば、像面位相差検出画素の遮光率に応じた値とする。このようにすることにより、除算部123は、乗算部112の逆処理を行うことができる。例えば、図3の例の場合、乗算部112の処理により2倍され、50から100に変更された像面位相検出画素の画素値が、除算部123の処理により1/2倍され、50に戻される。
[0059]
 つまり、逆簡易補正(簡易補正の逆処理)が行われ、画像データが復元される。画素種類判定部122により判定された通常画素の画素値と、除算部123により除算された位相検出画素の画素値とが、復元された画像データとして、画像処理装置100の外部に出力される。したがって、復号部104は、符号化部101により生成された符号化データを正しく復号することができる。つまり、復号部104は、予測誤差の増大を抑制することができる。
[0060]
   <補足>
 なお、一般的に、各画素の遮光率は厳密には画素間で一定にはならない。例えば、遮光率50%で作成しても±数%程度のばらつきが生じる可能性がある。実際のデバイスでは各画素の遮光率は出荷前に計測され既知となっている。
[0061]
 乗算部112および除算部123に用いられる固定値は、その計測値に基づいて設定するようにしてもよいし、簡単化のために全遮光画素に対して同じ値を使用するようにしてもよい。
[0062]
 基本的には遮光率の逆数(遮光率50%=1/2の場合は2)をその固定値とすればよい。例えば、遮光率50%の場合において、ばらつきにより遮光率が50%に満たない画素が存在することを想定し、固定値を2より少し小さい値(例えば、1.875 = 15/8)とするようにしてもよい。
[0063]
   <符号化処理の流れ>
 この場合の画像処理装置100により実行される符号化処理の流れの例を、図5のフローチャートを参照して説明する。
[0064]
 符号化処理が開始されると、画素種類判定部111は、ステップS101において、処理対象画素が遮光画素(すなわち像面位相差検出画素)であるか否かを判定する。処理対象画素が遮光画素(像面位相差検出画素)であると判定された場合、処理はステップS102に進む。
[0065]
 ステップS102において、乗算部112は、その処理対象画素の画素値に、その遮光率に応じた固定値を乗算する。ステップS102の処理が終了すると、処理はステップS103に進む。また、ステップS101において、処理対象画素が通常画素であると判定された場合、処理はステップS103に進む。
[0066]
 ステップS103において、画素種類判定部111は、画像データの全ての画素を処理したか否かを判定する。未処理の画素(画素値)が存在すると判定された場合、処理はステップS101に戻り、それ以降の処理を繰り返す。そして、ステップS103において、全ての画素を処理したと判定された場合、処理はステップS104に進む。
[0067]
 以上のように簡易補正が行われると、ステップS104において、符号化部113は、その簡易補正が行われた画像データを、符号化ブロック毎に符号化し、符号化データを生成する。その際、符号化部113は、処理対象画素をその周辺画素を用いて予測する予測方式を適用した符号化方法で、画像データを符号化する。
[0068]
 ステップS105において、送信部102は、ステップS104において生成された符号化データを送信する。ステップS105の処理が終了すると、符号化処理が終了する。
[0069]
 このように符号化処理を行うことにより、画像データが簡易補正されて符号化されるので、図3の例のように像面位相差検出画素と通常画素との画素値の差が低減され、予測誤差の増大を抑制することができる。
[0070]
   <復号処理の流れ>
 次に、この場合の画像処理装置100により実行される復号処理の流れの例を、図6のフローチャートを参照して説明する。
[0071]
 復号処理が開始されると、受信部103は、ステップS121において、送信部102により送信された符号化データを受信する。
[0072]
 ステップS122において、復号部121は、ステップS121において受信した符号化データを、符号化ブロック毎に復号し、画像データ(予測値との差分)を生成する。その際、復号部121は、処理対象画素をその周辺画素を用いて予測する予測方式を適用した復号方法で、符号化データを復号する。
[0073]
 次に、その画像データの逆簡易補正が行われる。ステップS123において、画素種類判定部122は、処理対象画素が遮光画素(すなわち、像面位相差検出画素)であるか否かを判定する。処理対象画素が遮光画素(像面位相差検出画素)であると判定された場合、処理はステップS124に進む。
[0074]
 ステップS124において、除算部123は、その処理対象画素の画素値を、その遮光率に応じた固定値で除算する。この固定値は、ステップS102の処理に用いられる固定値に対応する(例えば同一の値である)。ステップS124の処理が終了すると、処理はステップS125に進む。また、ステップS123において、処理対象画素が通常画素であると判定された場合、処理はステップS125に進む。
[0075]
 ステップS125において、画素種類判定部111は、画像データの全ての画素を処理したか否かを判定する。未処理の画素(画素値)が存在すると判定された場合、処理はステップS123に戻り、それ以降の処理を繰り返す。そして、ステップS125において、全ての画素を処理したと判定された場合、復号処理が終了する。
[0076]
 このように復号処理を行うことにより、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0077]
 <4.第2の実施の形態>
  <方法2>
 本実施の形態においては、処理対象画素が通常画素の場合の「方法2」について説明する。この方法2の場合、予測方法を切り替えることにより、符号化・復号における予測誤差の増大を抑制する。
[0078]
 例えば、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データを符号化する。また、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、符号化データを復号する。
[0079]
  <4-1:方法2-1>
 方法2-1について図7を参照して説明する。方法2-1では、処理対象画素が通常画素であり、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とする。図7は、図1に対応する図である。
[0080]
 例えば図7において、左から8番目のG画素(通常画素)を処理対象画素とする場合、その直前の同色画素(隣接同色画素)は、左から6番目の左遮光画素ZBである。つまり像面位相差検出画素である。したがって、この画素は予測画素としない。その次に近傍の同色画素は、左から4番目の右遮光画素ZAである。つまりこれも像面位相差検出画素であるので予測画素としない。その次に近傍の同色画素は、左から2番目のG画素(通常画素)である。つまり、このG画素が最近傍の同色通常画素であるので、このG画素を予測画素として(このG画素の画素値を予測値として)予測を行う。このようにすることにより、通常画素の予測を通常画素を用いて行うことができるので、図7に示されるように、隣接同色画素である左遮光画素ZBを予測画素とする場合よりも、予測誤差の増大を抑制することができる。
[0081]
 なお、左から10番目のG画素(通常画素)を処理対象画素とする場合、その直線の同色画素(隣接同色画素)は、左から8番目のG画素(通常画素)である。つまり、このG画素が最近傍の同色通常画素であるので、このG画素を予測画素として(このG画素の画素値を予測値として)予測を行う。
[0082]
   <画像処理装置>
 図8は、このような方法2-1を実現する画像処理装置の主な構成例を示すブロック図である。図8に示されるように、この場合の画像処理装置100は、図4の場合と同様に、符号化部101乃至復号部104を有する。
[0083]
 この場合の符号化部101には、画像データの他に、遮光画素(つまり像面位相差検出画素)の位置を示す遮光画素位置情報が供給される。符号化部101は、この遮光画素位置情報に基づいて、遮光画素(像面位相差検出画素)の位置を把握することができる。この遮光画素位置情報は、予め画像処理装置100に登録されていてもよいし、ユーザや他の装置等、画像処理装置100の外部から入力されるようにしてもよい。
[0084]
 符号化部101は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化する。例えば、符号化部101は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とする。このようにすることにより、符号化部101は、予測誤差の増大を抑制することができる。
[0085]
 また、この場合の復号部104にも同様に、遮光画素位置情報が供給される。復号部104は、この遮光画素位置情報に基づいて、遮光画素(像面位相差検出画素)の位置を把握することができる。この遮光画素位置情報は、予め画像処理装置100に登録されていてもよいし、ユーザや他の装置等、画像処理装置100の外部から入力されるようにしてもよい。
[0086]
 復号部104は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号する。例えば、復号部104は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とする。つまり、復号部104は、符号化部101と同様の方法により、画素の種類に応じて予測画素を設定する。このようにすることにより、復号部104は、予測誤差の増大を抑制することができる。
[0087]
   <符号化部>
 図9は、図8の符号化部101の主な構成例を示すブロック図である。図9に示されるように、この場合の符号化部101は、量子化部151、DPCM(Differential Pulse Code Modulation)処理部152、可変長符号化部153、および圧縮率調整部154を有する。
[0088]
 量子化部151は、入力される画像データを量子化する。例えば、量子化部151は、画像データの各画素値から、下位ビット(所定のビット数)を切り捨てる。量子化部151は、量子化した画像データおよび量子化前の画像データをDPCM処理部152に供給する。
[0089]
 DPCM処理部152は、DPCMに関する処理を行う。例えば、DPCM処理部152は、量子化部151から供給される量子化された画像データを取得する。また、DPCM処理部152には、遮光画素位置情報も供給される。したがって、DPCM処理部152は、像面位相差検出画素の位置を把握することができる。
[0090]
 DPCM処理部152は、それらの情報を用いてDPCM処理を行う。DPCM処理は、周辺画素の画素値を用いて処理対象画素の画素値の予測を行い(つまり、処理対象画素の画素値の予測値を導出し)、その予測値と処理対象画素の画素値との差分(予測誤差)を求める処理である。このように予測誤差(差分値)を導出することにより、情報量を低減させることができる。
[0091]
 その際、DPCM処理部152は、図7を参照して説明したように予測画素を設定し、DPCM処理を行う。つまり、DPCM処理部152は、処理対象が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とし、DPCM処理を行う。このようにすることにより、DPCM処理部152は、予測誤差の増大を抑制することができる。DPCM処理部152は、以上のように導出した予測誤差と量子化前の画像データを可変長符号化部153に供給する。
[0092]
 可変長符号化部153は、DPCM処理部152から供給される予測誤差を可変長符号化し、符号化データを生成する。このような符号化により、可変長符号化部153は、一般的に情報量を低減させることができる。可変長符号化部153は、生成した符号化データと量子化前の画像データを圧縮率調整部154に供給する。
[0093]
 圧縮率調整部154は、量子化前の画像データを用いて、可変長符号化部153から供給される符号化データの符号量(すなわち圧縮率)を制御する。例えば、圧縮率調整部154は、量子化部151により切り捨てられた下位ビットの情報を量子化前の画像データから抽出し、それをリファインメントとして、符号化データに付加することにより、符号量、すなわち圧縮率を調整する。例えば、圧縮率調整部154は、このようにリファインメントを付加することにより、各ブロックの符号量を固定長とする(つまり固定長符号化を実現する)ことができる。
[0094]
 圧縮率調整部154は、以上のようにリファインメントを付加した符号化データ(符号量が調整された符号化データ)を符号化部101の外部(すなわち送信部102)に出力する。
[0095]
   <復号部>
 図10は、図8の復号部104の主な構成例を示すブロック図である。図10に示されるように、この場合の復号部104は、圧縮率逆調整部161、可変長復号部162、逆DPCM(Differential Pulse Code Modulation)処理部163、および逆量子化部164を有する。
[0096]
 圧縮率逆調整部161は、符号化部101の圧縮率調整部154が行った処理の逆処理を行う。例えば、圧縮率逆調整部161は、受信部103から供給された符号化データから、圧縮率調整部154により付加されたリファインメントを除去する。換言するに圧縮率逆調整部161は、取得した符号化データから、可変長符号化部153により生成された符号化データを抽出する。圧縮率逆調整部161は、その符号化データを可変長復号部162に供給する。
[0097]
 可変長復号部162は、圧縮率逆調整部161から供給された符号化データを、可変長符号化部153の符号化方法に対応する方法で復号し、画像データ(予測誤差)を生成する。可変長復号部162は、生成した画像データ(予測誤差)を逆DPCM処理部163に供給する。
[0098]
 逆DPCM処理部163は、可変長復号部162から供給された画像データ(予測誤差(差分値))に対して、DPCM処理部152が行ったDPCM処理の逆処理である逆DPCM処理を行い、各画素データ(量子化後の画素値)を復元する。つまり、逆DPCM処理部163は、量子化された画像データを復元する。
[0099]
 その際、逆DPCM処理部163は、図7を参照して説明したように予測画素を設定し、逆DPCM処理を行う。つまり、逆DPCM処理部163は、DPCM処理部152と同様の方法により予測画素を設定する。したがって、逆DPCM処理部163は、予測誤差の増大を抑制することができる。逆DPCM処理部163は、以上のように導出した、量子化された画像データを逆量子化部164に供給する。
[0100]
 逆量子化部164は、逆DPCM処理部163から供給される、量子化された画像データに対して逆量子化を行い、量子化前の画像データと同一のビット長の画素値からなる画像データを復元する。逆量子化部164は、その画像データを復号部104(画像処理装置100)の外部に出力する。
[0101]
   <符号化処理の流れ>
 この場合の画像処理装置100により実行される符号化処理の流れの例を、図11のフローチャートを参照して説明する。
[0102]
 符号化処理が開始されると、量子化部151は、ステップS141において、画像データを量子化する。
[0103]
 ステップS142において、DPCM処理部152は、予測画素生成処理を実行し、予測画素を生成する。ステップS143において、DPCM処理部152は、その予測画素を用いてDPCM処理を行い、残差データ(予測誤差)を導出する。
[0104]
 ステップS144において、可変長符号化部153は、その残差データを可変長符号化し、符号化データを生成する。
[0105]
 ステップS145において、圧縮率調整部154は、その符号化データに適宜リファインメントを付加し、圧縮率を調整する。
[0106]
 ステップS146において、送信部102は、圧縮率が調整された符号化データを送信する。ステップS146の処理が終了すると、符号化処理が終了する。
[0107]
   <予測画素生成処理の流れ>
 次に、図11のステップS142において実行される予測画素生成処理の流れの例を、図12のフローチャートを参照して説明する。
[0108]
 予測画素生成処理が開始されると、DPCM処理部152は、ステップS161において、最近傍同色画素が遮光画素(像面位相差検出画素)であるか否かを判定する。最近傍同色画素が遮光画素であると判定された場合、処理はステップS162に進む。
[0109]
 ステップS162において、DPCM処理部152は、次に近傍の同色画素を最近傍同色画素に設定する。ステップS162の処理が終了すると、処理はステップS161に戻る。つまり、最近傍同色画素が遮光画素(像面位相差検出画素)でない、すなわち、通常画素であると判定されるまで、ステップS161およびステップS162の処理が繰り返される。そして、ステップS162において、最近傍同色画素が通常画素であると判定された場合、処理はステップS163に進む。
[0110]
 ステップS163において、DPCM処理部152は、最近傍同色画素(通常画素)を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図11に戻る。
[0111]
 このように各処理を行うことにより、通常画素の処理対象画素に対して通常画素を予測画素として予測を行うことができるので、図7の例のように予測誤差の増大を抑制することができる。
[0112]
   <復号処理の流れ>
 次に、この場合の画像処理装置100により実行される復号処理の流れの例を、図13のフローチャートを参照して説明する。
[0113]
 復号処理が開始されると、受信部103は、ステップS181において、送信部102により送信された符号化データを受信する。
[0114]
 ステップS182において、圧縮率逆調整部161は、その符号化データよりリファインメントを削除し、圧縮率を逆調整する。
[0115]
 ステップS183において、可変長復号部162は、その符号化データに対して可変長復号を行い、予測誤差(残差データ)を生成する。
[0116]
 ステップS184において、逆DPCM処理部163は、予測画素生成処理を行い、予測画素を生成する。この予測画素生成処理は、図12のフローチャートを参照して説明した場合と同様に、すなわち、符号化処理の際と同様に、実行される。ステップS185において、逆DPCM処理部163は、ステップS184において生成した予測画素を用いて逆DPCM処理を行い、量子化後の画素値(量子化された画像データ)を導出する。
[0117]
 ステップS186において、逆量子化部164は、その量子化された画像データを逆量子化し、量子化前の画像データと同じビット長の画素値からなる画像データを生成する。画像データが生成されると復号処理が終了する。
[0118]
 このように復号処理を行うことにより、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0119]
  <4-2:方法2-2>
 方法2-2について図14を参照して説明する。方法2-2では、処理対象画素が通常画素であり、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素の像面位相差検出画素の画素値を補正して予測画素とする。図14は、図1に対応する図である。
[0120]
 例えば図14において、左から8番目のG画素(通常画素)を処理対象画素とする場合、その直前の同色画素(隣接同色画素)は、左から6番目の左遮光画素ZBである。つまり像面位相差検出画素である。したがって、この左遮光画素ZBの画素値を補正して予測画素とし、予測を行う。図14の例の場合、左遮光画素ZBの遮光率が50%であるので、左遮光画素ZBの画素値が2倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。
[0121]
 この場合、符号化対象の画像データではなく予測値を補正するので、復号の際も、符号化の場合と同一の固定値を乗算する(除算しない)。
[0122]
 なお、左から10番目のG画素(通常画素)を処理対象画素とする場合、その直線の同色画素(隣接同色画素)は、左から8番目のG画素(通常画素)である。つまり、このG画素が最近傍の同色通常画素であるので、このG画素を予測画素として(このG画素の画素値を予測値として)予測を行う。
[0123]
   <画像処理装置>
 図15は、このような方法2-2を実現する画像処理装置の主な構成例を示すブロック図である。図15に示されるように、この場合の画像処理装置100は、図8の場合と同様に、符号化部101乃至復号部104を有する。
[0124]
 この場合の符号化部101には、画像データと遮光画素位置情報との他に、予測値の補正に用いる固定値が供給される。この固定値は、遮光画素位置情報と同様、予め画像処理装置100に登録されていてもよいし、ユーザや他の装置等、画像処理装置100の外部から入力されるようにしてもよい。
[0125]
 符号化部101は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化する。例えば、符号化部101は、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とする。例えば、この固定値を、隣接同色画素である像面位相差検出画素の遮光率に応じた値とする。このようにすることにより、符号化部101は、予測誤差の増大を抑制することができる。
[0126]
 また、この場合の復号部104にも同様に、遮光画素位置情報および固定値が供給される。この固定値は、符号化部101に供給される固定値と同一であり、遮光画素位置情報と同様、予め画像処理装置100に登録されていてもよいし、ユーザや他の装置等、画像処理装置100の外部から入力されるようにしてもよい。
[0127]
 復号部104は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号する。例えば、復号部104は、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とする。例えば、この固定値を、隣接同色画素である像面位相差検出画素の遮光率に応じた値とする。つまり、復号部104は、符号化部101と同様の方法で予測値を補正する。このようにすることにより、復号部104は、予測誤差の増大を抑制することができる。
[0128]
   <符号化部>
 図16は、図15の符号化部101の主な構成例を示すブロック図である。図16に示されるように、この場合の符号化部101は、図9の場合と同様、量子化部151乃至圧縮率調整部154を有する。
[0129]
 ただし、DPCM処理部152には、遮光画素位置情報とともに、図15を参照して上述した固定値も供給される。DPCM処理部152は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、この固定値を乗算することにより予測値(隣接同色画素である像面位相差検出画素の画素値)を補正する。その他の処理は、図9の場合と同様に行われる。
[0130]
   <復号部>
 図17は、図15の復号部104の主な構成例を示すブロック図である。図17に示されるように、この場合の復号部104は、図10の場合と同様、圧縮率逆調整部161乃至逆量子化部164を有する。
[0131]
 ただし、逆DPCM処理部163には、遮光画素位置情報とともに、図15を参照して上述した固定値も供給される。逆DPCM処理部163は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、この固定値を乗算することにより予測値(隣接同色画素である像面位相差検出画素の画素値)を補正する。つまり、逆DPCM処理部163は、DPCM処理部152と同様の方法で予測値を補正する。その他の処理は、図10の場合と同様に行われる。
[0132]
  <予測画素生成処理の流れ>
 この場合、画像処理装置100により実行される予測画素生成処理は、図11のフローチャートを参照して説明した場合と同様の流れで実行される。
[0133]
 図18のフローチャートを参照して、この場合の符号化処理(のステップS142(図11))において実行される予測画素生成処理の流れの例を説明する。
[0134]
 予測画素生成処理が開始されると、DPCM処理部152は、ステップS201において、最近傍同色画素が遮光画素(像面位相差検出画素)であるか否かを判定する。最近傍同色画素が遮光画素であると判定された場合、処理はステップS202に進む。
[0135]
 ステップS202において、DPCM処理部152は、その最近傍同色画素である像面位相差検出画素の画素値に固定値(隣接同色画素である像面位相差検出画素の遮光率に応じた値)を乗算する。
[0136]
 ステップS202の処理が終了すると、処理はステップS203に進む。また、ステップS201において、最近傍同色画素が遮光画素でないと判定された場合、処理はステップS203に進む。
[0137]
 ステップS203において、DPCM処理部152は、最近傍同色画素を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図11に戻る。
[0138]
 このように各処理を行うことにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができるので、図14の例のように予測誤差の増大を抑制することができる。
[0139]
 また、この場合の画像処理装置100により実行される復号処理は、図13のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理(のステップS184(図13))において実行される予測画素生成処理は、図18のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部104は、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0140]
 <5.第3の実施の形態>
  <方法3>
 本実施の形態においては、処理対象画素が像面位相差検出画素の場合の「方法3」について説明する。この方法3の場合、予測方法を切り替えることにより、符号化・復号における予測誤差の増大を抑制する。
[0141]
 例えば、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データを符号化する。また、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、符号化データを復号する。
[0142]
  <5-1:方法3-1>
   <右遮光画素ZAと左遮光画素ZBとを区別する場合>
 方法3-1について図19を参照して説明する。方法3-1では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。図19は、図1に対応する図であり、右遮光画素ZAと左遮光画素ZBとを区別する場合の例を示す。
[0143]
 例えば図19において、左から12番目の右遮光画素ZA(像面位相差検出画素)を処理対象画素とする場合、その直前の同色画素(隣接同色画素)は、左から10番目のG画素である。つまり通常画素である。したがって、この画素は予測画素としない。その次に近傍の同色画素は、左から8番目のG画素である。つまりこれも通常画素であるので予測画素としない。その次に近傍の同色画素は、左から6番目の左遮光画素ZBである。この画素は、像面位相差検出画素であるものの、処理対象画素(右遮光画素ZA)とはタイプ(遮光位置)が一致しないので予測画素としない。その次に近傍の同色画素は、左から4番目の右遮光画素ZAである。つまり、この右遮光画素ZAが最近傍の同色像面位相差検出画素(同タイプの像面位相差検出画素)であるので、この右遮光画素ZAを予測画素として(この右遮光画素ZAの画素値を予測値として)予測を行う。このようにすることにより、像面位相差検出画素の予測を同タイプの像面位相差検出画素を用いて行うことができるので、図19に示されるように、隣接同色画素であるG画素(通常画素)を予測画素とする場合よりも、予測誤差の増大を抑制することができる。
[0144]
 なお、左から14番目の左遮光画素ZB(像面位相差検出画素)を処理対象画素とする場合も、同様に予測画素の選択が行われ、左から6番目の左遮光画素ZBが最近傍の同色像面位相差検出画素(同タイプの像面位相差検出画素)として選択され、この左遮光画素ZBを予測画素として(この左遮光画素ZBの画素値を予測値として)予測が行われる。したがって同様に、予測誤差の増大を抑制することができる。
[0145]
   <画像処理装置>
 このような方法3-1を実現する画像処理装置100は、図8の例(方法2-1)と同様の構成を有する。また、符号化部101は、図9の例と同様の構成を有する。さらに、復号部104は、図10の例と同様の構成を有する。
[0146]
 符号化部101は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化する。例えば、符号化部101は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。このようにすることにより、符号化部101は、予測誤差の増大を抑制することができる。
[0147]
 復号部104は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号する。例えば、復号部104は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。このようにすることにより、復号部104は、予測誤差の増大を抑制することができる。
[0148]
   <予測画素生成処理の流れ>
 この場合の画像処理装置100により実行される符号化処理は、図11のフローチャートを参照して説明した場合と同様の流れで実行される。
[0149]
 この場合の、図11のステップS142において実行される予測画素生成処理の流れの例を、図20のフローチャートを参照して説明する。
[0150]
 予測画素生成処理が開始されると、DPCM処理部152は、ステップS221において、最近傍同色画素が同種類(同タイプ)の遮光画素(像面位相差検出画素)であるか否かを判定する。最近傍同色画素が同種類の遮光画素ではないと判定された場合、処理はステップS222に進む。
[0151]
 ステップS222において、DPCM処理部152は、次に近傍の同色画素を最近傍同色画素に設定する。ステップS222の処理が終了すると、処理はステップS221に戻る。つまり、最近傍同色画素が同種類の遮光画素(像面位相差検出画素)であると判定されるまで、ステップS221およびステップS222の処理が繰り返される。そして、ステップS222において、最近傍同色画素が同種類の遮光画素(像面位相差検出画素)であると判定された場合、処理はステップS223に進む。
[0152]
 ステップS223において、DPCM処理部152は、最近傍同色画素(像面位相差検出画素)を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図11に戻る。
[0153]
 このように各処理を行うことにより、処理対象画素と同種類の像面位相差検出画素を予測画素として予測を行うことができるので、図19の例のように予測誤差の増大を抑制することができる。
[0154]
 また、この場合の画像処理装置100により実行される復号処理は、図13のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理(のステップS184(図13))において実行される予測画素生成処理は、図20のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部104は、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0155]
   <右遮光画素ZAと左遮光画素ZBとを区別しない場合>
 次に、方法3-1の右遮光画素ZAと左遮光画素ZBとを区別しない場合について、図21を参照して説明する。方法3-1では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。図21は、図1に対応する図である。
[0156]
 例えば図21において、左から12番目の右遮光画素ZA(像面位相差検出画素)を処理対象画素とする場合、左から10番目のG画素と左から8番目のG画素は通常画素であるので予測画素としない。その次に近傍の同色画素は、左から6番目の左遮光画素ZBである。この画素は、処理対象画素(右遮光画素ZA)とはタイプ(遮光位置)が一致しないが、像面位相差検出画素である。この場合は、タイプを区別しないので、この左遮光画素ZBを予測画素として(この左遮光画素ZBの画素値を予測値として)予測を行う。このようにすることにより、像面位相差検出画素の予測を、像面位相差検出画素を用いて行うことができるので、図21に示されるように、隣接同色画素であるG画素(通常画素)を予測画素とする場合よりも、予測誤差の増大を抑制することができる。
[0157]
 なお、左から14番目の左遮光画素ZB(像面位相差検出画素)を処理対象画素とする場合も、同様に予測画素の選択が行われ、左から14番目の右遮光画素ZAが最近傍の同色像面位相差検出画素として選択され、この右遮光画素ZAを予測画素として(この右遮光画素ZAの画素値を予測値として)予測が行われる。したがって同様に、予測誤差の増大を抑制することができる。
[0158]
   <画像処理装置>
 この場合の画像処理装置100やその各処理部の構成は、右遮光画素ZAと左遮光画素ZBとを区別する場合と同様である。
[0159]
   <予測画素生成処理の流れ>
 この場合の画像処理装置100により実行される符号化処理は、図11のフローチャートを参照して説明した場合と同様の流れで実行される。
[0160]
 この場合の、図11のステップS142において実行される予測画素生成処理の流れの例を、図22のフローチャートを参照して説明する。
[0161]
 予測画素生成処理が開始されると、DPCM処理部152は、ステップS241において、最近傍同色画素が遮光画素(像面位相差検出画素)であるか否かを判定する。最近傍同色画素が遮光画素ではないと判定された場合、処理はステップS242に進む。
[0162]
 ステップS242において、DPCM処理部152は、次に近傍の同色画素を最近傍同色画素に設定する。ステップS242の処理が終了すると、処理はステップS241に戻る。つまり、最近傍同色画素が遮光画素(像面位相差検出画素)であると判定されるまで、ステップS241およびステップS242の処理が繰り返される。そして、ステップS242において、最近傍同色画素が遮光画素(像面位相差検出画素)であると判定された場合、処理はステップS243に進む。
[0163]
 ステップS243において、DPCM処理部152は、最近傍同色画素(像面位相差検出画素)を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図11に戻る。
[0164]
 このように各処理を行うことにより、処理対象画素と像面位相差検出画素を予測画素として予測を行うことができるので、図21の例のように予測誤差の増大を抑制することができる。
[0165]
 また、この場合の画像処理装置100により実行される復号処理は、図13のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理(のステップS184(図13))において実行される予測画素生成処理は、図22のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部104は、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0166]
  <5-2:方法3-2>
   <右遮光画素ZAと左遮光画素ZBとを区別する場合>
 方法3-2について図23を参照して説明する。方法3-2では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正して予測画素とする。図23は、図1に対応する図であり、右遮光画素ZAと左遮光画素ZBとを区別する場合の例を示す。
[0167]
 例えば図23において、左から4番目の右遮光画素ZA(像面位相差検出画素)を処理対象画素とする場合、その直前の同色画素(隣接同色画素)は、左から2番目のG画素である。つまり通常画素である。したがって、このG画素の画素値を補正して予測画素とし、予測を行う。図23の例の場合、右遮光画素ZAの遮光率が50%であるので、G画素の画素値が0.5倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。
[0168]
 この場合、符号化対象の画像データではなく予測値を補正するので、復号の際も、符号化の場合と同一の固定値を乗算する(除算しない)。
[0169]
 なお、左から6番目の左遮光画素ZB(像面位相差検出画素)を処理対象画素とする場合、その直前の同色画素(隣接同色画素)は、左から4番目の右遮光画素ZAである。この右遮光画素ZAは、像面位相差検出画素であるものの、処理対象画素(左遮光画素ZB)とはタイプが一致しないので予測画素としない。その次に近傍の同色画素は、左から2番目のG画素である。つまり通常画素である。したがって、このG画素の画素値を補正して予測画素とし、予測を行う。図23の例の場合、左遮光画素ZBの遮光率が50%であるので、G画素の画素値が0.5倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。
[0170]
   <画像処理装置>
 このような方法3-2を実現する画像処理装置100は、図15の例(方法2-2)と同様の構成を有する。また、符号化部101は、図16の例と同様の構成を有する。さらに、復号部104は、図17の例と同様の構成を有する。
[0171]
 符号化部101は、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化する。例えば、符号化部101は、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とする。その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。このようにすることにより、符号化部101は、予測誤差の増大を抑制することができる。
[0172]
 復号部104は、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号する。例えば、復号部104は、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とする。その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。このようにすることにより、復号部104は、予測誤差の増大を抑制することができる。
[0173]
   <予測画素生成処理の流れ>
 この場合の画像処理装置100により実行される符号化処理は、図11のフローチャートを参照して説明した場合と同様の流れで実行される。
[0174]
 この場合の、図11のステップS142において実行される予測画素生成処理の流れの例を、図24のフローチャートを参照して説明する。
[0175]
 予測画素生成処理が開始されると、DPCM処理部152は、ステップS261において、最近傍同色画素が通常画素であるか否かを判定する。最近傍同色画素が通常画素であると判定された場合、処理はステップS262に進む。
[0176]
 ステップS262において、DPCM処理部152は、その最近傍同色画素である通常画素の画素値に固定値(処理対象画素である像面位相差検出画素の遮光率に応じた値)を乗算する。ステップS262の処理が終了すると、処理はステップS265に進む。
[0177]
 また、ステップS261において、最近傍同色画素が通常画素でないと判定された場合、処理はステップS263に進む。
[0178]
 ステップS263において、DPCM処理部152は、最近傍同色画素が処理対象画素と同種類の(同タイプの)遮光画素(像面位相差検出画素)であるか否かを判定する。最近傍同色画素が処理対象画素と異なるタイプの遮光画素であると判定された場合、処理はステップS264に進む。
[0179]
 ステップS264において、DPCM処理部152は、次に近傍の同色画素を最近傍同色画素に設定する。ステップS264の処理が終了すると、処理はステップS261に戻る。つまり、最近傍同色画素が通常画素であると判定されるか、処理対象画素と同種類の遮光画素であると判定されるまで、ステップS261、ステップS263、およびステップS264の各処理が繰り返し実行される。そして、ステップS263において、最近傍同色画素が処理対象画素と同種類の遮光画素であると判定された場合、処理はステップS265に進む。
[0180]
 ステップS265において、DPCM処理部152は、最近傍同色画素を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図11に戻る。
[0181]
 このように各処理を行うことにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができるので、図23の例のように予測誤差の増大を抑制することができる。
[0182]
 また、この場合の画像処理装置100により実行される復号処理は、図13のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理(のステップS184(図13))において実行される予測画素生成処理は、図24のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部104は、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0183]
   <右遮光画素ZAと左遮光画素ZBとを区別しない場合>
 次に、方法3-2の右遮光画素ZAと左遮光画素ZBとを区別しない場合について、図25を参照して説明する。方法3-2では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正して予測画素とする。図25は、図1に対応する図であり、右遮光画素ZAと左遮光画素ZBとを区別しない場合の例を示す。
[0184]
 例えば図25において、左から4番目の右遮光画素ZA(像面位相差検出画素)を処理対象画素とする場合、隣接同色画素は、左から2番目のG画素(通常画素)である。したがって、このG画素の画素値を補正して予測画素とし、予測を行う。図25の例の場合、右遮光画素ZAの遮光率が50%であるので、G画素の画素値が0.5倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。
[0185]
 この場合、符号化対象の画像データではなく予測値を補正するので、復号の際も、符号化の場合と同一の固定値を乗算する(除算しない)。
[0186]
 なお、左から6番目の左遮光画素ZB(像面位相差検出画素)を処理対象画素とする場合、その直前の同色画素(隣接同色画素)は、左から4番目の右遮光画素ZAである。この場合、タイプは区別しないので、この右遮光画素ZAが予測画素とされ、予測が行われる。この場合、予測画素は、像面位相差検出画素であるので、補正(固定値の乗算)は行われない。したがって同様に、予測誤差の増大を抑制することができる。
[0187]
   <画像処理装置>
 この場合の画像処理装置100やその各処理部の構成は、右遮光画素ZAと左遮光画素ZBとを区別する場合と同様である。
[0188]
   <予測画素生成処理の流れ>
 この場合の画像処理装置100により実行される符号化処理は、図11のフローチャートを参照して説明した場合と同様の流れで実行される。
[0189]
 この場合の、図11のステップS142において実行される予測画素生成処理の流れの例を、図26のフローチャートを参照して説明する。
[0190]
 予測画素生成処理が開始されると、DPCM処理部152は、ステップS281において、最近傍同色画素が通常画素であるか否かを判定する。最近傍同色画素が通常画素であると判定された場合、処理はステップS282に進む。
[0191]
 ステップS282において、DPCM処理部152は、その最近傍同色画素である通常画素の画素値に固定値(処理対象画素である像面位相差検出画素の遮光率に応じた値)を乗算する。ステップS282の処理が終了すると、処理はステップS283に進む。
[0192]
 また、ステップS281において、最近傍同色画素が通常画素でないと判定された場合、処理はステップS283に進む。
[0193]
 ステップS283において、DPCM処理部152は、最近傍同色画素を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図11に戻る。
[0194]
 このように各処理を行うことにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができるので、図25の例のように予測誤差の増大を抑制することができる。
[0195]
 また、この場合の画像処理装置100により実行される復号処理は、図13のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理(のステップS184(図13))において実行される予測画素生成処理は、図26のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部104は、符号化部101が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。
[0196]
  <5-3:方法3-3>
 方法3-3について図27を参照して説明する。方法3-3では、処理対象画素が像面位相差検出画素である場合、その予測(DPCM処理)を省略する。図27は、図1に対応する図である。
[0197]
 例えば、図27において、左から4番目の右遮光画素ZA(像面位相差検出画素)を処理対象画素とする場合、DPCM処理が省略(スキップ)される。同様に、左から6番目の左遮光画素ZB(像面位相差検出画素)を処理対象画素とする場合も、DPCM処理が省略(スキップ)される。この場合、その処理対象画素(像面位相差検出画素)の画素値が量子化されて可変長符号化される。なお、この場合、量子化値は、通常画素と同一であってもよいし、異なっていてもよい。また、非量子化であっても(量子化をスキップしても)よい。
[0198]
 また、復号も同様に行われる。つまり、処理対象画素が像面位相差検出画素である場合、その予測(DPCM処理)が省略される。
[0199]
 このようにすることにより、予測誤差が大きなDPCM処理を省略することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。また、符号化・復号の負荷の増大を抑制することができる。
[0200]
   <画像処理装置>
 このような方法3-3を実現する画像処理装置100は、図8の例(方法2-1)と同様の構成を有する。また、符号化部101は、図9の例と同様の構成を有する。さらに、復号部104は、図10の例と同様の構成を有する。
[0201]
 符号化部101は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、画像データを符号化する。このようにすることにより、符号化部101は、予測誤差の増大を抑制することができる。
[0202]
 復号部104は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、符号化データを復号する。このようにすることにより、符号化部101は、予測誤差の増大を抑制することができる。
[0203]
   <予測画素生成処理の流れ>
 この場合の画像処理装置100により実行される符号化処理の流れの例を、図28のフローチャートを参照して説明する。
[0204]
 符号化処理が開始されると、DPCM処理部152は、ステップS301において、処理対象画素が遮光画素であるか否かを判定する。処理対象画素が遮光画素でないと判定された場合、処理はステップS302に進む。
[0205]
 ステップS302において、量子化部151は、画像データを量子化する。ステップS303において、DPCM処理部152は、量子化された画像データをDPCM処理し、予測値との差分(残差データ)を生成する。ステップS304において、可変長符号化部153は、その残差データを可変長符号化し、符号化データを生成する。ステップS305において、圧縮率調整部154は、その符号化データにリファインメントを付加する等して圧縮率を調整する。ステップS305の処理が終了すると、処理はステップS309に進む。
[0206]
 また、ステップS301において、処理対象画素が遮光画素であると判定された場合、処理はステップS306に進む。ステップS306において、量子化部151は、画像データを量子化する。ステップS307において、可変長符号化部153は、その量子化された画像データを可変長符号化し、符号化データを生成する。ステップS308において、圧縮率調整部154は、その符号化データにリファインメントを付加する等して圧縮率を調整する。ステップS308の処理が終了すると、処理はステップS309に進む。
[0207]
 ステップS309において、DPCM処理部152は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップS301に戻り、それ以降の処理が繰り返される。そして、ステップS309において、全ての画素を処理したと判定された場合、処理はステップS310に進む。
[0208]
 ステップS310において、送信部102は、以上のように生成された符号化データを送信する。ステップS310の処理が終了すると、符号化処理が終了する。このように符号化処理を実行することにより、予測誤差の増大を抑制することができる。
[0209]
  <復号処理の流れ>
 この場合の画像処理装置100により実行される復号処理の流れの例を、図29のフローチャートを参照して説明する。
[0210]
 復号処理が開始されると、受信部103は、ステップS331において、送信部102より送信された符号化データを受信する。
[0211]
 ステップS332において、DPCM処理部152は、処理対象画素が遮光画素であるか否かを判定する。処理対象画素が遮光画素でないと判定された場合、処理はステップS333に進む。
[0212]
 ステップS333において、圧縮率逆調整部161は、符号化データの圧縮率を逆調整する。ステップS334において、可変長復号部162は、その圧縮率が逆調整された符号化データを復号し、画像データ(残差データ)を生成する。ステップS335において、逆DPCM処理部163は、逆DPCM処理を行い、予測値を導出し、その予測値を残差データに加算して、量子化後の画像データを生成する。ステップS336において、逆量子化部164は、その量子化された画像データを逆量子化し、量子化される前の画像データと同一のビット長の画素値からなる画像データを生成する。ステップS336の処理が終了すると処理はステップS340に進む。
[0213]
 また、ステップS332において、処理対象画素が遮光画素であると判定された場合、処理はステップS337に進む。ステップS337において、圧縮率逆調整部161は、符号化データの圧縮率を逆調整する。ステップS338において、可変長復号部162は、その圧縮率が逆調整された符号化データを復号し、量子化後の画像データを生成する。ステップS339において、逆量子化部164は、その量子化された画像データを逆量子化し、量子化される前の画像データと同一のビット長の画素値からなる画像データを生成する。ステップS339の処理が終了すると処理はステップS340に進む。
[0214]
 ステップS340において、DPCM処理部152は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップS332に戻り、それ以降の処理が繰り返される。そして、ステップS340において、全ての画素を処理したと判定された場合、復号処理が終了する。このように復号処理を実行することにより、予測誤差の増大を抑制することができる。
[0215]
 なお、以上の方法3は、上述した方法2と組み合わせて適用してもよい。
[0216]
 <6.第4の実施の形態>
  <方法4>
 本実施の形態においては、処理対象画素が像面位相差検出画素の場合の「方法4」乃至「方法6」について説明する。この方法4の場合、符号化・復号による誤差を示す誤差情報を、像面位相差検出に利用する。
[0217]
   <画像処理装置>
 この場合の画像処理装置100の主な構成例を図30に示す。図30に示されるように、この場合の画像処理装置100は、符号化部101乃至復号部104に加えて、信頼度情報生成部401、位相差検出部402、およびレンズ制御部403を有する。この場合、復号部104は、さらに誤差情報を導出する。
[0218]
 誤差情報は、符号化・復号により損失(ロス)するビット量を示す情報である。例えば、図31において、各四角はビットを示し、図中縦方向の位置はビット深度(bit depth)を示し、図中横方向の位置は画素位置(horizontal position)を示す。つまり、四角の図中縦方向の並び(列)が画素値のビット列を示す。
[0219]
 符号化・復号は左の列(画素値)から順に処理される。上述したように、符号化においては例えば各画素値は量子化され、そのビット列の一部がDPCM処理される。図31の例の場合、上位5ビットがDPCM処理される。ただし、最初に処理される一番左の画素値は、PCM処理され、そのまま出力される(0との差分値が予測誤差として出力される)。DPCM処理(またはPCM処理)により導出された予測誤差は、可変長符号化される。そして、適宜、リファインメントとして数ビットが付加される。図31の例の場合、各画素値において、1ビットまたは2ビットがリファインメントとして付加されている。つまり、符号化データは、以上のビットについての情報が含まれる。復号においては、これらの逆処理が行われ、これらのビットの値が復元される。
[0220]
 換言するに、残りのビット(図31の例の場合、白色の四角で示される未符号化bit)は伝送されず、損失(ロス)する。図31の例の場合、各画素において3ビットまたは4ビットを損失している(bitloss)。
[0221]
 誤差情報は、このビット量を示す情報であり、例えば、符号化ブロック毎に生成される。つまり、復号部104は、損失したビット量(bitloss)を、符号化ブロック毎に集計し(例えば、合計値または平均値等を算出し)、それを誤差情報として信頼度情報生成部401に供給する。なお、誤差情報を生成するデータ単位は任意である。例えば、画素単位の情報としてもよい。
[0222]
 信頼度情報生成部401は、復号部104からその誤差情報を取得する。誤差情報の値が大きい程、符号化・復号によるビットの損失量が大きい。ビットの損失量が大きい程、撮像画像データにおける情報損失量が大きく、位相差検出の精度が低減する可能性が高い。つまり、誤差情報の値が大きい領域程、位相差検出結果の信頼度が低減する。
[0223]
 そこで、信頼度情報生成部401は、取得した誤差情報に基づいて、位相差検出結果の信頼度を判定し、位相差検出結果の信頼度を示す位相差検出結果信頼度情報を生成し、それを位相差検出部402に供給する。なお、信頼度情報生成部401は、この位相差検出結果信頼度情報を、位相差検出の処理単位となる領域(位相差検出領域とも称する)毎に導出する。
[0224]
 位相差検出部402は、復号部104が生成した撮像画像データを用いて位相差を検出し、その位相差検出結果をレンズ制御部403に供給する。その際、位相差検出部402は、信頼度情報生成部401から供給される位相差検出結果信頼度情報を取得し、その位相差検出結果信頼度情報も考慮して位相差の検出を行う。つまり、位相差検出部402は、撮像画像データおよび位相差検出結果信頼度情報(つまり誤差情報)に基づいて位相差の検出を行う。
[0225]
 例えば、位相差検出部402は、位相差検出結果信頼度情報において、信頼度が十分に低いと判定された位相差検出領域を、位相差検出の対象から除外する。換言するに、位相差検出部402は、位相差検出結果信頼度情報において、信頼度が十分に高いと判定された位相差検出領域の画素値を用いて位相差の検出を行う。
[0226]
 このようにすることにより、位相差検出部402は、位相差検出の精度の低減を抑制することができる(典型的には、より正確に位相差を検出することができる)。
[0227]
   <信頼度情報生成部>
 図32は、図30の信頼度情報生成部401の主な構成例を示すブロック図である。図32に示されるように、信頼度情報生成部401は、積算部411および閾値処理部412を有する。
[0228]
 積算部411は、復号部104から供給される誤差情報を取得し、その誤差情報を積算し、位相差検出領域毎の積算値を導出する。積算部411は、導出した位相差検出領域毎の積算値を閾値処理部412に供給する。
[0229]
 閾値処理部412は、積算部411から供給される積算値を取得し、その積算値と閾値とを比較することにより、その積算値に対応する位相差検出領域における位相差検出結果の信頼度を判定する。例えば、閾値処理部412は、各位相差検出領域について、位相差検出結果が十分に信頼できるか否かを判定する。閾値処理部412は、その判定結果を示す位相差検出結果信頼度情報を生成し、それを位相差検出部402に供給する。
[0230]
 位相差検出部402は、このような位相差検出結果信頼度情報に基づいて、例えば、図33に示されるように、位相差検出結果の信頼度が十分に低い位相差検出領域を特定し、その領域を位相差検出の対象から除外する。図33の例の場合、数字等が付された各四角は位相差検出領域を示す。そのうち「×」が付された四角が、位相差検出結果信頼度情報(つまり誤差情報)に基づいて、位相差検出結果の信頼度が十分に低いと判定された位相差検出領域を示す。位相差検出部402は、このような領域を対象から除外して、位相差検出を行う(つまり、その他の領域において位相差検出を行う)。
[0231]
 なお、図33において、白い部分は、画素値がフラットな領域(フラット領域)であり、このような領域も位相差検出が困難であるので、位相差検出の対象から除外される。また、図中、濃いグレーで示される四角は、位相差検出結果が不正確であった位相差検出領域を示す。つまり、位相差検出部402は、上述のように位相差検出結果の信頼度が低い領域を対象から除外することにより、このような位相差検出結果が不正確となる領域を対象から除外することができる。したがって、位相差検出部402は、フラット領域を除外するのみの場合よりも正確な位相差検出を行うことができる。
[0232]
   <復号処理の流れ>
 次に、この場合の画像処理装置100により実行される復号処理の流れの例を、図34のフローチャートを参照して説明する。
[0233]
 復号処理が開始されると、ステップS361乃至ステップS363の各処理が、ステップS181乃至ステップS183の各処理(図13)と同様に実行される。
[0234]
 ステップS364において、逆DPCM処理部163は、逆DPCM処理を行い、量子化後の画像データを生成する。ステップS365の処理は、ステップS186の処理(図13)と同様に実行される。
[0235]
 ステップS366において、復号部104は、復号結果に基づいて誤差情報を生成する。
[0236]
 ステップS367において、信頼度情報生成部401は、信頼度情報生成処理を実行し、誤差情報に基づいて位相差検出結果信頼度情報を生成する。
[0237]
 ステップS368において、位相差検出部402は、その位相差検出結果信頼度情報に基づいて、ステップS365の処理により生成された画像データ(例えばRAW画像データ)から位相差を検出する。
[0238]
 ステップS369において、レンズ制御部403は、ステップS368において得られた位相差検出結果に基づいて、合焦位置を更新する。
[0239]
 ステップS369の処理が終了すると復号処理が終了する。
[0240]
   <信頼度情報生成処理の流れ>
 次に、図35のフローチャートを参照して、図34のステップS367において実行される信頼度情報生成処理の流れの例を説明する。
[0241]
 信頼度情報生成処理が開始されると、積算部411は、ステップS381において、ステップS366において導出された誤差情報を位相差検出領域毎に積算し、位相差検出領域毎の積算値を導出する。
[0242]
 ステップS382において、閾値処理部412は、ステップS381において導出された各位相差検出領域の誤差情報の積算値を閾値と比較し、その領域を位相差検出の対象から除外するか否かを判定する。
[0243]
 ステップS383において、閾値処理部412は、ステップS382において求めた判定結果を示す位相差検出結果信頼度情報を生成し、それを出力する(つまり、位相差検出部402に供給する)。ステップS383の処理が終了すると、信頼度情報生成処理が終了し、処理は図34に戻る。
[0244]
 以上のように各処理を実行することにより、画像処理装置100は、位相差検出の精度の低減を抑制することができる(典型的には、より正確に位相差を検出することができる)。
[0245]
  <その他>
 なお、上述した方法4は、上述した方法1と組み合わせて適用してもよい(方法5)。また、上述した方法4は、上述した方法2または方法3と組み合わせて適用してもよい。さらに、上述した方法4は、上述した方法2および方法3と組み合わせて適用してもよい(方法6)。
[0246]
 <7.第5の実施の形態>
  <適用例:撮像装置>
 本技術は任意のデバイスに適用することができる。例えば、本技術は、撮像装置にも適用することができる。図36は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図36に示される撮像装置450は、被写体を撮像し、撮像画像データを生成し、記録したり、出力したりする。
[0247]
 図36に示されるように、撮像装置450は、レンズ451、イメージセンサ452、信号処理部453、出力部454、および記憶部455を有する。
[0248]
 レンズ451は、後述する信号処理部453のレンズ制御部472により制御され、焦点距離を調整するための光学系である。絞り等を含むようにしてもよい。被写体からの光は、このレンズ451を介してイメージセンサ452に入射する。
[0249]
 イメージセンサ452は、レンズ451を介して入射する被写体からの光を受光し、撮像画像データを生成する。さらに、イメージセンサ452は、その撮像画像データを符号化し、符号化データとして信号処理部453に供給する。
[0250]
 信号処理部453は、イメージセンサ452から供給される符号化データを復号し、撮像画像データを生成する。信号処理部453は、その撮像画像データを出力部454や記憶部455に供給する。また、信号処理部453は、その撮像画像データから位相差を検出し、その位相差検出結果に基づいてレンズ451を制御し、焦点距離の制御を行う。
[0251]
 出力部454は、信号処理部453から供給される撮像画像データを取得し、それを撮像装置450の外部に出力する。例えば、出力部454は、表示部(モニタ)を有し、撮像画像をその表示部に表示する。また、例えば、出力部454は、外部出力端子を有し、撮像画像データを、その外部出力端子を介して他の装置に供給する。
[0252]
 記憶部455は、信号処理部453から供給される撮像画像データを取得し、それを記憶する。例えば、記憶部455は、ハードディスクやフラッシュメモリ等の記憶媒体を有し、信号処理部453から供給された撮像画像データをその記憶媒体に記憶させる。
[0253]
 なお、記憶部455は、その記憶媒体に記憶された撮像画像データを適宜読み出し、出力部454等の他の処理部に供給することができる。また、その記憶媒体は、撮像装置450(記憶部455)に対して着脱可能なメディア(リムーバブルメディア)であってもよい。
[0254]
   <イメージセンサ>
 イメージセンサ452は、受光部461、ADC(Analog Digital Converter)462、符号化部101、および送信部102を有する。
[0255]
 受光部461は、画素領域(画素アレイ)を有しており、各画素において、被写体からの光を受光して光電変換し、電気信号として検出する。すなわち、受光部461は、撮像画像の電気信号を生成する。受光部461は、その撮像画像の電気信号をADC462に供給する。なお、受光部461の画素領域(画素アレイ)は、一部が遮光された像面位相差検出画素を含む。つまり、受光部461により生成された撮像画像の電気信号には、その像面位相差検出画素の画素値の電気信号も含まれる。
[0256]
 ADC462は、受光部461から供給される電気信号(画素値)をA/D変換し、デジタルデータの撮像画像データを生成する。つまり、この撮像画像データは、像面位相差検出画素の画素値の情報も含まれる。ADC462は、生成した撮像画像データを符号化部101に供給する。
[0257]
 符号化部101は、ADC462から供給される撮像画像データを取得する。符号化部101は、上述した画像処理装置100の場合と同様に撮像画像データを符号化し、符号化データを生成する。つまり、符号化部101は、画素の種類に応じた方法で撮像画像データを符号化する。符号化部101は、生成した符号化データを送信部102に供給する。
[0258]
 送信部102は、符号化部101から供給された符号化データを取得し、それを信号処理部453(の受信部103)に送信する。
[0259]
   <信号処理部>
 信号処理部453は、受信部103、復号部104、位相差検出部471、レンズ制御部472、および画像処理部473を有する。
[0260]
 受信部103は、イメージセンサ452の送信部102から送信された符号化データを受信する。受信部103は、受信した符号化データを復号部104に供給する。
[0261]
 復号部104は、受信部103から供給される符号化データを取得する。復号部104は、上述した画像処理装置100の場合と同様に符号化データを復号し、撮像画像データを生成する。つまり、復号部104は、撮像画像データの符号化データを画素の種類に応じた方法で復号する。復号部104は、生成した撮像画像データを位相差検出部471および画像処理部473に供給する。
[0262]
 位相差検出部471は、復号部104から供給される撮像画像データを取得する。位相差検出部471は、取得した撮像画像データ(復号結果)を用いて、(被写体への)合焦のための位相差の検出を行う。上述したようにこの撮像画像データには像面位相差検出画素の画素値が含まれており、位相差検出部471は、その位相差検出画素の画素値を用いて位相差を検出する。また、位相差検出部471は、導出した位相差検出結果をレンズ制御部472に供給する。
[0263]
 レンズ制御部472は、位相差検出部471から供給される位相差検出結果を取得する。レンズ制御部472は、その位相差検出結果に基づいて、被写体に合焦させるようにレンズ451を制御する制御信号を生成し、それをレンズ451に供給する。つまり、レンズ制御部472は、被写体に合焦させるようにレンズ451を制御する。
[0264]
 画像処理部473は、復号部104から供給される撮像画像データを取得する。画像処理部473は、その撮像画像データに対する画像処理を行う。この画像処理の内容は任意である。画像処理部473は、画像処理後の撮像画像データを、出力部454および記憶部455の少なくともいずれか一方に供給する。もちろん、画像処理部473は、その画像処理をスキップすることもできる。その場合、画像処理部473は、取得した撮像画像データを出力部454および記憶部455の少なくともいずれか一方に供給する。
[0265]
 以上のように、撮像装置450のイメージセンサ452と信号処理部453との間において、撮像画像データは、符号化されて伝送される。そして、符号化部101は、画素の種類に応じた方法で撮像画像データを符号化する。同様に、復号部104は、撮像画像データの符号化データを画素の種類に応じた方法で復号する。
[0266]
 したがって、撮像装置450は、この符号化・復号における予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。
[0267]
  <撮像処理の流れ>
 この撮像装置450が被写体を撮像するために実行する撮像処理の流れの例を、図37のフローチャートを参照して説明する。
[0268]
 撮像処理が開始されると、ステップS401において、レンズ451は、合焦位置を初期化する。
[0269]
 ステップS402において、受光部461は、被写体を撮像し、被写体からの光を光電変換して電気信号として各画素値を得る。ステップS403において、ADC462は、その画素値をA/D変換してデジタルデータの撮像画像データを生成する。上述のように、この撮像画像データには、像面位相差検出画素の画素値が含まれる。
[0270]
 ステップS404において、符号化部101は、第1の実施の形態乃至第4の実施の形態のそれぞれにおいて説明した場合と同様に、画素の種類に応じた方法でその撮像画像データを符号化し、符号化データを生成する。
[0271]
 ステップS405において、送信部102は、ステップS404において生成された符号化データを送信する。ステップS406において、受信部103は、その符号化データを受信する。
[0272]
 ステップS407において、復号部104は、第1の実施の形態乃至第4の実施の形態のそれぞれにおいて説明した場合と同様に、画素の種類に応じた方法でその符号化データを復号し、撮像画像データを生成する。
[0273]
 ステップS408において、位相差検出部471は、ステップS407において生成された撮像画像データを用いて位相差を検出する。なお、その際、位相差検出部471は、第4の実施の形態において説明したように、誤差情報(位相差検出結果信頼度情報)に基づいて、その位相差の検出を行うようにしてもよい。
[0274]
 ステップS409において、レンズ制御部472は、ステップS408において得られた位相差検出結果に基づいてレンズ451を制御し、合焦位置を更新する。ステップS410において、画像処理部473は、ステップS407において生成された撮像画像データに対する画像処理を行う。
[0275]
 ステップS411において、出力部454は、ステップS410の画像処理後の撮像画像データを、撮像装置450の外部に出力する。また、記憶部455は、その撮像画像データを記憶媒体に記憶する。
[0276]
 ステップS412において、撮像装置450は、撮像処理を終了するか否かを判定する。撮像を継続し、新たなフレーム画像を生成すると判定された場合、処理は、図37のステップS402に戻る。つまり、撮像装置450は、ステップS402乃至ステップS412の各処理をフレーム毎に実行する。例えばユーザ指示等に基づいて、ステップS412において、撮像処理を終了すると判定された場合、撮像処理が終了する。
[0277]
 以上のように撮像処理を行うことにより、撮像装置450は、ステップS404の符号化やステップS407の復号における予測誤差の増大を抑制することができる。
[0278]
  <適用例:撮像素子>
 また、本技術は、例えば撮像素子にも適用することができる。図38は、本技術を適用した撮像素子である積層型イメージセンサの主な構成例を示すブロック図である。図38に示される積層型イメージセンサ500は、被写体を撮像し、撮像画像のデジタルデータ(画像データ)を得て、その画像データを出力するイメージセンサ(撮像素子)である。
[0279]
 図38に示されるように、積層型イメージセンサ500は、半導体基板501乃至半導体基板503の3枚の半導体基板を有する。これらの半導体基板は、互いに重畳された状態で封止され、モジュール化(一体化)されている。つまり、これらの半導体基板は、多層構造(積層構造)を形成する。半導体基板501乃至半導体基板503には、それぞれ、電子回路が形成されており、各半導体基板に形成される回路は、ビア(VIA)等により互いに接続されている。各半導体基板(に形成される回路)間の経路をバスとも称する。例えば、半導体基板501の回路と半導体基板502の回路は、バス511を介してデータ等の授受を行うことができる。また、半導体基板502の回路と半導体基板503の回路は、バス512を介してデータ等の授受を行うことができる。
[0280]
 また、半導体基板502に形成される回路には、積層型イメージセンサ500のインタフェース513が形成される。つまり、半導体基板502に形成される回路は、このインタフェース513を介して、積層型イメージセンサ500の外部の回路(例えば回路基板520に形成される回路)とデータ等の授受を行うことができる。このインタフェース513は、所定の通信規格に準拠した通信方式により通信が行われるインタフェースである。この通信規格は任意である。例えば、MIPI(Mobile Industry Processor Interface)であってもよいし、SLVS-EC(Scalable Low Voltage Signaling Embedded Clock)であってもよいし、その他の規格であってもよい。なお、インタフェース513の具体的な構成は任意である。例えば、入出力の制御を行う構成だけでなく、バスやケーブル等の伝送路もインタフェース513に含まれるものとしてもよい。
[0281]
 このように、モジュール内部において半導体基板の多層構造を形成することにより、積層型イメージセンサ500は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、積層型イメージセンサ500は、コストの増大を抑制しながら、より大規模な回路を実装することができる。
[0282]
 各半導体基板に形成される回路構成の例を図39に示す。図39においては説明の便宜上、半導体基板501乃至半導体基板503が平面上に並べて配置されているが、実際には、図38に示されるように互いに重畳されている。
[0283]
 一番上の半導体基板501には、受光部531およびA/D変換部532等が形成される。受光部531は、例えばフォトダイオード等の光電変換素子を有する単位画素を複数有し、各単位画素において入射光を光電変換し、入射光に相当する電荷を電気信号(画素信号)としてA/D変換部532に出力する。
[0284]
 A/D変換部532は、受光部531から供給される各画素信号をA/D変換し、デジタルデータの画素データを生成する。A/D変換部532は、このように生成した各単位画素の画素データの集合を画像データとしてバス511を介して半導体基板502に供給する。
[0285]
 中段の半導体基板502には、画像処理等を行う論理回路である画像処理部533が形成される。画像処理部533は、半導体基板501からバス511を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。例えば、欠陥画素補正、オートフォーカス用の位相差検出、画素加算、デジタルゲイン、ノイズリダクション等がこの画像処理に含まれていてもよい。もちろん、これら以外の処理が含まれていてもよい。
[0286]
 一番下の半導体基板503には、DRAM(Dynamic Random Access Memory)534が形成される。このDRAM534は、バス512を介して半導体基板502(画像処理部533)から供給されるデータ等を記憶することができる。また、DRAM534は、半導体基板502(画像処理部533)等からの要求に応じて、記憶しているデータ等を読み出し、バス512を介して半導体基板502に供給することができる。つまり、画像処理部533は、画像処理中の画像データを一時的に保持させる等、このDRAM534を用いて画像処理を行うことができる。例えば、高速のフレームレートで撮像し、その各フレームの撮像画像をDRAM534に記憶させ、それを低速のフレームレートで読み出して出力することにより、所謂スローモーション撮像を実現することができる。
[0287]
 このようなDRAM534の利用において、画像処理部533は、画像データを符号化(圧縮)し、生成した符号化データをDRAM534に記憶させたり、DRAM534から符号化データを読み出して復号(伸張)し、画像データ(復号画像データ)を生成したりする。例えば、画像処理部533は、符号化部533Aおよび復号部533Bを有する。符号化部533Aは、画像データを符号化し、生成した符号化データをDRAM534に供給し、記憶させる。復号部533Bは、DRAM534から読み出された符号化データを復号し、画像データ(復号画像データ)を生成する。このように画像データを符号化データ(圧縮したデータ)としてDRAM534に記憶させるようにすることにより、DRAM534に記憶させるデータ量を低減させることができる。したがって、DRAM534の記憶領域や、バス512の帯域の利用効率を向上させることができる。したがって、DRAM534の容量やバス512の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。
[0288]
 この符号化部533Aとして、上述した符号化部101を適用するようにしてもよい。また、復号部533Bとして、上述した復号部104を適用するようにしてもよい。このようにすることにより、DRAM534へのデータの書き込みやDRAM534からのデータの読み出しにおいて、第1の実施の形態乃至第4の実施の形態等において上述した効果を得ることができる。
[0289]
 また、画像処理部533に、信頼度情報生成部401乃至レンズ制御部403を設け、図30を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、DRAM534とのデータの授受における符号化・復号に基づいて、第4の実施の形態等において上述した効果を得ることができる。
[0290]
 また、回路基板520には、画像処理等を行う論理回路である画像処理部535が形成される。画像処理部535は、積層型イメージセンサ500の半導体基板502(画像処理部533)からインタフェース513を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。
[0291]
 つまり、画像処理部533は、インタフェース513を介してデータ等を画像処理部535に供給する(積層型イメージセンサ500の外部に出力する)ことができる。このような出力の際に、画像処理部533は、画像データを符号化(圧縮)して、符号化データとして出力する。例えば、画像処理部533が符号化部533Cを有し、画像処理部535が復号部535Cを有する。符号化部533Cは、画像データを符号化し、その符号化データを、インタフェース513を介して出力する。復号部535Cは、そのインタフェース513を介して供給される符号化データを復号し、画像データ(復号画像データ)を生成する。画像処理部535は、生成した復号画像データに対して画像処理を行う。
[0292]
 このように、符号化データ(圧縮したデータ)を、インタフェース513を介して伝送するようにすることにより、伝送するデータ量を低減させることができる。したがって、インタフェース513の帯域の利用効率を向上させることができる。つまり、インタフェース513の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。
[0293]
 この符号化部533Cとして、上述した符号化部101を適用するようにしてもよい。また、復号部535Cとして、上述した復号部104を適用するようにしてもよい。このようにすることにより、積層型イメージセンサ500の外部へのデータ出力において、第1の実施の形態乃至第4の実施の形態等において上述した効果を得ることができる。
[0294]
 また、画像処理部533に、信頼度情報生成部401乃至レンズ制御部403を設け、図30を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、積層型イメージセンサ500の外部へのデータ出力における符号化・復号に基づいて、第4の実施の形態等において上述した効果を得ることができる。
[0295]
 <8.付記>
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
[0296]
 図40は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
[0297]
 図40に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
[0298]
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
[0299]
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
[0300]
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
[0301]
 コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
[0302]
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
[0303]
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
[0304]
  <本技術の適用対象>
 本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。
[0305]
 また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置(電子機器)に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。
[0306]
 また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等(すなわち、装置の一部の構成)として実施することもできる。
[0307]
 さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスに適用することもできる。
[0308]
 なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
[0309]
 例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
[0310]
  <その他>
 なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
[0311]
 また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
[0312]
 なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
[0313]
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0314]
 また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
[0315]
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0316]
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
[0317]
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0318]
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
[0319]
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
[0320]
 なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
[0321]
 なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
[0322]
 なお、本技術は以下のような構成も取ることができる。
 (1) 画素の種類に応じた方法で画像データを符号化する符号化部
 を備える画像処理装置。
 (2) 前記符号化部は、像面位相差検出画素であるか、通常画素であるかに応じた方法で前記画像データを符号化する
 (1)に記載の画像処理装置。
 (3) 前記符号化部は、
  前記画像データの像面位相差検出画素の画素値に対して簡易補正を行い、
  前記像面位相差検出画素の画素値が簡易補正された前記画像データを符号化する
 (1)に記載の画像処理装置。
 (4) 前記符号化部は、前記簡易補正として、像面位相差検出画素の画素値に固定値を乗算する
 (3)に記載の画像処理装置。
 (5) 前記固定値は、前記像面位相差検出画素の遮光率に応じた値である
 (4)に記載の画像処理装置。
 (6) 前記符号化部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記画像データを符号化する
 (1)に記載の画像処理装置。
 (7) 前記符号化部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
 (6)に記載の画像処理装置。
 (8) 前記符号化部は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を前記予測画素とする
 (7)に記載の画像処理装置。
 (9) 前記符号化部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
 (6)に記載の画像処理装置。
 (10) 前記符号化部は、前記隣接同色画素である前記像面位相差検出画素の画素値に固定値を乗算した値を前記予測値とする
 (9)に記載の画像処理装置。
 (11) 前記固定値は、前記隣接同色画素である前記像面位相差検出画素の遮光率に応じた値である
 (10)に記載の画像処理装置。
 (12) 前記符号化部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記画像データを符号化する
 (1)に記載の画像処理装置。
 (13) 前記符号化部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
 (12)に記載の画像処理装置。
 (14) 前記符号化部は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を前記予測画素とする
 (13)に記載の画像処理装置。
 (15) 前記符号化部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
 (12)に記載の画像処理装置。
 (16) 前記符号化部は、前記隣接同色画素である前記通常画素の画素値に固定値を乗算した値を前記予測値とする
 (15)に記載の画像処理装置。
 (17) 前記固定値は、前記処理対象画素である前記像面位相差検出画素の遮光率に応じた値である
 (16)に記載の画像処理装置。
 (18) 前記符号化部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記画像データを符号化する
 (12)に記載の画像処理装置。
 (19) 前記符号化部は、
  前記画像データを量子化する量子化部と、
  予測を行い、前記量子化部により量子化された前記画像データの画素値と予測値との差分を導出する差分導出部と、
  前記差分導出部により導出された前記差分を可変長符号化し、符号化データを生成する可変長符号化部と、
  前記可変長符号化部により生成された前記符号化データの符号量を調整する調整部と
 を備える
 (1)に記載の画像処理装置。
 (20) 画素の種類に応じた方法で画像データを符号化する
 画像処理方法。
[0323]
 (21) 画像データの符号化データを画素の種類に応じた方法で復号する復号部
 を備える画像処理装置。
 (22) 前記復号部は、像面位相差検出画素であるか、通常画素であるかに応じた方法で前記符号化データを復号する
 (21)に記載の画像処理装置。
 (23) 前記復号部は、
  前記符号化データを復号して前記画像データを生成し、
  生成された前記画像データの像面位相差検出画素の画素値に対して簡易補正を行う
 (21)に記載の画像処理装置。
 (24) 前記復号部は、前記簡易補正として、像面位相差検出画素の画素値を固定値により除算する
 (23)に記載の画像処理装置。
 (25) 前記固定値は、前記像面位相差検出画素の遮光率に応じた値である
 (24)に記載の画像処理装置。
 (26) 前記復号部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記符号化データを復号する
 (21)に記載の画像処理装置。
 (27) 前記復号部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
 (26)に記載の画像処理装置。
 (28) 前記復号部は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を前記予測画素とする
 (27)に記載の画像処理装置。
 (29) 前記復号部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
 (28)に記載の画像処理装置。
 (30) 前記復号部は、前記隣接同色画素である前記像面位相差検出画素の画素値に、前記隣接同色画素である前記像面位相差検出画素の遮光率に応じた値を乗算した値を前記予測値とする
 (29)に記載の画像処理装置。
 (31) 前記復号部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記符号化データを復号する
 (21)に記載の画像処理装置。
 (32) 前記復号部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
 (31)に記載の画像処理装置。
 (33) 前記復号部は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を前記予測画素とする
 (32)に記載の画像処理装置。
 (34) 前記復号部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
 (31)に記載の画像処理装置。
 (35) 前記復号部は、前記隣接同色画素である前記通常画素の画素値に、前記処理対象画素である前記像面位相差検出画素の遮光率に応じた値を乗算した値を前記予測値とする
 (34)に記載の画像処理装置。
 (36) 前記復号部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記符号化データを復号する
 (31)に記載の画像処理装置。
 (37) 前記画像データの符号化および復号による誤差を示す誤差情報に基づいて、前記復号部により前記符号化データが復号されて生成された画像データの位相差検出を行う位相差検出部をさらに備える
 (21)に記載の画像処理装置。
 (38) 前記誤差情報に基づいて、前記位相差検出の結果の信頼度を示す信頼度情報を生成する信頼度情報生成部をさらに備え、
 前記位相差検出部は、前記信頼度情報生成部により生成された前記信頼度情報に基づいて前記位相差検出を行う
 (37)に記載の画像処理装置。
 (39) 前記復号部は、
  前記符号化データに対して、符号化の際に行われた符号量の調整を元に戻す逆調整を行う逆調整部と、
  前記逆調整部により符号量が逆調整された前記符号化データを可変長復号し、量子化された画像データの画素値と予測値との差分を生成する可変長復号部と、
  予測を行い、前記可変長復号部により生成された前記差分に前記予測値を加算することにより、前記量子化された画像データを生成する生成部と、
  前記生成部により生成された前記量子化された画像データを、逆量子化する逆量子化部と
 を備える
 (31)に記載の画像処理装置。
 (40) 画像データの符号化データを画素の種類に応じた方法で復号する
 画像処理方法。

符号の説明

[0324]
 100 画像処理装置, 101 符号化部, 102 送信部, 103 受信部, 104 復号部, 111 画素種類判定部, 112 乗算部, 113 符号化部, 121 復号部, 122 画素種類判定部, 123 除算部, 151 量子化部, 152 DPCM処理部, 153 可変長符号化部, 154 圧縮率調整部, 161 圧縮率逆調整部, 162 可変長復号部, 163 逆DPCM処理部, 164 逆量子化部, 401 信頼度情報生成部, 402 位相差検出部, 403 レンズ制御部, 411 積算部, 412 閾値処理部, 450 撮像装置, 451 レンズ, 452 イメージセンサ, 453 信号処理部, 454 出力部, 455 記憶部, 461 受光部, 462 ADC, 471 位相差検出部, 472 レンズ制御部, 473 画像処理部, 500 積層型イメージセンサ, 501乃至503 半導体基板, 520 回路基板, 531 受光部, 532 A/D変換部, 533 画像処理部, 534 DRAM, 535 画像処理部

請求の範囲

[請求項1]
 画素の種類に応じた方法で画像データを符号化する符号化部
 を備える画像処理装置。
[請求項2]
 前記符号化部は、
  前記画像データの像面位相差検出画素の画素値に対して簡易補正を行い、
  前記像面位相差検出画素の画素値が簡易補正された前記画像データを符号化する
 請求項1に記載の画像処理装置。
[請求項3]
 前記符号化部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記画像データを符号化する
 請求項1に記載の画像処理装置。
[請求項4]
 前記符号化部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
 請求項3に記載の画像処理装置。
[請求項5]
 前記符号化部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
 請求項3に記載の画像処理装置。
[請求項6]
 前記符号化部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記画像データを符号化する
 請求項1に記載の画像処理装置。
[請求項7]
 前記符号化部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
 請求項6に記載の画像処理装置。
[請求項8]
 前記符号化部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
 請求項6に記載の画像処理装置。
[請求項9]
 前記符号化部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記画像データを符号化する
 請求項6に記載の画像処理装置。
[請求項10]
 画素の種類に応じた方法で画像データを符号化する
 画像処理方法。
[請求項11]
 画像データの符号化データを画素の種類に応じた方法で復号する復号部
 を備える画像処理装置。
[請求項12]
 前記復号部は、
  前記符号化データを復号して前記画像データを生成し、
  生成された前記画像データの像面位相差検出画素の画素値に対して簡易補正を行う
 請求項11に記載の画像処理装置。
[請求項13]
 前記復号部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記符号化データを復号する
 請求項11に記載の画像処理装置。
[請求項14]
 前記復号部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
 請求項13に記載の画像処理装置。
[請求項15]
 前記復号部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
 請求項13に記載の画像処理装置。
[請求項16]
 前記復号部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記符号化データを復号する
 請求項11に記載の画像処理装置。
[請求項17]
 前記復号部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
 請求項16に記載の画像処理装置。
[請求項18]
 前記復号部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
 請求項16に記載の画像処理装置。
[請求項19]
 前記復号部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記符号化データを復号する
 請求項16に記載の画像処理装置。
[請求項20]
 画像データの符号化データを画素の種類に応じた方法で復号する
 画像処理方法。

補正された請求の範囲(条約第19条)
[ 2020年3月18日 ( 18.03.2020 )  国際事務局受理 ]

[1]
[補正後] 処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて画像データを符号化する符号化部
 を備える画像処理装置。
[2]
[補正後] 前記符号化部は、前記隣接同色画素が前記像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
 請求項1に記載の画像処理装置。
[3]
[補正後] 前記符号化部は、前記隣接同色画素が前記像面位相差検出画素である場合、最近傍の同色通常画素を前記予測画素とする
 請求項2に記載の画像処理装置。
[4]
[補正後]  前記符号化部は、前記隣接同色画素が前記像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
 請求項1に記載の画像処理装置。
[5]
[補正後]  処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて画像データを符号化する
 画像処理方法。
[6]
[補正後] 処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて画像データを符号化する符号化部
 を備える画像処理装置。
[7]
[補正後] 前記符号化部は、前記隣接同色画素が前記通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
 請求項6に記載の画像処理装置。
[8]
[補正後] 前記符号化部は、前記隣接同色画素が前記通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
 請求項6に記載の画像処理装置。
[9]
[補正後] 前記符号化部は、前記隣接同色画素が前記通常画素である処理対象画素の予測を行わずに、前記画像データを符号化する
 請求項6に記載の画像処理装置。
[10]
[補正後] 処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて画像データを符号化する
 画像処理方。
[11]
[補正後] 処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データの符号化データを復号する復号部
 を備える画像処理装置。
[12]
[補正後] 前記復号部は、前記隣接同色画素が前記像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
 請求項11に記載の画像処理装置。
[13]
[補正後]  前記復号部は、前記隣接同色画素が前記像面位相差検出画素である場合、最近傍の同色通常画素を前記予測画素とする
 請求項12に記載の画像処理装置。
[14]
[補正後] 前記復号部は、前記隣接同色画素が前記像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
 請求項11に記載の画像処理装置。
[15]
[補正後] 処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データの符号化データを復号する
 画像処理方法。
[16]
[補正後] 処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データの符号化データを復号する復号部
 を備える画像処理装置。
[17]
[補正後] 前記復号部は、前記隣接同色画素が前記通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
 請求項16に記載の画像処理装置。
[18]
[補正後] 前記復号部は、前記隣接同色画素が前記通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
 請求項16に記載の画像処理装置。
[19]
[補正後] 前記復号部は、前記隣接同色画素が前記通常画素である処理対象画素の予測を行わずに、前記符号化データを復号する
 請求項16に記載の画像処理装置。
[20]
[補正後] 処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データの符号化データを復号する
 画像処理方法。

条約第19条(1)に基づく説明書
 請求項1および請求項5は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて画像データを符号化することを明確にした。
 請求項6および請求項10は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて画像データを符号化することを明確にした。
 請求項11および請求項15は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データの符号化データを復号することを明確にした。
 請求項16および請求項20は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データの符号化データを復号することを明確にした。
 本開示は、予測誤差の増大を抑制することができるようにするものである。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]