16:00 CETの火曜日 19.11.2019のメンテナンス理由で数時間使用できません
国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2011132618) 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
Document

明 細 書

発明の名称 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007  

先行技術文献

特許文献

0008  

発明の概要

発明が解決しようとする課題

0009   0010   0011   0012  

課題を解決するための手段

0013   0014   0015  

発明の効果

0016  

図面の簡単な説明

0017  

発明を実施するための形態

0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115  

産業上の利用可能性

0116  

符号の説明

0117  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25  

補正された請求の範囲(条約第19条)

1  *   2  *   3  *   4  *   5  *   6  *   7  *   8  *   9  *   10  *   11  *   12  *   13  *   14  *   15  *   16  *   17  *   18  *   19  *   20  *   21  *   22  *   23  *   24  *   25  *  

図面

1   2   3   4   5   6   7   8   9   10   11   12  

明 細 書

発明の名称 : 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム

技術分野

[0001]
 本発明は、2種類の異なる色合いのカラー画像を撮像できる固体撮像素子を搭載した撮像装置並びに撮像画像処理方法、撮像画像処理プログラムに関する。

背景技術

[0002]
 固体撮像素子に搭載されるカラーフィルタの配列として様々な配列が提案され使用されている。例えば下記の特許文献1記載の撮像装置では、ベイヤ配列と呼ばれるカラーフィルタ配列が用いられている。ベイヤ配列は、各画素に3原色R(赤)G(緑)B(青)の内のいずれか1色のカラーフィルタを所定規則に基づいてモザイク的に配列するものである。このため、例えば赤色フィルタが搭載された赤色画素は緑色及び青色の信号を検出できないため、当該赤色画素の周りの緑色フィルタ,青色フィルタを搭載した画素信号を補間演算してこの赤色画素位置の緑色信号,青色信号を求める様にしている。
[0003]
 下記の特許文献2に記載の撮像素子は、斜め方向に隣接する2画素づつをペアとし、3原色RGBのうちのいずれか1色のカラーフィルタを、ペア画素を単位に所定規則に従ってモザイク的に配列している。そして、例えば緑色フィルタを搭載するペアの画素の夫々には、G1カラーフィルタ,G2カラーフィルタを搭載する様にしている。
[0004]
 G1とG2の関係は、例えば加算するとG色となるように選択される。G色カラーフィルタは、波長540nmを中心波長とし、前後夫々100nm程度の幅の釣り鐘状の分光特性を持つように製造される。これに対し、例えばG1,G2はこれを2つに分離し、波長440nm~540nmの色をG1フィルタで検出し、波長540nm~640nmをG2フィルタで検出する様にする。同様に、R色,B色も、ペアとなる画素がR1,R2フィルタを搭載し、B1,B2フィルタを搭載する様にする。
[0005]
 この様に、カラーフィルタで分離する色をR,G,Bの3色とするより更に細かく分離することで、被写体画像の色再現性を向上させることができる。しかし、R1,G1,B1のカラーフィルタを搭載した画素から取り出した撮像画像と、R2,G2,B2のカラーフィルタを搭載した画素から取り出した撮像画像とは色合いが異なる画像となり、夫々の画像は共に単独では不自然な色合いのカラー画像となる。このため、適切な合成処理を行って色再現性の高い被写体画像を画像処理で求める必要がある。
[0006]
 下記の特許文献3記載の撮像装置では、各画素が小面積部分と大面積部分とに分割されている。そして更に、例えば緑色(G)フィルタを搭載する画素においては、小面積部分に積層するフィルタ厚を大面積部分より厚く、あるいはフォトダイオードを構成するn領域の厚さを薄くしている。
[0007]
 この結果、小面積部分は、ある波長域の入射光を殆ど検出できなくなっているのに対し、大面積部分ではこの波長域の光を検出できる様になる。このことを利用して、この撮像装置では、上記の波長域の光が存在するか否かを検出し、光源種別を判定している。

先行技術文献

特許文献

[0008]
特許文献1 : 日本国特開2006―135468号公報
特許文献2 : 日本国特開2009―268078号公報
特許文献3 : 日本国特開2004―289728号公報

発明の概要

発明が解決しようとする課題

[0009]
 カラー画像を表示できる従来のモニタ装置は、ブラウン管型モニタ装置(CRT)が一般的であったが、近年では、液晶ディスプレイ装置が液晶テレビとして一般に普及している。この結果、一般ユーザは、自然な色合いのカラー画像とは色合いが異なる、例えば鮮やかなカラー画像を見慣れてしまい、デジタルカメラで撮影したカラー画像では物足りなく感じる例が増えている。
[0010]
 上述した従来の固体撮像素子に用いられているカラーフィルタは、自然な色合いで被写体画像の色再現ができるように考案されたものに過ぎない。このため、被写体のカラー画像を鮮やかなカラー画像として撮影することができない。
[0011]
 その一方で、被写体のカラー画像を自然な色合いで撮影しなければならない撮影シーンも存在し、鮮やかな色合いのカラー画像と自然な色合いのカラー画像の両方を撮影できる撮像装置に対する要望が高い。
[0012]
 本発明の目的は、色合いの異なる2種類のカラー画像を撮影することができる固体撮像素子を搭載した撮像装置並びに撮像画像処理方法、撮像画像処理プログラムを提供することにある。

課題を解決するための手段

[0013]
 本発明の撮像装置は、半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタと
を有する固体撮像素子と、
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する画像処理部と
 を備える。
[0014]
 本発明の撮像画像処理方法は、半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、
該レベル差を補正し、
前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する。
[0015]
 本発明の撮像画像処理プログラムは、上記の撮像画像処理方法を実施するステップが設けられる。

発明の効果

[0016]
 本発明によれば、異なる色合いの2種類のカラー画像(例えば、自然な色合いのカラー画像と鮮やかな色合いのカラー画像)を撮影することができ、しかも、両者を合成した画像も得ることが可能となる。

図面の簡単な説明

[0017]
[図1] 本発明の第1実施形態に係る撮像装置の機能ブロック図である。
[図2] 図1に示す固体撮像素子のカラーフィルタ配列図である。
[図3] 図2に示すカラーフィルタ配列で用いるカラーフィルタの分光感度を表す図である。
[図4] 本発明の第1実施形態に係る撮像画像処理手順を示すフローチャートである。
[図5] 本発明の第2実施形態に係る撮像装置の機能ブロック図である。
[図6] 本発明の第2実施形態に係る撮像画像処理手順を示すフローチャートである。
[図7] 本発明の第3実施形態に係る撮像装置の機能ブロック図である。
[図8] 画像のエッジ判定の説明図である。
[図9] 本発明の第3実施形態に係る撮像画像処理手順を示すフローチャートである。
[図10] 本発明の第4実施形態に係る撮像装置の機能ブロック図である。
[図11] 本発明の第4実施形態に係る撮像画像処理手順を示すフローチャートである。
[図12] 図2とは別実施形態に係る固体撮像素子のカラーフィルタ配列図である。

発明を実施するための形態

[0018]
 以下、本発明の一実施形態について、図面を参照して説明する。
[0019]
 図1は、本発明の第1実施形態に係る撮像装置の機能ブロック図である。この撮像装置10は、固体撮像素子11と、撮像制御部13と、メモリ14と、CPU15とを備える。撮像制御部13は該固体撮像素子11の駆動制御を行う。また、撮像制御部13は固体撮像素子11から出力される撮像画像信号を取り込んで相関二重サンプリング処理や利得制御処理,A/D(アナログデジタル)変換処理を行い、バス12に出力する。メモリ14はバス12に接続されている。CPU15はこの撮像装置10の全体を統括制御する。CPU15は、DSP機能を内蔵し、固体撮像素子11から出力される撮像画像信号に対して補正処理(オフセット処理,ガンマ補正処理,RGB/YC変換処理,同時化処理等)を施し、被写体画像を生成する。
[0020]
 この撮像装置10は、更に、ナロー(Narrow)分光画素平均値算出回路17と、ワイド(Wide)分光画素平均値算出回路18と、色再現選択部19と、補正比算出部20と、乗算器21とを備える。ナロー分光画素平均値算出回路17とワイド分光画素平均値算出回路18はバス12から取り込まれたデジタルの撮像画像信号を処理する。色再現選択部19は算出回路17,18の出力及びバス12から取り込まれたデジタルの撮像画像信号を選択制御して色再現を行う。補正比算出部20は色再現選択部19によって選択された算出回路17,18の出力信号から補正比を算出する。乗算器21は、バス12から取り込まれたデジタルの撮像画像信号を色再現選択部19によって選択されたレベル差補正対象画素の信号と補正比算出部20の出力信号と乗算してバス12に戻す。
[0021]
 算出回路17,18、色再現選択部19、補正比算出部20、乗算器21は、画像処理部の一部を構成するものであり、その詳細動作については後述する。
[0022]
 図2は、固体撮像素子11の表面模式図である。本実施形態の固体撮像素子11は、半導体基板に各々の受光面積が同一の複数の画素(フォトダイオード)が二次元アレイ状に配列形成されている。奇数行の画素行に対して偶数行の画素行が1/2画素ピッチずつずらして配列されている。奇数行の画素配列だけ見れば、画素は正方格子配列を構成している。また、偶数行の画素配列だけ見れば、画素は正方格子配列を構成している。そして、奇数行の画素(A群画素)に3原色のカラーフィルタR、G、Bがベイヤ配列され、偶数行の画素(B群画素)にも3原色のカラーフィルタr、g、bがベイヤ配列されている。
[0023]
 半導体基板の表面部には、図示は省略しているが、各画素の検出した撮像画像信号を外部に読み出す信号読出部が形成されている。固体撮像素子がCCD型であれば、例えば特開2005―72966号公報に記載されている様に、信号読出部は垂直電荷転送路,水平電荷転送路及び信号電荷量に応じた電圧値信号を撮像画像信号として出力するアンプで構成されてもよい。固体撮像素子がCMOS型であれば、例えば特開2007―124137号公報や特開2007―81140号公報に記載されている様に、信号読出部は、MOS型トランジスタと垂直走査回路,水平走査回路等で構成されてもよい。
[0024]
 図3は、カラーフィルタRGB及びrgbの分光感度を示すグラフである。光の波長をλとしている。A群画素に積層される赤色カラーフィルタR(λ),緑色カラーフィルタG(λ),青色カラーフィルタB(λ)の各分光感度は、夫々、釣り鐘状の山形で、かつ幅が広く(以下、ワイドと言う。)なっている。
[0025]
 これに対し、B群画素に積層される赤色カラーフィルタr(λ),緑色カラーフィルタg(λ),青色カラーフィルタb(λ)の分光感度は、釣り鐘状,山形状であっても、幅が狭く(以下、ナローと言う。)なっている。
[0026]
 図3のグラフは、各波長の光の分光感度を示している。図2で説明したように、A群,B群の各画素の受光面積は同一であるため、図3のグラフは、各画素のカラーフィルタを透過した受光量の波長依存性を示している。
[0027]
 なお、赤色フィルタの長波長側(赤外領域)はカラーフィルタだけではカットすることが難しい。このため、デジタルカメラの撮影レンズ系には赤外線カットフィルタを挿入することが一般的である。図3に示すグラフは、赤外線カットフィルタが挿入されていない赤色カラーフィルタR,rだけの特性を示している。
[0028]
 図3の上辺部に、波長λ(nm)の値と色との関係を示している。A群画素に積層されるワイドな赤色フィルタRは、実際には橙色の光も透過し、黄色の光の一部も透過してしまうフィルタとして製造される。緑色フィルタGは、その長波長側において、黄色や橙色の光の一部を透過してしまうフィルタとして製造される。短波長側においても同様であり、ワイドな緑色フィルタGは青色の光の一部を透過し、ワイドな青色フィルタBは緑色の光の一部を透過するフィルタとして製造される。
[0029]
 つまり、Gフィルタ搭載画素とRフィルタ搭載画素は、橙色の光と黄色の光を共に受光することになり、Gフィルタ搭載画素とBフィルタ搭載画素は、夫々青色,緑色の境界部分の光の一部を共に受光することになる。
[0030]
 Gフィルタ搭載画素の検出信号と、Rフィルタ搭載画素の検出信号と、Bフィルタ搭載画素の検出信号とに基づいて被写体カラー画像を再生する場合、各検出信号間の重なり部分(上記の橙色及び黄色の部分、青色及び緑色の境界部分)が大きくなるほど、再生カラー画像上で緑色と赤色、緑色と青色が混合される割合が多くなる。
[0031]
 即ち、ワイドなフィルタR,G,Bを通して得られる色信号R,G,Bは、夫々原色の赤色,緑色,青色だけではなく、他色が混合した色信号となり、原色の混合割合(混合比率)が低い色信号となる。しかし、この他色との混合の程度が程良い混合割合になると、自然な色合いのカラー画像となる。
[0032]
 これに対し、上記の重なり部分が小さくなると、原色の混合割合(混合比率)がより高い信号となる。即ち、ナローなフィルタr,g,bを通して得られる色信号r,g,bは、原色の混合割合(混合比率)が高い信号となる。この色信号r,g,bに基づいて再生するカラー画像は、鮮やかな色合いのカラー画像になる。
[0033]
 なお、色というものは或る波長範囲で全て同色となる訳ではなく、徐々に変化していくものである。例えば図3の波長域500nm~570nmの範囲は、これを全て「緑」として図示している。しかし、実際には図3の左側に行くほど青色が少しずつ混じった色となり、図3の右側に行くほど黄色が少しずつ混じった色となる。上記の「原色」とは、緑色でいえば、500nm~570nmの全範囲ではなく、その中の一部範囲、例えば波長535nmを中心とする所要波長範囲(例えば±25nm)の色をいう。
[0034]
 本実施形態の撮像装置に搭載する固体撮像素子11は、A群画素にワイドなカラーフィルタR,G,Bを積層して自然な色合いの被写体カラー画像を撮影できるようにし、B群画素にナローなカラーフィルタr,g,bを積層して鮮やかな色合いの被写体カラー画像を撮影できるようにしている。
[0035]
 ワイドなカラーフィルタR,G,Bは、従来から存在する自然な色合いのカラー画像を撮影できるカラーフィルタ材を利用する。このワイドなカラーフィルタR,G,Bに対して、ワイドなカラーフィルタ材とは異なる顔料あるいは染料で、図3に例示するような分光特性を持つフィルタr,g,bを作る。
[0036]
 この場合、ワイドなフィルタR,G,Bの厚さと、ナローなフィルタr,g,bの厚さとが異なると、固体撮像素子11の表面に凹凸ができ、その上にマイクロレンズを積層する工程が複雑となる。そこで、製造を容易とし製造コストを低減するために、ワイドなフィルタR,G,Bと、ナローなフィルタr,g,bは同じ厚さを有することが好ましい。
[0037]
 また、A群画素で得られる自然な色合いの撮像画像と、B群画素で得られる鮮やか色合いの撮像画像とが同じ程度の明るさになるように、フィルタR,G,Bの夫々のピーク感度値とフィルタr,g,bの夫々のピーク感度値とが同程度となる様にするのが好ましい。
[0038]
 図3の例では、青色フィルタGのピーク感度値Bwと青色フィルタbのピーク感度値bnとの間の誤差が10%以内である場合に、青色フィルタGのピーク感度値と青色フィルタbの感度値が同一とみなしている。また、緑色フィルタGのピーク感度値Gwと緑色フィルタgのピーク感度値bnとの間の誤差が10%以内である場合に、緑色フィルタGのピーク感度値と緑色フィルタgのピーク感度値が同一とみなしている。更に、赤色フィルタRのピーク感度値Rwと赤色フィルタrのピーク感度値rnとの間の誤差が10%以内である場合に、赤色フィルタRのピーク感度値と赤色フィルタrのピーク感度値が同一とみなしている。
[0039]
 青色光のピーク感度値Bwを与える光の波長λ Bwと、ピーク感度値bnを与える光の波長λ bnは、同一であることが好ましい。しかし、実際にフィルタBとフィルタbの形成材料が異なるため、波長λ Bwと波長λ bnを同一にすることは困難である。しかし、波長λ Bwと波長λ bnの間の誤差が±20nm程度の範囲内であれば良い。他の色でも同様である。
[0040]
 ナローな赤色フィルタrの分光感度の波長範囲は、ワイドな赤色フィルタRの分光感度の波長範囲の完全に内側である。他色(緑,青)でも同様である。即ち、可視光の波長域(約380nm~650m)において、R(λ)>r(λ)、G(λ)>g(λ)、B(λ)>b(λ)とする。
[0041]
 これは、ワイドなフィルタR,G,Bで撮影したカラー画像は自然な色合いのカラー画像となるが、フィルタR,G,Bの各分光感度の波長範囲から外れる分光感度で撮影したカラー画像は、不自然な色のカラー画像になってしまうからである。ナローなフィルタr(g,b)の分光感度の波長範囲がワイドなフィルタR(G,B)の分光感度の波長範囲の完全な内側にあれば、ナローなフィルタr,g,bで撮影したカラー画像は、鮮やかな画像となるが、不自然な色合いにはならない。
[0042]
 ナローな緑色フィルタgの分光感度の波長範囲を、ワイドな緑色フィルタGの分光感度の波長範囲の内側にする場合、ナローな緑色フィルタgの分光感度がワイドな緑色フィルタGの分光感度の山形の左右の稜線から等距離に離れていることが好適である。しかし、フィルタgとフィルタGの材料が異なるため、これが必須という訳ではなく、ナローな緑色フィルタgの分光感度が片側に少し寄っても構わない。
[0043]
 上述した様に、ワイドなカラーフィルタR,G,Bの透過光に含まれる原色の混合比率(含有比率)に対して、ナローなカラーフィルタr,g,bの透過光に含まれる原色の混合比率(含有比率)は高い。次にこのことを定量的に説明する。
[0044]
 ワイドなカラーフィルタR,G,Bにおける原色の混合比率をα、ナローなカラーフィルタr,g,bにおける原色の混合比率をα+Δαとしたとき、Δα>0とすることが好ましい。これにより、ナローなカラーフィルタr,g,bで撮った画像が見た目で鮮やかになったことを視認できることになる。
[0045]
 画像が鮮やかであるか否かは、主観的な判断が入るため、どの程度の差Δαを設ければ良いかの定量化は簡単ではないが、本実施形態では次の様に混合比率αを定義する。図3において、青色カラーフィルタBのピーク感度値Bwに対し、その半値幅Bdを求め、青色カラーフィルタbのピーク感度値bnに対してその半値幅bdを求める。そして、ワイドなカラーフィルタBの透過光に含まれる原色の混合比率(含有比率)をBd/Bw、ナローなカラーフィルタbの透過光に含まれる原色の混合比率(含有比率)をbd/bnと定義する。このとき、
 bd/bn<Bd/Bw
となるように、ナローなカラーフィルタbの分光感度を定める。上記のΔαを用いて表せば、
 bd/bn+Δα=Bd/Bw
となるようにナローなカラーフィルタbの分光感度を定める。図3の例の実測値では、bd/bn=53.75(%)、Bd/Bw=64.7(%)であるから、Δα=10(%)程度である。
[0046]
 緑色についても同様であり、
 gd/gn<Gd/Gw
となるように、ナローなカラーフィルタgの分光感度を定める。上記のΔαを用いて表せば、
 gd/gn+Δα=Gd/Gw
となるようにナローなカラーフィルタgの分光感度を定める。図3の例の実測値では、gd/gn=63.75(%)、Gd/Gw=95.12(%)であるから、Δα=31(%)程度である。
[0047]
 赤色については、上述した様に、長波長側は赤外線カットフィルタでカットする。このため、ピーク感度位置から短波波長側だけを用いて判断する。
[0048]
 rd/rn<Rd/Rw
となるように、ナローなカラーフィルタrの分光感度を定める。上記のΔαを用いて表せば、
 rd/rn+Δα=Rd/Rw
となるようにナローなカラーフィルタrの分光感度を定める。。図3の例の実測値では、rd/rn=7.5(%)、Rd/Rw=34(%)であるから、Δα=26(%)程度である。
[0049]
 この様に、ナローなカラーフィルタr,g,bを透過した光の原色含有比率をワイドなカラーフィルタR,G,Bを透過した光の原色含有比率より高めておくことで、1つの固体撮像素子11で同時に2枚の被写体画像(A群画素から自然な色合いのカラー画像、B群画素から鮮やかな色合いのカラー画像)を撮像することが可能となる。なお、この実施形態では、ナローなカラーフィルタr,g,bの各分光感度の半値幅の波長範囲内の色を「原色」として原色含有比率をワイドなカラーフィルタR,G,Bより高めている。
[0050]
 上述した様に、図2の構成の固体撮像素子11は、同時に2枚のカラー画像を撮像することができる。しかし、各撮像画像は、固体撮像素子11に搭載されている画素の数の1/2の画素を利用した撮像画像であり、全画素を利用した高精細な被写体画像を撮像したいという要望もある。しかし、A群画素とB群画素は分光感度が異なるカラーフィルタを持っているため、両撮像画像間にはレベル差(感度比)が発生している。単純に両撮像画像を合成して高精細な画像を得たとしても、該高精細な画像は違和感のある画像になってしまう。
[0051]
 そこで、以下の実施形態では、自然な色合いの被写体カラー画像信号と、鮮やかな色合いの被写体カラー画像信号とから、違和感の無い高精細な画像を生成する撮像画像処理方法について説明する。
[0052]
 A群画素とB群画素の分光感度が異なると、撮影対象(被写体)が含む同じ色に対して異なる画素値が得られ、レベル差が発生する。また、図3からわかるように、可視光領域におけるそれぞれの色(波長)によってA群画素とB群画素の間のレベル差が異なる。このため、ゲイン処理等の全画面一律な処理では精度の高い補正はできず、局所的な最適化が必要となる。
[0053]
 そこで、以下の実施形態では、次のようにレベル差を補正する。図1の平均値算出回路17,18が分光感度毎の同色画素(Rとr、Gとg、Bとb)の平均値(例えば補正対象画素と同色の周辺5×5画素の平均値)を算出する。色再現選択部19により選択された分光(仮にワイド(Wide)側とする。)の平均値と、もう一方の平均値(ナロー(Narrow)側となる。)との比を補正比算出部20で算出する。そして、乗算器21が選択されていないレベル差補正対象画素の検出信号に、補正比算出部20が算出した比乗じる。
[0054]
 色再現選択部19は、色再現をナロー側の鮮やかな色にするのか、ワイド側の自然な色にするのかを選択するもので、例えば風景撮影の場合にはナロー側を選択し、人物撮影の場合にはワイド側を選択する。
[0055]
 この様に、ナローとワイドの2種類の分光感度の異なるカラーフィルタを用いることで、2種類の色再現を選択できるようになる。また、選択した色再現の分光感度のレベルに他方を補正して合わせることで、A群画素とB群画素の両方を利用してRGB(rgb)を補間することができ、高解像度の被写体画像を生成することが可能となる。
[0056]
 図4は、本発明の第1実施形態に係る撮像画像処理方法の処理プログラムの手順を示すフローチャートである。ユーザが鮮やかなカラー画像を選択しているときや、撮影シーンの設定が上記の風景撮影のとき、ナローなフィルタr,g,bを積層したB群画素の撮像画像信号はそのまま使用できるため、補正対象画素をA群画素(ワイドなフィルタR,G,Bを積層した画素)とする。
[0057]
 最初に、補正対象画素の周囲にある所定数の画素、例えば補正対象画素の周囲にある5×5のナロー側同色画素の撮像画像信号の平均値が算出される(ステップS1)。次に、補正対象画素の周囲にある5×5のワイド側同色画素の撮像画像信号の平均値が算出される(ステップS2)。
[0058]
 そして、ステップS3で、色再現がナロー側であるかワイド側であるかが判定される。この例では、上記したようにナロー側で色再現を行うため、ステップS3からステップS4に進み、〔ステップS1で求めた平均値〕/〔ステップS2で求めた平均値〕=補正比とする。
[0059]
 次のステップS5では、補正対象画素(この例では、ワイド側の画素)の撮像画像信号値にステップS4で算出した補正比が乗算され、ナロー画素と同等のレベルとなるようにレベル差(感度比)が補正される。
[0060]
 そして、ステップS6で全ての補正対象画素に対して補正が終了したか否かが判定される。補正が終了していない場合にはステップS7に進んで補正対象画素を次の補正対象画素に変更し、ステップS1に戻る。
[0061]
 ユーザが自然な色合いのカラー画像を選択しているときや、撮影シーンが人物撮影のとき、ワイドなフィルタR,G,Bを積層したA群画素の撮像画像信号はそのまま使用できるため、補正対象画素はB群画素(ナローなフィルタr,g,bを積層した画素)となる。
[0062]
 この場合には、ステップS1,ステップS2,ステップS3と進み、ステップS3の判定でワイド側が選択され、ステップS8に進む。ステップS8では、補正比=〔ステップS2で求めた平均値〕/〔ステップS1で求めた平均値〕と算出される。そしてステップS9で、補正対象画素(この例では、ナロー側の画素)の撮像画像信号値にステップS8で求めた補正比が乗算され、ワイド画素と同等のレベルとなるようにレベル差が補正される。
[0063]
 ステップS9の後は、ステップS6に進み、全ての補正対象画素に対して補正処理が終了したか否かが判定される。全ての補正対象画素に対する補正が終了した場合には、処理を終了する。
[0064]
 図4の補正処理が終了した後は、A群画素による撮像画像とB群画素による撮像画像(勿論、一方の画素群の撮像画像は補正後の撮像画像である。)とを合成する処理が実行される。以下の実施形態でも同様である。
[0065]
 図5は、本発明の第2実施形態に係る撮像装置30の機能ブロック図である。第2実施形態は、図1に示される第1実施形態と、補正比算出部20の後段で乗算器21の前段に補正比抑制部23を設けている点が異なり、他の点は第1実施形態と同じである。補正比抑制部23は、補正比に対して予め上限値(例えば同色の分光感度比)を設定しておき、補正比算出部20で算出された補正比が上限値(上限補正比)を超えたときは補正比を上限補正比で置き換えて乗算器21に出力する抑制処理を行う。
[0066]
 図6は、第2実施形態の撮像装置30が実施する撮像画像処理プログラムの処理手順を示すフローチャートである。図4のフローチャートと同一ステップには同じステップ番号を付してその詳細な説明は省略し、異なる点を説明する。
[0067]
 本実施形態では、図4のフローチャートに比べて、ステップS4とステップS5との間にステップS11,S12を設け、ステップS8とステップS9との間にもステップS11,S12を設けている。
[0068]
 ステップS11では、ステップS4又はステップS8で算出された補正比が上限補正比より小さいか否かが判定される。算出された補正比が上限補正比よりも小さい場合(判定結果がYes)には算出された補正比でステップS5又はステップS9に進んで補正を行う。ステップS11の判定の結果が否定(No)の場合、即ち、ステップS4又はステップS8で算出された補正比が上限補正比を超えていた場合には、ステップS12に進み、補正比を上限補正比に置き換えてステップS5又はステップS9に進む。
[0069]
 本実施形態によれば、補正比を抑制するため、高周波成分を含むシーンを撮影した際の過補正による解像度低下を抑えることができる。
[0070]
 図7は、本発明の第3実施形態に係る撮像装置40の機能ブロック図である。本実施形態の撮像装置40は、図1に示す第1実施形態の撮像装置10と、平均値算出回路17の前段にエッジ判定部25を設けたこと及び、平均値算出回路18の前段にエッジ判定部26を設けたことが異なり、他の構成は第1実施形態と同じである。エッジ判定部25はナロー画素(B群画素)による撮像画像中にエッジがあるか否かを判定する。エッジ判定部26はワイド画素(A群画素)による撮像画像中にエッジがあるか否かを判定する。
[0071]
 エッジ判定部25は、ナローなフィルタr,g,bを積層したB群画素の撮像画像信号間のレベル差に基づいてエッジ有無の判定を行う。また、エッジ判定部26は、ワイドなフィルタR,G,bを積層したA群画素の撮像画像信号間のレベル差に基づいてエッジの有無を判定する。
[0072]
 上述のように平均値算出回路17,18は、補正対象画素の周辺にある同色の画素の平均値を用いる。しかし、補正対象画素の周辺にある同色の画素の中にエッジ部を含んでしまうと、他の画素値に対してレベル差の大きい画素値が平均値の中に入ってきて誤補正となってしまう虞がある。そこで、エッジ判定部25、26がエッジの有無を判定し、図8に示す様に、エッジを含むと判定されたエッジ部分を除いた画素の平均値を平均値算出回路17、18が算出する。より具体的には、図8は太線で囲まれていない右下の部分にエッジが含まれていると判定された例を示している。平均値算出回路17、18はこの太線で囲まれていない右下の部分を除外して、残りの画素(太線で囲まれた領域内の画素)の撮像画像信号を用いて平均値を算出する。
[0073]
 図9は、この第3実施形態の撮像画像処理プログラムの処理手順を示すフローチャートである。図9のフローチャートは図4のフローチャートに、ステップS1の前段にステップS21,S22,S23を設け点及び、ステップS1とステップS2との間にステップS25,S26,S27を設けた点が異なり、その他の点は図4のフローチャートと同じである。このため、以下では異なる点のみ説明する。
[0074]
 ステップS21では、補正対象画素の撮像画像信号と判定対象の周辺画素(ナロー画素)の撮像画像信号とのレベル差が閾値未満であるか否かが判定される。レベル差が閾値未満の場合(ステップS21でYes)には判定対象の周辺画素を平均値算出に用いる画素としてフラグを立て(ステップS22)、ステップS23に進む。
[0075]
 ステップS21の判定の結果、レベル差が閾値以上の場合(ステップS21でNo)にもステップS23に進む。そして、周辺画素の全てに対してステップS21の判定を行ったか否かが判断される(ステップS23)。周辺画素の全てに対してステップS21の判定が終了していない場合(ステップ23でNo)には判定対象の周辺画素を変更してステップS21に戻る。一方、周辺画素の全てに対してステップS21の判定が終了している場合(ステップS23でYes)には、ステップS1に進む。このステップS1の平均値算出処理では、ステップS22でフラグを立てられた周辺画素の平均値が算出される。
[0076]
 ステップS25,S26,S27の基本的処理はそれぞれステップS21,S22,S23と同じであるが、周辺画素がワイド画素である点が異なる。
[0077]
 本実施形態によれば、画像中のエッジ部分を判別し、エッジ部分を除外して平均値算出を行うため、画像のエッジ部分によって生じる誤補正を軽減させることができる。
[0078]
 図10は、本発明の第4実施形態に係る撮像装置50の機能ブロック図である。本実施形態の撮像装置50は、ワイドフィルタR,G,Bを搭載したA群画素の自然な色合いの撮像画像と、ナローフィルタr,g,bを搭載したB群画素の鮮やかな色合いの撮像画像とを合成して、ダイナミックレンジの広い1枚の画像を生成することができる撮像装置である。
[0079]
 ダイナミックレンジの広い画像を生成する場合には、ナローとワイドの同色で隣接する2画素加算を行うことになる。しかし、分光感度比に起因するナロー画素とワイド画素の間のレベル差を適切に補正しないと、不自然な画像が合成されてしまう。
[0080]
 図1の撮像装置10と同様に、本実施形態の撮像装置50は、撮像素子11,バス12,撮像制御部13,メモリ14,CPU15,補正比算出部20,乗算器21を備える。撮像装置50は、更に、撮像制御部13を制御するD(ダイナミック)レンジ設定装置31と、Dレンジ設定装置31によって制御される露出差補正量算出装置32とを備える。
[0081]
 更に、撮像装置50は、第1色再現選択部(I)33と、乗算器34と、適正露光画素平均値算出回路35と、アンダー露光画素平均値算出回路36と、第2色再現選択部(II)37とを備える。第1色再現選択部(I)33はナロー画素の撮像画像信号とワイド画素の撮像画像信号を取り込んで、一方を選択する。乗算器34は色再現選択部33によって選択されたナロー画素の撮像画像信号又はワイド画素の撮像画像信号の一方と露出差補正量算出装置32の出力信号とを乗算する。適正露光画素平均値算出回路35は乗算器34の出力信号の平均値を適正露光画素の平均値として算出する。アンダー露光画素平均値算出回路36はナロー画素の撮像画像信号とワイド画素の撮像画像信号の他方の平均値をアンダー露光画素の平均値として算出する。第2色再現選択部(II)37はバス12から取り込んだナロー画素,ワイド画素の撮像画像信号の一方を選択して乗算器21に出力する。平均値算出回路35,36の出力が補正比算出部20に取り込まれ、補正比が算出され、乗算器21に出力される。
[0082]
 図11は、この撮像装置50で実行される撮像画像処理プログラムの処理手順を示すフローチャートである。先ず、ユーザが設定した、或いは撮像装置50が自動で設定したDレンジが100%であるか200%であるか400%であるかが判定される(ステップS31)。
[0083]
 Dレンジが100%の場合にはステップS32に進み、露光差補正量=1倍と設定される。Dレンジが200%の場合にはステップS33に進み、露光差補正量=1/2倍と設定される。Dレンジが400%の場合にはステップS34に進み、露光差補正量=1/4倍に設定される。
[0084]
 露光差補正量とは露光時間の差であり、A群画素の露光時間に対してB群画素の露光時間を同じにすればDレンジが100%となる。一方の画素群の露光時間に対して他方の画素群の露光時間を1/2に設定すれば、Dレンジが200%となりる。一方の画素群の露光時間に対して他方の画素群の露光時間を1/4に設定すれば、Dレンジが400%となる。
[0085]
 どちらの画素群の露光時間を短くするかは、色再現をワイド側(自然な色合い)にするかナロー側(鮮やかな色合い)にするかによる。A群画素,B群画素のうち露光時間を他方より短くする画素群に属する画素を、以下、アンダー露光画素といい、露光時間を短くして撮影することをアンダー露光撮影という。露光時間を短くしない画素群に属する画素を、以下、適正露光画素といい、その撮影を適正撮影という。
[0086]
 ステップS32,S33,S34の次にステップS35に進み、色再現がナロー側(鮮やかな色合いにする側)とワイド側(自然な色合いにする側)のどちらであるかを判定する。色再現をナロー側(鮮やかにする側)に合わせる場合には、ステップS36に進み、色再現する側のナロー画素(B群画素)をアンダー露光撮影し、ワイド画素(A群画素)を適正撮影する。この撮影は同時に行い、適正撮影を行う露光時間中にアンダー露光撮影を行う。
[0087]
 次に、ステップS37では、図4のステップS1,S2と同様に、補正対象画素の周辺にある所定数個の同色のナロー画素の撮像画像信号の平均値が求められると共に、補正対象画素の周辺の所定数個の同色のワイド画素の撮像画像信号の平均値が求められる。そして、補正比が
 補正比=〔ナロー画素平均値〕/〔ワイド画素平均値〕×露光差補正量
として求められる。
[0088]
 そして、ステップS38で、補正対象画素(この場合にはワイド画素)の撮像画像信号に補正比が乗算され、ワイド画素の撮像画像信号をナロー画素の分光感度に合わせると共に露出差(露光時間の差)も合わせ、この処理を終了する。なお勿論、以上の処理は、補正対象画素の全てに対して行うが、この図11のフローチャートでは、図4のステップS6,S7の図示を省略している。ステップS6,ステップS7を順にステップS38の次に設け、ステップS7の戻る先をステップS37とすれば良い。
[0089]
 ステップS35で色再現をワイド側(自然な色合いとする側)に合わせる場合には、ステップS35からステップS39に進み、今度は色再現する側のワイド画素(A群画素)をアンダー露光撮影すると共にナロー画素(B群画素)を適正撮影する。
[0090]
 そして、ステップS40で、補正対象画素の周辺の所定数個の同色のナロー画素の撮像画像信号の平均値が求められると共に、補正対象画素の周辺の所定数個の同色のワイド画素の撮像画像信号の平均値が求められる。そして、補正比が
 補正比=〔ワイド画素平均値〕/〔ナロー画素平均値〕×露光差補正量
として求められる。
[0091]
 ステップS41では、補正対象画素(この場合にはナロー画素)の撮像画像信号に補正比が乗算され、ナロー画素の撮像画像信号をワイド画素の分光感度に合わせると共に露出差(露光時間の差)も合わせ、この処理を終了する。なお、以上の処理を補正対象画素の全てに対して行うことは勿論である。
[0092]
 図11のステップS36内、ステップS39内には、アンダー撮影,適正撮影と記載している。しかし、Dレンジを100%としたときは、ナロー画素の露光時間とワイド画素の露光時間は同一時間となるため、「アンダー」「適正」の区別はしないで撮影することになる。
[0093]
 以上説明した撮像画像処理プログラムは、撮像装置内に組み込まれた場合に限らず、外部のパーソナルコンピュータでも実行することができ、実施形態の撮像装置で撮像された2枚のカラー画像から1枚の高精細なカラー画像を合成する場合や、広ダイナミックレンジのカラー画像を合成する場合に使用できる。撮像画像処理プログラムはハードディスクやROM等の記憶媒体に記憶されていて、CPUやプロセッサによって実行される際にRAM等に読み出されてもよい。また、撮像画像処理プログラムはCD-ROM等の記憶媒体に記憶されていてもよい。
[0094]
 なお、実施形態の固体撮像素子は、図2に示す様に、市松状に画素を配列した固体撮像素子として説明したが、画素配列はこの実施形態に限るものではない。例えば、図12に示す様に、全画素が正方格子状に配列(カラーフィルタ配列として図示)されていても良い。この図12の固体撮像素子22では、奇数行の画素(A群画素)に3原色のカラーフィルタがベイヤ配列され、偶数行の画素(B群画素)にも3原色のカラーフィルタがベイヤ配列されている。
[0095]
 この実施形態の固体撮像素子22でも、A群画素にワイドなカラーフィルタR,G,Bが積層され、B群画素にナローなカラーフィルタr,g,bが積層され、1回の撮影動作で同時に、自然な色合いの被写体カラー画像と、鮮やかな色合いの被写体カラー画像を撮像することができるようになっている。
[0096]
 上述した各実施形態では、自然な色合いのカラー画像を撮影できるカラーフィルタと、鮮やかな色合いのカラー画像を撮影できるカラーフィルタとを搭載した固体撮像素子を例に説明した。しかし、上述した実施形態の画像処理方法は、この様なフィルタに限るものではなく、2種類の色合いの異なるカラー画像を撮影できる固体撮像素子の撮像画像に適用可能である。
[0097]
 また、上述した画像処理における実施形態では、3原色のカラーフィルタを例に説明した。しかし、補色系のカラーフィルタ(3原色の1色づつが抜けたカラーフィルタ)でも同様に適用可能である。また、ナローな分光感度がワイドな分光感度の完全な内側に来なくても、上記の画像処理方法は適用可能である。
[0098]
 補色系カラーフィルタについての上記のナローとワイドの関係は次の通りである。赤色(R)の補色がシアン(B+G),青色(B)の補色がイエロー(G+R),緑(G)の補色がマゼンタ(B+R)である。ここで、シアンのナローとシアンのワイドの関係は次の通りである。すなわち、ワイドのシアンを構成するBとナローのシアンを構成するBはナローとワイドの関係を有し、かつワイドのシアンを構成するGとナローのシアンを構成するGもナローとワイドの関係を有する。
[0099]
 他色のイエロー,マゼンタも同様である。ナローなイエローを構成するGとRの各分光感度の半値幅における波長範囲が、ワイドなイエローを構成するGとRの各分光感度の半値幅の波長範囲の内側に入る。また、ナローなマゼンタを構成するBとRの各分光感度の半値幅の波長範囲が、ワイドなマゼンタを構成するBとRの各分光感度の半値幅の波長範囲の内側に入る。
[0100]
 更に、各画素の面積は同一であることを前提として説明した。しかし、各群内の各画素の面積が誤差範囲内で同一であれば、A群画素とB群画素の面積が誤差範囲内で同一である必要はない。A群画素とB群画素の面積が誤差範囲内で同一ではないとしても、上記の画像処理方法は適用可能である。
[0101]
 以上述べた実施形態の撮像装置は、半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを有する固体撮像素子と、
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する画像処理部と
 を備える。
[0102]
 また、実施形態の撮像画像処理方法は、上記記載の固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、
該レベル差を補正し、
前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する。
[0103]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記レベル差を、前記補正の対象とする画素の周囲の前記第1画素群に属する所定数画素の前記撮像画像信号の平均値である第1平均値と、前記補正の対象とする画素の周囲の前記第2画素群に属する所定数画素の前記撮像画像信号の平均値である第2平均値とから求め、前記レベル差を補正する。
[0104]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記第1平均値と前記第2平均値との比を補正比とし、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差を補正する。
[0105]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いる。
[0106]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記第1,第2の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定し該エッジ部を除いて前記第1平均値,第2平均値を求める。
[0107]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記第1画素群による撮像と前記第2画素群による撮像とを露出差を持って行われ得られた撮像画像を処理するに当たり、前記レベル差を求め、該レベル差及び前記露出差に基づいて、前記第1画素群と前記第2画素群の一方の画素群の各画素の撮像画像信号を補正し、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とを合成しダイナミックレンジの広い合成画像を生成する。
[0108]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記第1画素群の各画素の受光面積と前記第2画素群の各画素の受光面積とが誤差範囲内で同一である。
[0109]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記複数の第1の数色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第2のを含むカラーフィルタの対応する色の分光感度の半値全幅が入る。
[0110]
 また、撮像装置及び撮像画像処理方法は、前記複数の第1の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第2の複数を含むカラーフィルタの対応する色の分光感度のピーク値との比が0.9~1.1の範囲内にある。
[0111]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記複数の第1の色を含むカラーフィルタが3原色のカラーフィルタであり、前記複数の第2のを含むカラーフィルタが3原色のカラーフィルタである。
[0112]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記複数の第1の色でなるカラーフィルタが補色系のカラーフィルタであり、前記複数の第2の色でなるカラーフィルタが補色系のカラーフィルタである。
[0113]
 また、実施形態の撮像装置及び撮像画像処理方法は、前記第1画素群による第1の撮像画像を処理して自然な色合いの被写体画像を生成すると共に、前記第2画素群による第2の撮像画像を処理して鮮やかな色合いの被写体画像を生成する。
[0114]
 また、実施形態の撮像画像処理プログラムは、上記のいずれかの撮像画像処理方法を実施するステップを備える。
[0115]
 以上述べた実施形態によれば、色合いの異なる2種類のカラー画像(例えば、自然な色合いのカラー画像と鮮やかな色合いのカラー画像)を同時に撮影することができ、この2種類のカラー画像を違和感無く合成して高精細な画像としたり広ダイナミックレンジの画像とすることが可能となる。

産業上の利用可能性

[0116]
 本発明に係る撮像装置等は新規な固体撮像素子を搭載して、色合いの異なる2種類の被写体カラー画像を同時に撮影できると共に両者を合成して高精細な被写体画像にしたり広ダイナミックレンジの画像にすることができるため、デジタルスチルカメラやデジタルビデオカメラ、カメラ付携帯電話機、PDAやノートパソコン等のカメラ付電子装置、内視鏡等の撮像装置一般に適用すると有用である。
 本発明を詳細に又は特定の実施形態を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
 本出願は、2010年4月20日出願の日本特許出願(特願2010-097367)に基づくものであり、その内容はここに参照として取り込まれる。

符号の説明

[0117]
10,20,30,40 撮像装置
11,22 固体撮像素子
15 CPU
17 ナロー分光画素平均値算出回路
18 ワイド分光画素平均値算出回路
19,33,37 色再現選択部
20 補正比算出部
21 乗算部
23 補正比抑制部
25 ナロー画素エッジ判別部
26 ワイド画素エッジ判別部
31 Dレンジ設定装置
32 露出差補正量算出装置
35 適正露光画素平均値算出回路
36 アンダー露光画素平均値算出回路

請求の範囲

[請求項1]
 半導体基板に二次元アレイ状に配列形成される複数の画素と、
 該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
 前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを有する固体撮像素子と、
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する画像処理部とを備える撮像装置。
[請求項2]
 請求項1に記載の撮像装置であって、前記画像処理部は、前記レベル差を、前記補正の対象とする画素の周囲の前記第1画素群に属する所定数画素の前記撮像画像信号の平均値である第1平均値と、前記補正の対象とする画素の周囲の前記第2画素群に属する所定数画素の前記撮像画像信号の平均値である第2平均値とから求め、前記レベル差を補正する撮像装置。
[請求項3]
 請求項2に記載の撮像装置であって、前記画像処理部は、前記第1平均値と前記第2平均値との比を補正比とし、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差を補正する撮像装置。
[請求項4]
 請求項3に記載の撮像装置であって、前記画像処理部は、前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いる撮像装置。
[請求項5]
 請求項2乃至請求項4のいずれか1項に記載の撮像装置であって、前記画像処理部は、前記第1,第2の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定し該エッジ部を除いて前記第1平均値,第2平均値を求める撮像装置。
[請求項6]
 請求項1に記載の撮像装置であって、
 前記第1画素群による撮像と前記第2画素群による撮像とを露出差を持って行う撮像制御部を更に備え、
 前記画像処理部が、前記レベル差を求め、該レベル差及び前記露出差に基づいて、前記第1画素群と前記第2画素群の一方の画素群の各画素の撮像画像信号を補正し、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とを合成しダイナミックレンジの広い合成画像を生成する撮像装置。
[請求項7]
 請求項1乃至請求項6のいずれか1項に記載の撮像装置であって、前記第1画素群の各画素の受光面積と前記第2画素群の各画素の受光面積とが誤差範囲内で同一である撮像装置。
[請求項8]
 請求項1乃至請求項7のいずれか1項に記載の撮像装置であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度の半値全幅が入る撮像装置。
[請求項9]
 請求項1乃至請求項8のいずれか1項に記載の撮像装置であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度のピーク値との比が0.9~1.1の範囲内にある撮像装置。
[請求項10]
 請求項1乃至請求項9のいずれか1項に記載の撮像装置であって、前記複数の第1の色を含むカラーフィルタが3原色のカラーフィルタであり、前記複数の第2の色を含むカラーフィルタが3原色のカラーフィルタである撮像装置。
[請求項11]
 請求項1乃至請求項9のいずれか1項に記載の撮像装置であって、前記複数の第1の色でなるカラーフィルタが補色系のカラーフィルタであり、前記複数の第2の色でなるカラーフィルタが補色系のカラーフィルタである撮像装置。
[請求項12]
 半導体基板に二次元アレイ状に配列形成される複数の画素と、
 該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
 前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、
 該レベル差を補正し、
 前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する撮像画像処理方法。
[請求項13]
 請求項12に記載の撮像画像処理方法であって、前記レベル差が、前記補正の対象とする画素の周囲の前記第1画素群に属する所定数画素の前記撮像画像信号の平均値である第1平均値と、前記補正の対象とする画素の周囲の前記第2画素群に属する所定数画素の前記撮像画像信号の平均値である第2平均値とから求められ、前記レベル差が補正される撮像画像処理方法。
[請求項14]
 請求項13に記載の撮像画像処理方法であって、前記第1平均値と前記第2平均値との比が補正比され、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差が補正される撮像画像処理方法。
[請求項15]
 請求項14に記載の撮像画像処理方法であって、
 前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いることを更に有する撮像画像処理方法。
[請求項16]
 請求項13乃至請求項15のいずれか1項に記載の撮像画像処理方法であって、
 前記第1,第2の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、
 該エッジ部を除いて前記第1平均値,第2平均値が求められる撮像画像処理方法。
[請求項17]
 請求項12に記載の撮像画像処理方法であって、前記第1画素群による撮像と前記第2画素群による撮像とを露出差を持って行われ得られた撮像画像を処理するに当たり、前記レベル差を求められ、該レベル差及び前記露出差に基づいて、前記第1画素群と前記第2画素群の一方の画素群の各画素の撮像画像信号が補正され、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とが合成されてダイナミックレンジの広い合成画像が生成される撮像画像処理方法。
[請求項18]
 請求項12乃至請求項17のいずれか1項に記載の撮像画像処理方法であって、前記第1画素群の各画素の受光面積と前記第2画素群の各画素の受光面積とが誤差範囲内で同一である撮像画像処理方法。
[請求項19]
 請求項12乃至請求項18のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度の半値全幅が入る撮像画像処理方法。
[請求項20]
 請求項12乃至請求項19のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度のピーク値との比が0.9~1.1の範囲内にある撮像画像処理方法。
[請求項21]
 請求項12乃至請求項20のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタが3原色のカラーフィルタであり、前記複数の第2の複数色を含むカラーフィルタが3原色のカラーフィルタである撮像画像処理方法。
[請求項22]
 請求項12乃至請求項20のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタが補色系のカラーフィルタであり、前記複数の第2の色を含むカラーフィルタが補色系のカラーフィルタである撮像画像処理方法。
[請求項23]
 請求項19に記載の撮像画像処理方法であって、前記第1画素群による第1の撮像画像を処理して自然な色合いの被写体画像を生成すると共に、前記第2画素群による第2の撮像画像を処理して鮮やかな色合いの被写体画像を生成する撮像画像処理方法。
[請求項24]
 請求項1に記載の固体撮像素子で撮像された画像を処理する撮像画像処理プログラムであって、請求項12乃至請求項23のいずれか1項に記載の撮像画像処理方法を実施するステップが設けられた撮像画像処理プログラム。
[請求項25]
 半導体基板に二次元アレイ状に配列形成される複数の画素と、
 該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
 前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理をコンピュータに実行させるプログラムを記憶した一時的ではないコンピュータ可読記録媒体であって、
 前記画像処理が
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、
 該レベル差を補正し、
 前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する一時的ではないコンピュータ可読記録媒体。

補正された請求の範囲(条約第19条)
[ 2011年8月9日 ( 09.08.2011 )  国際事務局受理 ]

[1]
[補正後] 半導体基板に二次元アレイ状に配列形成される複数の画素と、
 該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
 前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを有する固体撮像素子と、
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成する画像処理部とを備え、
 前記画像処理部は、前記レベル差を、前記補正の対象とする画素の周囲の前記第1画素群に属する所定数画素の前記撮像画像信号の平均値である第1平均値と、前記補正の対象とする画素の周囲の前記第2画素群に属する所定数画素の前記撮像画像信号の平均値である第2平均値とから求め、前記レベル差を補正し、前記第1,第2の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定し該エッジ部を除いて前記第1平均値,第2平均値を求める撮像装置。
[2]
[補正後] 請求項1に記載の撮像装置であって、前記画像処理部は、前記第1平均値と前記第2平均値との比を補正比とし、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差を補正する撮像装置。
[3]
[補正後] 請求項2に記載の撮像装置であって、前記画像処理部は、前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いる撮像装置。
[4]
[補正後] 請求項1に記載の撮像装置であって、
 前記第1画素群による撮像と前記第2画素群による撮像とを露出差を持って行う撮像制御部を更に備え、
 前記画像処理部が、前記レベル差を求め、該レベル差及び前記露出差に基づいて、前記第1画素群と前記第2画素群の一方の画素群の各画素の撮像画像信号を補正し、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とを合成しダイナミックレンジの広い合成画像を生成する撮像装置。
[5]
[補正後] 請求項1乃至請求項4のいずれか1項に記載の撮像装置であって、前記第1画素群の各画素の受光面積と前記第2画素群の各画素の受光面積とが誤差範囲内で同一である撮像装置。
[6]
[補正後] 請求項1乃至請求項5のいずれか1項に記載の撮像装置であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度の半値全幅が入る撮像装置。
[7]
[補正後] 請求項1乃至請求項6のいずれか1項に記載の撮像装置であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度のピーク値との比が0.9~1.1の範囲内にある撮像装置。
[8]
[補正後] 請求項1乃至請求項7のいずれか1項に記載の撮像装置であって、前記複数の第1の色を含むカラーフィルタが3原色のカラーフィルタであり、前記複数の第2の色を含むカラーフィルタが3原色のカラーフィルタである撮像装置。
[9]
[補正後] 請求項1乃至請求項8のいずれか1項に記載の撮像装置であって、前記複数の第1の色でなるカラーフィルタが補色系のカラーフィルタであり、前記複数の第2の色でなるカラーフィルタが補色系のカラーフィルタである撮像装置。
[10]
[補正後] 半導体基板に二次元アレイ状に配列形成される複数の画素と、
 該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
 前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、
 前記レベル差が、前記補正の対象とする画素の周囲の前記第1画素群に属する所定数画素の前記撮像画像信号の平均値である第1平均値と、前記補正の対象とする画素の周囲の前記第2画素群に属する所定数画素の前記撮像画像信号の平均値である第2平均値とから求められ、前記レベル差が補正され、
 前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成し、
 前記第1,第2の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、該エッジ部を除いて前記第1平均値,第2平均値が求められる撮像画像処理方法。
[11]
[補正後] 請求項10に記載の撮像画像処理方法であって、前記第1平均値と前記第2平均値との比が補正比され、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差が補正される撮像画像処理方法。
[12]
[補正後] 請求項11に記載の撮像画像処理方法であって、
 前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いることを更に有する撮像画像処理方法。
[13]
[補正後] 請求項10に記載の撮像画像処理方法であって、前記第1画素群による撮像と前記第2画素群による撮像とを露出差を持って行われ得られた撮像画像を処理するに当たり、前記レベル差を求められ、該レベル差及び前記露出差に基づいて、前記第1画素群と前記第2画素群の一方の画素群の各画素の撮像画像信号が補正され、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とが合成されてダイナミックレンジの広い合成画像が生成される撮像画像処理方法。
[14]
[補正後] 請求項10乃至請求項13のいずれか1項に記載の撮像画像処理方法であって、前記第1画素群の各画素の受光面積と前記第2画素群の各画素の受光面積とが誤差範囲内で同一である撮像画像処理方法。
[15]
[補正後] 請求項10乃至請求項14のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度の半値全幅が入る撮像画像処理方法。
[16]
[補正後] 請求項10乃至請求項15のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第2の色を含むカラーフィルタの対応する色の分光感度のピーク値との比が0.9~1.1の範囲内にある撮像画像処理方法。
[17]
[補正後] 請求項10乃至請求項16のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタが3原色のカラーフィルタであり、前記複数の第2の複数色を含むカラーフィルタが3原色のカラーフィルタである撮像画像処理方法。
[18]
[補正後] 請求項10乃至請求項17のいずれか1項に記載の撮像画像処理方法であって、前記複数の第1の色を含むカラーフィルタが補色系のカラーフィルタであり、前記複数の第2の色を含むカラーフィルタが補色系のカラーフィルタである撮像画像処理方法。
[19]
[補正後] 請求項15に記載の撮像画像処理方法であって、前記第1画素群による第1の撮像画像を処理して自然な色合いの被写体画像を生成すると共に、前記第2画素群による第2の撮像画像を処理して鮮やかな色合いの被写体画像を生成する撮像画像処理方法。
[20]
[補正後] 請求項1に記載の固体撮像素子で撮像された画像を処理する撮像画像処理プログラムであって、請求項10乃至請求項19のいずれか1項に記載の撮像画像処理方法を実施するステップが設けられた撮像画像処理プログラム。
[21]
[補正後] 半導体基板に二次元アレイ状に配列形成される複数の画素と、
 該画素の奇数行と偶数行の一方を含む第1画素群の上に所定規則に従って配列して積層される複数の第1の色のカラーフィルタと、
 前記奇数行と前記偶数行の他方を含む第2画素群の上に所定規則に従って配列して積層され、前記複数の第1の色のカラーフィルタとは分光感度が異なる複数の第2の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理をコンピュータに実行させるプログラムを記憶した一時的ではないコンピュータ可読記録媒体であって、
 前記画像処理が
 前記複数の第1の色を含むカラーフィルタと前記複数の第2の色を含むカラーフィルタの間の分光感度差による前記第1画素群の画素の撮像画像信号と前記第2画素群の画素の撮像画像信号とのレベル差を求め、
 前記レベル差が、前記補正の対象とする画素の周囲の前記第1画素群に属する所定数画素の前記撮像画像信号の平均値である第1平均値と、前記補正の対象とする画素の周囲の前記第2画素群に属する所定数画素の前記撮像画像信号の平均値である第2平均値とから求められ、前記レベル差が補正され、
 前記第1画素群から得られる第1の撮像画像と前記第2画素群から得られる第2の撮像画像とを合成し、
 前記第1,第2の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、該エッジ部を除いて前記第1平均値,第2平均値が求められる一時的ではないコンピュータ可読記録媒体。
[22]
[削除]
[23]
[削除]
[24]
[削除]
[25]
[削除]

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]