処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2010131296 - 画像処理装置

Document

明 細 書

発明の名称 画像処理装置

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006  

課題を解決するための手段

0007  

発明の効果

0008  

図面の簡単な説明

0009  

発明を実施するための形態

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073  

符号の説明

0074  

請求の範囲

1   2   3   4   5  

補正された請求の範囲(条約第19条)

1  *   2   3   4   5  

図面

1   2   3   4   5   6   7   8   9   10   11   12  

明 細 書

発明の名称 : 画像処理装置

技術分野

[0001]
 本発明は、リンギングを抑制しながら画像を復元・強調処理する画像処理装置及び画像処理方法に関する。

背景技術

[0002]
入力画像に対して、フィルタリングすることにより復元・強調された出力画像を得る方法がある。
[0003]
 復元フィルタリングによって復元画像に発生するリンギングに対して、リンギングの発生度合いを入力画像のエッジの強さから判別し、判別結果に応じて入力画像と復元画像の加重平均によって合成することによりリンギングを回避する技術が開示されている(例えば特許文献1)。
[0004]
しかし、上記従来技術では入力画像のエッジ強度だけで判断すると、強いエッジに関しては復元フィルタの結果が使われるため復元されるが、それ以外の部分ではリンギングが発生するかもしれないとして入力画像が使われてしまい、リンギングの発生を抑制できない場合があった。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2006-129236号 公報

発明の概要

発明が解決しようとする課題

[0006]
本発明は、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさを判断し、より的確にリンギングを抑制しつつ復元した画像を得ることを目的とする。

課題を解決するための手段

[0007]
 上記課題を解決するために本発明は、入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和に基づいて前記注目画素のフィルタリング後の画素値を求める畳み込み部と、前記フィルタ範囲内で、前記注目画素を含む中心領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する第1の特徴量算出部と、前記フィルタ範囲内で、前記中心領域を除いた周辺領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する第2の特徴量算出部と、前記フィルタリング後の画素値の信頼度を算出する信頼度算出部と、前記信頼度に応じて前記フィルタリング後の画素値と前記入力画像の画素値とを合成し、前記注目画素の出力画素値を得る合成部と、を有し、前記信頼度算出部は、前記周辺領域特徴量が前記中心領域特徴量より大きい場合には、前記周辺領域特徴量が前記中心領域特徴量より小さい場合よりも、前記信頼度を低く算出することを特徴とする画像処理装置を提供する。

発明の効果

[0008]
  そこで本実施形態では、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさを判断し、より的確にリンギングを抑制しつつ復元した画像を得ることができる。

図面の簡単な説明

[0009]
[図1] 第1の実施形態の画像処理装置を示す図。
[図2] PSFの例を示す図。
[図3] 画像復元のフィルタ係数の例を示す図。
[図4] リンギングの発生メカニズムを説明する図。
[図5] フィルタ係数の領域設定方法を説明する図。
[図6] 図1の実施形態の画像処理装置の動作を示す図。
[図7] フィルタを周辺領域Sと中心領域Cとに分けた例を示す図。
[図8] 第1の実施形態の画像処理装置の変更例を示す図。
[図9] 第2の実施形態の画像処理装置を示す図。
[図10] 第1の実施形態の画像処理装置の動作を示す図。
[図11] 第3の実施形態の画像処理装置を示す図。
[図12] 第3の実施形態の画像処理装置の動作を示す図。

発明を実施するための形態

[0010]
 以下、本発明の実施の形態について、詳細に説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
[0011]
(第1の実施形態) 
本実施形態の画像処理装置は、入力画像と共に、入力画像に対して劣化を復元する/画像を強調する目的で設計されたフィルタ係数が与えられる。該フィルタ係数を用いて入力画像をフィルタリングすることにより出力画像を得る。なお、対象となる入力画像中の注目画素を含めた畳み込み演算の範囲内(以下、フィルタ範囲内と記載)の画素に対してフィルタ係数を乗算した重み付き平均値を求める、空間的な畳み込み演算をフィルタリングと呼ぶ。本実施形態の画像処理装置は、例えば撮像装置に組み込まれた画像処理装置として提供することができる。
[0012]
図1は、本実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、領域設定部101、中心領域に対する特徴量算出部102、周辺領域に対する特徴量算出部103、信頼度算出部104、畳み込み演算部105、画像合成部106を備える。
[0013]
領域設定部101は、入力されたフィルタ係数に基づいて、フィルタ範囲内を中心領域と周辺領域とに分割する。また、領域設定部101は、後段の特徴量を算出するための新たなフィルタ係数の生成や、フィルタ係数の補正する補正係数の算出を適宜行う。
[0014]
特徴量算出部102は、フィルタ範囲内で、注目画素を含む中心領域内の入力画像の各画素値に対して、フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する。 
特徴量算出部103は、フィルタ範囲内で中心領域を除いた周辺領域内の入力画像の各画素値に対して、フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する。 
信頼度算出部104は、特徴量算出部102が算出した中心領域特徴量と特徴量算出部103が算出した周辺領域特徴量とから、入力画像に対するフィルタの信頼度(フィルタリング後の画素値の信頼度)を算出する。 
 畳み込み演算部105は、入力画像に対して、入力されたフィルタ係数によるフィルタリングを行いフィルタリング後の画素値を求める。 
画像合成部は106、信頼度に応じてフィルタリング後の画素値と入力画像の画素値とを合成し、注目画素の出力画素値を得る。 
次に、入力画像に対して劣化を復元する/画像を強調する目的で設計されたフィルタについて詳細に説明する。劣化のあり方を示した劣化過程として、例えばカメラのレンズボケを表現した点広がり関数Point Spread Function(以下PSFと記載)がある。
[0015]
図2は、ガウス関数によって近似的に表現されたPSFの例を示す図である。PSFの例(ガウス関数)を式(1)に示す。
[数1]


[0016]
ここで、i, jはフィルタの中心(注目画素)からの位置である。Qは正規化定数(総和を1にするためのもの)である。自然数r≧1はPSF(フィルタ)の適用範囲の大きさを示す値である。つまり、フィルタ範囲は注目画素を中心とする(2r+1)×(2r+1)の範囲となる。σ>0はガウス関数の標準偏差であり、ボケの大きさを示している。σ=2、r=3のガウス関数を劣化過程とした場合の画像復元のフィルタ係数(r=7)は以下のように設計することができる。r=7より、フィルタ範囲は15x15のサイズである。また、8行8列目がフィルタ中心である。
[数2]


[0017]
図3は、上記のフィルタ係数の8行目をグラフ化したものである。図3のフィルタによる畳み込み演算によって求まった値が、注目画素のフィルタリング後の画素値となる。本実施形態では、図3に示したフィルタが入力された例について示す。
[0018]
このような画像復元のためのフィルタ係数はウィナーフィルタのように、正解画像と正解画像を前述した劣化過程によって劣化させた劣化画像との間の逆問題を解くフィルタを学習させるなどして設計することができる。なおこのフィルタ係数は、あらかじめ設計しておきそのフィルタ係数をルックアップテーブルのようにメモリに格納しておいても良いし、劣化過程が入力された後、劣化過程に応じてフィルタ係数を算出する構成であっても構わない。劣化過程は、例えば画像を入力する撮像系が分かれば定めることが出来る。なお、本実施形態では、フィルタ係数は外部から入力される構成とした。
[0019]
しかし、このような画像復元のフィルタリングをおこなった場合には、真のエッジの周辺に偽のエッジが繰り返し現れるリンギングという現象によって画質劣化が発生することが知られている。次に、リンギングの発生メカニズムについて詳細に説明する。
[0020]
図4は、リンギングの発生メカニズムを示す図である。左・右の両図共に横軸が画素位置を示し、縦軸が画素値を示す。入力画像のある一列の画素群401と、それを前述のフィルタ係数によるフィルタリングによって復元した復元画像の一列の画素群402を示す。図4左図から、鈍ったエッジ403がシャープなエッジ404になっていることが分かる。同時に強いエッジ405の周辺にリンギング406が発生していることも分かる。これはフィルタ係数と入力画像の特徴に起因している。フィルタ係数の周辺領域407でもある程度の振幅をもった係数値が存在していることが図3からも分かる。フィルタ係数の周辺領域407と入力画像における強いエッジ405が重なるとき、この強いエッジ405の成分に対して、ある程度の振幅を持った周辺領域407のフィルタ係数が乗算され、中心画素に対して畳み込まれてしまうことになる。すると本来エッジなどは存在しなかった平坦な部分に、周辺領域407の強いエッジ405の成分が畳み込まれてしまいリンギングが発生する。入力画像における強いエッジ405の周辺ではリンギングが発生しやすいが、それは入力画像のみで決定されるものではなく、入力画像とフィルタ係数の交互作用によって決定されるものである。
[0021]
本実施形態では、入力画像の特徴のみではなく、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさをより的確に判断する。具体的には、フィルタ範囲内を中心領域と周辺領域とに分け、それぞれの領域の各画素にフィルタをかけた場合の値の比較によって判断する。
[0022]
図5は、フィルタの適用範囲の大きさrとする2次元のフィルタ形状を示す図である。図5ではフィルタ中心からr=3の範囲内をフィルタの適用範囲とする例を示している。またフィルタ中心からの位置をm,nとしたとき、フィルタ係数はw m,nと記す。図5では正方形の例を示しているがもちろん長方形など正方形以外のフィルタ形状でも構わない。フィルタの中心が注目画素であり、ドットで描いた領域(r=1)が中心領域で、斜線で示した領域(r=2、3)が周辺領域である。
[0023]
次に、本実施形態の画像処理装置の動作について詳細に示す。以下、入力画像の位置i,jの画素値をy i,jと記す。また、本実施形態の画像処理装置によって求めた出力画像の位置i,jの画素値をx i,jと記す。
[0024]
図6は、本実施形態の画像処理装置の動作を示す図である。 
まず、入力画像のうち1つの画素を注目画素(i,j)として選択する(S601)。
[0025]
次に、畳み込み演算部105は、入力画像と入力されたフィルタ係数によって畳み込み演算を行い、注目画素(i,j)に対応するフィルタリング後の画素値を得る(S602)。畳み込み演算は、以下の式(2)のように計算できる。なお、フィルタ係数の総和は1となるよう予め正規化されている。
[数3]


[0026]
入力されたフィルタ係数が画像の復元を行うように設計されている。そのため、式(2)の畳み込み演算によって求まったy i,j^(数式中の「ハット記号^の付された文字P」を、本文中では「P^」を表記する)はフィルタリング後の画素値を示す。
[0027]
次に、領域設定部101は新たなフィルタ係数w’を生成する(S603)。フィルタ係数を乗じた復元画像の、入力画像に対する画素値の補正量u i,jは、式(3)のようになる。
[数4]


[0028]
式(3)に式(2)を代入すると式(4)と変形できる。 
[数5]


[0029]
ここで{-r≦m≦r,-r≦n≦r}\0,0はフィルタ中心(0,0) を除くフィルタ内の点ということを意味している。つまりフィルタ中心のフィルタ係数をw’ 0,0=w 0,0-1とした新たなフィルタ係数w’ m,nによって式(5)と書くことができる。
[数6]


[0030]
新しいフィルタ係数の総和は1ではなく0となる。なお、新たなフィルタ係数による畳み込み演算によって求まった値に対して注目画素の画素値y i,jを足した値と、入力されたフィルタ係数の総和が1となるフィルタによる畳み込み演算によって求まった値とは等しい。
[0031]
この新たなフィルタ係数w’ m,nによる畳み込み演算で得られる特徴量は当該画素がどれくらい復元されるかという補正量を表している。中心領域Cの特徴量uc i,j、周辺領域Sの特徴量us i,jはそれぞれ以下のように示すことが出来る。
[数7]


[0032]
ここでm,n∈Cは位置m,nが集合C内の要素であることを表している。リンギングが発生しやすいのは、フィルタの中心領域Cの特徴量の絶対値よりも周辺領域Sの特徴量の絶対値の方が大きい場合である。上記条件を言い換えると、リンギングの発生しやすいのは|uc i,j|<|us i,j|のときである。
[0033]
次に、領域設定部101が、フィルタ範囲内を中心領域Cと周辺領域Sに分割する(S604)。
[0034]
図7は、図2(a)のフィルタを周辺領域Sと中心領域Cとに分けた例を示す図である。
[0035]
切り分けの基準は以下のように設定することができる。フィルタ係数w’ m,nの総和は0であるから中心領域C・周辺領域Sに関して以下が成り立つ。
[数8]


[0036]
よって領域を二つに分けた場合には、それぞれのフィルタ係数の総和の絶対値は等しい。フィルタ係数の総和の絶対値が0から離れることは、入力画像が一様な画素値をもっていたとしてもuc i,j ,us i,jが同じ値とならない。そうすると、|uc i,j| |us i,j|の大小比較による信頼度の精度が落ちる。そこで領域の切り分けの基準としては、それぞれの領域のフィルタ係数の総和の絶対値(A)ができるだけ0に近づくように設定することが好ましい。
[0037]
しかしながら、中心領域Cか周辺領域Sのどちらかの係数の総和の値を非常に大きく取ってみる場合を考えると、式(8)となり、
[数9]


[0038]
フィルタ係数の総和の絶対値が0に近づくため、上記評価基準からすれば良い切り分けといえる。しかし特徴量を算出することを考えるとバランスが悪く、片方を評価していないのと等価である。そこでフィルタの強さのバランスを考慮して中心領域Cと周辺領域Sとに分割するべきである。このバランスはフィルタ係数の領域内のパワーで評価することが可能である。中心領域Cのフィルタ係数のパワーpc i,j、周辺領域Sのフィルタ係数のパワーps i,jはそれぞれ式(9)で算出することが出来る。
[数10]


[0039]
これは、中心領域C、周辺領域Sそれぞれのフィルタ係数の絶対値の総和となっており、フィルタの強さを評価している。上記のバランスを保つためには、Pc i,j(中心領域のフィルタ係数の絶対値和)とPs i,j(周辺領域のフィルタ係数の絶対値和)ができるだけ等しくなるように設定する、という条件を設定すればよい。つまり、 
それぞれの領域のフィルタ係数の総和の絶対値(A)ができるだけ0に近づくように 
Pc i,jとPs i,jができるだけ等しくなるように 
領域を設定すればよい。
[0040]
 次に、領域設定部101は、フィルタ係数の補正する補正係数の算出を適宜行う(S605)。後段で算出する中心領域特徴量・周辺領域特徴量としては、それぞれの領域の特徴量を算出する式(6)を用いることができる。ただし、S604で述べたように、それぞれの領域のフィルタ係数総和絶対値が0になるとは限らない。その場合、フィルタ係数を補正することが望ましい。そこで中心領域Cのフィルタ係数の総和絶対値、周辺領域Sのフィルタ係数の総和絶対値がそれぞれ0となるようにフィルタ係数を補正した新たなフィルタ係数で計算する。それぞれの補正係数e c、e sは式(10)のように計算できる。
[数11]


[0041]
ここでNum(C)はCの要素数を表す。これらの補正係数を用いると
[数12]


[0042]
とそれぞれの総和は0になる。
[0043]
次に、特徴量算出部102は、中心領域Cの特徴量uc i,jを算出し、特徴量算出部103は、周辺領域Sの特徴量us i,jを算出する(S606)。特徴量は式(6)から、またはS605で補正係数を求めた場合には以下の式(12)から算出する。
[数13]


[0044]
この補正後の特徴量によれば、一様な入力画像に対してuc i,j=us i,j=0が成り立つ。それによって、後段の|uc i,j| |us i,j|の大小比較による信頼度を、より精度よく求めることが出来る。
[0045]
次に、信頼度算出部104は、注目画像に対して入力されたフィルタ係数による復元画像の信頼度を算出する(S607)。信頼度は、0から1までの実数値を取る。リンギングが発生する確率が低い程、フィルタ係数による復元画像の信頼度が高いものとして1に近い値を取るようにし、リンギングが発生する確率が高い程、フィルタ係数による復元画像の信頼度が低いものとして0に近い値を取るようにする。リンギングの発生確率は中心領域特徴量・周辺領域特徴量によって判定する。すなわち中心領域特徴量に比べて、周辺領域特徴量が優位に大きい場合には、周辺に強いエッジがありそれによりリンギングが発生しやすいと判断する。例えば、そのような信頼度を式(13)から求めることが出来る。
[数14]


[0046]
ここで定数α>0は中心領域特徴量の優位性に対する重み定数である。
[0047]
また、信頼度はロジスティック関数を使って以下の式(14)ように設計しても良い。
[数15]


[0048]
ここでβ>0はロジスティック関数のカーブの傾きを制御する定数である。折れ線のステップ関数(ランプ関数)などを用いても良い。
[0049]
次に、合成部はステップS607で算出した信頼度に基づいて画像を合成し、出力画像を得る。信頼度が1に近いほどS602で畳み込み演算部905が求めた復元画像の割合を大きくする。また、信頼度が0に近いほど入力画像の割合が大きくなるような加重平均によって出力画像を合成する。加重平均によって出力画像x i,jは以下の式(15)のように計算できる。
[数16]


[0050]
このようにすることによってリンギングが発生しないと判断された領域では復元画像が用いられ、リンギングが発生しそうな領域では入力画像が用いられるため、全体としてリンギングの抑制された復元画像を得ることができる。
[0051]
 入力画像の全ての画素について出力画像を求めたか判定する(S609)。出力画像を求めていない画素が残っている場合には、S601に戻り次の画素を注目画素として選択する。出力画像を求めていない画素が残っていない場合には、出力画像を出力する。
[0052]
図8に、本実施形態の画像処理装置の変更例を示す。図8の変更例では、あらかじめ記憶部802にフィルタと、該フィルタと対応する中心領域C及び周辺領域Sの設定方法とが格納されている。
[0053]
フィルタ選択部801は、注目画素に応じて記憶部802に記憶されたフィルタを選択する。
[0054]
例えばカメラのレンズによるボケの劣化過程(PSF)が既知の場合、注目画素毎にあらかじめフィルタと、該フィルタ中心領域C及び周辺領域Sの設定方法を求めることが可能である。そのため、図8の画像処理装置によれば、領域の設定などを逐次的に行う必要がなく演算量を削減することが可能である。
[0055]
以上により本実施形態では、入力画像の特徴のみからリンギングの発生しやすさを判断するのではなく、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさを的確に判断している。それによって、リンギングを抑制しつつ効率よく画像の復元が可能となる。
[0056]
(第2の実施形態) 
本実施形態の画像処理装置は、図1に示した第1の実施形態の画像処理装置とは異なり、信頼度に応じてフィルタを合成し、合成されたフィルタによって入力画像をフィルタリングして出力画像を求める。第1の実施形態ではフィルタリング結果の復元画像と入力画像を算出された信頼度を元にして合成して出力画像を生成したが、第1の実施形態の合成ステップ(S602)は線形操作であるため、本実施形態のようにフィルタ係数自体を変換することで等価な結果を得る構成も設計可能である。
[0057]
図9は、本実施形態の画像処理装置を示す図である。フィルタ係数合成部906を有する点と、畳み込み演算部905が行う畳み込み演算とが図1の画像処理装置と異なる。
[0058]
 フィルタ係数合成部906は、信頼度算出部104が算出した信頼度に応じて、入力されたフィルタ係数と、入力画像をそのまま出力するスルーフィルタとを合成する。
[0059]
フィルタ係数合成部906は、フィルタ係数合成部906が求めた新たなフィルタ係数によって、入力画像に畳み込み演算を行って出力画像を得る。
[0060]
次に、本実施形態の画像処理装置の動作について詳細に示す。以下、第1の実施形態と同様に画素位置i,jにおける入力画像の画素値をy i,jと、出力画像の画素値をx i,jとする。
[0061]
図10は、本実施形態の画像処理装置の動作を示す図である。S601、S603~S607、S609は、図6と同様の処理を行うため説明は省略する。
[0062]
S1008では、入力されたフィルタ係数w i,jと入力画像をスルーさせるフィルタ係数(フィルタ中心のみ1でその他の係数はすべて0)とを、S607で算出された信頼度P i,jに基づいて合成する。信頼度が1に近いほど入力されたフィルタ係数の割合を大きくし、信頼度が0に近いほど入力画像の割合が大きくなるような加重平均によって新たなフィルタ係数w” m,nを合成する。算出された信頼度を用いるとフィルタの合成は以下のようになる。
[数17]


[0063]
このようにすることによってリンギングが発生しないと判断された領域では復元画像が用いられ、リンギングが発生しそうな領域では入力画像が用いられるため、全体としてリンギングの抑制された復元画像が得られるフィルタ係数w” m,nを計算することができる。
[0064]
S1009では、S1008で計算された新たな合成フィルタ係数を用いて式(16)によって畳み込みを実行し、出力画像x i,jを得る。
[数18]


[0065]
入力画像の全ての画素について出力画像を求めたか判定する(S609)。出力画像を求めていない画素が残っている場合には、S601に戻り次の画素を注目画素として選択する。出力画像を求めていない画素が残っていない場合には、出力画像を出力する。
[0066]
(第3の実施形態) 
 本実施形態の画像処理装置は、図1の画像処理装置と異なり、信頼度に応じて復元画像と合成する画像を入力画像ではなく、第2のフィルタ係数による第2の復元画像とする。なお、入力されるフィルタのパワーの方が第2のフィルタのパワーよりも大きい。第2の復元画像ではリンギングが発生しない場合には、入力画像と合成するよりも復元性能が高まる。
[0067]
例えば第2のフィルタ係数は、第1の実施形態と同様にウィナーフィルタのように、正解画像と正解画像を前述した劣化過程によって劣化させた劣化画像との間の逆問題を解くフィルタを学習させるなどして設計することができる。その際に、入力されるフィルタよりも劣化画像の劣化度合いを第2のフィルタ係数の方が小さくなるようにすることにより、フィルタを生成することが出来る。
[0068]
図11は、本実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、第2の畳み込み演算部1105をさらにを備える。
[0069]
第2の畳み込み演算部1105は、入力されたフィルタ係数よりもフィルタのパワーが小さい第2のフィルタ係数による第2の復元画像を得る。フィルタ係数のパワーは、一般的にはフーリエ変換によるパワースペクトルの大きさで定義できる。なお、簡易的にはフィルタ係数の絶対値和でも評価できる。
[0070]
図12は、第3の実施形態の画像処理装置の動作を示す図である。 
S1202では、第2畳み込み演算部1105が、第2のフィルタ係数を用いて入力画像に対してフィルタリングをおこない、第2の復元画像を生成する。式(17)の左辺は、第2のフィルタリング後の画素値を示す。
[数19]


[0071]
S1208では信頼度に基づいて、第2の復元画像とS602で求めた復元画像とを合成する。信頼度が1に近いほど復元画像の割合を大きくし、信頼度が0に近いほど第2の復元画像の割合が大きくなるような加重平均によって出力画像を合成する。このようにすることによってリンギングが発生しないと判断された領域では復元画像が用いられ、リンギングが発生しそうな領域では第2の復元画像が用いられるため、全体としてリンギングの抑制された復元画像を得ることができる。加重平均によって合成される出力画像x i,jは以下の式(18)のように計算できる。
[数20]


[0072]
 なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
[0073]
また、上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。

符号の説明

[0074]
  101・・・領域設定部、102・・・特徴量算出部、103・・・特徴量算出部、104・・・信頼度算出部、105、905・・・畳み込み演算部、106・・・画像合成部、906・・・フィルタ係数合成部、1105・・・第2の畳み込み演算部

請求の範囲

[請求項1]
入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和に基づいて前記注目画素のフィルタリング後の画素値を求める畳み込み部と、
前記フィルタ範囲内で、前記注目画素を含む中心領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する第1の特徴量算出部と、
 前記フィルタ範囲内で、前記中心領域を除いた周辺領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する第2の特徴量算出部と、
 前記フィルタリング後の画素値の信頼度を算出する信頼度算出部と、
 前記信頼度に応じて前記フィルタリング後の画素値と前記入力画像の画素値とを合成し、前記注目画素の出力画素値を得る合成部と、
を有し、前記信頼度算出部は、前記周辺領域特徴量が前記中心領域特徴量より大きい場合には、前記周辺領域特徴量が前記中心領域特徴量より小さい場合よりも、前記信頼度を低く算出することを特徴とする画像処理装置。
[請求項2]
前記中心領域と、前記周辺領域とは、それぞれ領域に対応する前記フィルタ係数の総和が0に近づくように、かつ、前記中心領域と前記周辺領域とでフィルタの強度がほぼ同じになるように設定される、
ことを特徴とする請求項1に記載の画像処理装置。
[請求項3]
前記合成部は、前記信頼度が所定の基準よりも低い場合には、前記入力画像を前記出力画素値として求め、前記信頼度が所定の基準以上の場合には、前記フィルタリング後の画素値を前記出力画素値として求める、
ことを特徴とする請求項2記載の画像処理装置。
[請求項4]
 前記合成部は、前記信頼度が高い程、前記フィルタリング後の画素値に対して強い重みを乗じ、前記信頼度が低い程、前記入力画像の注目画素値に対して強い重みを乗じて、加重平均した画素値を前記出力画素値とすること、
を特徴とする請求項2記載の画像処理装置。
[請求項5]
前記畳み込み部は、前記フィルタリング後の画素値を、入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和と、前記入力画像の注目画素の画素値との和から求めることを特徴とする請求項3に記載の画像処理装置。

補正された請求の範囲(条約第19条)
[ 2009年12月22日 ( 22.12.2009 )  国際事務局受理 ]

[1]
[補正後] 入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和に基づいて算出された補正量を、前記注目画素の画素値に加算することで、フィルタリング後の画素値を求める畳み込み部と、
 前記フィルタ範囲内で、前記注目画素を含む中心領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する第1の特徴量算出部と、
 前記フィルタ範囲内で、前記中心領域を除いた周辺領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する第2の特徴量算出部と、
 前記フィルタリング後の画素値の信頼度を算出する信頼度算出部と、
 前記信頼度に応じて前記フィルタリング後の画素値と前記入力画像の画素値とを合成し、前記注目画素の出力画素値を得る合成部と、
を有し、前記信頼度算出部は、前記周辺領域特徴量が前記中心領域特徴量より大きい場合には、前記周辺領域特徴量が前記中心領域特徴量より小さい場合よりも、前記信頼度を低く算出することを特徴とする画像処理装置。
[2]
前記中心領域と、前記周辺領域とは、それぞれ領域に対応する前記フィルタ係数の総和が0に近づくように、かつ、前記中心領域と前記周辺領域とでフィルタの強度がほぼ同じになるように設定される、
ことを特徴とする請求項1に記載の画像処理装置。
[3]
前記合成部は、前記信頼度が所定の基準よりも低い場合には、前記入力画像を前記出力画素値として求め、前記信頼度が所定の基準以上の場合には、前記フィルタリング後の画素値を前記出力画素値として求める、
ことを特徴とする請求項2記載の画像処理装置。
[4]
 前記合成部は、前記信頼度が高い程、前記フィルタリング後の画素値に対して強い重みを乗じ、前記信頼度が低い程、前記入力画像の注目画素値に対して強い重みを乗じて、加重平均した画素値を前記出力画素値とすること、
を特徴とする請求項2記載の画像処理装置。
[5]
前記畳み込み部は、前記フィルタリング後の画素値を、入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和と、前記入力画像の注目画素の画素値との和から求めることを特徴とする請求項3に記載の画像処理装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]