Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2007072548) IMAGE DISCRIMINATION DEVICE
Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters
明 細書

画像判別装置

技術分野

[0001] 本発明は、ユーザが画像補正指示することなしに自動的に画質改善処理を行う画 像処理装置に関し、特に、画像の明るさを自動判別する、画像判別装置に関する。 背景技術

[0002] 近年、デジタルカメラやスキャナなどの画像入力機器が普及し、画像をコンピュータ ディスプレイに表示したり、プリンタで印刷するなど、画像処理装置を利用する機会が 増えてきた。

[0003] 入力される画像には、明るさがちょうどよい画像、暗すぎの画像、明るすぎの画像な ど、状態の異なる様々な画像が存在し、これら入力画像の明るさを解析して、画像を ちょうどよい適切な明るさに補正する、明るさ補正技術が考案されている。

[0004] 図 1は、暗い画像の種類を説明する図である。

ここで処理対象の画像につ!、て総じて喑、画像に関しては、階調が喑ヽ調子であ つて暗すぎと判断される画像と、喑、調子であるが暗すぎではな、と判断される画像 とに区別される。前者は、主要被写体が暗くつぶれてしまったが背景部分は明るい 状態である逆光画像や、デジタルカメラの撮影条件によって画像全体が明らかに露 出不足となった画像が該当し、これらを総じてアンダー画像として分類する。図 1 (d) は露出不足となったアンダー画像の例である。また後者は、夜間に遊技場や都会の 町並みを撮影した夜景画像や、薄暮の風景を撮影した夕景画像が該当し、これらを 総じてローキー画像として分類する。図 1 (a)や図 1 (b)は暗闇に浮かぶ夜景の画像 、図 1 (c)は薄暮の夕景画像の、ローキー画像例であり、図 1 (d)は町並みの夜景画 像のアンダー画像例である。

[0005] 従来の明るさ補正技術においては、暗い画像について、階調が暗い調子であって 暗すぎと判断されるアンダー画像力、喑、調子であるが暗すぎではな、とローキー画 像かを判別して、明るさを適切に補正する方法が考案されている。

[0006] 特許文献 1によれば、画像を中央付近と周辺部の 2領域に分割し、画像全体に暗 、レベルの画素が多く分布して、るかを判定し、多く分布して、ると判定された場合 は、つづいて、暗いレベルの画素は中央付近よりも周辺部に多く存在しているかを判 定し、多く存在していると判定した場合は、画像を夜景などのローキー画像として判 定する技術が開示されてヽる。

[0007] し力しながら、特許文献 1の技術では、画像周辺部に暗い画像が多く存在する場合 はローキーとして判別される力周辺部に暗い画素が多く存在しない場合はローキー として判別困難となってしまう問題点があった。また中央付近と周辺部の画素をすベ て探索して判定に必要な画素統計情報を算出するため、画素ピクセル数の大きなサ ィズのデータに対しては、コンピュータの計算コストがかかり、処理速度が遅くなる問 題点もあった。

[0008] また、特許文献 2、特許文献 3、特許文献 3にお、ても、画像を、中央付近と周辺部 の 2つの領域にあら力じめ決定して、中央付近と周辺部の画素情報を比較して、夜 景ゃ逆光などの画像判定を行う方法を採用しており、特許文献 1の技術と同様の問 題点があった。

特許文献 1 :特開 2002— 247361号公報

特許文献 2:特開 2004— 341901号公報

特許文献 3 :特開 2003— 169231号公報

特許文献 4:特開 2003 - 337944号公報

発明の開示

[0009] 本発明の課題は、画像の周辺部に暗い画素が多く存在しない画像でも、精度よく ローキー画像とアンダー画像の判別することができ、かつ、計算コストを大きく低減し て、より高速に処理を行うことを可能にする画像判別装置を提供することである。

[0010] 本発明の画像判別装置は、画像全体が暗!、調子の画像の階調が適切か否かを判 別する画像判別装置において、画像の周辺に位置する画素の内、階調レベルが所 定の第 1の閾値より小さい画素の数を計数する計数手段と、該計数した結果の画素 数が所定の第 2の閾値以上の場合に、該画像が暗い調子でも階調は適切な画像で あると判別する判別手段とを備えることを特徴とする。

図面の簡単な説明

[0011] [図 1]暗い画像の種類を説明する図である。

[図 2]実施形態の処理ステップについて説明する図である。

[図 3]階調変化を利用した画像判別方法を説明する図である。

[図 4]明るい画素とその周囲の画素の階調変化と階調の勾配力夜景画像力否かを 判断する方法を説明する図である。

[図 5]夕焼け画像を判断する方法を説明する図である。

[図 6]本発明の実施形態の画像判別装置のブロック図である。

[図 7]領域拡張処理を説明する図である。

[図 8]ウィンドウ探索処理を説明する図である。

[図 9]本発明の実施形態に従った処理のフローチャート(その 1)である。

[図 10]本発明の実施形態に従った処理のフローチャート(その 2)である。

[図 11]本発明の実施形態に従った処理のフローチャート(その 3)である。

[図 12]本発明の実施形態に従った処理のフローチャート(その 4)である。

[図 13]本発明の実施形態に従った処理のフローチャート(その 5)である。

[図 14]本発明の実施形態に従った処理のフローチャート(その 6)である。

[図 15]本発明の実施形態に従った処理のフローチャート(その 7)である。

[図 16]本発明の実施形態に従った処理のフローチャート(その 8)である。

[図 17]本発明の実施形態に従った処理のフローチャート(その 9)である。

発明を実施するための最良の形態

[0012] ローキー画像は、画像全体が暗い調子であり、画像中には、ある程度の大きさを もった暗い画素領域が存在している。こうした暗い領域画素は、ほとんどの場合で画 像矩形に外接しているが、その位置は不定であって、画像周辺部に多く分布するの みでなぐ画像周辺部分から中央付近にかけて分布することもあるという特徴を持つ ている。

[0013] アンダー画像では、画像全体が暗い調子であるが、明るく変換すれば適正な明るさ となって豊富な階調性をもった適正な画像になることから、画像矩形 (画像が表示さ れる領域)内の画素には暗い画素のみでなくやや明るい画素など、様々な明るさの 画素が混在して分布している。ここで、画像矩形は、デジタルカメラ、スキャナなどで 入力される画像データの形状を指している。矩形は、横方向に主走査、縦方向に副 走査される、データ画像全面を示している。データ画像は、通常、長方形や正方形と なり、矩形をしている。

[0014] そして、本発明の実施形態では、画像全体が暗い調子の画像について、階調が適 切か適切でないかを判別する場合、画像矩形の外周に接する、レベルの低い画素 の量に基づいて、画素の量が多い場合を、画像が暗い調子で階調は適切である画 像と判別し、画素の量が少ない場合を、画像が暗い調子で階調が不適切である画像 と判別するステップを行う。

[0015] 図 2は、上記実施形態の処理ステップについて説明する図である。

図 2 (a)〜図 2 (d)は、さまざまな種類の暗い画像を示している。図 2 (a)及び図 2 (b )は、夜景、図 2 (c)は、夕景の、ローキー画像であり、図 2 (d)は、露出不足のアンダ 一画像である。これらの画像に上記処理を施し、外接画素の明度、彩度、色相のす ベて、あるいは、明度のみのレベルを調べ、このレベルが所定値以下の外接画素が どのくらいあるかを調べる。そして、レベルが所定値以下の外接画素の量が、絶対的 に所定値より多い、あるいは、画像矩形の外接画素の総数に比べ比較的多いときは 、ローキー画像と判断し、そのような外接画素が絶対的に所定値より少ない、あるい は、全外接画素数に比べて比較的少ない場合には、アンダー画像と判断する。たと えば、図 2 (e)は、図 2 (a)の外接画素のうち、当該レベルが所定値以下の画素を太 線で示したものである。図 2 (e)の場合、当該レベルが所定値以下の画素の数が外 接画素全体の数に比べ比較的多いので、ローキー画像と判断する。図 2 (f)は、図 2 (b)の、図 2 (g)は、図 2 (c)の、図 2 (h)は、図 2 (d)の外接画素の分布の様子を示し た図であり、太線が、当該レベルが所定値より小さい画素を示している。図 2 (f)、図 2 (g)の場合には、当該レベルが所定値以下の外接画素の数が比較的多いので、図 2 (b)、図 2 (c)をローキー画像と判断する。一方、図 2 (h)においては、当該レベルが 所定値以下の外接画素の数が比較的少ないので、図 2 (d)は、アンダー画像である と判断する。

[0016] 以上によれば、精度よく画像が暗い調子で階調は適切であるローキー画像と、画像 が暗い調子で階調は適切でないアンダー画像を判別することができる。また、入力画

像の矩形外周のみの画素の数量をカウントするため、従来技術にくらべて計算コスト を大きく低減して、より高速に処理を行うことができる。

[0017] また、画像矩形 (画像が表示される領域)に外接する画素の情報で判定を行う場合 、画像矩形の外接画素のすぐ内側に、明るい画像が多数分布するような場合では、 誤った判定を行う場合が考えられる。こうした場合にぉ、ても精度よく判定を行うため に、本発明の実施形態では更に、画像全体画素に対する低レベル画素の割合に基 づき、割合が大きい場合を、画像が暗い調子で階調は適切である画像と判別し、割 合が小さ!/ヽ場合を、画像が喑ヽ調子で階調は適切である画像と判別する過程を実施 する。

[0018] 以上によれば、画像外接のすぐ内側に明るい画素が存在するような画像の場合で 、誤判断となりやすい画像であっても、精度よく判別を行うことができる。

また、画像矩形に外接する暗い画素領域は、画像周辺部分にとどまらず、画像中 央付近まで、連続した背景画像として配置することがある。そこで、画像矩形の外周 に接するレベルの低い画素について、これらと画像の階調が連続する周囲画素領域 を抽出する過程と、得られた画素領域の内部について画素間の階調変化を採取す る過程とを設け、階調変化が少ない場合は、画像が暗い調子で階調は適切である画 像と判別し、階調変化が多い場合は、画像が暗い調子で階調は適切でない画像と 判別する過程を実施する。

[0019] 図 3は、階調変化を利用した画像判別方法を説明する図である。

図 3 (a)では画像矩形の外周に接する喑ヽ領域の階調変化を調べた結果、階調変 化が小さいと判断された場合であり、この場合は、ローキー画像と判断する。図 3 (b) では、画像矩形の外周に接する暗い領域の階調変化が大きい場合で、この場合に は、アンダー画像であると判断する。

[0020] 以上によれば、低レベル画素領域力も画像背景と推測される部分を検出して、ロー キー画像とアンダー画像の特徴の違、を認識し、精度良く判別することが可能にして いる。

また、ローキー画像のひとつである夜景画像では、画像全体は暗い調子であるが、 画像内部には、電灯やネオンサインなどによる明るい画素領域が複数配置されてい る。これら明るい画素領域の周囲は、背景画像の暗い画素領域と隣接しており、明る い画素領域から暗い画素領域へかけての明るさの変化は急激である。これは暗闇の 背景画像上に、発光体の光源が配置されているためである。したがって、画素値レべ ルの高い画素領域を抽出する過程と、得られた画素領域の周囲画素の画素値レべ ルの空間分布を採取して、画素領域とその周囲画素領域との階調変化勾配を算出 する過程とを設け、階調勾配が大きい場合は、画像が暗い調子で階調は適切である 夜景画像と判別し、階調勾配が小さい場合は、画像が暗い調子で階調は適切である 夜景画像ではない、と判別する。

[0021] 図 4は、明るい画素とその周囲の画素の階調変化と階調の勾配力夜景画像か否 かを判断する方法を説明する図である。

図 4 (a)は、明るい画素とその周囲の画素との階調の勾配が大きぐ夜景画像であり 、画像が暗くてもよいローキー画像であると判断する。図 4 (b)は、明るい画素とその 周囲の画素との階調の勾配が小さぐ夜景画像ではない、本来明るい画像であるべ きアンダー画像であると判断する。

[0022] また、ローキーのひとつである夕景画像は、画像全体が暗い調子である力画像中 の明るい画素領域には、平均的な夕焼けの色相や明度や彩度に似た値を持つ画素 が分布している。そこで、画素値レベルの高い画素領域を抽出する過程と、得られた 画素領域内部の平均レベル値を算出して、平均的な夕焼けの色相、平均的な夕焼 けの彩度、明度のうちひとつ、もしくは、全てと比較して、これらが一致する場合は、 画像が暗い調子で階調は適切である夕焼け画像と判別し、一致しない場合は、画像 が喑、調子で階調は適切である夕焼け画像ではな、、と判別する。

[0023] 図 5は、夕焼け画像を判断する方法を説明する図である。

図 5 (a)では、夕日が写っているが、夕焼け画像カゝ否かを判断する場合には、画像 内の明るい領域を抽出し、当該領域の画素値レベルを明度、彩度、色相のいずれか 、あるいは、すべてについて、平均的な夕景の画素値レベルと比較する。そして、こ れらが類似している場合には、当該画像を夕景画像であるとする。夕景画像は、画 像自体が暗くても良い、ローキー画像である。

[0024] 以上によれば、ローキー画像について、さらに夜景画像、夕焼け画像を判別するこ とができるため、より精度の高い判別が可能となる。

こうして、ローキー画像、アンダー画像を精度よく判別し、さらには、夜景や夕景の 画像を特定判別することで、明るさ補正を実施する際、画像が暗い調子で階調は適 切であるローキー画像を誤って明るく補正したり、また画像が暗い調子で階調は適切 でな、アンダー画像を誤って喑、状態のままにしたりすることなぐまた夜景であれば 、よりコントラストを強調して夜景をより好ましい画質に変換したり、夕景であれば夕景 特有の色合いの彩度を強調して、より好ましい画質に変換するなど、より精度の高い 自動画質改善技術を実現できる。

[0025] 図 6は、本発明の実施形態の画像判別装置のブロック図である。

外接画素採取部 10は、入力画像から外接画素を採取する。低レベル画素採取部 11は、外接画素の中から、画素階調レベルが低い画素を採取する。外接画素領域 拡張部 12は、外接画素が含まれる領域と同じ画素領域を得る処理を行う。たとえば、 外接画素が山の部分に当たる場合には、画像中の山が写っている領域を抽出する。 ローキー画像判定部 13は、図 2、図 3の方法で、画像がローキー画像かアンダー画 像かを判断する。夜景画像判定部 14は、図 4の方法で、ローキー画像であって夜景 画像である画像を判別する。夕景画像判定部 15は、図 5の方法で、ローキー画像で あって夕景画像である画像を判別する。夕景画像判定部 15で、夕景画像と判定され なかった画像がローキー画像である。

[0026] 以下、各部について説明する。

まず、画像を外接画素採取部 10に入力する。外接画素採取部 10では、入力画像 矩形の端部に接する外接画素の階調レベル値 Poutを探索して、あらかじめ決めて おいた、閾値 THdarklと比較する。階調レベル値 Poutが THdarkl未満であれば、 暗い画素として判別し、 THdarkl以上であれば明るい画素として判別を行い、暗い 画素をして判別された画素数をカウントし、これを Coutとする。ここで、階調レベル値 は、画素の明るさを調べるために用いるので、明度値であるが、彩度と色相について も同様の処理をしても良い。また、画素力 ¾GB値で表されている場合には、 R値、 G 値、 B値それぞれが所定の閾値以上となっているか否かを判断するようにしても良い 。階調レベルについては、以下同様である。

[0027] ここで、あら力じめ決めておいた閾値 THdarklは、十分暗いレベル値と判別される 画素値を固定値として採用すればよい。あるいは、入力画像ごとに階調レンジが異な る場合は、入力画像各々について、階調レベル値の累積度数分布を採取して、あら 力じめ決めておいた割合 Rdarklを用いて、画像の全画素数に対して、割合 Rdarkl の画素数分の画素を下位レベル値側から探索して、下位レベルから採取した画素の 数が全画素数の割合 Rdarkl分となった階調レベル値を算出して閾値 THdarklとし て採用してもよい。

[0028] たとえば、 256階調の画素について、閾値 THdarklについて固定値とする場合は 、 THdarkl = 10を採用し、画像ごとに異なる階調レンジに対して、ダイナミックに決 定する場合は、割合 Rdarkl =0. 01 (1%)として、画像の下位レベルから 1%分の 画素を採取して、採取された画素の最大階調レベル値を THdarkl = 20などとして 採取するようにする。以上から、暗い画素として判別された画素数 Coutが算出決定 される。

[0029] つづ!/、て、画像を低レベル画素採取部 11に入力する。低レベル画素採取部 11で は、入力画像の全画素を探索して、あらカゝじめ決めておいた、閾値 THdark2を用い て、階調レベル値が THdark2未満であれば、暗い画素として判別し、 THdark2以 上であれば明る!/、画素として判別を行、、喑、画素をして判別された画素数をカウン トし、これを Cdarkとする。

[0030] ここで、あらかじめ決めてお!、た閾値 THdark2は、十分喑、レベル値と判別される 画素値を固定値として採用してよい。あるいは、入力画像ごとに階調レンジが異なる 場合は、入力画像各々について、階調レベル値の累積度数分布を採取して、あらか じめ決めておいた割合 Rdark2を用いて、画像の全画素数に対して、割合 Rdark2の 画素数分の画素を下位レベル値側から探索し、画素の数が全体の画素数の割合 Rd ark2となる画素まで下位レベルカゝら採取したときの、採取された最大の階調レベル 値を閾値 THdark2として採用してもょ、。

[0031] たとえば、 256階調の画素について(ここでは、 1つの階調値のみがあるとして説明 するが、実際には、 R値、 G値、 B値が存在し、それぞれについて処理を行う。あるい は、 RGB値を明度値に変換して力も処理を行ってもよい。)、閾値 TH2について固 定値とする場合は、 THdark2 = 60を採用し、画像ごとに異なる階調レンジに対して 、ダイナミックに決定する場合は、割合 Rdark2 = 0. 3 (30%)として、全画像の画素 値の下位レベルから 30%分の数の画素を採取して、採取された画素のうちの最大の 階調レベル値を THdark2=40などとして採取するようにする。

[0032] ここで、得られた画素数 Cdarkと、入力画像の全画素数 Callを用いて、全体画素数 に対する Cdarkの割合 Rdark ( = Cdark/Call)が算出決定される。

[0033] つづいて、画像を外接画素領域拡張部 12に入力する。前段の外接画素採取部 10 で探索された、外接画素 Poutに基づいて、領域拡張を行う。領域拡張とは、一般的 なラベリング処理をさす。ラベリング処理においては、注目画素をスタート画素として エリア番号のラベルをつけ、この画像の周囲画素を探索して、スタート画素との色差 力 あら力じめ決めておいた色差 DIFFreg以内であれば、スタート画素と現在注目し ている周囲画素は、同一エリアとみなし、スタート画素と同じエリア番号のラベルを与 える動作を行う。新たにラベルを与えた周囲画素を再びスタート画素にして、探索を 繰り返し、ラベリングする画素がなくなるまで、処理を繰り返す。

[0034] 図 7は、領域拡張処理を説明する図である。

まず、図 7の(1)にあるように、外接画素力領域拡張をするための元になる画素を 選ぶ。図 7の(1)においては、「1」、「2」、「3」とラベリングされた画素が領域拡張を行 うための元になる画素である。次に、図 7の(2)に示されるように、「1」、「2」、「3」とラ ベリングされた画素に隣り合う画素の階調値とラベリングされた画素の階調値との差 を計算し、計算値が閾値以下であれば、両者は同じ領域に属する画素であるとして、 ラベリングされた画素と、これに隣接する画素に同じラベルを付与する。たとえば、図 7の(3)に示されるように、「1」の画素の階調値とこの隣接画素の階調値の差が閾値 以下であれば、この隣接画素にはラベル「1」を与える。同様に、階調値の差が閾値 以下であれば、「2」の画素の隣接画素には、ラベル「2」を、「3」の画素の隣接画素に は、ラベル「3」を付与する。こうして、画像矩形の外接画素をスタート画素にして、領 域拡張を行い、外接画素と連続するとみなされる画素領域を採取し、得られた拡張 領域の画素を Sregとする。そして、拡張領域に含まれる画素をスタート画素に再設 定し、同様の処理を行い、拡張処理がこれ以上進まない状態になるまで、処理を繰り

返す。

[0035] さらに、得られた Sregについて、 Sreg領域に該当する画素を探索して Sreg内画素 の標準偏差 STDEVregを採取する。 STDEVregは、領域拡張された中の画素階調 値の変化量を示し、階調が大きく変動する場合は大きな値を示し、階調値の変化量 力 S小さ、場合は小さな値を示すものである。こうして画像矩形の外接画素の連続した 画素領域の階調変化量 STDEVregが算出決定される。

[0036] つづいて、ローキー画像判定部 13に、前述の外接画素採取部 10で得られた Cout

、および、低レベル画素採取部 11で得られた Rdark、および、外接画素領域拡張部

12で得られた STDEVregの 3つの情報を入力する。

[0037] Coutが THjudgel以上であり、かつ Rdarkが THjudge2以上であり、かつ STDE

Vregが THjudge3未満である場合を、ローキー画像としで判別し、それ以外はアン ダー画像として判別する。

[0038] Coutは、値が大きくなるにつれて画像矩形に外接する画素が増えるか、ローキー 特有の暗闇領域に該当する画素が増えることを意味し、ローキーの可能性が高いこ とを示す。

[0039] また、 Rdarkは値が大きくなるにつれて、入力画像が暗い画像であることを示すが、 画像の外接部分のすぐ内側に明るい画素が多数存在するような画像の場合は、本 値が小さくなり、ローキー画像やアンダー画像である可能性は低くなる。

[0040] また STDEVregは、値が高くなるほど、矩形外接の画素と連続する暗闇領域につ いて階調変化があるため、元来階調があり画像がアンダーである可能性が高いことを 示し、値が低い場合は、階調変化が少なぐたとえば、元来階調の少ない夜景背景 の暗闇の領域であり、画像はローキーである可能性が高いことを示す。

[0041] つづヽて、ローキー画像と判定された画像を、夜景画像判定部 14に入力する。夜 景画像判定部 14では、入力画像の画素 Pnightを探索して、あらかじめ決めておい た、閾値 THbrightを用いて、階調レベル値が THbright以上であれば、明るい画素 として判別し、 THbright未満であれば暗い画素として判別を行い、明るい画素をし て判別された画素領域を探索して、これを Sbrightとする。

[0042] ここで、あらかじめ決めてお!、た閾値 THbrightは、十分明る!/、レベル値と判別され る画素値を固定値として採用してよい。あるいは、入力画像ごとに階調レンジが異な る場合は、入力画像各々について、階調レベル値の累積度数分布を採取して、あら カゝじめ決めておいた割合 Rbrightを用いて、画像の全画素数に対して、割合 Rbrigh tの画素数分の画素を上位レベル値側力探索 ·採取して、上位レベル力採取した 画素の数が全画素数の割合 Rbrightとなった場合に、採取された画素のうちの最低 の階調レベル値を閾値 THbrightとして採用してもよい。

[0043] たとえば、 256階調の画素について、閾値 THbrightについて固定値とする場合は 、 THbright = 245を採用し、画像ごとに異なる階調レンジに対して、ダイナミックに 決定する場合は、割合 Rbright=0. 01 (1%)として、画像の上位レベル側から 1% の画素を採取して、採取された画素内の最低の階調レベル値を THbright= 250な どとして採取するようにする。以上から、明るい画素として判別された画素領域 Sbrig htが算出決定される。

[0044] つづ!/、て、得られた Sbrightの画素領域の周囲画素を探索して、これら周囲画素 領域 Sroundを決定する。

Sroundは、 Sbrightをあらかじめ決めてお!、た画素数 Wを用いて膨張処理を行つ て生成すればよい。または、画像上であら力じめ決めておいたサイ WXWピクセル によるウィンドウ探索処理を行って決定してもよ、。

[0045] 図 8は、ウィンドウ探索処理を説明する図である。

図 8では、 3 X 3のウィンドウを使っている。図 8の(1)から(2)のように、ウィンドウを 画素領域上で移動し、ウィンドウの中心に、明るい画素 Sbrightがあるか否かを判断 する。図 8の(1)、(2)では、 Sbrightは、ラベル「1」の画素として表されている。そし て、 Sbrightが、図 8の(3)に示されるように、ウィンドウの中心にきたら、ウィンドウに 含まれる他の画素は、 Sbrightの周囲画素領域 Sroundであるので、 Sbrightと同じ ラベル「1」を付けて、 Sroundとして登録する。これにより、画素領域内のどの画素が 、どの Sbrightの周囲画素であるかが分力るようになる。

[0046] Wは 1以上の整数値である。画像の画素を探索して、注目画素が Sbright上であつ たなら、 WXWサイズのウィンドウ内にある画素で、 Sbrightの対象画素でないものは 、 Sroundとして採用する。こうしてウィンドウ処理を全ての画素上で行い、 Sbright領 域を決定する。

[0047] たとえば、膨張処理による場合や、ウィンドウ処理による場合にぉ、て、 W= 3とヽ つた数値を採用する。以上から、明るい画素領域の周囲画素領域 Sroundが算出決 定される。

[0048] なお、図 8では、 Sbrightは、単一の画素として示している力実際には、画素領域 内の明るい部分は、複数の画素で構成されているのが通常であるので、 Sbrightは、 明る、複数の画素で構成された領域となる。

[0049] つぎに、 Sbright画素領域と、 Sround画素領域の階調変化を探索して、階調の勾 配 SLを算出する。

階調の勾配 SLは、 Sbright領域の画素平均レベル値 AVEbrightを算出し、また S roundの画素平均レベル値 AVEroundを算出して、以下の数式によって算出する。

[0050] SL= | AVEbright - AVEround | /W

ここで、 AVEroundについて、 Sroundの画素平均レベルとしたが、 Sroundには S brightが隣接している。 Sroundと Sbrightをあわせた Sround+brightによって、画 素平均レベル値 AVEround+brightを算出し、勾配 SLを求めてもよい。この場合、 計算式は、以下のようになる。

[0051] Sround+bright = Sround + Sbright

SL= I AVEbright - AVEround+bright | /W

つぎに、あらかじめ決めておいた、閾値 THslopeを用いて、階調の勾配 SLが THslope以上であれば、入力画像は夜景画像であると判定し、 THslope未満であ れば、夜景画像ではないと判定する。

[0052] THslopeは、値が大きくなると、明るい画像領域 Sbrightから周囲画素の Sround にかけて急激に明るさが変わり、夜景に特有の街灯やネオンサインなどの発光体や 光源の周囲に、暗闇背景画像が分布している様子を示す。一方、 THslopeの値が 小さくなると、明るさの変化が急激でなくなり、なだらかに階調が変化して、街灯ゃネ オンサインが存在しな!、画像状態する階調分布を示して!/ヽる。

[0053] 前述の勾配 SLの算出における、 Sroundを用いる場合と、 Sround+brightを用い る場合では、 Sround+brightを用いる場合は明る、Sbrightの領域の影響を受け てしまうが、夜景画像における勾配が大きくなる特徴と、夜景意外の画像における勾 配が小さくなる特徴は、 Sroundおよび Sround+brightの両者の場合で成立する。 よって、勾配 SLの算出においては、 Sroundを用いても Sround+brightを用いても よい。

[0054] たとえば、 256階調の画像において、閾値 THslope = 200といった値を採用する。

こうして、入力画像がローキーで、かつ、夜景であるか、もしくは、ローキーであるが夜 景ではないか、を判別決定する。

[0055] つづいて、ローキー画像であるが夜景画像でないと判別された画像を、夕景画像 判定部 15に入力する。夕景画像判定部 15では、入力画像の画素 Psunsetを探索し て、あらかじめ決めておいた、閾値 THsunsetを用いて、階調レベル値が THsunset 以上であれば、明るい画素として判別し、 THsunset未満であれば暗い画素として判 別を行い、明るい画素と判別された画素領域を探索 '採取して、これを Ssunsetとす る。

[0056] ここで、あらかじめ決めてお!、た閾値 THsunsetは、十分明る!/、レベル値と判別さ れる画素値を固定値として採用してよい。あるいは、入力画像ごとに階調レンジが異 なる場合は、入力画像各々について、階調レベル値の累積度数分布を採取して、あ らカじめ決めておいた割合 Rsunsetを用いて、画像の全画素数に対して、画素の数 が割合 Rsunsetの画素数分の画素を上位レベル値側カゝら探索 *採取して、採取され た画素の数が全画素数に対して割合 Rsunsetとなった場合に、採取された画素の内 の最低の階調レベル値を閾値 THsunsetとして採用してもよい。

[0057] たとえば、 256階調の画素について、閾値 THsunsetについて固定値とする場合 は、 THsunset = 200を採用し、画像ごとに異なる階調レンジに対して、ダイナミック に決定する場合は、割合 Rsunset=0. 3 (30%)として、画像の上位レベル側から 3 0%の画素を採取して、採取された画素の内の最低の階調レベル値を THsunset= 210などとして採取するようにする。以上から、明るい画素として判別された画素領域 Ssunsetが算出決定される。

[0058] 次に、 Ssunsetの領域画素について、平均明度 Lsunset、平均彩度 Csunset、平 均色相角度 Hsunsetを算出する。

ここで、あら力じめ決めておいた、平均的'一般的な夕焼けの明度 Lref、彩度 Cref 、色相角度 Hrefと、比較して、平均明度 Lsunset、平均彩度 Csunset、平均色相角 度 Hsunsetを比較して、色差 DIFFsunsetを求める。たとえば、色差 DIFFsunsetは 以下の算式を使用する。

[0059] DIFFsunset = a | Lsunset - Lref | +

b | Csunset ― Cref | +

c | Hsunset ― Href |

ここで、 a、 b、 cは、明度、彩度、色相角度の内いずれを重視するかを決める重み 係数である。

[0060] たとえば、 a = b = c= l、平均的、一般的な夕景の明るい画素領域の参照値として 、 Lref = 220、 Cref = 30、 Href =60° (橙色を中心とし、赤〜黄色の色相部分)を 採用する。

[0061] つぎに、色差 DIFFsunsetについて、あらかじめ決めておいた、閾値 THdiffsunse tを用いて、色差が THdiffsunset未満であれば、ローキー画像で、かつ、夕景画像 である、として判別し、色差が THdiffsunset以上であれば、ローキー画像だが夕景 でない画像、として判別する。

[0062] たとえば、入力画像が夕景画像の特徴に近いかどうかを判定する閾値を THdiffsu nset= 24などとして採用する。

こうして、入力画像がローキーでかつ夕景である力、もしくはローキーであるが夕景 ではないか、を判別決定する。

[0063] 以上説明したように、本説明によれば、入力画像をローキー画像であるかアンダー 画像であるかを判別し、ローキー画像である場合は、さらに夜景画像であるか夕景画 像であるかを精度良く高速に判別することができる。

[0064] なお,本実施形態の手順のうち、外接画像採取部 10のみ実施してローキー画像と アンダー画像を判定して処理を終了する場合や、外接画像採取部 10と低レベル画 素採取部 11のみ実施してローキー画像とアンダー画像を判定して処理を終了する 場合や、外接画像採取部 10と低レベル画素採取部 11とローキー画像判定部 13の みを実施してローキー画像とアンダー画像を判定して処理を終了する場合、外接画

像採取部 10と低レベル画素採取部 11とローキー画像判定部 13と夜景画像判定部 1 4のみを実施してローキー画像とアンダー画像を判定して処理を終了する場合など でも処理を実施することができ、そのような実装では、より高い精度でのローキー画像 の判別や夜景'夕景等の判別まではできないが、処理速度を高めることができる。

[0065] 図 9〜図 17は、本発明の実施形態に従った処理のフローチャートである。

図 9は、外接画素処理部の処理フローである。

まず、ステップ S 10において、閾値より小さな階調レベルを有する外接画素の数を 計数する変数 Coutを 0に初期化する。ステップ S 11において、外接画素 Poutの階 調レベルを採取する。ステップ S12において、 Poutの階調レベルが所定の閾値 TH darklより小さいか否かを判断する。ステップ S12の判断が Noの場合には、ステップ S14に進む。ステップ S12の判断が Yesの場合には、ステップ S13において、 Cout を 1だけ増加し、ステップ S14に進む。ステップ S14においては、全外接画素 Poutに ついて、階調レベルを採取したカゝ否かを判断する。ステップ S 14の判断が Noの場合 には、ステップ S11に戻り、他の外接画素 Poutの階調レベルを取得して、以下の処 理を行う。ステップ S 14の判断が Yesの場合には、ステップ S 15において、 Coutを出 力して処理を終了する。

[0066] 図 10は、 THdarklの決定方法示す処理フローである。

図 10 (b)のフローチャートでは、閾値 THdarklを画像ごとにダイナミックに設定す るための処理を示している。閾値 THdarklの決め方は、図 10 (a)のような画素の階 調レベルの発生累積度数を表すヒストグラムを生成し、このヒストグラムに基づ、て閾 値 THdarklを決定するというものである。

[0067] まず、ステップ S20において、ヒストグラムを形成するための配列 Cnt[256]を 0に 初期化する。ステップ S21において、画像中の画素の階調レベル値 Pixを採取する。 ステップ S22において、階調レベル Pixの累積度数 Cnt [pix]を 1だけ増加する。ステ ップ S23において、すべての画素の画素値 Pixについてカウントをしたか否かを判断 する。ステップ S23の判断が Noの場合には、ステップ S21〖こ戻る。ステップ S23の判 断が Yesの場合には、ステップ S24に進む。

[0068] ステップ S24においては、閾値 THdarklを 0に初期化し、ステップ S25において、 Mに、階調レベル iの累積度数をカ卩算する。ステップ S26において、ステップ S25で 演算された画素の累積度数が全画素数の所定の割合 (Rdarkl:予め決めておく)以 上になったカゝ否かを判断する。ステップ S26の判断が Noの場合には、階調レベル iを 1だけ増加し、ステップ S25に戻って、次の階調レベルまでの累積度数を計算する。 ステップ S26の判断が Yesの場合には、ステップ S28において、 iの値を閾値 THdar klに設定して、出力する。

[0069] 図 11は、低レベル画素採取部の処理フローである。

ステップ S30にお!/、て、低階調レベルの画素数をカウントする変数である Cdarkを 0 に初期化する。ステップ S31において、画像画素の階調レベル値 Pixを採取する。ス テツプ S32において、採取された階調レベル値 Pixが、閾値 THdark2より小さいか否 かを判断する。この閾値 THdark2は、予め決めておくか、図 10と同じ方法で決定し ておく。ステップ S32の判断が Noの場合には、ステップ S34に進む。ステップ S32の 判断が Yesの場合には、ステップ S33において、 Cdarkを 1だけ増加する。そして、ス テツプ S34において、全画素の Pixについて採取'処理したか否かを判断する。ステ ップ S34の判断が Noの場合には、ステップ S31に戻る。ステップ S34の判断が Yes の場合には、ステップ S35において、画像の全画素数 Callを用いて、 CdarkZCall を計算し、 Rdarkとする。ステップ S36において、 Rdarkを出力し、処理を終了する。

[0070] 図 12は、外接画素領域拡張部の処理フローである。

まず、ステップ S40において、外接画素をラベリングする配列 Sregを初期化し、外 接画素 Poutをスタート画素 Pnextに設定する。 Sregは外接画素の数だけ設ける。ス テツプ S41にお!/、て、スタート画素 Pnextとスタート画素 Pnextに接する隣接画素 Pc loseを採取する。ステップ S42において、 Pnextの階調レベルと Pcloseの階調レべ ルの差の絶対値が予め決められた閾値 DIFFegより小さいか否かを判断する。ステツ プ S42の判断が Yesの場合には、 Pcloseと Pnextは同一領域に属すると判断し、 Pc loseを Sreg [Pnext]に登録する。ステップ S44では、同一エリアとして判断された Pc loseを新たにスタート画素 Pnextとして設定して、ステップ S41に戻る。ステップ S42 の判断が Noの場合には、ステップ S45において、すべての外接画素 Poutについて 領域拡張処理を施したか否かを判断する。ステップ S45の判断が Noの場合には、ス

テツプ S41に戻って、処理を繰り返す。ステップ S45の判断が Yesの場合には、ステ ップ S46において、各スタート画素について、 Sreg内の階調レベルの標準偏差 STD EVregを計算し、ステップ S47で、これを出力して、処理を終了する。

[0071] 図 13は、ローキー画像判定部の処理フローである。

ステップ S50において、上記で計算された Cout、 Rdark、 STDEVregを入力し、ス テツプ S51において、 Coutが THjudgel以上であり、かつ、 Rdarkが THjudge2以 上であり、かつ、 STDEVregが THjudge3以下であるか否かを判断する。ここで、閾 値 THjudgel、 THjudge2、 THjudge3は、予め決めておく。ステップ S51の判断が Yesの場合には、ステップ S52において、画像はローキー画像であると判定し、結果 を出力する。ステップ S51の判断が Noの場合には、画像はアンダー画像であると判 定し、結果を出力する。

[0072] 図 14及び図 15は、夜景画像判定部の処理フローである。

ステップ S55において、画像内の明るい画素を登録する配列 Sbrightを全画素数 分用意し、 0に初期化する。ステップ S56において、画素 Pnightの階調レベルを採 取する。ステップ S57において、画素 Pnightの階調レベルが THbrightより大きいか 否かを判断する。 THbrightは、予め決めておいても良いし、図 10と同じ方法によつ て画像ごとに決定しても良い。ステップ S57の判断が Noの場合には、ステップ S59に 進む。ステップ S57の判断が Yesの場合には、ステップ S58において、 Pnightは、明 るい画素であると判別し、 Sbrightに登録する。ステップ S59において、全画素につ いて階調レベルを採取し、処理したか否かを判断する。ステップ S59の判断が Noの 場合には、ステップ S56に戻って処理を繰り返す。ステップ S59の判断が Yesの場合 には、ステップ S60に進む。

[0073] ステップ S60においては、明るい画素 Sbrightの近傍画素を採取して、 Sroundと する。ステップ S61について、すべての Sbrightについて近傍画素の取得処理を行 つたか否かを判断する。ステップ S61の判断が Noの場合には、ステップ S60に戻つ て、近傍画素の採取を行う。ステップ S61の判断が Yesの場合には、ステップ S62に おいて、 Sbrightに属する画素の平均階調レベルを算出する。ステップ S63では、 Sr oundに属する画素の平均階調レベルを算出する。ステップ S64においては、明るい 画素とその近傍画素の階調レベルの勾配を以下の式に基づいて算出する。

勾配 SL= | AVEbright - AVEround | /W

ここで、 Wは、近傍画素を採取する際に用いたウィンドウの幅である。近傍画素を採 取する際に、ウィンドウを使った方法ではなぐ領域拡張処理を使った場合には、 W は 1である。

[0074] ステップ S65においては、 SL力予め設定される閾値 THslope以上か否かを判断 する。ステップ S65の判断が Yesの場合には、ステップ S66において、画像は夜景画 像であると判定し、結果を出力する。ステップ S65の判断が Noの場合には、画像は 夜景画像ではないと判定し、結果を出力する。

[0075] 図 16及び図 17は、夕景画像判定部の処理フローである。

ステップ S70において、夕景画像の判定に使う画素の登録に使う配列 Ssunsetを 全画素数分用意し、 0に初期化する。ステップ S71において、画像の画素を Psunset として採取し、ステップ S72において、画素 Psunsetの階調レベルが予め定められる THsunsetより大きいか否かを判断する。ステップ S72の判断が Noの場合には、ス テツプ S74に進む。ステップ S72の判断が Yesの場合には、ステップ S73において、 当該画素 Psunsetは、明るい画素であると判断し、 Ssunsetに登録する。ステップ S7 4においては、画像の全画素を採取し、処理したか否かを判断する。ステップ S 74の 判断が Noの場合には、ステップ S71に戻る。ステップ S74の判断が Yesの場合には 、ステップ S75において、 Ssunsetに登録されている明るい画素すべてについて平 均明度 Lsunsetを算出する。ステップ S76において、 Ssunsetの明るい画素につい て、平均彩度 Csunsetを算出する。ステップ S77において、 Ssunsetの明るい画素 について、平均色相 Hsunsetを算出する。ステップ S78において、以下の式により、 色差 DIFFsunsetを計算する。

DIFFsunset = a | Lsunset— Lref | +b | Csunset— Cref | +c | Hsunset— H ref I

ここで、 a、 b、 cは、上記式の内、その項を重視するかを決定する重み係数であり、 L refは、平均明度の基準値、 Crefは、平均彩度の基準値、 Hrefは、平均色相の基準 値である。各基準値は、典型的な夕景画像を用いて予め算出し、設定しておくべきも

のである。

[0076] ステップ S79において、 DIFFsunsetが、予め設定される閾値 THdiffsunsetより 小さいか否かを判断する。ステップ S79の判断が Yesの場合には、ステップ S80にお いて、画像がローキー画像であり、かつ、夕景画像であると判定し、結果を出力する。 ステップ S79の判断が Noの場合には、画像はローキー画像である力夜景でも夕景 でもない画像であると判定し、結果を出力する。

[0077] 以上の本発明の実施形態の画像判別方法は、デジタルカメラ、イメージスキャナ、 プリンタ、新聞や DTPの画像システムなど、画像を扱う装置やアプリケーションプログ ラムに適用が可能である。