Processing

Please wait...

Settings

Settings

Goto Application

1. WO2007145235 - ABNORMAL REGION DETECTING DEVICE AND ABNORMAL REGION DETECTING METHOD

Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters

[ JA ]
明 細書

異常領域検出装置および異常領域検出方法

技術分野

[0001] 本発明は、画像を取り込んで自動的に通常とは異なる領域を検出する異常領域検 出装置および異常領域検出方法に関するものである。

背景技術

[0002] 従来、例えばフレキシブル配線基板のフィルムの欠陥検査にぉ、て、線が断線し ている場合は通電により検出可能であるが、製品の欠陥の原因となる恐れのある線 の細りなどは通電では検出できない。従って、細り等の異常は目視、あるいは画像を 用いて検出する必要がある。

目視の場合には、線が微細であるため、画像を拡大する目視検査装置等を利用す る必要がある。また欠陥の製造工程へのフィードバックを行うために、欠陥の座標、程 度を出力する必要があり、手間が力かるので大量の製品を全て検査することが困難 であるという問題点があった。

[0003] そこで、今日では、多くの製品検査において画像を用いた異常検査の自動化がな されている。検査手法としては、例えば製品ごとに登録された基準画像との照合を行 うパターンマッチング手法が採用されて、る。

一方、画像データから特定の図形等を検出したり、登録されている画像との一致 Z 不一致を判定するために各種の技術が提案されている。本発明者らが出願した下記 の特許文献 1には、 2次元画像に対する高次局所自己相関特徴 (以下、 HLACデー タとも記す)を用いた学習適応型画像認識'計測方式の技術が開示されている。 特許文献 1:特許第 2982814号公報

非特干文献 1: Juyang Weng, Yilu Zhang and Wey-bhiuan Hwang, Candidし ovarian ce- Free Incremental Principal Component Analysis", IEEti, fransactions on Pattern Analysis and Machine Intelligence,Vol.25, No.8, pp.1034— 1040, 2003。

非特許文献 2: Dorin Comaniciu and Peter Meer. Mean shift:A robust approach towa rd feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelli gence,Vol.24, No.5, pp.603— 619, 2002。

発明の開示

発明が解決しょうとする課題

[0004] 上記した従来の異常領域検出手法であるパターンマッチング手法にお!、ては対象 に対する汎用性や学習効果が無ぐかつ位置や方向を合わせる必要があり、処理時 間が長ぐ精度が悪いという問題点があった。また、フレキシブル配線基板の導体部 はフィルム上に印刷された榭脂であり、粒状であるため、画像力も直線のエッジ等の 図形を検出し難ぐ欠陥の検出が難しいという問題点があった。

[0005] 一方で、高次局所自己相関特徴を用いた学習適応型画像認識方式においては、 対象 (欠陥領域)が画像のどの位置にあっても同じ検出結果となる位置不変性があり 、対象 (欠陥領域)の位置を特定できないので、欠陥検査に適用できないという問題 点がめった。

[0006] 本発明の目的は、上記したような従来例の問題点を解決し、高次局所自己相関特 徴を用いて異常の有無と共に位置を高い精度で検出できる高速かつ汎用的な異常 領域検出装置および異常領域検出方法を提供する点にある。

課題を解決するための手段

[0007] 本発明の異常領域検出装置は、画像データ力画素毎に高次局所自己相関によ つて特徴データを抽出する特徴データ抽出手段と、所定の距離だけ離れた画素毎 に、その画素を含む所定の範囲の画素群について前記特徴データ抽出手段によつ て抽出された前記特徴データを加算する画素対応特徴データ生成手段と、正常領 域を示す部分空間に対する前記画素対応特徴データ生成手段により生成された特 徴データの異常さを示す指標を計算する指標計算手段と、前記指標が所定値よりも 大き、場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した 画素位置を異常とする判定結果を出力する出力手段とを備えたことを主要な特徴と する。

[0008] また、前記した異常領域検出装置において、前記特徴データ抽出手段は、変位幅 の異なる複数の高次局所自己相関特徴データを抽出する点にも特徴がある。また、 前記した異常領域検出装置において、前記部分空間に対する異常さを示す指標は 特徴データの前記部分空間との距離ある、は角度の情報の、ずれかを含んで、る 点にも特徴がある。

[0009] また、前記した異常領域検出装置において、更に、特徴データ抽出手段によって 抽出された特徴データから主成分分析手法により主成分ベクトルに基づく正常領域 を示す部分空間を求める主成分部分空間生成手段を備えた点にも特徴がある。また 、前記した異常領域検出装置において、前記主成分部分空間生成手段は、逐次的 主成分分析手法により主成分ベクトルに基づく部分空間を求める点にも特徴がある。

[0010] また、前記した異常領域検出装置において、更に、前記画素対応特徴データ生成 手段によって生成された画素対応特徴データ力得られる部分空間と前記部分空間 との正準角に基づく類似度の指標を求め、クラスタリング手法を用いて画素毎にクラ ス分けするクラス分け手段を備え、前記主成分部分空間生成手段は、クラス毎に前 記特徴データを加算してクラス対応の部分空間を求め、前記指標計算手段は、前記 画素対応特徴データ生成手段により生成された特徴データの前記クラス対応の部分 空間に対する異常さを示す指標を計算する点にも特徴がある。

[0011] 本発明の異常領域検出方法は、画像データから画素毎に高次局所自己相関によ つて特徴データを抽出するステップ、所定の距離だけ離れた画素毎に、その画素を 含む所定の範囲の画素群につ!、て前記特徴データを加算するステップ、正常領域 を示す部分空間に対する前記特徴データの異常さを示す指標を計算するステップ、 前記指標が所定値よりも大きい場合に異常と判定するステップ、異常と判定された画 素位置を異常とする判定結果を出力するステップを含むことを主要な特徴とする。 発明の効果

[0012] 本発明によれば、以下のような効果がある。

(1)画素対応に異常判定が可能であり、異常領域の位置を正確に検出可能である。

(2)従来は対象が多数存在していると異常検出精度が低下してしまうが、画素を中 心とする所定の範囲を適切に選択すれば、検出対象が多数あっても異常領域の判 定精度が低下することがな、。

(3)特徴抽出や異常判定のための計算量が少なぐかつ計算量は対象に依らず一 定であるので、高速に処理可能である。

[0013] (4)正常領域を陽に定義することなく統計的に学習しているため、設計の段階で正 常領域とは何かについて定義する必要がなぐ監視対象に則した検出を行うことがで きる。さらに、監視対象についての仮定が不要であり、さまざまな監視対象に対しても 、正常、異常を判別でき、汎用性が高い。また、異常判定と同時に正常領域の部分 空間を更新することにより、正常領域の変化に追従していくことができる。

[0014] (5)対象の種類が複数種あっても位置によってクラス分けすることにより、検出精度が 更に向上する。また、クラス分けを予め処理してもよいし、クラス分け処理を異常判定 と同時に自動的に更新することも可能である。

図面の簡単な説明

[0015] [図 1]本発明による異常領域検出装置の構成を示すブロック図である。

[図 2]本発明による異常領域検出処理の概要を示す説明図である。

[図 3]2次元画素空間における自己相関処理座標を示す説明図である。

[図 4]自己相関マスクパターンの内容を示す説明図である。

[図 5]本発明の異常検出処理の内容を示すフローチャートである。

[図 6]画素対応 HLACデータ生成処理の内容を示すフローチャートである。

[図 7]HLAC特徴データ生成処理の内容を示すフローチャートである。

[図 8]HLAC特徴の部分空間の性質を示す説明図である。

[図 9]入力画像および異常判定結果を表す画像を示す説明図である。

符号の説明

[0016] 10…デジタルカメラ

11 · ··コンピュータ

12…モニタ装置

13· "キーボード

14· ··マウス

発明を実施するための最良の形態

[0017] 本明細書においては、異常領域を「正常領域ではないもの」として定義する。正常 領域は、領域特徴の統計的な分布を考えた場合に分布の集中する領域であるものと すれば、統計的な分布として教師無しで学習可能である。そして、その分布力も大き く逸脱する領域を異常領域とする。

[0018] 異常領域検出の具体的な手法としては、高次局所自己相関特徴による領域特徴 空間の中で正常領域特徴の部分空間を生成し、その部分空間力もの距離あるいは 角度を指標として異常領域を検出する。正常領域部分空間の生成には例えば主成 分分析手法を用い、例えば累積寄与率 0.99の主成分ベクトルにより主成分部分空間 を構成する。

[0019] ここで、高次局所自己相関特徴には、対象の切りだしが不要で画面内においてカロ 法性があるという性質がある。この加法性により、正常領域部分空間を構成すると、画 面内に正常な配線が何本あっても特徴ベクトルは正常領域部分空間の中に収まるこ とになり、その中の一力所でも異常領域が存在すると、部分空間から飛び出して異常 値として検出できる。線を個々にトラッキングし、切り出す必要がないため、計算量は 線の数に比例することなく一定となり、高速に計算可能である。

[0020] また、本発明においては、対象の位置を検出するために、所定の距離(1画素以上 の任意の距離)だけ離れた画素毎に、この画素を含む(中心とする)所定の領域の H LACデータを積算した画素対応 HLAC特徴データを求め、このデータと正常領域部 分空間との距離あるいは角度によって異常判定を行う。この処理によって画素毎の 正常 Z以上の判定が可能である。

画像データからの領域特徴の抽出には、高次局所自己相関 (HLAC)特徴を用いる 。 HLAC特徴の第 k成分は次の数式 1で与えられる。

[0021] [数 1]

BNk ) = jWxH I(r)I(r + ) -/(r + aNk )dr

a、 a N

[0022] ここで、 I(r)は画像を表し、変数 r (参照点)と N個の局所変位は、画面内の座標 x , yを成分として持つ二次元のベクトルである。 B N kは、 N個の局所変位を列成分とし た局所変位行列である。さらに、積分範囲は WX Hの画像領域とし、 W, Hは画像の 幅と高さを表す。

[0023] また、本発明では、 HLAC特徴に対して近傍領域を 3 X 3に限らずさらに広い領域 の高次相関も抽出する。そこで、行列 Rを用いて、下記のように定式ィ匕される立体高 次局所自己相関特徴を考える。

[数 2]

え' 0

0 λ y

h(BNk iR) = J/(r)/(r + Ra^- -I(r + RaNk )dr

= KRBNk )

この特徴は、画像 I(r)に対して、画像平面内のスケールを水平方向に ΐΖλχ倍、垂 直方向に ΐΖλ y倍縮小した画像 I amp (r,R)=I(Rr)カゝら抽出した特徴量に比例する特徴 量となる。即ち I (r,R)に対して抽出される CHLAC特徴 h (Br,R)は以下のようになる

[0026] [数 3]

KmP (BN , R) R)dr


r'= Rrとおくと


丁 jl (r,)I (r,+ Ra … I (r,+ RaNk )dr,


[0027] 従って、行列 Rを用いてより広い範囲の相関をとつた特徴量は、元の画像を縮小し た画像力も抽出した HLAC特徴量の λ λ倍であることが分かる。実際に、ある対象 力もより多くの相関特徴を抽出しようと考えた場合、対象や画像に応じて画像のスケ ールを適切に変化させる必要がある力これらのパラメータによって、対象の特徴がう

まく抽出できるようにスケールを調整することができる。

[0028] そこで、スケールに対してロバストにするために、スケールの異なる特徴(λ , λ ) をベクトルの成分に追加し、それを新たな特徴として用いる。例えば、(え,え) = (1

, 1)で抽出した特徴と(λ , λ ) = {2, 2)で抽出した特徴を組み合わせることで 35

X 2次元のスケールにロバストな特徴を得る。

[0029] (実施例 1)

図 1は、本発明による異常領域検出装置の構成を示すブロック図である。デジタル カメラ 10は例えば検査対象となる製品の画像データを出力する。顕微鏡に組み込ま れたカメラであってもよ、。デジタルカメラ 10はモノクロでもよ!/ヽしカラーカメラであつ てもよい。コンピュータ 11は例えば USB等の画像を取り込むための入力端子を備え た周知のパソコン(PC)であってもよい。本発明は、パソコンなどの周知の任意のコン ピュータ 11に後述する処理のプログラムを作成してインストールして起動することによ り実現される。

[0030] モニタ装置 12はコンピュータ 11の周知の出力装置であり、例えば異常領域が検出 されたことをオペレータに表示するために使用される。キーボード 13およびマウス 14 は、オペレータが入力に使用する周知の入力装置である。なお、デジタルカメラ 10は 任意の通信網を介してコンピュータ 11と接続されてヽてもよヽし、メモリカードを介し てコンピュータ 11にデータを転送してもよ、。

[0031] 図 2は、本発明による異常領域検出処理の概要を示す説明図である。例えば 360 画素 X 240画素、 256階調グレースケールの入力画像データ(a)について、まず変 位幅 1、即ち変位幅が画素幅と等しく設定して、画素毎に画素対応 HLACデータを計 算する(b)。 HLACデータについては後述する。次に、変位幅を 2、即ち画素幅の 2倍 に設定して同じように画素毎に画素対応 HLACデータを計算する (b)。この処理を変 位幅の最大値 (例えば 3)まで繰り返す。この結果、変位幅毎の画素対応 HLACデー タ )が得られる。

[0032] 次に、変位幅毎に HLACデータ(c)を加算 (g)して求めた特徴データの集合を全 H LAC特徴データ (h)とする。そして、全 HLAC特徴データ (h)から主成分分析ある!/ヽ は逐次的主成分分析によって主成分部分空間を求める(i)。通常、画像のほとんど

の領域は正常な領域であるので、この主成分部分空間は正常領域の特徴を表して いる。

[0033] 一方、変位幅毎の画素対応 HLACデータ(c)から、変位幅毎に、注目画素を移動さ せながら、注目画素を中心とする所定領域 (例えば 10 X 10)の HLACデータを加算 する処理を行い(e)、画素対応 HLAC特徴データ (f)を得る。最後に、画素毎に正常 部分空間と画素対応 HLAC特徴データとの距離あるいは角度によって異常判定を行 い (j)、異常と判定された画素位置を異常領域として表示、出力する (k)。

[0034] なお、本発明にお、ては、正常領域の部分空間生成処理 (g)、 (i)を予め画像の全 領域あるいはランダムにまたは規則的にサンプリングした一部の領域にっ、て実行し 、得られた正常領域の部分空間情報に基づき異常判定処理 (j)を行ってもよ!、。

[0035] 以下に、処理の詳細について説明する。図 5は、本発明の異常検出処理の内容を 示すフローチャートである。なお、例えば 256階調のグレイスケール画像データが既 に読み込まれているものとする。 S10においては、変位幅えを 1にセットする。 S11に おいては、画像の画素毎に、変位幅えに基づく画素対応 HLACデータを生成し、保 存する。この処理の詳細については後述する。

[0036] 図 3は、 2次元画素空間における自己相関処理座標を示す説明図である。本発明 にお!/、ては、注目する参照画素を中心とする 3 X 3 = 9画素の正方形の内部の画素 について相関を取る(λ = 1の場合)。マスクパターンは、相関を取る画素の組合せを 示す情報であり、正方形の中心である注目画素 (参照点)は必ず選択され、周りが局 所変位を表す。マスクパターンによって選択された画素のデータが相関値の計算に 使用される。

[0037] 図 4は、自己相関マスクパターンの内容を示す説明図である。図 4 (1)は注目画素 のみの最も簡単な 0次のマスクパターン(1個)である。 (2)は 2つの画素が選択されて いる 1次マスクパターン例(計 5個)であり、枠内の数はその画素値を乗算する回数を 示して、る。(3)以降の行は 3つの画素が選択されて、る 3次マスクパターン例(計 2 9個)である。注目画素を移動した場合に重複するパターンを除くと、濃淡画像に対 するマスクパターン、即ち HLAC特徴の成分の数は合計 35個ある。即ち、 1つの 2次 元データに対する高次局所自己相関特徴ベクトルは 35次元となる。

[0038] S12においては、注目画素を移動させながら、注目画素を中心とする所定領域、例 えば 10 X 10の領域の HLACデータを加算して、 λ対応画素対応 HLAC特徴データ を生成する。この処理の詳細については後述する。 S 13においては、全ての画素対 応 HLACデータを加算し、 λ対応全 HLAC特徴データを保存する。

[0039] S14においては、 λに 1を加算する。 S15においては、 λが最高値(例えば 3)を越 えた力否かが判定され、判定結果が否定の場合には SS11に移行するが、肯定の場 合には SS16に移行する。 S16においては、 λ対応画素対応 HLAC特徴データおよ びえ対応全 HLAC特徴データのそれぞれについて、全えについてまとめる。従って、 えの最高値が 3である場合には画素対応 HLAC特徴データおよび全 HLAC特徴デ ータの次元は 35 X 3 = 105次元となる。

[0040] S17においては、主成分分析あるいは逐次的主成分分析手法により全 HLAC特徴 データ力も主成分ベクトルを求め、正常領域の部分空間とする。主成分分析手法自 体は周知であるので概略を説明する。まず、正常領域の部分空間を構成するために 、全 HLAC特徴データから主成分分析により主成分ベクトルを求める。 Μ次元の HLA C特徴ベクトル Xを以下のように表す。

[0041] [数 4]

[0042] なお、 Μ = 35である。また、主成分ベクトルを列に並べた行列 U (固有ベクトル)を 以下のように表す。

[0043] [数 5]


[0044] 主成分ベクトルを列に並べた行列 Uは、以下のように求める。自己相関行列 Rを次 式に示す。

[0045] [数 6]

[0046] 行列 Uはこの自己相関行列を用いて、次の式の固有値問題より求まる。

[0047] [数 7]

RXU = UK

[0048] 固有値行列 Λを次式で表す。

[0049] [数 8]


[0050] 第 Κ固有値までの累積寄与率 α Κは、以下のように表される。

[0051] [数 9]


[0052] そこで、累積寄与率 α Κが所定値 (例えば α Κ =0.99)となる次元までの固有ベクトル u 1 ,...,u Kにより張られる空間を、正常領域の部分空間として適用する。なお、累積寄 与率 OC

Kの最適値は監視対象や検出精度にも依存するので実験等により決定する。 以上の計算を行うことにより、正常領域と対応する部分空間が生成される。

[0053] 次に、固有値問題を解かず、共分散行列を求めずに、インクリメンタルに部分空間 を求める逐次主成分分析手法を説明する。実世界への応用では大量のデータを扱 うため、全てのデータを保持しておくことは難しい。そこで、逐次的に通常領域の部分 空間を学習、更新する。

[0054] 逐次的な主成分分析として考えられる手法としては、まず、ステップごとに固有値問 題を解くことが考えられる。固有値問題に必要な自己相関行列 Rは、次のように更新 される。

[0055] [数 10]

Rx(n) = Rx(n _ 1) + -x( η)χ(η)τ

η η

[0056] ここで Rx(n)は nステップ目の自己相関行列であり、 x(n)は nステップ目の入力べタト ルである。これは、前記した主成分分析手法に忠実ではあるが、ステップごとに固有 値問題を解力なければならないため、計算量が多いという問題がある。そこで、固有 値問題を解くことなく相関行列を求めずに固有ベクトルを逐次更新する手法である C CIPCAを適用する。 CCIPCAの内容については、非特許文献 1に開示されている。

[0057] このアルゴリズムでは、ステップごとに固有値問題を解く必要がないため、非常に高 速な手法となっている。また、この手法では、固有値の収束はあまり良くないが、固有 ベクトルの収束は速いという性質を持つ。第 1固有ベクトルと第 1固有値は、次のよう に更新される。

[0058] [数 11]

n - \ 1

v(n) = ν(η - 1) +—χ{ n)x(n)

n n v(n一 1)

[0059] ここで、固有ベクトルは vZ II v IIであり、固有値は II V IIである。この更新則では、 n が無限大のときに ν(η)〉± λ 1 e 1となることが証明されている。ここでえ 1は、サンプルの 相関行列 Rの最大固有値であり、 e 1はそれに対応する固有ベクトルである。第 n固有 ベクトルと第 n固有値につ!、ては、第 1固有ベクトルと第 1固有値から Gram-Schmidt の直交化法に則って漸ィ匕的に更新され、真の固有値、固有ベクトルに収束すること が示されて、る。詳し、更新アルゴリズムは次のようになる。

[0060] [数 12]

からん個の主要な固有べク トル^ (n\ - - -vk (n を計算する。

" = 1,2,…について以下の処理を行う。

1. u^n) = χ(ή)

2. = 1,2, " ' 1^!1(ん, 2)まで以下の処理を行ぅ。

リもし/ = wならば/番目のベタ トルを

·0) = Μ/ ( に初期化する。

(b)そうでなければ下記の処理を行う。

ν{η - ^ (n) = vi (n - \) + ~' Ui {n)ui (n) 1)

n n ν{η - 1)

+1


[0061] 本発明にお、ては、 CCIPCAで求める固有ベクトルにつ!/、て全次元の Μ個を求め るのではなぐ上限値を決める。固有値問題を解く場合には、固有値を求めて力ゝら累 積寄与率を求め、累積寄与率が例えば 0.99999を越える次元まで取るということを行う 力 CCIPCAでは、次の二つの理由で上限値を設ける。第一に、従来の方法では計 算量が大きいという点である。寄与率を求めるためには、全ての固有値を推定しなけ ればならず、その計算時間は特徴抽出の計算時間を含めない場合でもパソコンで数 十秒も力かってしまう。一方、次元を定数の例えば 4として計算すると数ミリ秒で計算 出来る。

[0062] 2つ目の理由は、この CCIPCA手法においては固有値の収束が遅いという点である 。数千フレームのデータ数に対して CCIPCA手法を用いた場合、最終的に通常領域 部分空間の次元は二百程度であり、収束値である 4に全く収束していないことが分か る。これらの理由により部分空間の次元を一定として求める。このパラメータのおおよ その値は、ある時間幅の入力ベクトルに対して一度固有値問題を解くことによって求 めることができる。

[0063] S18においては、 S16にて求めた画素対応 HLAC特徴データと S17で求めた部分 空間との距離 d丄を求める。

[0064] 図 8は、 HLAC特徴の部分空間の性質を示す説明図である。図 8は、説明を簡単に するために、 HLAC特徴データ空間を 2次元(実際には 26 X 3次元)とし、正常領域 の部分空間を 1次元(実施例では例えば累積寄与率 0.99とすると 3〜12次元程度)と したものであり、正常領域の HLAC特徴データが監視対象の個数ごとの集団を形成 している。

[0065] 主成分分析によって求められた正常領域部分空間 Sは正常領域の HLAC特徴デ ータを含む形で近傍に存在してヽる。これに対して異常領域の HLAC特徴データ A は、正常領域部分空間 Sとの垂直距離 d丄が大きくなる。従って、 HLAC特徴データと 通常領域の部分空間との垂直距離 d丄を測ることによって、容易に異常領域を検出 することができる。

[0066] 距離 d丄は以下のように求める。主成分直交基底 U K =[u 1 ,... ,u K ]によって張られた 正常部分空間への射影子 Pおよびそれに対する直交補空間への射影子 P丄は下記 のようになる。

[0067] [数 13]

P = uKuK'

[0068] U,は行列 Uの転置行列であり、 Iは M次の単位行列である。直交補空間での 2乗 距離、即ち、部分空間 Uへの垂線の 2乗距離 d2丄は、次のように表すことができる。

[0069] [数 14]


= x\IM - UKUK' )VM - UKUK' )x

= x'(IM - UKUKf )x

[0070] 本実施例においては、この垂直距離 d丄を異常である力否かの指標として採用可

能である。但し、上記した垂直距離 d丄はスケール (特徴ベクトルのノルム)により変化 する指標である。従って、スケールの違いによって異なる判定結果が出る恐れがある 。そこで、他の指標として、以下に示す、よりスケールロバストな指標を採用してもよい

[0071] まず部分空間 Sとの角度、即ち sin Θを指標とする場合を考える。しかし、この指標は ノイズなどのスケールが非常に小さい特徴に対しても非常に大きな値が出る指標であ り、あまり適切な指標ではない。そこで、スケール力、さい場合でも小さい値とするた めに、この指標を次のように変更する。

[0072] [数 15]


[0073] ここで cは正の定数である。この指標により異常判定値はスケールに対して補正され 、ノイズにも強い指標となる。この指標は、図 8のグラフ上では原点カゝら—cだけ横軸 方向にずらした点からの角度を測ることを意味する。

[0074] S19においては、距離 d丄が所定の閾値を越えた力否かが判定され、判定結果が 否定の場合には S20に移行する力肯定の場合には S21に移行する。 S20におい ては正常と判定する。また、 S21においては異常と判定する。 S22においては、全て の画素について判定処理が完了した力否かが判定され、判定結果が否定の場合に は S18に移行する力肯定の場合には S23に移行する。 S23においては、判定結果 を出力する。

[0075] 図 6は、 S 11の画素対応 HLACデータ生成処理の内容を示すフローチャートである 。 S30においては、相関パターン対応特徴値をクリアする。 S31においては、未処理 の画素(参照点)を 1つ選択する。 S32においては、未処理のパターンを 1つ選択す る。 S33においては、相関パターンおよび変位幅えに基づいて、前記した数式 1を用 いてパターンと対応する位置の画素輝度値を乗算して相関値を計算する。なお、こ の処理は前記した数式 1における r) r+al)…! (r+aN)の演算に相当する。

[0076] S34においては、相関値を相関パターン対応に保存する。 S35においては、全て

のパターンにつ、て処理が完了したか否かが判定され、判定結果が否定の場合に は S32に移行する力肯定の場合には S36に移行する。 S36においては、相関値群 を画素対応に保存する。 S37においては、全ての画素について処理が完了したか否 かが判定され、判定結果が否定の場合には S31に移行するが、肯定の場合には S3 8に移行する。 S38においては、相関値群の集合を画素対応 HLACデータとして出 力する。

[0077] 図 7は、 S 12の HLAC特徴データ生成処理の内容を示すフローチャートである。 S4 0においては、未処理の画素(参照点)を 1つ選択する。選択方法は全ての画素をス キャンしてもよヽが、画像の XY座標上で 2画素以上の所定の距離だけ離れた画素ご とに選択 (サンプリング)するようにしてもよい。このようにすれば、処理量が軽減される

[0078] S41においては、参照点を中心とする所定の領域の画素対応 HLACデータを加算 する。所定の領域は例えば注目画素を含む(中心とする) 10 X 10であってもよい。な お、この処理は、前記した数式 1において、注目画素を所望の範囲だけ移動 (スキヤ ン)させて相関値を足し合わせる (次元毎に相関値を加算する)積分操作に相当する

[0079] S42においては、加算されたデータを画素対応に保存する。 S43においては、全 ての画素について処理が完了した力否かが判定され、判定結果が否定の場合には S40に移行する力肯定の場合には S44に移行する。 S44においては、特徴加算値 の集合を画素対応 HLAC特徴データとして出力する。

[0080] 図 9は、入力画像および異常判定結果を表す画像を示す説明図である。図 9 (a)は 入力された濃淡画像を表し、図 9 (b)は、本発明の方式により処理した画素ごとの異 常指標値を最大値を 255、最小値を 0として正規化した濃淡画像を表す。中央の欠 陥部分の指標値が大きく(白く)なっており、欠陥が検出されていることが判る。

[0081] (実施例 2)

実施例 1においては、画像全体力正常領域の部分空間を求めている力実施例 2においては、例えば直線状の配線のある領域と丸いパターンが多数存在する領域 とが混在して、るような場合に、領域を直線状の配線のある領域と丸、パターンが多 数存在する領域とにクラス分けし、各クラス毎に正常領域の部分空間を求めて異常 判定を行う。このようにすることにより、判定精度が向上する。

[0082] まず、主成分分析手法あるいは逐次的主成分分析手法により全 HLACデータおよ び画素対応 HLAC特徴データからそれぞれ主成分ベクトルを求める。次に、求めた 2 つの主成分ベクトルの正準角を求め、正準角に基づく類似度によって画素をクラスに 分ける。

[0083] 正準角とは、統計学において二つの部分空間のなす角度を意味し、 M次元部分空 間と N次元部分空間の間には N (≤M)個の正準角が定義できる。第 2正準角 Θ 2は 最小正準角 Θ 1に直交する方向において測った最小角、同様に第 3正準角 Θ 3は 0 2 と Θ 1に直交した方向で測った最小角となる。 F次元特徴空間における部分空間 L 1と

L 2の基底ベクトルを Φ i、 Ψ i、これらから計算される F X Fの射影行列を下記に示す。

[0084] [数 16]


[0085] P 1 P2あるいは P 2 P1の i番目に大きい固有値 λ iが cos2 Θ iとなる。 Μ次元部分空間 L 1と

N次元部分空間 L 2の関係は N個の正準角により完全に規定される。二つの部分空 間が完全に一致して、る場合には N個の正準角はすべて 0度となる。両者が離れる につれて下位の正準角から大きくなり、両者が完全に直交するときにすベての角度 が 90度となる。このように複数の正準角は二つの部分空間の構造的な類似度を表す 。そこで n(≤N)個の正準角を用いて類似度 S[n]を以下のように定義し、この指標を 用いる。

[0086] [数 17]


次に、正準角の類似度によって求めた指標値について、 Mean Shift法を用いてクラ スタリングを行う。 Mean Shift法の内容については下記の非特許文献 2に開示されて

いる。 Mean Shift法は、クラス数を与えないクラスタリング手法であり、どの程度の近傍 を近いものとするかのスケールパラメータを設定する必要がある。本実施例において は、 0から 1の間の値し力持たない正準角の類似度を指標としているため、およそ 0. 1程度のスケールパラメータとする。

[0088] 最後に、クラス毎に画素対応 HLACデータを加算し、加算された HLAC特徴データ カゝら前記したような主成分分析手法あるいは逐次主成分分析手法でクラス毎の主成 分ベクトルを求め、クラス毎の正常領域の部分空間とする。そして、画素対応 HLAC 特徴データと、判定されたクラスと対応する正常領域の部分空間との距離によって異 常判定を行う。

[0089] 以上、異常領域の検出を行う実施例について説明したが、本発明には以下のよう な変形例も考えられる。実施例においては、正常領域の部分空間を更新しながら異 常領域の検出を行う例を開示したが、学習フェーズによって予め正常領域の部分空 間を生成しておき、固定した部分空間を使用して異常領域の検出を行ってもよい。更 に、ランダムサンプリングなどによって少量のデータを前もって学習しておいてもよい

[0090] 実施例にお!、ては、画素毎に特徴データを生成する例を開示した力位置が近接 する特徴データほど類似している。従って、例えば図 9に示す処理を所定の距離だ け離れた画素毎に行うことにより、処理負荷が軽くなり、より高速に領域させることがで きる。但しこの方法は場所を特定する、あるいは検出精度という課題とトレードオフで あり、各課題に対して適切な設定が必要である。

[0091] 実施例にお!、ては、スケールを制御するパラメータである λとして画素の整数倍の 値を使用する例を開示したが、 λとしては小数点以下も含む任意の実数値を採用可 能である。但し、実数値の場合には画素値の補間演算が必要である。また、画像を 小数点以下も含む任意の倍率で拡大縮小処理して力特徴抽出するようにしてもよ い。