Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020110667 - SURFACE DEFECT DETECTING METHOD, SURFACE DEFECT DETECTING DEVICE, METHOD FOR MANUFACTURING STEEL MATERIAL, STEEL MATERIAL QUALITY CONTROL METHOD, STEEL MATERIAL MANUFACTURING EQUIPMENT, METHOD FOR CREATING SURFACE DEFECT DETERMINATION MODEL, AND SURFACE DEFECT DETERMINATION MODEL

Document

明 細 書

発明の名称 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007  

課題を解決するための手段

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017  

発明の効果

0018  

図面の簡単な説明

0019  

発明を実施するための形態

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096  

産業上の利用可能性

0097  

符号の説明

0098  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22  

明 細 書

発明の名称 : 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル

技術分野

[0001]
 本発明は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルに関する。

背景技術

[0002]
 近年、鉄鋼製品の製造工程では、大量不適合防止による歩留まり向上の観点から、熱間又は冷間で鋼材の表面欠陥を検出することが求められている。ここで述べる鋼材とは、鋼管(継目無鋼管、溶接鋼管等)、鋼板(熱延鋼板、冷延鋼板、厚板等)、及び形鋼等の鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成される半製品(スラブ等)のことを意味する。光学式の表面検査によって鋼材の表面欠陥の検出を試みた際、単純に鋼材の画像を撮影しただけでは、有害な凹凸性の表面欠陥と無害な平らなスケール模様(冷却むら等に起因する)とを弁別困難なときがある。
[0003]
 そこで、凹凸性の表面欠陥と平らなスケール模様とを精度よく弁別する手法として、異なる方向から弁別可能な光線を照射し、各光線の反射光を受光して画像を取得し、取得した画像間の差分画像を得ることによって表面欠陥を検出する手法が提案されている(特許文献1参照)。また、得られた差分画像に基づいて表面欠陥の形状によって発生する明暗パターンを認識し、表面欠陥の凹形状又は凸形状を判別することにより、表面欠陥の検出精度をさらに向上させる手法も提案されている(特許文献2参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2015-125089号公報
特許文献2 : 特開2015-210150号公報

発明の概要

発明が解決しようとする課題

[0005]
 特許文献1,2に記載の手法によれば、凹凸性の表面欠陥と平らなスケール模様とを差分画像によって精度よく弁別することができる。しかしながら、本発明の発明者らが検討したところ、特許文献1,2に記載の手法では、凹凸がほとんど存在しない表面反射率が高い地鉄部の差分後の信号が、凹形状の表面欠陥信号と類似しているために弁別が困難な場合があることが判明した。なお、地鉄部は、主に表面に黒皮スケールが生成する温度未満において、擦れや衝突等によって黒皮スケールが剥離することで発生し、冷間スリ疵等がこれに該当する。通常、凹凸性の表面欠陥は、熱間において鋼材が柔らかいうちにロールに焼付いた突起物等を押し込み転写することにより発生する。このため、凹凸性の表面欠陥は、はっきりした凹凸形状を有し、なおかつ冷却する過程で健全部と同様に酸化して同じ程度の反射率になる。この結果、図22(a)に示すように、片側投光によって明確な明暗パターンが発生する。これに対して、地鉄部は、鋼材が冷間においてロール等の構造物に擦れることによって発生することが多く、黒皮スケールが剥がれ、地鉄がむき出しとなることによって黒皮スケールに覆われた健全部と比較して反射率が高くなる。この結果、図22(b)に示すように、地鉄部は深さが殆どないが反射率が高いため、照射方向に関わらず高輝度の信号として撮像される。
[0006]
 また、地鉄部にわずかに凹凸が存在する場合には、特許文献1,2に記載の手法を適用して差分画像を取得した際、凹凸性の表面欠陥と同様の明暗パターンが発生することがある。地鉄部は、検査の目的によって有害及び無害のどちらともなりうる表面欠陥であり、表面欠陥の未検出や過検出の原因となる。特に肉厚保障等の深さが重要な検査においては、凹凸性の表面欠陥は有害、地鉄部は無害とされる場合が多く、凹凸性の表面欠陥と地鉄部とを精度よく弁別することが望ましい。
[0007]
 本発明は、上記課題に鑑みてなされたものであって、その目的は、地鉄部と表面欠陥とを精度よく弁別可能な表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルを提供することにある。また、本発明の他の目的は、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上可能な鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備を提供することにある。

課題を解決するための手段

[0008]
 本発明に係る表面欠陥検出方法は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、2つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、各照明光の反射光による2つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、を含む。
[0009]
 前記明部の重なり度合は、前記検査対象部位において、表面欠陥候補部に対する前記明部の重なり部分が占める割合であるとよい。
[0010]
 前記検出ステップは、各照明光の反射光による2つ以上の画像から抽出された明部から、検査対象部位における表面欠陥候補部を算出するステップと、表面欠陥候補部に対する前記明部の重なり部分が占める割合に基づいて、前記検査対象部位における表面欠陥を検出するステップと、を含むとよい。
[0011]
 前記検出ステップは、前記2つ以上の画像から抽出された明部の重なり度合が入力された際に該2つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力するように、機械学習が施された表面欠陥判定モデルを用いて、前記検査対象部位における前記表面欠陥を検出するステップを含むとよい。
[0012]
 本発明に係る表面欠陥検出装置は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、2つ以上の弁別可能な光源で同一の検査対象部位に異なる方向から照明光を照射する照射手段と、各照明光の反射光による2つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出手段と、を備える。
[0013]
 本発明に係る鋼材の製造方法は、本発明に係る表面欠陥検出方法を用いて鋼材の表面欠陥を検出しながら鋼材を製造するステップを含む。
[0014]
 本発明に係る鋼材の品質管理方法は、本発明に係る表面欠陥検出方法を用いて表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理するステップを含む。
[0015]
 本発明に係る鋼材の製造設備は、鋼材を製造する製造設備と、前記製造設備によって製造された鋼材を検査する、本発明に係る記載の表面欠陥検出装置と、を備える。
[0016]
 本発明に係る表面欠陥判定モデルの生成方法は、2つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照射された照明光の反射光による2つ以上の画像から抽出された明部の重なり度合と、前記検査対象部位に表面欠陥があるか否かの判定結果と、を教師データとして用いて、前記2つ以上の画像から抽出された明部の重なり度合を入力値、該2つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、表面欠陥判定モデルとして機械学習により生成する。
[0017]
 本発明に係る表面欠陥判定モデルは、本発明に係る表面欠陥判定モデルの生成方法により生成された。

発明の効果

[0018]
 本発明に係る表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルによれば、地鉄部と表面欠陥とを精度よく弁別できる。また、本発明に係る鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備によれば、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。

図面の簡単な説明

[0019]
[図1] 図1は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。
[図2] 図2は、地鉄部の差分画像の一例を示す図である。
[図3] 図3は、凹形状の表面欠陥の明部画像にAND処理を施した結果を示す図である。
[図4] 図4は、地鉄部の明部画像にAND処理を施した結果を示す図である。
[図5] 図5は、本発明の第1の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
[図6] 図6は、本発明の第2の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
[図7] 図7は、本発明の第3の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
[図8] 図8は、図7に示すラベリング処理の一例を説明するための図である。
[図9] 図9は、本発明の第4の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
[図10] 図10は、凹凸性の表面欠陥とスケール模様及び無害模様とを撮影した2つの二次元画像及びその差分画像の一例を示す図である。
[図11] 図11は、検査対象部位の表面形状が凹形状及び凸形状である場合における一方から光を照射した時の陰影を示す図である。
[図12] 図12は、凹形状の表面欠陥の差分画像の一例を示す図である。
[図13] 図13は、膨張処理を利用した明部及び暗部の位置関係算出方法の流れを示すフローチャートである。
[図14] 図14は、膨張収縮処理を説明するための図である。
[図15] 図15は、差分画像及び明暗パターンの一次元プロファイルの一例を示す図である。
[図16] 図16は、フィルターの二次元画像及び一次元プロファイルの一例を示す図である。
[図17] 図17は、図16に示すフィルターを用いたフィルター処理が施された差分画像及び一次元プロファイルの一例を示す図である。
[図18] 図18は、地鉄部及び凹凸性の表面欠陥について両明部占有率のヒストグラムを計算した結果を示す図である。
[図19] 図19は、本発明の第5の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
[図20] 図20は、光源の配置位置の変形例を示す模式図である。
[図21] 図21は、図20に示す光源の配置位置によって得られる明暗パターンを示す模式図である。
[図22] 図22は、凹凸性の表面欠陥及び地鉄部の特徴を説明するための模式図である。

発明を実施するための形態

[0020]
 以下、図面を参照して、本発明の一実施形態である表面欠陥検出装置の構成及びその動作について説明する。
[0021]
〔表面欠陥検出装置の構成〕
 図1は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。図1に示すように、本発明の一実施形態である表面欠陥検出装置1は、図示矢印方向に搬送される円筒形状の鋼管Pの表面欠陥を検出する装置であり、光源2a,2b、ファンクションジェネレータ3、エリアセンサ4a,4b、画像処理装置5、及びモニター6を主な構成要素として備えている。
[0022]
 光源2a,2bは照射手段である。光源2a,2bは、ファンクションジェネレータ3からのトリガー信号に従って鋼管Pの表面上の同一の検査対象部位に対して弁別可能な照明光Lを照射する。光源2a,2bは、検査対象部位に対して対称に配置されている。すなわち、光源2a,2bは、鋼管P表面の法線ベクトルに対して同一の入射角だけずらし、照明光Lの照射方向ベクトルと鋼管P表面の法線ベクトルとが同一平面上となるように配置されている。
[0023]
 ここで、照明光Lの入射角を同一にする目的は、異なる入射方向の光源を弁別した時に光学条件をできるだけ等しくすることにある。経験上、各入射角の差が20°以内の範囲内であれば、同一の入射角と表現する。一方、入射角そのものは、1つの光源の入射角が25°~82.5°の範囲内にあることが経験上望ましい。さらに、光量を稼ぎたい場合は25°~55°の範囲内、光量が十分でS/N比を上げたい場合は60°~82.5°の範囲内から選択することが望ましい。
[0024]
 なお、本明細書中において、入射角とは、光源2a,2bからの光線の入射方向と、検査対象部位の表面に対する法線とがなす角度を示す。また、検査対象部位の表面に対する法線を0°とする。また、本実施形態では、光源の数を2つとしたが、弁別可能であれば光源の数を3つ以上にしてもよい。ここで述べる弁別可能な光源とは、検査対象部位から得られる反射光についてそれぞれの光源別に反射光量を求めることが可能な光源を意味する。
[0025]
 エリアセンサ4a,4bは撮像手段である。エリアセンサ4a,4bは、ファンクションジェネレータ3からのトリガー信号に従って光源2a,2bから照射された照明光Lの反射光による二次元画像を撮影する。エリアセンサ4a,4bは、撮影した二次元画像のデータを画像処理装置5に入力する。エリアセンサ4a,4bは、それぞれの撮像視野を確保した状態で可能な限り検査対象部位の法線ベクトル上に設置されている。なお、本実施形態では、エリアセンサを用いているが、ラインセンサを用いてもよい。この場合、撮影した画像は一次元画像となるが、後述する表面欠陥検出方法はそのまま適用できる。
[0026]
 画像処理装置5は検出手段である。画像処理装置5は、エリアセンサ4a,4bから入力された2つの二次元画像を用いて、検査対象部位における無害な地鉄部の判定処理を行う装置である。この地鉄部の判定処理は、本発明の最重要技術であるため、この後詳細に説明する。この画像処理装置5は、さらに、機械学習による欠陥判定も行うことができる。さらに、必要に応じて、後述する差分処理を行うことによって検査対象部位における表面欠陥を検出することもできる。画像処理装置5は、エリアセンサ4a,4bから入力された二次元画像や表面欠陥の検出結果に関する情報をモニター6に出力する。
[0027]
 このような構成を有する表面欠陥検出装置1は、以下に示す表面欠陥検出方法を実行することによって、検査対象部位における地鉄部の判定処理を行う。さらに、表面欠陥検出装置1は、必要に応じて、検査対象部位におけるスケール模様や無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。なお、スケール模様や無害模様とは、厚さ数~数十μm程度の地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する部分のことを意味し、表面欠陥検出方法においてノイズ要因となる部分である。
[0028]
〔表面欠陥検出方法〕
 特許文献1及び特許文献2に記載の表面欠陥検出方法では、冷間スリ疵等の地鉄部の二次元画像に対して同様の差分処理を実施すると、図2(a)に示すような凹凸性の表面欠陥の明暗パターンと同様の図2(b)~(e)に示すような明暗パターンが発生することがある。これは、地鉄部が高い反射率及び輝度のばらつきを有することから、明部及び暗部がランダムに発生するためである。特に表面欠陥の深さが重要な厚板や鋼管等の鋼材の分野では、地鉄部は表面欠陥と比較して非常に多く発生するため、特徴量等による弁別は困難である。
[0029]
 ところが、地鉄部は、検査ニーズに応じて有害と判定しなければならない場合と無害と判定しなければならない場合とがある。このため、表面欠陥の明暗パターンと同様の明暗パターンを有する地鉄部を弁別できない場合、過検出となってしまい表面欠陥の検出性能が低下する。また、地鉄部を有害と判定しなければならない場合においても、地鉄部を表面欠陥と弁別しなければならない場合もある。そして、地鉄部は様々な形状があり、無害と判定したい場合が多い。
[0030]
 このような地鉄部を安定して検出するためには、その特徴であるどの方向から照明光を照射しても定常部より明るいといった特徴を用いる方法が考えられる。ここで述べる定常部とは、表面欠陥でも地鉄部でもない黒皮スケール部のことを指す。すなわち、エリアセンサ4a,4bから入力された2つの二次元画像から閾値処理やラベリング等で抽出した表面欠陥候補部の領域の中で明部の重なり部分を検出することにより、地鉄部を検出する方法が考えられる。
[0031]
 図3及び図4はそれぞれ、表面欠陥候補部における凹形状の表面欠陥と地鉄部について、エリアセンサ4a,4bから入力された2つの二次元画像の明部を二値化処理により検出し、検出した明部画像にAND処理を施した結果の例である。図3(c)~(e)に示すように、凹形状の表面欠陥では、2つの二次元画像(図3(c),(d))の明部の位置が異なるため、AND処理を施しても信号は検出されない(図3(e))。これに対して、図4(c)~(e)に示すように、地鉄部では、2つの二次元画像(図4(c),(d))の明部の位置が一致するため、AND処理を施すと明部及び暗部のほぼ全ての箇所と重なるように信号が検出される(図4(e))。
[0032]
 なお、検査対象部位における表面欠陥候補部を検出する方法は、公知の方法が利用できる。特に特許文献1及び特許文献2に記載された差分画像を利用する方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、表面欠陥候補部、特に凹凸性の表面欠陥候補部を、精度よく検出可能という利点があり、好適である。
[0033]
 なお、表面欠陥候補部の検出のタイミングは、後述する検出ステップが両面部占有率を算出するステップ(後述のS5,S15,S25,S37,S48)より前であれば、いつでも行ってもよい。例えば、後述する検出ステップとは別に、予め検出しておいてもよい(第1及び第2の実施形態を参照)。また、例えば、後述する検出ステップ内で、検出ステップで使用する明部二値化画像aと明部二値化画像bとのコピーから検出してもよい(第3の実施形態を参照)。さらに、例えば、後述する検出ステップと並行して、検出ステップで使用する生画像a、生画像b、補正画像a及び補正画像b等のコピーから求めた差分画像を利用して凹凸性の表面欠陥を検出し、この検出された凹凸性の表面欠陥を表面欠陥候補部としてもよい。
[0034]
 従って、2つの二次元画像の明部画像に対してAND処理を施すことにより両明部画像を抽出し、表面欠陥候補部をこの両明部画像で評価することにより、表面欠陥候補部が表面欠陥及び地鉄部のどちらであるのかを判別できる。地鉄部は、2つの二次元画像の明部を閾値処理により抽出してAND処理を施すことにより検出できる。また、地鉄部でなく表面欠陥等であっても、他方向から照射した2つの二次元画像の明部が偶然わずかに重なる場合がある。これに対して、地鉄部の場合は、他方向から照射した2つの二次元画像の中で高反射率となり、明部がほとんどの領域で重なる。そこで、明部の重なりの程度を特徴量として算出し、その指標を用いて地鉄部と表面欠陥とを弁別してもよい。この方法では、重なり部分の有無で判定した場合よりも、より精度よく弁別ができ好ましい。
[0035]
 以下、上記の考えに基づいて想倒された本発明の第1~第5の実施形態である表面欠陥検出方法について説明する。
[0036]
[第1の実施形態]
 まず、図5を参照して、本発明の第1の実施形態である表面欠陥検出方法について説明する。
[0037]
 本発明の第1の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源2a,2bが、ファンクションジェネレータ3からのトリガー信号に従って、鋼管Pの表面上の同一の検査対象部位に対して弁別可能な照明光Lを照射する。撮像ステップでは、エリアセンサ4a,4bが、ファンクションジェネレータ3からのトリガー信号に従って、光源2a,2bから照射された照明光Lの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像を用いて無害な地鉄部の判定を行う。
[0038]
 図5は、本発明の第1の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図5に示すように、本実施形態の検出ステップでは、まず、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像(生画像a,生画像b)に対して画像補正処理を施すことにより、補正画像a,補正画像bを生成する(ステップS1a,S1b)。ここで述べる画像補正処理には、検査対象領域を切り出す処理や光学系起因の全体の輝度むらを補正するシェーディング補正等の処理が含まれる。
[0039]
 次に、画像処理装置5は、補正画像a及び補正画像bそれぞれに対して、輝度が閾値以上の画素の値を1、輝度が閾値未満の画素の値を0とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置5は、明部二値化画像a及び明部二値化画像bを生成する(ステップS2a,S2b)。図5において、ラベル「明部二値化画像a」の左横に明部二値化画像aの例を、ラベル「明部二値化画像b」の右横に明部二値化画像bの例を示す。次に、画像処理装置5は、明部二値化画像a及び明部二値化画像bに対してAND処理を施す。この処理により、画像処理装置5は、明部二値化画像a及び明部二値化画像bの双方において値が1の画素を抽出し両明部画像を生成する(ステップS3)。図5において、ラベル「両明部画像」の右横に両明部画像の例を示す。
[0040]
 次に、画像処理装置5は、表面欠陥候補部を用いて両明部画像に対してマスキング算出処理を実施する。この処理により、画像処理装置5は、地鉄部か否かを判定する対象となる領域(つまり、表面欠陥候補部であり、且つ、明部である領域)を切り出した切出両明部画像を生成する(ステップS4)。次に、画像処理装置5が、表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する(ステップS5)。さらに、画像処理装置5は、算出された両明部占有率を用いた閾値処理等により、表面欠陥候補部が地鉄部か表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置5は、表面欠陥と判定する(ステップS6)。なお、本実施形態は、表面欠陥候補部に対する両明部画像の重なり度合を算出する例であるが、表面欠陥候補部全体のうち両明部画像がどの程度重なっているかが算出できれば、他の処理方法でもよい。例えば、表面欠陥候補部を渦流探傷や超音波探傷等の他の手法で計測し、その中で両明部画像が占める割合を算出してもよい。
[0041]
[第2の実施形態]
 次に、図6を参照して、本発明の第2の実施形態である表面欠陥検出方法について説明する。
[0042]
 本発明の第2の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源2a,2bが、ファンクションジェネレータ3からのトリガー信号に従って、鋼管Pの表面上の同一の検査対象部位に対して弁別可能な照明光Lを照射する。撮像ステップでは、エリアセンサ4a,4bが、ファンクションジェネレータ3からのトリガー信号に従って、光源2a,2bから照射された照明光Lの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像を用いて無害な地鉄部の判定を行う。
[0043]
 図6は、本発明の第2の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図6に示すように、本実施形態の検出ステップでは、まず、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像(生画像a,生画像b)それぞれに対して、表面欠陥候補部を用いてマスキング算出処理を実施することにより、地鉄部か否かを判定する対象となる領域を切り出した切出生画像a,切出生画像bを生成する(ステップS11a,S11b)。次に、画像処理装置5は、切出生画像a及び切出生画像bに対して画像補正処理を施すことにより、切出補正画像a及び切出補正画像bを生成する(ステップS12a,S12b)。ここで述べる画像補正処理には、光学系起因の全体の輝度むらを補正するシェーディング補正等の処理が含まれる。
[0044]
 次に、画像処理装置5は、切出補正画像a及び切出補正画像bそれぞれに対して、輝度が閾値以上の画素の値を1、輝度が閾値未満の画素の値を0とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置5は、切出明部二値化画像a及び切出明部二値化画像bを生成する(ステップS13a,S13b)。次に、画像処理装置5は、切出明部二値化画像a及び切出明部二値化画像bに対してAND処理を施す。この処理により、画像処理装置5は、切出明部二値化画像a及び切出明部二値化画像bの双方において、値が1の画素を抽出し、切出両明部画像を生成する(ステップS14)。次に、画像処理装置5は、表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する(ステップS15)。さらに、画像処理装置5は、算出された両明部占有率を用いた閾値処理等により、表面欠陥候補部が地鉄部か表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置5は、表面欠陥と判定する(ステップS16)。
[0045]
[第3の実施形態]
 次に、図7を参照して、本発明の第3の実施形態である表面欠陥検出方法について説明する。
[0046]
 本発明の第3の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源2a,2bが、ファンクションジェネレータ3からのトリガー信号に従って、鋼管Pの表面上の同一の検査対象部位に対して弁別可能な照明光Lを照射する。撮像ステップでは、エリアセンサ4a,4bが、ファンクションジェネレータ3からのトリガー信号に従って、光源2a,2bから照射された照明光Lの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像を用いて無害な地鉄部の判定を行う。
[0047]
 図7は、本発明の第3の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図7に示すように、本実施形態の検出ステップでは、まず、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像(生画像a、生画像b)それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像a及び補正画像bを生成する(ステップS21a,S21b)。この画像補正処理によって以後の明部抽出処理等を精度よく実施することができる。
[0048]
 次に、画像処理装置5は、補正画像a及び補正画像bそれぞれに対して、輝度が閾値以上の画素の値を1、輝度が閾値未満の画素の値を0とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置5は、明部二値化画像a及び明部二値化画像bを生成する(ステップS22a,S22b)。次に、画像処理装置5は、明部二値化画像a及び明部二値化画像bに対してAND処理を施す。この処理により、画像処理装置5は、明部二値化画像a及び明部二値化画像bの双方において値が1の画素を抽出し、両明部画像を生成する(ステップS23)。両明部画像において値が1の画素の集合は、明部二値化画像aと明部二値化画像bの双方の明部が重なった明部重なり部となる。これにより、明部二値化画像a及び明部二値化画像bの中で高反射率部分が重なる部分を抽出することができる。図8(a)に明部二値化画像aの例を、図8(b)に明部二値化画像bの例を、図8(c)に両明部画像の例を示す。
[0049]
 次に、画像処理装置5は、生成した両明部画像の値が1である明部の画素にラベリングし、各ブロブ(ラベリングされた画素の集合)を地鉄部候補部とする。図8(c)両明部画像における白い部分(つまり明部)が地鉄部候補部で、明部二値化画像a及び明部二値化画像b双方の明部の重なり部に該当する。また、画像処理装置5は、ステップS22a,S22bにて生成された明部二値化画像a及び明部二値化画像bに対して、今度はOR処理を施す。この処理により、画像処理装置5は、明部OR画像を生成する。図8(d)に、明部OR画像の例を示す。それから、画像処理装置5は、この処理で得られた明部OR画像に、上述した地鉄部候補部をラベリングする。そして、画像処理装置5は、ラベリングされた地鉄部候補部を含む明部の塊を各ブロブとして抽出する。ここで各ブロブを表面欠陥候補部とする(ステップS24)。図8(e)に、表面欠陥候補部の例を示す。白い部分(つまり明部)が表面欠陥候補部である。図8(c)の両明部画像では、ステップS23のAND処理により、表面欠陥ではないと思われる明部が削除されている。一方、図8(d)で明らかなように、OR処理では、欠陥か否かに関わらず全ての明部が残ってしまう。そこで、地鉄部候補部でラベリングすることにより、確実に表面欠陥候補部を検出することができる。
[0050]
 次に、画像処理装置5は、表面欠陥候補部毎に、地鉄部候補部の面積を表面欠陥候補部の面積で除算した値を両明部占有率として算出する(ステップS25)。そして最後に、画像処理装置5は、算出された両明部占有率から表面欠陥候補部が地鉄部か否かを判定し地鉄部を検出する。ここで、地鉄部でないと判定した場合は、画像処理装置5は、表面欠陥と判定する(ステップS26)。
[0051]
 なお、表面欠陥候補部に対する地鉄部候補部の重なり度合を示す指標は複数考えられる。例えば、各地鉄部候補部の面積がAND処理を実施する前の2枚の画像の表面欠陥候補部の面積に対して占める割合等が考えられる。この場合、表面欠陥候補部の面積としては、2か所の表面欠陥候補部のOR処理をした面積、各表面欠陥候補部の面積の和や最大値等を例示できる。両明部占有率が高ければ高いほど、地鉄部である可能性が高い。そのため、単純に一定閾値を用いて、閾値以上であれば地鉄部と判定してもよい。
[0052]
 また、両明部占有率を特徴量として用い、二分決定木法等の公知の機械学習方法を用いて地鉄部を検出してもよい。すなわち、両明部占有率と検査対象部位に表面欠陥があるか否かの判定結果とを教師データとして用いて、2つ以上の画像から算出した両明部占有率を入力値、2つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、機械学習により生成する。生成された学習済みモデルを表面欠陥モデルとし、この表面欠陥判定モデルに両明部占有率を入力し、表面欠陥判定モデルの出力値を用いて地鉄部か否かを判定して地鉄部を検出してもよい。これにより、従来手法では弁別困難であった地鉄部と表面欠陥とを精度よく弁別できる。
[0053]
 また、第1~3の実施形態で算出した地鉄部と表面欠陥候補部の位置関係から表面欠陥候補部が地鉄部であるかどうかを判定してもよい。具体的には、表面欠陥候補部と第1~3の実施形態で算出した地鉄部がほぼ同一の位置であれば、表面欠陥候補部は地鉄部である可能性が高い。また、第1~3の実施形態と同様に表面欠陥候補部のうち、両明部がどの程度重なっているかが算出できれば、他の処理方法でもよい。
[0054]
[第4の実施形態]
 地鉄部にわずかに凹凸が存在する場合、凹凸性の表面欠陥と同様の明暗パターンが発生することにより、地鉄部と凹凸性の表面欠陥とを精度よく弁別できないことがある。そこで、本実施形態では、特許文献1及び特許文献2に記載の方法により算出できる凹凸性の表面欠陥を表面欠陥候補部として用いることにより、地鉄部と凹凸性の表面欠陥とを精度よく弁別する。以下、図9を参照して、本発明の第4の実施形態である表面欠陥検出方法について説明する。
[0055]
 本発明の第4の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源2a,2bが、ファンクションジェネレータ3からのトリガー信号に従って、鋼管Pの表面上の同一の検査対象部位に対して弁別可能な照明光Lを照射する。撮像ステップでは、エリアセンサ4a,4bが、ファンクションジェネレータ3からのトリガー信号に従って、光源2a,2bから照射された照明光Lの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像を用いて、スケールや無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。
[0056]
 図9は、本発明の第4の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図9に示すように、本実施形態の検出ステップでは、まず、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像(生画像a、生画像b)それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像a及び補正画像bを生成する(ステップS31a,S31b)。次に、画像処理装置5は、補正画像aと補正画像bとの間で差分処理を行うことによって差分画像を生成する(ステップS32)。次に、画像処理装置5は、生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出すると共に、差分処理によって除去されたスケール模様や無害模様に関する情報を出力する(ステップS33)。
[0057]
 一方、画像処理装置5は、ステップS31a,S31bにおいて生成された補正画像a及び補正画像bそれぞれに対して、輝度が閾値以上の画素の値を1、輝度が閾値未満の画素の値を0とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置5は、明部二値化画像a及び明部二値化画像bを生成する(ステップS34a,S34b)。次に、画像処理装置5は、明部二値化画像a及び明部二値化画像bに対してAND処理を施す。この処理により、画像処理装置5は、明部二値化画像a及び明部二値化画像bの双方において値が1の画素を抽出して、両明部画像を生成する(ステップS35)。次に、画像処理装置5は、ステップS33の処理において算出された凹凸性の表面欠陥候補部を用いて両明部画像に対してマスキング算出処理を実施する。この処理により、画像処理装置5は、地鉄部か否かを判定する対象となる領域を切り出した切出両明部画像を生成する(ステップS36)。次に、画像処理装置5は、凹凸性の表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する(ステップS37)。さらに、画像処理装置5は、算出された両明部占有率を用いた閾値処理等により、地鉄部か凹凸性の表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置5は、表面欠陥と判定する(ステップS38)。地鉄部は2方向からの照射によりどちらも凹凸性の表面欠陥候補部全体が明るい信号となるが、凹凸性の表面欠陥は2方向からの照射で陰影のつき方が異なるため、凹凸性の表面欠陥候補部全体で明部と暗部が異なる位置に発生する。従って、地鉄部の両明部占有率は高く、凹凸性の表面欠陥の両明部占有率は低くなる。
[0058]
 なお、ステップS33の処理における差分画像を用いて検査対象部位における凹凸性の表面欠陥候補部を検出する方法としては、公知の方法が利用できる。特に特許文献1及び特許文献2に記載された方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、凹凸性の表面欠陥候補部を精度よく検出可能という利点があり、好適である。以下では、ステップS33の処理の一例として、特許文献1及び特許文献2に記載の技術を用いた例を説明する。
[0059]
 いま、光源2aから照明光Lを照射した時に得られた二次元画像Iaを構成する各画素の輝度値をIa(x,y)(但し、画素数X×Yとし、x座標を1≦x≦X、y座標を1≦y≦Yとする)、光源2bから照明光Lを照射した時に得られた二次元画像Ibを構成する各画素の輝度値をIb(x,y)とした時、ステップS32の差分処理によって得られる差分画像I_diffの各画素の輝度値I_diff(x,y)は以下に示す数式(1)で表される。
[0060]
[数1]


[0061]
 ここで、凹凸性の表面欠陥と表面欠陥で無い健全なスケール模様及び無害模様を撮像した二次元画像Ia、Ib及びその差分画像I_diffの例をそれぞれ図10(a),(b),(c)に示す。図10(a),(b),(c)に示すように、健全部では、スケール模様や無害模様の有無に関わらず表面の法線ベクトルと光源2aの成す角と表面の法線ベクトルと光源2bの成す角とが等しいため、輝度値Ia(x,y)=輝度値Ib(x,y)、すなわち輝度値I_diff(x,y)=0となる。
[0062]
 しかしながら、凹凸性の表面欠陥部分では、表面が凹凸形状を有するため、表面の法線ベクトルと光源2aの成す角と表面の法線ベクトルと光源2bの成す角とが等しくない箇所が必ず存在し、輝度値Ia(x,y)≠輝度値Ib(x,y)、すなわち輝度値I_diff(x,y)≠0となる。従って、差分器11による差分処理によって2つの二次元画像の差分画像I_diffを生成することによって表面欠陥でない健全なスケール模様や無害模様の画像を除去することができる。
[0063]
 次に、差分画像I_diffから凹凸性の表面欠陥候補部を検出するロジックについて説明する。図11(a),(b)はそれぞれ、検査対象部位の表面形状が凹形状及び凸形状である場合における一方の光源から検査対象部位に照明光を照射した時の陰影を示す図である。図11(a)に示すように、検査対象部位の表面形状が凹形状である場合、光源の手前側が単位面積当たりの照射光の光量低下によって暗くなり、光源の奥側が正反射方向に近づくため明るくなる。これに対して、図11(b)に示すように、検査対象部位の表面形状が凸形状である場合には、光源の手前側が正反射方向に近づくため明るくなり、光源の奥側が凸形状の影となり暗くなる。
[0064]
 すなわち、検査対象部位の表面形状が凹形状である場合と凸形状である場合とで照明光の反射光の明暗パターンが異なる。従って、反射光の明暗パターンを認識することによって凹凸性の表面欠陥候補部の有無を検出することができる。そこで、以下では、反射光の明暗パターンを認識することによって凹凸性の表面欠陥候補部を検出する方法について述べる。なお、以下では、凹凸性の表面欠陥候補部のうち、凹形状の表面欠陥候補部を検出するものとするが、凸形状の表面欠陥候補部も同様のロジックで検出することができる。また、以下で述べる明部とは、差分画像I_diffにおいて輝度が所定閾値以上である画素に対して連結処理を行うことによって得られる所定値以上の面積を持つブロブを意味する。また、以下で述べる暗部とは、差分画像I_diffにおいて輝度が所定閾値以下である画素に対して連結処理を行うことによって得られるある所定値以上の面積を持つブロブを指す。ブロブとはラベリングされた画素の集合を意味する。
[0065]
 なお、上記明部及び暗部を検出する所定閾値及び面積を決定する所定値は、最終的な検出性能を考慮して調整される。言い換えると、所定閾値及び所定値を大きく設定すればするほど、より強い信号を持つ欠陥しか検出することができないが、表面粗さやノイズが原因となる過検出信号を低減させることが可能となる。すなわち、有害な欠陥の定義や使用用途、及び明暗パターンから欠陥判定する弁別性能から、目標とする検出性能及び許容される過検度合いを満たすよう調整することが好ましい。
[0066]
 本実施形態では、閾値処理を行うことによって隣り合う明部と暗部とを抽出することにより明暗パターンを認識する。具体的には、図1に示す表面欠陥検出装置1では、光源2a,2bは検査対象部位の法線ベクトルに対して左右対称に配置されているため、表面の凹凸形状に起因する反射光の明暗パターンは左右方向に発生する。明暗の左右は差分処理の順番によって逆となるため、ここでは右が明・左が暗である場合を凹形状、右が暗・左が明である場合を凸形状とする。従って、凹形状の表面欠陥の差分画像I_diffは図12に示すようになる。そこで、明部と暗部の画像をそれぞれ輝度閾値The,-Theによって二値化すると、明部及び暗部の二値化画像I_bright,I_darkはそれぞれ以下に示す数式(2)のように表される。
[0067]
[数2]


[0068]
 そして、このようにして明部及び暗部の画像を二値化し、必要に応じて連結・孤立点除去を行った後、隣り合う明部及び暗部の位置関係を算出することによって凹凸性の表面欠陥の有無を検出する。なお、隣り合う明部及び暗部の位置関係の算出方法には様々な方法があり、以下では代表的な3つの算出方法を述べるが、その他の算出方法であっても明部と暗部の位置関係が算出できれば良い。
[0069]
 第1の位置関係算出方法は、隣り合う明部及び暗部に対して特定方向の膨張収縮処理を施すことによって隣り合う明部及び暗部の位置関係を算出する方法である。本算出方法のフローチャートを図13に示す。本実施形態では、凹形状の表面欠陥を検出するため、右が明、左が暗である明暗のパターンを認識する場合について説明する。右が明、左が暗ということは明部の左側には必ず暗部があり、暗部の右側には必ず明部があるということである。そこで、本算出方法では、始めに、画像処理装置5が、暗部に対して右方向に膨張処理を施し、明部に対しては左方向に膨張処理を施す(ステップS331a,S331b)。ここで、膨張処理が施された明部及び暗部の画像をそれぞれI_bright_extend、I_dark_extendとし、膨張する長さをWとすると膨張処理は以下に示す数式(3)のように表される。但し、二次元画像の左上を原点として下方向をy軸方向正、右方向をx軸方向正とする。
[0070]
[数3]


[0071]
 なお、本実施形態では、明部と暗部とを同じ長さWだけ膨張させているが、膨張する長さWは必ずしも同じである必要は無く、極端に述べれば明部及び暗部の一方のみに対して膨張処理を施してもよい。また、膨張する長さWは検出したい表面欠陥の大きさにも依存する。
[0072]
 次に、画像処理装置5は、以下に示す数式(4)のように膨張処理が施された明部及び暗部の画像I_bright_extend、I_dark_extendに対してand処理を行うことにより、膨張処理が施された明部及び暗部の画像I_bright_extend、I_dark_extendの重なり部分を凹形状欠陥候補部画像I_defectとして抽出する(ステップS332a,S332b)。
[0073]
[数4]


[0074]
 次に、画像処理装置5は、得られた各凹形状欠陥候補部画像I_defectに対して、必要に応じて連結・孤立点除去処理を行った後、ラベリング処理を行うことによって、凹形状欠陥候補ブロブI_defect_blobを生成する(ステップS333)。そして、画像処理装置5は、各凹形状欠陥候補ブロブI_defect_blobの特徴量を抽出し、抽出結果に基づいて各凹形状欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する(ステップS334a,S334b)。なお、凹形状欠陥候補ブロブI_defect_blobの特徴量を調査するためには、明部及び暗部の情報が必要となるため、凹形状欠陥候補ブロブI_defect_blobから明部と暗部を復元する。
[0075]
 具体的には、凹形状欠陥候補部の右側には必ず明部が存在し、左側には必ず暗部が存在するため、画像処理装置5は、凹形状欠陥候補ブロブI_defect_blobの重心を起点として暗部二値化画像I_darkを左側に探索し、最初に見つかったブロブを暗部凹形状欠陥候補ブロブI_dark_blobとする。同様に、画像処理装置5は、凹形状欠陥候補ブロブI_defect_blobの重心を起点として明部二値化画像I_brightを右側に探索し、最初に見つかったブロブを明部凹形状欠陥候補ブロブI_bright_blobとする。そして、画像処理装置5は、こうして復元された明部凹形状欠陥候補ブロブI_bright_blob及び暗部凹形状欠陥候補ブロブI_dark_blobから特徴量を抽出し、抽出された特徴量に基づいて各凹形状欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する。具体的な特徴量は欠陥により異なるため、ここでは述べず後述する実施例で一例を挙げる。
[0076]
 この明部凹形状欠陥候補ブロブと暗部凹形状欠陥候補ブロブの復元から、後に述べる両明部占有率の算出に用いる凹凸性の表面欠陥候補部を算出することが可能である。具体的には明部及び暗部のブロブを算出してそれぞれの二値化画像を取得し、OR処理をした二値化画像で得られる領域や、さらに膨張収縮処理を実施し、明部と暗部の間を埋めた領域を凹凸性の表面欠陥候補部とする。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図11(a),(b)に示したように明暗パターンが逆転するので、図13に示した処理における明部及び暗部の位置関係を逆にすれば同様の処理により算出可能である。
[0077]
 なお、上記膨張収縮処理とは、図14に示すように、まず、生画像(図14(a))から生成された暗部二値化画像(図14(b))と明部二値化画像(図14(c))とのAND処理によって得られた画像(図14(d))に対して一定の形状で膨張処理(対象ブロブに対して輪郭部を形成する画素を定義して形状で置き換え)を実施した後、その後一定の形状で収縮処理(対象ブロブに対して輪郭部を形成する画素を定義した形状で削除)を実施した画像(図14(e))を得ることを意味する。膨張収縮距離のパラメータは、明部と暗部との間の距離より大きいブロブであればどのような形状でもよいが、膨張処理と収縮処理で同一の形状とすることが望ましい。また1画素ずつ複数回膨張収縮処理を施しても同様の結果が得られる。
[0078]
 第2の位置関係算出方法では、上述の閾値処理を行い、必要に応じて連結・孤立点除去処理を行った後、明部及び暗部を抽出してラベリングを実施し、隣り合う明部及び暗部の位置関係を認識することにより凹形状の表面欠陥を検出する。具体的には、始めに、画像処理装置5は、ラベリングにより明部及び暗部を個別に認識し、明部及び暗部の重心情報を得る。次に、画像処理装置5は、明部及び暗部の重心情報から各明部の右側の所定範囲内に暗部の重心が存在するか否かを判定する。そして、暗部の重心が存在する場合、画像処理装置5は、対となる明部と暗部との組み合わせを明暗パターンとして認識し、明暗パターンの特徴量解析を行うことによって、凹形状の表面欠陥であるか否かを判別する。なお、ここでは重心情報を用いて明暗パターンを認識したが、隣り合う明部及び暗部の位置が把握できる情報(例えば上端位置や下端位置等)であれば、明暗パターンの認識に用いる情報は必ずしも重心情報でなくてよい。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図11(a),(b)に示したように明暗パターンが逆転するので、図13に示した処理における明部及び暗部の位置関係を逆にすれば同様の処理により算出可能である。
[0079]
 第3の位置関係算出方法では、上述の閾値処理を行わず、フィルターを用いて明暗パターンを認識することによって、凹形状の表面欠陥を検出する。具体的には、図1に示す表面欠陥検出装置1では、光源2a,2bが検査対象部位の法線に対して左右対称に配置されているため、表面の凹凸に起因する明暗パターンは左右方向に発生する。図15(a),(b)はそれぞれ、差分画像の一例及び図15(a)に示す線分Lにおける明暗パターンの一次元プロファイルを示す図である。
[0080]
 図15(a),(b)に示すように、凹形状の表面欠陥では右が明、左が暗であるため、明暗パターンの一次元プロファイルは右側が山形、左側が谷形の特徴的な一次元プロファイルになる。そこで、本実施形態では、右側が山形、左側が谷形となるようなフィルターHを予め作成し、以下の数式(5)に示すように差分画像I_diffにフィルターHをかけることにより、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像I_contを生成する。
[0081]
[数5]


[0082]
 図16(a),(b)はそれぞれ予め作成したフィルターHの二次元画像及びその左右方向の一次元プロファイルの一例を示す図である。図17(a),(b)はそれぞれ、図16(a),(b)に示すフィルターHを用いたフィルター処理が施された差分画像及びその左右方向の一次元プロファイルを示す図である。図17(a),(b)に示すように、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像が得られることがわかる。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図11(a),(b)に示したように明暗パターンが逆転するので、フィルタの形状を逆にすれば同様の処理により算出可能である。
[0083]
 なお、必要に応じて、幅方向にレンジが異なるフィルターを数種類用意しておくことにより、多くの表面欠陥サイズに対応できるようにしてもよい。画像処理装置5は、このようにして明暗パターンが強調された二元画像に対して、必要に応じて連結・孤立点除去処理を施した後、閾値処理を行うことによって欠陥候補部画像I_defectを抽出する。そして、画像処理装置5は、抽出された欠陥候補部画像I_defectに対して第1の位置関係算出方法と同様の処理を施すことによって、凹形状の表面欠陥を検出する。なお、差分前の2枚の画像で見え方が同一となり、差分後に明暗パターンを形成しないスケール模様や無害模様に関しては、差分前の画像を二値化してラベリングして抽出した凹凸性の表面欠陥候補部から、差分後に明暗パターンを形成するものを除外することで抽出することが可能となる。
[0084]
[実施例]
 図18に、実機試験における、第4の実施形態に係る表面欠陥検出方法と表面欠陥装置1とを用いて算出した、両明部占有率のヒストグラムの一例を示す。図18の横軸は両明部占有率をパーセンテージで、縦軸は地鉄部または凹凸性の表面欠陥の頻度をパーセンテージで示している。図18中の黒菱形の符号は、目視で「地鉄部」と確認された箇所100%に対し、両明部占有率ごとに幾ら分布しているかを示す。また、図18中の白四角の符号は、目視で「凹凸性の表面欠陥」と確認された箇所100%に対し、両明部占有率ごとに幾ら分布しているかを示す。なお、本実施例では、明部は健全部の1.5倍以上の輝度を持つ部分とした。また、凹凸性の表面欠陥候補部は、明暗パターン検出と膨張収縮処理を用いて検出した。
[0085]
 図18に示すように、凹凸性の表面欠陥と地鉄部とが、両明部占有率の約30%を閾値として非常によく分離されていることが確認できる。地鉄部が過検出となる検査の場合、凹凸性の表面欠陥候補部に対し、両明部占有率が、例えば30%以上を地鉄部と判定する。この方法により、凹凸性の表面欠陥を全く除外することなく、95%以上の地鉄部を除去することが可能となる。なお、直接的に両明部占有率を閾値として弁別する方法も有効であると共に、両明部占有率を特徴量の一つとして、機械学習を用いて弁別しても同様の結果が得られる。
[0086]
[第5の実施形態]
 最後に、図19を参照して、本発明の第5の実施形態である表面欠陥検出方法について説明する。
[0087]
 本発明の第5の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源2a,2bが、ファンクションジェネレータ3からのトリガー信号に従って、鋼管Pの表面上の同一の検査対象部位に対して弁別可能な照明光Lを照射する。撮像ステップでは、エリアセンサ4a,4bが、ファンクションジェネレータ3からのトリガー信号に従って、光源2a,2bから照射された照明光Lの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像を用いて、スケールや無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。
[0088]
 図19は、本発明の第5の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図19に示すように、本実施形態の検出ステップでは、まず、画像処理装置5が、エリアセンサ4a,4bから入力された2つの二次元画像(生画像a、生画像b)それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像a及び補正画像bを生成する(ステップS41a,S41b)。次に、画像処理装置5は、補正画像aと補正画像bとの間で差分処理を行うことによって差分画像を生成する(ステップS42)。生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出する(ステップS43)。次に、画像処理装置5は、生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出すると共に、差分処理によって除去されたスケール模様や無害模様に関する情報を出力する。
[0089]
 次に、画像処理装置5は、エリアセンサ4a,4bから入力された2つの二次元画像(生画像a,生画像b)それぞれに対して、ステップS43の処理において算出された凹凸性の表面欠陥候補部を用いてマスキング算出処理を実施する。この処理により、画像処理装置5は、地鉄部か否かを判定する対象となる領域を切り出した切出生画像a,切出生画像bを生成する(ステップS44a,S44b)。次に、画像処理装置5は、切出生画像a及び切出生画像bに対して画像補正処理を施すことにより、切出補正画像a及び切出補正画像bを生成する(ステップS45a,S45b)。
[0090]
 次に、画像処理装置5は、切出補正画像a及び切出補正画像bそれぞれに対して、輝度が閾値以上の画素の値を1、輝度が閾値未満の画素の値を0とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置5は、切出明部二値化画像a及び切出明部二値化画像bを生成する(ステップS46a,S46b)。次に、画像処理装置5は、切出明部二値化画像a及び切出明部二値化画像bに対してAND処理を施す。この処理により、画像処理装置5は、切出明部二値化画像a及び切出明部二値化画像bの双方において値が1の画素を抽出して、切出両明部画像を生成する(ステップS47)。次に、画像処理装置5は、凹凸性の表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する(ステップS48)。さらに、画像処理装置5は、算出された両明部占有率を用いた閾値処理等により、地鉄部か凹凸性の表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置5は、表面欠陥と判定する(ステップS49)。
[0091]
 なお、ステップS43の処理における差分画像を用いて検査対象部位における凹凸性の表面欠陥候補部を検出する方法としては、公知の方法が利用できる。特に特許文献1及び特許文献2に記載された方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、凹凸性の表面欠陥候補部を精度よく検出可能という利点があり、好適である。上述のステップS33の処理は、ステップS43の処理の一例とすることができる。
[0092]
 以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。例えば、本実施形態では、光源2a,2bを左右対称に設置したために左右の明暗パターンを認識したが、光源2a,2bの設置位置が左右ではなく、上下対称又は対称でなかったとしても同様の処理によって凹凸性の表面欠陥を検出することができる。具体的には、光源が上下対称に配置されている場合には、明暗パターンが左右方向から上下方向に変わるだけであるので、明暗パターンを90度回転させれば同様の処理によって凹凸性の表面欠陥を検出することができる。
[0093]
 また、図20に示すように照明光の照射方向が90度異なるように光源2a,2bを設置した場合には、表面欠陥が凹形状であれば光源の手前側が暗く奥側が明るくなり、表面欠陥が凸形状であれば光源の手前側が明るく、奥側が暗くなる。具体的には、表面欠陥が凹形状である場合、光源2aからの照明光によって得られる二次元画像は図21(a)に示すようになり、光源2bからの照明光によって得られる二次元画像は図21(b)に示すようになる。このため、差分画像は図21(c)に示すような左下から右上にかけてコントラストがある明暗パターンとなる。従って、明暗パターンを45度回転させれば、左右方向の明暗パターンと同様の方法によって凹形状の表面欠陥を検出することができる。さらに、3つ以上の光源を用いることによって、それぞれ複数パターンの差分画像を得ることができるので、表面欠陥の検出精度をより向上させることができる。
[0094]
 また、本実施形態では検査対象部位の法線に対して対称となる方向から照明光を照射した場合について凹凸性の表面欠陥を検出したが、照明光の照射方向は必ずしも対称である必要はない。また、本実施形態の表面欠陥検出方法は熱間、冷間に関わらず鋼材の製造ライン全般に適用することができる。また、製品の弁別のため反射率の高いマーキングを製品表面に塗布する場合も同様の手法によりマーキング部のみを検出することができる。多くの場合、マーキングは独特の形状をしているので、一般的な画像特徴量を用いて弁別することができる。
[0095]
 また、本発明の一実施形態である表面欠陥検出装置1又は表面欠陥検出方法を利用して、鋼材の表面欠陥を検出しながら鋼材を製造することにより、地鉄部と有害な表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。例えば、冷間スリ疵は、鉄鋼プロセスにおいて最も代表的な地鉄部の1つである。表面欠陥(特に、凹凸性の表面欠陥)は熱間圧延中にロールなどの突起物を押し込んで発生することが多く、冷間スリ疵は搬送中に表面がこすれて発生することが多い。そこで、これらの欠陥を弁別して検出することができれば、欠陥発生原因の特定が容易に可能となる。その結果、即座に製造ライン上の原因を取り除くことができるようになり、更なる発生を抑止することが可能となる。また、本発明の一実施形態である表面欠陥検出装置1を、鋼材の製造設備を構成する検査装置として適用してもよい。具体的には、本発明に係る表面欠陥検出装置を利用して製造設備によって製造された鋼材を検査し、鋼材の表面欠陥を検出する。この場合も、上述の理由により、地鉄部と有害な表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。
[0096]
 また、本発明の一実施形態である表面欠陥検出装置1又は表面欠陥検出方法を利用して、表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理することができる。言い換えれば、地鉄部と有害な表面欠陥(特に、凹凸性の表面欠陥)とを精度よく弁別して鋼材の製造歩留まりを向上できる。例えば、冷間スリ疵は、鉄鋼プロセスにおいて最も代表的な地鉄部の1つである。さらに、凹凸性の表面欠陥は有害で、冷間スリ疵は無害である場合、冷間スリ疵を誤検知してしまうと健全な鋼材を欠陥有りと判定して、製造歩留まりを低減させる場合がある。このように、凹凸性の表面欠陥と冷間スリ疵とで重篤度が異なる場合、これらの欠陥を弁別して検出することができれば、鋼材の検査ニーズに応じた判定が可能となり、鋼材の製造歩留まり低下を防ぐことが可能となる。このように、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。

産業上の利用可能性

[0097]
 本発明によれば、地鉄部と表面欠陥とを精度よく弁別可能な表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルを提供することができる。また、本発明によれば、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上可能な鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備を提供することができる。

符号の説明

[0098]
 1 表面欠陥検出装置
 2a,2b 光源
 3 ファンクションジェネレータ
 4a,4b エリアセンサ
 5 画像処理装置
 6 モニター
 L 照明光
 P 鋼管

請求の範囲

[請求項1]
 鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、
 2つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、
 各照明光の反射光による2つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、
 を含む表面欠陥検出方法。
[請求項2]
 前記明部の重なり度合は、前記検査対象部位において、表面欠陥候補部に対する前記明部の重なり部分が占める割合である、請求項1に記載の表面欠陥検出方法。
[請求項3]
 前記検出ステップは、
 各照明光の反射光による2つ以上の画像から抽出された明部から、検査対象部位における表面欠陥候補部を算出するステップと、
 表面欠陥候補部に対する前記明部の重なり部分が占める割合に基づいて、前記検査対象部位における表面欠陥を検出するステップと、
 を含む請求項1に記載の表面欠陥検出方法。
[請求項4]
 前記検出ステップは、前記2つ以上の画像から抽出された明部の重なり度合が入力された際に該2つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力するように、機械学習が施された表面欠陥判定モデルを用いて、前記検査対象部位における前記表面欠陥を検出するステップを含む請求項1~3のうち、いずれか一項に記載の表面欠陥検出方法。
[請求項5]
 鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、
 2つ以上の弁別可能な光源で同一の検査対象部位に異なる方向から照明光を照射する照射手段と、
 各照明光の反射光による2つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出手段と、
 を備える表面欠陥検出装置。
[請求項6]
 請求項1~4のうち、いずれか1項に記載の表面欠陥検出方法を用いて鋼材の表面欠陥を検出しながら鋼材を製造するステップを含む鋼材の製造方法。
[請求項7]
 請求項1~4のうち、いずれか1項に記載の表面欠陥検出方法を用いて表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理するステップを含む鋼材の品質管理方法。
[請求項8]
 鋼材を製造する製造設備と、
 前記製造設備によって製造された鋼材を検査する、請求項5に記載の表面欠陥検出装置と、
 を備える鋼材の製造設備。
[請求項9]
 2つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照射された照明光の反射光による2つ以上の画像から抽出された明部の重なり度合と、前記検査対象部位に表面欠陥があるか否かの判定結果と、を教師データとして用いて、
 前記2つ以上の画像から抽出された明部の重なり度合を入力値、該2つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、表面欠陥判定モデルとして機械学習により生成する
 表面欠陥判定モデルの生成方法。
[請求項10]
 請求項9に記載の表面欠陥判定モデルの生成方法により生成された表面欠陥判定モデル。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]