処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2018216629 - 情報処理装置、情報処理方法、及びプログラム

Document

明 細 書

発明の名称 情報処理装置、情報処理方法、及びプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007  

発明の効果

0008   0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3A   3B   3C   3D   4A   4B   4C   4D   4E   4F   5A   5B   5C   6   7A   7B   8A   8B   8C   9   10   11   12   13A   13B  

明 細 書

発明の名称 : 情報処理装置、情報処理方法、及びプログラム

技術分野

[0001]
 本発明は、情報処理装置、情報処理方法、及びプログラムに関するものである。

背景技術

[0002]
 近年、従来目視で行われている検査を自動化する技術が検討されている。例えば、橋梁、ダム、及びトンネル等のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れなどの変状を目視で確認している。このような近接目視と呼ばれる点検作業は作業コストが高いため、コンクリート壁面を撮影した画像から変状部を自動的に検出する方法が提案されている(特許文献1)。
[0003]
 検査においては、変状の有無を検出するだけでなく、変状部の属性を判定することが望まれる。例えば、コンクリートのひび割れ検査においては、ひび割れの幅を確認することにより、ひび割れの重要度又は危険性を判定することができる。特許文献1は、画像からひび割れ幅を求める方法を開示している。具体的には、ひび割れを示す画素を中心とした局所領域の輝度分布データと、ひび割れ幅との関係を示すデータベースが構築される。そして、検出対象のとなる画像の各画素について、局所領域の輝度分布データを取得してデータベースと照合し、最も近似した輝度分布データに固有なひび割れ幅をひび割れ幅の判定結果として出力する。この処理をひび割れの各画素に対して実行することで、ひび割れ幅を判定している。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2009-103720号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかし、特許文献1のように局所領域の画像データを用いたひび割れ幅判定では、ひび割れ幅を実際よりも太く判定することがある。例えば、コンクリート表面が剥離している(欠けている)ことや、コンクリート表面に気泡(あばた)が生じていることがある。このような部分を通るひび割れに対して、剥離や気泡の穴の部分における局所領域の輝度分布を取ると、ひび割れ幅が太い場合と同様の輝度分布が得られる。この場合に特許文献1の方法でひび割れ幅を判定すると、ひび割れ幅が実際よりも太く判定される。また、特許文献1に基づいて、1本のひび割れの最大ひび割れ幅を算出すると、実際よりも太く判定してしまったひび割れ幅の影響を受けて、実際よりも大きい最大ひび割れ幅を算出してしまう可能性がある。以上のように、局所領域の画像情報のみを用いてひび割れ幅を判定する従来の方法では、最大ひび割れ幅を精度良く求めることができなかった。
[0006]
 本発明は、画像に写っている被写体の変状部の属性を判定する技術において、判定精度を向上させることができる。

課題を解決するための手段

[0007]
 本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
 入力画像に写っている被写体の変状部を検出する変状検出手段と、
 前記変状部の検出結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴量を抽出する抽出手段と、
 前記変状部の部分画像に関する特徴量を用いて、前記変状部の属性を判定する属性判定手段と、
 を備えることを特徴とする。

発明の効果

[0008]
 画像に写っている被写体の変状部の属性を判定する技術において、判定精度を向上させることができる。
[0009]
 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

[0010]
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
[図1] 実施形態1に係る情報処理装置の構成の一例を示すブロック図。
[図2] 実施形態1に係る処理のフローチャート。
[図3A] 変状分離部の処理を説明する図。
[図3B] 変状分離部の処理を説明する図。
[図3C] 変状分離部の処理を説明する図。
[図3D] 変状分離部の処理を説明する図。
[図4A] 変状分離部の処理を説明する図。
[図4B] 変状分離部の処理を説明する図。
[図4C] 変状分離部の処理を説明する図。
[図4D] 変状分離部の処理を説明する図。
[図4E] 変状分離部の処理を説明する図。
[図4F] 変状分離部の処理を説明する図。
[図5A] 変状分離部の処理を説明する図。
[図5B] 変状分離部の処理を説明する図。
[図5C] 変状分離部の処理を説明する図。
[図6] 領域設定部の処理を説明する図。
[図7A] 識別器の学習に用いる学習データを説明する図。
[図7B] 識別器の学習に用いる学習データを説明する図。
[図8A] 実施形態2で用いられるひび割れ長さに応じた処理を説明する図。
[図8B] 実施形態2で用いられるひび割れ長さに応じた処理を説明する図。
[図8C] 実施形態2で用いられるひび割れ長さに応じた処理を説明する図。
[図9] 実施形態3で用いるCNNについて説明する図。
[図10] 実施形態3に係る情報処理装置の構成の一例を示すブロック図。
[図11] 実施形態3における特徴量の抽出方法を説明する図。
[図12] 各実施形態に係る処理を実現するコンピュータの構成の一例を示す図。
[図13A] 実施形態5における特徴量の抽出方法を説明する図。
[図13B] 実施形態5における特徴量の抽出方法を説明する図。

発明を実施するための形態

[0011]
 以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。
[0012]
[実施形態1]
 実施形態1では、入力画像から変状部を検出し、さらに検出された変状部の属性情報を判定する情報処理装置及び情報処理方法について説明する。以下の実施形態では、変状部が検出された後に、変状部を含む入力画像の部分画像に関する特徴量を用いて変状部の属性が判定される。このような方法によれば、局所領域の画像情報のみを用いて変状部の属性を判定する場合と比較して、精度良く属性を判定することができる。例えば、ひび割れ幅を判定する場合であれば、ひび割れに沿った領域の画像情報から総合的にひび割れ幅を求めることにより、従来よりも精度良く最大ひび割れ幅を算出することができる。
[0013]
 本実施形態で用いられる入力画像は、被写体である構造物を撮影して得られた画像である。例えば、被写体は、橋梁、ダム、又はトンネル等のコンクリート構造物でありうる。もっとも、入力画像は、変状の検査が行われる検査対象である被写体の画像であり、被写体の種類は特に限定されない。例えば、入力画像は、道路のアスファルトの画像、又はビル等の建物の外壁の画像でありうる。また、以下では、入力画像が可視光画像(RGB画像)である場合について説明する。しかしながら、画像の種類は限定されず、例えば赤外線カメラで撮影された熱画像、又はラインセンサカメラを用いて撮影された画像、等でありうる。
[0014]
 本実施形態では、コンクリート壁面のひび割れが変状部として検出される。また、判定される変状部の属性情報は、ひび割れのひび割れ幅である。しかしながら、検出対象の変状及び判定対象の属性情報は、これらに限定されない。例えば、検査対象がコンクリート構造物である場合、検出対象の変状は、遊離石灰の析出、剥落、割れ、ジャンカ、コールドジョイント、又は鉄筋露出などであってもよい。検出対象の変状がひび割れである場合、判定される属性情報は、ひび割れの危険度又はひび割れ発生の原因等を示す情報であってもよい。
[0015]
 図1には、情報処理装置100の構成図を示す。情報処理装置100の機能は、プロセッサ及びメモリを備える計算機が、ネットワーク又は記録媒体を介して取得したソフトウェア(プログラム)を実行することにより実現できる。計算機は汎用のコンピュータであってもよく、例えば図12に示すコンピュータを用いることができる。図12に示すコンピュータ1200は、プログラムに従って処理を行うプロセッサ1201と、プログラムが展開されるメモリ1202と、プログラムを格納する記憶媒体1203を備える。また、図12に示すコンピュータ1200は、マウス等の入力装置が接続される入力インタフェース104、表示装置等の出力装置が接続される出力インタフェース105、及びバス106を備えている。一方、計算機として情報処理装置100のために設計されたハードウェアを用いてもよい。
[0016]
 情報処理装置100は、入力画像101を取得すると、変状部の検出結果である変状検出結果(ひび割れ検出結果)102と、変状の属性情報(ひび割れ幅)103と、を出力する。情報処理装置100は、第1の抽出部111、変状判定部112、変状分離部113、領域設定部114、第2の抽出部115、及び属性判定部116を含む。
[0017]
 図2は、実施形態1に係る処理のフローチャートである。以下、図1及び図2を参照しながら、本実施形態について説明を行う。
[0018]
 ステップS201で、第1の抽出部111は入力画像101を取得する。入力画像には被写体が写っている。本実施形態において被写体はコンクリート壁面であり、入力画像101はコンクリート壁面の画像である。また、入力画像101には、被写体の変状部が写っているかもしれない。本実施形態において変状部とはひび割れのことを指す。
[0019]
 以下の説明を容易とするために、本実施形態においては、入力画像101に対しては以下のような加工が行われているものとする。まず、入力画像101は、コンクリート壁面に正対する視点からの画像である。構造物の撮影時における撮像装置の位置又は向きによっては、撮像装置がコンクリート壁面に正対した状態で画像を撮像できないことがあるが、画像の幾何変換処理を行うことによりこのような画像を作成することができる。また、入力画像101は、レンズの歪みを補正する処理が行われているものとする。さらに、入力画像101に対しては、実空間に対する画像の解像度が一定となるように拡大又は縮小処理が行われているものとする。例えば、このような処理により、1画素がコンクリート壁面の1mmに対応する画像を得ることができる。このような変換及び補正は、既存の技術を用いて情報処理装置100又は外部装置が行うことができるため、詳細な説明は割愛する。
[0020]
 ステップS202及びS203において、入力画像101中における変状領域の判定が行われる。変状領域の判定方法としては、検出しようとする変状の種類に応じて、公知の方法を含む任意の方法を用いることができる。例えば、色値が、入力画像101の平均色値から所定の閾値以上離れている領域を、変状領域として判定することができる。以下では、ひび割れ領域を検出するのに適した方法として、入力画像101の各位置から特徴量を抽出し、判定器を用いて特徴量を分類することにより、変状領域を判定する方法について説明する。こうして抽出される特徴量は、入力画像101のある位置における局所領域の特徴量であり、以下では局所特徴量と呼ぶことがある。
[0021]
 ステップS202において、第1の抽出部111は、入力画像101から変状部(ひび割れ)を検出するための画像特徴量を抽出する。特徴量の種類は特に限定されず、検出しようとする変状の特性に合わせて、公知技術を含む選択肢の中から適宜選択することができる。例えば、ひび割れを検出する場合には、画像エッジが存在すると値が変化するHOG(Histograms of Oriented Gradients)特徴量を用いることができる。HOG特徴量は輝度勾配方向を示す特徴量であり、画像エッジと関連することから比較的ひび割れ検出に適した特徴量である。この場合、第1の抽出部111は、入力画像101中の、ある注目画素を中心とした所定の矩形領域からHOG特徴量を抽出することにより、着目画素についてのHOG特徴量を抽出する。第1の抽出部111は、入力画像101の各画素についてHOG特徴量を抽出することができる。
[0022]
 ステップS203において、変状判定部112は、入力画像に写っている被写体の変状部を検出する。本実施形態において変状判定部112は、入力画像101の各画素について、ステップS202で抽出された特徴量に基づいて、各画素が変状部を表しているか否かを判定する。この判定アルゴリズムも、検出しようとする変状の特性及び特徴量の種類に合わせて、公知技術を含む選択肢の中から適宜選択することができる。
[0023]
 本実施形態では、変状判定部112は、ステップS202で抽出されたHOG特徴量と、SVM(Support Vector Machine)とを用いて、以下のように判定を行う。まず、変状判定部112は、注目画素が変状部を表している可能性(ひび割れらしさ)を表すスコアを算出する。例えば、SVMを用いて、識別平面からのHOG特徴量の距離を求め、この距離を注目画素のひび割れらしさを表すスコアとして用いることができる。このような処理を入力画像の各画素に対して行うことにより、各画素のスコアを表すスコアマップを得ることができる。そして、スコアが所定の閾値を超える場合に、この画素は変状部(ひび割れ)を表すと判定することができる。具体的には、スコアマップを所定の閾値を用いて閾値処理することにより、ひび割れスコアが高い画素で構成される領域を変状領域(ひび割れ領域)として特定することができる。
[0024]
 なお、変状判定部112が用いるSVMは、予め、中心にひび割れが存在することが分かっている画像から抽出したHOG特徴量を用いて学習されているものとする。このようなSVMの学習は公知の手法を用いて行うことができるため、詳細な説明は割愛する。
[0025]
 情報処理装置100は、変状判定部112が判定した変状領域の位置を、変状検出結果102として出力してもよい。また、属性判定部116は、変状判定部112が判定した変状領域の画像に基づいて、後述するように変状部の属性情報103を求めてもよい。しかしながら、本実施形態においては、より精細な変状検出結果102を得るために、またより精細な変状部の属性情報103を得るために、変状分離部113及び領域設定部114による処理が行われる。
[0026]
 ステップS204において、変状分離部113は、ステップS203で検出された変状領域に基づいて、変状部の位置を検出する。本実施形態において、変状分離部113はさらに、入力画像101に写っている複数の変状部を個別に検出することができる。具体的には、変状分離部113は、ステップS203で検出された変状領域に含まれる2以上の変状を分離し、その位置を特定することができる。変状としてひび割れを検出する本実施形態においては、これは変状領域(ひび割れ領域)に含まれる変状(ひび割れ)を、個別の変状(1本ごとのひび割れ)に分解する処理に相当する。
[0027]
 図3A~3Dは、ステップS204における処理の詳細を説明する図である。ステップS204の処理は、細線化サブステップ、ポリライン化サブステップ、及び分離サブステップを含む。以下、それぞれのサブステップについて説明する。図3Aは、ステップS203で検出されたひび割れ領域301を示す。ひび割れ領域301は、ひび割れスコアが所定の閾値以上である画素で構成される領域である。
[0028]
 細線化サブステップにおいて、変状分離部113は、ひび割れ領域301に対する細線化処理を行う。具体的には、変状分離部113は、ひび割れ領域を1画素幅に細線化する。この処理により、ひび割れの位置を特定することができる。細線化処理には、任意の公知のアルゴリズムを用いることができる。例えば、ひび割れ領域を1、背景を0とした2値化画像を作成し、Hilditchアルゴリズムを適用することにより、細線化処理を行うことができる。
[0029]
 より正確にひび割れ位置を求めるために、変状分離部113は、変状判定部112が算出したひび割れスコアに基づいて細線化を行ってもよい。上述のように、スコアマップは、ひび割れ領域301の各画素についてのひび割れらしさを示すスコアを示す。したがって、変状分離部113は、スコアがピークとなる位置を細線が通るように細線化を行うことにより、最もひび割れを示す可能性が高い画素が含まれるように細線化を行うことができる。この処理には、例えば、エッジ検出処理の一つであるCanny法で使われているNMS(Non-Maximal Suppression)を適用することができる。Canny法のNMSを本実施形態に適用するには、変状分離部113は、各画素についてスコアの勾配方向を調べ、勾配方向において最大のスコアを有する画素を残す(最大のスコアを有さない画素は残さない)処理を実施することができる。なお、NMSによる細線化を実施しない実施形態においては、スコアマップは不要であるから、変状判定部112はひび割れ領域を1、背景領域を0で表す2値画像を出力してもよい。
[0030]
 以上の細線化サブステップにより、図3Bに示すように、1画素の幅を有するひび割れ領域の検出結果302が導出される。このような細線化により得られた線状の検出結果302は、ひび割れの位置を示す線であるといえる。以下のポリライン化サブステップ及び分離サブステップにおいて、変状分離部113は、こうして得られた線を線の方向変化に応じて分割する。例えば、線の方向が閾値より大きく変化する箇所において、線を分割することができる。分解により得られたそれぞれの線は、個別のひび割れの位置を示す。このようにして、変状分離部113は、入力画像101に写っている複数のひび割れを個別に検出することができる。以下では、具体的な処理例について説明する。
[0031]
 ポリライン化サブステップでは、変状分離部113は、検出結果302を複数の線分で近似する。以下、複数の線分で表される線をポリラインと呼び、ポリラインを作成する処理をポリライン化と呼ぶ。1画素幅のひび割れ領域をポリライン化することにより、後に説明する個別のひび割れ領域(1本のひび割れ領域)の判定が行いやすくなる。また、検出したひび割れデータをポリラインデータとして保存することにより、データ量が削減できる、各ひび割れの長さを容易に算出できるなど、ひび割れデータの取り扱いが容易になる。
[0032]
 図4A~4Eを用いて、ポリライン化について説明する。まず、図4Aの線401は、細線化ステップにおいて1画素幅に細線化されたひび割れ領域の検出結果である。まず、変状分離部113は、図4Bに示すように、線401について、端点402、403、404、及び分岐点405を検出する。図4Bにおいて分岐点405は3本の線が分岐する点であるが。しかし、分岐点では4本以上の線が分岐していてもよい。
[0033]
 次に、変状分離部113は、端点又は分岐点で区切られるそれぞれの線に対してポリライン化処理を行う。図4C及び図4Dは、変状分離部113が、端点402と分岐点405の間の線411に対してポリライン化の処理を行う様子を示す。ポリライン化処理のアルゴリズムは特に限定されないが、本実施形態ではRamer-Douglas-Peuckerアルゴリズムが用いられる。このアルゴリズムを用いた処理について、以下に説明する。
[0034]
 まず、端点402と分岐点405とを通る直線L が引かれる。次に、この直線L から最も遠い線411上の点406が求められ、この点406と直線L との距離d が求められる。予め定められた所定の距離εよりも距離d が大きい場合には、ポリラインを構成する点として点406が加えられる。
[0035]
 この場合、線411の一端(端点402)と新たに加えられた点406との間の線、及び線411の他端(分岐点405)と新たに加えられた点406との間の線、のそれぞれに対してポリライン化処理が再帰的に行われる。例えば、図4Dに示すように、点402と点406を結ぶ直線L 、点402と点406との間の線上で直線L から最も遠い点、この点と直線L との距離d が順次求められ、距離d がεと比較される。また、点406と点405との間の線についても、同様に直線L 及び距離d が求められ、距離d がεと比較される。図4Dの場合、d はεよりも小さいため、点402と点406との間にはポリラインの点を加えずに処理が終了する。一方、d はεよりも大きいため、点406と点405との間の線上で直線L から最も遠い点407が追加される。そして、点406と点407との間、及び点407と点405との間のそれぞれに対して、さらにポリライン化処理が行われる。
[0036]
 以上のようにして、端点402と分岐点405の間の線411がポリライン化される。このようなポリライン化の処理を全ての端点-端点間、端点-分岐点間、及び分岐点-分岐点間の線に対して実行することにより、図4Eのように点402~409を通る線分で表される、ひび割れを示すポリラインが得られる。
[0037]
 以上の処理により、変状分離部113は図3Cに示すポリラインを得ることができる。最後の分離サブステップにおいて、変状分離部113は、ひび割れを示すポリラインから、1本ごとのひび割れを特定する。例えば図3Dは、図3Cのポリラインで表現されたひび割れを、2つの個別のひび割れとして判定した結果を示す。このように、変状分離部113が1本のひび割れの範囲を特定する処理について、図4E~4Fを参照して説明する。
[0038]
 図4Eは、前述の通り、ポリラインで表現されたひび割れである。分岐点405においては3本のひび割れが分岐しているが、このうち2本のひび割れは連続した1本のひび割れを表すとみなせるかもしれない。変状分離部113は、分岐点において分岐している3本以上のひび割れのうち2つを、まとめるか否かを判定する。具体的には、図4Eの例では、(1)端点402と分岐点405をつなぐポリライン、(2)端点403と分岐点405をつなぐポリライン、(3)端点404と分岐点405をつなぐポリライン、の3つのポリラインが存在する。1本のひび割れの範囲を特定するため、変状分離部113は、1本のひび割れとするために、分岐点405を通るどのポリラインを組み合わせるのかを判定する。
[0039]
 本実施形態で、変状分離部113は、分岐点405におけるポリライン間の角度を算出し、ポリライン間の角度が緩やかとなる組み合わせのポリラインを接続することにより、1本のひび割れを特定する。本実施形態で用いる方法は、1本の連続したひび割れの中では急激な方向の変化は発生しない、という知見に基づく。この処理を、図4E及び図4Fを用いて具体的に説明する。
[0040]
 図4Eにおいて、変状分離部113は、端点402と分岐点405をつなぐポリラインと、端点403と分岐点405をつなぐポリラインと、の角度θ を算出する。本実施形態において、変状分離部113は、分岐点405に最も近い各ポリライン上の点(点407,点408)を用いて、点407-分岐点405-点408の間の角度を角度θ として求める。同様に、変状分離部113は、分岐点405に関する残りのポリラインの組み合わせについて、図4Eに示すように角度θ 及び角度θ を求める。なお、ポリライン間の角度の算出方法はこの方法に限られない。例えば、変状分離部113は、各ポリラインの始点と終点とを結ぶ線分同士がなす角をポリライン間の角度としてもよい。例えば、端点402と分岐点405をつなぐポリラインと、端点403と分岐点405をつなぐポリラインとの間の角度として、点402と点405とを結ぶ線分と、点403と点405とを結ぶ線分と、のなす角を算出してもよい。
[0041]
 変状分離部113は、以上のように算出したポリライン間の角度のうち、最も緩やかな角度を求める。例えば、ポリライン間の角度θ の値域を0<θ ≦πとした場合、変状分離部113は最大の角度を持つポリラインの組み合わせを選択する。図4Eにおいては、θ 、θ 、θ の中で、θ が最も大きい。θ は、端点402から分岐点405のポリラインと、端点404から分岐点405のポリラインとの間の角度であるから、これらのポリラインが接続され1本のひび割れとして扱われる。図4Fは、以上の処理によって決定された2本のひび割れの範囲が示されている。すなわち、図4Eのポリラインで示されたひび割れは、白丸と実線で表される1本のひび割れ420と、黒丸と波線で表される1本のひび割れ421と、に分離されている。点405は、ひび割れ420,421の双方に関することを示すため、白及び黒で表されている。
[0042]
 以上では、分岐点におけるポリライン間の角度を比較して、ポリラインを組み合わせて1本のひび割れとする処理について説明した。変状分離部113は、分離サブステップにおいて、さらにポリライン中における方向の変化を考慮して、1本のひび割れ範囲を決定する処理を行ってもよい。前述したように、1本の連続したひび割れにおいて、急激な方向の変化は発生しないことが多い。従って、ある点においてポリラインの方向が急激に変わる場合、この点でポリラインを分割し、2本のひび割れとして扱うことができる。具体的には、変状分離部113は、ポリラインの各点においてポリラインがなす角度を算出し、この角度が予め定められた閾値を下回る場合、この点においてポリラインを分割することができる。
[0043]
 この処理について、図5A~5Cを用いて説明する。ここでは、図5Aのように細線化の結果として線501が得られ、ポリライン化により図5Bに示すポリラインが得られたものとする。まず、変状分離部113は、ポリライン中の各点におけるポリラインの角度を算出する。例えば、点511における角度はθ である。変状分離部113は、これらの各点での角度θ を予め設定された角度θ thと比較し、θ <θ thとなる場合にこの点でポリラインを分割する。図5Bは、点512の角度θ が、θ <θ thとなる例を示す。この場合、変状分離部113は、線501で表されていた1つのひび割れを、図5Cのように、点512が2つのひび割れの境界となるように、ひび割れ521とひび割れ522の2本のひび割れに分割する。
[0044]
 この角度θ thは、ユーザが経験的に、1本のひび割れに含まれないと想定される角度を設定することができる。別の設定方法として、人間によって確認が行われたポリラインのひび割れデータを十分な量を用意して、角度θ thを統計的に求めることができる。この場合、ポリラインの各点における角度と、各点を人間がひび割れの分割点と判定したか、ひび割れが連続する点と判定したか、を示す情報が収集される。そして、分割点と連続点とを最も良く判別できる閾値の角度θ thを求めることができる。このような最も良く判別できる角度は、判別分析法などの公知の手法を用いて求めることができる。また、分割点と判定された点における角度データが十分収集できない場合には、連続すると判定された点における角度データのみから、判別基準を決定することもできる。一例として、連続すると判定された点における角度データ分布を用い、正規分布を仮定した際に3σとなる角度を求め、この角度をθ thとして用いることができる。
[0045]
 以上説明したように、ステップS204において、変状分離部113は、ステップS203で検出された変状領域(ひび割れ領域)から、1つずつの変状部(1本ごとのひび割れ)を特定する。なお、ひび割れ以外の変状を検出する場合も、変状の性質に合わせた適切な方法で個別の変状部を特定することができる。例えば、コンクリートのポップアウトを検出する場合、パターンマッチングにより変状領域から2つ以上の変状部を検出することができる。
[0046]
 以降は、ステップS205~S208の処理について説明する。ステップS205~S208の処理は、ステップS204までに検出された変状部(ひび割れ)について行われる。ステップS204までに2つ以上の変状部が検出されている場合、ステップS205~207の処理は、1つの変状部について順次行われる。すなわち、1つの変状部が選択され、選択された変状部についてステップS205~S207の処理が行われる。ステップS208では、まだ処理が実行されていない変状部があるか否が判定され、処理が実行されていない変状部が存在する場合には、この変状部が選択されてステップS205~207の処理が行われる。
[0047]
 まず、ステップS205の処理について説明する。領域設定部114は、変状部の属性情報を算出するために用いる領域を設定する。こうして設定された領域について、ステップS206において特徴量の算出が行われる。この領域は、変状部を含む画像領域であって、以下ではROI(Region of Interest)と呼ぶ。より具体的には、領域設定部114は、ステップS204までに検出された変状部の位置に従って、入力画像101から抽出される変状部の部分画像の領域(ROI)を設定する。その設定方法は、検出する変状の種類に応じて適宜選択できる。
[0048]
 例えば、領域設定部114は、ステップS204までに検出された変状部の位置に相当する画素群を、ROIとして設定することができる。本実施形態においては、ステップS204において1つの変状部(1つのひび割れ)を表すポリラインが得られている。したがって、領域設定部114は、このポリラインが通る画素群をROIとして設定することができる。
[0049]
 ROIは、変状部の位置に相当する画素群で構成される領域よりも大きくてもよく、例えばこの領域に対する拡大処理を行うことにより設定することができる。変状としてひび割れを検出する際におけるROIの設定方法の具体例を、図6を参照して説明する。図6においては、白丸と実線で表された1本のひび割れ601に対するROI602として、ひび割れからx画素の範囲内にある領域が設定されている。パラメータxは、予め設定された数値であり、例えばx=5画素とすることができる。このように、本実施形態において、ROIはひび割れの位置を中心としたひび割れの周辺画像領域である。
[0050]
 このように、変状部よりも広い領域をROIとして設定することにより、変状部の属性情報の判定精度を向上させることができる。例えば、ひび割れ部分のコンクリート表面が剥離している場合(欠けている場合)、又はひび割れがコンクリート表面に何らかの理由で生じた穴を通る場合等において、実際よりもひび割れ幅を太く判定してしまう可能性を減らすことができる。また、検出したひび割れ位置、例えばポリライン化の結果、が実際のひび割れ位置から数画素ずれている場合にも、正しいひび割れ幅を判定しやすくなる。
[0051]
 次に、ステップS206の処理について説明する。ステップS206において、第2の抽出部115は、ROIから特徴量を抽出する。具体的には、第2の抽出部115は、入力画像中のROIにおける画像から画像特徴量を抽出する。以下、この特徴量のことを変状特徴量と呼ぶ。特徴量の抽出方法は、検出しようとする変状及びその属性情報の種類に応じて適宜選択することができる。
[0052]
 一実施形態においては、ステップS207における属性情報の算出処理を容易とするために、ROIのサイズ(たとえひび割れの長さ)にかかわらず一定の次元を有する特徴量が用いられる。本実施形態においては、ROIのサイズにかかわらず、所定次元を有する特徴量を抽出するために、第2の抽出部115はROIの画像からヒストグラム特徴量を抽出する。具体的には、第2の抽出部115は、各画素の画素値に基づいて、予め設定したbin(すなわち複数の数値範囲)に従ってROIに含まれる全画素のヒストグラムを作成し、binごとの画素数で表されるヒストグラム特徴量を得ることができる。この場合、bin数が特徴量の次元となるため、ヒストグラム特徴量は、ROIのサイズに関わらず、常に同じ次元数を有する。なお、ステップS207における処理を容易とするために、画素値は最大値等に基づいて正規化することができる。画素値としては色情報を表す任意の値を用いることができ、例えばグレースケール画像における輝度値、カラー画像における色値の平均値、又はYUV色空間におけるY値、等を用いることができる。また、ヒストグラム特徴量を作成するために用いる画素情報は、画素値には限定されない。例えば、各画素について画素値の勾配方向を求め、勾配方向のヒストグラムを作成することにより、ヒストグラム特徴量を求めてもよい。
[0053]
 また、第2の抽出部115は、ROI中の全ての画素を用いる代わりに、ROI中の一部の画素を用いてヒストグラム特徴量を作成してもよい。例えば、ROI中の画素から、1画素おきに画素を選択し、選択された画素を用いてヒストグラムを作成してもよい。さらに、別のヒストグラム特徴量の作成方法として、第2の抽出部115はBoW(Bag of Words)又はBoF(Bag of Features)と呼ばれる手法を用いてヒストグラム特徴量を抽出してもよい。この場合、予め多数のROIから複数のビジュアルワードを作成しておき、処理対象となるROI中の画像におけるビジュアルワードの出現頻度をヒストグラム化することができる。BoW等を用いたヒストグラム特徴の作成は、公知の技術に従って行うことができるため、その詳細は割愛する。
[0054]
 以上の処理により、1つの変状部について、属性情報を判定するための変状特徴量vが得られる。以上のように、変状特徴量は、ROI中の各画素の情報を用いて算出される点で、1つの画素の周辺領域から求められる局所特徴量とは異なる。本実施形態においては、変状特徴量は、局所特徴量とは異なる方法で算出されている。
[0055]
 ステップS207において属性判定部116は、変状部の部分画像から抽出された、例えば上述のヒストグラム特徴量のような変状特徴量vを用いて、変状部の属性情報を判定する。属性判定部116は、複数の変状部のそれぞれについて属性を判定することができる。特徴量を用いた属性の判定方法は特に限定されないが、本実施形態では、多クラス識別を用いる方法について説明する。すなわち、予め学習された、特徴量に対応するクラスを与える識別器を用いることにより、変状部の属性が複数のクラスのいずれに属するかが判定される。
[0056]
 以下では、ひび割れ幅の判定を行う場合について特に説明する。多クラス識別を用いてひび割れ幅を判定するために、予め複数のひび割れ幅の範囲(クラス)が設定される。例えば、0.5mm幅未満のクラス1、0.5mm以上1.0mm未満のクラス2、1.0mm以上2.0mm未満のクラス3、及び2.0mm以上のクラス4を設定することができる。ひび割れ幅のクラスはこのような数値には限らず、任意の区間を設定することができる。属性判定部116は、あるひび割れについて、ひび割れ幅がどの範囲(クラス)に該当するかを判定する。
[0057]
 属性判定部116では、変状特徴量vを入力として、クラスラベルcを出力する識別器Fを用いて、判定を行う。
 c=F(v)
 この結果、例えばc=2と判定された場合には、ひび割れ幅はクラス2のひび割れ幅「0.5mm以上1.0mm未満」と判定される。この判定結果が、情報処理装置100が出力する変状部の属性情報103となる。
[0058]
 属性判定部116は、以下のように学習が行われた識別器Fを用いて、変状部の部分画像から抽出された変状特徴量から、変状部の属性を判定することができる。以下の学習処理は、情報処理装置100が備える学習部(不図示)、又は別個の学習装置として動作する情報処理装置(不図示)が行うことができる。このような学習装置は、例えば図12に示すコンピュータ1200を用いて実現することができる。
[0059]
 識別器Fは、ひび割れ幅が教師データ(正解となるクラスを示すラベル)として与えられた特徴量データを用いて、予め学習されている。図7A~7Bは、識別器Fの学習に用いるデータを説明する図である。図7Aは、1本のひび割れ701と、そのひび割れから分岐したもう1本のひび割れ702を含む画像を示す。所定以上の長さのひび割れにおいては、ひび割れ幅は一律ではなく、位置によってひび割れ幅が異なる傾向にある。例えば、図7Aのひび割れ701は、幅が0.15mmの部分、0.60mmの部分、及び0.10mmの部分を有している。ひび割れの重要度を判断する際には、そのひび割れの最も広い幅(最大ひび割れ幅)が重要となるため、本実施形態においては、1本のひび割れについてその最大ひび割れ幅を判定する。なお、図7Aに示す画像データは、ステップS201と同様の拡大縮小処理等が行われているものとする。
[0060]
 以下に、属性情報(最大ひび割れ幅)の学習を行うための学習データについて説明する。学習データは、ひび割れの画像と、ひび割れ幅のクラスラベルを含む教師データと、で構成される。このような学習データは、以下のように準備することができる。まず、人間は、図7Aのひび割れ画像を見て、ひび割れ位置とひび割れ幅の情報を入力する。図7Bは、これらの情報の入力方法を説明する図である。図7Bに示すように、人間は、図7Aに示されるひび割れの位置を入力する。例えばデータの作成者は、1つのひび割れが位置する画素を指定し、また別のひび割れが位置する画素を指定することができる。また、入力の労力を低減できる別の方法として、データの入力者は、ひび割れを線分で近似するための点730等を入力することにより、それぞれのひび割れの位置をポリライン711,712として入力することができる。次に、データの入力者は、それぞれのひび割れについて、最大ひび割れ幅を示すラベルを与える。例えば、図7Aのひび割れ701の最大ひび割れ幅は0.60mmであるため、入力者は「ひび割れ幅0.5mm以上1.0mm未満」のクラスラベルC2を与える。また、ひび割れ702の幅は0.15mmであるため、入力者は「ひび割れ幅0.5mm未満」のクラスラベルC1を与える。こうして、学習装置の取得部は、入力画像(ひび割れの画像)中の変状部(ひび割れ)の位置と、変状部の属性情報(最大ひび割れ幅)とを取得する。
[0061]
 以上のようにして、ひび割れの画像(図7A)と、ひび割れ位置とひび割れ幅のクラスラベルを含むデータ(図7B)が大量に準備される。その後、これらのデータに基づいて、1本のひび割れについての画像特徴量とクラスラベルとのセットが用意され、このセットを用いてひび割れ幅を判定するための識別器Fの学習が行われる。1本のひび割れについての画像特徴量の抽出は、ステップS205,S206と同様に行うことができる。学習装置の抽出部は、変状部の位置(ひび割れ位置)と抽出パラメータ(x)に従って規定された範囲(ROI)から、変状部を含む入力画像の部分画像を抽出する。具体的には、図7Bに示すポリライン711が示すひび割れ位置に基づいて、ひび割れの周辺x画素の範囲にROI721が設定され、このひび割れの画像(図7A)のうちROIに相当する範囲の画像から画像特徴量vが抽出される。このような画像特徴量の抽出処理を大量に準備されたひび割れの画像に含まれるそれぞれのひび割れに対して行うと、以下のデータVが得られる。また、上述のように、それぞれのひび割れのクラスラベルを示す以下のデータVも得られている。
 V={v ,v ,…,v ,…,v
 C={c ,c ,…,c ,…,c
 ここで、nはデータの入力者によって位置が入力された全てのひび割れ画像中のひび割れの総数であり、v はm番目のひび割れの画像特徴量、c はm番目のひび割れについてひび割れ幅を示すクラスラベルである。このように、画像特徴量と、ひび割れ幅を示すクラスラベルと、のセットがn個含まれるデータが準備される。
[0062]
 識別器Fに対しては、このデータセットを用いて、画像特徴量を入力としたときのクラス(ひび割れ幅)判定の学習が行われている。すなわち、学習装置の学習部は、抽出された部分画像の特徴量(画像特徴量v)を入力とした時に、変状部の属性情報(c)を返すように、識別器の学習を行う。識別器が用いる識別方法は、多クラス識別が実施できるのであれば、どのような方法でもよい。例えば、SVMを用いて、One-versus-the-restの手法を用いることができる。あるいは、Randomized Tree、又はk近傍法などを用いることもできる。
[0063]
 学習装置による画像特徴量vの抽出に用いられたパラメータxは、第2の抽出部115によるROIの設定に用いることができる。したがって、一実施形態において、学習装置の関連付け部は、学習により得られた識別器の構成を示す情報(例えば識別器のパラメータ)と、抽出パラメータxとを、関連付けることができる。学習装置は、こうして関連付けられた情報を、保持してもよいし、第2の抽出部115に供給してもよい。
[0064]
 ステップS208において、属性判定部116は、まだひび割れ幅が判定されていないひび割れが残っているか否かを判定する。残っている場合、処理はステップS205へ戻る。この場合、他のひび割れが選択されてそのひび割れ幅が判定される。全てのひび割れについてひび割れ幅が判定されると、図2の処理は終了する。
[0065]
 情報処理装置100は、上述のように、変状検出結果102を得ることができる。情報処理装置100は、変状検出結果102を出力することができ、その方法は限定されない。例えば、情報処理装置100は、表示装置(不図示)上で、検出された変状部の位置(例えばひび割れの位置)を入力画像101に重畳表示することができる。この際には、変状分離部113の処理結果に従い、別個のひび割れを区別可能なように表示を行うことができる。
[0066]
 また、情報処理装置は、上述のように、変状部の属性情報103を得ることができる。情報処理装置100は、変状部の属性情報103を出力することができ、その方法は限定されない。例えば、情報処理装置100は、表示装置(不図示)上に、変状部の属性情報を表示することにより、ユーザに閲覧させることができる。表示方法の一例としては、入力画像101に検出した変状部の位置(例えばひび割れ位置)を重畳表示するとともに、その近傍に判定された属性情報(例えばひび割れ幅)を表示することができる。別の例として、入力画像101にひび割れを示す線状のマーカを重畳表示し、このマーカの色又は太さを判定された属性情報(例えばひび割れ幅)に応じて変更することができる。さらなる別の例として、ユーザがひび割れをマウスカーソル等で選択した場合に、ポップアップ表示等を用いてひび割れ幅の情報を表示することもでき、ユーザがひび割れのプロパティの表示を命令した場合に、ひび割れ幅の情報を表示することもできる。さらには、情報処理装置100は、入力画像のうちどの範囲の画像情報を用いてひび割れ幅の判定を行ったかを、ユーザに示してもよい。この場合、各ひび割れについてのROIの範囲を画像に重畳表示することができる。このように、情報処理装置100が備える表示部(不図示)は、変状部の検出結果と、変状部の属性と、変状部の部分画像(ROI)の位置を示す情報と、を表示装置に表示させることができる。
[0067]
 また、情報処理装置は、属性情報の判定の信頼度を出力してもよい。例えば、属性判定部116は、判定された属性情報とともに、判定の信頼度を出力することができる。このようにして、属性情報の判定の信頼度をユーザに表示することができる。この場合、判定の信頼度は、例えば、SVMを識別器として用いて属性情報を判定する場合、変状特徴量の識別平面からの距離でありうる。しかしながら、信頼度はこれに限られず、例えば尤度又は確率などであってもよい。信頼度としては、識別器のアルゴリズムに応じて適切な指標を用いることができる。この信頼度を前述の属性情報と合わせて表示装置に表示することにより、ユーザは判定された属性情報の確からしさを確認することができる。
[0068]
 信頼度の表示方法は特に限定されない。例えば、属性情報とともに信頼度(例えば信頼度を示す数値)をポップアップ表示することができる。また、ひび割れを線状のマーカで表す場合、線状のマーカを用いて判定の信頼度も表すこともできる。例えば、ひび割れの幅を線状マーカの色で表す一方で、判定の信頼度を線状マーカの色の濃さ又は明るさで表すことができる。
[0069]
 さらに、変状部の属性情報の信頼度が所定値以下である場合、この変状部を強調表示してもよい。例えば、変状部の位置に確認を促すポップアップを表示する、又は画像に重畳表示した変状部を示すマーカを点滅表示する等の方法で、有する属性情報の信頼度が低い変状部に対する注目を促すように、変状部が強調された表示態様で表示を行うことができる。このような構成によれば、ユーザが信頼度の低い判定結果に着目しやすくなる。また、信頼度が低い判定結果については、ユーザが判定結果を確認し、必要であれば修正を行うことが容易になる。
[0070]
 本実施形態の方法によれば、1つの変状部について属性情報を判定する場合に、広い範囲の画像に基づいて判定が行われる。例えば、ひび割れの太さを判定する場合に、1本のひび割れ全体の特徴量に基づいてひび割れ幅を判定することができる。このため、局所的にひび割れが太く見える場合であっても、その影響を受けにくいひび割れ幅判定が可能になる。
[0071]
[変形例]
 以下では、実施形態1の変形例について説明する。もっとも、以下の変形例は、実施形態2~4に適用してもよい。
[0072]
 実施形態1では、ひび割れ幅は複数のクラスに分類され、ひび割れ幅のクラスを求めることによりひび割れ幅が判定された。他の実施形態として、回帰分析により実数値としてひび割れ幅を判定してもよい。この場合、属性判定部116は、識別器Fとして回帰モデルを用いることができる。また、説明変数としてひび割れ領域のROIの画像特徴量が、目的変数として最大ひび割れ幅の実数値が用いられる。学習は、1本のひび割れ画像の特徴量と、実数値で入力されたひび割れの最大ひび割れ幅と、のセットを用いて行うことができる。回帰モデルには、SVR(Support Vector Regression)、ランダムフォレスト、k近傍法、又はニューラルネットワークなどの手法を用いることができる。
[0073]
 実施形態1では、ひび割れ幅の属性情報として最大ひび割れ幅が判定された。しかし、判定される判定対象のひび割れ(変状部)の属性情報はこれに限定されず、例えば平均ひび割れ幅、危険度、又はひび割れ発生の原因等を判定してもよい。教師データ(ラベル)として、最大ひび割れ幅の代わりに、判定したい属性情報を用意することにより、判定する属性情報を変更することができる。
[0074]
 また、属性判定部116は、属性判定処理を用いて、ステップS202~204における変状検出結果を検証してもよい。例えば、属性判定部116が判定する複数の属性情報のクラスに、変状部が誤検出されていることを示すクラスを含めることができる。具体的には、属性判定部116が判定するひび割れ幅クラスに、「誤検出」というクラスを追加することができる。そして、属性判定部116が判定した変状部(例えばひび割れ)のクラスが「誤検出」であった場合、属性判定部はこの変状部が誤検出されたと判定することができる。この場合、属性判定部116はこの変状部の検出結果を消去することができ、例えば表示装置(不図示)にこのひび割れの検出結果が表示されないように表示制御を行うことができる。このような検証を行うためには、以下のように識別器の学習を行うことができる。すなわち、上述のように用意された変状部の特徴量と変状部の属性情報を示すクラスラベルとのセットに加えて、変状部とは関係のない画像部分に設定したROIから抽出された特徴量と「誤検知」のラベルとのセットを用いて、学習を行うことができる。このような方法により、変状部と関係ない画像についての特徴量が入力されたとき、すなわち変状部を誤検出していた場合、識別器は変状部が「誤検出」であると判定できるようになる。
[0075]
 実施形態1では、入力画像は1画素が1mmに対応するように予め補正されていた。一方、異なる解像度の画像の入力を受け付けてもよい。この場合には、解像度に合わせて選択された識別器を用いることができる。例えば、第1の解像度の学習データを用いて、ひび割れ検出のための識別器と、ひび割れ幅判定のための識別器を学習しておく。また、第2の解像度の学習データを用いて、同様に識別器を学習しておく。こうして、例えば1画素が1mmに対応する解像度向けの識別器、又は1画素が0.5mmに対応する解像度向けの識別器等、解像度に応じた識別器を用意することができる。そして、入力された画像の解像度に応じて識別器を切り替え、ひび割れの検出及びひび割れ幅の判定を行うことができる。入力画像の解像度は、ユーザが明示的に入力してもよいし、入力画像から自動的に解像度を推定してもよい。自動的に解像度を推定する方法としては、入力画像に写っている基準物の画像中でのサイズに基づいて、解像度を推定する方法が挙げられる。この基準物としては、例えば、クラックスケール等を利用することができる。このように、解像度に応じて自動又は手動で識別器を選択する場合、どの識別器が選択されたかを表示装置(不図示)に表示することができる。この場合、選択された識別器が対応する解像度、識別器の名称、又は識別器のID等を表示することができる。
[0076]
 また、この場合、入力画像の解像度に応じてROIの範囲を決定するパラメータx(図6又は図7B)を変更することにより、属性の判定精度を高めることができる。上述の例においては、パラメータxは変状部を中心とした画素数を表すため、入力画像の解像度が変化しても検出対象の同じ部分をROIとするためには、解像度に合わせてパラメータxを変化させる必要がある。したがって、解像度ごとに用意された識別器のそれぞれに適したパラメータxを合わせて保持しておき、学習時及び識別時にパラメータxに基づいてROIを設定することができる。この場合、前述のように、各ひび割れについてのROIの範囲を画像に表示することにより、どの範囲から変状特徴量が抽出されたのかをユーザが容易に理解できるようになる。さらに、利用したパラメータxを表示装置に表示してもよい。
[0077]
 前述したが、検出する変状及び判定する属性情報は、ひび割れ及びひび割れ幅に限定されない。例えば、壁面検査のみに関しても、検出する変状の例としては、遊離石灰の析出、剥落、割れ、ジャンカ、コールドジョイント、又は鉄筋露出などが挙げられる。また、判定する属性情報としては、検出した変状の危険度、又は変状発生の原因なども挙げられる。これらの変状の検出及び属性の判定を行う場合に用いる特徴量としては、ひび割れを検出対象とする場合について説明した上述の特徴量を用いてもよいし、各変状に適した特徴量を別途抽出してもよい。もちろん、本実施形態の方法の適用例は壁面検査に限定されず、任意の変状検出に適用することができる。
[0078]
 実施形態1では、ひび割れを1本ずつに分離してそれぞれについてひび割れ幅が検出された。しかしながら、ひび割れの分離方法はこの方法に限定されない。例えば、ポリラインのうち分岐点で区切られたそれぞれの区間を1つのひび割れとして扱い、ポリラインの端点と分岐点との間、及び分岐点と分岐点との間のひび割れのそれぞれについて、属性情報を算出してもよい。また、ポリラインを構成する点の間(1つの線分)を1つのひび割れとして扱い、その属性情報を算出してもよい。
[0079]
 さらには、情報処理装置100は、ひび割れ幅の判定を阻害する穴又は剥離等の変状を検出する構成を別途備えていてもよい。この場合、穴又は剥離の部分を避けるようにROIを設定することにより、より正確にひび割れ幅の判定を行うことができるようになる。
[0080]
[実施形態2]
 実施形態2では、変状部の大きさに応じて、異なる変状特徴量の抽出方法を用いる。すなわち、検出された変状部の大きさに応じて選択された方法に従って、変状部の部分画像から特徴量が抽出される。そして、抽出された特徴量を用いて、変状部の属性が判定される。以下では実施形態1と同様に、画像からひび割れを検出してひび割れの最大ひび割れ幅を判定する例について説明する。本実施形態では、ひび割れの長さに応じて、異なる変状特徴量の抽出方法が用いられる。例えば、長いひび割れの属性を判定する場合には、短いひび割れの属性を判定する場合と比べてより広い領域から特徴量が抽出されるが、この際に表現能力が高い特徴量を用いることにより判定制度を向上させることができる。
[0081]
 以下では、図1に示す第2の抽出部115及び属性判定部116が本実施形態で行う処理について説明する。その他の処理は、実施形態1と同様に行うことができるため、説明を省略する。すなわち、ステップS201~S205においては、実施形態1と同様に、変状部(ひび割れ)の検出及びそれぞれの変状部についてROIの設定が行われる。図8A~8Cは、ステップS205までの処理で得られた、ポリライン化されたひび割れ801,811,812、及びROI802,812,822を示す。
[0082]
 ステップS206において、第2の抽出部115はまず、それぞれの変状部について、変状部の大きさを算出する。本実施形態において第2の抽出部115は、それぞれのひび割れについてひび割れ長さLを算出する。ひび割れ長さLとしては、例えば、ひび割れを表現するポリラインの総延長を用いることができる。ひび割れ長さLの算出方法はこれに限られず、例えばひび割れ長さLとしてROIのサイズ(例えば面積)を用いることもできる。
[0083]
 次に、第2の抽出部115は、変状部の大きさに応じて、使用する変状特徴量の抽出方法を設定する。本実施形態において、第2の抽出部115は、それぞれのひび割れを、ひび割れ長さLと予め設定した閾値L thとに基づいて分類する。図8A~8Cは、ひび割れを長さに応じてL1、L2、及びL3の3種類のカテゴリに分類する例を示している。具体例としては、ひび割れ長さLが0<L<L th1の範囲にある場合、ひび割れ801は最も短いカテゴリL1に分類される(図8A)。同様に、ひび割れ長さLがL th1<L<L th2の範囲にあるひび割れ812はカテゴリL2と判断され(図8B)、L th2<Lの範囲にあるひび割れ802はカテゴリL3と判断される(図8C)。このようにして、図8A~8Cに示すひび割れ801,811,821がそれぞれ異なるひび割れ長さのカテゴリに分類されたとする。
[0084]
 実施形態2において、第2の抽出部115は、このように変状部の大きさ(ひび割れ長さ)に応じて変状部(ひび割れ)のカテゴリを決定し、カテゴリごとに異なる方法を用いて変状特徴量を抽出する。例えば、第2の抽出部115は、ひび割れ801の変状特徴量v L1を、実施形態1と同様にROI802に対応する画像のヒストグラムを作成することにより抽出する。ここで、この変状特徴量v L1は、d個のbinを有する輝度ヒストグラムに基づいて作成したd次元の特徴量である。
[0085]
 一方、ひび割れ811は、ひび割れ801よりも長い。本実施形態では、カテゴリL2に含まれるひび割れに関しては、ひび割れの長さに合わせて変状特徴量の特徴表現能力が増加するように、変状特徴量の抽出が行われる。具体例として、第2の抽出部115は、以下のようにしてROI812から変状特徴量v L2を抽出することができる。すなわち、第2の抽出部115は、まずROI812を複数の領域に分割する。図8Bでは、領域分割線813,814によって、ROI812は3つのサブ領域815,816,817に分割されている。次に、第2の抽出部115は、このサブ領域のそれぞれに対して実施形態1と同様の方法を適用することにより、サブ領域815,816,817のそれぞれから、d個のbinを有するヒストグラムに基づく変状特徴量(d次元特徴量)を抽出する。そして、第2の抽出部115は、この3つのd次元の変状特徴量を連結することにより、ROI812の変状特徴量として3d次元の特徴量を得ることができる。第2の抽出部115はまた、ひび割れ821の変状特徴量として、ROI822を4つのサブ領域に分割し、同様の手法を用いて4d次元の特徴量を得ることができる。
[0086]
 このように、本実施形態において第2の抽出部115は、小さい変状部(例えば短いひび割れ801)から抽出した特徴量よりも、大きい変状部(例えば長いひび割れ821)から抽出した特徴量の方が次元が大きくなるように、特徴量の抽出を行う。この方法によれば、ひび割れ長さのカテゴリに応じて異なる次元の特徴量が抽出され、長いひび割れについて抽出される特徴量は特徴の表現能力が向上する。上述の方法において、ROIの分割方法は特に限定されないが、例えば、ひび割れの長さに沿って等間隔に分割を行うことができ、また分割後のサブ領域の画素数が同数になるように分割を行うことができる。
[0087]
 実施形態2では、ひび割れ長さのカテゴリごとに異なる次元数を有する変状特徴量に対応するために、属性判定部116は、それぞれのカテゴリについて異なる識別器Fを用いてひび割れ幅(属性情報)の判定を行う。図8A~8Cの例では、カテゴリL1のひび割れから抽出されたd次元の変状特徴量を用いて判定を行う識別器F L1が用いられる。また、カテゴリL2のひび割れから抽出された3d次元の変状特徴量を用いて判定を行う識別器F L2も用いられる。さらに、カテゴリL3のひび割れから抽出された4d次元の変状特徴量を用いて判定を行う識別器F L3も用いられる。それぞれの識別器は、学習データをひび割れ長さに応じて各カテゴリに分離し、対応するカテゴリの学習データ(変状特徴量及びひび割れ幅の情報)を用いて学習を行うことにより、予め用意されている。
[0088]
 以上のようにして、変状の大きさ(ひび割れ長さ)に応じて、異なる特徴抽出方法を用いて変状特徴量を抽出することができる。なお、変状特徴量の具体的な抽出方法は、上記の方法には限定されない。例えば、ひび割れ長さに応じたひび割れのカテゴリ数、及び各カテゴリについてのROIの分割数は、任意に決定できる。また、ROIの分割を等間隔に行う場合について説明したが、この方法には限定されず、例えばひび割れの中心付近においてサブ領域が小さくなるように分割することもできる。
[0089]
[実施形態3]
 実施形態1,2では、変状特徴量は入力画像から抽出された部分画像のヒストグラムに基づいて抽出された。このように、変状特徴量は入力画像から直接抽出することができる。しかしながら変状特徴量は入力画像の部分領域から抽出されたものに限定されず、部分領域に関する特徴量であればよい。実施形態3では、変状特徴量がCNN(Convolutional Neural Network)を用いて作成した特徴マップから抽出される。なお、実施形態3でも、実施形態1,2と同様に、ひび割れを変状部として検出し、ひび割れ幅を変状部の属性情報として判定する場合の例について説明する。
[0090]
 本実施形態では、CNNを用いて入力画像と同サイズの特徴マップが作成される。CNNのアーキテクチャは特に限定されないが、以下では実施形態3で用いるCNNの一例について図9を用いて説明する。図9は、Hariharan et al. "Hypercolumns for Object Segmentation and Fine-Grained Localization" The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015.に開示されているハイパーコラムと呼ばれているアーキテクチャを示す。このアーキテクチャでは、まず、図9に示すように、幅w高さhの入力画像900がベースとなるCNN901(以下、ベースCNNと呼ぶ)に入力される。次に、ベースCNN中の複数の中間層から出力が分岐される。入力画像サイズとは異なるサイズの中間層からの出力に対しては、分岐時にサンプリングが行われ、こうして入力画像サイズと同サイズの中間層902~905が得られる。例えば、プーリングにより入力画像サイズよりも小さなサイズとなっている中間層については、分岐時にアップサンプル(リサイズ)が行われる。そして、これらの中間層902~905を連結することで、特徴マップ906が作成される。特徴マップ906は、入力画像900と同サイズの幅wと高さhを有し、中間層902~905のチャネル数の和であるnチャネルのマップである。特徴マップ906のある画素における特徴量は、例えばn次元のベクトル907で表される。
[0091]
 CNNアーキテクチャの別の例として、ベースCNNの部分には、Alex Net又はVGGのような既存のCNNアーキテクチャのCNN層を利用することができる。特徴マップの作成方法も特に限定されず、任意の方法で、ベースCNNの任意の中間層出力を取り出して、入力画像の解像度と同じ解像度に変換することにより、作成することができる。さらには、プーリングにより縮小した中間層を、デコンボリューションにより元の画像サイズに戻すアーキテクチャを用いて、特徴マップを作成することもできる。
[0092]
 実施形態3では、このようなCNNアーキテクチャを用いて変状特徴量を抽出する。一方、変状を検出する処理は、実施形態1と同様に行うこともできるし、処理の効率化のためにCNNを用いて行うこともできる。以下では、図10~12を用いて、変状検出と変状特徴量の抽出をCNNを用いて行う実施形態について説明する。
[0093]
 まず、図10を用いて、変状を検出する処理と変状特徴量を抽出する処理について説明する。図10には、簡略化された図9と、変状検出処理と、変状の属性情報を判定する処理と、が示されている。図10において、ベースCNN901は、共通特徴量作成部として用いられる。ベースCNN901は、変状検出に用いる局所特徴量の作成と、属性情報判定のための変状特徴量の作成に共通して用いられる。そして、局所特徴量と変状特徴量を作成するために、ストリーム910及びストリーム920で示すように、ベースCNN901から2つのストリームが分岐する。すなわち、第1の抽出部111は、入力画像900が入力されたCNNの中間層からの出力をストリーム910として抽出し、入力画像900の各画素についての第1の特徴量を示す第1の特徴マップ911を作成する。一方、第2の抽出部115は、入力画像900が入力されたCNNの中間層からの出力をストリーム920として抽出し、入力画像900の各画素についての第2の特徴量を示す第2の特徴マップ921を作成する。ここで、ストリーム910とストリーム920とが同じである必要はないし、第1の特徴量と第2の特徴量とが同じである必要はない。
[0094]
 上述のように、第1の特徴マップ911は、入力画像900と同サイズの幅wと高さhを有するnチャネルのマップである。すなわち、第1の特徴マップ911は、入力画像900の各画素についてn次元の特徴量(局所特徴量)を示す。変状判定部112は、第1の特徴マップ911に示される入力画像900の各画素の第1の特徴量に従って、変状部を検出する。本実施形態において変状判定部112は、以下のようにして変状部の検出を行う。すなわち、変状判定部112は、各画素の局所特徴量から、各画素が変状に対応する可能性を示すスコアマップを作成する。例えば、変状判定部112は、シグモイド関数を用いた以下の式により各画素についてのスコアを算出することができる。
 s i,j=σ(w・v i,j
 ここで、i,jは画素の画像座標を示し、s i,jは座標(i,j)の画素が変状部に対応する可能性を示すスコアを表す。また、σ( )はシグモイド関数を示し、w・v i,jはベクトルwとベクトルv i,jとの内積を表す。v i,jは検出特徴マップにおける座標(i,j)のn次元特徴ベクトルであり、wはv i,jに対する重みベクトルである。この計算を各画素に対して実行することで、変状判定部112はスコアマップを作成することができる。
[0095]
 ここでは、変状判定部112はニューラルネットワークの出力層でよく利用されるシグモイド関数を用いてスコアマップを作成したが、他の方法によりスコアマップを作成することもできる。例えば、変状判定部112は、各画素の特徴ベクトルv i,jをSVMに入力することで各画素のスコアを算出してもよい。
[0096]
 変状分離部113及び領域設定部114は、変状判定部112が算出したスコアマップを用いて、実施形態1と同様に変状部を1つずつ特定する処理及び変状部ごとにROIを設定する処理を行うことができる。
[0097]
 次に、図11を用いて、第2の抽出部115が、領域設定部114が設定したROIと、第2の特徴マップ921とを用いて、1つの変状部についての変状特徴量を抽出する処理を説明する。第2の抽出部115は、第2の特徴マップ921に示される、変状部の部分画像の各画素の第2の特徴量に従って、変状特徴量を算出する。ここで、変状部の部分画像は、ROI内の画像に相当する。以下では、変状特徴量の算出方法の一例を説明する。
[0098]
 図11には、第2の特徴マップ921が示されているが、図11においては紙面の奥方向がチャネル数nを示しており、図9及び図10とは第2の特徴マップ921の表示の向きが異なることに注意が必要である。また、図11には、第2の特徴マップ921上に、領域設定部114で求めた1つの変状部(ひび割れ)についてのROI930が示されている。ROIは、変状部の大きさ(ひび割れの長さ)によって、その大きさが変わる。一方、属性判定部116は、所定の次元を持つ変状特徴量を用いて変状部の属性(ひび割れ幅)を判定する。そこで、本実施形態において、第2の抽出部115は、以下のようにしてROI930の変状特徴量v 930を作成する。
[0099]
 まず、第2の抽出部115は、ROI930を複数のサブ領域に分割する。ROIの分割数及び分割方法は特に限定されず、例えば実施形態2と同様の方法を用いることができる。図11の例では、分割線931,932により、各サブ領域の面積が同じになるようにROI930が3分割されている。
[0100]
 次に、第2の抽出部115は、それぞれのサブ領域に対してMax Poolingを実施する。例えば、サブ領域940に対してMax Poolingを実行すると、サブ領域940の各チャネルについての最大値を有するベクトル941が生成される。ここで、ベクトル941は、第2の特徴マップのチャネル数と同じn次元のベクトルとなる。図11に示されたdim(n)は、n次元ベクトルを表す。同様に、第2の抽出部115は、他のサブ領域に対しても同様にMax Poolingを行うことにより、n次元のベクトルを生成する。このように、3つのサブ領域のそれぞれからn次元のベクトルが得られる。こうして得られた3つのn次元ベクトルを連結することで、ROI930の変状特徴量v 930が得られる。この方法に従うと、ROIを3分割することにより抽出された変状特徴量は、ROIのサイズに関わらず常に3n次元の特徴ベクトルとなる。
[0101]
 以上の方法により、第2の特徴マップ及び任意のサイズのROIに基づいて、所定次元の変状特徴量を抽出することができる。なお、プーリングの方法は特に限定されず、例えばAverage Pooling等の他の方法を用いることもできる。
[0102]
 属性判定部116は、実施形態1と同様に、変状特徴量を用いて変状部の属性情報を判定することができる。
[0103]
 以上のように、本実施形態においては、変状部の検出及びその属性情報の判定のために、CNNが用いられる。このCNNの学習は、変状部検出の誤差と、変状属性の判定誤差とに基づいて、誤差逆伝搬法を用いることで行うことができる。
[0104]
 変形例として、複数の変状部を検出しそれらの属性の推定を行う場合について説明する。例えば、ひび割れと同時に、析出物のようなひび割れ以外の変状を検出することができる。また、ひび割れについてはひび割れ幅を判定する一方、析出物については例えば析出物発生の原因を判定することができる。
[0105]
 このような構成においては、検出対象となる変状に適した局所特徴量又は変状特徴量を抽出するために、ベースCNNから分岐するストリームの数を増やすことができる。例えば、図10に示すベースCNN901から、ストリーム910,920の他に、析出物を検出するための局所特徴量の抽出に用いるストリームと、析出物の属性を判定するための変状特徴量の抽出に用いるストリームを分岐させることができる。このような構成により、それぞれの変状の検出とその属性判定に適した特徴量を抽出することができる。
[0106]
[実施形態4]
 実施形態4は、ROIの設定に用いられるパラメータを調整する実施形態について説明する。実施形態1では図6で示したように、予め設定されたパラメータxに従い、変状部(ひび割れ)を中心としたx画素の範囲をROIとした。このように変状特徴量の抽出に用いられるROIの範囲はパラメータxによって変化するため、パラメータxを適切に設定することにより、変状部の属性情報(ひび割れ幅)を精度良く求めることができる。以下、属性判定部116が用いる識別器の学習時と、属性判定部116による属性情報の判定時のそれぞれについて、パラメータxを調整する方法について説明する。以下の方法は、例えば図12に示すコンピュータ1200のような情報処理装置によって実現できる。また、実施形態1では、各ひび割れについてROIの範囲を表示装置に表示する場合について説明した。この表示により、ユーザは、ひび割れ幅の判定のために用いられたか画像の範囲を理解することができる。実施形態4では、表示装置に表示する情報についての拡張例及び変形例についてあわせて説明する。
[0107]
 まず、学習時におけるパラメータxの調整方法について、2通りの方法を説明する。1つめの方法としては、ユーザが、学習データにおけるROIの範囲を示す適切なパラメータxを選択する方法が挙げられる。この場合、学習データとして用いられるひび割れ画像に対して、様々なパラメータxを用いて自動的にROIを設定し、それぞれのパラメータxに従うROI範囲をひび割れ画像に重畳表示してユーザに提示することができる。このとき、それぞれのROIを表示装置に順次表示してもよいし、異なる色又は線種で表されたそれぞれのROIを同時に表示装置に表示してもよい。また、パラメータxとしては、予め複数の値が用意されていてもよいし、ユーザが任意の値を順次設定してもよい。
[0108]
 そして、ユーザは、表示装置に表示された複数のROIを目視で確認し、ひび割れ幅を判定するために適切な範囲となっているROIを選択する。適切なROIとしては、例えば、コンクリート表面の剥離や穴を通るひび割れについて、剥離や穴の全体を含んでいるROIが挙げられる。そして、選択されたROIに対応するパラメータxが、学習時に用いられる。このような方法によれば、剥離や穴を含むひび割れ全体の特徴を抽出することができるようになり、剥離や穴を通るひび割れと太いひび割れとを判別しやすくなることが期待できる。
[0109]
 2つ目の方法としては、学習データを用いた際の属性情報(ひび割れ幅)の判定精度が高くなるパラメータxを選択する方法がある。この場合、学習データを2つに分割し、一方を識別器の学習に用いるデータ、もう一方を学習した識別器を評価するためのデータとして用いることができる。このように分割された学習データを用いて、パラメータxを変化させながら、識別器の学習と、学習された識別器の評価が繰り返される。評価は、ひび割れ幅判定の正解率等に基づいて行うことができる。そして、正解率が最大となるパラメータxを、最適なパラメータとして選択することができる。このような方法により、自動的に最適なパラメータxを選択することができる。
[0110]
 この場合、ユーザが確認できるように、自動的に選択されたパラメータxに関する情報を表示装置に表示することができる。例えば、パラメータxの数値を表示装置に表示することができる。また、学習データに含まれるいくつかのひび割れ画像を、パラメータxを用いて設定されたROIが重畳された状態で、表示装置に表示することができる。
[0111]
 以上、学習時において、学習データに基づいて最適なパラメータxを1つ設定する場合について説明した。学習時にはこうして設定されたパラメータxを用いて実施形態1と同様に識別器の学習を行うことができる。また、判定時にも、領域設定部114はこうして設定されたパラメータxを用いてROIの設定を行うことができる。一方、パラメータxを1つに限定することは必須ではない。例えば、変状部の属性情報の判定時に、入力画像に合わせて任意のパラメータxを設定することもできる。以下では、判定時にパラメータxを調整する方法について説明する。
[0112]
 領域設定部114は、1つの変状部(ひび割れ)に対して、変状部を含む部分画像の領域を複数設定する。そして、第2の抽出部115及び属性判定部116は、複数設定された部分画像の領域のそれぞれを用いて、変状部の属性を複数回判定する。本実施形態において領域設定部114は、1つの変状部(ひび割れ)に対して、異なる複数のパラメータxを用いて複数のROIを設定する。そして、第2の抽出部115及び属性判定部116は、それぞれのROIに従って属性情報(ひび割れ幅)を算出する。ひび割れ幅の算出方法としては、実施形態1で説明した方法を用いることができるが、ROIを設定するステップ(ステップS205)の後の処理(ステップS206~S207)は、1つのひび割れに対して複数回実行され、複数のひび割れ幅が算出される。ここで用いられる複数のパラメータxは、予め設定されていてもよいし、ユーザによって任意に設定されてもよい。
[0113]
 こうして得られた複数のひび割れ幅は、比較可能なようにユーザに提示することができる。また、こうして得られた複数のROIも、比較可能なようにユーザに提示することができる。例えば、表示装置には、ひび割れの検出位置、ひび割れ幅、及びROIを示す情報が重畳された入力画像を表示することができる。ここで、それぞれのパラメータxを用いた場合における、ひび割れ幅の判定結果及びROIの範囲を、それぞれのパラメータxごとに切り替えて表示することができる。また、ひび割れ幅の判定結果及びROIの範囲の比較結果が分かるように、表示装置に表示を行うこともできる。ユーザは、表示された結果を見て、適切な判定結果を選択することができる。
[0114]
 さらに、ユーザは、表示された結果に基づいて、適切なパラメータxを選択することもできる。例えば、情報処理装置100は、検査対象の一部分の画像を入力画像として複数のパラメータxを用いた判定を行い、その結果に基づいてユーザはパラメータxを選択することができる。この場合、情報処理装置100は、検査対象の残りの画像に対しては、ユーザが選択したパラメータxを用いてひび割れ幅の判定を行うことができる。
[0115]
 ROIの範囲を決定するために用いられるパラメータは、上記のパラメータxに限らない。例えば、実施形態1で説明した1本のひび割れ範囲の決定に用いられる角度閾値θ thを変化させると、判定される1本のひび割れの範囲も変化する。この結果、1本のひび割れに対して設定されるROIも変化する。従って、この角度閾値θ thもROIの設定に用いられるパラメータであり、同様の方法により適切な値に設定することができる。すなわち、変状分離部113が変状部を個別に特定するために用いるパラメータも、ROIの範囲を決定するパラメータとして同様に調整することができる。
[0116]
[実施形態5]
 実施形態1~4では、例えば図6に示されるように、変状部(ひび割れ)を中心とした所定距離内の領域がROIとして設定された。実施形態5では、検出された変状部の位置に複数のパッチ領域(局所領域)を設定することで、ROIの範囲が設定される。本実施形態の構成及び処理は、ステップS205及びS206の処理が異なることを除き実施形態1~4と同様であるから、重複する説明は省略する。
[0117]
 図13Aは、実施形態5で設定されるROIを説明する図である。図13Aでは、検出した1本の変状部(ひび割れ1301)に対してROIが設定されている。図13Aにはパッチ領域1310が示されており、これはひび割れ1301上の位置1320を中心とする1辺が2x画素の正方形領域である。xは、上記の実施形態と同様に、ROIの範囲を決定するパラメータである。パッチ領域の形状は正方形に限られず、例えば、長方形、円形、又は楕円形等の任意の形状でありうる。
[0118]
 本実施形態のステップS205において領域設定部114は、このようなパッチ領域を、属性情報の判定対象である変状部に複数設定する。図13Aでは、ひび割れ1301上に、ひび割れ位置を中心とするn個のパッチ領域1310,1311,……,131nが設定されている。そして、これらのパッチ領域の全体が、ひび割れ1301の属性情報を判定するために特徴量が算出されるROI領域となる。複数のパッチ領域の設定方法は特に限定されず、各パッチ領域が互いに重複するように設定されてもよいし、パッチ領域の中心位置を調整することにより各パッチ領域が互いに重複しないように設定されてもよい。また、各パッチ領域は、等間隔でひび割れ上に並べられてもよいし、ひび割れの任意の位置に設定されてもよい。例えば、等間隔ではないパッチ領域の設定方法としては、ひび割れ上の画素からパッチ領域の中心をランダムに選択する方法、及びひび割れ上の特徴的な画素を選択する方法等が挙げられる。
[0119]
 次に、ステップS206において、第2の抽出部115は、設定されたROI領域から変状特徴量を作成する。上述の通り、第2の抽出部115は、複数のパッチ領域のいずれかに含まれる画像から変状特徴量を作成する。例えば、図13Bに示されるように、第2の抽出部115は、複数のパッチ領域の外接線1330の内部の画像から、実施形態1~4と同様にヒストグラム特徴量を作成することができる。
[0120]
 変状特徴量の作成方法はこの方法には限られない。例えば、第2の抽出部115は、パッチ領域ごとに特徴量を抽出してもよい。この場合、これらの特徴量を統合することにより、ROI範囲の変状特徴量を作成することができる。例えば、第2の抽出部115は、パッチ領域ごとの特徴量として、各パッチ領域について画像の輝度最小値を抽出することができる。図13Aの例では、n個のパッチ領域1310~131nが存在するため、n個の輝度最小値が抽出される。これらのn個の輝度最小値をヒストグラム化することにより、ひび割れ1301のROI領域全体の変状特徴量を作成することができる。
[0121]
 ここで、各パッチ領域から抽出する特徴量は輝度最小値に限られず、任意の画像特徴量でありうる。例えば、パッチ領域内のエッジ強度の最大値又はHOG特徴量等を特徴量として抽出してもよい。また、1つのパッチ領域から複数種類の特徴量を抽出してもよい。例えば、各パッチ領域から、輝度最小値及びエッジ強度最大値を抽出してもよい。この場合、輝度最小値のヒストグラム特徴量とエッジ強度最大値のヒストグラム特徴量とが連結されたベクトルを、ROI範囲の変状特徴量として用いることができる。
[0122]
 本実施形態では、以上のようにして作成した変状特徴量を用いて、変状部の属性情報を判定する。属性情報の判定方法は、実施形態1~4と同様でありうる。以上のように、変状特徴量が抽出される変状部の部分画像の選択方法、すなわちROI領域の設定方法は特に限定されない。また、変状部の部分画像の特徴量の作成方法も特に限定されない。なお、学習時も、判定時と同様の方法で変状特徴量を作成することができる。
[0123]
(その他の実施例) 
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[0124]
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
[0125]
 本願は、2017年5月22日提出の日本国特許出願特願2017-101142及び2018年5月2日提出の日本国特許出願特願2018-88863を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

請求の範囲

[請求項1]
 入力画像における被写体の変状部を検出する変状検出手段と、
 前記変状部の検出結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴量を抽出する抽出手段と、
 前記変状部の部分画像に関する特徴量を用いて、前記変状部の属性を判定する属性判定手段と、
 を備えることを特徴とする情報処理装置。
[請求項2]
 前記変状検出手段は、前記入力画像の各位置から抽出された局所特徴量を用いて前記変状部を検出し、
 前記抽出手段は、前記変状部の部分画像に関する特徴量として前記変状部の部分画像から特徴量を抽出することを特徴とする、請求項1に記載の情報処理装置。
[請求項3]
 前記抽出手段は、前記変状部の部分画像に関する特徴量として前記変状部の部分画像からヒストグラム特徴量を抽出することを特徴とする、請求項1又は2に記載の情報処理装置。
[請求項4]
 前記属性判定手段は、多クラス識別を用いて、前記変状部の属性が複数のクラスのいずれに属するかを判定することを特徴とする、請求項1から3のいずれか1項に記載の情報処理装置。
[請求項5]
 前記複数のクラスは、前記変状部が誤検出されていることを示すクラスを含むことを特徴とする、請求項4に記載の情報処理装置。
[請求項6]
 前記属性判定手段は、学習された識別器を用いて前記変状部の属性を判定することを特徴とする、請求項1から5のいずれか1項に記載の情報処理装置。
[請求項7]
 前記変状検出手段は、前記入力画像が入力されたCNN(Convolutional Neural Network)の中間層からの出力を用いて得られた前記入力画像の各画素の第1の特徴量に従って、前記変状部を検出し、
 前記抽出手段は、前記CNNの中間層からの出力を用いて得られた前記変状部の部分画像の各画素の第2の特徴量に従って、前記変状部の部分画像の特徴量を算出する
 ことを特徴とする、請求項1から6のいずれか1項に記載の情報処理装置。
[請求項8]
 前記抽出手段は、検出された前記変状部の大きさに応じて選択された方法に従って前記変状部の部分画像から特徴量を抽出することを特徴とする、請求項1から7のいずれか1項に記載の情報処理装置。
[請求項9]
 前記変状検出手段は、前記変状部の位置を検出し、
 前記情報処理装置は、前記変状部の位置に従って前記入力画像から抽出される前記変状部の部分画像の領域を設定する設定手段をさらに備えることを特徴とする、請求項1から8のいずれか1項に記載の情報処理装置。
[請求項10]
 前記設定手段は、1つの変状部に対して、前記部分画像の領域を複数設定し、
 前記属性判定手段は、複数設定された前記部分画像の領域のそれぞれを用いて、前記変状部の属性を複数回判定することを特徴とする、請求項9に記載の情報処理装置。
[請求項11]
 前記変状検出手段は、前記入力画像に写っている複数の変状部を個別に検出し、
 前記属性判定手段は、前記複数の変状部のそれぞれについて前記属性を判定することを特徴とする、請求項1から10のいずれか1項に記載の情報処理装置。
[請求項12]
 前記被写体は構造物であり、前記変状部は前記構造物に生じたひび割れであることを特徴とする、請求項1から11のいずれか1項に記載の情報処理装置。
[請求項13]
 前記変状検出手段は、
  前記入力画像の各位置から抽出された局所特徴量を用いてひび割れ領域を検出し、
  前記ひび割れ領域を細線化することにより前記ひび割れの位置を示す線を導出し、
  前記線の方向変化に応じて前記線を分割することにより、個別のひび割れの位置を示す線を導出する
 ことにより、前記入力画像に写っている複数のひび割れを個別に検出することを特徴とする、請求項12に記載の情報処理装置。
[請求項14]
 前記変状部の位置を表示装置に表示させる表示手段をさらに備えることを特徴とする、請求項1から13のいずれか1項に記載の情報処理装置。
[請求項15]
 前記表示手段は、前記変状部の位置とともに当該変状部の属性を前記表示装置に表示させることを特徴とする、請求項14に記載の情報処理装置。
[請求項16]
 前記属性の信頼度を算出する算出手段をさらに備え、
 前記表示手段は、前記変状部の属性とともに当該属性の信頼度を前記表示装置に表示させることを特徴とする、請求項15に記載の情報処理装置。
[請求項17]
 前記表示手段は、前記変状部の属性の信頼度に基づいて、前記変状部の表示態様を変化させることを特徴とする、請求項16に記載の情報処理装置。
[請求項18]
 入力画像中の変状部の位置と前記変状部の属性情報とを取得する取得手段と、
 前記変状部の位置と抽出パラメータとに従って規定された範囲から、前記変状部を含む前記入力画像の部分画像を抽出する抽出手段と、
 抽出された前記部分画像に関する特徴量を入力とした時に前記変状部の属性情報を返すように識別器の学習を行う学習手段と、
 前記学習により得られた前記識別器の構成を示す情報と、前記抽出パラメータと、を関連付ける関連付け手段と、
 を備えることを特徴とする情報処理装置。
[請求項19]
 情報処理装置が行う情報処理方法であって、
 入力画像に写っている被写体の変状部を検出する変状検出工程と、
 前記変状部の検出結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴量を抽出する抽出工程と、
 前記変状部の部分画像に関する特徴量を用いて、前記変状部の属性を判定する属性判定工程と、
 を含むことを特徴とする情報処理方法。
[請求項20]
 コンピュータを、請求項1乃至18の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3A]

[ 図 3B]

[ 図 3C]

[ 図 3D]

[ 図 4A]

[ 図 4B]

[ 図 4C]

[ 図 4D]

[ 図 4E]

[ 図 4F]

[ 図 5A]

[ 図 5B]

[ 図 5C]

[ 図 6]

[ 図 7A]

[ 図 7B]

[ 図 8A]

[ 図 8B]

[ 図 8C]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13A]

[ 図 13B]