処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020111048 - コンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法

Document

明 細 書

発明の名称 コンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008  

発明の効果

0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247  

符号の説明

0248  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34A   34B   34C   34D   34E   35   36A   36B   36C   37   38   39   40   41A   41B   41C   41D   41E   42A   42B   42C   42D   42E   43A   43B   43C   43D   43E   44A   44B   44C   44D   44E   45A   45B   46A   46B   47A   47B   48A   48B   49A   49B   50A   50B   51   52   53  

明 細 書

発明の名称 : コンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法

技術分野

[0001]
 本開示は、コンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法に関する。

背景技術

[0002]
 化学などの工業の様々な分野で粉体(粉粒体ともいう)が用いられている。粉体は、粉、粒などの主にマイクロオーダからナノオーダの微粒子の集合体を指す。粉体は、産業材料の広い範囲で用いられ、粉体として扱われる主な物質には、例えば、食品、研磨剤、セメント、セラミクス、磁性体、顔料、化粧品など多岐に亘る。微粒子の形状特性(例えば、粒子径、粒子径分布、形状など)によって、粉体としての性質が変わるため、産業材料として扱うには、個々の粒子の特性を制御することが重要になる。
[0003]
 また、産業材料の他の例として、高分子がエレクトロニクス、医薬、バイオなどの様々な分野で使用されている。高分子材料を用いる場合には、内部構造や物性の制御だけでなく、表面や界面を制御することが重要になる。このような粉体や物質の表面の測定には、走査電子顕微鏡(SEM:Scanning Electron Microscope)をはじめ、種々の顕微鏡が用いられている。
[0004]
 特許文献1には、電子顕微鏡で撮影された画像に対して所要の画像処理を行う画像処理システムが開示されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2007-200769号公報

発明の概要

発明が解決しようとする課題

[0006]
 しかし、電子顕微鏡で撮影された画像は、撮影対象物(例えば、粉体、物質の表面など)の形状に応じて輝度値が変化し、例えば、球状の対象物では、輝度ヒストグラムが低輝度から高輝度にかけて幅広く分布する。また、対象物の表面全体が傾斜している場合、画像内で対象物と定義できるヒストグラム範囲を設定することが困難になる。さらに、対象物が複雑、あるいは不規則な形状の場合、画像内で対象物を検出することが困難になる。
[0007]
 本開示は、斯かる事情に鑑みてなされたものであり、識別対象を容易に検出することができるコンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法を明らかにする。

課題を解決するための手段

[0008]
 本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、学習モデル生成装置は、プロセッサを備え、前記プロセッサは、識別対象が撮像された第1画像を取得し、前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得し、少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する。

発明の効果

[0009]
 本開示によれば、識別対象を容易に検出することができる。

図面の簡単な説明

[0010]
[図1] 本実施の形態の画像識別装置の構成の一例を示すブロック図である。
[図2] 検出モデルの生成処理の第1例を示す模式図である。
[図3] 第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第1例を示す説明図である。
[図4] 画像識別装置による学習モデルを生成する場合の表示画面の一例を示す模式図である。
[図5] 第1画像である学習用入力画像の一例を示す説明図である。
[図6] 第1画像である評価画像の一例を示す説明図である。
[図7] 学習進捗グラフの一例を示す模式図である。
[図8] 編集画面の一例を示す模式図である。
[図9] 編集処理によって修正された第1画像の一部を第2画像に重畳させた(置き換えた)ラベル画像の一例を示す模式図である。
[図10] 第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第2例を示す説明図である。
[図11] 第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第3例を示す説明図である。
[図12] 分類モデルの生成処理の一例を示す模式図である。
[図13] 第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第4例を示す説明図である。
[図14] 第3画像である学習用入力画像及び対応する第4画像であるラベル画像の第5例を示す説明図である。
[図15] 粒子識別処理の第1例を示す模式図である。
[図16] 画像識別装置による粒子を検出する場合の表示画面の一例を示す模式図である。
[図17] 粒子検出が完了した場合の表示画面の第1例を示す模式図である。
[図18] 粒子検出が完了した場合の表示画面の第2例を示す模式図である。
[図19] 粒径グラフの一例を示す模式図である。
[図20] 粒子検出が完了した場合の表示画面の第3例を示す模式図である。
[図21] 粒子検出が完了した場合の表示画面の第4例を示す模式図である。
[図22] 出力画像の第2例を示す模式図である。
[図23] 出力画像の第3例を示す模式図である。
[図24] 出力画像の第4例を示す模式図である。
[図25] 出力画像の第5例を示す模式図である。
[図26] 出力画像の第6例を示す模式図である。
[図27] 画像識別装置による学習処理手順の一例を示すフローチャートである。
[図28] 画像識別装置による粒子の検出処理手順の一例を示すフローチャートである。
[図29] 画像識別装置による粒子の分類処理手順の一例を示すフローチャートである。
[図30] 検出モデルの生成処理の第2例を示す模式図である。
[図31] 第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第6例を示す説明図である。
[図32] 粒子識別処理の第2例を示す模式図である。
[図33] 編集画面の他の例を示す模式図である。
[図34A] マスク表示・半透明モードの表示方法の概要を示す模式図である。
[図34B] マスク表示・半透明モードの表示方法の概要を示す模式図である。
[図34C] マスク表示・半透明モードの表示方法の概要を示す模式図である。
[図34D] マスク表示・半透明モードの表示方法の概要を示す模式図である。
[図34E] マスク表示・半透明モードの表示方法の概要を示す模式図である。
[図35] 切り出し画像の輝度分散及び周波数分散の分布の一例を示す模式図である。
[図36A] 切り出し画像の一例を示す模式図である。
[図36B] 切り出し画像の一例を示す模式図である。
[図36C] 切り出し画像の一例を示す模式図である。
[図37] 第1画像の選定画面の一例を示す模式図である。
[図38] 画像識別装置による三値のラベル画像を用いた学習処理手順の一例を示すフローチャートである。
[図39] 画像識別装置による粒子の検出処理手順の他の例を示すフローチャートである。
[図40] 本実施の形態の画像識別装置の構成の他の例を示すブロック図である。
[図41A] 粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
[図41B] 粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
[図41C] 粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
[図41D] 粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
[図41E] 粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
[図42A] 粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
[図42B] 粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
[図42C] 粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
[図42D] 粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
[図42E] 粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
[図43A] 境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
[図43B] 境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
[図43C] 境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
[図43D] 境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
[図43E] 境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
[図44A] 粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
[図44B] 粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
[図44C] 粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
[図44D] 粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
[図44E] 粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
[図45A] お好み焼き粉の検出結果の一例を示す模式図である。
[図45B] お好み焼き粉の検出結果の一例を示す模式図である。
[図46A] 重曹の検出結果の一例を示す模式図である。
[図46B] 重曹の検出結果の一例を示す模式図である。
[図47A] 片栗粉の検出結果の一例を示す模式図である。
[図47B] 片栗粉の検出結果の一例を示す模式図である。
[図48A] 食卓塩の検出結果の一例を示す模式図である。
[図48B] 食卓塩の検出結果の一例を示す模式図である。
[図49A] モスアイフィルムの検出結果の一例を示す模式図である。
[図49B] モスアイフィルムの検出結果の一例を示す模式図である。
[図50A] 食品容器用シリカ粒入り蓋材の検出結果の一例を示す模式図である。
[図50B] 食品容器用シリカ粒入り蓋材の検出結果の一例を示す模式図である。
[図51] 画像識別装置の第1利用形態を示す模式図である。
[図52] 画像識別装置の第2利用形態を示す模式図である。
[図53] 画像識別装置の第3利用形態を示す模式図である。

発明を実施するための形態

[0011]
 以下、本開示の実施の形態を図面に基づいて説明する。図1は本実施の形態の画像識別装置100の構成の一例を示すブロック図である。画像識別装置100は、学習モデル生成装置、表示装置及び粒子識別装置としての機能を有する。画像識別装置100は、識別対象を検出するとともに、識別対象を分類することができる。
[0012]
 識別対象は、観察目的に応じ様々に設定し得る。例えば、様々な分野で工業材料として用いられている粉体(粉粒体ともいう)を含む。粉体として扱われる主な物質には、例えば、食品(小麦粉、調味料など)、研磨剤、セメント、セラミクス、磁性体、磁気材料、顔料、塗料、化粧品など多岐に亘る。また、識別対象には、エレクトロニクス、医薬、バイオなどの様々な分野で使用されている高分子材料や金属材料等が有する特定の形状や模様も含まれる。このような識別対象を測定する場合、例えば、走査電子顕微鏡などの各種顕微鏡を用いてデータを画像化する。撮像された識別対象は、複雑な形状や模様、あるいは不規則な形状や模様をしているが、本実施の形態の画像識別装置100は、識別対象の検出や分類を容易に行うことができる。特に識別対象が複数存在する画像での適用が好ましい。以下、本明細書では、識別対象として、粒子(粉体)を例として説明する。
[0013]
 画像識別装置100は、装置全体を制御する制御部10、入力部11、操作部12、検出処理部13、分類処理部14、編集処理部15、出力処理部16、表示パネル17、学習処理部20、及び記憶部30を備える。学習処理部20は、学習データ入力部21、検出パラメータ学習部22、分類パラメータ学習部23、及びモデルファイル出力部24を備える。記憶部30は、学習モデルとしての検出モデルファイル31及び分類モデルファイル32、並びに学習データ33などを保存する。
[0014]
 制御部10は、CPU、ROM及びRAMなどで構成することができる。
[0015]
 入力部11は、取得部としての機能を有し、入力画像を取得する。入力画像は、粒子の状態が未知の画像であり、粒子の検出又は分類を必要とする画像である。
[0016]
 操作部12は、例えば、キーボード、マウス、タッチパッド又はタッチパネル等で構成され、表示パネル17に表示される画像に対する編集処理の操作を受け付けることができる。
[0017]
 検出処理部13は、入力処理部としての機能を有し、検出モデルファイル31に、入力部11で取得した入力画像を入力することにより、粒子を検出する。
[0018]
 分類処理部14は、入力処理部としての機能を有し、分類モデルファイル32に、入力部11で取得した入力画像を入力することにより、粒子の種類を分類する。
[0019]
 出力処理部16は、表示処理部としての機能を有し、検出モデルファイル31が出力する粒子の識別結果と入力画像とを重ね合わせることにより、複数の粒子を含む出力画像を出力する。また、出力処理部16は、分類モデルファイル32が出力する粒子の識別結果と入力画像とを重ね合わせることにより、複数の粒子を含む出力画像を出力する。
[0020]
 編集処理部15は、操作部12で受け付けた編集操作に応じて、表示パネル17に表示した画像に対する編集処理を行うことができる。
[0021]
 表示パネル17は、液晶ディスプレイ又は有機ELディスプレイなどで構成することができる。なお、表示パネル17に代えて、外部の表示装置を画像識別装置100に接続するようにしてもよい。
[0022]
 次に、画像識別装置100の学習処理について説明する。
[0023]
 図2は検出モデルの生成処理の第1例を示す模式図である。図2に示すように、予め多層のニューラルネットワーク(深層学習)により作成された検出モデルファイルを用意しておく。検出モデルファイルには、例えば、粒子の内部と粒子の外部とを識別するための複数層からなるニューラルネットワーク構成及び各層のニューロンの重み係数が格納されている。
[0024]
 学習データ入力部21は、第1取得部及び第2取得部としての機能を有し、学習用入力画像及びラベル画像を取得する。
[0025]
 検出パラメータ学習部22は、生成部としての機能を有し、検出モデルに、学習用入力画像及びラベル画像を入力することにより、各層のニューロンの重み係数を再計算して検出モデルを生成し、検出モデルファイルとして出力し、記憶部30に保存することができる。上述の構成により、粒子が未知の入力画像が検出モデルに入力されると、検出モデルは、入力画像上の各画素が粒子であるか否かを識別するので、入力画像上の粒子を容易に検出することができる。
[0026]
 図3は第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第1例を示す説明図である。学習用入力画像は、第1画像と称され、識別対象である粒子が撮像された画像であって、学習モデルを生成又は更新する際に用いられる画像である。図3の例では、学習用入力画像には、サイズの異なる多数の粒子が密集した状態で映し出されている。ラベル画像は、第2画像と称され、学習用入力画像を構成する画素に対応する画素にラベルが対応付けられた画像であり、当該ラベルで識別対象を特定する(例えば、識別対象である否かを特定する)。ラベルは、少なくとも二値であり、例えば、図2に示すように、ラベル=0を背景(識別対象ではない領域)とし、ラベル=1を粒子(識別対象である領域)とすることができる。
[0027]
 図4は画像識別装置100による学習モデルを生成する場合の表示画面の一例を示す模式図である。表示画面には、メニューとしての画像選択アイコン221、粒子検出アイコン222、レポート出力アイコン223、モデル作成アイコン224、終了アイコン225が表示される。以下では、モデル作成アイコン224が選択された状態を説明する。
[0028]
 コンボボックス201を開くことにより、学習モデルを生成する際に、予め作成された元のモデルファイルを選択することができる。学習用ファイルリスト202に学習用入力画像ファイルとラベル画像ファイルとの組を含むデータフォルダをドラッグ・アンド・ドロップすることにより、学習用データを選択することができる。評価用ファイルリスト203に、評価用データファイルを含むデータフォルダをドラッグ・アンド・ドロップすることにより、評価用データを選択することができる。
[0029]
 パラメータアイコン226を操作することにより、学習時のパラメータを設定することができる。パラメータは、例えば、学習の試行回数、何回毎にテストするかの回数、重み係数の更新に用いるサンプル数であるミニバッチ数、重み係数を更新する割合を示す学習率などとすることができる。
[0030]
 学習開始アイコン227を操作することにより、学習モデルの生成を開始する。学習開始アイコン227の右横には、残り時間228が表示される。学習処理は、一時停止、再開及び停止アイコン229により制御できる。
[0031]
 図5は第1画像である学習用入力画像の一例を示す説明図であり、図6は第1画像である評価画像の一例を示す説明図である。学習画像領域205には、学習用入力画像が表示される。学習用入力画像の所要の領域を、例えば矩形状の枠で特定することにより、学習画像(拡大)領域206に学習用入力画像の枠内の画像が拡大されて表示される。テスト結果(拡大)領域207には、テスト結果の画像を表示することができる。評価画像領域208には、評価用入力画像が表示される。評価用入力画像の所要の領域を、例えば矩形状の枠で特定することにより、評価画像(拡大)領域209に評価用入力画像の枠内の画像が拡大されて表示される。評価結果(拡大)領域210には、評価結果の画像を表示することができる。
[0032]
 評価画像(拡大)領域209の下側には、選択された学習用入力画像、評価用入力画像の正解個数が表示される。
[0033]
 図7は学習進捗グラフの一例を示す模式図である。学習進捗グラフ領域204には、図7に示すようなグラフを表示することができる。図7において、横軸は試行回数を示し、縦軸は適応率(正解率)を示す。これにより、学習の進捗を把握することができる。
[0034]
 評価画像を確認して、ラベル画像を修正する必要がある場合には、以下のようにすることができる。すなわち、修正したいラベル画像が含まれるデータフォルダを学習用ファイルリスト202にドラッグ・アンド・ドロップし、学習用ファイルリスト202内のラベル画像を選択し、学習画像編集アイコン230を操作する。ラベル画像を修正する場合、学習用入力画像(所定の第1画像に相当)は、学習モデルを学習する際に入力された学習用入力画像でもよく、全く異なる学習用入力画像(例えば、学習モデルの学習に用いられていない画像)でもよい。
[0035]
 図8は編集画面の一例を示す模式図である。図8の例では、学習用入力画像242のうち枠で囲まれた部分が拡大されて修正画像領域241に表示される。修正画像領域241には、学習モデルが出力したラベル画像として、少なくとも二値で表示されるラベル画像を表示するようにしてもよいが、二値で表示されるラベル画像の画素のうち特定のラベルの画素(図8の例では、ラベル=1の画素)を、当該画素に対応する学習用入力画像の特定の一部の画素(図8の例では、ラベル=1つまり粒子に対応する学習入力画像の画素)に置き換えて表示するようにしてもよい。第2画像として、特定のラベルが割り当てられた第2画像の画素に対応する第1画像の画素に変えて表示することにより、元の画像である第1画像の画素の情報(例えば、画素値である輝度値の分布等)を参照しつつ学習結果の修正ができるようになる。なお、ここで示したラベル画像は、学習入力画像上にラベル画像のうちラベル=0つまり背景に対応する画素を置き換えて表示されるように作成してもよい。編集操作アイコン243により、例えば、ラベル画像の表示・非表示の切替、編集モード(消しゴム・ペン)の変更、消しゴム・ペンの大きさの変更、ラベル画像の表示色の変更などを行うことができる。
[0036]
 図9は編集処理によって修正された第1画像の一部を第2画像に重畳させた(置き換えた)ラベル画像の一例を示す模式図である。図8に示すラベル画像と図9に示すラベル画像とを対比すると、図8において、符号Sで示す領域の画素(図では暗い部分:粒子)は、図9では消されて、明るい部分、すなわち背景を示すラベルに修正されている。また、図8では明るい部分、すなわち背景を示すラベルが、図9において、符号Sで示す領域のラベル(図では暗い部分:粒子)に修正されている。
[0037]
 ラベルを修正後、保存アイコン244を操作することにより、ラベル画像が上書き保存される。モデル作成アイコン224を操作することにより、図4に示す表示画面に戻る。ここで、ラベル画像として、二値で表示されるラベル画像の画素のうち特定のラベルの画素を、当該画素に対応する学習用入力画像の特定の一部の画素(ラベル=1つまり粒子に対応する学習入力画像の画素)に置き換えて表示されたラベル画像上での操作を説明してきたが、上述のように、あくまで画像識別装置の内部の処理としては、二値のラベル画像に対する修正を指示するように処理される。
[0038]
 評価画像を確認して、結果が良ければ、学習モデル保存アイコン231を操作することにより、学習モデルが生成され、モデルファイルが記憶部30に保存される。学習が完了した状態でログ出力アイコン233を操作することにより、学習用入力画像及びラベル画像の組、学習進捗グラフ、元のモデルファイルなどを含むログを保存することができる。また、ログ読込アイコン232を操作することにより、保存したログを表示することができる。
[0039]
 上述のように、編集操作は、ラベル画像の画素の輝度値がラベルの値に対応して異なる場合、輝度値を修正する操作とすることができる。すなわち、編集操作により、ラベル画像のラベルを修正することができ、ラベル画像の一部の画素が正しいラベルでない場合、ラベルの値を修正して正しいラベル画像にすることができる。
[0040]
 学習モデルに学習用入力画像及び編集操作を受け付けたラベル画像(すなわち、正しくなったラベル画像)を入力することにより、ニューロンの重み係数を再計算して学習モデルを更新することができる。
[0041]
 上述の構成により、学習モデルを再学習することができ、学習モデルによる粒子の検出精度を向上させることができる。
[0042]
 上述の例では、ラベル画像は、ラベル=0を粒子外部とし、ラベル=1を粒子内部とするものであったが、ラベルはこれに限定されるものではない。
[0043]
 図10は第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第2例を示す説明図である。なお、図10では、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。ラベル画像は、学習用入力画像を構成する画素に対応させて、少なくとも三値のラベルで粒子を特定することができる。ラベルを二値から増やすことによって、粒子を特定するための情報量を増やすことができ、学習モデルが粒子を識別しやすくすることができ、粒子の検出精度を向上させることができる。特に、粒子内部は隣り合う画素値が比較的なだらかに変化することが多いことに対して、境界は、粒子と背景との境であって、粒子を表す画素値と背景を表す画素値に切り替わる箇所であり隣り合う画素値が鋭敏な変化をすることが多く、それぞれ別のラベルとして学習させることで、粒子の検出精度を向上させることができる。
[0044]
 より具体的には、図10に示すように、ラベル画像は、学習用入力画像の画素に対応させたラベルを含み、ラベル=0は、背景(識別対象でない領域)であることを示し、ラベル=1は、境界(識別対象の領域と識別対象でない領域との境)であることを示し、ラベル=2は、粒子(識別対象の領域)であることを示す。なお、図10において、各ラベルの位置は、一例であって、図10の例に限定されるものではない。
[0045]
 ここで境界(ラベル=1)として、識別対象の境界と識別対象でない領域との境の領域を所定の幅を持たせながら指定できるようにすることで、どの特定の画素が粒子であるか否かを区別する境界部分を細かく指定することなく、学習モデルに粒子を識別させることができ、粒子の検出精度を向上させることができる。
[0046]
 図11は第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第3例を示す説明図である。なお、図11でも、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。ラベル画像は、学習用入力画像の画素に対応させたラベルを含み、少なくとも2種類のラベル(図11の例では、ラベル=2、3)によって、粒子の領域であることを示す。なお、図11において、各ラベルの位置は、一例であって、図11の例に限定されるものではない。
[0047]
 すなわち、ラベル画像は、学習用入力画像の画素に対応させたラベルを含み、ラベル=0は、背景(識別対象でない領域)であることを示し、ラベル=1は、境界(識別対象の領域と識別対象でない領域との境)であることを示し、ラベル=2は、粒子の内部であって所定の特徴を有する第1内部であることを示し、ラベル=3は、粒子の内部であって第1内部とは異なる所定の特徴を有する第2内部であることを示す。粒子の領域であっても、粒子の種類に応じて、領域内の輝度値や輝度値の分布が異なる場合がある。ラベル画像に少なくとも2種類の粒子内部を示すラベルを含めることにより、学習モデルは、粒子内部の輝度値の変化や輝度値の分布の違いを学習することができ、粒子の種類に関わらず、粒子の検出精度を向上させることができる。
[0048]
 また、図11の例では、ラベル画像にラベル=4(学習範囲外)を含めてもよい。学習用入力画像の中に学習モデルの生成に寄与しない画素が含まれる場合、当該画素に対応させて、学習範囲外のラベルを付与してラベル画像を用いることにより、学習モデルの学習量を抑制することができ、学習効率を向上させることができる。粒子内部、境界の他に、学習の対象外とする領域を設定することができ、学習モデルに与える情報の正確さを向上させることができ、粒子の検出精度を向上させることができる。
[0049]
 図12は分類モデルの生成処理の一例を示す模式図である。図12に示すように、予め多層のニューラルネットワーク(深層学習)により作成された分類モデルファイルを用意しておく。分類モデルファイルには、例えば、粒子の形状に基づいて粒子の種類を分類するための複数層からなるニューラルネットワーク構成及び各層のニューロンの重み係数が格納されている。
[0050]
 学習データ入力部21は、第1画像である学習用入力画像及び対応する第2画像であるラベル画像を取得する。
[0051]
 分類パラメータ学習部23は、生成部としての機能を有し、分類モデルに、第1画像である学習用入力画像及び対応する第2画像であるラベル画像を入力することにより、各層のニューロンの重み係数を再計算して分類モデルを生成し、分類モデルファイルとして出力し、記憶部30に保存することができる。上述の構成により、粒子の形状が未知の入力画像が分類モデルに入力されると、分類モデルは、入力画像上の粒子の形状に基づいて粒子の種類を識別するので、入力画像上の粒子を容易に分類することができる。
[0052]
 図13は第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第4例を示す説明図である。なお、図13でも、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。また、実際には粒子の形状は複雑かつ不規則であるが、便宜上、粒子の形状を丸状、楕円状、三角状、四角状に分けて表示する。
[0053]
 ラベル画像において、ラベル=0は、背景(識別対象でない領域)であることを示し、ラベル=1は、粒子であって粒子の形状が第1形状(図では丸状)であることを示し、ラベル=2は、粒子であって粒子の形状が第2形状(図では三角形状)であることを示し、ラベル=3は、粒子であって粒子の形状が第3形状(図では楕円状)であることを示し、ラベル=4は、粒子であって粒子の形状が第4形状(図では四角形状)であることを示す。なお、図13において、各ラベルの位置は、一例であって、図13の例に限定されるものではない。
[0054]
 すなわち、ラベル画像は、少なくとも三値のラベルによって、粒子であること及び当該粒子の形状に基づく粒子の種類を示す。分類モデルに第1画像である学習用入力画像及び対応する第2画像であるラベル画像を入力することにより、ニューロンの重み係数を再計算して分類モデルを生成する。これにより、粒子が未知の入力画像が分類モデルに入力されると、分類モデルは、入力画像上の粒子の形状を識別するので、入力画像上の粒子を識別し当該粒子を容易に分類することができる。粒子が複雑であって不規則な形状をしている場合でも、形状を識別することができ、粒子の形状に基づいて粒子を分類することができる。なお、分類モデルは、識別対象であること(粒子であること)と、識別対象の種類を分類すること(粒子の分類)を同時に行えるように学習される。
[0055]
 なお、図13の例では、ラベル画像が、ラベル=0~4のラベルを含み、複数の異なる形状を同時に学習する構成であるが、これに限定されない。分類モデルを、識別対象であるか否かを識別した画像に基づいて当該識別対象の種類を分類するように学習することもできる。
[0056]
 学習データ入力部21は、識別対象が識別された第3画像である学習用入力画像及び当該学習入力画像に対応して識別対象の種類が特定された第4画像であるラベル画像を取得する。
[0057]
 分類パラメータ学習部23は、生成部としての機能を有し、分類モデルに、第3画像である学習用入力画像及び対応する第4画像であるラベル画像を入力することにより、各層のニューロンの重み係数を再計算して分類モデルを生成し、分類モデルファイルとして出力し、記憶部30に保存することができる。上述の構成により、粒子の形状が未知の入力画像が分類モデルに入力されると、分類モデルは、入力画像上の粒子の形状に基づいて粒子の種類を識別するので、入力画像上の粒子を容易に分類することができる。
[0058]
 図14は第3画像である学習用入力画像及び対応する第4画像であるラベル画像の第5例を示す説明図である。なお、図14でも、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。また、実際には粒子の形状は複雑かつ不規則であるが、便宜上、粒子の形状を丸状、楕円状、三角状、四角状に分けて表示する。
[0059]
 学習用入力画像は、第3画像と称され、識別対象である粒子が識別された画像であって、学習モデルを生成又は更新する際に用いられる画像である。第3画像は、粒子が識別された画像であればよく、前述した学習モデルが出力した少なくとも二値で表示されるラベル画像であってよい。さらに、学習入力画像として、識別対象が識別された第3画像に、当該第3画像に対応する識別対象が撮像された第1画像も合わせて設定するようにしてもよい。学習入力画像として、第3画像だけでなく第1画像を合わせて学習モデルに学習させることにより、粒子が識別された情報に加え、粒子、背景の画素値の分布の情報を加味し、粒子の識別を行うことができるようになる。
[0060]
 ラベル画像は、第4画像と称され、学習用入力画像を構成する画素に対応する画素にラベルが対応付けられた画像であり、当該ラベルで粒子の種類を特定する。ラベルは、粒子の形状に基づいて粒子の種類を示すことができるものであればよい。粒子の種類が分かれば、粒子を分類することができる。
[0061]
 ラベル画像において、ラベル=1は、粒子の形状が第1形状(図では丸状)であることを示し、ラベル=2は、粒子の形状が第2形状(図では三角形状)であることを示し、ラベル=3は、粒子の形状が第3形状(図では楕円状)であることを示し、ラベル=4は、粒子の形状が第4形状(図では四角形状)であることを示す。なお、ラベル=0として背景(識別対象でない領域)であることを合わせて示すようにしてもよい。図14において、各ラベルの位置は、一例であって、図14の例に限定されるものではない。
[0062]
 学習用入力画像と、粒子の形状が丸状であるラベルだけを含むラベル画像とを用いて、丸状の粒子を検出できるように学習モデルを生成し、学習用入力画像と、粒子の形状が四角形状であるラベルだけを含むラベル画像とを用いて、四角形状の粒子を検出できるように学習モデルを生成し、学習用入力画像と、粒子の形状が三角形状であるラベルだけを含むラベル画像とを用いて、三角形状の粒子を検出できるように学習モデルを生成し、学習用入力画像と、粒子の形状が楕円状であるラベルだけを含むラベル画像とを用いて、楕円状の粒子を検出できるように学習モデルを生成してもよい。また、粒子を検出した結果の情報を元に、粒子の部分をひとつひとつ切り出した小画像を学習用入力画像とし、その小画像のひとつひとつに対し、ラベル0~4のいずれかを対応させた情報を記載したテキストデータ等をラベル情報として、学習モデルを生成してもよい。
[0063]
 次に、画像識別装置100の検出処理について説明する。
[0064]
 図15は粒子識別処理の第1例を示す模式図である。入力画像を学習モデル(検出モデルファイル)に入力すると、学習モデルは、例えば、粒子と背景とを識別し、出力処理部16は出力画像を出力する。また、入力画像を学習モデル(分類モデルファイル)に入力すると、学習モデルは、粒子の形状を識別して粒子の種類を分類し、出力処理部16は出力画像を出力する。
[0065]
 図16は画像識別装置100による粒子を検出する場合の表示画面の一例を示す模式図である。図16の例では、粒子検出アイコン222が操作されている。ファイルリスト251には、粒子を検出する入力画像のファイルが表示される。なお、処理する入力画像は、予めファイルリスト251に画像ファイルをドラッグ・アンド・ドロップすることにより選択できる。拡大領域選択ボックス252には、入力画像のうち拡大する領域を指定することができる。図の例では矩形状の領域で拡大領域を選択できる。拡大領域選択ボックス252では、拡大率の変更、拡大する位置の変更などを行うことができる。拡大領域253には、入力画像のうち拡大された領域が表示される。
[0066]
 コンボボックス254を開くことにより、モデルファイルを選択することができる。モデルファイルは、前述の学習処理によって生成された検出モデルファイル31又は分類モデルファイル32である。開始アイコン255を操作することにより、検出処理が開始される。
[0067]
 図17は粒子検出が完了した場合の表示画面の第1例を示す模式図である。検出結果領域256には、複数の粒子を含む第1例としての出力画像が表示され、拡大検出結果領域257には、出力画像のうち、拡大領域選択ボックス252で選択された拡大領域の出力画像が表示される。
[0068]
 上述のように、入力画像を学習モデルに入力すると、学習モデルは識別結果を出力する。識別結果は、例えば、入力画像の画素毎に、粒子であるか否かを示す情報とすることができる。入力画像と識別結果とを重ねることにより、複数の粒子を含む出力画像を表示することができる。
[0069]
 これにより、粒子が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子であるか否かを識別するので、粒子の形状が複雑、あるいは不規則な形状であっても、入力画像上の粒子を容易に検出することができる。
[0070]
 出力画像には、粒子の重心(図の例では、小さな丸で示す)が表示されるので、複数の粒子が密集して表示される場合でも、各粒子の位置を容易に把握することができる。
[0071]
 また、出力画像には、粒子の領域が表示されるので、粒子と粒子以外のものが混在する場合でも、粒子の範囲を容易に把握することができ、粒子のサイズや形状を特定するのに役立つ。
[0072]
 図18は粒子検出が完了した場合の表示画面の第2例を示す模式図である。図17において、グラフ確認アイコン258又はレポート出力アイコン223を操作することにより、図18に示す表示画面が表示される。グラフ表示領域259には、出力画像に含まれる粒子の粒径グラフを表示することができる。粒径は、長径アイコン260、短径アイコン261、面積径アイコン262を操作することにより、それぞれ最大フェレ径、最小フェレ径、あるいは面積径に切り替えることができる。
[0073]
 識別対象についての所要の属性、例えば、粒子の属性は、粒子が使用される分野に応じて、粒子の必要とする特性を特徴付ける物理量とすることができる。粒子の属性は、例えば、粒径とすることができ、粒径には、フェレ径、相当楕円の軸長、面積径などが含まれる。フェレ径には、長径としての最大フェレ径、及び短径としての最小フェレ径があり、相当楕円の軸長には、長径としての相当楕円の長軸長さ、及び短径としての相当楕円の短軸長さがある。フェレ径は、粒子をxy平面に投影したときに、アウトラインに外接する四角形を設けたときの、水平方向の長さと垂直方向の長さである。最大フェレ径は、粒子をあらゆる方向から平行線で挟んだときの平行線の最大幅である。最小フェレ径は、粒子をあらゆる方向から平行線で挟んだときの平行線の最小幅である。相当楕円の長軸長さは、粒子面積と同一の面積であって、一次及び二次モーメントが同一となる楕円(相当楕円)の長軸長さである。相当楕円の短軸長さは、粒子面積と同一の面積であって、一次及び二次モーメントが同一となる楕円(相当楕円)の短軸長さである。面積径は、粒子の面積と同一の面積を持つ円の径である。
[0074]
 図19は粒径グラフの一例を示す模式図である。図19において、横軸は長径としての最大フェレ径を示し、縦軸は、粒子の頻度(%)と累計(%)を示す。粒径として、最大フェレ径に代えて、短径としての最小フェレ径が選択された場合には、横軸は最小フェレ径を示し、面積径が選択された場合には、横軸は面積径を示す。図19に示すように、粒径グラフには、粒子個数N、最大フェレ径の最小値d1及び最大値d2、累計が50%のときの最大フェレ径の値dmなどが表示される。
[0075]
 図18において、全画像・表示画像アイコン263を選択することにより、全画像の粒子の粒径グラフを表示するか、表示中の画像の粒子の粒径グラフを表示するかを切り替えることができる。
[0076]
 上述のように、所要の粒径(例えば、最大フェレ径、最小フェレ径、面積径)を選択すると、選択された粒径の分布情報を表示する。すなわち、複数の粒子の粒径がどのような範囲に亘って分布しているかを把握することができるので、粒子の形状特性を容易に把握することができる。
[0077]
 図20は粒子検出が完了した場合の表示画面の第3例を示す模式図である。最小径・最大径欄264に所要の数値を入力し、表示切替アイコン265を操作すると、入力された最小径から最大径の粒子だけを選択して強調表示することができる。図20の例では、拡大領域253aに、図18に示す出力画像の粒子のうち、一部の粒子が強調表示(例えば、色を変える)されている。また、全画像又は表示中の画像について、粒子の個数、粒径の最小値と最大値を表示することができる。
[0078]
 このように、出力画像の複数の粒子のうち、一部の粒子を他の粒子と区別して識別可能に表示するので、所望の粒子を容易に認識することができる。
[0079]
 グラフ保存アイコン266を操作すると、粒径グラフ画像を保存することができる。
[0080]
 図21は粒子検出が完了した場合の表示画面の第4例を示す模式図である。図21は、図17と同様の粒子検出画面である。結果修正アイコン267を操作することにより、検出結果を修正することができる。具体的には、図8に例示した画面と同様の画面が表示され、編集操作を行うことができる。
[0081]
 図22は出力画像の第2例を示す模式図である。図22では、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。また、粒子の形状は、第1例の丸状に代えて楕円状としている。出力処理部16は、粒子の長径及び短径の少なくとも一つを表示するので、粒子のサイズや形状を容易に把握することができる。
[0082]
 具体的には、図22に示すように、出力処理部16は、粒子の長径を示す線分(図では実線)及び短径を示す線分(図では破線)を表示するので、粒子の長径方向及び短径方向を容易に視認することができる。
[0083]
 図23は出力画像の第3例を示す模式図である。図23では、便宜上、粒子を拡大して表示している。出力処理部16は、粒子の長径と短径との比を表示するので、粒子の長径と短径との比率を容易に視認することができる。具体的には、長径方向の線分と短径方向の線分との交点を表示するとともに、交点を中心として、長径と短径との比率に比例する対角線を持つ四角形を表示することにより、粒子の長径と短径との比率を容易に視認することができる。
[0084]
 図24は出力画像の第4例を示す模式図である。図24では、便宜上、粒子を拡大して表示している。出力処理部16は、隣接する粒子を異なる表示態様(例えば、異なる色など)で表示するので、粒子が混然一体と表示される場合でも、容易に区別することができる。
[0085]
 図25は出力画像の第5例を示す模式図である。図25では、便宜上、粒子を拡大して表示している。出力処理部16は、粒子の重心から境界に向かう波動アニメーションを表示するので、粒子の位置と領域の範囲を容易に把握することができる。
[0086]
 図26は出力画像の第6例を示す模式図である。実際には粒子の形状は複雑かつ不規則であるが、図26では、便宜上、粒子の形状を丸状、楕円状、三角状、四角状に分けて表示する。学習モデル(分類モデルファイル32)は、入力画像上の各画素がどの種類の粒子であるか否かを識別するので、粒子の形状が複雑、あるいは不規則な形状であっても、入力画像上の粒子を容易に分類することができる。
[0087]
 次に、画像識別装置100の処理手順について説明する。
[0088]
 図27は画像識別装置100による学習処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部10として説明する。制御部10は、学習用入力画像を取得し(S11)、ラベル画像を取得する(S12)。制御部10は、評価用画像を取得し(S13)、モデルファイルを取得する(S14)。
[0089]
 制御部10は、パラメータ(試行回数、ミニバッチ数、テストを行う試行回数、学習率など)を設定し(S15)、学習処理を行う(S16)。制御部10は、生成したモデルファイルに評価用画像を入力した評価結果を出力する(S17)。制御部10は、ラベル画像を修正するか否かを判定する(S18)。ラベル画像を修正するか否かの判定は、例えば、ユーザがラベル画像の修正のための編集操作を行ったか否かで行うことができる。
[0090]
 ラベル画像の修正を行う場合(S18でYES)、制御部10は、修正するラベル画像を表示し(S19)、編集操作に基づいてラベル画像を修正し(S20)、後述のステップS21の処理を行う。ラベル画像の修正を行わない場合(S18でNO)、制御部10は、再学習するか否かを判定する(S21)。再学習するか否かは、例えば、評価用画像による評価結果に基づいて、ユーザが決定し、ユーザの再学習操作の有無によって行うことができる。
[0091]
 再学習する場合(S21でYES)、制御部10は、ステップS16以降の処理を続ける。再学習しない場合(S21でNO)、制御部10は、他のモデルファイルを生成するか否かを判定する(S22)。他のモデルファイルを生成する場合(S22でYES)、制御部10は、ステップS11以降の処理を続け、他のモデルファイルを生成しない場合(S22でNO)、生成したモデルファイルを保存し(S23)、処理を終了する。
[0092]
 図27に示す処理において、粒子の検出モデルファイルを生成する場合には、第1画像である学習用入力画像及び対応する第2画像であるラベル画像を取得すればよい。また、粒子の分類モデルファイルを生成する場合には、第3画像である学習用入力画像及び対応する第4画像であるラベル画像を取得すればよい。
[0093]
 図28は画像識別装置100による粒子の検出処理手順の一例を示すフローチャートである。制御部10は、入力画像を取得し(S31)、生成した学習モデル(検出モデルファイル)を用いて粒子検出処理を行う(S32)。制御部10は、学習モデルの検出結果と入力画像とに基づいて、出力画像を生成して表示する(S33)。
[0094]
 制御部10は、粒子の分布情報の表示操作の有無を判定する(S34)。分布情報は、粒径などの粒子の属性の分布情報であり、例えば、最大フェレ径、最小フェレ径、面積径の分布情報である。表示操作がある場合(S34でYES)、制御部10は、粒子の分布情報を表示し(S35)、後述のステップS36の処理を行う。
[0095]
 表示操作がない場合(S34でNO)、制御部10は、検出結果を修正するか否かを判定する(S36)。検出結果を修正するか否かの判定は、例えば、ユーザが検出結果の修正のための編集操作を行ったか否かで行うことができる。検出結果を修正する場合(S36でYES)、制御部10は、入力画像とラベル画像を重ねて表示し(S37)、編集操作に基づいてラベル画像を修正する(S38)。
[0096]
 制御部10は、修正したラベル画像を保存し(S39)、処理を終了する。検出結果を修正しない場合(S36でNO)、制御部10は、処理を終了する。
[0097]
 図29は画像識別装置100による粒子の分類処理手順の一例を示すフローチャートである。制御部10は、入力画像を取得し(S51)、生成した学習モデル(分類モデルファイル)を用いて粒子分類処理を行う(S52)。制御部10は、学習モデルの検出結果と入力画像とに基づいて、出力画像を生成して表示する(S53)。
[0098]
 制御部10は、検出結果を修正するか否かを判定する(S54)。検出結果を修正するか否かの判定は、例えば、ユーザが検出結果の修正のための編集操作を行ったか否かで行うことができる。検出結果を修正する場合(S54でYES)、制御部10は、入力画像とラベル画像を重ねて表示し(S55)、編集操作に基づいてラベル画像を修正する(S56)。
[0099]
 制御部10は、修正したラベル画像を保存し(S57)、処理を終了する。検出結果を修正しない場合(S54でNO)、制御部10は、処理を終了する。
[0100]
 上述の例では、粒子の検出処理と分類処理とを分けて説明しているが、入力画像に対して、粒子の検出処理と分類処理の両方を行うこともできる。また、粒子の検出の結果得られた出力画像に対して粒子の分類処理を行ってもよい。
[0101]
 次に、図10において例示した三値のラベルに基づく学習処理及び識別処理について、さらに具体的に説明する。
[0102]
 図30は検出モデルの生成処理の第2例を示す模式図である。図30に示すように、予め多層のニューラルネットワーク(深層学習)により作成された検出モデルファイルを用意しておく。検出モデルファイルには、例えば、粒子、境界及び背景(粒子でもなく境界でもない)を識別するための複数層からなるニューラルネットワーク構成及び各層のニューロンの重み係数が格納されている。
[0103]
 学習データ入力部21は、学習用入力画像及びラベル画像を取得する。図2の場合との相違は、図30の例では、ラベル画像は三値画像である。
[0104]
 検出パラメータ学習部22は、検出モデルに、学習用入力画像及びラベル画像を入力することにより、各層のニューロンの重み係数を再計算して検出モデルを生成し、検出モデルファイルとして出力し、記憶部30に保存することができる。上述の構成により、粒子が未知の入力画像が検出モデルに入力されると、検出モデルは、入力画像上の各画素が粒子であるか、境界であるか、背景であるかを識別するので、入力画像上の境界によって粒子と背景が区別され、粒子を精度よく検出することができる。
[0105]
 図31は第1画像である学習用入力画像及び対応する第2画像であるラベル画像の第6例を示す説明図である。学習用入力画像は、識別対象である粒子が撮像された画像であって、学習モデルを生成又は更新する際に用いられる画像である。図31の例では、学習用入力画像には、サイズや形状の異なる多数の粒子が映し出されている。ラベル画像は、学習用入力画像を構成する画素に対応する画素にラベルが対応付けられた画像である。図31の例では、ラベルは三値で表すことができ、例えば、図31に示すように、ラベル=0を背景とし、ラベル=1を境界とし、ラベル=2を粒子(識別対象の領域)とすることができる。なお、第1画像である学習用入力画像は、顕微鏡によって粒子が撮影された元の画像(第1画像よりもサイズが大きい画像)から、例えば、後述の図35に示すような手法(ただし、図35の手法には限定されない)などを用いて切り出して選定してもよい。
[0106]
 図32は粒子識別処理の第2例を示す模式図である。入力画像(例えば、顕微鏡によって粒子が撮像された画像)を学習モデル(検出モデルファイル)に入力すると、学習モデルは、例えば、粒子、背景及び境界を識別し、出力処理部16は出力画像を出力する。すなわち、入力画像を学習モデルに入力すると、学習モデルは、粒子、背景及び境界を含む出力画像を出力する。識別結果は、例えば、入力画像の画素毎に、粒子であるか、境界であるか、背景であるかを示す情報とすることができる。入力画像と識別結果とを重ねることにより、複数の粒子を含む出力画像を出力することができる。
[0107]
 これにより、顕微鏡によって粒子が撮像された入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子であるか、境界であるか、背景であるかを識別して、粒子、背景及び境界を含む出力画像を出力するので、粒子の形状が複雑、あるいは不規則な形状であっても、境界によって粒子を区別できるので、入力画像上の粒子を精度よく検出することができる。
[0108]
 上述では、図8では二値のラベルの場合の編集画面の例を示し、図9では編集されたラベル画像の例を示した。以下では、編集画面と編集の際の表示方法の具体例について説明する。
[0109]
 図33は編集画面の他の例を示す模式図である。図33に示すように、編集画面270は、修正画像領域271の他に、表示・非表示アイコン272、半透明表示アイコン273、塗り潰しアイコン274、ペンの大きさアイコン274、マスクの表示色を変更するためのマスク色表示変更アイコン276、編集結果を保存するための保存アイコン278を含む各種アイコンが表示される。
[0110]
 図33の例では、修正画像領域271は、マスク非表示、マスク表示、及びマスク表示・半透明モードの3つの表示態様で画像を表示することができる。マスク非表示の表示態様では、修正画像領域271には、学習用入力画像(顕微鏡によって粒子が撮像された入力画像)のみが表示され、マスク画像は表示されない。マスク画像は、二値のラベル画像であって、背景の部分をマスクした画像である。すなわち、二値のラベル画像は、粒子に対応する領域が透明であり、背景及び境界に対応する領域が不透明の画像である。マスク表示の表示態様では、マスク画像のみが表示され、学習用入力画像は表示されない。マスク表示・半透明モードの表示態様は、学習用入力画像の上にマスク画像を配置し、マスク画像の背景及び境界に対応する領域を半透明にした表示態様であり、学習用入力画像の粒子に対応する領域は、マスク画像の透明部分を介してそのまま表示され、学習用入力画像の境界及び背景は半透明に表示される。図33では、修正画像領域271は、マスク表示・半透明モードの表示態様を示す。なお、マスク画像は、三値のラベル画像であってもよい。この場合も、粒子に対応する領域が透明であり、背景及び境界それぞれに対応する領域を不透明とすればよい。
[0111]
 図34A~34Eはマスク表示・半透明モードの表示方法の概要を示す模式図である。図34Aに示すように、マスク表示・半透明モードでは、入力画像(例えば、SEM画像)の上にマスク画像が配置され、マスク画像は、粒子に対応する領域は透明であり、境界及び背景に対応する領域は半透明である。図34Bは、図33と同様である。図34C~図34Eは元画像(入力画像)の1つの粒子部分(矩形で囲んだ領域)を拡大した図を示す。図34Cは、元画像であり、図中、破線が粒子の境界を示すものとする。図34Dはマスク画像を示す。図中、黒の部分は透明であり、白の部分は半透明である。破線で示す境界と黒で示す粒子の部分との間の領域は、境界領域Sとすることができる。図34Eでは、マスク画像の粒子以外の部分が半透明で表示されるので、境界領域Sを容易に認識することができ、境界を塗り潰す作業効率が向上する。
[0112]
 上述のように、第1画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示するので、第1画像の粒子の部分は、そのまま表示され、粒子でない部分(境界及び背景)は半透明で表示され、ユーザは、境界の部分を容易に視認することができる。
[0113]
 すなわち、編集処理部15は、操作部12で受け付けた編集操作に応じて、三値のラベル画像である第2画像を容易に生成することができる。より具体的には、境界部分を塗り潰す前のマスク画像は、例えば、粒子に対応する部分には、ラベル=2が付され、透明であり、背景(この場合、背景は境界も含む)には、ラベル=0が付され、半透明である。境界部分を塗り潰すことにより、塗り潰した部分のラベルを0から1に変更し、ラベル=1(境界)とすることにより、三値のラベル画像である第2画像を容易に生成することができる。
[0114]
 なお、上述の例では、二値のラベル画像から、境界部分を塗り潰して三値のラベル画像を生成する構成であったが、これに限定されるものではない。例えば、三値のラベル画像を取得し、粒子、背景、及び境界を3色で塗り分けることによって、三値のラベル画像を編集することもできる。
[0115]
 図34に示す画像は、学習モデルを生成する段階では、学習用入力画像(第1画像)であり、学習モデルを再学習(更新)する段階では、学習モデル生成前に準備した学習用入力画像でもよく、実際に学習済の学習モデルに入力して粒子を検出した際の入力画像でもよい。また、図34に示すマスク画像は、学習モデルを生成する段階では、粒子と背景の二値画像に対して境界を付した三値のラベル画像(第2画像)であり、学習モデルを再学習(更新)する段階では、学習モデル生成前に準備した第2画像でもよく、実際に学習済の学習モデルに入力して粒子を検出した際の入力画像を用いて、二値から三値への修正(編集)した第2画像、あるいは三値のラベル画像を修正(編集)した第2画像でもよい。
[0116]
 次に、第1画像の切り出し方法について説明する。なお、以下の第1画像の切り出し方法は、三値のラベル画像に限定されるものではなく、二値のラベル画像に対しても適用することができる。
[0117]
 図35は切り出し画像の輝度分散及び周波数分散の分布の一例を示す模式図である。切り出し画像は、第1画像と同じサイズ(解像度)であり、例えば、100~300程度の画素数を有するが、これに限定されない。図中の数値は、切り出し画像のサンプル番号である。切り出し画像は、顕微鏡によって粒子が撮影された元画像(切り出し画像より大きいサイズ)上を矩形領域で走査する都度、矩形領域と同じサイズの画像を切り出した画像である。
[0118]
 輝度分散は、矩形領域内の各画素の輝度値の分散であり、例えば、矩形領域内の各画素の輝度値と矩形領域の平均輝度値との差分の2乗を各画素について合計し、合計値を画素数で除算して分散値を算出できる。周波数分散は、フーリエ変換などによって画像を周波数変換し、周波数変換した画像の各周波数成分の分散であり、輝度分散と同様にして算出することができる。
[0119]
 図36A~36Cは切り出し画像の一例を示す模式図である。図36Aは、輝度分散及び周波数分散が比較的大きい範囲内の切り出し画像の例(サンプル番号33、36)を示し、図36Cは、輝度分散及び周波数分散が比較的小さい範囲内の切り出し画像の例(サンプル番号5、67)を示し、図36Bは、輝度分散及び周波数分散が比較的中程度の範囲内の切り出し画像の例(サンプル番号44、50)を示す。
[0120]
 なお、第1画像の選定は、元画像から矩形領域を切り出す方法に限定されるものではなく、予め準備された複数の第1画像の候補から所望の第1画像の候補を設定してもよい。
[0121]
 学習データ入力部21は、選定された第1画像を取得することができる。第1画像の選定は、矩形領域の輝度分散及び周波数分散の少なくとも一方を算出し、算出した輝度分散及び周波数分散の少なくとも一方に基づいて第1画像を選定する。例えば、輝度分散が所定の輝度分散閾値以上であるもの、あるいは、周波数分散が所定の周波数分散閾値以上であるもの、あるいは、輝度分散及び周波数分散がそれぞれの以上であるものを第1画像として選定できる。
[0122]
 これにより、第1画像は、粒子の数が適当数存在して適度に密集し、模様が比較的多く色々な特徴を持つ第1画像を選定することができ、最適な学習データを収集することができる。また、ユーザが特に意識して学習させたい画像上の領域を、手動で矩形選択して第1画像を切り出してもよい。
[0123]
 図37は第1画像の選定画面の一例を示す模式図である。図37に示すように、第1画像の選定画面には、切り出し画像(第1画像)の表示領域、次の切り出し画像を選定して表示させるための「次の切り出し画像」ボタン、前の切り出し画像を選定して表示させるための「前の切り出し画像」ボタンが表示される。切り出し画像の選定方法は、例えば、以下のようにすることができる。
[0124]
 図35に示す、輝度分散及び周波数分散で示す2つの指標値の原点からの距離を求め、距離が長いものから順に選定して表示することができる。すなわち、「次の切り出し画像」ボタンを操作する都度、距離が短くなる順番で切り出し画像が表示される。図35の例では、輝度分散及び周波数分散が小さくなる方向に向かって切り出し画像が選定される。また、「前の切り出し画像」ボタンを操作する都度、距離が長くなる順番で切り出し画像が表示される。図35の例では、輝度分散及び周波数分散が大きくなる方向に向かって切り出し画像が選定される。これにより、多くの切り出し画像の候補の中から、ユーザが所望する学習データとして適した切り出し画像を簡単に選定することができ、ユーザの利便性を向上させることができる。
[0125]
 上述の例では、輝度分散及び周波数分散を用いて学習データとして適した第1画像を選定する構成であるが、これに限定されるものではない。例えば、ユーザが選択した第1画像を用いた学習結果の良し悪しをデータとして蓄積しておき、例えば、学習結果の良いデータを教師データとして用いて学習データとして適した第1画像を選定してもよい。学習結果の良し悪しを示すデータが、例えば、サーバ等で収集することができる場合、サーバ側で学習データを構築することが可能となる。より具体的には、プロセッサは、ユーザが選択した複数の第1画像に基づいて学習モデルが学習した学習結果データを収集する(例えば、第1画像と正答率とを対応付けて記録し、収集してもよい)。プロセッサは、収集した学習結果データを蓄積し、蓄積した学習結果データのうち、学習結果の良いデータ(例えば、正答率が所定の閾値以上のデータ)を第1画像として選定してもよい。
[0126]
 図38は画像識別装置100による三値のラベル画像を用いた学習処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部10として説明する。制御部10は、顕微鏡によって粒子が撮影された元画像を取得し(S61)、取得した元画像を矩形領域で走査しつつ、矩形領域の輝度分布及び周波数分布を算出する(S62)。制御部10は、算出した輝度分布及び周波数分布(少なくとも一方のみでもよい)に基づいて、学習用入力画像を選定する(S63)。制御部10は、二値化したラベル画像を取得する(S64)。なお、学習用入力画像及びラベル画像のデータは大量に準備することができる。制御部10は、二値化したラベル画像に対して境界を付加する操作を受け付けることによって、粒子の境界部分が付加された三値のラベル画像を生成する(S65)。制御部10は、評価用画像を取得し(S66)、モデルファイルを取得する(S67)。
[0127]
 制御部10は、パラメータ(試行回数、ミニバッチ数、テストを行う試行回数、学習率など)を設定し(S68)、学習処理を行う(S69)。制御部10は、生成したモデルファイルに評価用画像を入力した評価結果を出力する(S70)。制御部10は、ラベル画像を修正するか否かを判定する(S71)。ラベル画像を修正するか否かの判定は、例えば、ユーザがラベル画像の修正のための編集操作を行ったか否かで行うことができる。
[0128]
 ラベル画像の修正を行う場合(S71でYES)、制御部10は、修正するラベル画像をマスク画像として、学習用入力画像に重ねて表示し(S72)、編集操作に基づいてラベル画像を修正し(S73)、後述のステップS74の処理を行う。ラベル画像の修正を行わない場合(S71でNO)、制御部10は、再学習するか否かを判定する(S74)。再学習するか否かは、例えば、評価用画像による評価結果に基づいて、ユーザが決定し、ユーザの再学習操作の有無によって行うことができる。
[0129]
 再学習する場合(S74でYES)、制御部10は、ステップS69以降の処理を続ける。再学習しない場合(S74でNO)、制御部10は、他のモデルファイルを生成するか否かを判定する(S75)。他のモデルファイルを生成する場合(S75でYES)、制御部10は、ステップS61以降の処理を続け、他のモデルファイルを生成しない場合(S75でNO)、生成したモデルファイルを保存し(S76)、処理を終了する。
[0130]
 図39は画像識別装置100による粒子の検出処理手順の他の例を示すフローチャートである。制御部10は、入力画像を取得し(S81)、生成した学習モデル(検出モデルファイル)を用いて粒子検出処理を行う(S82)。制御部10は、学習モデルの検出結果と入力画像とに基づいて、出力画像を生成して表示する(S83)。ここで、出力画像は、粒子、境界及び背景がそれぞれ識別可能になっている。
[0131]
 制御部10は、粒子の分布情報の表示操作の有無を判定する(S84)。分布情報は、粒径などの粒子の属性の分布情報であり、例えば、最大フェレ径、最小フェレ径、面積径の分布情報である。表示操作がある場合(S84でYES)、制御部10は、粒子の分布情報を表示し(S85)、後述のステップS86の処理を行う。
[0132]
 表示操作がない場合(S84でNO)、制御部10は、検出結果を修正するか否かを判定する(S86)。検出結果を修正するか否かの判定は、例えば、ユーザが検出結果の修正のための編集操作を行ったか否かで行うことができる。検出結果を修正する場合(S86でYES)、制御部10は、ラベル画像をマスク画像として入力画像に重ねて表示する(S87)。ここで、マスク画像は、粒子に対応する部分を透明とし、背景及び境界に対応する部分を半透明とすることができる。制御部10は、編集操作に基づいてラベル画像を修正する(S88)。
[0133]
 制御部10は、修正したラベル画像を保存し(S89)、処理を終了する。検出結果を修正しない場合(S86でNO)、制御部10は、処理を終了する。
[0134]
 図40は本実施の形態の画像識別装置100の構成の他の例を示すブロック図である。図40において、符号120は、コンピュータである。コンピュータ120は、制御部121、入力部126、操作部127、表示パネル128、出力部129、記録媒体読取部130などを備える。制御部121は、CPU(プロセッサ)122、ROM123、RAM124、I/F(インタフェース)125などを備える。
[0135]
 入力部126は、操作部127、表示パネル128、出力部129は、それぞれ図1に示す、入力部11、操作部12、表示パネル17、出力処理部16に相当する。制御部121は、図1に示す、検出処理部13、分類処理部14、編集処理部15、学習処理部20、記憶部30に相当する。
[0136]
 記録媒体読取部130は、コンピュータプログラムを記録した記録媒体M(例えば、DVDなどのメディア)からコンピュータプログラム(例えば、図27、図28、図29、図38及び図39に示す処理手順など)を読み取ることが可能である。
[0137]
 なお、図示していないが、記録媒体Mに記録されたコンピュータプログラムは、持ち運びが自由なメディアに記録されたものに限定されるものではなく、インターネット又は他の通信回線を通じて伝送されるコンピュータプログラムも含めることができる。
[0138]
 次に、ラベル画像のラベル付けを変えた場合の評価結果について説明する。
[0139]
 図41A~41Eは粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。図41Aは入力画像を示し、図41Bはラベル画像を示し、図41C~41Eは、異なる試行での出力画像を示す。図41Bにおいて、○で示す箇所は、粒子が離れていることを学習させるべく、2つの粒子が重なる部分の境界を背景としてラベリングしたものの、図41C~41Eの○で示す箇所のように、出力画像では、粒子が明瞭に分けられず、境界が不明瞭となる可能性がある。
[0140]
 図42A~42Eは粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。図42Aは入力画像を示し、図42Bはラベル画像を示し、図42C~42Eは、異なる試行での出力画像を示す。図42Bにおいて、○で示す箇所は、粒子が離れていることを学習させるべく、境界は背景であるとしてラベリングして学習させたものの、図42C~42Eの○で示す箇所のように、粒子の識別結果が安定しない可能性がある。
[0141]
 図43A~43Eは境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。図43Aは入力画像を示し、図43Bはラベル画像を示し、図43C~43Eは、異なる試行での出力画像を示す。図43Bにおいて、○で示す箇所は、境界であることを学習させるべく、ラベリングして学習させたものの、図43C~43Eの○で示す箇所のように、所々跡切れが生じ、粒子と背景との区別が困難となる可能性がある。しかし、混合材料のスライス面の画像のように、粒子と粒子以外とを区別するのではなく、異なる材料同士の境界を識別したい場合には有用となる可能性がある。
[0142]
図44A~44Eは粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。図44Aは入力画像を示し、図44Bはラベル画像を示し、図44C~44Eは、異なる試行での出力画像を示す。図44Bにおいて、○で示す箇所は、粒子の一部が重なる等で境界が不明瞭な個所に境界であることを示すラベルを付して学習モデルを学習させることにより、学習モデルは、境界が不明瞭な個所を境界であるとして学習することができる。これにより、図44C~44Eの○で示す箇所のように、境界で粒子を分離することができ、粒子の検出精度が向上することが分かる。
[0143]
 次に、識別対象の検出結果について説明する。
[0144]
 図45A~45Bはお好み焼き粉の検出結果の一例を示す模式図である。図45Aは入力画像を示し、図45Bは出力画像を示す。この場合、ラベル画像は、二値画像である。お好み焼き粉のような大小様々な形状が混在した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
[0145]
 図46A~46Bは重曹の検出結果の一例を示す模式図である。図46Aは入力画像を示し、図46Bは出力画像を示す。この場合、ラベル画像は、二値画像である。重曹のような大小様々な形状が混在した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
[0146]
 図47A~47Bは片栗粉の検出結果の一例を示す模式図である。図47Aは入力画像を示し、図47Bは出力画像を示す。この場合、ラベル画像は、二値画像である。片栗粉のような細かな粒子が密集した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
[0147]
 図48A~48Bは食卓塩の検出結果の一例を示す模式図である。図48Aは入力画像を示し、図48Bは出力画像を示す。この場合、ラベル画像は、二値画像である。食卓塩のような大きな粒子が疎に分布している材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
[0148]
 図49A~49Bはモスアイフィルムの検出結果の一例を示す模式図である。図49Aは入力画像を示し、図49Bは出力画像を示す。この場合、ラベル画像は、二値画像である。モスアイフィルムのような光の波長以下の微細なナノ突起を表面に形成した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
[0149]
 図50A~50Bは食品容器用シリカ粒入り蓋材の検出結果の一例を示す模式図である。図50Aは入力画像を示し、図50Bは出力画像を示す。この場合、ラベル画像は、二値画像である。シリカ粒入り蓋材のような微小な形状が分散するような材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
[0150]
 次に、本実施形態の画像識別装置100の利用形態について説明する。
[0151]
 図51は画像識別装置100の第1利用形態を示す模式図である。図51に示すように、サーバとクライアント端末が通信ネットワークを介して接続されている。図51において、サーバが画像識別装置100に相当する。図51に示すように、クライアント端末は、識別対象が未知、あるいは識別対象を識別したい画像(入力画像)をサーバへ送信する。サーバは、予め用意しておいたモデルファイルを用いて識別対象を識別(検出)し、出力画像をクライアント端末へ送信する。クライアント端末では、出力画像を表示することができる。これにより、クライアント側では、入力画像をサーバへアップロードするだけで、検出結果を表示することができる。クライアント端末側で学習モデルを具備する必要はない。
[0152]
 図52は画像識別装置100の第2利用形態を示す模式図である。図52に示すように、サーバとクライアント端末が通信ネットワークを介して接続されている。図52において、サーバが学習処理機能を有する画像識別装置100に相当し、クライアント端末は検出処理機能及び分類処理機能を有する画像識別装置100に相当する。図52に示すように、クライアント端末は、教師データ(学習用入力画像及びラベル画像)をサーバへ送信する。サーバは、教師データを受信し、受信した教師データを用いてモデルファイル(学習モデル)を生成し、生成したモデルファイルをクライアント端末へ送信する。クライアント端末は、モデルファイルを受信して記憶する。これ以降、クライアント端末は、識別対象が未知、あるいは識別対象を識別したい画像(入力画像)を学習モデルに入力して、識別対象を識別(検出)する。
[0153]
 また、図52の場合、クライアント端末側で教師データを編集し(例えば、図8、図9、図33、図34)、編集した教師データをサーバへ送信することにより、サーバ側で学習モデルを再学習(更新)することができ、再学習したモデルファイルをクライアント端末へ送信することができる。
[0154]
 図53は画像識別装置100の第3利用形態を示す模式図である。図53に示すように、サーバとクライアント端末が通信ネットワークを介して接続されている。図53において、サーバが学習処理機能、検出処理機能及び分類処理機能を有する画像識別装置100に相当する。なお、学習処理機能と、検出処理機能及び分類処理機能とを2台以上のサーバで分担させてもよく、あるいは、1台のサーバに学習処理機能、検出処理機能及び分類処理機能の全ての機能を持たせるようにしてもよい。図53に示すように、クライアント端末は、教師データ(学習用入力画像及びラベル画像)をサーバへ送信する。サーバは、教師データを受信し、受信した教師データを用いてモデルファイル(学習モデル)を生成する。次に、クライアント端末は、識別対象が未知、あるいは識別対象を識別したい画像(入力画像)をサーバへ送信する。サーバは、生成したモデルファイルを用いて識別対象を識別(検出)し、出力画像をクライアント端末へ送信する。クライアント端末では、出力画像を表示することができる。
[0155]
 また、図53の場合、クライアント端末側で教師データを編集し(例えば、図8、図9、図33、図34)、編集した教師データをサーバへ送信することにより、サーバ側で学習モデルを再学習(更新)することができる。
[0156]
 本実施の形態の画像識別装置100は、CPU、GPU、ROM、RAM、記録媒体読取部などで構成することができる。記録媒体に記録されたコンピュータプログラムを記録媒体読取部で読み取ってRAMに格納することができる。RAMに格納されたコンピュータプログラムをCPU、GPUで実行させることにより、画像識別装置100が行う処理を実行することができる。なお、CPUは、プロセッサ、プロセッサデバイス、プロセッシングユニットなどの総称とし、1又は複数で構成することができる。また、CPUに加えて、1又は複数のGPUを具備するようにしてもよい。また、コンピュータプログラムは、記録媒体読取部で読み取る構成に代えて、インターネットなどのネットワークを介してダウンロードすることもできる。
[0157]
 本実施の形態によれば、複雑かつ不規則な形状の粒子であっても、観察者の観察目的により恣意的に決定される粒子の検出又は分類を防止して、粒子の検出又は分類を容易に行うことができる。
[0158]
 本実施の形態によれば、高価な装置を用いることなく、走査型電子顕微鏡などの顕微鏡によって画像化できる粒子であれば、画像から粒子を検出し、粒径などの粉体特性を測定することができる。また、実際の粒子径との誤差は顕微鏡の解像度によって決まるので、どの顕微鏡を用いても粒子径の誤差を許容範囲内で高精度に測定することができる。
[0159]
 本実施の形態の画像識別装置100において、分類パラメータ学習部23、分類処理部14及び分類モデルファイル32は必須の構成ではない。すなわち、画像識別装置100が粒子の分類を行わない構成であってもよい。また、本実施の形態の画像識別装置100において、学習処理部20を具備しない構成でもよい。この場合、別の装置によって生成された検出モデルファイル31、分類モデルファイル32を記憶部30に記憶しておくことにより、粒子の検出又は分類処理だけを行うように構成してもよい。
[0160]
 本実施の形態では、学習に使用しない領域(学習範囲外)を指定することができ、学習用の画像は、重点的に学習(サンプリング)する領域を指定することができる。この場合、重点的に学習した部分をヒートマップなどで表示してもよい。これにより、学習効率を向上させることができる。
[0161]
 本実施の形態において、評価用画像が正解データを有する場合、学習モデルの識別結果が正解である部分と不正解である部分とを異なる表示態様で表示することができる。また、正解率の閾値を定めておき、正解率が閾値以上の領域と閾値未満の領域とを異なる表示態様で表示してもよい。
[0162]
 本実施の形態の学習モデルは、画像からオブジェクトを検出するためのニューラルネットワーク構成を用いることができる。例えば、畳み込みニューラルネットワーク(CNN)を用いてもよく、encoder-decoder型のFully Convolutional Network(FCN)の一種である、U-Netを用いてもよいが、本実施の形態では、より簡易的なニューラルネットワーク構成を用いてもよい。
[0163]
 本実施の形態のコンピュータプログラムは、コンピュータに、識別対象が撮像された第1画像を取得する処理と、前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得する処理と、少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する処理とを実行させる。
[0164]
 本実施の形態の学習モデル生成装置は、プロセッサを備え、前記プロセッサは、識別対象が撮像された第1画像を取得し、前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得し、少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する。
[0165]
 本実施の形態の学習モデル生成方法は、識別対象が撮像された第1画像を取得し、前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得し、少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する。
[0166]
 第1画像は、識別対象が撮像された学習用入力画像である。識別対象は、例えば、粉体でもよく、高分子などの物質の表面の模様のようなものでもよい。第2画像は、ラベル画像(正解画像ともいう)であり、第1画像を構成する画素に対応させて、当該画素が識別対象である否かを特定する。ラベルは、少なくとも二値であり、例えば、ラベル=0を識別対象ではない(識別対象の外部)とし、ラベル=1を識別対象である(識別対象の内部)とすることができる。
[0167]
 学習モデルは、入力層、出力層及び複数の中間層などを含むニューラルネットワーク構造及び各ニューロンの重み係数などで構成される。学習モデルに少なくとも第1画像及び第2画像を入力することにより、ニューロンの重み係数を再計算して学習モデルを生成する。
[0168]
 上述の構成により、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が識別対象であるか否かを識別するので、入力画像上の識別対象を容易に検出することができる。
[0169]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、所定の第1画像に基づいて前記学習モデルが出力する第2画像を表示し、表示した第2画像の編集操作を受け付け、少なくとも前記所定の第1画像及び編集操作を受け付けた第2画像に基づいて前記学習モデルを更新する。
[0170]
 所定の第1画像は、学習モデルを学習する際に入力された第1画像でもよく、全く異なる画像(例えば、学習モデルの学習に用いられていない画像)でもよい。編集操作は、例えば、学習モデルが出力した第2画像の画素の輝度値がラベルの値に対応して異なる場合、輝度値を修正する操作とすることができる。すなわち、編集操作により、第2画像のラベルを修正することができ、第2画像の一部の画素が正しいラベルでない場合、ラベルの値を修正して正しいラベル画像にすることができる。
[0171]
 学習モデルに少なくとも所定の第1画像及び編集操作を受け付けた第2画像(すなわち、正しくなった第2画像)を入力することにより、ニューロンの重み係数を再計算して学習モデルを更新する。
[0172]
 上述の構成により、学習モデルを再学習することができ、学習モデルによる識別対象の検出精度を向上させることができる。
[0173]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第2画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第1画像の画素で置き換え、画素が置き換えられた第2画像を表示する。
[0174]
 第2画像の各画素は、所定の第1画像の画素に対応させた少なくとも二値のラベルに対応している。特定のラベルは、二値のラベルのうちの一方のラベルとすることができる。第2画像の特定のラベルに対応する画素を、当該画素に対応する第1画像の画素で置き換える。画素を置き換えた第2画像を表示することにより、元の画像である第1画像の画素の情報(例えば、画素値である輝度値の第2画像上での分布など)を参照することができ、学習結果の修正が容易になる。
[0175]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第1画像の画素に対応させた少なくとも三値のラベルで識別対象を特定する第2画像を取得する。
[0176]
 第2画像は、第1画像を構成する画素に対応させて、少なくとも三値のラベルで識別対象を特定することができる。ラベルを二値から増やすことによって、識別対象を特定するための情報量を増やすことができ、学習モデルが識別対象を識別しやすくすることができ、識別対象の検出精度を向上させることができる。特に、粒子内部は隣り合う画素値が比較的なだらかに変化することが多いことに対して、境界は、粒子と背景との境であって、粒子を表す画素値と背景を表す画素値に切り替わる箇所であり隣り合う画素値が鋭敏な変化をすることが多く、それぞれ別のラベルとして学習させることで、粒子の検出精度を向上させることができる。
[0177]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第1画像の画素に対応させたラベルであって、識別対象でない領域であることを示す第1ラベル、識別対象の境界を含む領域であることを示す第2ラベル、及び識別対象の領域であることを示す第3ラベルを含むラベルで識別対象を特定する第2画像を取得する。
[0178]
 第2画像は、第1画像の画素に対応させたラベルを含み、第1ラベルは、識別対象でない領域であることを示し、第2ラベルは、識別対象の境界を含む領域であることを示し、第3ラベルは、識別対象の領域であることを示す。例えば、識別対象であるか否かが不明瞭な境界部分についても、ラベルが付与されるので、識別対象の領域と領域外とを境界部分によって明確に区別することができ、学習モデルが識別対象を識別しやすくすることができ、識別対象の検出精度を向上させることができる。
[0179]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第1画像の画素に対応させたラベルであって、識別対象の領域であることを示す少なくとも2種類の第3ラベルを含むラベルで識別対象を特定する第2画像を取得する。
[0180]
 第2画像は、第1画像の画素に対応させたラベルを含み、少なくとも2種類の第3ラベルによって、識別対象の領域であることを示す。例えば、識別対象の領域であっても、識別対象の種類に応じて、領域内の輝度値や輝度値の分布が異なる場合がある。第2画像に少なくとも2種類の第3ラベルを含めることにより、学習モデルは、領域内の輝度値の変化や輝度値の分布の違いを学習することができ、識別対象の種類に関わらず、識別対象の検出精度を向上させることができる。
[0181]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第1画像の画素に対応させた少なくとも三値のラベルで識別対象の領域であって識別対象の形状に基づく識別対象の種類を特定する第2画像を取得する。
[0182]
 第2画像は、第1画像の画素に対応させたラベルを含み、少なくとも三値のラベルによって、識別対象の領域であって識別対象の形状に基づく識別対象の種類を示す。これにより、識別対象が複雑であって不規則な形状をしている場合でも、形状を識別することができ、形状に基づく識別対象を分類することができる。
[0183]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第1画像の画素に対応させたラベルで学習範囲外であることを特定する第2画像を取得する。
[0184]
 第2画像は、第1画像の画素に対応させたラベルを含み、当該ラベルによって学習範囲外であることを示す。これにより、学習モデルの学習量を抑制することができ、学習効率を向上させることができる。
[0185]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、識別対象が識別された第3画像を取得する処理と、前記第3画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第4画像を取得する処理と、少なくとも取得した第3画像及び第4画像に基づいて識別対象の種類を識別するための学習モデルを生成する。
[0186]
 第3画像は、識別対象が識別された画像である。識別対象を識別するための学習モデルを検出モデルと称すると、第3画像は、識別対象が未知の入力画像を検出モデルに入力して、検出モデルが出力する識別結果に基づく画像である。また、第3画像は、複数の異なる形状の識別対象が撮像された学習用入力画像でもよい。
[0187]
 第4画像は、ラベル画像(正解画像ともいう)であり、第3画像を構成する画素に対応させて、当該画素がどの種類の識別対象である否かを特定する。ラベルは、識別対象の形状に基づいて識別対象の種類を示すことができるものであればよい。識別対象の種類が分かれば、識別対象を分類することができる。
[0188]
 学習モデルに少なくとも第3画像及び第4画像を入力することにより、ニューロンの重み係数を再計算して学習モデルを生成する。当該学習モデルを分類モデルともいう。これにより、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の識別対象の形状を識別するので、入力画像上の識別対象を容易に分類することができる。
[0189]
 本実施の形態のコンピュータプログラムは、コンピュータに、入力画像を取得する処理と、少なくとも識別対象が撮像された第1画像、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する処理とを実行させる。
[0190]
 本実施の形態の表示装置は、プロセッサを備え、前記プロセッサは、入力画像を取得し、少なくとも識別対象が撮像された第1画像、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像に基づいて生成された学習モデルに、取得した入力画像を入力し、前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する。
[0191]
 本実施の形態の表示方法は、入力画像を取得し、少なくとも識別対象が撮像された第1画像、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像に基づいて生成された学習モデルに、取得した入力画像を入力し、前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する。
[0192]
 入力画像は、識別対象が未知の画像である。学習モデルは、少なくとも識別対象が撮像された第1画像(学習用入力画像)、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像(ラベル画像)に基づいて生成されている。学習モデルは検出モデルとも称する。
[0193]
 入力画像を学習モデルに入力すると、学習モデルは識別結果を出力する。識別結果は、例えば、入力画像の画素毎に、識別対象であるか否かを示す情報とすることができる。入力画像と識別結果とを重ねることにより、複数の識別対象を含む出力画像を表示することができる。
[0194]
 これにより、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が識別対象であるか否かを識別するので、識別対象の形状が複雑、あるいは不規則な形状であっても、入力画像上の識別対象を容易に検出することができる。
[0195]
 本実施の形態の表示装置において、前記プロセッサは、少なくとも識別対象が識別された第3画像、及び第3画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第4画像に基づいて生成された学習モデルに、取得した入力画像を入力し、前記学習モデルが出力する識別結果に基づいて、前記出力画像の識別対象の形状に基づく識別対象の種類を識別可能に表示する。
[0196]
 学習モデルは、少なくとも識別対象が識別された第3画像(学習用入力画像)、及び第3画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第4画像(ラベル画像)に基づいて生成されている。学習モデルは分類モデルとも称する。
[0197]
 入力画像を学習モデルに入力すると、学習モデルは識別結果を出力する。識別結果は、例えば、入力画像の画素毎に、識別対象の形状に基づく識別対象の種類を示す情報とすることができる。
[0198]
 これにより、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素がどの種類の識別対象であるか否かを識別するので、識別対象の形状が複雑、あるいは不規則な形状であっても、入力画像上の識別対象を容易に分類することができる。
[0199]
 本実施の形態の表示装置において、前記プロセッサは、前記出力画像の識別対象の長径及び短径の少なくとも一つを表示する。
[0200]
 識別対象の長径及び短径の少なくとも一つを表示するので、識別対象のサイズや形状を容易に把握することができる。
[0201]
 本実施の形態の表示装置において、前記プロセッサは、前記出力画像の識別対象の長径を示す線分及び短径を示す線分を表示する。
[0202]
 識別対象の長径を示す線分及び短径を示す線分を表示するので、識別対象の長径方向及び短径方向を容易に視認することができる。
[0203]
 本実施の形態の表示装置において、前記プロセッサは、前記出力画像の識別対象の長径と短径との比を表示する。
[0204]
 識別対象の長径と短径との比を表示するので、識別対象の長径と短径との比率を容易に視認することができる。
[0205]
 本実施の形態の表示装置において、前記プロセッサは、前記出力画像の複数の識別対象についての所要の属性を選択する操作を受け付け、選択された属性の分布情報を表示する。
[0206]
 識別対象の属性は、識別対象が使用される分野に応じて、識別対象の必要とする特性を特徴付ける物理量とすることができる。所要の属性を選択すると、選択された属性の分布情報を表示する。すなわち、複数の識別対象の属性がどのような範囲に亘って分布しているかを把握することができるので、識別対象の特性を容易に把握することができる。
[0207]
 本実施の形態の表示装置において、前記属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む。
[0208]
 属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む。識別対象が粉体である場合、粉体の形状特性を容易に把握することができる。
[0209]
 本実施の形態の表示装置において、前記プロセッサは、前記出力画像の複数の識別対象の全部又は一部を識別可能に表示する。
[0210]
 複数の識別対象の全部又は一部を識別可能に表示するので、識別対象を容易に認識することができる。
[0211]
 本実施の形態の表示装置において、前記プロセッサは、前記識別対象の領域を表示する。
[0212]
 識別対象の領域を表示するので、識別対象と対象外のものが混在する場合でも、識別対象の範囲を容易に把握することができ、識別対象のサイズや形状を特定するのに役立つ。
[0213]
 本実施の形態の表示装置において、前記プロセッサは、前記識別対象の重心を表示する。
[0214]
 識別対象の重心を表示するので、複数の識別対象が表示される場合でも、各識別対象の位置を容易に把握することができる。
[0215]
 本実施の形態の表示装置において、前記プロセッサは、隣接する識別対象を異なる表示態様で表示する。
[0216]
 隣接する識別対象を異なる表示態様で表示するので、識別対象が混然一体と表示される場合でも、容易に区別することができる。
[0217]
 本実施の形態の表示装置において、前記プロセッサは、前記識別対象の重心から境界に向かう波動アニメーションを表示する。
[0218]
 識別対象の重心から境界に向かう波動アニメーションを表示するので、識別対象の位置と領域の範囲を容易に把握することができる。
[0219]
 本実施の形態の学習モデル生成装置は、プロセッサを備え、前記プロセッサは、顕微鏡によって粒子が撮影された第1画像を取得し、前記第1画像の画素に対応させた二値画像を取得し、取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第2画像を生成し、前記第1画像及び第2画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する。
[0220]
 本実施の形態のコンピュータプログラムは、コンピュータに、顕微鏡によって粒子が撮影された第1画像を取得する処理と、前記第1画像の画素に対応させた二値画像を取得する処理と、取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第2画像を生成する処理と、前記第1画像及び第2画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する処理とを実行させる。
[0221]
 本実施の形態の学習モデル生成方法は、顕微鏡によって粒子が撮影された第1画像を取得し、前記第1画像の画素に対応させた二値画像を取得し、取得された二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第2画像を生成し、前記第1画像及び第2画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する。
[0222]
 第1画像は、顕微鏡によって粒子が撮像された学習用入力画像である。二値画像は、第1画像の画素に対応させた画像であり、例えば、粒子と背景との二値化した画像とすることができる。第2画像は、二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する画像である。
[0223]
 学習モデルは、入力層、出力層及び複数の中間層などを含むニューラルネットワーク構造及び各ニューロンの重み係数などで構成される。学習モデルに第1画像及び三値のラベル画像である第2画像を入力することにより、ニューロンの重み係数を再計算して学習モデルを生成する。
[0224]
 上述の構成により、粒子が撮像された入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子、境界又は背景のいずれであるかを識別するので、入力画像上の境界によって粒子と背景が区別され、粒子を精度よく検出することができる。
[0225]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出し、算出した輝度分散及び周波数分散の少なくとも一方に基づいて前記第1画像を選定する。
[0226]
 プロセッサは、顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出する。元画像は、第1画像を切り出す元の画像であり、第1画像よりもサイズ(解像度)が大きい。矩形領域は、元画像上を走査する際の対象領域を決定するための領域であり、第1画像と同じサイズとすることができる。
[0227]
 輝度分散は、矩形領域内の各画素の輝度値の分散であり、例えば、矩形領域内の各画素の輝度値と矩形領域の平均輝度値との差分の2乗を各画素について合計し、合計値を画素数で除算して分散値を算出できる。周波数分散は、フーリエ変換などによって画像を周波数変換し、周波数変換した画像の各周波数成分の分散であり、輝度分散と同様にして算出することができる。
[0228]
 算出した輝度分散及び周波数分散の少なくとも一方に基づいて第1画像を選定する。これにより、第1画像は、粒子の数が適当数存在して適度に密集し、模様が比較的多く色々な特徴を持つ第1画像を選定することができ、最適な学習データを収集することができる。
[0229]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第1画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた境界が付加された前記第2画像を生成する。
[0230]
 プロセッサは、第1画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示する。これにより、第1画像の粒子の部分は、そのまま表示され、粒子でない部分(境界及び背景)は半透明で表示されるので、ユーザは、境界の部分を容易に視認することができる。
[0231]
 プロセッサは、マスク画像に対して境界を付加する編集操作を受け付ける。編集操作は、例えば、境界の部分を塗り潰す操作とすることができる。プロセッサは、受け付けた境界が付加された第2画像を生成する。これにより、三値のラベル画像である第2画像を容易に生成することができる。
[0232]
 本実施の形態の学習モデル生成装置において、前記プロセッサは、顕微鏡によって粒子が撮影された入力画像、及び前記入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像を取得し、取得した入力画像及び第2画像に基づいて前記学習モデルを再学習する。
[0233]
 プロセッサは、顕微鏡によって粒子が撮影された入力画像を取得するとともに、当該入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像を取得する。プロセッサは、取得した入力画像及び第2画像に基づいて学習モデルを再学習する。
[0234]
 上述の構成により、学習モデルを再学習することができ、学習モデルによる粒子の検出精度を向上させることができる。
[0235]
 本実施の形態の粒子識別装置は、プロセッサを備え、前記プロセッサは、顕微鏡によって粒子が撮影された入力画像を取得し、顕微鏡によって粒子が撮影された第1画像、及び前記第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成された学習モデルに、取得した入力画像を入力し、粒子、境界及び背景を含む出力画像を前記学習モデルから出力する。
[0236]
 本実施の形態のコンピュータプログラムは、コンピュータに、顕微鏡によって粒子が撮影された入力画像を取得する処理と、顕微鏡によって粒子が撮影された第1画像、及び前記第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、粒子、境界及び背景を含む出力画像を前記学習モデルから出力する処理とを実行させる。
[0237]
 本実施の形態の粒子識別方法は、顕微鏡によって粒子が撮影された入力画像を取得し、顕微鏡によって粒子が撮影された第1画像、及び前記第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成された学習モデルに、取得された入力画像を入力し、粒子、境界及び背景を含む出力画像を前記学習モデルから出力する。
[0238]
 入力画像は、顕微鏡によって粒子が撮像されている画像であって、粒子を検出する前の画像である。学習モデルは、顕微鏡によって粒子が撮影された第1画像、及び第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成されている。
[0239]
 入力画像を学習モデルに入力すると、学習モデルは、粒子、境界及び背景を含む出力画像を出力する。すなわち、学習モデルは、例えば、入力画像の画素毎に、粒子であるか、境界であるか、背景であるかを識別することができる。入力画像と識別結果とを重ねることにより、複数の粒子を含む出力画像を出力することができる。
[0240]
 これにより、顕微鏡によって粒子が撮像された入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子であるか、境界であるか、背景であるかを識別するので、粒子の形状が複雑、あるいは不規則な形状であっても、境界によって粒子を区別できるので、入力画像上の粒子を精度よく検出することができる。
[0241]
 本実施の形態の粒子識別装置において、前記プロセッサは、取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像を受け付け、取得した入力画像及び受け付けた第2画像を出力する。
[0242]
 プロセッサは、取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像を受け付ける。プロセッサは、取得した入力画像及び受け付けた第2画像を出力する。出力先は、例えば、入力画像及び第2画像に基づいて学習モデルを生成又は再学習させる、外部のサーバ等とすることができる。これにより、学習モデルを生成又は再学習するための学習用データを提供することができる。
[0243]
 本実施の形態の粒子識別装置において、前記プロセッサは、前記第1画像としての前記取得した入力画像及び受け付けた第2画像に基づいて前記学習モデルを再学習する。
[0244]
 プロセッサは、取得した入力画像(第1画像)及び受け付けた第2画像に基づいて学習モデルを再学習する。これにより、学習モデルによる粒子の検出精度を向上させることができる。
[0245]
 本実施の形態の粒子識別装置において、前記プロセッサは、取得した入力画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた境界が付加された前記第2画像を生成する。
[0246]
 プロセッサは、取得した入力画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示する。これにより、入力画像の粒子の部分は、そのまま表示され、粒子でない部分(境界及び背景)は半透明で表示されるので、ユーザは、境界の部分を容易に視認することができる。
[0247]
 プロセッサは、マスク画像に対して境界を付加する編集操作を受け付ける。編集操作は、例えば、境界の部分を塗り潰す操作とすることができる。プロセッサは、受け付けた境界が付加された第2画像を生成する。これにより、三値のラベル画像である第2画像を容易に生成することができる。

符号の説明

[0248]
 100 画像識別装置
 10 制御部
 11 入力部
 12 操作部
 13 検出処理部
 14 分類処理部
 15 編集処理部
 16 出力処理部
 17 表示パネル
 20 学習処理部
 21 学習データ入力部
 22 検出パラメータ学習部
 23 分類パラメータ学習部
 24 モデルファイル出力部
 30 記憶部
 31 検出モデルファイル
 32 分類モデルファイル
 33 学習データ

請求の範囲

[請求項1]
 プロセッサを備え、
 前記プロセッサは、
 識別対象が撮像された第1画像を取得し、
 前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得し、
 少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する学習モデル生成装置。
[請求項2]
 前記プロセッサは、
 所定の第1画像に基づいて前記学習モデルが出力する第2画像を表示し、
 表示した第2画像の編集操作を受け付け、
 少なくとも前記所定の第1画像及び編集操作を受け付けた第2画像に基づいて前記学習モデルを更新する請求項1に記載の学習モデル生成装置。
[請求項3]
 前記プロセッサは、
 前記第2画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第1画像の画素で置き換え、
 画素が置き換えられた第2画像を表示する請求項2に記載の学習モデル生成装置。
[請求項4]
 前記プロセッサは、
 前記第1画像の画素に対応させた少なくとも三値のラベルで識別対象を特定する請求項1に記載の学習モデル生成装置。
[請求項5]
 前記プロセッサは、
 前記第1画像の画素に対応させたラベルであって、識別対象でない領域であることを示す第1ラベル、識別対象の境界を含む領域であることを示す第2ラベル、及び識別対象の領域であることを示す第3ラベルを含むラベルで識別対象を特定する第2画像を取得する請求項4に記載の学習モデル生成装置。
[請求項6]
 前記プロセッサは、
 前記第1画像の画素に対応させたラベルであって、識別対象の領域であることを示す少なくとも2種類の第3ラベルを含むラベルで識別対象を特定する第2画像を取得する請求項5に記載の学習モデル生成装置。
[請求項7]
 前記プロセッサは、
 前記第1画像の画素に対応させた少なくとも三値のラベルで識別対象の領域であって識別対象の形状に基づく識別対象の種類を特定する第2画像を取得する請求項4に記載の学習モデル生成装置。
[請求項8]
 前記プロセッサは、
 前記第1画像の画素に対応させたラベルで学習範囲外であることを特定する第2画像を取得する請求項1から請求項7のいずれか一項に記載の学習モデル生成装置。
[請求項9]
 前記プロセッサは、
 識別対象が識別された第3画像を取得し、
 前記第3画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第4画像を取得し、
 少なくとも取得した第3画像及び第4画像に基づいて識別対象の種類を識別するための学習モデルを生成する請求項1から請求項8のいずれか一項に記載の学習モデル生成装置。
[請求項10]
 プロセッサを備え、
 前記プロセッサは、
 入力画像を取得し、
 少なくとも識別対象が撮像された第1画像、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
 前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する表示装置。
[請求項11]
 前記プロセッサは、
 少なくとも識別対象が識別された第3画像、及び第3画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第4画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
 前記学習モデルが出力する識別結果に基づいて、前記出力画像の識別対象の形状に基づく識別対象の種類を識別可能に表示する請求項10に記載の表示装置。
[請求項12]
 前記プロセッサは、
 前記出力画像の識別対象の長径及び短径の少なくとも一つを表示する請求項10又は請求項11に記載の表示装置。
[請求項13]
 前記プロセッサは、
 前記出力画像の識別対象の長径を示す線分及び短径を示す線分を表示する請求項10から請求項12のいずれか一項に記載の表示装置。
[請求項14]
 前記プロセッサは、
 前記出力画像の識別対象の長径と短径との比を表示する請求項10から請求項13のいずれか一項に記載の表示装置。
[請求項15]
 前記プロセッサは、
 前記出力画像の複数の識別対象についての所要の属性を選択する操作を受け付け、
 選択された属性の分布情報を表示する請求項10から請求項14のいずれか一項に記載の表示装置。
[請求項16]
 前記属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む請求項15に記載の表示装置。
[請求項17]
 前記プロセッサは、
 前記出力画像の複数の識別対象の全部又は一部を識別可能に表示する請求項10から請求項16のいずれか一項に記載の表示装置。
[請求項18]
 前記プロセッサは、
 前記識別対象の領域を表示する請求項17に記載の表示装置。
[請求項19]
 前記プロセッサは、
 前記識別対象の重心を表示する請求項17又は請求項18に記載の表示装置。
[請求項20]
 前記プロセッサは、
 隣接する識別対象を異なる表示態様で表示する請求項17から請求項19のいずれか一項に記載の表示装置。
[請求項21]
 前記プロセッサは、
 前記識別対象の重心から境界に向かう波動アニメーションを表示する請求項17から請求項20のいずれか一項に記載の表示装置。
[請求項22]
 コンピュータに、
 識別対象が撮像された第1画像を取得する処理と、
 前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得する処理と、
 少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する処理と
 を実行させるコンピュータプログラム。
[請求項23]
 コンピュータに、
 入力画像を取得する処理と、
 少なくとも識別対象が撮像された第1画像、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、
 前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する処理と
 を実行させるコンピュータプログラム。
[請求項24]
 識別対象が撮像された第1画像を取得し、
 前記第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像を取得し、
 少なくとも取得した第1画像及び第2画像に基づいて識別対象を識別するための学習モデルを生成する学習モデル生成方法。
[請求項25]
 入力画像を取得し、
 少なくとも識別対象が撮像された第1画像、及び第1画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第2画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
 前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する表示方法。
[請求項26]
 プロセッサを備え、
 前記プロセッサは、
 顕微鏡によって粒子が撮影された第1画像を取得し、
 前記第1画像の画素に対応させた二値画像を取得し、
 取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第2画像を生成し、
 前記第1画像及び第2画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する学習モデル生成装置。
[請求項27]
 前記プロセッサは、
 顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出し、
 算出した輝度分散及び周波数分散の少なくとも一方に基づいて前記第1画像を選定する請求項1から請求項3、又は請求項26のいずれか一項に記載の学習モデル生成装置。
[請求項28]
 前記プロセッサは、
 前記第1画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、
 前記マスク画像に対して境界を付加する編集操作を受け付け、
 受け付けた境界が付加された前記第2画像を生成する請求項26又は請求項27に記載の学習モデル生成装置。
[請求項29]
 前記プロセッサは、
 顕微鏡によって粒子が撮影された入力画像、及び前記入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像を取得し、
 取得した入力画像及び第2画像に基づいて前記学習モデルを再学習する請求項26から請求項28のいずれか一項に記載の学習モデル生成装置。
[請求項30]
 プロセッサを備え、
 前記プロセッサは、
 顕微鏡によって粒子が撮影された入力画像を取得し、
 顕微鏡によって粒子が撮影された第1画像、及び前記第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
 粒子、境界及び背景を含む出力画像を前記学習モデルから出力する粒子識別装置。
[請求項31]
 前記プロセッサは、
 取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像を受け付け、
 取得した入力画像及び受け付けた第2画像を出力する請求項30に記載の粒子識別装置。
[請求項32]
 前記プロセッサは、
 前記第1画像としての前記取得した入力画像及び受け付けた第2画像に基づいて前記学習モデルを再学習する請求項30又は請求項31に記載の粒子識別装置。
[請求項33]
 前記プロセッサは、
 取得した入力画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、
 前記マスク画像に対して境界を付加する編集操作を受け付け、
 受け付けた境界が付加された前記第2画像を生成する請求項30から請求項32のいずれか一項に記載の粒子識別装置。
[請求項34]
 コンピュータに、
 顕微鏡によって粒子が撮影された第1画像を取得する処理と、
 前記第1画像の画素に対応させた二値画像を取得する処理と、
 取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第2画像を生成する処理と、
 前記第1画像及び第2画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する処理と
 を実行させるコンピュータプログラム。
[請求項35]
 コンピュータに、
 顕微鏡によって粒子が撮影された入力画像を取得する処理と、
 顕微鏡によって粒子が撮影された第1画像、及び前記第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、
 粒子、境界及び背景を含む出力画像を前記学習モデルから出力する処理と
 を実行させるコンピュータプログラム。
[請求項36]
 顕微鏡によって粒子が撮影された第1画像を取得し、
 前記第1画像の画素に対応させた二値画像を取得し、
 取得された二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第2画像を生成し、
 前記第1画像及び第2画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する学習モデル生成方法。
[請求項37]
 顕微鏡によって粒子が撮影された入力画像を取得し、
 顕微鏡によって粒子が撮影された第1画像、及び前記第1画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第2画像に基づいて生成された学習モデルに、取得された入力画像を入力し、
 粒子、境界及び背景を含む出力画像を前記学習モデルから出力する粒子識別方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34A]

[ 図 34B]

[ 図 34C]

[ 図 34D]

[ 図 34E]

[ 図 35]

[ 図 36A]

[ 図 36B]

[ 図 36C]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41A]

[ 図 41B]

[ 図 41C]

[ 図 41D]

[ 図 41E]

[ 図 42A]

[ 図 42B]

[ 図 42C]

[ 図 42D]

[ 図 42E]

[ 図 43A]

[ 図 43B]

[ 図 43C]

[ 図 43D]

[ 図 43E]

[ 図 44A]

[ 図 44B]

[ 図 44C]

[ 図 44D]

[ 図 44E]

[ 図 45A]

[ 図 45B]

[ 図 46A]

[ 図 46B]

[ 図 47A]

[ 図 47B]

[ 図 48A]

[ 図 48B]

[ 図 49A]

[ 図 49B]

[ 図 50A]

[ 図 50B]

[ 図 51]

[ 図 52]

[ 図 53]