Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020158107 - PROCÉDÉ DE DÉTERMINATION DE QUALITÉ D'ÉCHANTILLON À L'AIDE D'UNE IMAGE FLUORESCENTE, PROGRAMME ET DISPOSITIF

Document

明 細 書

発明の名称 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008  

先行技術文献

特許文献

0009  

非特許文献

0010  

発明の概要

発明が解決しようとする課題

0011   0012   0013  

課題を解決するための手段

0014   0015   0016   0017   0018  

発明の効果

0019  

図面の簡単な説明

0020  

発明を実施するための形態

0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111  

符号の説明

0112  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9   10   11   12A   12B   13   14   15   16  

明 細 書

発明の名称 : 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置

技術分野

[0001]
 本発明は、蛍光画像を利用した試料の品質判定方法、プログラム、及び、装置に関し、特に、試料中の成分の判定に好適に利用し得る品質判定方法、プログラム、及び、装置に関する。

背景技術

[0002]
 従来、試料等の品質評価のために、連続スペクトルを利用したハイパースペクトルイメージング技術や、離散スペクトルを利用したマルチスペクトルイメージング技術が使用されている。また、このようなスペクトルイメージングの「スペクトル」として、「蛍光指紋」を用いた「蛍光指紋イメージング技術」(Fluorescence Fingerprint Imaging technique)も提案されている(例えば、特許文献1、非特許文献1参照)。
[0003]
 因みに、蛍光指紋は、励起蛍光マトリクス(Excitation Emission Matrix;EEM)とも呼ばれ、蛍光物質を含む試験試料に、段階的に励起波長を変化させながら励起光を照射し、試験試料から発せられる所定の蛍光波長の光(蛍光)の強度を、励起波長(λEx)、蛍光波長(測定波長)(λEm)、蛍光強度(IEx,Em)を3直交軸とする3次元空間においてプロットして得られるポイントの集合を可視化したものである(図2参照)。
[0004]
 蛍光指紋は、各ポイントの蛍光強度を等高線形状や色分布等で表示することにより、3次元グラフとして表すことができ(図3参照)、また、2次元グラフとして表すこともできる(図4参照)。蛍光指紋は、3次元の膨大な情報を有する試験試料固有のパターンを示していることから、各種の鑑別や定量等に好適に使用し得る。
[0005]
 蛍光指紋のハイパースペクトルイメージには、図5に示すように、上述の蛍光指紋情報に加えて、位置情報も含まれていることから、蛍光指紋イメージング技術により、試料中の成分の特定のみならず、その分布等についての特定も可能となる。なお、図5中の「波長条件」は、励起波長(λEx)と蛍光波長(λEm)との組み合わせに対応するものであり、波長条件の個数は、励起波長(λEx)と蛍光波長(λEm)との組み合わせの個数に等しい。
[0006]
 非特許文献1には、蛍光指紋イメージから試料中の特定成分の可視化画像を取得するために二次計画法等の手法を用いること等が開示されており、このような手法は、ハイパースペクトルイメージの分類問題に対する一つのアプローチといえる。
[0007]
 一般に、ハイパースペクトルイメージの分類問題に関しては、機械学習の一種である深層学習の利用が有効であるとの知見が得られている(例えば、非特許文献2参照)。
[0008]
 なお、機械学習の一種である深層学習に関しては、各種の手法が知られており(例えば、非特許文献3参照)、特に、画像認識に好適な深層学習に関しては、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)の使用が有効であるとの知見が得られている(例えば、非特許文献3、4参照)。

先行技術文献

特許文献

[0009]
特許文献1 : 特開2012-98244号公報

非特許文献

[0010]
非特許文献1 : 粉川美踏他「蛍光指紋イメージング技術の開発」;「日本食品科学工学会誌」VOL.62 NO.10, P477-483 (2015)
非特許文献2 : Li, Y, et al. "Spectral-Spatial Classification of Hyperspectral Imagery with 3D Convolutional Neural Network" Remote Sens. 2017, 9(1), 67; (http://dx.doi.org/10.3390/rs9010067)
非特許文献3 : 岡谷貴之「深層学習」2015-4-7、講談社
非特許文献4 : 原田達也「画像認識」2017-5-24、講談社

発明の概要

発明が解決しようとする課題

[0011]
 上述のように、蛍光指紋のハイパースペクトルイメージを用いた蛍光指紋イメージング技術により、試料中の成分の特定のみならず、その分布等についての特定も可能となるものの、蛍光指紋を取り扱う場合には、蛍光退色(fluorescence photobleaching)という蛍光特有の問題を考慮する必要がある。
[0012]
 蛍光退色は、光によって励起された蛍光色素分子の構造不安定性に起因して、蛍光色素分子の構造が変化し、励起状態を維持できなくなって蛍光の放出が止まるという事象を意味する。そして、このような蛍光退色が発生すると、退色の程度によっては観測が困難となる場合が生じる。
[0013]
 しかしながら、従来の蛍光指紋イメージング技術において、このような蛍光退色への対応は十分に考慮されてはいなかった。

課題を解決するための手段

[0014]
 本発明は、このような課題を解決するために提案されたものであり、蛍光画像の処理に、蛍光退色という事象を考慮した、機械学習による分類問題へのアプローチ手法を適用して、試料の品質判定を高精度且つ効率的に行うようにしたものである。
[0015]
 本発明の実施の態様を例示すれば、以下のとおりである。
(態様1)
 既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)から所定の期間P(P>0)内に得られた、予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する蛍光画像データ取得工程と、
 前記蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習工程と、
 未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定工程と、
 を含むことを特徴とする方法。
(態様2)
 態様1に記載の方法において、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする方法。
(態様3)
 態様1又は2に記載の方法において、前記時刻Tを複数(0≦T 1<・・・<T n)設け、各時刻T i(1≦i≦n)ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする方法。
(態様4)
 態様1又は2に記載の方法において、前記時刻Tを複数(0≦T 1<・・・<T n)設け、各時刻T i(1≦i≦n)ごとに得られた蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築することを特徴とする方法。
(態様5)
 態様1~4に記載の方法において、前記時刻Tは、蛍光の退色が始まる前の時刻であることを特徴とする方法。
(態様6)
 態様1~5のいずれか1項に記載の方法において、前記時刻T及び期間Pを、品質区分に依存させて当該品質区分の判定精度を高めるように設定することを特徴とする方法。
(態様7)
 態様1~6に記載の方法であって、更に、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする方法。
(態様8)
 態様7に記載の方法において、前記可視画像データは、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)で構成されることを特徴とする方法。
(態様9)
 態様1~8に記載の方法において、励起波長及び蛍光波長として、ポリフェノール、クロロフィルの検出に適合する励起・蛍光波長を使用することを特徴とする方法。
(態様10)
 態様1~9に記載の方法において、試料がたばこ原料であり、品質区分がバーレー種のラミナ、黄色種のラミナ、オリエント種のラミナ、中骨、たばこシート、パフであることを特徴とする方法。
(態様11)
 コンピュータに態様1~10に記載の方法を実行させるためのプログラム。
(態様12)
 励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)から所定の期間P(P>0)内に得られた、予め定められた蛍光波長の反射光の強度に基づく、既知の品質区分を含む試料に関する励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習手段と、
 未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定手段と、
 を具備することを特徴とする装置。
(態様13)
 態様12に記載の装置において、前記蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする装置。
(態様14)
 態様12又は13に記載の装置において、前記取得時刻Tが異なる蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記取得時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して前記取得時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする装置。
(態様15)
 態様12又は13に記載の装置において、前記取得時刻Tが異なる蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築することを特徴とする装置。
(態様16)
 態様12~15に記載の装置であって、更に、可視画像データを取得し、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする装置。
(態様17)
 態様16に記載の装置において、前記可視画像データは、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)で構成されることを特徴とする装置。
[0016]
 上述の態様において、「近傍値」という語句は、中心波長の上下の所定幅内にある値を意味する。当該所定幅は、例えば、5~10nmに設定することができる。
[0017]
 また、「プログラム」とは、任意の言語や記述方法に基づき記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問うものではない。また、「プログラム」は単一の形で構成されてもよいが、複数のモジュールやライブラリとして分散構成されてもよく、また、他の既存のプログラムと協働してその機能を達成するように構成されたものであってもよい。
[0018]
 また、「装置」は、ハードウエアとして構成されてもよいが、コンピュータのソフトウエアによって各種機能を実現する機能実現手段の組合せとして構成されてもよい。機能実現手段には、例えば、プログラムモジュールが含まれ得る。
 なお、態様10のたばこの品質区分に関しては、後述する。

発明の効果

[0019]
 本発明によれば、蛍光退色という事象を考慮した、高精度且つ効率的な試料の品質判定が可能になる。

図面の簡単な説明

[0020]
[図1] 図1は、本発明の方法に係る実施の一態様の概要を説明するためのフローチャートである。
[図2] 図2は、計測対象物に励起光を照射した場合に該計測対象物から発せられた蛍光のスペクトルの概要を示す説明図である。
[図3] 図3は、蛍光指紋の一例を3次元的に示す等高線形状のグラフである。
[図4] 図4は、蛍光指紋の一例を2次元的に示す等高線形状のグラフである。
[図5] 図5は、蛍光指紋のハイパースペクトルイメージ及びマルチスペクトルイメージの一例を模式的に示す説明図である。
[図6] 図6は、蛍光イメージングシステムの一例を表す図である。
[図7] 図7は、畳み込み層における処理例を示す説明図である。
[図8] 図8は、AlexNetの構造を示す説明図である。
[図9] 図9は、GoogLeNetの構造を示す説明図である。
[図10] 図10は、SegNetの構造を示す説明図である。
[図11] 図11は、本発明の装置に係る実施の一態様の概要を説明するためのブロック図である。
[図12A] 図12Aは、白色光下で取得した、たばこ原料サンプルの可視画像である。
[図12B] 図12Bは、たばこ原料サンプルにフィルタを介することなく励起光を照射し、取得した蛍光画像である。
[図13] 図13は、たばこ原料サンプルに関し、励起・蛍光波長の組合せI~VIにより取得した蛍光画像である。
[図14] 図14は、たばこ原料サンプルに対して、セマンティック・セグメンテーションを適用する場合の概要を説明するための模式図である。
[図15] 図15は、たばこ原料サンプルに関し、蛍光画像データ及び可視画像データを併用して機械学習を行う場合の入力画像データの選択の一例を示す表である。
[図16] 図16は、学習済みの畳み込みニューラルネットワークを品質区分が既知のたばこ原料のテスト試料に適用した判定結果を示す表である。

発明を実施するための形態

[0021]
 以下、本発明の方法に係る実施態様例を説明する。また、本発明の装置に係る実施態様例を説明する。更に、本発明の方法を、たばこ原料の品質区分の判定に適用した態様例について説明する。
[0022]
 なお、以下において説明する実施態様例により、本発明が限定されるものではないことに留意されたい。
[0023]
I.本発明の方法に係る実施態様例
I-1.実施の一態様
 図1は、本発明の方法に係る実施の一態様(実施態様I-1)の概要を説明するためのフローチャートである。図1に示されるように、実施態様I-1は、蛍光画像データ取得工程(S01)、機械学習工程(S02)、及び、品質区分判定工程(S03)を含む。これらの各工程について、以下、説明する。
[0024]
I-1-1.蛍光画像データ取得工程(S01)
 本工程は、既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)から所定の期間P(P>0)内に得られた予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する工程である。
[0025]
 蛍光画像データの取得手法について概略を説明する。
 蛍光画像データの取得には、図6に示されるような蛍光イメージングシステム600を用いる。蛍光イメージングシステム600は、分光照明装置610と分光撮影装置620から構成されている。分光照明装置610は、例えば、340~420nmの範囲で10nm刻みに設定し得るバンドパスフィルタ614を通してキセノン光源612(MAX-303(商品名)、朝日分光(会社名))から放出される特定波長の励起光をサンプル630に照射する。分光撮影装置620は、サンプル630からの反射光を、420~700nmの範囲で10nm刻みに設定し得るバンドパスフィルタ622を介して、特定波長の蛍光画像のみを撮像装置624で撮影する。光源側のバンドパスフィルタ614と撮像装置側のバンドパスフィルタ622をそれぞれ換えながらサンプルを撮影することにより、図5に示されるような励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し得る。なお、図6においては、サンプルの大きさを4×4cmとしているが、特にこの数値に限定されるというものではなく、大きさは適宜設定し得る。また、取得した複数枚の画像を合成して蛍光画像データとすることもできる。
[0026]
 また、蛍光画像データの取得時刻を、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)とし、前述のような蛍光退色という事象を考慮した構成としている。時刻Tは、蛍光退色が始まる前の時刻としてもよいが、蛍光退色の程度が時間に対して非線形性を有していることから、このような蛍光退色の特性を利用して、分類を行うのに適切な蛍光画像データを取得するための時刻や期間を、各品質区分に適合した時刻Tや期間Pとして設定することができる。
[0027]
 このように、時刻Tと期間Pを、試料中の品質区分に依存させて当該品質区分の判定精度を高めるように設定することができ、それが後述する学習結果に反映されて判定精度の一層の向上を図ることができる。
[0028]
I-1-2.機械学習工程(S02)
 本工程は、前述の蛍光画像データ取得工程において取得された蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する工程である。
[0029]
 まず、蛍光画像データ取得工程(S01)において取得された蛍光画像データに対し、必要に応じて、前処理を施し、入力画像データを作成する。なお、取得された蛍光画像データのチャネル数を、それぞれ、K 1とした場合、必ずしも、入力画像データのチャネル数KをK 1とする必要はなく、K 1未満の値とすることもできる(縮約の実施)。このような縮約を実施する場合に、どのようにデータを整理・統合するかについては、事前に実施する予備的調査や既知の結果等を勘案して適宜決定すればよい。
[0030]
 前処理としては、例えば、データの抜け、異常値への対応、サイズの変更、データ量の調整の外に、データをある範囲に収まるように変換するデータの正規化(regularization)、データの平均を0、標準偏差を1に加工するデータの標準化(standardization)、データ間の関係性を除去するデータの無相関化、データに対して標準化と無相関化を行うデータの白色化(whitening)等の処理があり、この中から適宜選択すればよい。なお、訓練データに対して前処理を行った場合には、テストデータや未知データに対しても同様の処理を行う必要がある。
[0031]
 次に、分類を行うのに好適な機械学習の手法について説明する。
 分類を行うのに好適な機械学習の手法としては、例えば、ツリー構造を訓練し、枝分かれでデータを分類する決定木(decision tree)、決定木を複数組み合わせ、各決定木の出力の多数決を取ることにより分類を行うランダムフォレスト(Random Forest; RF)、多次元における超平面を訓練し、データの分類を行うサポートベクトルマシン(Support Vector Machine; SVM)、最も近いK個の点を用いた多数決により分類を行うK近傍法(K Nearest Neighbor method; KNN method)、単純な分類器を複数組み合わせることで非線形な分類器を構築する集団学習(ensemble learning)等の外、脳の神経細胞ネットワークをモデル化したニューラルネットワーク(neural network)が採用可能である。ニューラルネットワークに関しては、多層ニューラルネットワーク、特に、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)を利用した深層学習(deep learning)が画像の分類に対して有効性を有することが確認されている。畳み込みニューラルネットワークの手法の概略については後述する。これ以外に、例えば、Bag of Visual Words(BoVW)も使用可能である。BoVWは、文章特徴を計算するモデルであるBag of Words(BoW; Bag of Featuresという場合もある)のアナロジーから生まれた手法であり、テキスト分類のテクニックを画像分類に適用したものである。
[0032]
 また、上記のような手法の外に、例えば、高次元データの分類に有効な部分最小二乗判別分析(Partial Least Squares-Discriminant Analysis; PLS-DA)や、ベルヌーイ分布に従う変数の統計的回帰モデルの一種であるロジスティック回帰(Logistic Regression; LR)等の統計的手法も採用可能である。
[0033]
 以下、画像の分類を行うのに好適な畳み込みニューラルネットワークを用いた深層学習について、その概略等を説明する。
[0034]
<畳み込みニューラルネットワークの構造の概要>
 畳み込みニューラルネットワークは、畳み込み層(convolution layer)、プーリング層(pooling layer)、全結合層(fully connected layer)の3種の層から構成された、主に画像認識に応用されるフィードフォワードニューラルネットワーク(feedforward neural network)であり、誤差逆伝播法(back propagation)と確率的勾配降下法(Stochastic Gradient Descent; SGD)により学習の最適化を行うものである。また、目的がクラス分類であるので、全結合層の出力を正規化するためのソフトマックス層や、ソフトマックス層の出力を入力し、分類の確率を出力する分類層が設けられる場合もある。
[0035]
 畳み込みニューラルネットワークにおいては、畳み込み層とプーリング層は、何度か繰り返されて全結合層につながり、全結合層も何度か繰り返されて、最後の全結合層の出力がソフトマックス層の入力に用いられる。
[0036]
 畳み込み層では、入力された画像に複数のフィルタによるフィルタ処理を行い、フィルタ処理の結果、入力画像は画像の特徴を表す複数の画像に変換される。そして、プーリング層では画像の特徴を損なわないように画像のサイズが縮小され、全結合層では、層間のすべてのニューロンが接続される。
[0037]
 以下、畳み込み層、プーリング層、全結合層の有する特徴や動作態様、畳み込みニューラルネットワークにおける学習等について簡単に説明する。
[0038]
<畳み込み層>
 畳み込み(convolution)演算により、画像のある特徴を強めたり弱めたりすることができることから、畳み込み層は、このような畳み込み処理により入力画像をより特徴が強調されたものに変換する機能を有している。
[0039]
 また、画像には局所性という性質があり、畳み込み層は、このような画像の局所性を利用して画像の特徴を検出する機能も有している。そのため、畳み込み層では、それぞれ異なる特徴を検出する複数のフィルタを用いて特徴の検出が行われる。
[0040]
 図7は、畳み込み層における処理例を示すものであり、図7には、サイズ(幅×高さ×チャネル数)がM s×N s×K sである第s層の画像(入力画像)710に対して、サイズがP s+1×Q s+1×K sであるK s+1個のフィルタ720を用いて処理した場合の計算結果が示されている。
[0041]
 一般に、ニューラルネットワークにおいて、入力から出力から情報が伝わっていくことを順伝播(forward propagation)、逆に、出力から入力に向けて情報が遡っていくことを逆伝播(back propagation)という。
[0042]
 図7に示される例では、順伝播に関して、k'番目のフィルタ上の幅と高さ(p,q)におけるチャネルkの重みをw s+1 p,q,k,k'、s+1層の画像(出力画像)の位置(m,n)におけるチャネルk'の入力をa s+1 m,n,k'とすると、a s+1 m,n,k'は次のように表される。
a s+1 m,n,k'=Σ p,q,kw s+1 p,q,k,k'・z s m+p,n+q,k + b s+1 k'    (1)
但し、z s m+p,n+q,k は第s層の画像(入力画像)710の位置(m+p,n+q)におけるチャネルkの画素値、b s+1 k'はバイアスである。
したがって、第s+1層の画像(出力画像)730の位置(m,n)におけるチャネルk'の画素値z s+1 m,n,k'は、活性化関数h(・)を用いて、
z s+1 m,n,k'=h(a s+1 m,n,k') (2)
と表されることになる。
[0043]
 因みに、ニューロンのモデルに則していえば、重みはシナプスにおける伝達効率に相当し、バイアスはニューロンの感度(興奮のしやすさ)に相当するものである。また、活性化関数は、ニューロンを興奮させるための関数といえる。
[0044]
 次に、図7に示される例における逆伝播について説明する。誤差逆伝播は、順伝播によって得られた出力と正解との誤差を、層を一つずつ遡らせ、重みとバイアスを更新して誤差を最小化するために行うものである。なお、出力と正解の誤差を定義する関数を損失関数(loss function)という。
[0045]
 畳み込み層における誤差の逆伝播を求めるためには、重みの勾配を得る必要がある。
 そこで、損失関数をJとし、重みの偏微分を求めると、次のように表される。
∂J/∂w s p,q,k,k'm,n(∂J/∂a s m,n,k')・(∂a s m,n,k'/∂w s p,q,k,k') (3)
また、式(1)より、
∂a s m,n,k'/∂w s p,q,k,k'=z s-1 m+p,n+q,k    (4)
∂J/∂a s m,n,k's m,n,k'とおくと、
∂J/∂w s p,q,k,k'm,nδ s m,n,k'・z s-1 m+p,n+q,k    (5)
と表される。また、バイアスも、同様の計算により、次のように表される。
∂J/∂b s k'm,nδ s m,n,k' (6)
したがって、δ s m,n,kは、次のように表される
δ s m,n,k=∂J/∂a s m,n,k
   =Σ p,q,k'(∂J/∂a s+1 m‐p,n‐q,k')・(∂a s+1 m‐p,n‐q,k'/∂a s m,n,k')
   =h'(a s m,n,kp,q,k'δ s+1 m‐p,n‐q,k'・w s+1 p,q,k,k'    (7)
但し、h'(・)は、活性化関数h(・)の微分値である。
[0046]
 式(7)は、出力層(上位層)の誤差を重みで畳み込んだ値を利用して入力層(下位層)の誤差が計算できることを示すものである。
[0047]
 なお、活性化関数について若干付言しておく、ネットワークが3層以上の場合に有効に機能するためには、活性化関数が非線形性をもつ必要がある。また、上述のように、逆伝播法で学習させるためには活性化関数が微分可能である必要がある。
[0048]
 代表的な活性化関数としては、次式に示すロジスティックシグモイド関数(logistic sigmoid function)がある。
h(x)=σ(x)=1/(1+exp(‐x))     (8)
[0049]
 逆伝播の際に誤差と微分係数の積を用いて下位層の誤差を計算するため、下位層に行くほど誤差δ sの値が指数関数的に減少していくことから、入力xの値が大きく(又は小さく)なると微分係数h'(x)の値が小さくなり、パラメータの更新がほとんど行われなくなるという問題が生じる。この問題を軽減するため、活性化関数として、次式に示すReLU(Rectified Linear Unit)が提案されている。
h(x)=max(0,x) (9)
h'(x)=1 if x ≧ 0
  =0 otherwise (10)
[0050]
 なお、活性化関数として、ReLUの改良版であるLReLU(Leaky ReLU)、RReLU(Random ReLU)、PReLU(Parametric ReLU)等や、データの正規化に貢献するELU(Exponential Linear Unit)等も提案されているが、詳細は省略する。
[0051]
<プーリング層>
 次に、プーリング層を説明する。プーリング層では画像を各領域に区切り、各領域を代表する値を抽出し並べて新たな画像とする処理であるプーリング(pooling)が行われる。プーリングは、画像をぼやかす処理といえ、対象の位置の感度を低下させることができる。これにより、対象の位置が多少変化しても出力を不変にすることができるから、プーリング層は、位置の変化に対するロバスト性を与えることになる。また、プーリングにより画像サイズが小さくなるので、計算量が削減されるという効果もある。
 画像処理においては、各領域の最大値を各領域を代表する値とする最大プーリング(max pooling)が使われることが多い。
[0052]
<全結合層>
 全結合層は、通常のニューラルネットワークで用いられる層であり、通常、畳み込み層とプーリング層を何度か繰り返した後に配置される。
[0053]
<畳み込みニューラルネットワークにおける学習>
 畳み込みニューラルネットワークでは、通常のニューラルネットワークと同様に逆伝播による学習が行われる。
 畳み込み層では、出力と正解の誤差から伝播してきた値をもとにフィルタを構成する各値の勾配を計算し、フィルタが更新される。また、バイアスも同様に更新される。誤差は畳み込み層を通ってさらに上の層に伝播していく。
 プーリング層では、学習は行われず、誤差は、プーリング層を通過してさらに上の層に伝播することになる。
 全結合層では、通常のニューラルネットワークと同じ方法で誤差の伝播が行われる。
 そして、このような重みとバイアスの調節により、誤差が最小となるようにネットワークが最適化される。このような最適化のためのアルゴリズムとして、確率的勾配降下法等の手法が知られている。
[0054]
 因みに、確率的勾配降下法は、更新ごとにランダムにサンプルを選び出すアルゴリズムであり、重みwとバイアスbの更新式は、以下のとおりである。
w <- w‐η∂J/∂w (11)
b <- b‐η∂J/∂b (12)
[0055]
 これ以外の最適化アルゴリズムとして、確率的勾配降下法に慣性項を付加したMomentum、更新量を自動的に調節するAdaGrad、AdaGradにおける更新量の低下による学習の停滞という弱点を克服するRMSProp、MomentumとAdaGradとを統合したような特徴を有するAdam(Adaptive moment estimation)等の手法が知られているが、詳細は省略する。
[0056]
I-1-3.品質区分判定工程(S03)
 最後に、未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して学習済みの分類器を適用し、該試料に含まれる品質区分を判定する(品質区分判定工程:S03)。なお、前述のように、訓練データに対して前処理を行った場合には、未知データに対しても同様の処理を行う必要がある。また、未知の品質区分を含む試料の蛍光画像データの取得時刻や期間を、学習時の蛍光画像データの取得時刻や期間と適合させることが望ましい。
 このような構成により、蛍光退色の時間的な変化の精密な反映が可能となり、分類精度の一層の向上を図ることができる。
[0057]
<畳み込みニューラルネットワークの実装例>
 畳み込みニューラルネットワークの実装例として、AlexNetとGoogLeNetとを取り上げ、それらの概略を説明する。
[0058]
 AlexNetは、図8に示すように、5つの畳み込み層と3つの全結合層から構成され、1、2番目の畳み込み層の後に正規化層、各正規化層の後と5番目の畳み込み層の後には最大値プーリング層が用いられている。AlexNetは6000万のパラメータと65万個のニューロンを持っており、膨大なパラメータを含むため、ドロップアウトやデータ拡張などのなるべく局所解に陥らずに学習する工夫がなされている。
[0059]
 また、GoogLeNetは、図9に示すように、インセプション(inception)という層の中にさらにネットワークをもつモジュールを用い、これを9つ接続した深いネットワークを構築している。インセプションモジュールの中では、1×1、3×3、5×5の3つの畳み込み層と最大値プーリング層が並列となっており、複数の畳み込み層を並列にすることで、複数の広がりをもつ局所的な画像の相関を捉えることができる。また、3×3、5×5の畳み込み層の前段に設けられた1×1の畳み込み層は、次元削減の機能を有している。GoogLeNetはAlexNetよりも深い構造を有しているものの、そのほとんどが畳み込み層であるためにパラメータ数は1/12程度である。
[0060]
I-2.別の実施の一態様
 次に、本発明の方法に係る別の実施の一態様(実施態様I-2)の概要を説明するが、実施態様I-1と重複する部分に関する説明は省略する。
[0061]
 実施態様I-2は、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させるものである。
 このようなオブジェクトの形状をも考慮した機械学習を行うためには、例えば、画像内のオブジェクトのクラスとその輪郭を正確に推定するプロセスであるセマンティック・セグメンテーションを利用することができる。セマンティック・セグメンテーションは、ピクセルレベルでオブジェクトを認識するものであり、ピクセルレベルでのクラス割り当て(分類)を可能とするものである。深層学習を利用したセマンティック・セグメンテーションの手法として、エンコーダ・デコーダネットワークが提案されている。
[0062]
 図10は、SegNetと呼ばれるセマンティック・セグメンテーション用のネットワークを示すものであり、その構造及び動作は、概略以下のとおりである。
[0063]
 SegNetのエンコーダは、VGG16と呼ばれるクラス認識用ネットワークの全結合層をすべて取り除いたものである。デコーダはエンコーダの入出力が逆になったネットワークで、最終層にソフトマックス層が追加されている。デコーダに入力された画像は、逆プーリング層(unpooling layer)でアップサンプリングされる。逆プーリング層は、エンコーダのプーリング層と1対1で対応付けられ、エンコード時に最大値を出力したユニットを記憶しておき、この記憶に基づきデコーダでアップサンプリングを行う。エンコード時の情報を利用することで、空間情報を補うだけでなく、アップサンプルの仕方の学習が不要となる。
[0064]
 逆プーリングによって拡大された画像は、多くの値が0となる疎な画像となっているため、逆プーリング層に続く転置畳み込み層(transposed convolution layer)で、疎な画像を密な画像に変換する。最終的なデコーダの出力画像はソフトマックス層に入力され、画素ごとに物体クラスの確率に変換され、最大の確率となったクラスで各画素を表現することで、最終的なセグメンテーション結果が得られる。SegNetは、ミニバッチ内のすべての画素にわたるクロスエントロピー損失の合計を損失関数として利用し、確率的勾配降下法などでend-to-endに学習する。なお、ミニバッチとは、全データ(サンプル)からランダムに選択した一部のデータ(少数のサンプル集合)を意味する。
 このような構成により、複数の品質区分が一部の材料を共有する場合であっても、形状も考慮することにより、品質区分の判定精度を一層向上させることができる。
[0065]
I-3.別の実施の一態様
 次に、本発明の方法に係る更に別の実施の一態様(実施態様I-3)の概要を説明するが、実施態様I-1、I-2と重複する部分に関する説明は省略する。
[0066]
 実施態様I-3は、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻Tを複数(0≦T 1<・・・<T n)設け、各時刻T i(1≦i≦n)ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定するものである。
[0067]
 品質区分が未知の成分を含む試料に対して適合する分類器を選択する点に関しては、例えば、未知の試料に対する励起光の照射開始を始点とした蛍光画像データの取得時刻に相応する分類器を選択するようにすればよい。
 このような構成により、蛍光退色の時間的な変化の精密な反映が可能となり、分類精度の一層の向上を図ることができる。
[0068]
I-4.別の実施の一態様
 次に、本発明の方法に係る更に別の実施の一態様(実施態様I-4)の概要を説明するが、実施態様I-1、I-2、I-3と重複する部分に関する説明は省略する。
[0069]
 実施態様I-4は、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻Tを複数(0≦T 1<・・・<T n)設け、各時刻T i(1≦i≦n)ごとに得られた蛍光画像データを時系列的に集積して蛍光画像データを作成し、該蛍光画像データから作成された入力画像データを訓練データとして機械学習を行うものである。
[0070]
 なお、実施態様I-4においては、畳み込み層を、2次元の畳み込み層とする代わりに、時間の次元を反映した3次元畳み込み層とすることもできる。
 このような構成により、時系列的に集積した蛍光画像データを利用して蛍光退色の時間的な変化を一層精密に把捉し、分類精度の一層の向上を図ることができる。
[0071]
 また、未知の試料に対する蛍光画像データの取得時刻は、機械学習を行う際の蛍光画像データの取得時刻と適合させることが望ましいが、実施態様I-4においては、機械学習時の蛍光画像データが時系列的に集積されており、各取得時点の特徴を保有しているものと考えられることから、未知の試料に対する蛍光画像データの取得時刻を任意のものとしても、必要な分類精度の確保が期待できる。
[0072]
I-5.別の実施の一態様
 次に、本発明の方法に係る更に別の実施の一態様(実施態様I-5)の概要を説明するが、実施態様I-1、I-2、I-3、I-4と重複する部分に関する説明は省略する。
[0073]
 実施態様I-5は、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行うものである。
[0074]
 可視画像データは、可視波長範囲に属する波長によるハイパースペクトルイメージ又はマルチスペクトルイメージを意味する。
[0075]
 可視画像データの取得について概略を説明する。
 可視画像データを取得する場合には、例えば、蛍光画像データの取得に使用した図6に示されるような蛍光イメージングシステム600において、分光照明装置610のバンドパスフィルタ614を使用することなく、キセノン光源から放出される白色光をサンプル530に照射する。分光撮影装置620は、サンプル630からの反射光を、特定の可視波長に対応するバンドパスフィルタ622を介して、特定波長の可視画像のみを撮像装置624で撮影する。撮像装置側のバンドパスフィルタ622を換えながらサンプルを撮影することにより、複数の可視波長に対応する可視画像データを取得し得る。特定の可視波長として、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)を採用することができるが、必ずしもこれらの波長に限定されるものではなく、他の波長や、RGBの中の1つ又は2つを用いることもできる。
[0076]
 実施態様I-5は、取得された蛍光画像データ及び可視画像データの両者を併用して入力画像データを作成する点に特徴を有するものである。なお、取得された蛍光画像データ及び可視画像データのチャネル数を、それぞれ、K 1,K 2とした場合、必ずしも、入力画像データのチャネル数KをK 1+K 2とする必要はなく、チャネル数KをK 1+K 2未満の値とすることもできる(縮約の実施)。このような縮約を実施する場合に、どのようにデータを整理・統合するかについては、事前に実施する予備的調査や既知の結果等を勘案して適宜決定すればよい。
 このような蛍光画像データ及び可視画像データの両者の併用により、品質区分の判定精度を一層向上させることができる。
[0077]
II.本発明の装置に係る実施の一態様
 図11は、本発明の装置に係る実施の一態様(実施態様II)の概要を説明するためのブロック図である。
[0078]
 実施態様IIは、分類器を構築する機械学習手段1110と品質区分判定手段1120を具備しており、前述の実施態様I-1、I-5に略相応するものである。
[0079]
 機械学習手段1110は、既知の品質区分を含む試料の蛍光画像データ、又は、蛍光画像データと可視画像データを入力し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築するものである。なお、蛍光画像データは、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)から所定期間内に得られた、予め定められた蛍光波長の反射光の強度に基づく試料に関する励起波長と蛍光波長の組合せに対応する枚数(チャネル数)分存在している。
[0080]
 品質区分判定手段1120は、機械学習手段1110において構築された学習済みの分類器を、品質区分が未知の成分を含む試料の蛍光画像データから得られた入力画像データに対して適用し、該試料に含まれる品質区分を判定するものである。
[0081]
 学習の手法等の詳細は、実施態様I-1において説明したとおりである。
 また、実施態様IIの変形例として、前述の実施態様I-2、I-3、I-4に相応する態様が導出されるが、内容が実質的に重複することもあり、説明は省略する。
[0082]
III.たばこ原料の品質区分の判定に適用した態様例
 前述のような手法を、たばこ原料の品質区分の判定に適用した実施の一態様を以下説明する。
[0083]
 まず、たばこ原料の品質区分を例示すると、概略以下のとおりである。
<たばこ原料の品質区分>
・バーレー種のラミナ(BLY):バーレー種のたばこ葉の葉肉部
・黄色種のラミナ(FCV):黄色種のたばこ葉の葉肉部
・オリエント種のラミナ(ORI):オリエント種のたばこ葉の葉肉部
・中骨(Stem):たばこ葉の葉脈部
・たばこシート(Sheet):ラミナ、中骨などの主原料に繊維質、助剤などを加えてシート状にしたもの(例えば、特許第3872341号公報参照)
・パフ(Puff):中骨刻等を湿潤・膨潤させた後乾燥させたもの(例えば、特許第5948316号公報参照)
[0084]
 次に、たばこ原料の品質区分判定に関する実施の一態様について説明する。なお、本発明は、この一態様に限定されるものではない点に留意されたい。
[0085]
<使用サンプルの準備>
 上述の品質区分に属するたばこ原料を使用サンプルとして用いたが、ラミナは、産地国が異なるものを、それぞれ、幅約2mmの大きさに裁断後混合することにより調製し、中骨は、産地国が異なるものを混合して調製した。
[0086]
<予備的な検討及び検証>
 前述のような手法を、たばこ原料の品質区分の判定に適用することの可否を確認するため、以下のような予備的な検討及び検証を行った。
(1)励起波長と蛍光波長の組合せの検討及び検証
 蛍光画像データを取得するためには、励起波長と蛍光波長の組合せを決定する必要がある。そこで、過去に得られているたばこ原料に関する知見等も勘案して、励起・蛍光波長の候補として、ポリフェノール及びクロロフィルの励起波長を選択し、選択の妥当性を検証した。
[0087]
 まず、白色光下で取得した可視画像が図12Aとして示されるような、たばこ原料サンプルに対し、フィルタを介することなく励起光を照射し、図12Bに示されるような蛍光画像を取得した。図12Bの蛍光画像から、フィルタなしの状態下で刻の一片ずつを検知可能な空間分解能を実現できることが確認された。また、上述の品質区分が概略判別可能なことも確認された。
[0088]
 次に、励起・蛍光波長(nm)を、I(340,460)、II(360,440)、III(380,680)、IV(400,660)、V(400,680)、VI(420,660)とした組合せについて、図6に示されるような蛍光イメージシステムを使用して、図13に示されるような蛍光画像を取得した。なお、図6に示される蛍光イメージシステムの動作等については、「I-1-1.」において詳述したところであるから、説明を省略する。
[0089]
 図13から、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)、中骨(Stem)、たばこシート(Sheet)、パフ(Puff)の各品質区分の区別の妥当性が略保証されるものと判断されることから、これらの品質区分の判定に、上述のような励起・蛍光波長の組合せI~VIの使用が有効であることが確認された。
[0090]
(2)セマンティック・セグメンテーションの有効性の検証
 前述のように、セマンティック・セグメンテーションは、ピクセルレベルでオブジェクトを認識するものであり、ピクセルレベルでのクラス割り当て(分類)を可能とするものである。
[0091]
 例えば、たばこ原料に関しては、例えば、中骨(Stem)、たばこシート(Sheet)、パフ(Puff)等は、一部の材料を共有する可能性があるが、このような場合であっても、形状も考慮することにより、品質区分の判定精度を一層向上させることが期待できる。
[0092]
 そこで、その検証を行うために、以下のように、セマンティック・セグメンテーションの適用の有効性を確認するための実験を行った。
[0093]
 図14は、たばこ原料サンプルに対して、セマンティック・セグメンテーションを適用する場合の概要を説明するための模式図である。図14に示されるプロセスは、概略以下のとおりである。
[0094]
 上述のような励起・蛍光波長の組合せI~VIにより得られた蛍光画像(A)に対して、セマンティック・セグメンテーションの一手法である上述のSegNetを適用して、画像(B)を取得する。
 次に、画像(B)に対し、コントラスト強調処理を行った後、二値化して画像(C)を取得する。
 次に、画像(C)から、無用(ゴミ)オブジェクトを削除し、画像(D)を取得する。
 最後に、画像(D)の各オブジェクトに対しラベル付けを行う。
 その結果、このようなプロセスを採用して形状を考慮することの妥当性が確認された。
[0095]
(3)蛍光画像と可視画像の両者の併用の有効性の検証
 3チャネルの可視光データであるR(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)のマルチスペクトルデータ(可視画像データ)のみにより、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)について、畳み込みニューラルネットワーク(AlexNet、GoogLeNet)を適用して深層学習を行った。しかしながら、この場合の識別率は約68%であった。
[0096]
 そこで、蛍光画像データと可視画像データの両者を併用して入力画像データを作成し、該入力画像データを訓練データとして機械学習を行うことにより、たばこ原料の品質区分の判定精度を一層向上させることが期待できるものと予測した。
[0097]
 そこで、その検証を行うため、このような蛍光画像と可視画像の両者の併用の有効性を確認するための実験を行った。
[0098]
 まず、可視画像データとして、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)のマルチスペクトルデータ、蛍光画像データとして、励起・蛍光波長(nm)が(300,450)、(340,450)、(380,650)のマルチスペクトルデータからなる6チャネルのたばこ原料サンプルの画像データを、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)、中骨(Stem)、パフ(Puff)、たばこシート(Sheet)の刻みについて各500枚程度用意した。
[0099]
 次に、このようにして取得された6チャネルの画像を3チャネルに縮約し、学習用の入力画像を作成した。図15は、たばこ原料サンプルに関し、蛍光画像データ及び可視画像データを併用して機械学習を行う場合の3チャネルの入力画像データの一例を示す表である。この表で、例えば、チャネル1のデータは、Rのスペクトルデータの寄与度を100、励起・蛍光波長(nm)が(340,450)、(380,650)のスペクトルデータの寄与度をそれぞれ50としたデータを表している。
[0100]
 次に、このようにして得られた3チャネルの入力画像データを訓練データとし、前述のAlexNetを適用して深層学習を行った。
 その結果、このような蛍光画像と可視画像の両者の併用の妥当性が確認された。
[0101]
 なお、使用する畳み込みニューラルネットワークは、AlexNetに限定されるものではなく、他の既知のネットワーク(例えば、GoogLeNet等)を使用して深層学習を行うこともできる。
[0102]
<たばこ原料の品質区分の判定に係る態様例>
 上述のような予備的な検討及び検証を踏まえ、たばこ原料サンプルの深層学習のためのシステムを実装し、以下のように深層学習を実行した。
[0103]
 実装システムとして、セマンティック・セグメンテーション用のネットワークSegNetを用いた。
 また、可視画像データとして、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)のマルチスペクトルデータ、蛍光画像データとして、励起・蛍光波長(nm)がI(340,460)、II(360,440)、III(380,680)、IV(400,660)、V(400,680)、VI(420,660)のマルチスペクトルデータからなる計9チャネルのたばこ原料サンプルの画像データを用いた。
[0104]
 なお、可視画像データ及び蛍光画像データは、図6に示されるような蛍光イメージングシステムを用いて取得したが、励起光照射開始を始点とした取得時刻及び期間(T,P)(単位:秒)は、蛍光退色を考慮して、それぞれ、次のように設定した。
[0105]
 可視画像については、R(0,1)、G(1,1)、B(2,10)、蛍光画像については、可視画像の取得に引き続き、I、II、III、IV、V、VIを順次10秒ずつ取得するように設定した。
[0106]
 蛍光画像の取得に係るこのような設定によれば、蛍光退色の特性を利用した深層学習が可能となり、結果として判定精度の一層の向上が期待できる。
[0107]
 次に、品質区分が既知のたばこ原料サンプルに対して、畳み込みニューラルネットワークによる深層学習を行った(重み:0.5、エポック数:400)。因みに、エポック数1は、全ての訓練データを1回学習することを意味する。
[0108]
 図16は、このようにして得られた学習済みの畳み込みニューラルネットワークを品質区分が既知のたばこ原料のテスト試料に適用した判定結果を示す表である。
 なお、表中のA,B,D,O,R,Sは、それぞれ、FCV、BLY、Puff、ORI、Sheet、Stemを表す符号である。
[0109]
 表について説明すると、例えば、表の最初の行は、たばこ原料A(FCV)の実際の個数162について、A,B,D,O,R,Sと推定した個数が、それぞれ、99、5、11、33、4、10であることを表している。また、表中の「精度」は、例えば、「A」と推定した個数と実際の「A」の個数との比を表している。
[0110]
 表(B)から、全体の正答率は、次のように計算される。
 総正答数(99+115+137+115+139+129)
÷総個数(162+140+164+159+142+159)
=79%
 このように、原料の種類により正答率に若干のばらつきはあるものの、全体としてみれば、実用上の有効性を確保し得る高い正答率を実現している。
[0111]
 本発明は、上述した実施の態様以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の態様を採用し得ることに留意されたい。

符号の説明

[0112]
600:蛍光イメージングシステム
610:分光照明装置
612:キセノン光源
614、622:バンドパスフィルタ
620:分光撮影装置
624:撮像装置
630:サンプル
710:第s層の画像
720:フィルタ
730:第s+1層の画像
1110:機械学習手段
1115:学習済分類器
1120:品質区分判定手段

請求の範囲

[請求項1]
 既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)から所定の期間P(P>0)内に得られた、予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する蛍光画像データ取得工程と、
 前記蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習工程と、
 未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定工程と、
 を含むことを特徴とする方法。
[請求項2]
 請求項1に記載の方法において、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする方法。
[請求項3]
 請求項1又は2に記載の方法において、前記時刻Tを複数(0≦T 1<・・・<T n)設け、各時刻T i(1≦i≦n)ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする方法。
[請求項4]
 請求項1又は2に記載の方法において、前記時刻Tを複数(0≦T 1<・・・<T n)設け、各時刻T i(1≦i≦n)ごとに得られた蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築することを特徴とする方法。
[請求項5]
 請求項1~4のいずれか1項に記載の方法において、前記時刻Tは、蛍光の退色が始まる前の時刻であることを特徴とする方法。
[請求項6]
 請求項1~5のいずれか1項に記載の方法において、前記時刻T及び期間Pを、品質区分に依存させて当該品質区分の判定精度を高めるように設定することを特徴とする方法。
[請求項7]
 請求項1~6の何れか1項に記載の方法であって、更に、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする方法。
[請求項8]
 請求項7に記載の方法において、前記可視画像データは、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)で構成されることを特徴とする方法。
[請求項9]
 請求項1~8のいずれか1項に記載の方法において、励起波長及び蛍光波長として、ポリフェノール、クロロフィルの検出に適合する励起・蛍光波長を使用することを特徴とする方法。
[請求項10]
 請求項1~9の何れか1項に記載の方法において、試料がたばこ原料であり、品質区分がバーレー種のラミナ、黄色種のラミナ、オリエント種のラミナ、中骨、たばこシート、パフであることを特徴とする方法。
[請求項11]
 コンピュータに請求項1~10のいずれか1項に記載の方法を実行させるためのプログラム。
[請求項12]
 励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T(T≧0)から所定の期間P(P>0)内に得られた、予め定められた蛍光波長の反射光の強度に基づく、既知の品質区分を含む試料に関する励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築する機械学習手段と、
 未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定手段と、
 を具備することを特徴とする装置。
[請求項13]
 請求項12に記載の装置において、前記蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする装置。
[請求項14]
 請求項12又は13に記載の装置において、前記取得時刻Tが異なる蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記取得時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記取得時刻ごとに最適な品質区分を付与する分類器を構築し、未知の品質区分を含む試料に対して適合する分類器を選択し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする装置。
[請求項15]
 請求項12又は13に記載の装置において、前記取得時刻Tが異なる蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築することを特徴とする装置。
[請求項16]
 請求項12~15のいずれか1項に記載の装置であって、更に、可視画像データを取得し、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする装置。
[請求項17]
 請求項16に記載の装置において、前記可視画像データは、R(波長:680nm近傍値),G(波長;560nm近傍値)、B(波長;450nm近傍値)で構成されることを特徴とする装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12A]

[ 図 12B]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]