Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019026406) DEVICE, SPECIMEN STATE DETERMINATION METHOD, AND ANALYSIS SYSTEM
Document

明 細 書

発明の名称 装置、試料の状態の判別方法、及び分析システム 0001  

技術分野

0002  

背景技術

0003   0004   0005   0006   0007  

先行技術文献

特許文献

0008  

発明の概要

発明が解決しようとする課題

0009   0010   0011   0012  

課題を解決するための手段

0013  

発明の効果

0014  

図面の簡単な説明

0015  

発明を実施するための形態

0016   0017   0018   0019  

実施例 1

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130  

実施例 2

0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148  

実施例 3

0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

図面

1   2   3A   3B   4   5   6   7A   7B   7C   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 装置、試料の状態の判別方法、及び分析システム

参照による取り込み

[0001]
 本出願は、2017年7月31日に出願された日本特許出願第2017-147629号の優先権を主張し、その内容を参照することにより、本出願に取り込む。

技術分野

[0002]
 本発明は、免疫分析装置等を備える自動分析システムにおいて、分析する試料の状態を画像処理により判別する技術に関する。

背景技術

[0003]
 免疫分析装置等の分析装置では、血液及び尿等の試料の成分等を分析するために、試料及び試薬を反応させて発色及び発光の状態を測定する。
[0004]
 試薬を反応させる試料は、試料の入った容器から分注プローブ等を用いて採取される。分注プローブの先端を試料に浸漬させて試料を吸引するため、分注プローブの先端及び外壁に試料が付着する。
[0005]
 分注プローブの浸漬量が多い場合、分注プローブに付着する試料の量は増加するため、次に新たな試料を採取する場合に持込まれる試料の量が増加するという問題がある。従って、現在、試料の持込を低減する液面検出機能を有する自動分析装置が普及している。液面を検出することによって分注プローブ先端の浸漬量を制御できるため、試料の持込を低減し、かつ、適切な量の試料を吸引することができる。
[0006]
 しかし、試料表面に気泡が存在する場合、気泡表面を液面と誤って検出し、分注プローブが試料に接触できないまま吸引動作が行われる。従って、試料表面に気泡が存在する場合、十分な量の試料を吸引できず、正確な分析結果を得られないという課題がある。そのため、分析時に試料表面の状態を判別する必要がある。
[0007]
 この問題に対して特許文献1及び特許文献2に記載の技術が知られている。特許文献1には、容器の開口部側から試料表面の画像を撮像し、画像処理により容器内の気泡を検出する方法が記載されている。また、特許文献2には、培養器内の画像を撮像し、周囲の培地との色の違いから培養器内の気泡領域を抽出する方法が記載されている。

先行技術文献

特許文献

[0008]
特許文献1 : 米国特許出願公開第2013/0315486号明細書
特許文献2 : 特表2016-510211号

発明の概要

発明が解決しようとする課題

[0009]
 特許文献1に記載の手法では、容器の開口部側から試料表面を撮像した画像に対して、画像内の小領域毎にエッジ成分のヒストグラムを算出することによって気泡の分布を得ている。また、容器開口部の境界及び容器開口部の中心座標を検出し、容器開口部の中心付近を気泡の検出範囲としている。
[0010]
 しかし、特許文献1に記載の手法は気泡の大きさが考慮されていない。従って、分析に影響しない小さな気泡であっても試料の吸引は行われないため、分析効率が低下する。また、気泡の検出範囲を覆う大きな気泡が容器内に存在する場合、気泡の境界付近のエッジは検出範囲の内側ではなく外側に発生するため、エッジ成分等で気泡を検出する手法では気泡を検出できない。
[0011]
 また、特許文献2に記載の技術では、培地との色の違いから気泡領域を抽出している。しかし、免疫分析装置等の自動分析装置においては、試料の種類及び色調、液面の高さ、照明の強弱、容器の種別、液面振動の有無、分離剤及びビーズの有無、脂質の有無、並びに試験管の印字映込み等、様々な要因の組合せによって、膨大なパターンの画像が入力される可能性がある。従って、色の違いのみから気泡領域を抽出することは難しい。
[0012]
 本発明は、分析精度及び分析効率を低下させることなく分析時の試料の状態を判別することを目的とする。

課題を解決するための手段

[0013]
 本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、容器に収められた分析対象の試料の状態を判別する装置であって、前記装置は、演算装置及び前記演算装置に接続される記憶装置を備え、前記演算装置は、前記試料の画像を取得し、前記試料の画像を用いて、前記画像に設定される検出範囲に対する検出対象物の位置及び大きさを解析し、前記解析の結果に基づいて、前記試料の状態を判別することを特徴とする。

発明の効果

[0014]
 本発明によれば、検出範囲に対する検出対象物の位置及び大きさを考慮することによって、分析精度及び分析効率を低下させることなく分析時の試料の状態を判別できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図面の簡単な説明

[0015]
[図1] 実施例1の自動分析システムの構成例を示す図である。
[図2] 実施例1の画像処理装置に閾値を設定するためのGUIの一例を示す図である。
[図3A] 実施例1の画像取得装置に対する容器の設置状態と検出範囲との間の関係を説明する図である。
[図3B] 実施例1の画像取得装置に対する容器の設置状態と検出範囲との間の関係を説明する図である。
[図4] 実施例1の画像処理装置のハードウェア構成及びソフトウェア構成の一例を示す図である。
[図5] 実施例1の特徴量算出部が実行するConvolution処理の概念を示す図である。
[図6] 実施例1の特徴量算出部が実行するPooling処理の概念を示す図である。
[図7A] 実施例1の試料表面の状態の分類の一例を示す図である。
[図7B] 実施例1の試料表面の状態の分類の一例を示す図である。
[図7C] 実施例1の試料表面の状態の分類の一例を示す図である。
[図8] 実施例1の教師あり機械学習の一例を示す図である。
[図9] 実施例1の画像処理装置が実行する試料の表面状態の判別処理の一例を示す図である。
[図10] 実施例2の画像処理装置のソフトウェア構成の一例を示す図である。
[図11] 実施例2の画像補正処理の一例を示す図である。
[図12] 実施例2の画像処理装置が実行する試料の表面状態の判別処理の一例を示す図である。
[図13] 実施例3の画像処理装置のソフトウェア構成の一例を示す図である。
[図14] 実施例3の画像処理装置によって表示されるGUIの一例を示す図である。
[図15] 実施例3の学習部が実行する処理の一例を説明するフローチャートである。

発明を実施するための形態

[0016]
 以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態を示しているが、これらは本発明の理解のためのものであり、本発明を限定的に解釈するために用いられるものではない。
[0017]
 本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装及び形態も可能であり、本発明の技術的思想の範囲と精神を逸脱することなく構成及び構造の変更並びに多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
[0018]
 さらに、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし、専用ハードウェアやファームウェア、又はソフトウェアとハードウェアとファームウェアとの組み合わせで実装してもよい。
[0019]
 以下では、機能部を主語(動作主体)として本発明の各処理について説明する場合、各機能部を実現するプログラムに従って演算装置が処理を実行していることを表す。また、各機能部を実現するプログラムの一部又は全ては専用ハードウェアを用いて実現してもよく、また、モジュール化されていてもよい。各種プログラムはプログラム配布サーバや記憶メディアによって画像処理装置にインストールされてもよい。
実施例 1
[0020]
 実施例1では、装置が、試料容器の表面を撮像した試料表面の画像に基づいて、画像内の検出範囲に対する検出対象物(気泡等)の位置及び大きさから試料表面の状態を判別する画像処理を実行する装置及び当該装置を含むシステムを説明する。
[0021]
 図1は、実施例1の自動分析システムの構成例を示す図である。
[0022]
 自動分析システムは、画像処理装置101、照明装置102、画像取得装置103、試料取得装置104、試料分析装置106、及び出力装置107を含み、また、試料111が入れられた容器110を設置する装置を含む。
[0023]
 試料111は、血液及び尿等の分析対象となる試料である。試料表面112は、試料111の液面である。容器110は、試料111を入れる試験管等の容器である。
[0024]
 試料取得装置104は、試料111を吸引するための分注プローブ等を有する吸引装置である。試料取得装置104は、分注プローブ105を制御して、容器110に納められた試料111を取得する。
[0025]
 照明装置102は、容器110の開口部側から試料表面112に向けて光を照射するLED等の装置である。画像取得装置103は、開口部側から試料表面112の画像を取得するカメラ等の装置である。
[0026]
 本実施例の画像取得装置103は、試料表面112の画像を取得し、画像取得範囲120で示す範囲の画像を画像処理装置101に出力する。図1に示す画像は、容器110の開口部側から試料表面112を撮影した画像である。
[0027]
 検出対象物115は、試料111の取得制御に関与する物体及び物質等である。本実施例では、気泡が検出対象物115となる。また、検出範囲125は、画像内に設定された範囲であり、かつ、検出対象物115を検出する範囲である。検出範囲125は、画像取得範囲120に対して設定される範囲であることから、画像内の容器110の位置及び大きさに依存しない。
[0028]
 画像処理装置101は、画像取得装置103から入力された画像を解析することによって、試料表面112の状態を判別する。
[0029]
 ここで、自動分析システムの処理の概要について説明する。
[0030]
 まず、試料111が入れられた容器110が、画像取得装置103に対して所定の位置に設置される。図1に示す例では、画像取得装置103の直下に容器110が配置される。
[0031]
 照明装置102は、試料表面112の明度が適切になるように光の角度及び強度を調整する。画像取得装置103は、試料表面112の画像を取得し、取得した画像を画像処理装置101に出力する。このとき、試料取得装置104は、画像取得装置103による画像の取得を妨げない位置に移動しているものとする。
[0032]
 画像処理装置101は、画像が入力された場合、画像内の検出範囲125に対する検出対象物115の位置及び大きさに基づいて、試料表面112の状態を判別する。画像処理装置101は、判別結果を試料取得装置104に出力する。また、画像処理装置101は、必要に応じて、判別結果等のデータを出力装置107に出力する。
[0033]
 本実施例では、画像処理装置101は、独立した計算機として記載しているが、免疫分析装置等の自動分析装置に機能として実装してもよい。
[0034]
 試料取得装置104は、画像処理装置101から判別結果を受け付けた場合、判別結果に基づいて制御内容を決定する。具体的には、試料取得装置104は、容器110から試料111を取得するか否かを判定する。試料111を取得すると判定された場合、試料取得装置104は、分注プローブ105を試料111に向かって降下させる。試料取得装置104は、分注プローブ105が試料表面112に接した場合、液面検出機能によって液面を検出し、分注プローブ105の降下を停止する。試料取得装置104は、分注プローブ105の先端が試料表面112にわずかに浸漬した状態で試料111を吸引等する動作を行わせる。以上の処理によって、容器110から試料111が取得される。
[0035]
 試料分析装置106は、試料取得装置104によって取得された試料111を分析する装置であり、例えば、免疫分析装置等である。試料分析装置106は、分析結果を出力装置107に出力する。
[0036]
 出力装置107は、ユーザに分析結果を提示する装置であり、例えば、ディスプレイ、プリンタ、及び通信装置等である。また、出力装置107は、画像処理装置101から出力される情報をユーザに提示する。
[0037]
 特許文献1等の従来技術では、装置は、検出対象物の有無を判定する場合、ハフ変換等に基づいて容器の境界又は開口部の中心座標を算出し、容器の開口部の中心付近を検出範囲に設定する。一般的に、容器の開口部の中心座標を算出する処理は、処理コスト及び処理時間が増大する要因となる。そのため、処理コスト及び処理時間を削減するためには、容器の開口部の中心座標を算出することなく、検出対象物の位置及び大きさを判定する手法が望ましい。
[0038]
 本実施例の画像処理装置101は、画像内の容器110の位置及び大きさに依存しない検出範囲125と検出対象物115との間の相対的な位置関係、及び、検出範囲125の大きさと検出対象物115の大きさとの間の相対的な大きさの関係に基づいて、試料表面112の状態を判別する。
[0039]
 本実施例では、試料表面112の状態を判別するための情報として、検出範囲125及び分析に影響を与えない検出対象物115の大きさの閾値が設定されている。
[0040]
 検出対象物115の大きさは、分析に影響を与えるか否かを判定する指標の一つであるため、検出対象物115の大きさも考慮する必要がある。例えば、分析に影響を与えない検出対象物115の最大半径を閾値に設定することが考えられる。
[0041]
 なお、閾値は、ユーザがGUIを用いて設定してもよい。図2は、実施例1の画像処理装置101に閾値を設定するためのGUIの一例を示す図である。
[0042]
 GUI200は、閾値入力欄201及び決定ボタン202を含む。閾値入力欄201は、閾値として設定する値を入力する欄である。決定ボタン202は、閾値入力欄201に入力された値を画像処理装置101に設定するための操作ボタンである。
[0043]
 ユーザは、閾値入力欄201に、気泡の最大半径を示す値等を設定し、決定ボタン202を押下する。これによって、閾値が画像処理装置101に設定される。
[0044]
 なお、図2に示すGUI200は一例であって、検出範囲125及び画像取得範囲120を設定する入力欄を設けてもよい。
[0045]
 また、直接数値を入力する代わりに、処理時間及び処理負荷等の選択肢を表示してもよい。この場合、選択肢に応じた閾値が画像処理装置101に設定される。
[0046]
 図3A及び図3Bは、実施例1の画像取得装置103に対する容器110の設置状態と検出範囲125との間の関係を説明する図である。
[0047]
 画像取得範囲120は、画像処理装置101に出力する画像の範囲を示す。本実施例では、容器110の設置位置のズレ等を考慮して、画像取得範囲120は容器110より大きくなるように設定されている。画像取得範囲120の画像には、容器110、試料表面112、及び検出対象物115が含まれる。画像取得範囲120に対して検出範囲125が設定されている。なお、画像取得範囲120は、容器110を包含した範囲でなくてもよく、任意に設定できる。
[0048]
 検出範囲125を包含する大きな検出対象物115を検出するために、画像取得範囲120は検出対象物115の分布範囲より大きく設定することが望ましい。本実施例では、画像取得範囲120は、画像の中心を原点とする(E×E)ピクセルの領域を設定する。なお、縦及び横のサイズを示すEは、容器110の直径より大きい値を設定する。
[0049]
 検出範囲125は、分注プローブ105の先端が試料表面112に接する点を原点とする範囲であり、容器110の中心座標に依存しない範囲である。なお、検出範囲125は、半径Rピクセルの円形状の範囲として設定される。
[0050]
 画像取得装置103に対する容器110の設置角度及び設置位置は変動する場合がある。このような変動に対して分析に適した量の試料111を吸引するためには、試料表面112と接する分注プローブ105の先端の周辺に検出対象物115が存在するか否かを判定することが重要である。そこで、本実施例では、検出範囲125を基準に検出対象物115の有無等が判定される。
[0051]
 本実施例の判別方法では、容器110の開口部の中心を基準としていないため、容器110の開口部の中心を算出する必要がない。従って、従来技術より処理時間及び処理負荷を低減できる。
[0052]
 図3A及び図3Bには、二つの検出範囲125、126を示す。検出範囲125は、本発明が採用する検出範囲であり、分注プローブ105の先端が試料表面112に接する点を原点とする半径Rピクセルの範囲である。検出範囲126は、従来技術で採用される検出範囲であり、容器110の開口部の中心を原点とする半径Rピクセルの範囲である。
[0053]
 図3Aは、画像取得装置103に対する容器110の設置角度に変動が生じた状態を示す。このとき、容器110の開口部の中心と、画像取得範囲120の中心との間にはズレが生じる。従って、検出範囲125及び検出範囲126との間にも図3Aに示すようにズレが生じる。
[0054]
 図3Aに示すように、検出範囲125には検出対象物115が含まれるが、検出範囲126には検出対象物115が含まれない。試料111の取得時に分注プローブ105の先端が接するのは検出範囲125の内側である。従って、図3Aに示す状態の場合、分析に影響のある検出対象物115が存在する状態と判別することが望ましい。
[0055]
 検出範囲125に基づく判別処理を実行した場合、検出対象物115が存在する状態と判別される。一方、検出範囲126に基づく判別処理を実行した場合、検出対象物115が存在しない状態と判別される。従って、検出範囲125に基づく判別処理では、精度よく検出対象物115を検出できるが、検出範囲126に基づく判別処理では前述したようなズレによって検出精度が向上しない。
[0056]
 図3Bは、画像取得装置103に対する容器110の設置位置に変動が生じた状態を示す。このとき、容器110の開口部の中心と、画像取得範囲120の中心との間にはズレが生じる。従って、検出範囲125及び検出範囲126との間にも図6Bに示すようにズレが生じる。
[0057]
 図3Bに示すように、検出範囲125には検出対象物115は含まれないが、検出範囲126には検出対象物115が含まれる。試料111の取得時に分注プローブ105の先端が接するのは検出範囲125の内側である。従って、図3Bに示す状態の場合、分析に影響のある検出対象物115が存在しない状態と判別することが望ましい。
[0058]
 検出範囲125に基づく判別処理を実行した場合、検出対象物115が存在しない状態と判別される。一方、検出範囲126に基づく判別処理を実行した場合、検出対象物115が存在する状態と判別される。従って、検出範囲125に基づく判別処理では検出対象物115の過剰な検出を回避できるが、検出範囲126に基づく判別処理では検出対象物115の過剰な検出が発生する。
[0059]
 以上の述べたように、本実施例では、分注プローブ105の先端が試料表面112に接する点を中心とした検出範囲125を用いることによって、容器110の傾き及び設置位置の変更が起きる場合であっても、検出対象物115の影響がある状態か否かを高い精度で判別できる。また、本実施例では、容器110の開口部の中心座標を算出する必要がないため、従来技術より処理コスト及び処理時間を削減することができる。
[0060]
 次に、実施例1に係る画像処理装置101の詳細について説明する。図4は、実施例1の画像処理装置101のハードウェア構成及びソフトウェア構成の一例を示す図である。
[0061]
 画像処理装置101は、演算装置401、記憶装置402、入力装置403、及び出力装置404を有する。
[0062]
 演算装置401は、記憶装置402に格納されるプログラムを実行する装置であり、例えば、CPU及びFPGA等である。演算装置401は、プログラムに従って処理を実行することによって、所定の機能を実現する機能部(モジュール)として動作する。以下の説明では、機能部を主語に処理を説明する場合、演算装置401が当該機能部を実現するプログラムを実行していることを示す。
[0063]
 なお、画像処理装置101が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を複数の機能部に分けてもよい。
[0064]
 記憶装置402は、演算装置401が実行するプログラム及び当該プログラムが使用する情報を格納する装置であり、例えば、メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、RAM(Random Access Memory)、及びROM(Read Only Memory)等である。なお、記憶装置402は、プログラムが一時的に使用するワークエリアを含む。記憶装置402に格納されるプログラム及び情報については後述する。
[0065]
 入力装置403は、画像処理装置101にデータを入力するための装置であり、例えば、ネットワークインタフェース又はキーボード、マウス、及びタッチパネル等である。本実施例では、入力装置403を介して画像取得装置103が取得した画像が入力される。
[0066]
 なお、入力される画像は、BMP、PNG、及びJPEG等の静止画像でもよいし、MPEG、H.264等の動画から一定の間隔で抽出したフレーム画像でもよい。
[0067]
 出力装置404は、画像処理装置101がデータを出力するための装置であり、例えば、ネットワークインタフェース、又はディスプレイ若しくはプリンタである。本実施例では、出力装置404を介して、判別結果が試料取得装置104に出力される。
[0068]
 ここで、記憶装置402に格納されるプログラム及び情報について説明する。
[0069]
 記憶装置402は、画像入力部411、特徴量算出部412、試料状態判別部413、及び記憶部414を実現するプログラムを格納する。
[0070]
 画像入力部411は、入力装置403を介して入力された画像を受け付けて、特徴量算出部412に出力する。
[0071]
 特徴量算出部412は、画像から画像特徴量を算出し、画像特徴量を試料状態判別部413に出力する。
[0072]
 試料状態判別部413は、画像特徴量に基づいて画像内の検出範囲に対する検出対象物の位置及び大きさを解析し、解析結果に基づいて試料表面112の状態を判別する。
[0073]
 記憶部414は、試料表面112の状態を判別するための判別モデルの情報を格納する。具体的には、記憶部414は、特徴量算出部412及び試料状態判別部413が使用する係数を格納する。
[0074]
 次に、特徴量算出部412及び試料状態判別部413の動作の詳細について説明する。
[0075]
 まず、特徴量算出部412の動作について説明する。特徴量算出部412は、記憶部414から係数を読み出し、係数及び画像を用いて画像特徴量を算出する。特徴量算出部412が使用する係数は、予め機械学習等に基づいて導出され、記憶部414に格納されている。係数の導出方法については後述する。
[0076]
 本実施例では、画像特徴量の算出方法の一例としてConvolutional Neural Network(CNN)を用いた算出方法を説明する。CNNは、Convolution処理、Pooling処理、及びActivation処理の三種類の処理から構成される。
[0077]
 図5は、実施例1の特徴量算出部412が実行するConvolution処理の概念を示す図である。
[0078]
 Convolution処理では、特徴量算出部412は式(1)を用いて特徴量を算出する。なお、矢印に示すように画像の左上から右下の方向に式(1)の演算が実行される。
[0079]
[数1]


[0080]
 ここで、Icは入力データ、Wcは乗算係数、Bcは加算係数、Ocは出力データを表す。また、chはチャンネル、y及びfyは垂直方向位置、x及びfxは水平方向位置、dは特徴量番号を表す。
[0081]
 入力データIcは、チャンネルch、垂直方向位置y、及び水平方向位置xの次元を持つデータである。乗算係数Wcは特徴量番号d、チャンネルch、垂直方向位置fy、水平方向位置fxの次元を持つ係数である。加算係数Bcは特徴量番号dの次元を持つ係数である。出力データ303は特徴量番号d、垂直方向位置y、及び水平方向位置xの次元を持つデータである。
[0082]
 乗算係数Wc及び加算係数Bcは、画像特徴量を算出するための係数であり、記憶部414には、乗算係数Wc及び加算係数Bcが格納される。
[0083]
 図6は、実施例1の特徴量算出部412が実行するPooling処理の概念を示す図である。
[0084]
 Pooling処理では、特徴量算出部412は、出力データOcに対して左上から右下に向かって一定の刻み幅で部分領域を抽出し、部分領域から代表値を算出し、出力データOpを出力する。代表値としては、例えば、最大値又は平均値が用いられる。
[0085]
 Activation処理では、特徴量算出部412は、出力データOpに対して、式(2)に示すtanh関数、又は、式(3)に示すReLU関数等の非線形関数を用いた演算処理を実行する。ここで、xには出力データOpが入力される。
[0086]
[数2]


[0087]
[数3]


[0088]
 CNNでは、Convolution処理、Pooling処理、及びActivation処理を繰り返し実行することによって、画像特徴量が算出される。特徴量算出部412は、規定回数に達した場合、最終的なActivation処理によって算出された値を画像特徴量として出力する。
[0089]
 次に、試料状態判別部413の動作について説明する。試料状態判別部413は、特徴量算出部412によって算出された画像特徴量と、記憶部414に格納された係数を用いて、画像内の検出範囲125に対する検出対象物115の位置及び大きさを解析し、解析結果に基づいて試料表面112の状態を判別する。具体的には、試料状態判別部413は、入力された画像が予め設定された状態のどれに属するかを分類する。試料状態判別部413が使用する係数は、予め機械学習等に基づいて導出され、記憶部414に格納されている。係数の導出方法については後述する。
[0090]
 まず、試料表面112の状態の分類について説明する。図7A、図7B、及び図7Cは、実施例1の試料表面112の状態の分類の一例を示す図である。
[0091]
 状態としては、大きく分けて、検出範囲125に分析に影響を与える検出対象物115が存在する状態と、検出範囲125に分析に影響を与える検出対象物115が存在しない状態とが存在する。装置、試料、分析性能、分析目的等に応じて前述の二つの状態に属する画像は、様々なパターンが存在する。本実施例では、状態の識別精度を考慮して、画像内の検出範囲125に対する検出対象物115の位置及び大きさの関係から試料表面112の状態を三つに分類する。それぞれの状態にはラベル0、ラベル1、及びラベル2が付与される。
[0092]
 図7Aは、ラベル0の画像の一例を示す。当該画像では、検出範囲125に検出対象物115が存在しない。
[0093]
 図7Bは、ラベル1の画像の一例を示す。当該画像では、検出範囲125に半径d1が閾値Dより小さい検出対象物115が存在する。すなわち、検出範囲125に分析に影響しない大きさの検出対象物115が存在する状態である。
[0094]
 図7Cは、ラベル2の画像の一例を示す。左側の画像では、検出範囲125に、半径d2が閾値D以上である検出対象物115が存在する。右側の画像では、半径d3が閾値D以上である検出対象物115が検出範囲125を覆うように存在する。すなわち、検出範囲125に分析に影響する大きさの検出対象物115が存在する状態である。
[0095]
 本実施例では、ラベル0及びラベル1の試料表面112の状態は、検出範囲125に分析に影響を与える検出対象物115が存在しない状態に含まれ、ラベル2の試料表面112は、検出範囲125に分析に影響を与える検出対象物115が存在状態に含まれる。このように、画像内の検出範囲125に対する検出対象物115の位置及び大きさに応じて、分類する試料表面112の状態を定めておく。本実施例では、学習用画像には、試料表面112の状態に対応するラベル(教師信号)が付与される。
[0096]
 本実施例では、ラベル0又はラベル1に分類された場合、試料取得装置104は試料111を取得するように制御され、画像がラベル2に分類された場合、試料取得装置104は、試料を取得しないように制御される。
[0097]
 次に、試料表面112の状態の判別方法の一例としてLogistic Regressionを用いた判別方法を説明する。式(4)は、Logistic Regressionで使用する式である。また、式(5)は、式(4)のsoftmax関数の計算方法を示す。
[0098]
[数4]


[0099]
[数5]


[0100]
 ここで、P(c)は出力値、Fは画像特徴量、Wrは乗算係数、Brは加算係数を表す。また、yは垂直方向位置、xは水平方向位置、dは特徴量番号、cは出力ユニット番号を表す。本実施例では、出力ユニット番号はラベル0、ラベル1、及びラベル2に対応する。P(c)は出力ユニットに対応するラベルの尤度を表す値である。
[0101]
 画像特徴量Fは、特徴量番号d、垂直方向位置y、及び水平方向位置xの次元を持つデータである。乗算係数Wrは、出力ユニット番号c、特徴量番号d、垂直方向位置y、及び水平方向位置xの次元を持つ係数である。加算係数Brは、出力ユニット番号cの次元を持つ係数である。また、出力値P(c)は出力ユニット番号cの次元を持つ値である。
[0102]
 乗算係数Wr及び加算係数Brは、判別結果を算出するための係数であり、記憶部414には、乗算係数Wr及び加算係数Brが格納される。
[0103]
 試料状態判別部413は、三つのラベルの尤度の組P(c)を出力信号Pとして出力する。なお、各ラベルの尤度は式(4)に基づいて算出される値である。
[0104]
 試料状態判別部413は、出力信号Pに基づいて、試料表面112の状態がどのラベルの状態に一致するか特定する。すなわち、検出範囲125に対する検出対象物115の位置及び大きさが解析される。さらに、試料状態判別部413は、特定されたラベルの状態に基づいて、判別結果を出力する。例えば、試料状態判別部413は、ラベルを判別結果として出力する。また、試料状態判別部413は、ラベルに基づいて試料表面112が試料111を取得できる状態か否かを判定してもよい。
[0105]
 次に、記憶部414に格納される係数の導出方法について説明する。一例として、機械学習の一種である教師あり学習に基づく係数の導出方法を説明する。
[0106]
 図8は、実施例1の教師あり機械学習の一例を示す図である。
[0107]
 教師あり学習では、予め学習部を有する装置が、教師信号が付与された学習用データ(学習用画像)の入力を受け付け、特徴量算出部412及び試料状態判別部413に処理を実行させ、出力信号が教師信号(ラベル)に対応する目標信号と一致するように判別器等の学習を行う。本実施例では、教師あり学習に基づいて、式(1)及び式(4)のそれぞれの係数が最適化される。これによって、入力された画像に対して精度の高い判別結果を得るための係数を設定できる。なお、学習部を有する装置が特徴量算出部412及び試料状態判別部413と同等の構成を含んでもよい。
[0108]
 なお、図7A、図7B、及び図7Cに示すような三つの状態に分類するためには、予め、検出範囲125に対する検出対象物115の位置及び大きさに応じて教師信号(ラベル)を学習用画像に付与する必要がある。
[0109]
 なお、学習処理開始前の係数の初期値は、乱数等を用いて任意に設定してもよいし、前回の学習処理に基づいて設定してもよい。
[0110]
 具体的には、学習部は、以下のような処理に従って記憶部414に格納する係数を導出する。
[0111]
 (ステップS1)学習部は、教師信号付の学習用画像の入力を受け付け、特徴量算出部412及び試料状態判別部413に入力することによって出力信号を取得する。学習部は、式(6)に示す出力信号及び目標信号の目標関数を定義する。式(6)は、負の対数尤度を表す。
[0112]
[数6]


[0113]
 ここで、T(c)は目標信号の要素を表す。本実施例の目標信号Tは、三つのラベルの目標値を表すT(c)の配列である。目標信号Tの各要素の値は、ラベルに対応する要素のみが「1.0」であり、他の要素は全て「0.0」である。図8では、ラベル0が付与された学習用画像が入力されているため、目標信号Tはラベル0に対応するT(c)のみが「1.0」であり、他のラベルに対応するT(c)は全て「0.0」となっている。
[0114]
 なお、学習部が特徴量算出部412及び試料状態判別部413と同一の機能を保持していてもよい。
[0115]
 (ステップS2)学習部は、勾配降下法を用いて、目標関数の値が極小値となる係数を求めることによって、係数Wc、Bc、Wr、Brを更新する。具体的には、式(7)に従って係数が更新される。
[0116]
[数7]


[0117]
 ここで、w は、CNNの係数Wc及びBc、並びに、Logistic Regressionの係数Wr及びBrのいずれかに対応する係数を表す。iは、更新回数を表す。また、ηは、更新の幅を決めるパラメータである学習率を表す。式(7)の第2項は、係数w の偏微分である。
[0118]
 学習部は、式(7)に基づく演算処理を繰り返し実行することによって、目標関数を極小にする係数Wc、Bc、Wr、Brを導出する。本実施例では、以上の処理で導出された係数を予め記憶部414に格納する。
[0119]
 これまで説明した原理、特徴、及び処理を踏まえた上で、実施例1の画像処理装置101が試料111の分析時に実行する処理について説明する。図9は、実施例1の画像処理装置101が実行する試料111の表面状態の判別処理の一例を示す図である。
[0120]
 画像処理装置101の画像入力部411は、画像取得装置103からの画像の入力を受け付ける(ステップS901)。
[0121]
 画像処理装置101の特徴量算出部412は、記憶部414から係数Wc、Bcを読み出し、画像及び係数を用いて画像特徴量を算出する(ステップS902)。
[0122]
 画像処理装置101の試料状態判別部413は、記憶部414から係数Wr、Brを読み出し、画像特徴量及び係数を用いて出力信号を出力する(ステップS903)。さらに、試料状態判別部413は、出力信号に基づいて、試料表面112の状態を判別する(ステップS904)。
[0123]
 画像処理装置101の試料状態判別部413は、判別結果を出力する(ステップS905)。試料状態判別部413は、判別結果をそのまま出力してもよいし、出力先に応じて判別結果のデータ形式及び内容を変換してもよい。例えば、出力先がディスプレイである場合、試料状態判別部413は、文字列及び画像等のデータに変換する。
[0124]
 なお、本実施例では、試料表面112の状態がラベル2の状態である場合には、試料111の取得が行われないように制御していたがこれに限定されない。例えば、試料取得装置104が検出対象物115を除去する装置又は機能を有し、ラベル2を示す判別結果が入力された場合、当該装置又は機能を用いて、検出対象物115を除去し、その後、試料111を取得するようにしてもよい。なお、検出対象物115を除去する装置としては、空気を吐出するノズル等の除去装置及び超音波を照射する除去装置等がある。
[0125]
 なお、画像特徴量の算出方法としてCNNに基づく画像特徴量の算出方法を説明したが、HOG(Histograms of Oriented Gradients)及びハフ変換による円検知等の他の特徴量の算出方法でもよい。
[0126]
 なお、試料表面112の状態の判別方法として、Logistic Regressionを用いて判別方法を説明したがSVM(Support Vector Machine)及び線形回帰等を用いた判別方法でもよい。
[0127]
 なお、機械学習に基づいて係数を導出する場合、画像内の検出範囲125に対する検出対象物115の位置及び大きさに応じたラベルを付与していたがこれに限定されない。例えば、画像内の検出範囲125に対する検出対象物115の位置を分類するラベルと、検出対象物115の大きさを分類するラベルとを用意してもよい。この場合、試料状態判別部413は、種類の異なるラベルを判別する判別器を有する。また、記憶部414に格納される係数は、各ラベルについて機械学習を実行することによって算出される。試料状態判別部413は、二つの判別器の判別結果を組み合わせて最終的な判別結果を得ることができる。
[0128]
 また、画像内の検出範囲125に対する検出対象物115の位置又は大きさに対して複数の閾値を定義して、ラベルの種類又は数を増やしてもよい。また、ラベル0及びラベル1等を同一ラベルとして扱うことによってラベルの数を削減してもよい。
[0129]
 なお、本実施例では、画像処理装置101の判別結果は、試料取得装置104の制御に使用されていたかこれに限定されない。画像処理装置101の判別結果は、試料の分析に関する様々な制御の内容を決定する情報として用いることができる。また、画像処理装置101は、図1に示すような自動分析システム以外のシステムにも適用することができる。
[0130]
 以上で説明したように、実施例1によれば、画像処理装置101は、画像内の検出範囲125に対する検出対象物115の位置及び大きさに基づいて、試料表面112の状態を精度よく判別できる。これによって、容器110から分析する試料111を効率よく、かつ、正確に取得できるため、検査効率を低下させることなく正確な試料111の分析が可能となる。
実施例 2
[0131]
 実施例2では、画像処理装置101が画像取得装置103から入力された画像を補正し、補正された画像を用いて実施例1と同様の処理を実行する。以下、実施例1との差異を中心に実施例2について説明する。
[0132]
 実施例2のシステムの構成は、実施例1のシステムの構成と同一である。実施例2の画像処理装置101のハードウェア構成は、実施例1の画像処理装置101のハードウェア構成と同一である。実施例2では、画像処理装置101のソフトウェア構成が一部異なる。図10は、実施例2の画像処理装置101のソフトウェア構成の一例を示す図である。
[0133]
 実施例2では、記憶装置402に画像補正部1001を実現するプログラムが格納される点が実施例1と異なる。また、実施例2では、記憶部414に画像補正部1001が使用するパラメータが格納される点が実施例1と異なる。
[0134]
 なお、画像入力部411、特徴量算出部412、及び試料状態判別部413は実施例1と同一のものである。
[0135]
 画像補正部1001は、画像入力部411から画像を受け付けた場合、記憶部414からパラメータを読み出し、画像補正処理を実行する。画像補正処理としては、座標変換及び画素値の正規化等がある。
[0136]
 図11は、実施例2の画像補正処理の一例を示す図である。
[0137]
 図11では、図7Cの左の画像に対して極座標変換を行った場合の結果を示す。
[0138]
 検出範囲125は円形であるため、直交座標において、検出対象物115が検出範囲125に含まれるか否かを判定するためには、垂直方向及び水平方向のそれぞれの位置から判定する必要がある。一方、極座標変換が実行された場合、検出範囲125は、矩形で表現され、検出対象物115が検出範囲125に含まれるか否かは、垂直方向の位置のみから判定できる。
[0139]
 直交座標における画素位置(x,y)と、極座標における画素位置(t,r)との間には、式(8)及び式(9)の関係が成り立つ。
[0140]
[数8]


[0141]
[数9]


[0142]
 ここで、rStepは動径方向の刻み幅、tStepは偏角方向の刻み幅を表す。また、(Cy,Cx)は極座標変換の原点となる画像内の座標であり、ここでは検出範囲125の中心座標とする。
[0143]
 次に、実施例2の記憶部414に格納される情報について説明する。実施例2の記憶部414には、係数の他に、極座標変換に使用する動径方向の刻み幅rStep及び偏角方向の刻み幅tStep等、画像補正処理に使用するパラメータが格納される。
[0144]
 図12は、実施例2の画像処理装置101が実行する試料111の表面状態の判別処理の一例を示す図である。
[0145]
 実施例2では、ステップS901の処理の後に、画像処理装置101の画像補正部1001が、記憶部414からパラメータを読み出し、画像補正処理を実行し、補正画像を算出する(ステップS1201)。画像補正部1001は、特徴量算出部412に補正画像を出力する。
[0146]
 ステップS902では、特徴量算出部412は、補正画像に対して実施例1で説明した処理を実行する点が実施例1と異なる。ステップS901、ステップS903からステップS905までの処理は実施例1と同一の処理である。
[0147]
 なお、画像補正処理の一例として極座標変換を説明したが、極座標変換以外の座標変換、輝度及び色相等の平均値及び分散値を正規化する処理、コントラスト強調処理、及びエッジ強調処理、又は、これらを組み合わせた処理でもよい。
[0148]
 実施例2によれば、画像補正処理を実行することによって、画像処理の精度を向上及び計算量の低下等が可能となる。例えば、画像内の検出範囲125に対する検出対象物115の位置をより正確かつ効率的に把握できる。
実施例 3
[0149]
 実施例3では、分析時に取得された画像を新たな学習用画像として用いて、周期的又は逐次的に係数が更新される点が実施例1と異なる。以下、実施例1との差異を中心に実施例3について説明する。
[0150]
 実施例3のシステムの構成は、実施例1のシステムの構成と同一である。実施例3の画像処理装置101のハードウェア構成は、実施例1の画像処理装置101のハードウェア構成と同一である。実施例3では、画像処理装置101のソフトウェア構成が一部異なる。図13は、実施例3の画像処理装置101のソフトウェア構成の一例を示す図である。図14は、実施例3の画像処理装置101によって表示されるGUIの一例を示す図である。
[0151]
 実施例3では、記憶装置402にユーザ操作入力部1301、学習部1302、及び画像表示部1303を実現するプログラムが格納される点が実施例1と異なる。また、実施例3では、記憶部414に分析時に取得した画像等が格納される点が実施例1と異なる。
[0152]
 実施例3では、画像入力部411は、入力された画像を記憶部414に格納する。また、試料状態判別部413は、出力信号を記憶部414に格納する。記憶部414は、試料状態の判別が行われた画像及び画像に対応する出力信号を対応付けて管理する。
[0153]
 画像表示部1303は、学習部1302によって選択された画像をユーザに提示するための表示情報を生成し、出力装置404を介して表示情報を出力する。当該出力情報に基づいて、図14に示すようなGUI1400が表示される。
[0154]
 GUI1400は、画像表示欄1401、教師信号選択欄1402、及び決定ボタン1403を含む。なお、GUI1400には、前述した以外の表示欄を含んでもよい。例えば、補助的な情報を提示する表示欄を含んでいてもよい。図14では、検出範囲125を示す領域が補助的な情報として提示される。
[0155]
 画像表示欄1401は、学習部1302によって選択された画像を表示する欄である。教師信号選択欄1402は、画像に付与する教師信号を選択する欄である。一番上のラジオボタンはラベル0に対応する教師信号を指定するためのボタンである。真ん中のラジオボタンはラベル1に対応する教師信号を指定するためのボタンである。一番下のラジオボタンは、ラベル2に対応する教師信号を指定するためのボタンである。決定ボタン1403は、教師信号選択欄1402に入力された値を含む操作情報を出力するための操作ボタンである。
[0156]
 以上が、GUI1400の説明である。図13の説明に戻る。
[0157]
 ユーザ操作入力部1301は、GUI1400を操作することによって出力された操作情報を受け付け、GUI1400に提示された画像に対応する教師信号を生成する。例えば、教師信号選択欄1402の一番下のラジオボタンが操作された場合、ユーザ操作入力部1301は、ラベル2の教師信号を生成する。
[0158]
 学習部1302は、分析時に記憶部414に格納された画像の中からユーザに提示する画像を選択し、選択された画像を画像表示部1303に出力する。また、学習部1302は、選択した画像及びユーザ操作入力部1301から入力された教師信号を対応付けて記憶部414に格納する。さらに、学習部1302は、教師信号付の画像を用いた機械学習を実行することによって、記憶部414に格納される係数(判別モデル)を更新する。
[0159]
 実施例3の試料表面112の状態の判別処理の流れは、実施例1の処理の流れと同一である。ただし、ステップS901及びステップS904の処理が一部異なる。ステップS901では、画像入力部411が、画像を記憶部414に格納する。ステップS904では、試料状態判別部413が、出力信号を記憶部414に格納する。
[0160]
 図15は、実施例3の学習部1302が実行する処理の一例を説明するフローチャートである。
[0161]
 学習部1302は、分析時に新たな画像が取得された場合、又は、周期的に、記憶部414に格納される画像の中からユーザに提示する画像を選択する(ステップS1501)。学習部1302は、選択した画像を画像表示部1303に出力する。
[0162]
 画像の選択方法としては、例えば、試料状態判別部413によって算出された出力信号の最大尤度及び最小尤度の差が最も小さい画像を選択する方法がある。
[0163]
 ここで、尤度は、softmax関数で全尤度の総和が1.0になるように正規化されている。そのため、分類が困難な画像の場合、最大尤度及び最小尤度の差が小さくなる。そこで、このような画像をユーザに提示し、新たな学習用画像として入力することによって効率的に判別精度を向上することができる。
[0164]
 次に、学習部1302は、ユーザ操作入力部1301から教師信号を受け付ける(ステップS1502)。学習部1302は、選択された画像に教師信号を付与し、新たな学習用画像として記憶部414に格納する。このように、画像処理装置101は、画像の提示及び操作情報の受け付けを繰り返し実行することによって、新たな学習用画像を収集できる。
[0165]
 次に、学習部1302は、新たに蓄積された学習用画像の数が閾値より大きいか否かを判定する(ステップS1503)。ステップS1503の処理は、新たに機械学習を実行する契機を検出するための処理である。従って、他の判定方法を用いてもよい。例えば、ユーザから実行指示を受け付けた場合、又は、一定時間経過した場合に、機械学習を実行するようにしてもよい。
[0166]
 新たに蓄積された学習用画像の数が閾値以下であると判定された場合、学習部1302は、ステップS1501に戻り、同様の処理を実行する。
[0167]
 新たに蓄積された学習用画像の数が閾値より大きいと判定された場合、学習部1302は、新たな学習用画像を用いた機械学習を実行する(ステップS1504)。なお、機械学習は、実施例1で説明した処理と同様の方法で行われる。機械学習の実行結果として新たな係数が算出される。
[0168]
 次に、学習部1302は係数を更新するか否かを判定する(ステップS1505)。具体的には、学習部1302は、任意の評価方法に従って、算出された係数を評価し、当該係数を記憶部414に格納するか否かを判定する。
[0169]
 例えば、学習部1302は、他の構成と連携して、新たな係数を用いた場合の正解付き画像の判別精度を算出する。判別精度が閾値より大きい場合、学習部1302は、係数を更新すると判定する。
[0170]
 係数を更新しないと判定された場合、学習部1302は、ステップS1507に進む。
[0171]
 係数を更新すると判定された場合、学習部1302は、記憶部414に新たな係数を格納する(ステップS1506)。
[0172]
 例えば、学習部1302は、記憶部414に格納される係数に、新たに算出された係数を上書きする。また、学習部1302は、更新前の係数及び新たに算出された係数を記憶部414に格納してもよい。この場合、ユーザ操作に応じて使用する係数を選択できるようにすればよい。
[0173]
 ステップS1505の判別結果がNO、又は、ステップS1506の処理の後、学習部1302は、係数の更新を終了するか否かを判定する(ステップS1507)。
[0174]
 例えば、判別精度が閾値より大きい場合、又は、ユーザから終了指示を受け付けた場合、学習部1302は、係数の更新を終了すると判定する。
[0175]
 係数の更新を終了しないと判定された場合、学習部1302は、ステップS1501に戻り同様の処理を実行する。
[0176]
 係数の更新を終了すると判定された場合、学習部1302は、処理を終了する。
[0177]
 特徴量算出部412及び試料状態判別部413は、係数が更新された場合、更新された係数をすぐに読み出してもよいし、実際に処理する場合に更新された係数を読み出してもよい。
[0178]
 なお、学習部1302は、分析時に取得された画像を新たな学習用画像としていたが、予め、基本となる教師信号付の学習用画像を記憶部414に格納しておいてもよい。
[0179]
 なお、学習部1302は、任意の評価方法を用いて求められた評価結果に基づいて自動的に係数を更新するか否かを判定していたがこれに限定されない。例えば、学習部1302は、ユーザに評価結果を提示し、ユーザに係数を更新するか否かを判定させるようにしてもよい。
[0180]
 なお、新たな学習用画像に付与する教師信号はユーザが手動で選択していたがこれに限定されない。例えば、学習部1302等が、出力信号に含まれる尤度の中で最も大きい尤度の出力ユニットに対応するラベルを仮の教師信号に決定し、仮の教師信号及び画像をユーザに提示し、ユーザが仮の教師信号を修正するようにしてもよい。このとき、画像の提示から一定時間修正がなかった場合、学習部1302は、正式な教師信号として採用する方法も考えられる。
[0181]
 実施例3によれば、係数を更新することによって、装置及び環境に対応した係数を用いて試料表面112の状態を判別できるため、判別精度を向上させることができる。
[0182]
 本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム又は装置に提供し、そのシステム又は装置のコンピュータ(又はCPU及びMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROM等が用いられる。
[0183]
 また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
[0184]
 さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
[0185]
 最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。さらに、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点において限定のためではなく説明のためである。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウェアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、C/C++、perl、Shell、PHP、Java等の広範囲のプログラム又はスクリプト言語で実装できる。
[0186]
 さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
[0187]
 加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び/又はコンポーネントは、単独又は如何なる組み合わせでも使用することができる。

請求の範囲

[請求項1]
 容器に収められた分析対象の試料の状態を判別する装置であって、
 前記装置は、演算装置及び前記演算装置に接続される記憶装置を備え、
 前記演算装置は、
 前記試料の画像を取得し、
 前記試料の画像を用いて、前記画像に設定される検出範囲に対する検出対象物の位置及び大きさを解析し、
 前記解析の結果に基づいて、前記試料の状態を判別することを特徴とする装置。
[請求項2]
 請求項1に記載の装置であって、
 前記演算装置は、
 前記容器の開口部側の前記試料の表面の画像を取得し、
 前記検出範囲に対する前記検出対象物の位置及び大きさを評価する値を算出し、
 前記算出された値に基づいて、前記試料の表面の状態を判別することを特徴とする装置。
[請求項3]
 請求項2に記載の装置であって、
 前記試料の表面の状態は、前記検出範囲に対する前記検出対象物の位置及び大きさに基づいて複数の識別状態に分類され、
 前記記憶装置は、前記識別状態を示す信号が付与された学習用画像を用いた機械学習によって生成された、前記試料の表面の状態を判別するための判別モデルを格納することを特徴とする装置。
[請求項4]
 請求項3に記載の装置であって、
 前記演算装置は、
 前記試料の表面の状態が判別された処理画像と、前記判別の結果とを対応付けて前記記憶装置に格納し、
 前記処理画像に対して前記識別状態のいずれかを示す信号を付与し、
 前記信号が付与された処理画像を用いた機械学習を実行することによって前記判別モデルを更新することを特徴とする装置。
[請求項5]
 請求項4に記載の装置であって、
 前記演算装置は、
 前記処理画像及び前記処理画像に対応付けられた前記判別の結果を提示する画像を表示するための表示情報を生成し、
 前記表示情報に基づいて指定された前記識別状態に対応する信号を生成し、
 前記処理画像に前記生成された信号を付与することを特徴とする装置。
[請求項6]
 請求項3に記載の装置であって、
 前記識別状態は、分析に影響を与える大きさの前記検出対象物が前記検出範囲に存在しない状態、及び分析に影響を与える大きさの前記検出対象物が前記検出範囲に存在する状態のいずれかに含まれることを特徴とする装置。
[請求項7]
 請求項2に記載の装置であって、
 前記演算装置は、
 前記試料の表面の画像に対して任意の画像補正処理を実行し、
 前記画像補正処理が実行された試料の表面の画像を用いて、前記検出範囲に対する前記検出対象物の位置及び大きさを解析することを特徴とする装置。
[請求項8]
 請求項2に記載の装置であって、
 前記試料を採取する取得機構を有する取得装置と接続し、
 前記検出範囲は、前記取得装置が前記試料の採取時に、前記取得機構が前記試料の表面に接する位置を中心とする範囲であることを特徴とする装置。
[請求項9]
 容器に収められた分析対象の試料の状態を判別する装置が実行する試料の状態の判別方法であって、
 前記装置は、演算装置及び前記演算装置に接続される記憶装置を備え、
 前記試料の判別方法は、
 前記演算装置が、前記試料の画像を取得する第1のステップと、
 前記演算装置が、前記試料の画像を用いて、前記画像に設定される検出範囲に対する検出対象物の位置及び大きさを解析する第2のステップと、
 前記演算装置が、前記解析の結果に基づいて、前記試料の状態を判別する第3のステップと、を含むことを特徴とする試料の状態の判別方法。
[請求項10]
 請求項9に記載の試料の状態の判別方法であって、
 前記試料の表面の状態は、前記検出範囲に対する前記検出対象物の位置及び大きさに基づいて複数の識別状態に分類され、
 前記第1のステップでは、前記演算装置が、前記容器の開口部側の前記試料の表面の画像を取得し、
 前記第2のステップでは、前記演算装置が、前記検出範囲に対する前記検出対象物の位置及び大きさを評価する値を算出し、
 前記第3のステップでは、前記演算装置が、前記算出された値に基づいて、前記試料の表面の状態がいずれの前記識別状態に該当するかを判別することを特徴とする試料の状態の判別方法。
[請求項11]
 請求項10に記載の試料の状態の判別方法であって、
 前記記憶装置は、前記識別状態を示す信号が付与された学習用画像を用いた機械学習によって生成された、前記試料の表面の状態を判別するための判別モデルを格納することを特徴とする試料の状態の判別方法。
[請求項12]
 請求項11に記載の試料の状態の判別方法であって、
 前記演算装置は、
 前記試料の表面の状態が判別された処理画像と、前記判別の結果とを対応付けて前記記憶装置に格納し、
 前記処理画像及び前記処理画像に対応付けられた前記判別の結果を提示する画像を表示するための表示情報を生成し、
 前記表示情報に基づいて指定された前記識別状態に対応する信号を生成し、
 前記生成された信号が付与された処理画像を用いた機械学習を実行することによって前記判別モデルを更新することを特徴とする試料の状態の判別方法。
[請求項13]
 試料を分析する分析システムであって、
 前記分析システムは、容器に納められた前記試料の画像を取得する画像取得装置と、前記画像を解析することによって前記容器に収められた試料の状態を判別する画像処理装置と、前記容器から前記試料を取得する取得装置と、前記試料を分析する分析装置を備え、
 前記画像取得装置は、前記試料の画像を取得して、前記画像処理装置に出力し、
 前記画像処理装置は、
 前記試料の画像を用いて、前記画像に設定される検出範囲に対する検出対象物の位置及び大きさを解析し、
 前記解析の結果に基づいて、前記試料の状態を判別し、
 前記取得装置を制御するための情報として、前記判別の結果を出力することを特徴とする分析システム。
[請求項14]
 請求項13に記載の分析システムであって、
 前記試料の表面の状態は、前記検出範囲に対する前記検出対象物の位置及び大きさに基づいて複数の識別状態に分類され、
 前記画像取得装置は、前記容器の開口部側の前記試料の表面の画像を取得し、
 前記画像処理装置は、
 前記検出範囲に対する前記検出対象物の位置及び大きさを評価する値を算出し、
 前記算出された値に基づいて、前記試料の表面の状態がいずれの前記識別状態に該当するかを判別することを特徴とする分析システム。
[請求項15]
 請求項14に記載の分析システムであって、
 前記画像処理装置は、前記識別状態を示す信号が付与された学習用画像を用いた機械学習によって生成された、前記試料の表面の状態を判別するための判別モデルを保持することを特徴とする分析システム。

図面

[ 図 1]

[ 図 2]

[ 図 3A]

[ 図 3B]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7A]

[ 図 7B]

[ 図 7C]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]