処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020208899 - 画像処理装置、自動分析システム及び画像処理方法

Document

明 細 書

発明の名称 画像処理装置、自動分析システム及び画像処理方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010  

発明の効果

0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013  

実施例 1

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090  

実施例 2

0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107  

実施例 3

0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129  

実施例 4

0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157  

符号の説明

0158  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

図面

1   2   3   4   5   6A   6B   7   8   9   10   11   12   13   14   15   16   17   18A   18B   18C   19   20   21A   21B   22A   22B   23   24   25   26   27  

明 細 書

発明の名称 : 画像処理装置、自動分析システム及び画像処理方法

技術分野

[0001]
 本発明は免疫分析装置等を備える自動分析システムにおいて、試料、試薬、反応溶液等の採取対象が収容される容器の状態または採取対象の状態を判定する技術に関する。

背景技術

[0002]
 免疫分析装置等を備える自動分析システムでは、血液および尿等の試料の成分等を分析するために、試料と試薬を反応させた反応溶液から生じる発色や発光の状態が測定される。分析に用いられる試料や試薬、反応溶液等は試験管等の容器に収容され、分注プローブ等の採取部によって容器から採取される。採取部の採取対象である試料、試薬、反応溶液等が収容される容器には、内径や長さの異なる複数の種別があり、複数の容器が混在している状況では容器の種別が自動的に判別されることが望まれる。
[0003]
 特許文献1には、容器を開口部方向と側面方向の二方向からそれぞれ撮像して得られた図形を、メモリに格納された標準図形と比較することにより、容器の種別を判別することが開示されている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2004-151025号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら特許文献1では、容器の種別を判別するために、容器を開口部方向と側面方向の二方向からそれぞれ撮像する複数のカメラが必要であり、ハードウェアコストがかかる。また特許文献1では、容器の種別を判別することに留まっており、容器の傾きや採取対象の量といった容器または採取対象の状態の判定に対する配慮はなされていない。
[0006]
 そこで本発明は、単一のカメラで取得した画像により、容器または採取対象の状態を判定可能な画像処理装置、自動分析システム及び画像処理方法を提供することを目的とする。

課題を解決するための手段

[0007]
 上記目的を達成するために本発明は、試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得部と、前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出部と、前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定部と、を備えることを特徴とする画像処理装置である。
[0008]
 また本発明は、前記画像処理装置を備える自動分析システムであって、前記容器から採取対象を採取する採取部と、前記状態判定部の判定結果に基づいて前記採取部を制御する制御部を備えることを特徴とする自動分析システムである。
[0009]
 また本発明は、試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得ステップと、前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出ステップと、前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定ステップと、を備えることを特徴とする画像処理方法である。
[0010]
 また本発明は、画像を複数の領域に分割する画像処理方法であって、Convolution処理およびPooling処理に用いられるカーネルの要素間に所定数のゼロを挿入することによりダイレートカーネルを作成するステップと、前記ダイレートカーネルを用いてConvolution処理およびPooling処理を実行するステップと、を備えることを特徴とする。

発明の効果

[0011]
 本発明によれば、単一のカメラで取得した画像により、容器または採取対象の状態を判定可能な画像処理装置、自動分析システム及び画像処理方法を提供することができる。

図面の簡単な説明

[0012]
[図1] 自動分析システムのハードウェア構成の一例を示す図である。
[図2] 実施例1の機能ブロック図の一例である。
[図3] 実施例1の処理の流れの一例を示す図である。
[図4] 領域分割処理の結果の一例を示す図である。
[図5] 容器の縁領域を算出することについて説明する図である。
[図6A] 容器の種別の判定に用いられるテーブルの一例を示す図である。
[図6B] 容器の種別から容器の長さ等を求めるためのテーブルの一例を示す図である。
[図7] Convolution処理の概念を示す図である。
[図8] Pooling処理の概念を示す図である。
[図9] FCN(Fully Convolutional Networks)による領域分割処理の一例を示す図である。
[図10] FCNによる高解像度領域分割処理の一例を示す図である。
[図11] Convolution処理とDilated Convolution処理におけるカーネルの一例を示す図である。
[図12] Pooling処理とDilated Pooling処理におけるカーネルの一例を示す図である。
[図13] ダイレート処理の概念を示す図である。
[図14] ダイレートカーネルを用いた領域分割の手順の一例を示す図である。
[図15] ダイレートカーネルを用いた領域分割について説明する図である。
[図16] 実施例2の処理の流れの一例を示す図である。
[図17] 採取対象の上面領域の算出について説明する図である。
[図18A] 非テレセントリックでの上方画像の一例を示す図である。
[図18B] テレセントリックでの上方画像の一例を示す図である。
[図18C] テレセントリックでの斜方画像の一例を示す図である。
[図19] 容器の縁から採取対象の上面までの距離を求めるためのテーブルの一例を示す図である。
[図20] 実施例3の処理の流れの一例を示す図である。
[図21A] 非テレセントリックでの上方画像に基づく傾き判定を説明する図である。
[図21B] テレセントリックでの上方画像に基づく傾き判定を説明する図である。
[図22A] 非テレセントリックでの上方画像に基づく傾き角度の算出について説明する図である。
[図22B] テレセントリックでの上方画像に基づく傾き角度の算出について説明する図である。
[図23] 実施例4の機能ブロック図の一例である。
[図24] 実施例4の処理の流れの一例を示す図である。
[図25] 教師信号を付与する画像のリストを表示する画面の一例を示す図である。
[図26] 教師信号を付与する領域を指定するための操作画面の一例を示す図である。
[図27] 教師信号を付与するための操作画面の一例を示す図である。

発明を実施するための形態

[0013]
 以下、添付図面に従って本発明に係る画像処理装置、自動分析システム及び画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
実施例 1
[0014]
 図1を用いて本実施例の自動分析システム100のハードウェア構成の一例について説明する。自動分析システム100は、画像処理装置101と撮像部111、制御部121、採取部122、分析部123を備える。画像処理装置101は、いわゆるコンピュータであり、具体的には、入力部102、演算部103、メモリ104、出力部105を備え、撮像部111や制御部121に接続される。なお、画像処理装置101は自動分析システム100以外のシステムに備えられても良い。以下、各部について説明する。
[0015]
 撮像部111は、容器112と、容器112に収容される採取対象113を撮像する装置であり、例えばカメラである。容器112は試験管等であり、円筒形状またはテーパ形状の一端には底面を、他端には開口部を有する。また容器112には、内径や長さの異なる複数の種別がある。採取対象113は、血液および尿等の試料や、試料に反応させられる試薬、試料と試薬を反応させた反応溶液等であり、液体または粉末である。撮像部111は単一であり、容器112の開口部側、すなわち容器112の上方に設置され、容器112と採取対象113を容器112の上方から撮像する。撮像部111によって容器112の上方から撮像された画像を上方画像と呼ぶ。撮像部111には、テレセントリックまたは非テレセントリックのレンズが取り付けられる。
[0016]
 入力部102は、撮像部111や上方画像が記録された記録装置から上方画像のデータを受信したり、操作者がキーボードやマウス等を操作することによって生じる操作信号を受信したりするインターフェースである。上方画像はBMP、PNG、JPEG等の静止画像でも良いし、MPEG、H.264等の動画像から一定の間隔で抽出したフレーム画像でも良い。
[0017]
 演算部103は、画像処理装置101内での各種の処理を実行する装置であり、例えばCPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等である。演算部103によって実行される機能については、図2を用いて後述する。
[0018]
 メモリ104は、演算部103が実行するプログラムや、パラメータ、係数、処理結果等を保存する装置であり、HDDやRAM、ROM、フラッシュメモリ等である。
[0019]
 出力部105は、演算部103による処理の結果を外部に送信するインターフェースであり、例えばディスプレイ、プリンタ等の表示装置や、処理の結果を記録する記録装置、その他の装置を制御する制御装置に対して、処理の結果を出力する。図1には、その他の装置を制御する制御装置の一例である制御部121に処理の結果が出力されることが例示される。
[0020]
 制御部121は、出力部105から出力された処理の結果に基づいて、採取部122の動作を制御する装置であり、具体的にはCPU(Central Processing Unit)等である。
[0021]
 採取部122は、制御部121によって、容器112から採取対象113を採取する装置であり、例えば分注プローブ等である。
[0022]
 分析部123は、採取対象113を用いて分析を行う装置であり、例えば免疫分析装置等である。分析部123による分析の結果は、ディスプレイ等に表示される。
[0023]
 図2を用いて本実施例の機能ブロック図の一例について説明する。なおこれらの機能は、専用のハードウェアで構成されても良いし、演算部103上で動作するソフトウェアで構成されても良い。本実施例は、画像取得部201と領域算出部202と状態判定部203を備える。以下、各部について説明する。
[0024]
 画像取得部201は、撮像部111によって撮像された上方画像212を取得する。上方画像212には、容器112の縁213と内壁214、採取対象113の上面215、混在物216、固定部217が含まれる。混在物216は採取対象113の内部や上面に存在する気泡や脂質等である。固定部217は容器112を固定するホルダ等である。上方画像212に含まれる各部については側面図211も参照されたい。
[0025]
 領域算出部202は、画像取得部201によって取得された上方画像212から、各部のいずれかの領域、例えば容器112の縁213の領域や採取対象113の上面215の領域を算出する。領域を算出するには、画像の輝度値を用いた閾値処理や、FCN(Fully Convolutional Networks)を用いた領域分割処理等が実行される。
[0026]
 状態判定部203は、領域算出部202によって算出されたいずれかの領域に基づいて、容器112や採取対象113の状態、例えば容器112の種別や、容器112の傾き、採取対象113の量を判定する。
[0027]
 図3を用いて、本実施例の処理の流れの一例について説明する。本実施例では、上方画像212から算出される容器112の縁213の領域に基づいて、容器112の種別が判定される。
[0028]
 (S301)
 画像取得部201が入力部102を介して上方画像212を取得する。取得される上方画像212は、撮像部111で撮影された画像であっても、図示されない記録装置等に記録される画像であっても良い。
[0029]
 (S302)
 領域算出部202がS301で取得された上方画像212から容器112の縁213の領域を算出する。縁213の領域を算出するには、上方画像212の輝度値を用いた閾値処理や、FCNを用いた領域分割処理等のいずれかの処理が実行される。FCNを用いた領域分割処理については図7~図15を用いて後述する。
[0030]
 図4を用いて上方画像212を領域分割処理して得られた領域分割像401の一例について説明する。領域分割像401は、縁領域402、内壁領域403、上面領域404、背景領域405から構成される。縁領域402は、容器112の縁213の領域である。内壁領域403は、容器112の内壁214の領域であり、容器112の縁213と採取対象113との間の領域である。上面領域404は、採取対象113の上面215の領域であり、混在物216も上面領域404に含まれる。背景領域405は、縁領域402よりも外側の領域全体であり、固定部217も背景領域405に含まれる。
[0031]
 (S303)
 状態判定部203が、S302で算出された縁領域402に基づいて、容器112の種別を判定する。図5と図6を用いて本ステップについて説明する。
[0032]
 状態判定部203は、S302での算出結果に基づいて、縁の二値化画像501を作成する。縁の二値化画像501には、縁領域402と、縁領域402以外のその他領域503が含まれる。縁領域402には例えば輝度値0が、その他領域503には輝度値255が与えられる。
[0033]
 状態判定部203は、縁の二値化画像501にソーベルフィルタ等を適用して縁領域402の境界を抽出し、縁の境界像502を作成する。容器112の縁213は円環形状であるので、縁の境界像502には容器112の内壁側の境界である内側境界505と、外壁側の境界である外側境界506が含まれる。
[0034]
 状態判定部203は、内側境界505と外側境界506に対して楕円フィッティングを行い、内側境界505と外側境界506の長径を算出し、内側境界505の長径を容器112の内径とし、両者の長径から次式を用いて容器112の厚みを求める。
[0035]
[数1]


[0036]
ここでDは容器112の厚み、Loは外側境界506の長径、Lcは内側境界505の長径である。
[0037]
 なお短径ではなく長径を用いる理由は、容器112の傾きの影響を低減するためである。すなわち、容器112が直立状態から傾くに従い、内側境界505と外側境界506の短径は短くなるのに対し長径は変化しにくいためである。楕円フィッティングには、内側境界505または外側境界506の全点が用いられても良いし、内側境界505または外側境界506から任意に抽出される少なくとも3つの抽出点508が用いられても良い。抽出点508には、例えば縁領域402の各座標を算術平均することで求められる重心507から上下左右方向にスキャンすることにより、内側境界505または外側境界506に達した点が抽出される。
[0038]
 状態判定部203は、内側境界505と外側境界506の長径から求められた容器112の内径と厚みを、図6Aに例示されるテーブルと照合することにより、容器112の種別を判定する。例えば、求められた容器112の内径が60ピクセル、厚みが10ピクセルであった場合、容器の種別がαであると判定される。なお求められた内径と厚みがテーブル中のいずれの項目に該当するかは、求められた値と各項目の数値との差分の絶対値によって判定されても良い。例えば求められた内径が98ピクセル、厚みが6ピクセルであった場合、テーブルからは内径100ピクセルと厚み6ピクセルが選択され、容器112の種別はδであると判定される。
[0039]
 なお図6Aに例示されるテーブルは、複数の種別の容器112の内径や厚みが計測されることにより予め作成され、メモリ104等に保管される。またテーブル中の空欄は未知容器を示し、本ステップで求められた内径と厚みが空欄に該当した場合、上方画像212に含まれる容器112は未知容器であると判定される。
[0040]
 (S304)
 出力部105が、S303で判定された容器112の種別を出力する。判定の結果は、例えば制御部121へ送信され、制御部121は判定の結果に基づいて採取部122を制御する。例えば、容器112が未知容器であると判定された場合、制御部121は採取部122を停止させても良い。容器112が未知容器であるとき、採取部122を停止させることにより、採取部122と容器112との衝突を避けることができる。
[0041]
 また、容器112の種別に応じて、制御部121は採取部122の高さを調整しても良い。例えば判定結果である容器112の種別が図6Bに例示されるテーブルに照合されることにより取得される容器112の長さに基づいて、採取部122の高さが調整されても良い。 なお図6Bに例示されるテーブルは、複数の種別の容器112の内径や厚み、長さ、テーパの有無が計測されることにより予め作成され、メモリ104等に保管され、必要に応じて参照される。
[0042]
 また、出力部105は判定の結果をディスプレイやプリンタへ出力し、容器112の種別を操作者に提示しても良いし、未知容器である場合には容器112の変更を促すメッセージが表示されても良い。さらに出力部105は、他の画像処理装置へ容器112の種別を出力しても良く、それとともに容器112の種別に応じた補正処理を行った画像を出力しても良い。容器112の種別に応じた補正処理とは、例えば容器112の内径に応じて画像サイズを正規化する処理であったり、容器112の種別に応じてコントラストを補正する処理であったりする。
[0043]
 以上説明した処理の流れにより、画像処理装置101は単一の撮像部111で取得された上方画像212により容器112の状態の一つである容器112の種別を判定できる。また自動分析システム100は、画像処理装置101による判定結果に応じて、採取部122を適切に制御できるので、検査効率を低下させることなく、より正確な分析を行うことができる。
[0044]
 ここでFCNを用いた領域分割処理について説明する。FCNはDNN(Deep Neural Network)の一つであり、全ての層をCNN(Convolutional Neural Network)で構成することで、画像を領域毎に分割する領域分割処理である。CNNはConvolution処理 、Pooling処理 、Activation処理 の3つの処理から構成される。Convolution処理は入力データから特徴量のマップを作成する処理であり、Pooling処理は入力データから代表値を抽出する処理であり、Activation処理は入力データに非線形関数を適用する処理である。
[0045]
 図7を用いてConvolution処理の動作の一例について説明する。図7に示すように、Convolution処理では、入力データIcの左上から右下に向かって複数のピクセルの輝度値を取得する位置をスライドさせながら、取得された複数のピクセルの輝度値への係数Wcの乗算と係数Bcの加算を行うことにより出力データOcが算出される。
[0046]
 数2にConvolution処理の算出式の一例を示す。
[0047]
[数2]


[0048]
ここで、入力データIcはチャンネルch、垂直方向位置y、水平方向位置xの3つの次元を持つデータであり、出力データOcは特徴量番号d、垂直方向位置y、水平方向位置xの3つの次元を持つデータである。また乗算係数Wcは特徴量番号d、チャンネルch、垂直方向位置fy、水平方向位置fxの4つの次元を持つ係数であってカーネルとも呼ばれ、加算係数Bcは特徴量番号dの次元を持つ係数である。なおカーネルの大きさはカーネル高さFyとカーネル幅Fxによって表され、カーネルが1回当たりにスライドする量は垂直方向ストライド量Syと水平方向ストライド量Sxによって表される。
[0049]
 また、乗算係数Wcと加算係数Bcは、各領域が正しく分割された画像である教師画像を入力データとして、確率的勾配降下法等を用いる機械学習により予め求められて、領域分割処理の係数としてメモリ104に格納される。すなわち、複数の上方画像212の各ピクセルが縁領域402、内壁領域403、上面領域404、背景領域405のいずれに属するかを正しく表す教師信号を用いて機械学習が行われる。
[0050]
 図8を用いてPooling処理の動作の一例について説明する。図8に示すようにPooling処理では、入力データIpの左上から右下に向かって複数のピクセルの輝度値を取得する位置を一定の刻み幅でスライドさせながら、取得された複数のピクセルの輝度値から代表値を抽出することにより出力データOpが算出される。代表値には例えば複数のピクセルの輝度値の最大値や平均値が用いられ、本実施例で抽出される代表値は最大値である。
[0051]
 数3にPooling処理の算出式の一例を示す。
[0052]
[数3]


[0053]
ここで入力データIpと出力データOpはチャンネルch、垂直方向位置y、水平方向位置xの3つの次元を持つデータである。またPooling処理においても、Convolution処理と同様に、取得された複数のピクセルの輝度値にカーネルと呼ばれる係数が乗じられ、カーネルの大きさはFyとFx、カーネルのストライド量はSyとSxによって表される。なおPooling処理では、Sy=Fy、Sx=Fxとする場合が多く、カーネルの全要素は1である。なおPooling処理に用いられるカーネルをPカーネル、Convolution処理に用いられるカーネルをCカーネルと呼ぶ。
[0054]
 Activation処理はConvolution処理の出力データOcやPooling処理の出力データOpに対して、数4や数5の非線形関数を適用し、例えばあるピクセルが縁領域402であるか否かを識別する処理である。
[0055]
[数4]


[0056]
[数5]


[0057]
 CNNは上記のConvolution処理、Pooling処理、Activation処理を組み合わせて、特徴量や識別結果を得る。FCNはCNNのみで構成された領域分割器であり、任意サイズの画像を入力することが可能である。
[0058]
 図9にFCNによる領域分割処理の一例を示す。入力画像901はFCNに入力される画像であり、幅と高さがいずれも8ピクセルであるとする。1番目のカーネル902は各層における最初の処理対象領域を示している。網掛け部分は処理対象箇所を表す。2番目のカーネル903は各層における2番目の処理対象領域を示している。1番目のカーネル902と2番目のカーネル903のずれ量はストライド量Sy、Sxによって決定される。
[0059]
 1層目出力データ904は、入力画像901にConvolution処理を適用した結果、2層目出力データ905は1層目出力データ904にPooling処理を適用した結果である。また3層目出力データ906は2層目出力データ905にConvolution処理を適用した結果、4層目出力データ907は3層目出力データ906にPooling処理を適用した結果である。さらに領域分割結果908は4層目出力データ907が入力画像中のどの位置の識別結果に相当するかを表す。なおConvolution処理およびPooling処理のカーネルサイズFy、Fxとストライド量Sy、Sxは図9に記載の通りである。
[0060]
 図9に示す通りストライド量が2以上の処理が実行される毎に、各層の出力データはストライド量に応じてサイズが縮小する。最終出力である4層目出力データ907は2x2ピクセルまで縮小しており、入力画像901上に当てはめられるのは領域分割結果908の黒マスに示した4箇所に過ぎない。すなわち領域分割結果908の黒マスの識別結果しか得られておらず、白マス部分は識別結果が得られていない状態であり、低解像度の領域分割処理となる。
[0061]
 図10を用いて高解像度の領域分割処理について説明する。図10では取得位置の異なる画像をFCNに入力し、各画像に対する領域分割結果を取得する。すなわち第1の入力画像1001、第2の入力画像1002、第3の入力画像1003、第4の入力画像1004、…が入力され、第1の領域分割結果1005、第2の領域分割結果1006、第3の領域分割結果1007、第4の領域分割結果1008、…が取得される。なお第1の入力画像1001は、図9の入力画像901と同じ画像であり、第2の入力画像1002は入力画像901を1ピクセル右に、第3の入力画像1003は2ピクセル右に、第4の入力画像1004は1ピクセル下に、それぞれスライドさせた画像である。ピクセルのスライドにより画素が存在しない部分には輝度値0や隣接画素の輝度値が埋められる。取得された複数の領域分割結果を統合することにより、統合領域分割結果1009が得られる。図10の領域分割処理によれば、高解像度の領域分割結果を取得できるものの、領域分割処理の回数が増え、例えば図10の例では16回となるので処理時間も増大する。
[0062]
 そこで本実施例では、FCNのConvolution処理とPooling処理に用いられるカーネルをダイレート処理により変更し、1回の領域分割処理で高解像度の領域分割結果を取得する。ダイレート処理とはカーネルの要素間に所定数のゼロを挿入し、カーネルを拡大する処理であり、ダイレート処理後のカーネルをダイレートカーネルあるいはDカーネルと呼ぶ。またDカーネルを用いるConvolution処理およびPooling処理をDilated Convolution処理、Dilated Pooling処理と呼ぶ。
[0063]
 図11を用いてDilated Convolution処理におけるDカーネルの一例について説明する。Cカーネル1101はConvolution処理に用いられるカーネルの一例であり、a~iの9個の要素で構成される。DCカーネル1102はDilated Convolution処理に用いられるカーネルの一例であり、Cカーネル1101の要素間のそれぞれに1つのゼロが挿入されて構成される。なお挿入されるゼロの数に1を加算した値をダイレート量Dy、Dxと呼び、図11のDCカーネル1102はDy、Dx=2、2である。
[0064]
 数6にDilated Convolution処理の算出式の一例を示す。
[0065]
[数6]


[0066]
数6において、Dy、Dx=1、1とすると数2になる。
[0067]
 図12を用いてDilated Pooling処理におけるDカーネルの一例について説明する。Pカーネル1201はPooling処理に用いられるカーネルの一例であり、9個の全要素が1で構成される。DPカーネル1202はDilated Pooling処理に用いられるカーネルの一例であり、Pカーネル1201の要素間のそれぞれに1つのゼロが挿入されて構成される。ダイレート量Dy、Dxに関しては、Dilated Convolution処理と同様であり、図12のDPカーネル1202もDy、Dx=2、2である。
[0068]
 数7にDilated Pooling処理の算出式の一例を示す。
[0069]
[数7]


[0070]
数7において、Dy、Dx=1、1とすると数3になる。
[0071]
 図13を用いてDilated Convolution処理とDilated Pooling処理について説明する。1番目のカーネル1301および2番目のカーネル1302はConvolution処理またはPooling処理に用いられるカーネルである。また1番目のDカーネル1303および2番目のDカーネル1304はDilated Convolution処理またはDilated Pooling処理に用いられるカーネルである。カーネルサイズFy、Fxはいずれも3、ストライド量Sy、Sxはいずれも2である。
[0072]
 Convolution処理またはPooling処理は、ダイレート量Dy、Dxをいずれも1とした場合のDilated Convolution処理またはDilated Pooling処理に相当する。また1番目のDカーネル1303および2番目のDカーネル1304のダイレート量Dy、Dxはいずれも2である。
[0073]
 なお各カーネルの処理範囲には、入力データ外の領域が含まれる場合がある。例えば2番目のカーネル1302の場合、1行目が入力データ外の領域にあたる。本実施例では入力データ外の領域に輝度値0が埋められる。またDilated Convolution処理とDilated Pooling処理を用いたFCNをDFCN(Dilated FCN)と呼ぶ。
[0074]
 図14を用いてFCNモデルをDFCNモデルに変換する処理の流れの一例について説明する。図14の処理の流れではFCNモデルを入力し、垂直方向Ky、水平方向Kxピクセル単位の領域分割結果を算出するDFCNモデルを出力する。Ky、Kxは1に近いほど高解像度であり、大きな値になるほど解像度が低下するものの処理速度が高速になる。ただし、Ky、KxはFCNモデル内の全層のストライド量の積Psy、Psxの約数の1つであるとする。また、FCNモデルはConvolution層、Pooling層、Activation層のいずれかで構成されているとする。Convolution層、Pooling層、Activation層はそれぞれConvolution処理、Pooling処理、Activation処理を行う。
[0075]
 S1401では変数Lが初期化される。変数Lは処理対象となる層のインデックスを表す。
[0076]
 S1402では層の型が判定される。層の型がConvolution層またはPooling層であればS1403に遷移し、Activation層であればS1406に遷移する。
[0077]
 S1403では層の型が変換される。L層目がConvolution層であればDilated Convolution層に、Pooling層であればDilated Pooling層に変換される。なお変換後のDilated Convolution層やDilated Pooling層のカーネルのサイズ、カーネルの種類数、カーネルの係数、プーリングサイズ等のパラメータは変換前のConvolution層やPooling層の設定値と同じである。
[0078]
 S1404ではL層目のダイレート量が決定される。垂直方向のダイレート量Dyの決定手順の一例について説明する。なお水平方向のダイレート量Dxについても添え字をyからxに読み替えることで同様に決定される。まず入力されたFCNモデルの0層目からL-1層目までの垂直方向のストライド量Syの積PSyが算出される。次にストライド量Syの積PSyと領域分割結果の垂直方向の刻み幅Kyとの最大公約数GCyが求められる。ストライド量Syの積PSyと最大公約数GCyが次式に代入され、L層目の垂直方向のダイレート量Dyが決定される。
[0079]
[数8]


[0080]
さらに次式により刻み幅Kyが更新される。
[0081]
[数9]


[0082]
 S1405ではL層目のストライド量が決定される。垂直方向のストライド量Syの決定手順の一例について説明する。なお水平方向のストライド量Sxについても添え字をyからxに読み替えることで同様に決定される。1404にて算出された最大公約数GCyが次式に代入され、L層目の垂直方向のストライド量Syが決定される。
[0083]
[数10]


[0084]
 S1406では変数Lがインクリメントされる。すなわち処理対象が次の層に切り替えられる。
[0085]
 S1407では全ての層に対する変換処理が完了したか否かが判定される。例えば変数LがFCNモデルを構成する層の数以上であれば完了、そうでなければ未完了と判定される。完了であれば処理の流れは終了し、未完了であればS1402に遷移する。
[0086]
 以上の処理の流れによりFCNモデルを、高解像度の領域分割結果を高速に得ることが可能なDFCNモデルに変換することができる。
[0087]
 図15にDFCNによる領域分割処理の一例を示す。入力画像1501はDFCNに入力される画像であり、幅と高さがいずれも8ピクセルであるとする。1番目のカーネル1502は各層における最初の処理対象領域を示している。網掛け部分は処理対象箇所を表す。2番目のカーネル1503は各層における2番目の処理対象領域を示している。
[0088]
 1層目出力データ1504は、入力画像1501にDilated Convolution処理を適用した結果、2層目出力データ1505は1層目出力データ1504にDilated Pooling処理を適用した結果である。また3層目出力データ1506は2層目出力データ1505にDilated Convolution処理を適用した結果、4層目出力データ1507は3層目出力データ1506にDilated Pooling処理を適用した結果である。各層の処理により解像度の低下が生じないため、4層目出力データ1507は入力画像1501と同じ解像度を有する領域分割結果となる 。
[0089]
 FCNで高解像度の領域分割結果を得るには、図10に示したように取得位置の異なる画像毎に領域分割処理をする必要があり、一部の処理が重複しているために処理時間が増大していた。DFCNによる領域分割処理では、高解像度のFCNでは重複していた処理を一度に済ませられるので、高解像度の領域分割結果を高速に得ることができる。
[0090]
 なお図14ではFCNモデルをDFCNモデルに変換することについて説明したが、最初からDFCNモデルを構築しても良い。また一定サイズの入力画像を識別対象とするDNNベースの画像識別器からFCNへ変換し、さらにDFCNへ変換しても良い。領域分割のための機械学習は、DNNベースの画像識別器、FCN、DFCNのいずれのモデルで行っても良い。
実施例 2
[0091]
 実施例1では、上方画像212から算出される容器112の縁領域402に基づいて、容器112の種別が判定されることについて説明した。画像処理装置101が出力する判定結果は、容器112の種別に限られない。本実施例では、上方画像212から算出される容器112の縁領域402と採取対象113の上面領域404に基づいて、採取対象113の量が判定されることについて説明する。なお、本実施例のハードウェア構成と機能ブロック図は実施例1と同じであるので説明を省略する。
[0092]
 図16を用いて、本実施例の処理の流れの一例について説明する。なおS301~S303は実施例1と同じ処理であるので説明を省略し、S303以降のS1604~S1606について説明する。
[0093]
 (S1604)
 領域算出部202がS301で取得された上方画像212から採取対象113の上面領域404を算出する。上面領域404の算出には、S302と同様に、上方画像212の輝度値を用いた閾値処理や、FCNやDFCNを用いた領域分割処理等が実行される。
[0094]
 (S1605)
 状態判定部203が、S302で算出された縁領域402とS1604で算出された上面領域404とに基づいて、採取対象113の量を判定する。図17と図18を用いて本ステップについて説明する。まず図17を用いて、上面領域404について説明する。
[0095]
 状態判定部203は、S1604での算出結果に基づいて、採取対象113の上面の二値化画像1701を作成する。上面の二値化画像1701には、上面領域404と、上面領域404以外のその他領域1704が含まれる。上面領域404には例えば輝度値0が、その他領域1704には輝度値255が与えられる。
[0096]
 状態判定部203は、上面の二値化画像1701にソーベルフィルタ等を適用して上面領域404の境界を抽出し、上面の境界画像1702を作成する。上面の境界画像1702には上面境界1705が含まれる。状態判定部203は、上面境界1705から任意に抽出される少なくとも3つの抽出点1706に対して楕円フィッティングを行い、上面領域404の長径と短径を算出する。なお上面領域404の短径は、容器112が傾いても長径に比べて変化しにくいので、以降の処理で用いられる。
[0097]
 図18を用いて採取対象113の量の判定について説明する。なお、撮像部111のレンズが非テレセントリックである場合とテレセントリックである場合とについてそれぞれ説明する。レンズが非テレセントリックである場合、撮像部111から被撮像物までの距離が長くなるに従って被撮像物の大きさは小さくなるのに対し、テレセントリックである場合、撮像部111から被撮像物までの距離にかかわらず被撮像物の大きさは同じである。
[0098]
 図18Aを用いて非テレセントリックの場合について説明する。図18Aには、採取対象113が多量時と少量時の側面図または上方画像、すなわち多量時の側面図1801と多量時の上方画像1802、少量時の側面図1804と少量時の上方画像1805が示される。多量時の上方画像1802と少量時の上方画像1805との比較から分かるように、多量時の上面1803は少量時の上面1806よりも面積が大きい。そこで状態判定部203は、上面領域404の短径に基づいて採取対象113の量を判定する。
[0099]
 具体的には、まず上面領域404の短径が図19に例示されるテーブルと照合されて、容器112の縁213から採取対象113の上面215までの距離Hが求められる。なお図19のテーブルは、複数の種別の容器112に異なる量の採取対象113が収容されたときの上面領域404の短径や距離Hが計測されることにより予め作成され、メモリ104等に保管される。次に縁領域402に基づいて判定される容器112の種別が図6Bのテーブルに照合されて、容器112の長さGと内径Dが求められる。そして距離Hと長さG、内径Dが次式に代入され、採取対象113の量Qが求められる。
[0100]
[数11]


[0101]
なお数11は容器112の内径Dが距離Hによらず一定である場合の式である。容器112がテーパ形状等を有し、距離Hによって容器112の内径Dが変わる場合には、距離Hと内径Dとの関係がメモリ104等に予め保管され、必要に応じて参照されることにより、数11を用いて採取対象113の量Qが求められる。
[0102]
 図18Bを用いてテレセントリックの場合について説明する。図18Bにも図18Aと同様に、多量時の側面図1801と多量時の上方画像1802、少量時の側面図1804と少量時の上方画像1805が示される。多量時の上方画像1802と少量時の上方画像1805との比較から分かるように、テレセントリックの場合は多量時の上面1803と少量時の上面1806の面積は同等であり、上面領域404の短径に基づく採取対象113の量の判定ができない。
[0103]
 そこでテレセントリックの場合には、図18Cに示すように撮像部111を傾けて撮像される上方画像に基づいて採取対象113の量が判定される。すなわち多量時の上方画像1802と少量時の上方画像1805との比較から分かるように、採取対象113が多量時には少量時よりも縁から上面までの距離1807が短いので、縁から上面までの距離1807に基づいて採取対象113の量が判定される。具体的には、縁から上面までの距離1807をH’、鉛直方向に対する撮像部111の傾き角度をΨとするとき、次式により容器112の縁213から採取対象113の上面215までの距離Hが求められ、さらに数11により採取対象113の量Qが求められる。
[0104]
[数12]


[0105]
なお容器112がテーパ形状等を有する場合は、非テレセントリックの場合と同様に、メモリ104等に予め保管される距離Hと内径Dとの関係が必要に応じて参照され、数11を用いて採取対象113の量Qが求められる。
[0106]
 (S1606)
 出力部105が、S1605で判定された採取対象113の量を出力する。判定の結果は、例えば制御部121へ送信され、制御部121は判定の結果に基づいて採取部122を制御する。例えば、採取対象113の量が所定の量に達していないと判定された場合、制御部121は採取部122を停止させても良い。また、出力部105は判定の結果をディスプレイやプリンタへ出力し、採取対象113の量を操作者に提示しても良いし、採取対象113の量が所定の量に達していない場合にはその旨を示すメッセージが表示されても良い。
[0107]
 以上説明した処理の流れにより、画像処理装置101は単一の撮像部111で取得された上方画像212により採取対象113の状態の一つである採取対象113の量を判定できる。また自動分析システム100は、画像処理装置101による判定結果に応じて、採取部122を適切に制御できるので、検査効率を低下させることなく、より正確な分析を行うことができる。
実施例 3
[0108]
 実施例1では容器112の種別が判定されることについて、実施例2では採取対象113の量が判定されることについて説明した。本実施例では、上方画像212から算出される容器112の縁領域402と採取対象113の上面領域404に基づいて、容器112の傾きが判定されることについて説明する。なお、本実施例のハードウェア構成と機能ブロック図は実施例1と同じであるので説明を省略する。
[0109]
 図20を用いて、本実施例の処理の流れの一例について説明する。なおS301~S302は実施例1と同じ処理であり、S1604は実施例2と同じ処理であるので説明を省略し、S1604以降のS2005~S2006について説明する。
[0110]
 (S2005)
 状態判定部203が、S302で算出された縁領域402とS1604で算出された上面領域404とに基づいて、容器112の傾きを判定する。容器112の傾きの判定では、傾きの有無の判定、あるいは傾き角度の判定が行われる。
[0111]
 図21を用いて容器112の傾きの有無の判定について説明する。本実施例においても撮像部111のレンズが非テレセントリックである場合とテレセントリックである場合とについてそれぞれ説明する。
[0112]
 図21Aを用いて非テレセントリックの場合について説明する。図21Aには、容器112の直立時と傾斜時の側面図または上方画像、すなわち直立時の側面図2101と直立時の上方画像2102、傾斜時の側面図2105と傾斜時の上方画像2106が示される。直立時の上方画像2102と傾斜時の上方画像2106では、S302で算出された縁領域402とS1604で算出された上面領域404に基づいて、縁領域402の中心2103と上面領域404の中心2104が求められる。
[0113]
 直立時の上方画像2102と傾斜時の上方画像2106との比較から分かるように、直立時には縁領域402の中心2103と上面領域404の中心2104は一致するのに対し、傾斜時には中心2103と中心2104は一致せず、傾斜が大きくなるに従って中心2103と中心2104との距離が大きくなる。そこで状態判定部203は、縁領域402の中心2103と上面領域404の中心2104との距離に基づいて、容器112の傾きの有無を判定する。すなわち、縁領域402の中心2103と上面領域404の中心2104との距離が予め定められた閾値以上であるときは容器112が傾いていると判定され、閾値未満であるときは傾いていないと判定される。
[0114]
 図21Bを用いてテレセントリックの場合について説明する。図21Bにも図21Aと同様に、直立時の側面図2101と直立時の上方画像2102、傾斜時の側面図2105と傾斜時の上方画像2106が示される。また非テレセントリックの場合と同様に、縁領域402の中心2103と上面領域404の中心2104が求められ、テレセントリックの場合も中心2103と中心2104との距離に基づいて、容器112の傾きの有無が判定される。中心2103と中心2104との距離に基づく容器112の傾きの有無の判定は、容器112がテーパ形状を有する場合にも可能である。
[0115]
 また縁領域402の中心2103と上面領域404の中心2104との距離以外にも、容器112の内壁領域403等に基づいて容器112の傾きの有無が判定されても良い。例えば、容器112の直立時に比べて傾斜時では内壁領域403の形状が変化するので、内壁領域403の幅や面積を用いて容器112の傾きの有無が判定されても良い。また内壁領域403に限らず容器112の外壁領域が容器112の傾きの有無の判定に用いられても良い。
[0116]
 図22を用いて容器112の傾き角度の判定について説明する。本実施例においても撮像部111のレンズが非テレセントリックである場合とテレセントリックである場合とについてそれぞれ説明する。
[0117]
 図22Aを用いて非テレセントリックの場合について説明する。図22Aには、容器112の傾斜時の側面図2201と傾斜時の上方画像2202が示される。傾斜時の側面図2201において容器112の傾き角度を求めるには、容器112の縁213の中心2203と採取対象113の上面215の中心2204との水平方向の距離と鉛直方向の距離が算出できれば良い。すなわち中心2203と中心2204との水平方向の距離である中心間水平距離2205と、鉛直方向の距離である中心間鉛直距離2206とから次式により、鉛直方向に対する容器112の傾き角度θが求められる。
[0118]
[数13]


[0119]
ここでShは中心間水平距離2205であり、Hは中心間鉛直距離2206である。
[0120]
 ただし、撮像部111により撮像される画像は傾斜時の上方画像2202であるので、数13を用いて容器112の傾き角度θを求めるには、傾斜時の上方画像2202から中心間水平距離2205と中心間鉛直距離2206を取得する必要がある。まず中心間鉛直距離2206すなわち容器112の縁213から採取対象113の上面215までの距離Hは、実施例2で説明したように、上面領域404の短径を図19に例示されるテーブルと照合することにより求められる。
[0121]
 次に傾斜時の上方画像2202から中心間水平距離2205を求める。非テレセントリックの場合、撮像部111から被撮像物までの距離が長くなるに従って被撮像物の大きさが小さくなるので、採取対象113の上面215での長さは容器112の縁213での長さに補正されて扱われることが好ましい。具体的には、傾斜時の上方画像2202における縁領域402の中心2207と上面領域404の中心2208との距離である領域中心間距離2209は、上面領域404の短径と縁領域402の内径との比率に基づいて補正されることが好ましい。例えば、中心間水平距離2205であるShは次式によって算出される。
[0122]
[数14]


[0123]
ここでF1はレンズ中心2210から上面領域404の中心2208までの距離である第一中心間距離2212、F0はレンズ中心2210から縁領域402の中心2207までの距離である第二中心間距離2211である。またB0は縁領域402の内径2213、B1は上面領域404の短径2214である。数14によれば、採取対象113の上面215での長さである第二中心間距離2211が容器112の縁213での長さに補正されてから第一中心間距離2212との差分が演算されて、その絶対値が中心間水平距離2205であるShとして算出される。すなわち撮像部111から被撮像物までの距離に応じて変化する被撮像物の大きさが補正されて中心間水平距離2205であるShが算出される。
[0124]
 算出されたShと先に求められた距離Hとが数13に代入されることにより、容器112の傾き角度θが求められる。
[0125]
 図22Bを用いてテレセントリックの場合について説明する。図22Bにも図22Aと同様に、容器112の傾斜時の側面図2201と傾斜時の上方画像2202が示される。テレセントリックの場合、中心間水平距離2205は、傾斜時の上方画像2202における縁領域402の中心2207と上面領域404の中心2208との距離である領域中心間距離2209として求められる。また中心間鉛直距離2206は実施例2と同様に求められるので、中心間水平距離2205と中心間鉛直距離2206が数13に代入されて容器112の傾き角度θが求められる。
[0126]
 また図18Cのように撮像部111を傾けながら撮像し、容器112の内壁領域403が上方画像に含まれなくなった時の撮像部111の傾斜角を容器112の傾き角度θとしても良い。
[0127]
 (S2006)
 出力部105が、S2005で判定された容器112の傾きを出力する。判定の結果は、例えば制御部121へ送信され、制御部121は判定の結果に基づいて採取部122を制御する。例えば、容器112が傾いていると判定されたり、容器112の傾き角度が予め定められた閾値を超過すると判定されたりした場合、制御部121は採取部122を停止させても良い。もしくは容器112の傾き角度に応じて、採取部122の位置や傾きが調整されても良い。
[0128]
 また出力部105は判定の結果をディスプレイやプリンタへ出力し、容器112の傾きの有無や傾き角度を操作者に提示しても良いし、傾いている容器112の数の比率が予め定められた閾値を超過する場合に注意を促すメッセージ等が表示されても良い。さらに出力部105は、他の画像処理装置へ容器112の傾き角度を出力しても良く、それとともに容器112の傾き角度に応じた補正処理を行った画像を出力しても良い。容器112の傾き角度に応じた補正処理とは、例えば容器112の傾き角度に応じて画像の座標変換をすることにより、容器112の傾きによる画像の変形を補正する処理等である。
[0129]
 以上説明した処理の流れにより、画像処理装置101は単一の撮像部111で取得された上方画像212により容器112の状態の一つである容器112の傾きを判定できる。また自動分析システム100は、画像処理装置101による判定結果に応じて、採取部122を適切に制御できるので、検査効率を低下させることなく、より正確な分析を行うことができる。
実施例 4
[0130]
 実施例1乃至3では、上方画像212から算出される容器112の縁領域402や採取対象113の上面領域404に基づいて、容器112や採取対象の状態が判定されることについて説明した。画像処理装置101がFCNやDFCN等を用いて上方画像212を精度良く領域分割処理するには、機械学習に用いられる適切な教師信号が必要である。本実施例では、機械学習用の教師信号を効率的に作成することについて説明する。なお、本実施例のハードウェア構成は実施例1と同じであるので説明を省略する。
[0131]
 図23を用いて本実施例の機能ブロック図の一例について説明する。なおこれらの機能は、専用のハードウェアで構成されても良いし、演算部103上で動作するソフトウェアで構成されても良い。本実施例は、画像取得部201、領域算出部202とともに、尤度取得部2301、画像選択・表示部2302、教師信号取得部2303、学習部2304を備える。以下、実施例1で説明された画像取得部201、領域算出部202以外の各部について説明する。
[0132]
 尤度取得部2301は、領域算出部202によって算出された各領域中の各ピクセルが、例えば縁領域402、内壁領域403、上面領域404等のいずれの領域であるかの尤度を取得する。なお尤度はピクセル毎に総和が1.0になるように正規化され、各ピクセルの中の最大の尤度は最大尤度と呼ばれる。最大尤度が大きいピクセルは該当領域である確信度が高く、最大尤度が小さいピクセルは確信度が低いことになる。
[0133]
 画像選択・表示部2302は、例えば画像中の各ピクセルの最大尤度に基づいて、教師信号の付与に用いられる画像を選択し、選択された画像をディスプレイ等に表示させる。
[0134]
 教師信号取得部2303は、教師信号を含む画像である教師画像から教師信号を取得する。教師信号は操作者の操作や他の画像処理装置による領域分割処理によって付与される。
[0135]
 学習部2304は、教師画像に含まれる教師信号を用いて機械学習をし、領域算出部202が領域分割処理に用いる係数等のパラメータを算出したり、更新したりする。
[0136]
 図24を用いて、本実施例の処理の流れの一例について説明する。本実施例では、分割された各領域の確信度が比較的低い画像が選択・表示され、表示された画像に対して操作者が付与する教師信号を用いて機械学習が行われる。
[0137]
 (S2401)
 画像選択・表示部2302が、画像中の各ピクセルの尤度に基づいて、教師信号を付与するための画像を記録装置等に記録される画像群の中から選択し、ディスプレイ等に表示させる。例えば、各ピクセルの最大尤度の平均値が所定の閾値未満の画像、すなわち各領域の確信度が比較的低い画像が選択される。
[0138]
 図25を用いて、本ステップにて表示される画面の一例について説明する。図25に示される画面は、本ステップで選択された複数の画像のうち、教師信号が付与済みの画像の枚数と、未済の画像の枚数とを、容器112の種別毎に示す画像リストである。画像リスト中の任意のセル、例えば容器βの未済である100が表示されるセルがマウスのカーソル等によって選択されると、当該セルに対応する画像である容器βを含む画像が表示されても良い。
[0139]
 操作者は本画面から教師信号が付与された画像と付与されていない画像の各枚数を容器112の種別毎に確認でき、どの種別の容器112を含む画像に教師信号を付与したほうが良いかを判断できるので、教師信号を付与する作業の効率化が可能となる。なお表示される画像リストは、容器112の種別毎に分類されたものに限定されない。
[0140]
 (S2402)
 教師信号取得部2303が、操作者の操作に基づいて、S2401にて表示された画像に対する教師信号を取得する。図26と図27を用いて、本ステップにて使用される画面の一例について説明する。
[0141]
 図26に示される画面は、教師信号を付与する領域を指定するための操作画面の一例であり、画像表示部2601、画像選択部2602、修正ツール2603、保存ボタン2604、読込ボタン2605を有する。
[0142]
 画像表示部2601には、画像選択部2602での選択に応じた画像が表示される。画像選択部2602では、画像表示部2601に表示される画像の条件が選択される。図26では、画像選択部2602で原画像と領域分割結果が選択されており、領域算出部202が原画像を領域分割した結果が画像表示部2601に表示されている。
[0143]
 修正ツール2603では、教師信号を修正したい領域が選択される。例えば修正ツール2603で液面、すなわち採取対象113が液体であるときの上面が選択された状態で、画像表示部2601に表示される画像の任意のピクセルが選択されると、選択されたピクセルは上面領域404の教師信号が付与される。画像表示部2601に表示される画像中のピクセルの選択は、マウス等によって行われる。
[0144]
 保存ボタン2604は、修正後の教師信号が保存されるときに押下されるボタンである。すなわち保存ボタン2604が押下されると、教師信号取得部2303は、修正ツール2603を介して付与された教師信号を取得する。なお修正ツール2603にて修正されなかったピクセルについてはもともとの教師信号が取得される。
[0145]
 読込ボタン2605は、別の画像を選択するときに押下されるボタンである。読込ボタン2605が押下されることにより、例えば画像表示部2601に表示される画像が更新されても良いし、図25に例示される画面が表示されても良い。
[0146]
 図27に示される画面は、教師信号を付与するための操作画面の一例であり、上方画像表示部2701、容器種別表示部2702、教師信号入力部2703、保存ボタン2604、読込ボタン2605を有する。保存ボタン2604と読込ボタン2605は図26の画面と同じ機能を有するので説明を省略する。
[0147]
 上方画像表示部2701には、撮像部111により撮像された画像である上方画像212が表示される。図27では、採取対象113の上面215に気泡や脂質等の混在物216が浮いている状態が表示されている。
[0148]
 容器種別表示部2702には、領域算出部202が算出した領域に基づいて判定された容器112の種別が内径や厚みとともに表示される。なお容器112の長さや印字内容、印字位置、縁周辺のスクリューの有無、底面のリブ等が表示されても良い。また容器種別表示部2702に表示される各種情報は操作者によって修正されても良い。
[0149]
 教師信号入力部2703では、上方画像表示部2701に表示される画像の任意の領域に付与される教師信号が入力される。例えば、上方画像表示部2701に表示される画像中の気泡や脂質等に対し、上面領域404に対応する教師信号が入力される。なお教師信号入力部2703は、図27に例示されるようなテキストボックスに限定されず、ラジオボタンやプルダウンメニューのような選択肢が提示される形式でも良い。
[0150]
 図26や図27に示されるような画面の使用は、操作者による教師信号の付与の作業支援になるので教師信号を付与する作業の効率化が可能となる。
[0151]
 (S2403)
 一定数以上の新たな教師画像が収集されたか否かが判別される。一定数以上の教師画像が収集されればS2404へ処理が進み、一定数に達していなければS2401へ処理が戻る。
[0152]
 (S2404)
 学習部2304が、一定数以上の教師画像を用いた機械学習により係数を更新する。係数の更新には、例えば確率的勾配降下法等が用いられる。係数の初期値には、メモリ104に保存されている係数が用いられても良いし、乱数が用いられても良い。
[0153]
 (S2405)
 学習部2304が、更新された係数の評価を実施する。例えば、係数の評価用に正解情報付きの画像群が予め準備され、これらの画像群に対してS2404にて更新された係数と更新前の係数を用いた領域分割処理をそれぞれ実施し、正解率が上昇したか否かにより更新後の係数が評価される。
[0154]
 (S2406)
 メモリ104内の係数を上書きするか否かが判別される。上書きされるか否かの判別には、S2405の評価結果が用いられても良い。係数が上書きされるならばS2407へ処理が進み、上書きされなければ処理の流れは終了となる。
[0155]
 (S2407)
 学習部2304が、メモリ104内の係数を上書きしたり、更新前後の係数を保存したりする。
[0156]
 以上説明した処理の流れにより、領域分割結果の確信度が比較的低い画像に対して、適切な教師信号が効率よく付与されるので、画像処理装置101は効率よく適切な機械学習を行うことができる。また気泡や異物等に対しても適切な教師信号を付与することができる。適切な機械学習によって領域分割処理の精度を向上できるので、画像処理装置101が容器112や採取対象113の状態をより正しく判定可能となり、自動分析システム100はより正確な分析を行うことができる。
[0157]
 以上、本発明の複数の実施例について説明した。本発明はこれらの実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

符号の説明

[0158]
100:自動分析システム、101:画像処理装置、102:入力部、103:演算部、104:メモリ、105:出力部、106:バス、111:撮像部、112:容器、113:採取対象、121:制御部、122:採取部、123:分析部、201:画像取得部、202:領域算出部、203:状態判定部、211:側面図、212:上方画像、213:容器の縁、214:容器の内壁、215:採取対象の上面、216:混在物、217:固定部、401:領域分割像、402:縁領域、403:内壁領域、404:上面領域、405:背景領域、501:縁の二値化像、502:縁の境界像、503:その他領域、505:内側境界、506:外側境界、507:縁領域の重心、508:抽出点、901:入力画像、902:1番目のカーネル、903:2番目のカーネル、904:1層目出力データ、905:2層目出力データ、906:3層目出力データ、907:4層目出力データ、908:領域分割結果、1001:第1の入力画像、1002:第2の入力画像、1003:第3の入力画像、1004:第4の入力画像、1005:第1の領域分割結果、1006:第2の領域分割結果、1007:第3の領域分割結果、1008:第4の領域分割結果、1009:統合領域分割結果、1101:Cカーネル、1102:DCカーネル、1201:Pカーネル、1202:DPカーネル、1301:1番目のカーネル、1302:2番目のカーネル、1303:1番目のDカーネル、1304:2番目のDカーネル、1501:入力画像、1502:1番目のカーネル、1503:2番目のカーネル、1504:1層目出力データ、1505:2層目出力データ、1506:3層目出力データ、1507:4層目出力データ、1701:上面の二値化像、1702:上面の境界画像、1704:その他領域、1705:上面境界、1706:抽出点、1801:多量時の側面図、1802:多量時の上方画像、1803:多量時の上面、1804:少量時の側面図、1805:少量時の上方画像、1806:少量時の上面、1807:縁から上面までの距離、2101:直立時の側面図、2102:直立時の上方画像、2103:縁領域の中心、2104:上面領域の中心、2105:傾斜時の側面図、2106:傾斜時の上方画像、2201:傾斜時の側面図、2202:傾斜時の上方画像、2203:縁の中心、2204:上面の中心、2205:中心間水平距離、2206:中心間鉛直距離、2207:縁領域の中心、2208:上面領域の中心、2209:領域中心間距離、2210:レンズ中心、2211:第二中心間距離、2212:第一中心間距離、2213:縁領域の内径、2214:上面領域の短径、2301:尤度取得部、2302:画像選択・表示部、2303:教師信号取得部、2304:学習部、2601:画像表示部、2602:画像選択部、2603:修正ツール、2604:保存ボタン、2605:読込ボタン、2701:上方画像表示部、2702:容器種別表示部、2703:教師信号入力部

請求の範囲

[請求項1]
 試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得部と、
 前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出部と、
 前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定部と、を備えることを特徴とする画像処理装置。
[請求項2]
 請求項1に記載の画像処理装置であって、
 前記領域算出部は前記縁領域を算出し、
 前記状態判定部は前記縁領域の外径と内径に基づいて前記容器の種別を判定することを特徴とする画像処理装置。
[請求項3]
 請求項2に記載の画像処理装置であって、
 前記領域算出部は、前記上面領域をさらに算出し、
 前記状態判定部は、前記容器の種別と、前記上面領域の大きさ又は前記上面領域から前記縁領域までの距離に基づいて前記採取対象の量を判定することを特徴とする画像処理装置。
[請求項4]
 請求項1に記載の画像処理装置であって、
 前記領域算出部は、前記縁領域と前記上面領域を算出し、
 前記状態判定部は、前記縁領域の中心と前記上面領域の中心との一致度に基づいて前記容器の傾きの有無を判定することを特徴とする画像処理装置。
[請求項5]
 請求項3に記載の画像処理装置であって、
 前記状態判定部は、前記容器の種別と前記上面領域の大きさとを用いて求められる前記採取対象の高さと、前記縁領域の中心と前記上面領域の中心との距離である中心距離と、に基づいて容器の傾き角度を判定することを特徴とする画像処理装置。
[請求項6]
 請求項5に記載の画像処理装置であって、
 前記上方画像が非テレセントリックのレンズを用いて撮像された場合、前記状態判定部は、前記上面領域の短径と前記縁領域の内径との比率に基づいて前記中心距離を補正することを特徴とする画像処理装置。
[請求項7]
 請求項1に記載の画像処理装置であって、
 選択された画像を表示する表示部と、
 前記表示部に表示された画像に対する教師信号を入力するための操作画面を表示する教師信号取得部をさらに備えることを特徴とする画像処理装置。
[請求項8]
 請求項7に記載の画像処理装置であって、
 前記表示部は、選択された画像の枚数を示す画面をさらに表示することを特徴とする画像処理装置。
[請求項9]
 請求項1に記載の画像処理装置であって、
 前記領域算出部は、カーネルの要素間に所定数のゼロを挿入することにより作成されるダイレートカーネルを用いてConvolution処理およびPooling処理を実行することにより前記上方画像を複数の領域に分割して、前記縁領域または前記上面領域を算出することを特徴とする画像処理装置。
[請求項10]
 請求項9に記載の画像処理装置であって、
 前記領域算出部は、前記Convolution処理および前記Pooling処理を実行するときに前記ダイレートカーネルをずらす量であるストライド量に基づいて前記カーネルに挿入されるゼロの数を決めることを特徴とする画像処理装置。
[請求項11]
 請求項1に記載の画像処理装置を備える自動分析システムであって、
 前記容器から前記採取対象を採取する採取部と、
 前記状態判定部の判定結果に基づいて前記採取部を制御する制御部を備えることを特徴とする自動分析システム。
[請求項12]
 請求項11に記載の自動分析システムであって、
 前記状態判定部が前記容器の種別を未知の種別と判定したか、前記採取対象の量が閾値未満であると判定したか、前記容器の傾き角度が閾値以上であると判定したときに、前記制御部は前記採取部を停止させることを特徴とする自動分析システム。
[請求項13]
 請求項11に記載の自動分析システムであって、
 前記状態判定部が判定した前記容器の種別や、前記採取対象の量、前記容器の傾き角度に応じて、前記制御部は前記採取部の高さや角度を調整することを特徴とする自動分析システム。
[請求項14]
 試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得ステップと、
 前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出ステップと、
 前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定ステップと、を備えることを特徴とする画像処理方法。
[請求項15]
 画像を複数の領域に分割する画像処理方法であって、
 Convolution処理およびPooling処理に用いられるカーネルの要素間に所定数のゼロを挿入することによりダイレートカーネルを作成するステップと、
 前記ダイレートカーネルを用いてConvolution処理およびPooling処理を実行するステップと、を備えることを特徴とする画像処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6A]

[ 図 6B]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18A]

[ 図 18B]

[ 図 18C]

[ 図 19]

[ 図 20]

[ 図 21A]

[ 図 21B]

[ 図 22A]

[ 図 22B]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]