処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020075226 - 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

Document

明 細 書

発明の名称 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008  

先行技術文献

非特許文献

0009  

発明の概要

発明が解決しようとする課題

0010   0011  

課題を解決するための手段

0012   0013   0014   0015   0016   0017   0018  

発明の効果

0019  

図面の簡単な説明

0020  

発明を実施するための形態

0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106  

符号の説明

0107  

請求の範囲

1   2   3   4   5   6   7  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25  

明 細 書

発明の名称 : 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

技術分野

[0001]
 本発明は、画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムに関する。

背景技術

[0002]
 病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。
[0003]
 病理診断では、一次診断を行い、病気が疑われる場合に二次診断を行う。一次診断では、病理標本の組織形状から病気の有無を診断する。例えば、標本にHE染色(ヘマトキシリン-エオジン染色)を施し、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色される。病理医は、組織形状から形態学的に病気の有無を診断する。
[0004]
 二次診断では、分子の発現から病気の有無を診断する。例えば、標本に免疫染色を施し、抗原・抗体反応から分子の発現を可視化する。そして、病理医が、分子の発現から病気の有無を診断する。また、病理医は、陽性率(陰性細胞と陽性細胞との比率)から適切な治療方法を選択する。
[0005]
 病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム(バーチャルスライドシステム)では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。
[0006]
 さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師画像を用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。
[0007]
 深層学習は、予め設定された特徴量を自動的に計算できる機能を有し、計算資源の進歩にともなって実用され始めており、画像認識や音声認識を中心に幅広い用途で利用されている。深層学習は、病理標本画像の解析にも用いられており、非特許文献1には、深層学習を用いて、病理標本画像から乳がんを高精度に検出する方法が開示されている。深層学習は、精度のよい多数の教師画像を用意することができれば、従来の画像処理と比較しても容易に高精度な診断支援を行うことができる。
[0008]
 病理標本画像には、様々な原因により色ばらつきが生じる。例えば、染色濃度等の標本作製状態は、病理医の好みや、臨床検査技師のスキル、標本作製設備の性能に応じて色ばらつきが生じる。その結果、病理標本画像の色ばらつきが、教師画像の範囲から外れる場合、その画像に対する診断支援を適切に行うことができない。そこで、適切に診断支援を行うためには、複数の標本作製施設において異なる標本作製工程によって生成された多数の教師画像を収集することが求められる。

先行技術文献

非特許文献

[0009]
非特許文献1 : “Accurate and reproducible invasive breast cancer detection in wholeslide images: A Deep Learning approach for quantifying tumor extent” , Scientific Reports | 7:46450 | DOI: 10.1038/srep46450

発明の概要

発明が解決しようとする課題

[0010]
 しかしながら、複数の標本製作施設においてあらゆる標本作製工程にそれぞれ対応して生成された画像を収集することは困難である。そのため、従来、教師画像の標本作製工程とは異なる標本作製工程によって生成された画像は、診断支援の対象外とされていた。また、教師画像に色空間内において画像補正を施し、教師画像の枚数を増やす技術もあるが、色空間内における画一的な画像補正では、診断支援の精度が低下してしまう。
[0011]
 本発明は、上記に鑑みてなされたものであって、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを提供することを目的とする。

課題を解決するための手段

[0012]
 上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置の作動方法は、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも1つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか1つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。
[0013]
 また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
[0014]
 また、本発明の一態様に係る画像処理装置の作動方法は、組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、前記染色特性変換部が、前記入力教師画像の少なくとも1つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか1つの教師画像の前記選択した組織の前記染色特性に変換し、前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。
[0015]
 また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する。
[0016]
 また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする。
[0017]
 また、本発明の一態様に係る画像処理装置は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、前記入力教師画像の少なくとも1つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか1つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、を備える。
[0018]
 また、本発明の一態様に係る画像処理装置の作動プログラムは、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも1つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか1つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、を画像処理装置に実行させる。

発明の効果

[0019]
 本発明によれば、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを実現することができる。

図面の簡単な説明

[0020]
[図1] 図1は、本発明の実施の形態1に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
[図2] 図2は、図1に示す画像処理装置の動作を示すフローチャートである。
[図3] 図3は、標本作製工程プロトコルの一覧を表す図である。
[図4] 図4は、入力教師画像の一画素の分光スペクトルを表す図である。
[図5] 図5は、入力教師画像の一画素のH色素スペクトルを表す図である。
[図6] 図6は、入力教師画像の一画素のH色素量を表す図である。
[図7] 図7は、入力教師画像の一画素のDAB色素スペクトルを表す図である。
[図8] 図8は、入力教師画像の一画素のDAB色素量を表す図である。
[図9] 図9は、変換する教師画像のH色素スペクトルを表す図である。
[図10] 図10は、変換する教師画像のH色素量を表す図である。
[図11] 図11は、本発明の実施の形態2に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
[図12] 図12は、図11に示す画像処理装置の動作を示すフローチャートである。
[図13] 図13は、標本作製工程プロトコルの一覧を表す図である。
[図14] 図14は、入力教師画像の各画素のH色素スペクトルを表す図である。
[図15] 図15は、入力教師画像の各画素のDAB色素スペクトルを表す図である。
[図16] 図16は、細胞核と細胞質とを分離する様子を表す図である。
[図17] 図17は、細胞核と細胞質とのH色素スペクトルを表す図である。
[図18] 図18は、細胞核と細胞質とのH色素量を表す図である。
[図19] 図19は、細胞核と細胞質とのDAB色素スペクトルを表す図である。
[図20] 図20は、細胞核と細胞質とのDAB色素量を表す図である。
[図21] 図21は、変換する教師画像の細胞核と細胞質とのH色素スペクトルを表す図である。
[図22] 図22は、変換する教師画像の細胞核と細胞質とのH色素量を表す図である。
[図23] 図23は、本発明の実施の形態3に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
[図24] 図24は、図23に示す画像処理装置の動作を示すフローチャートである。
[図25] 図25は、本発明の実施の形態4に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。

発明を実施するための形態

[0021]
 以下に、図面を参照して本発明に係る画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、複数の教師画像を用いて診断支援を行う画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム一般に適用することができる。
[0022]
 また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
[0023]
(実施の形態1)
 図1は、本発明の実施の形態1に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図1に示すように、撮像システム1は、蛍光顕微鏡等の撮像装置170と、該撮像装置170と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置100とによって構成される。
[0024]
 画像処理装置100は、撮像装置170から画像データを取得する画像取得部110と、画像処理装置100及び撮像装置170を含むシステム全体の動作を制御する制御部120と、画像取得部110が取得した画像データ等を記憶する記録部130と、記録部130に記憶された画像データに基づき、所定の画像処理を実行する演算部140と、入力部150と、表示部160と、を備える。
[0025]
 画像取得部110は、当該画像処理装置100を含むシステムの態様に応じて適宜構成される。例えば、撮像装置170を画像処理装置100に接続する場合、画像取得部110は、撮像装置170から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置170によって生成された画像データを保存しておくサーバを設置する場合、画像取得部110はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部110を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
[0026]
 制御部120は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部120が汎用プロセッサである場合、記録部130が記憶する各種プログラムを読み込むことによって画像処理装置100を構成する各部への指示やデータの転送等を行い、画像処理装置100全体の動作を統括して制御する。また、制御部120が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部130が記憶する各種データ等を用いることで、プロセッサと記録部130が協働又は結合して種々の処理を実行しても良い。
[0027]
 制御部120は、画像取得部110や撮像装置170の動作を制御して画像を取得する画像取得制御部121を有し、入力部150から入力される入力信号、画像取得部110から入力される画像、及び記録部130に格納されているプログラムやデータ等に基づいて画像取得部110及び撮像装置170の動作を制御する。
[0028]
 記録部130は、更新記録可能なフラッシュメモリ等のROM(Read Only Memory)やRAM(Random Access Memory)といった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはDVD-ROM等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記録部130は、画像処理プログラムを記憶するプログラム記録部131と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記録部132と、を備える。
[0029]
 演算部140は、CPUやGPU(Graphics Processing Unit)等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部140が汎用プロセッサである場合、プログラム記録部131が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部140が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部130が記憶する各種データ等を用いることで、プロセッサと記録部130が協働又は結合して画像処理を実行しても良い。
[0030]
 詳細には、演算部140は、染色特性記録部141と、染色特性推定部142と、染色特性変換部143と、仮想画像生成部144と、を備える。
[0031]
 染色特性記録部141は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部130に記録する。
[0032]
 染色特性推定部142は、複数の色素による染色を含む複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力されたた染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する。
[0033]
 染色特性変換部143は、入力教師画像の各色素の染色特性を、記録部130に記録された各教師画像の各色素の染色特性に繰り返し変換する。ただし、染色特性変換部143は、入力教師画像の少なくとも1つの選択した色素の染色特性を、複数の教師画像のうちいずれか1つの教師画像の選択した色素の染色特性に変換すればよい。
[0034]
 仮想画像生成部144は、染色特性変換部143が変換した色素の染色特性に基づいて、複数の教師画像及び入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。具体的には、仮想画像生成部144が、染色特性変換部143が変換した各色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
[0035]
 入力部150は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部120に出力する。
[0036]
 表示部160は、LCD(Liquid CrystalDisplay)やEL(Electro Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の表示装置によって実現されるものであり、制御部120から入力される表示信号をもとに各種画面を表示する。
[0037]
 撮像装置170は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を含み、画像処理装置100の画像取得部110による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置170は、RGBカメラを備え、RGB画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
[0038]
 次に、本実施の形態1に係る撮像システムを用いて仮想的な教師画像を生成する処理を説明する。図2は、図1に示す画像処理装置の動作を示すフローチャートである。図2に示すように、まず、染色特性記録部141は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部130に記録する(ステップS1)。
[0039]
 続いて、演算部140は、全ての教師画像の染色特性を推定したか否かを判定する(ステップS2)。演算部140が、全ての教師画像の染色特性を推定していないと判定した場合、ステップS1に戻り処理が繰り返される。すなわち、演算部140は、全ての教師画像の染色特性を推定するまで、処理を繰り返す。
[0040]
 図3は、標本作製工程プロトコルの一覧を表す図である。図3に示すように、染色特性記録部141は、ステップS1~S2の処理により、例えばヘマトキシリン(H)染色、DAB(Diamino Benzidine)染色により染色された互いに異なる複数の標本作製工程プロトコル(プロトコル1、2、・・・N)により作製された染色標本画像であるN枚の教師画像に対して、教師画像ごとに染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部130に記録する。その結果、図3に示す染色特性のデータベースを生成することができる。図3に示すデータベースの標本作製工程プロトコルの欄には、各教師画像を作製した際の工程が記録されている。具体的には、固定、切り出し、包埋、薄切、染色、封入時の条件や使用した薬品の種類等を標本作製工程プロトコルとして記録する。また、図3に示すデータベースの染色特性の欄には、H色素、DAB色素のそれぞれについて推定した色素スペクトル及び色素量が格納されている。図3には、染色特性を記録したファイル名のみが記載されているが、例えば「H色素スペクトルA」のファイルには、各教師画像の各画素におけるH色素スペクトルのデータ群が記録されており、「H色素量A」のファイルには、各教師画像の各画素におけるH色素量のデータ群が記録されている。なお、実施の形態1において、ヘマトキシリン染色、DAB染色により染色を行う例について説明するが、染色は、他の対比染色、特殊染色、免疫染色でもよい。
[0041]
 その後、染色特性推定部142は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する(ステップS3)。入力教師画像は、学習用の教師画像として入力され、H染色、DAB染色による染色を含む標本作製工程プロトコルにより作製された染色標本画像であって、その標本作製工程プロトコルは、N枚の教師画像のそれぞれと異なる標本作製工程プロトコルである。
[0042]
 図4は、入力教師画像の一画素の分光スペクトルを表す図である。染色特性推定部142は、図4に示すような分光スペクトルを入力教師画像の各画素について推定する。
[0043]
 図5は、入力教師画像の一画素のH色素スペクトルを表す図である。図6は、入力教師画像の一画素のH色素量を表す図である。図7は、入力教師画像の一画素のDAB色素スペクトルを表す図である。図8は、入力教師画像の一画素のDAB色素量を表す図である。染色特性推定部142は、入力教師画像の各画素について、図4に示す分光スペクトルから、図5に示すH色素スペクトル、図6に示すH色素量、図7に示すDAB色素スペクトル、図8に示すDAB色素量をそれぞれ推定する。
[0044]
 染色特性の推定は、分光画像から推定してもよいし、入力画像から分光スペクトルを推定してもよい。特開2009-270890号公報には、多バンド画像から分光スペクトルを推定する方法が開示されている。病理標本を透過光で観察する場合、標本が薄く、吸収が支配的であるから、ランベルト・ベールの法則に基づいて、色素量を推定してもよい。少バンド数から推定する場合、正確に色素量を推定するために様々な工夫をなすことが好ましい。また、特開2011-53074号公報、特開2009-8481号公報、特開2012-207961号公報には、入力画像から色素スペクトルを推定する方法が開示されている。これらの文献から、複数の色素スペクトルを用いる方法、色素スペクトルを計測スペクトルに一致するように補正する方法、色素スペクトルを変化モデルに基づいて補正する方法等を適宜選択して用いることができる。
[0045]
 さらに、染色特性変換部143は、入力教師画像の各色素の染色特性を、記録部130に記録された教師画像の色素の染色特性に変換する(ステップS4)。図9は、変換する教師画像のH色素スペクトルを表す図である。図10は、変換する教師画像のH色素量を表す図である。図9及び図10は、例えば図3に示すプロトコル1のH色素スペクトルA及びH色素量Aにそれぞれ対応する。そして、染色特性変換部143は、図4に示す入力教師画像のH色素スペクトルを図9に示す教師画像のH色素スペクトルに変換し、図5に示す入力教師画像のH色素量を図10に示す教師画像のH色素量に変換する。なお、H色素スペクトルは、例えば入力教師画像の各画素のH色素スペクトルを教師画像内の各画素のH色素スペクトルを平均したスペクトルと変換すればよい。また、H色素量は、例えば入力教師画像の各画素のH色素スペクトルの最大値と、教師画像内の各画素のH色素スペクトルの平均したスペクトルの最大値との比率に応じて算出すればよい。DAB色素についても同様の方法で変換すればよい。
[0046]
 そして、仮想画像生成部144が、染色特性変換部143が変換した色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する(ステップS5)。
[0047]
 続いて、演算部140は、全ての教師画像の全ての色素について変換したか否かを判定する(ステップS6)。演算部140が、全ての教師画像の全ての色素について変換していないと判定した場合、ステップS4に戻り処理が繰り返される。すなわち、演算部140は、全ての教師画像の全ての色素について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、N枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、H色素を変換する場合と、DAB色素を変換する場合とを考慮すると、合計で2N枚の仮想的な染色標本画像を生成することができる。
[0048]
 以下において、具体的な計算方法を説明する。まず、座標(x,y)と波長λを用いて表される変換後の吸光度a’(x,y,λ)は、任意の教師画像の任意の色素の基準色素量をD、任意の教師画像の任意の色素の基準スペクトルをA(λ)、座標(x,y)の任意の色素の色素量をd(x,y)として、以下の式(1)のように表すことができる。なお、添え字Hはヘマトキシリン染色の色素量、DABはDAB染色の色素量、srcは変換前の色素量、destは変換後の色素量を表す。
[数1]


[0049]
 続いて、変換後の透過率s(x,y,λ)は、式(1)により求めた変換後の吸光度a’(x,y,λ)を用いて、以下の式(2)のように表すことができる。
[数2]


[0050]
 さらに、sRGB画像は、式(2)により求めた変換後の透過率s(x,y,λ)を用いて、以下の式(3)~(5)のように表すことができる。なお、X(x,y)、Y(x,y)、Z(x,y)は、座標(x,y)の変換後のXYZ色空間の値である。また、f (λ)、f (λ)、f (λ)は、XYZ等色関数の値である。
[数3]


[数4]


[数5]


[0051]
 そして、sRGB linearは、以下の式(6)により算出することができる。なお、R linear、G linear、B linearは、変換後の線形sRGBの値である。
[数6]


[0052]
 さらに、C linear(x,y,b)≦0.0031308(x,y,b)の場合、C srgb(x,y,b)=12.96・C linear(x,y,b)、C linear(x,y,b)>0.0031308の場合、C srgb(x,y,b)=1.055・C linear(x,y,b) 1/24-0.055を計算することにより、非線形なsRCG画像を生成することができる。なお、C linear、C srgbは、変換後の線形sRGBのいずれかの値、変換後のsRGBのいずれかの値である。
[0053]
 なお、仮想的な染色標本画像として、RGB画像に限らず、特殊光画像、多バンド画像、又は、分光画像を生成してもよい。特殊光画像、多バンド画像を生成する場合は、分光スペクトルにカメラ感度特性及び照明特性を乗算することにより仮想的な染色標本画像を算出する。なお、カメラ感度特性に加えてフィルタ特性を考慮してもよい。
[0054]
 以上説明したように、実施の形態1によれば、入力教師画像の染色特性と教師画像の染色特性とを入れ換えることにより、仮想的な標本作製工程プロトコルにより作製した多数の病理標本画像を作製することができる。そして、作製した仮想的な染色標本画像を新たな教師画像とすることにより、教師画像の枚数を大量に増やすことができる。この変換では、色素の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。なお、上述した実施の形態1では、全ての教師画像の全ての色素について変換を行ったが、少なくとも1枚の教師画像の1つの色素と変換を行えば仮想的な染色標本画像を作製することができる。
[0055]
(実施の形態2)
 次に、本発明の実施の形態2について説明する。図11は、本発明の実施の形態2に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図11に示すように、撮像システム1Aにおいて、画像処理装置100Aの演算部140Aは、複数の教師画像及び入力教師画像の各画素の染色特性から各画素が属する組織を推定する組織特性推定部145Aを備える。
[0056]
 図12は、図11に示す画像処理装置の動作を示すフローチャートである。図12に示すように、実施の形態1と同様に、染色特性記録部141は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する(ステップS11)。
[0057]
 そして、組織特性推定部145Aは、複数の教師画像の各画素の染色特性から各画素が属する組織を推定し、該教師画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部130に記録する(ステップS12)。
[0058]
 続いて、演算部140は、全ての教師画像の組織を推定したか否かを判定する(ステップS13)。演算部140が、全ての教師画像の組織を推定していないと判定した場合、ステップS1に戻り処理が繰り返される。すなわち、演算部140は、全ての教師画像の組織を推定するまで、処理を繰り返す。
[0059]
 図13は、標本作製工程プロトコルの一覧を表す図である。図13に示すように、演算部140は、ステップS11~S13の処理により、例えばH染色、DAB染色により染色された互いに異なる複数の標本作製工程プロトコル(プロトコル1、2、・・・N)により作製された染色標本画像であるN枚の教師画像に対して、教師画像ごとに組織の染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部130に記録する。その結果、図13に示す組織の染色特性のデータベースを生成することができる。図13に示すデータベースの標本作製工程プロトコルの欄には、実施の形態1の図3と同様に、各教師画像を作製した際の工程が記録されている。また、図13に示すデータベースの組織の染色特性の欄には、細胞核及び細胞質のそれぞれについて、H色素、DAB色素にそれぞれについて推定した色素スペクトル及び色素量が格納されている。
[0060]
 その後、染色特性推定部142は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する(ステップS14)。
[0061]
 図14は、入力教師画像の各画素のH色素スペクトルを表す図である。図15は、入力教師画像の各画素のDAB色素スペクトルを表す図である。染色特性推定部142は、図4に示す分光スペクトルから、図14、図15に示す各色素のスペクトルを推定する。
[0062]
 続いて、組織特性推定部145Aは、入力教師画像の各画素の染色特性から各画素が属する組織を推定する(ステップS15)。図16は、細胞核と細胞質とを分離する様子を表す図である。組織特性推定部145Aは、図14に示すH色素スペクトルから、画素ごとにH色素量とHシフト量とを推定してプロットする。そして、プロットした点が位置する領域に応じて、領域R1に含まれる細胞質か、領域R2に含まれる細胞核か、各画素を分類する。なお、Hシフト量とは、H色素スペクトルのピークに対応する値である。また、組織は、細胞核、細胞質に限られず、細胞膜、赤血球、線維、粘液、脂肪等であってもよい。
[0063]
 なお、特開2012-117844号公報及び特開2012-233784号公報に開示されているように、各組織の染色特性を自動的に算出してもよい。これらの文献から、各組織の染色特性を自動的に算出する方法は、色素量分布から組織分類する方法、又は波長シフト量等の波長特徴量から組織分類する方法等を適宜選択して用いることができる。また、手動により各組織のサンプル画素を選択し、各組織の染色特性を設定してもよい。
[0064]
 図17は、細胞核と細胞質とのH色素スペクトルを表す図である。図18は、細胞核と細胞質とのH色素量を表す図である。図19は、細胞核と細胞質とのDAB色素スペクトルを表す図である。図20は、細胞核と細胞質とのDAB色素量を表す図である。染色特性推定部142は、入力教師画像の各画素について、図14、図15に示す各色素のスペクトルから、図17に示す細胞核と細胞質とのH色素スペクトル、図18に示す細胞核と細胞質とのH色素量、図19に示す細胞核と細胞質とのDAB色素スペクトル、図20に示す細胞核と細胞質とのDAB色素量をそれぞれ推定する。
[0065]
 さらに、染色特性変換部143は、入力教師画像の各組織の染色特性を、記録部130に記録された教師画像の組織の染色特性に変換する(ステップS16)。図21は、変換する教師画像の細胞核と細胞質とのH色素スペクトルを表す図である。図22は、変換する教師画像の細胞核と細胞質とのH色素量を表す図である。図21及び図22は、例えば図13に示すプロトコル1の「H色素スペクトルA1」及び「H色素量A1」にそれぞれ対応する。そして、染色特性変換部143は、図17に示す入力教師画像のH色素スペクトルを図21に示す教師画像のH色素スペクトルに変換し、図18に示す入力教師画像のH色素量を図22に示す教師画像のH色素量に変換する。
[0066]
 そして、仮想画像生成部144が、染色特性変換部143が変換した組織の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する(ステップS17)。
[0067]
 続いて、演算部140は、全ての教師画像の全ての組織について変換したか否かを判定する(ステップS18)。演算部140が、全ての教師画像の全ての組織について変換していないと判定した場合、ステップS16に戻り処理が繰り返される。すなわち、演算部140は、全ての教師画像の全ての組織について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、N枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、細胞核を変換する場合と、細胞質を変換する場合とを考慮すると、合計で2N枚の仮想的な染色標本画像を生成することができる。
[0068]
 なお、計算方法は、実施の形態1と同様であるが、吸光度a’(x,y,λ)を計算する際に、細胞核の吸光度は、式(1)に代えて以下の式(7)により求めることができ、細胞質の吸光度は、式(1)に代えて以下の式(8)により求めることができる。
[数7]


[数8]


[0069]
 以上説明したように、実施の形態2によれば、組織の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。
[0070]
(実施の形態3)
 次に、本発明の実施の形態3について説明する。図23は、本発明の実施の形態3に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図23に示すように、撮像システム1Bにおいて、画像処理装置100Bの演算部140Bは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する推定オペレータ算出部146Bと、推定オペレータに基づいて、入力画像から正解画像を推定する正解画像推定部147Bと、を備える。
[0071]
 図24は、図23に示す画像処理装置の動作を示すフローチャートである。図24の処理を行う前に、図12に記載した一連の処理は既に行われている。図24に示すように、複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する(ステップS21)。
[0072]
 そして、組織特性推定部145Aは、入力画像の各画素の染色特性から各画素が属する組織を推定し、該入力画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部130に記録する(ステップS22)。
[0073]
 推定オペレータ算出部146Bは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する(ステップS23)。
[0074]
 回帰分析を用いた推定は、線形回帰でもよいし、機械学習(深層学習を含む)でもよい。従って、推定オペレータは、回帰行列でもよいし、深層学習のネットワークでもよい。
[0075]
 また、クラス分類は、線形判別でもよいし、機械学習(深層学習を含む)でもよい。従って、推定オペレータは、線形判別関数でもよいし、深層学習のネットワークでもよい。
[0076]
 正解画像推定部147Bは、推定オペレータに基づいて、入力画像から正解画像を推定する(ステップS24)。
[0077]
 以下において、具体的な計算方法を説明する。まず、回帰行列は、e、r、g、bを入力画像の任意の座標において推定される正解画像の画素値、m 、m 、m を回帰行列として、以下の式(9)、(10)のように表すことができる。
[数9]


[数10]


[0078]
 また、E、C、Mを行列表記とすると、以下の式(11)、(12)のように表すことができる。
[数11]


[数12]


[0079]
 また、深層学習のネットワークを用いる場合、回帰推定は、“Image-to-Image Translation with Conditional Adversarial Networks” , arXiv:1611.07004v1 [cs.CV] 21 Nov 2016に記載されている方法によって最適化することができる。
[0080]
 また、クラス分類を行う場合、“ImageNet Classification with Deep Convolutional Neural Networks” , Alex Krizhevsky and Sutskever, Ilya and Geoffrey E. Hinton - NIPS2012_4824に記載されている方法によって最適化することができる。
[0081]
 また、別の用途のために学習したネットワークを利用して、転移学習を行ってもよい。転移学習によって、容易に推定を行うことができる。
[0082]
 なお、機械学習(深層学習を含む)を行う構成と、正解画像推定部147Bとを別の構成としてもよい。さらに、機械学習(深層学習を含む)を行う構成は、インターネット回線を経由して接続されたサーバ等に設けられていてもよい。
[0083]
(変形例3-1)
 変形例3-1では、教師画像としての免疫染色画像と、正解画像としての免疫染色画像から陽性細胞及び陰性細胞を検出した画像とのデータセットを用意する。正解画像は、例えば免疫染色画像に対して、医師が手作業で陽性細胞及び陰性細胞に対応する領域をマーキングすることにより準備することができる。
[0084]
 推定オペレータ算出部146Bは、用意したデータセットに基づいて、免疫染色画像である入力画像を陽性細胞、陰性細胞、それ以外の領域に分類するクラス分類処理を推定オペレータとして算出する。
[0085]
 正解画像推定部147Bは、推定オペレータに基づいて、入力画像から正解画像として陽性細胞及び陰性細胞を検出した画像を推定する。その結果、病理医は、正解画像により陽性細胞及び陰性細胞を容易に識別することができ、病理医の負担が軽減される。
[0086]
(変形例3-2)
 変形例3-2では、教師画像としてのHE染色画像と、正解画像としてのHE染色画像から正常領域及びがん領域を検出した画像とのデータセットを用意する。正解画像は、例えばHE染色画像に対して、医師が手作業で正常領域及びがん領域に対応する領域をマーキングすることにより準備することができる。
[0087]
 推定オペレータ算出部146Bは、用意したデータセットに基づいて、HE染色画像である入力画像を正常領域、がん領域に分類するクラス分類処理を推定オペレータとして算出する。
[0088]
 正解画像推定部147Bは、推定オペレータに基づいて、入力画像から正解画像として正常領域及びがん領域を検出した画像を推定する。その結果、病理医は、正解画像により正常領域及びがん領域を容易に識別することができ、病理医の負担が軽減される。
[0089]
(変形例3-3)
 変形例3-3では、教師画像としての多重染色標本画像と、正解画像としての多重染色標本画像から各染色の色素スペクトル画像又は色素量画像とのデータセットを用意する。正解画像は、分光画像から算出することができる。
[0090]
 推定オペレータ算出部146Bは、用意したデータセットに基づいて、多重染色標本画像である入力画像から各染色の仮想的な色素スペクトル画像又は色素量画像を回帰推定する処理を推定オペレータとして算出する。
[0091]
 正解画像推定部147Bは、推定オペレータに基づいて、入力画像から正解画像として各染色の仮想的な色素スペクトル画像又は色素量画像を推定する。
[0092]
(変形例3-4)
 変形例3-4では、教師画像としてのIHC染色画像と、正解画像として標準とする標本作製工程プロトコルの標準染色特性画像とのデータセットを用意する。
[0093]
 推定オペレータ算出部146Bは、用意したデータセットに基づいて、IHC染色画像である入力画像から標準染色特性画像を回帰推定する処理を推定オペレータとして算出する。
[0094]
 正解画像推定部147Bは、推定オペレータに基づいて、入力画像から正解画像として標準染色特性画像を推定する。
[0095]
(変形例3-5)
 変形例3-5では、教師画像としての組織標本画像と、正解画像としての組織標本画像に対して細胞核、細胞質等の組織を分類した画像とのデータセットを用意する。
[0096]
 推定オペレータ算出部146Bは、用意したデータセットに基づいて、組織標本画像である入力画像を細胞核、細胞質等に分類するクラス分類処理を推定オペレータとして算出する。
[0097]
 正解画像推定部147Bは、推定オペレータに基づいて、入力画像から正解画像として細胞核、細胞質等に分類した画像を推定する。
[0098]
(実施の形態4)
 次に、本発明の実施の形態4について説明する。図25は、本発明の実施の形態4に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図25に示すように、本実施の形態4に係る撮像システム1Cは、撮像装置170が設けられた顕微鏡装置200と、画像処理装置100と、を備える。なお、画像処理装置100の代わりに、図10に示す画像処理装置100A又は画像処理装置100Bを設けても良い。
[0099]
 顕微鏡装置200は、落射照明ユニット201及び透過照明ユニット202が設けられた略C字形のアーム200aと、該アーム200aに取り付けられ、観察対象である被写体SPが載置される標本ステージ203と、鏡筒205の一端側に三眼鏡筒ユニット207を介して標本ステージ203と対向するように設けられた対物レンズ204と、標本ステージ203を移動させるステージ位置変更部206と、を有する。三眼鏡筒ユニット207は、対物レンズ204から入射した被写体SPの観察光を、鏡筒205の他端側に設けられた撮像装置170と後述する接眼レンズユニット208とに分岐する。接眼レンズユニット208は、ユーザが被写体SPを直接観察するためのものである。
[0100]
 落射照明ユニット201は、落射照明用光源201a及び落射照明光学系201bを備え、被写体SPに対して落射照明光を照射する。落射照明光学系201bは、落射照明用光源201aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
[0101]
 透過照明ユニット202は、透過照明用光源202a及び透過照明光学系202bを備え、被写体SPに対して透過照明光を照射する。透過照明光学系202bは、透過照明用光源202aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
[0102]
 対物レンズ204は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ204、204’)を保持可能なレボルバ209に取り付けられている。このレボルバ209を回転させて、標本ステージ203と対向する対物レンズ204、204’を変更することにより、撮像倍率を変化させることができる。
[0103]
 鏡筒205の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
[0104]
 ステージ位置変更部206は、例えばステッピングモータ等の駆動部206aを含み、標本ステージ203の位置をXY平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部206には、標本ステージ203をZ軸に沿って移動させることにより、対物レンズ204の焦点を被写体SPに合わせる。
[0105]
 このような顕微鏡装置200において生成された被写体SPの拡大像を撮像装置170においてマルチバンド撮像することより、被写体SPのカラー画像である教師画像が表示部160に表示される。そして、画像処理装置100、画像処理装置100A、又は画像処理装置100Bが、教師画像から仮想的な染色標本画像を生成する。
[0106]
 さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

符号の説明

[0107]
 1、1A、1B、1C 撮像システム
 100、100A、100B 画像処理装置
 110 画像取得部
 120 制御部
 121 画像取得制御部
 130 記録部
 131 プログラム記録部
 132 画像データ記録部
 140、140A、140B 演算部
 141 染色特性記録部
 142 染色特性推定部
 143 染色特性変換部
 144 仮想画像生成部
 145A 組織特性推定部
 146B 推定オペレータ算出部
 147B 正解画像推定部
 150 入力部
 160 表示部
 170 撮像装置
 200 顕微鏡装置
 200a アーム
 201 落射照明ユニット
 201a 落射照明用光源
 201b 落射照明光学系
 202 透過照明ユニット
 202a 透過照明用光源
 202b 透過照明光学系
 203 標本ステージ
 204、204’ 対物レンズ
 205 鏡筒
 206 ステージ位置変更部
 206a 駆動部
 207 三眼鏡筒ユニット
 208 接眼レンズユニット
 209 レボルバ

請求の範囲

[請求項1]
 染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
 染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
 染色特性変換部が、前記入力教師画像の少なくとも1つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか1つの教師画像の前記選択した色素の前記染色特性に変換し、
 仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する画像処理装置の作動方法。
[請求項2]
 前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、
 前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する請求項1に記載の画像処理装置の作動方法。
[請求項3]
 組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、
 前記染色特性変換部が、前記入力教師画像の少なくとも1つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか1つの教師画像の前記選択した組織の前記染色特性に変換し、
 前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する請求項1又は2に記載の画像処理装置の作動方法。
[請求項4]
 前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
 推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、
 正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する請求項1~3のいずれか1つに記載の画像処理装置の作動方法。
[請求項5]
 前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、
 前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする請求項3に記載の画像処理装置の作動方法。
[請求項6]
 複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、
 前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、
 前記入力教師画像の少なくとも1つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか1つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、
 前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、
 を備える画像処理装置。
[請求項7]
 染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
 染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
 染色特性変換部が、前記入力教師画像の少なくとも1つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか1つの教師画像の前記選択した色素の前記染色特性に変換し、
 仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、
 を画像処理装置に実行させる画像処理装置の作動プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]