此应用程序的某些内容目前无法使用。
如果这种情况持续存在,请联系我们反馈与联系
1. (WO2019044416) IMAGING PROCESSING DEVICE, CONTROL METHOD FOR IMAGING PROCESSING DEVICE, AND IMAGING PROCESSING PROGRAM
Document

明 細 書

発明の名称 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007  

先行技術文献

特許文献

0008  

発明の概要

発明が解決しようとする課題

0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023  

発明の効果

0024  

図面の簡単な説明

0025  

発明を実施するための形態

0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075  

符号の説明

0076  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム

技術分野

[0001]
 本発明は、観察対象が収容された容器が設置されたステージと観察対象の像を結像させる結像光学系とを相対的に移動させることによって、観察対象全体の像を観察する撮影処理装置、撮影処理装置の制御方法および撮影処理プログラムに関するものである。

背景技術

[0002]
 ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。
[0003]
 そして、ES細胞およびiPS細胞等の多能性幹細胞、または分化誘導された細胞等を顕微鏡等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を評価する方法が提案されている。
[0004]
 一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査して各観察領域を撮影した後、観察領域毎の撮影画像を繋ぎ合わせて合成画像を生成する方法が提案されている。
[0005]
 ここで、上述したようにウェル内の各観察領域を走査して撮影する際、各観察領域においてオートフォーカス制御が行われる。しかしながら、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケた画像となる場合がある。また、例えば顕微鏡装置における光源に印可される電圧変動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。
[0006]
 このようにボケた画像および暗い画像のように品質が低い撮影画像については、個々の細胞の画像を高精度に抽出することができない。このため、例えば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、低品質の撮影画像と、ボケが無くかつ明るさも問題ない低品質ではない撮影画像とを同じように評価したのでは正確な評価結果を得ることができない場合がある。
[0007]
 このため、タイリング撮影を行う場合において、ある観察領域の撮影画像の品質が低い場合に、その観察領域を再撮影する手法が提案されている(特許文献1参照)。特許文献1に記載された手法のように再撮影を行うことにより、低品質ではない撮影画像を取得することができるため、正確な評価結果を得ることが可能となる。なお、特許文献1に記載の手法においては、撮影画像が低品質であるか否かの判断を以下のようにして行っている。すなわち、フォーカスについての評価値および明るさについての評価値等を、対象となる撮影画像および対象となる撮影画像に隣接する撮影画像について算出する。そして、2つの撮影画像の評価値についての連続性を判断する。具体的には、対象となる撮影画像の評価値と隣接する撮影画像の評価値との差がしきい値よりも大きい場合に、対象となる撮影画像が低品質の撮影画像であると判断する。

先行技術文献

特許文献

[0008]
特許文献1 : 特開2016-125913号公報

発明の概要

発明が解決しようとする課題

[0009]
 ところで、上述したウェル等の容器内においては、培養液である培地の上に細胞が培養されている。このため、容器内には、細胞が存在する領域と培地の領域とが混在している。ここで、培地の領域は細胞が存在しないため、画像としては均一な濃度を有する。このため、観察領域に培地が含まれる場合、その観察領域の撮影画像がボケているのか否かを評価することが困難となる。また、容器内には観察対象となる細胞の他、浮遊細胞等の観察対象でない細胞も含まれる。浮遊細胞等が含まれると、対象となる細胞ではなく、浮遊細胞に焦点位置が合ってしまう可能性がある。このような場合においても、対象となる観察領域の撮影画像がボケているのか否かを評価することが困難となる。したがって、特許文献1に記載された手法のように、単純に隣接する撮影画像間における評価値を用いたのでは、撮影画像が低品質であるか否かを正確に判断することができない。
[0010]
 本発明は上記事情に鑑みなされたものであり、容器内の各観察領域の撮影画像の品質が低くても、より正確かつ、信頼性の高い評価を行うことができるようにすることを目的とする。

課題を解決するための手段

[0011]
 本発明の撮影処理装置は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備え、容器および撮像部の少なくとも一方を他方に対して相対的に移動させて、観察領域の位置を変更しつつ、容器を複数回撮影して、複数の撮影画像を取得する観察装置と、
 撮影画像から観察対象の領域を検出する領域検出部と、
 複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定する撮影画像判定部と、
 対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する処理制御部とを備える。
[0012]
 「近接する少なくとも1つの他の撮影画像」とは、対象撮影画像を基準とした予め定められた範囲内にある撮影画像を意味する。例えば、対象撮影画像に隣接する1以上の撮影画像を「近接する少なくとも1つの他の撮影画像」とすることができる。また、対象撮影画像に隣接する1以上の撮影画像に加えて、またはこれに代えて、予め定められた範囲内において、この隣接する撮影画像にさらに隣接する1以上の撮影画像を、「近接する少なくとも1つの他の撮影画像」に含めることができる。
[0013]
 「低品質である」とは、他の撮影画像と比較して品質が低いことを意味する。具体的には、他の撮影画像と比較して、対象撮影画像がボケていたり、暗かったりして、精度よく評価を行うことができない品質となっていることを意味する。
[0014]
 なお、本発明による撮影処理装置においては、処理制御部は、対象撮影画像が低品質であると判定された場合、対象撮影画像に対応する観察領域を再撮影するものであってもよい。
[0015]
 また、本発明による撮影処理装置においては、処理制御部は、対象撮影画像が低品質であると判定された場合、対象撮影画像が低品質であることを通知するものであってもよい。
[0016]
 なお、通知がなされた場合、操作者は対象撮影画像を再度撮影する処理を行うこととなる。このため、本発明において「通知」は、撮影の制御に含まれるものとする。
[0017]
 また、本発明による撮影処理装置においては、処理制御部は、対象撮影画像が低品質であると判定された場合、対象撮影画像に対して、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行うものであってもよい。
[0018]
 また、本発明による撮影処理装置においては、撮影画像判定部は、検出された観察対象の領域の類似性に基づいて、対象撮影画像が低品質であるか否かを判定するものであってもよい。
[0019]
 また、本発明による撮影処理装置においては、撮影画像判定部は、対象撮影画像および他の撮影画像のそれぞれにおいて検出された観察対象の領域における一部の領域に基づいて、対象撮影画像が低品質であるか否かを判定するものであってもよい。
[0020]
 また、本発明による撮影処理装置においては、撮影処理装置は、観察領域の一部を重複させて複数の撮影画像を取得し、
 撮影画像判定部は、対象撮影画像および他の撮影画像のそれぞれにおける重複する領域に基づいて、対象撮影画像が低品質であるか否かを判定するものであってもよい。
[0021]
 また、本発明による撮影処理装置においては、対象撮影画像が低品質であると判定された場合、処理制御部は、対象撮影画像における重複する領域を、他の撮影画像における重複する領域と置換するものであってもよい。
[0022]
 本発明による撮影処理装置の制御方法は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備え、容器および撮像部の少なくとも一方を他方に対して相対的に移動させて、観察領域の位置を変更しつつ、容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法であって、
 撮影画像から観察対象の領域を検出し、
 複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定し、
 対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する。
[0023]
 本発明による撮影処理プログラムは、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備え、容器および撮像部の少なくとも一方を他方に対して相対的に移動させて、観察領域の位置を変更しつつ、容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法をコンピュータに実行させる撮影処理プログラムであって、
 撮影画像から観察対象の領域を検出する手順と、
 複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定する手順と、
 対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する手順とをコンピュータに実行させる。

発明の効果

[0024]
 本発明によれば、複数の撮影画像から、観察対象の領域を検出し、複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定するようにした。このため、撮影画像における観察対象以外の領域に影響されることなく、対象撮影画像が低品質であるか否かを正確に判定することができる。また、本発明においては、対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御するようにした。このため、撮影および画像処理の少なくとも一方が制御された対象撮影画像を用いて合成画像を生成することにより、観察対象に対して信頼性の高い評価を行うことができる。

図面の簡単な説明

[0025]
[図1] 本発明の撮影処理装置の一実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図
[図2] ウェルプレートにおける各観察領域の走査軌跡を示す図
[図3] 細胞領域の検出結果を示す図
[図4] ウェル内の各観察領域の撮影画像の一例を示す図
[図5] ウェル内の各観察領域の撮影画像の一例を示す図
[図6] 隣接する対象撮影画像および他の撮影画像の一例を示す図
[図7] 隣接する対象撮影画像および他の撮影画像の一例を示す図
[図8] 本実施形態において行われる処理を示すフローチャート
[図9] 観察領域の一部の重複を説明するための図
[図10] 対象撮影画像および他の撮影画像における重複する領域の小領域への設定を説明するための図
[図11] 対象撮影画像における小領域と他の撮影画像における小領域との置換を説明するための図
[図12] 対象撮影画像に近接する他の撮影画像を説明するための図
[図13] 本発明の他の実施形態において行われる処理を示すフローチャート

発明を実施するための形態

[0026]
 以下、本発明の撮影処理装置、撮影処理装置の制御方法および撮影処理プログラムの一実施形態を用いた顕微鏡観察システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡観察システムの概略構成を示すブロック図である。
[0027]
 本実施形態の顕微鏡観察システムは、図1に示すように、顕微鏡装置10、撮影処理装置20、表示装置30および入力装置40を備える。なお、顕微鏡装置10が本発明の観察装置に対応する。
[0028]
 顕微鏡装置10は、培養容器内に収容された細胞を撮影し、撮影画像を出力する。本実施形態においては、具体的には、CCD(Charge-Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、RGB(Red Green Blue)のカラーフィルタが設けられた撮像素子を用いてもよく、モノクロの撮像素子を用いてもよい。そして、培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から撮影画像として位相差画像が出力される。なお、顕微鏡装置10としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置等のその他の顕微鏡装置を用いてもよい。
[0029]
 撮影対象としては、複数の細胞が凝集した細胞コロニーでもよいし、分散して分布した複数の細胞でもよい。また、撮影対象の細胞としては、例えばiPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された臓器の細胞およびがん細胞等がある。
[0030]
 また、本実施形態においては、培養容器として、複数のウェルを有するウェルプレートを用いる。なお、ウェルプレートを用いる場合、各ウェルが、本発明の容器に相当するものである。そして、顕微鏡装置10は、ウェルプレートが設置されるステージを備えている。ステージは、水平面内において直交するX方向およびY方向に移動するものである。このステージの移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮影される。観察領域毎の撮影画像は撮影処理装置20に出力される。
[0031]
 図2は、6つのウェル51を有するウェルプレート50を用いた場合における各観察領域の走査軌跡を実線Scで示した図である。図2に示すように、ウェルプレート50内の各観察領域は、ステージのX方向およびY方向の移動によって走査開始点Sから走査終了点Eまでの実線Scに沿って走査される。
[0032]
 また、本実施形態においては、ウェル内の各観察領域において、ステージまたは細胞の位相差像を撮像素子に結像する結像光学系を鉛直方向に移動させることによってオートフォーカス制御を行う。
[0033]
 なお、本実施形態においては、ステージを移動させることによってウェル内の観察領域毎の撮影画像を撮影するようにしたが、これに限らず、結像光学系をステージに対して移動させることによって観察領域毎の撮影画像を撮影するようにしてもよい。または、ステージおよび結像光学系の両方を移動させるようにしてもよい。
[0034]
 また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、例えばシャーレまたはディッシュ等その他の容器を用いるようにしてもよい。
[0035]
 撮影処理装置20は、図1に示すように、領域検出部21、撮影画像判定部22、処理制御部23および表示制御部24を備える。撮影処理装置20は、中央処理装置、半導体メモリおよびハードディスク等を備えたコンピュータから構成されるものであり、ハードディスクに本発明の撮影処理プログラムの一実施形態がインストールされている。そして、この撮影処理プログラムが中央処理装置によって実行されることによって、図1に示す領域検出部21、撮影画像判定部22、処理制御部23および表示制御部24が機能する。なお、本実施形態においては、撮影処理プログラムによって、各部の機能を実行するようにしたが、これに限らず、例えば複数のIC(Integrated Circuit)、プロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、およびメモリ等を適宜組み合わせることによって各部の機能を実行するようにしてもよい。
[0036]
 領域検出部21は、顕微鏡装置10が取得した撮影画像から、観察対象領域すなわち細胞領域を検出する。領域検出部21は、例えば撮影画像の各画素が細胞を表すものであるか、培地を表すものであるかを判別する判別器を有し、判別器により細胞に含まれると判別された画素からなる領域を撮影画像から細胞領域として検出する。判別器は、細胞領域を撮影した撮影画像と培地領域を撮影した撮影画像とを教師データとし、細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかの判別結果を出力として機械学習によって生成されたものである。機械学習の手法としては、公知の手法を用いることができる。例えば、サポートベクタマシン(SVM)、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、およびデノイジングスタックオートエンコーダ(DSA)等を用いることができる。
[0037]
 ここで、ウェルには観察対象の細胞の他、培地中を浮遊している浮遊細胞等の観察対象ではない細胞が存在する。しかしながら、観察対象となる細胞を教師データとして判別器を学習することにより、浮遊細胞等を検出することなく、観察対象となる細胞からなる細胞領域のみを検出することができる。
[0038]
 図3は細胞領域の検出結果を示す図である。なお、図3においては矩形領域で分割された各領域が各観察領域に相当する。図3においては、各観察領域の撮影画像において検出された細胞領域に斜線を付与している。
[0039]
 ここで、領域検出部21により細胞領域が検出されない撮影画像については、以下に説明する撮影画像判定部22および処理制御部23において行われる処理を省略するものとする。
[0040]
 なお、本実施形態においては、上述したように機械学習された判別器を備えた領域検出部21を用いて、撮影画像における細胞領域を判別して細胞領域を検出しているが、細胞領域の判別方法としては、これに限定されるものではない。例えば撮影画像からエッジを検出し、エッジの量に基づいて判別するようにしてもよいし、画素値の最大値と最小値との組から判別するようにしてもよし、撮影画像の空間周波数成分を解析することによって判別するようにしてもよい。
[0041]
 撮影画像判定部22は、複数の撮影画像のうちの判定の対象となる対象撮影画像が低品質であるか否かを判定する。具体的には、対象撮影画像において検出された細胞領域および、対象撮影画像に隣接する少なくとも1つの他の撮影画像において検出された細胞領域に基づいて、対象撮影画像が低品質であるか否かを判定する。
[0042]
 本実施形態においては、上述したようにウェル内の各観察領域を走査し、各観察領域においてオートフォーカス制御を行う。オートフォーカス制御を行う際には、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケて低品質となる場合がある。このようなボケた撮影画像を、その他のボケていない撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図4は、ウェル内の各観察領域の撮影画像を合成した合成画像の一例を示す図である。図4において矩形領域で分割された各領域が各観察領域に相当する。また、図4に示す例では、点線四角で示す観察領域の撮影画像がボケている画像である。なお、図4においては、合成画像の左上隅に原点を設定し、紙面左方向をX方向、紙面下方向をY方向とする座標系を設定する。このため、各撮影画像は2次元の座標系で表すことができる。例えば図4に示す点線四角で示す観察領域の撮影画像の座標は(4,3)と表すことができる。
[0043]
 また、撮影画像が低品質となる原因はオートフォーカス制御ミスのみではない。例えば顕微鏡装置10における光源に印可される電圧変動、あるいはステージおよび光学系の振動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。このような暗い撮影画像を、その他の正常な光量の撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図5は、ウェル内の各観察領域を合成した合成画像の一例を示す図である。図5において矩形領域で分割された各領域が各観察領域に相当する。また、図5に示す例では、点線四角で示す観察領域の撮影画像が、照明光の光量変動によって低品質となった撮影画像である。なお、図5においても図4と同様に座標系を設定する。このため、図5に示す点線四角で示す観察領域の撮影画像の座標は(4,4)と表すことができる。
[0044]
 撮影画像判定部22は、対象観察領域の撮影画像が低品質であるか否かを判定する。このために撮影画像判定部22は、対象撮影画像に隣接する少なくとも1つの他の撮影画像を設定する。本実施形態においては、図2に示す走査方向において、対象撮影画像の下流側にある1つの撮影画像を対象撮影画像に隣接する他の撮影画像に設定する。例えば、対象撮影画像の座標が(4,3)の場合、他の撮影画像の座標は(5,3)となる。また、対象撮影画像の座標が(5,3)の場合は、他の撮影画像の座標は(5,4)となる。また、最後に撮影される座標が(5,5)の撮影画像については、判定の対象としないか、その前に撮影される座標が(4,5)の撮影画像以外の撮影画像、例えば座標が(5,4)の撮影画像を用いて判定を行う。
[0045]
 そして、撮影画像判定部22は、対象撮影画像および他の撮影画像のそれぞれにおける隣接する一部の細胞領域に基づいて、対象撮影画像が低品質であるか否かを判定する。図6は隣接する対象撮影画像および他の撮影画像の一例を示す図である。なお、図6においては、対象撮影画像G0および他の撮影画像G1の全領域が細胞領域であるものとする。図6に示すように、撮影画像判定部22は、対象撮影画像G0および他の撮影画像G1において隣接する小領域A0,A1をそれぞれ設定する。なお、図4に示す合成画像において、対象撮影画像G0の座標が(3,2)であり、他の撮影画像G1の座標が(4,2)である場合のように、対象撮影画像G0および他の撮影画像G1の全領域が細胞領域でない場合がある。このような場合、撮影画像判定部22は、図7に示すように、対象撮影画像G0および他の撮影画像G1における細胞領域のみを含むように小領域A0,A1を設定する。
[0046]
 そして、撮影画像判定部22は、小領域A0,A1の類似性を判定する。このために、撮影画像判定部22は、類似性を判定するための指標値を算出する。指標値としては小領域A0,A1を重ねた場合における対応する画素位置の画素値についての平均二乗誤差を用いる。なお、指標値としては平均二乗誤差に限定されるものではなく、小領域A0の平均輝度と小領域A1の平均輝度との差、または小領域A0の画素値の最小値および最大値のレンジと小領域A1の画素値の最小値および最大値のレンジとの差等を用いることができる。
[0047]
 ここで、対象撮影画像G0の小領域A0と他の撮影画像G1の小領域A1とは隣接しているため、本来類似しているはずである。しかしながら、上述したように対象撮影画像G0がボケたり、暗くなったりすると、小領域A0,A1が類似しなくなり、上述したように算出した指標値の値が大きくなる。このため、撮影画像判定部22は、指標値が予め定められたしきい値Th1よりも大きいか否かを判定し、指標値がしきい値Th1よりも大きいと判定された場合に、対象撮影画像G0が低品質であると判定する。
[0048]
 なお、対象撮影画像G0が低品質であると判定された場合、撮影画像判定部22は、対象撮影画像G0の小領域A0の一次微分値の最大値および他の撮影画像G1の小領域A1の一次微分値の最大値を算出する。ここで、対象撮影画像G0が暗い場合、一次微分値はそれほど小さい値とはならないが、対象撮影画像G0がボケている場合、一次微分値が小さい値となる。このため、対象撮影画像G0が低品質であると判定された場合、撮影画像判定部22は、対象撮影画像G0の小領域A0の一次微分値の最大値と他の撮影画像G1の小領域A1の一次微分値の最大値との差分値の絶対値を算出する。そして、差分値が予め定められたしきい値Th2よりも大きい場合、対象撮影画像G0はボケた撮影画像であると判定する。なお、差分値がしきい値Th2以下である場合、対象撮影画像G0は暗い撮影画像であると判定する。
[0049]
 処理制御部23は、対象撮影画像G0が低品質であると判定された場合、対象撮影画像G0についての撮影および画像処理の少なくとも一方を制御する。以下、撮影および画像処理の制御について説明する。
[0050]
 まず、撮影の制御について、処理制御部23は、低品質であると判定された対象撮影画像G0の観察領域を再撮影する。例えば、低品質であると判定された対象撮影画像G0の座標が図4に示す(4,3)である場合、処理制御部23は、顕微鏡装置10に対して、座標(4,3)に対応する撮影領域を再撮影させる指示を行う。この際、対象撮影画像G0が暗い撮影画像であると判定された場合は、適切な明るさとなる撮影を行うように顕微鏡装置10に対して指示を行う。一方、対象撮影画像G0がボケた撮影画像であると判定された場合は、対象撮影画像G0を取得した観察領域に対してフォーカスが適切に合わせられるように、顕微鏡装置10に対して指示を行う。
[0051]
 なお、処理制御部23は、対象撮影画像G0が低品質であると判定された場合、対象撮影画像G0が低品質であることを通知するようにしてもよい。例えば、本実施形態においては、後述するように表示制御部24が、複数の撮影画像を繋げて合成した合成画像を表示装置30に表示するが、表示装置30に表示された合成画像において、低品質であると判定された撮影画像を強調して表示してもよい。例えば、図4に示す合成画像において、点線で囲まれた領域に赤色等の枠を付与したり、枠を点滅させたり、領域を点滅させる等してもよい。また、テキストまたは音声により通知をしてもよい。
[0052]
 次に画像処理の制御について説明する。処理制御部23は、暗い撮影画像と判定された対象撮影画像G0に対して、明るさ補正処理を行う。具体的には、対象撮影画像G0の小領域A0の画素値の平均値を、他の撮影画像G1の小領域A1の画素値の平均値と一致させて、対象撮影画像G0の全画素値の明るさを大きくするように画素値を補正する。
[0053]
 一方、処理制御部23は、ボケた撮影画像と判定された対象撮影画像G0に対して、シャープネス強調処理を行う。具体的には、対象撮影画像G0の小領域A0の一次微分値の最大値と、他の撮影画像G1の小領域A1の一次微分値の最大値との差分値の絶対値の大きさに応じてシャープネスの強調度を変更してシャープネス強調処理を行う。なお、本実施形態においては、各種差分値の値とシャープネスの強調度とを対応づけたテーブルが撮影処理装置20のハードディスクに記憶されている。処理制御部23は、このテーブルを参照して差分値の値に応じたシャープネスの強調度を取得して、処理対象画像G0に対してシャープネス強調処理を行う。
[0054]
 表示制御部24は、複数の撮影画像を繋ぎ合わせることにより合成画像を生成し、生成した合成画像を表示装置30に表示させる。また、低品質であると判定された撮影画像が存在する場合にその旨の通知、または合成画像における低品質の撮影画像の位置等を表示装置30に表示させる。
[0055]
 表示装置30は、上述したように合成画像および通知等を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置30をタッチパネルによって構成し、入力装置40と兼用してもよい。
[0056]
 入力装置40は、マウスおよびキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。
[0057]
 次に、本実施形態の顕微鏡観察システムの作用について、図8に示すフローチャートを参照しながら説明する。
[0058]
 まず、細胞および培地が収容されたウェルプレートが顕微鏡装置10のステージ上に設置される(ステップST10)。そして、ステージがX方向およびY方向に移動することによって、ウェルプレートの各ウェル内の観察領域が走査され、全ての観察領域の撮影画像が撮影される(ステップST12)。顕微鏡装置10において撮影された撮影画像は、撮影処理装置20の領域検出部21に順次入力される。領域検出部21は、撮影画像から細胞領域を検出する(ステップST14)。
[0059]
 次いで、撮影画像判定部22が、複数の撮影画像のうちの対象撮影画像G0が低品質であるか否かを判定する(ステップST16)。対象撮影画像G0が低品質であると判定された場合、処理制御部23が、対象撮影画像G0についての撮影および対象撮影画像G0に対する画像処理の少なくとも一方を制御する(処理制御:ステップST18)。具体的には、対象撮影画像G0に対応する観察領域の再撮影、対象撮影画像G0が低品質の撮影画像であることの通知、対象撮影画像G0に対する明るさ補正処理、または対象撮影画像G0に対するシャープネス強調処理を行う。なお、対象撮影画像G0が低品質でないない場合は、ステップST20の処理に進む。
[0060]
 そして、全ての観察領域の判定が終了するまでステップST16,ST18の処理が繰り返される(ST20,NO)。全ての撮影画像の判定が終了した場合には(ST20,YES)、表示制御部24は全ての撮影画像を繋ぎ合わせて合成して合成画像を生成し、生成した合成画像を表示装置30に表示し(ステップST22)、処理を終了する。
[0061]
 このように、本実施形態においては、複数の撮影画像から、観察対象である細胞領域を検出し、複数の撮影画像のうちの対象撮影画像G0において検出された細胞領域および、対象撮影画像G0に隣接する少なくとも1つの他の撮影画像G1において検出された細胞領域に基づいて、対象撮影画像G0が低品質であるか否かを判定するようにした。このため、撮影画像における細胞以外の領域に影響されることなく、対象撮影画像G0が低品質であるか否かを正確に判定することができる。また、本実施形態においては、対象撮影画像G0が低品質であると判定された場合、対象撮影画像G0についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御するようにした。このため、撮影および画像処理の少なくとも一方が制御された対象撮影画像G0を用いて合成画像を生成することにより、観察対象に対して信頼性の高い評価を行うことができる。
[0062]
 なお、上記実施形態のように、対象撮影画像G0と1つの他の撮影画像G1の隣接する小領域A0,A1同士を比較した場合、対象撮影画像G0が低品質であり、他の撮影画像G1が低品質でないと判定された場合、および対象撮影画像G0が低品質でなく、他の撮影画像G1が低品質である場合のいずれの場合においても指標値が大きくなる。このため、対象撮影画像G0および他の撮影画像G1のいずれが低品質であるかを正確に判定できない場合がある。したがって、他の撮影画像G1を複数用いるようにしてもよい。例えば、対象撮影画像G0の左右の2つの撮影画像、上下左右の4つの撮影画像、左上、右上、右下および左下の4つの撮影画像、あるいは対象撮影画像G0の周囲の8つの撮影画像を他の撮影画像としてもよい。このように他の撮影画像G1を複数用いることにより、対象撮影画像G0が低品質であるか否かをより精度よく判定することができる。
[0063]
 また、上記実施形態においては、観察領域の一部を重複させて撮影して撮影画像を取得するようにしてもよい。図9は観察領域の一部の重複を説明するための図である。図9に示すように、各撮影画像は隣接する撮影画像と一部の領域が重複している。重複させる範囲としては、例えば観察領域の各辺の長さの最大10%程度とすることが好ましい。なお、図9においては説明のために重複させる領域を広く示している。
[0064]
 このように、観察領域の一部を重複させて撮影画像を取得した場合、撮影画像判定部22は、図10に示すように、対象撮影画像G0および他の撮影画像G1における重複する領域を小領域A0,A1に設定すればよい。
[0065]
 なお、観察領域の一部を重複させて撮影画像を取得した場合において、対象撮影画像G0が低品質であると判定された場合、他の撮影画像G1は低品質ではないこととなる。このため、処理制御部23は、対象撮影画像G0が低品質であると判定された場合、対象撮影画像G0における重複する領域を、他の撮影画像G1における重複する領域と置換するようにしてもよい。
[0066]
 すなわち、図10に示す対象撮影画像G0が低品質であると判定された場合、他の撮影画像G1は低品質ではないことから、図11に示すように、対象撮影画像G0における小領域A0を、他の撮影画像G1における小領域A1と置換してもよい。この場合、処理制御部23は、対象撮影画像G0に対する画像処理を制御する場合、対象撮影画像G0における小領域A0以外の領域に対してのみ、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行えばよいこととなる。このため、画像処理に要する処理時間を短縮することができる。
[0067]
 また、対象撮影画像G0に隣接する4つの撮影画像を他の撮影画像G1~G4として用いた場合、対象撮影画像G0の上下左右の4つの小領域を他の撮影画像G1~G4における対象撮影画像G0と重複する小領域A1~A4と置換し、対象撮影画像G0における小領域A1~A4以外の領域に対してのみ、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行ってもよい。
[0068]
 なお、上記実施形態においては、対象撮影画像G0とこれに隣接する他の撮影画像G1とを比較して、対象撮影画像G0が低品質であるか否かを判定している。具体的には、対象撮影画像G0および他の撮影画像G1における小領域A0,A1の類似性を表す指標値を算出し、指標値がしきい値Th1よりも大きい場合に、対象撮影画像G0が低品質であると判定している。しかしながら、指標値は、対象撮影画像G0および他の撮影画像G1の双方が低品質ではない場合のみならず、対象撮影画像G0および他の撮影画像G1の双方が低品質である場合においても小さくなる。したがって、指標値がしきい値Th1より小さい場合、対象撮影画像G0が低品質であるか否かを正確に判定できない場合がある。
[0069]
 このため、対象撮影画像G0に隣接する撮影画像のみならず、対象撮影画像G0に近接する少なくとも1つの撮影画像を他の撮影画像G1として用いて、対象撮影画像G0が低品質であるか否かを判定してもよい。以下、これを他の実施形態として説明する。なお、他の実施形態における撮影処理装置の構成は、図1に示す撮影処理装置20の構成と同一であるため、ここでは装置についての詳細な説明は省略する。
[0070]
 ここで、対象撮影画像G0に近接する他の撮影画像G1としては、対象撮影画像G0を基準として予め定められた範囲内にある撮影画像を用いることができる。具体的には、対象撮影画像G0に隣接する複数の撮影画像に加えて、これらの隣接する撮影画像にさらに隣接する1以上の撮影画像を用いることができる。例えば、図12に示すように、対象撮影画像G0を中心とする5×5個の範囲内にある撮影画像を、対象撮影画像G0に近接する他の撮影画像G1としてもよい。なお、対象撮影画像G0に隣接しないが、対象撮影画像G0を基準とした予め定められた範囲内にある撮影画像を対象撮影画像G0に近接する他の撮影画像G1としてもよい。例えば、図12に示す斜線を付与した撮影画像を対象撮影画像G0に近接する他の撮影画像G1として用いてもよい。なお、対象撮影画像G0を中心とした予め定められた半径を有する円の範囲内に、その全部あるいはその一部が含まれる撮影画像を、対象撮影画像G0に近接する他の撮影画像G1として用いてもよい。
[0071]
 図13は本発明の他の実施形態において行われる処理を示すフローチャートである。なお、他の実施形態において行われる処理は、図8に示すフローチャートにおけるステップST16の処理のみが上記実施形態と異なる。このため、ここでは、図8に示すフローチャートにおけるステップST16の処理についてのみ説明する。
[0072]
 図8に示すステップST14に引き続き、撮影画像判定部22は、対象撮影画像G0と比較する他の撮影画像G1を1つ設定する(ステップST30)。なお、他の撮影画像G1は、対象撮影画像G0に近い撮影画像から順に設定すればよい。そして、撮影画像判定部22は、上記実施形態と同様に、対象撮影画像G0および他の撮影画像G1における小領域A0,A1の類似性を表す指標値を算出し、指標値がしきい値Th1よりも大きいか否かを判定する(ステップST32)。ステップST32が肯定されると、撮影画像判定部22は、対象撮影画像G0は低品質であると判定し(ステップST34)、図8のステップST18の処理に進む。
[0073]
 ステップST32が否定されると、撮影画像判定部22は、全ての他の撮影画像G1について比較が終了したか否かを判定する(ステップST36)。ステップST36が否定されると、対象撮影画像G0と比較する他の撮影画像G1を次の撮影画像に設定し(ステップST38)、ステップST32の処理に戻る。ステップST36が肯定されると、撮影画像判定部22は、対象撮影画像G0は低品質ではないと判定し(ステップST40)、図8におけるステップST20の処理に進む。
[0074]
 また、上記実施形態においては、全ての観察領域の撮影画像を取得した後に、対象撮影画像が低品質であるか否かを判定しているが、各観察領域の撮影画像を取得しつつ、対象撮影画像が低品質であるか否かを判定するようにしてもよい。この場合において、他の撮影画像G1を複数用いる場合、すでに取得された撮影画像を他の撮影画像G1として用いればよい。
[0075]
 また、上記実施形態においては、対象撮影画像G0および他の撮影画像の隣接する小領域を用いて指標値を算出して、対象撮影画像G0が低品質であるか否かを判定しているが、対象撮影画像G0および他の撮影画像の全領域、とくに細胞領域の全領域を用いて指標値を算出してもよい。

符号の説明

[0076]
   10  顕微鏡装置
   20  撮影処理装置
   21  領域検出部
   22  撮影画像判定部
   23  処理制御部
   24  表示制御部
   30  表示装置
   40  入力装置
   50  ウェルプレート
   51  ウェル
   A0,A1  小領域
   E   走査終了点
   G0  対象撮影画像
   G1  他の撮影画像
   S   走査開始点
   Sc  走査軌跡を示す実線 

請求の範囲

[請求項1]
 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備え、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影して、複数の撮影画像を取得する観察装置と、
 前記撮影画像から前記観察対象の領域を検出する領域検出部と、
 前記複数の撮影画像のうちの対象撮影画像において検出された前記観察対象の領域および、前記対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された前記観察対象の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する撮影画像判定部と、
 前記対象撮影画像が低品質であると判定された場合、該対象撮影画像についての撮影および該対象撮影画像に対する画像処理の少なくとも一方を制御する処理制御部とを備えた撮影処理装置。
[請求項2]
 前記処理制御部は、前記対象撮影画像が低品質であると判定された場合、該対象撮影画像に対応する前記観察領域を再撮影する請求項1に記載の撮影処理装置。
[請求項3]
 前記処理制御部は、前記対象撮影画像が低品質であると判定された場合、前記対象撮影画像が低品質であることを通知する請求項1に記載の撮影処理装置。
[請求項4]
 前記処理制御部は、前記対象撮影画像が低品質であると判定された場合、前記対象撮影画像に対して、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行う請求項1に記載の撮影処理装置。
[請求項5]
 前記撮影画像判定部は、検出された前記観察対象の領域の類似性に基づいて、前記対象撮影画像が低品質であるか否かを判定する請求項1から4のいずれか1項に記載の撮影処理装置。
[請求項6]
 前記撮影画像判定部は、前記対象撮影画像および前記他の撮影画像のそれぞれにおいて検出された前記観察対象の領域における一部の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する請求項1から5のいずれか1項に記載の撮影処理装置。
[請求項7]
 前記撮影処理装置は、前記観察領域の一部を重複させて前記複数の撮影画像を取得し、
 前記撮影画像判定部は、前記対象撮影画像および前記他の撮影画像のそれぞれにおける重複する領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する請求項1から5のいずれか1項に記載の撮影処理装置。
[請求項8]
 前記対象撮影画像が低品質であると判定された場合、前記処理制御部は、前記対象撮影画像における前記重複する領域を、前記他の撮影画像における前記重複する領域と置換する請求項7に記載の撮影処理装置。
[請求項9]
 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備え、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法であって、
 前記撮影画像から前記観察対象の領域を検出し、
 前記複数の撮影画像のうちの対象撮影画像において検出された前記観察対象の領域および、前記対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された前記観察対象の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定し、
 前記対象撮影画像が低品質であると判定された場合、該対象撮影画像についての撮影および該対象撮影画像に対する画像処理の少なくとも一方を制御する撮影処理装置の制御方法。
[請求項10]
 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備え、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法をコンピュータに実行させるための撮影処理プログラムであって、
 前記撮影画像から前記観察対象の領域を検出する手順と、
 前記複数の撮影画像のうちの対象撮影画像において検出された前記観察対象の領域および、前記対象撮影画像に近接する少なくとも1つの他の撮影画像において検出された前記観察対象の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する手順と、
 前記対象撮影画像が低品質であると判定された場合、該対象撮影画像についての撮影および該対象撮影画像に対する画像処理の少なくとも一方を制御する手順とをコンピュータに実行させるための撮影処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]