処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2013111622 - 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法

Document

明 細 書

発明の名称 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008   0009   0010   0011   0012   0013   0014  

発明の効果

0015  

図面の簡単な説明

0016  

発明を実施するための形態

0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052  

符号の説明

0053  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11  

補正された請求の範囲(条約第19条)

1  *   2  *   3  *   4  *   5  *   6   7  *   8  *   9  *   10  *   11  *  

条約第19条(1)に基づく説明書

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17A   17B   17C  

明 細 書

発明の名称 : 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法

技術分野

[0001]
 本発明は、被検体内における表層血管、中深層血管などの血管を抽出することができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法に関する。

背景技術

[0002]
 近年の医療においては、内視鏡装置を用いた診断等が広く行われている。内視鏡装置による被検体内の観察としては、照明光として広帯域光の白色光を用いる通常光観察の他、波長を狭帯域化した狭帯域光を用いて、被検体内の血管を強調表示させる血管強調観察も行われるようになってきている。
[0003]
 この血管強調観察においては、血管の形状パターンから、ガンか否かを鑑別することが行われている。血管の種類としては、主に、生体組織表層に分布する表層血管とその下方に位置する中深層血管とがあり、診断の目的に応じて、いずれかの血管に着目して診断が行われることがある。この場合、着目しない血管が内視鏡画像上に混じっていると、診断の妨げになるおそれがあるため、画像上から表層血管、中深層血管のいずれかを判別し、着目するほうの血管のみを抽出した画像をモニタに表示することが求められていた。
[0004]
 この血管の深さ判別方法に関しては、特許文献1に、特定波長域(415nm、540nm)の狭帯域光に基づいて生成される狭帯域画像の色相が5~35の場合には表層血管と判別し、色相Hが170~200の場合に中深層血管と判別する方法が示されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2011-135983号公報

発明の概要

発明が解決しようとする課題

[0006]
 内視鏡による体腔内の観察時においては、部位によって、例えば食道と胃とでは、それぞれ同じ光量の光を照明しても、被検体からの戻り光の光量が異なることがある。即ち、部位によって、血管の見え方や色調が異なることがある。このように血管の色調が変わる場合には、上記特許文献1のように、色相に基づく血管判別方法では、表層血管と中深層血管とを確実に区別することは難しくなる。
[0007]
 本発明は、上記背景に鑑みてなされたもので、観察する部位が変わったとしても、深さが異なる複数種類の血管を確実に抽出することができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法を提供することを目的とする。

課題を解決するための手段

[0008]
 上記目的を達成するために、本発明の内視鏡システムは、青色成分と緑色成分を含む照明光を、被検体に照射する照明手段と、被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する画像信号取得手段と、2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、多色画像から特定深さにある第1層血管が抽出された第1層血管抽出画像、または多色画像から第1層血管よりも深い位置にある第2層血管が抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする。 
[0009]
 血管抽出画像生成手段は、複数の観察モード毎に設けられ、被検体の粘膜、第1層血管、及び第2層血管と演算値との相関関係を記憶した複数の演算値テーブルと、設定された観察モードに対応する演算値テーブルを用いた血管抽出処理を行うことによって、第1層血管抽出画像、または第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備えることが好ましい。
[0010]
 各演算値テーブルには、粘膜と第1層血管との境界を示す演算値が第1境界値として記憶され、粘膜と第2層血管との境界を示す演算値が第2境界値として記憶され、第1及び第2境界値は、各演算値テーブル毎に異なっていることが好ましい。複数の観察モードは、被検体の所定の部位における血管の視認性を向上させるためのモードであり、各観察モードは部位毎に設定されていることが好ましい。
[0011]
 第1層血管抽出画像を用いて、第1層血管が強調または抑制された第1層血管強調・抑制画像を生成し、または第2層血管抽出画像を用いて、第2層血管が強調または抑制された第2層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備えることが好ましい。第1層血管強調・抑制画像または第2層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備えることが好ましい。
[0012]
 照明手段は、照明光として、青色狭帯域光と、この青色狭帯域光により波長変換部材で波長変換される蛍光を、被検体に向けて同時照射し、画像信号取得手段は、青色狭帯域光及び蛍光が同時照射された被検体を、カラーの撮像素子で撮像することが好ましい。また、別の実現手段として、照明手段は、照明光として、青色狭帯域光と緑色狭帯域光を、被検体に向けて順次照射し、画像信号取得手段は、青色狭帯域光と緑色狭帯域光が順次照射される毎に、被検体をモノクロの撮像素子で順次撮像することが好ましい。色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号を有し、多色画像は、画素毎に青色信号を緑色信号で除することで得られるB/G比から構成されるB/G画像であることが好ましい。
[0013]
 本発明は、青色成分と緑色成分を含む照明光を被検体に照射し、被写体からの戻り光を撮像素子で受光して撮像することにより、互いに異なる色情報を持つ2つ以上の色信号を取得する電子内視鏡を有する内視鏡システムのプロセッサ装置において、2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、多色画像から特定深さにある第1層血管が抽出された第1層血管抽出画像、または多色画像から第1層血管よりも深い位置にある第2層血管が抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする。
[0014]
 本発明は、青色成分と緑色成分を含む照明光を被検体に照射し、被写体からの戻り光を撮像素子で受光して撮像することにより、互いに異なる色情報を持つ2つ以上の色信号を取得する電子内視鏡を有する内視鏡システム内で行われる画像処理方法において、2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、多色画像から特定深さにある第1層血管が抽出された第1層血管抽出画像、または多色画像から第1層血管よりも深い位置にある第2層血管が抽出された第2層血管抽出画像の少なくともいずれか一方を生成することを特徴とする。

発明の効果

[0015]
 本発明によれば、複数の観察モード毎に異なる血管抽出処理を行っていることから、観察する部位が変わったとしても、その部位に対応する観察モードに切り替えることで、深さが異なる複数種類の血管を確実に抽出することができる。

図面の簡単な説明

[0016]
[図1] 内視鏡システムの外観図である。
[図2] 第1実施形態の内視鏡システムの電気的構成を示すブロック図である。
[図3] 広帯域光及び狭帯域光の発光スペクトルを示すグラフである。
[図4] 青色レーザ光とこの青色レーザー光を蛍光体に当てることによって励起発光する励起発光光の発光スペクトルを示すグラフである。
[図5] R色、G色、B色のカラーフィルターの分光透過率を示すグラフである。
[図6] 第1観察モード用テーブルに記憶されている血管深さとB/G比との関係を示すグラフである。
[図7] B成分とG成分の割合が略同じ戻り光を受光したときの粘膜、表層血管、中深層血管のB/G比を説明するための図である。
[図8] 第2観察モード用テーブルに記憶されている血管深さとB/G比との関係を示すグラフである。
[図9] B成分がG成分よりも大きい戻り光を受光したときの粘膜、表層血管、中深層血管のB/G比を説明するための図である。
[図10] 第3観察モード用テーブルに記憶されている血管深さとB/G比との関係を示すグラフである。
[図11] G成分がB成分よりも大きい戻り光を受光したときの粘膜、表層血管、中深層血管のB/G比を説明するための図である。
[図12] 表層血管が強調され、中深層血管が抑制された画像を示す画像図である。
[図13] 表層血管が抑制され、中深層血管が強調された画像を示す画像図である。
[図14] 本発明の作用を示すフローチャートである。
[図15] 第2実施形態の内視鏡システムの電気的構成を示すブロック図である。
[図16] 回転フィルタの概略図である。
[図17A] 第1観察モード用のテーブルに記憶されている血管深さとB-G差との関係を示すグラフである。
[図17B] 第2観察モード用のテーブルに記憶されている血管深さとB-G差との関係を示すグラフである。
[図17C] 第3観察モード用のテーブルに記憶されている血管深さとB-G差との関係を示すグラフである。

発明を実施するための形態

[0017]
 図1に示すように、第1実施形態の電子内視鏡システム10は、被検体内を撮像する電子内視鏡11と、撮像により得られた信号に基づいて内視鏡画像を生成するプロセッサ装置12と、被検体を照明する光を発生する光源装置13(照明手段の一態様)と、内視鏡画像を表示するモニタ14とを備えている。電子内視鏡11は、体腔内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
[0018]
 この電子内視鏡システム10は、被検体の表層血管を強調・抑制した表層血管強調・抑制画像と中深層血管を強調・抑制した中深層血管強調・抑制画像を生成する機能を備えている。いずれの血管強調・抑制画像を生成するかは、表層・中深層選択SW28(図2参照)の操作によって決められる。また、内視鏡観察においては、胃、大腸、食道など各部位によって血管の見え方が異なるため、これを補正する機能も備えている。血管の見え方は、被検体から戻ってくる戻り光(反射光等)の青色成分(B成分)と緑色成分(G成分)の割合Pによって変化する。ここで、B成分とG成分が略同じであると想定される部位の観察モードを第1観察モードとし、B成分がG成分よりも大きいと想定される部位の観察モードを第2観察モードとし、G成分がB成分よりも大きいと想定される部位の観察モードを第3観察モードとする。これら第1~第3観察モードは、観察する対象の部位により、操作者が観察モード選択SW29(図2参照)を操作することで切り替えることができる。
[0019]
 挿入部16の先端には、複数の湾曲駒を連結した湾曲部19が形成されている。湾曲部19は、操作部のアングルノブ21を操作することにより、上下左右方向に湾曲動作する。湾曲部19の先端には、体腔内撮影用の光学系等を内蔵した先端部16aが設けられている。先端部16aは、湾曲部19の湾曲動作によって体腔内の所望の方向に向けられる。
[0020]
 ユニバーサルコード18には、プロセッサ装置12および光源装置13側にコネクタ24が取り付けられている。コネクタ24は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、電子内視鏡11は、このコネクタ24を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
[0021]
 図2に示すように、光源装置13は、広帯域光源30と、狭帯域光源33と、カプラー36とを備えている。広帯域光源30は、図3に示すように、波長が青色領域から赤色領域(約400~700nm)にわたる広帯域光BBを発生する。広帯域光源30は、電子内視鏡11の使用中、常時点灯している。広帯域光源30から発せられた広帯域光BBは、広帯域用光ファイバ40に入射する。なお、広帯域光BBとしては、キセノンランプなどの白色光ほか、中心波長445nmのレーザ光とこのレーザ光により蛍光体から励起発光される460nm~700nmの励起発光光とを合波した白色光(発光スペクトルは図4参照)を用いてもよい。
[0022]
 狭帯域光源33はLED(light Emitting Diode)やLD(Laser Diode)などであり、図3に示すように、波長が400±10nm(中心波長405nm)に制限された狭帯域光NBを発生する。狭帯域光源33から発せられた狭帯域光NBは、この狭帯域用光ファイバ33aに入射する。なお、狭帯域光NBの波長は400±10nm(中心波長405nm)に限らず、例えば440±10nm(中心波長445nm)の狭帯域光であってもよい。
[0023]
 カプラー36は、電子内視鏡11内のライトガイド43と、広帯域用光ファイバ40及び狭帯域用光ファイバ33aとを連結する。これにより、広帯域光BB及び狭帯域光NBの両方が、ライトガイド43に同時に入射する。
[0024]
 電子内視鏡11は、ライトガイド43、CCD44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、入射端が光源装置内のカプラー36に挿入されており、出射端が先端部16aに設けられた照射レンズ48に向けられている。ライトガイド43内で導光された広帯域光BB及び狭帯域光NBは、照射レンズ48及び先端部16aの端面に取り付けられた照明窓49を通して、被検体内に照射される。被検体内で反射した広帯域光BB及び狭帯域光NBは、先端部16aの端面に取り付けられた観察窓50を通して、集光レンズ51に入射する。
[0025]
 CCD44は、集光レンズ51からの光を撮像面44aで受光し、受光した光を光電変換して信号電荷を蓄積し、蓄積した信号電荷を撮像信号として読み出す。読み出された撮像信号は、AFE45に送られる。また、CCD44はカラーCCDであり、撮像面44aには、B色、G色、R色のいずれかのカラーフィルターが設けられたB画素、G画素、R画素の3色の画素が配列されている。なお、画像信号取得手段の一態様は、集光レンズ51、撮像面44aを有するCCD44およびAFE45からなる。
[0026]
 B色、G色、R色のカラーフィルターは、図5に示すような透過分布52,53,54を有している。波長領域が約400~700nmである広帯域光BBのみがCCD44に入射した場合には、B色、G色、R色のカラーフィルターは、広帯域光BBのうちそれぞれの透過分布52,53,54に応じた波長の光を透過する。ここで、R画素で光電変換された信号を赤色信号R、G画素で光電変換された信号を緑色信号G、B画素で光電変換された信号を青色信号Bとする。
[0027]
 AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、CCD44からの撮像信号に対して相関二重サンプリング処理を施し、CCD44の駆動により生じたノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数のデジタルな撮像信号に変換してプロセッサ装置12に入力する。
[0028]
 撮像制御部46は、プロセッサ装置12内のコントローラー59に接続されており、コントローラー59から指示がなされたときにCCD44に対して駆動信号を送る。CCD44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
[0029]
 図2に示すように、プロセッサ装置12は、ベース画像生成部55と、フレームメモリ56と、画像処理部57と、表示制御回路58を備えており、コントローラー59が各部を制御している。ベース画像生成部55は、電子内視鏡のAFE45から出力される青色信号B、緑色信号G、赤色信号Rに各種信号処理を施すことによって、ベース画像を作成する。作成されたベース画像はフレームメモリ56に一時的に記憶される。また、AFE45から出力される青色信号B、緑色信号G、赤色信号Rも、フレームメモリ56に記憶される。なお、ベース画像は、狭帯域光NBを使用せず、広帯域光BBのみを使用して得られる通常観察画像や、酸素飽和度などの血管機能情報を疑似カラー化した疑似カラー画像などであってもよい。
[0030]
 画像処理部57は、B/G画像生成部61(多色画像生成手段の一態様)と、血管抽出画像生成部63と、血管強調・抑制画像生成部65(血管強調・抑制画像生成手段の一態様)とを備えている。B/G画像生成部61は、青色信号B及び緑色信号G間の輝度比B/G(B/G比)から構成されるB/G画像を生成する。ここで、B/G比は、青色信号B及び緑色信号G間で、同じ位置にある画素の輝度比を示している。
[0031]
 血管抽出画像生成部63は、B/G画像に基づいて、表層血管を抽出した表層血管抽出画像又は中深層血管を抽出した中深層血管抽出画像を生成する。これら血管抽出画像の生成方法は、第1~第3観察モードのいずれに設定されているかによって、異なっている。第1観察モードに設定されている場合には、第1観察モード用テーブル63aを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第1観察モード用テーブル63aには、図6に示すような、輝度比B/Gと血管深さとの相関関係が記憶されている。この相関関係は、血管深さが大きくなるほど輝度比B/G(B/G比)も大きくなる比例関係となっている。なお、血管抽出画像生成手段の一態様は、血管抽出画像生成部63と第1~3観察モード用テーブル63a~63cからなる。
[0032]
 第1観察モードにおいては、被検体からの戻り光のうち青色波長成分(B成分)と緑色波長成分(G成分)とが略同じである。そのため、図7に示すように、血管が無い粘膜に照明光が照射された場合、その戻り光のB成分、G成分の比率は略同じである。これは、粘膜では大きな光の吸収がないためである。このときの平均的なB/G比をPとすると、粘膜が示すB/G比は、Ls~P~Ldの一定範囲に収まっている。ここで、Lsは、第1観察モードにおける粘膜のB/G比の下限値であり、Ldは第1観察モードにおける粘膜のB/G比の上限値である。
[0033]
 また、照明光が表層血管に照射された場合には、照明光のB成分が表層血管で大きく吸収される一方で、G成分はほとんど吸収されない。そのため、B/G比は、ほとんどがLs以下となる。したがって、B/G比がLs以下の画素には、表層血管が写し出されていることが分かる(即ちLsは粘膜と表層血管の境界値)。一方、照明光が中深層血管に照射された場合には、照明光のG成分が中深層血管で大きく吸収される一方で、B成分はほとんど吸収されない。そのため、B/G比は、ほとんどがLd以上となる。したがって、B/G比がLd以上の画素に、中深層血管が写し出されていることが分かる(即ちLdは粘膜と中深層血管の境界値)。
[0034]
 したがって、第1観察モードにおいて、表層血管抽出画像を生成する場合には、B/G画像において、B/G比がLs以下の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、B/G画像において、B/G比がLd以上の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。
[0035]
 また、第2観察モードに設定されている場合には、第2観察モード用テーブル63bを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第2観察モード用テーブル63bは、上記第1観察モード用テーブル63aと同様、図8に示すように、血管深さが大きくなるほど輝度比B/G(B/G比)も大きくなる比例関係となっている。第2観察モードにおいては、図9に示すように、被検体からの戻り光のうち青色波長成分(B成分)は緑色波長成分(G成分)よりも大きいため、B/G比は全体的に高くなる。これに伴って、粘膜と表層血管の境界値Ls´は、第1観察モード時の境界値Lsよりも大きくなり、粘膜と中深層血管の境界値Ld´は、第1観察モード時の境界値Ldよりも高くなる。
[0036]
 したがって、第2観察モードにおいて、表層血管抽出画像を生成する場合には、B/G画像において、B/G比がLs´以下の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、B/G画像において、B/G比がLd´以上の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。
[0037]
 また、第3観察モードに設定されている場合には、第3観察モード用テーブル63cを用いて、表層血管抽出画像または中深層血管抽出画像を生成する。第3観察モード用テーブル63cは、上記第1観察モード用テーブル63aと同様、図10に示すように、血管深さが大きくなるほど輝度比B/G(B/G比)も大きくなる比例関係となっている。第3観察モードにおいては、図11に示すように、被検体からの戻り光のうち緑色波長成分(G成分)は青色波長成分(B成分)よりも大きいため、B/G比は全体的に低くなる。これに伴って、粘膜と表層血管の境界値Ls´´は、第1観察モード時の境界値Lsよりも小さくなり、粘膜と中深層血管の境界値Ld´´は、第1観察モード時の境界値Ldよりも小さくなる。
[0038]
 したがって、第3観察モードにおいて、表層血管抽出画像を生成する場合には、B/G画像において、B/G比がLs´´以下の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。一方、中深層血管抽出画像を生成する場合には、B/G画像において、B/G比がLd´´以上の画素の画素値のみを抽出し、それ以外の画素の画素値を0とする二値化処理を行う。
[0039]
 なお、これまでの診断等から、食道、大腸、胃の各部位における平均的なB/G比の関係は、食道のB/G比>大腸のB/G比>胃のB/G比であることが分かっている。したがって、診断の目的その他観察条件にもよるが、大腸を観察する場合には第1観察モードに設定し、食道を観察する場合には第2観察モードに設定し、胃を観察する場合には第3観察モードに設定することが好ましい。
[0040]
 血管強調・抑制画像生成部65は、表層血管抽出画像とベース画像とを合成することによって、表層血管が強調(または抑制)された表層血管強調・抑制画像を生成し、また、中深層血管抽出画像とベース画像とを合成することによって、中深層血管が強調(または抑制)された中深層血管強調・抑制画像を生成する。ここで、血管を強調する場合には、表層血管抽出画像(又は中深層血管抽出画像)における各画素の画素値を数倍増加させたものを、ベース画像の各画素の画素値に足し合わせる。また、血管を抑制する場合には、表層血管抽出画像(又は中深層血管抽出画像)における各画素の画素値を数倍増加させたものを、ベース画像の各画素の画素値から減算する。
[0041]
 表示制御回路58は、血管強調・抑制画像をモニタ14(表示手段の一態様)に表示する。例えば、図12に示すように、B/G画像から抽出した表層血管71を血管強調・抑制画像上で強調している場合には、表層血管71は中深層血管72よりも目立つため、表層血管71のみに着目した診断が可能となる。反対に、図13に示すように、B/G画像から抽出した中深層血管72を血管強調・抑制画像上で強調している場合には、中深層血管72は表層血管71よりも目立つため、中深層血管72のみに着目した診断が可能となる。
[0042]
 以上のように、B/G画像から着目する血管の画像のみを抽出し、その抽出した血管画像を用いて血管強調・抑制画像を生成することによって、血管以外の部分、例えば観察部位の凹凸などの情報を消すことなく、着目する血管部分のみを確実に強調・抑制処理することができる。これにより、血管に加え観察部位の凹凸など診断に役立つ情報を数多くユーザーに提供することができるため、診断能を向上させることができる。また、血管を表層と中深層に分けて別々に抽出し、それぞれを個別に強調・抑制していることから、表層血管に着目した診断や中深層血管に着目した診断が可能となる。
[0043]
 次に、本発明の作用について、図14に示すフローチャートを用いて説明する。まず、第1~第3観察モードの中から、部位に応じた観察モードを設定する。光源装置13から発せられる広帯域光BB及び狭帯域光NBは、ライトガイド43を介して、被検体内に同時に照射される。被検体からの反射光は、カラーのCCD44により撮像される。この撮像により得られる青色信号B、緑色信号G、赤色信号Rから、ベース画像を生成する。生成されたベース画像と青色信号B、緑色信号G、赤色信号Rは、フレームメモリ56に一時的に記憶される。
[0044]
 次に、B/G画像生成部61において、青色信号B及び緑色信号G間の輝度比B/GからなるB/G画像を生成する。このB/G画像から表層血管を抽出した表層血管抽出画像が生成され、また、B/G画像から中深層血管を抽出した中深層血管抽出画像が生成される。これら血管抽出には、設定した観察モードに対応する観察モード用テーブルが用いられる。血管抽出画像が生成されたら、表層血管抽出画像(または中深層血管抽出画像)とベース画像とから、表層血管(または中深層血管)が強調・抑制された血管強調・抑制画像が生成される。生成された血管強調・抑制画像は、表示制御回路58でモニタ表示可能な信号に変換された後、図12または図13に示すように、モニタ14に画像表示される。
[0045]
 なお、上記第1実施形態においては、光源装置13内の広帯域光源30から広帯域光BBを発光したが、これに代えて、電子内視鏡11の先端部16aに蛍光体を設置し、その蛍光体を、光源装置13に設置した励起光光源の励起光で励起することによって、蛍光を発光させてもよい。この場合、蛍光と蛍光に吸収されなかった励起光とが合波した光が、広帯域光BBとして被検体内に照射される。
[0046]
 本発明の第2実施形態は、被検体を照明する2種類の照明光を同時照射した第1実施形態と異なり、2種類の照明光を別々に順次照射する。ここでは、2種類の照明光として、中心波長415nmの青色狭帯域光GNと、中心波長540nmの緑色狭帯域光BNを順次照射する。したがって、第2実施形態の電子内視鏡システム100においては、図15に示すように、青色狭帯域光BNと緑色狭帯域光GNの順次照射のために、回転フィルタ101とこれを一定速度で回転させるモータ102を使用する。また、被検体内の撮像には、カラーのCCD44に代えて、カラーフィルターが設けられていないモノクロのCCD101が用いられる。
[0047]
 回転フィルタ101は、図16に示すように、広帯域光源30からの広帯域光BBのうち中心波長415nmの青色狭帯域光BN(波長域380~430nm)を透過させる青色フィルタ101aと、広帯域光のうち中心波長540nmの緑色狭帯域光GN(波長域520~560nm)を透過させる緑色フィルタ101bとが、周方向に沿って設けられている。したがって、回転フィルタ101が回転することで、青色狭帯域光BNと緑色狭帯域光GNが、ライトガイド43に向けて別々に順次照射される。
[0048]
 このように青色狭帯域光BNと緑色狭帯域光GNを順次照射することによって、ベース画像の生成方法とB/G画像の生成方法が、同時照射方式の第1実施形態と異なる。その他については第2実施形態は第1実施形態と同様である。ベース画像を生成する際には、青色狭帯域光BNを照射及び撮像したときに得られる青色狭帯域信号を、モニタ表示用のBチャンネル及びGチャンネルに割り当て、緑色狭帯域光GNを照射及び撮像したときに得られる緑色狭帯域信号を、モニタ表示用のRチャンネルに割り当てることによって、ベース画像を生成する。また、B/G画像を生成する際には、青色狭帯域信号及び緑色狭帯域信号間の輝度比からB/G画像を生成する。
[0049]
 なお、上記実施形態においては、B/G比を使って表層血管と中深層血管の分離を行ったが、これに代えて、G/B比、B-G差、G-B差、B/(B+G)比、G/(B+G)比、B/R比、R/B比、B-R差、R-B差、B/Y比など、互いに異なる色情報を持つ2以上の色信号を用いた演算により得られる演算値によっても、それぞれの血管を分離することができる。
[0050]
 この演算値と血管深さとの関係は、上記実施形態と同様に、第1~第3観察モードに対応した複数のテーブルに記憶されており、また、粘膜と表層血管との境界を示す演算値の境界値及び粘膜と中深層血管の境界を示す演算値の境界値は、テーブル毎に異なっている。例えば、B-G差(青色信号の画素値から緑色信号の画素値を引いた値)の場合であれば、第1観察モード時に使用するテーブルには、図17Aに示すようなB-G差と血管深さとの関係が記憶されている。ここで、Lsは粘膜と表層血管の境界を示すB-G差を示しており、Ldは粘膜と中深層血管の境界を示すB-G差を示している。
[0051]
 一方、第2観察モード時に使用するテーブルには、図17Bに示すようなB-G差と血管深さとの関係が記憶されている。このテーブルにおいては、粘膜と表層血管の境界部分のB-G差Ls´はLsよりも大きく、また、粘膜と中深層血管の境界部分のB-G差Ld´はLdよりも大きく設定されている。また、第2観察モード時に使用するテーブルには、図17Cに示すようなB-G差と血管深さとの関係が記憶されている。このテーブルにおいては、粘膜と表層血管の境界部分のB-G差Ls´´はLsよりも小さく、また、粘膜と中深層血管の境界部分のB-G差Ld´´はLdよりも小さく設定されている。
[0052]
 なお、G/B比は緑色信号を青色信号で除した値であり、G-B差は緑色信号から青色信号を引いた値であり、B/(B+G)比は青色信号を、青色信号と緑色信号の加算値で除した値であり、G/(B+G)比は緑色信号を、青色信号と緑色信号の加算値で除した値であり、B/R比は青色信号を赤色信号で除した値であり、R/B比は赤色信号を青色信号で除した値であり、B-R差は青色信号から赤色信号を引いた値であり、R-B差は赤色信号から青色信号を引いた値であり、B/Y比は緑色信号を黄色信号で除した値である(黄色信号は500~700nmの波長情報を持つ信号)。

符号の説明

[0053]
10,100 電子内視鏡システム
14 モニタ
30 広帯域光源
33 狭帯域光源
57 画像処理部
61 B/G画像生成部
63 血管抽出画像生成部
63a 第1観察モード用テーブル
63b 第2観察モード用テーブル
63c 第3観察モード用テーブル
65 血管強調・抑制画像生成部
71 表層血管
72 中深層血管

請求の範囲

[請求項1]
 青色成分と緑色成分を含む照明光を、被検体に照射する照明手段と、
 前記被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する画像信号取得手段と、
 前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
 前記多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段と、
 を備えることを特徴とする内視鏡システム。
[請求項2]
 前記血管抽出画像生成手段は、
 前記被検体の粘膜、前記第1層血管、及び前記第2層血管と前記演算値との相関関係を記憶した複数の演算値テーブルと、
 設定された観察モードに対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第1層血管抽出画像、または前記第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備え、
 前記演算値テーブルは前記複数の観察モード毎に設けられている、
請求項1記載の内視鏡システム。
[請求項3]
 前記各演算値テーブルには、前記粘膜と前記第1層血管との境界を示す演算値が第1境界値として記憶され、前記粘膜と前記第2層血管との境界を示す演算値が前記第2境界値として記憶され、前記第1及び第2境界値は、演算値テーブル毎に異なっている請求項2記載の内視鏡システム。
[請求項4]
 前記複数の観察モードは、前記被検体の所定の部位における血管の視認性を向上させるためのモードであり、各観察モードは前記所定の部位毎に設定されている請求項1ないし3いずれか1項記載の内視鏡システム。
[請求項5]
 前記第1層血管抽出画像を用いて、前記第1層血管が強調または抑制された第1層血管強調・抑制画像を生成し、または前記第2層血管抽出画像を用いて、前記第2層血管が強調または抑制された第2層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備える請求項1ないし4いずれか1記載の内視鏡システム。
[請求項6]
 前記第1層血管強調・抑制画像または前記第2層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備える請求項5記載の内視鏡システム。
[請求項7]
 前記照明手段は、前記照明光として、青色狭帯域光と、この青色狭帯域光により波長変換部材で波長変換される蛍光を、前記被検体に向けて同時に照射し、
 前記画像信号取得手段は、前記青色狭帯域光及び蛍光が同時照射された被検体を、カラーの撮像素子で撮像する請求項1ないし6いずれか1項記載の内視鏡システム。
[請求項8]
 前記照明手段は、前記照明光として、青色狭帯域光と緑色狭帯域光を、前記被検体に向けて順次に照射し、
 前記画像信号取得手段は、前記青色狭帯域光と前記緑色狭帯域光が順次照射される毎に、被検体をモノクロの撮像素子で順次撮像する請求項1ないし6いずれか1項記載の内視鏡システム。
[請求項9]
 前記色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号を有し、
 前記多色画像は、画素毎に青色信号を緑色信号で除することで得られるB/G比から構成されるB/G画像である請求項1ないし8いずれか1項記載の内視鏡システム。
[請求項10]
 青色成分と緑色成分を含む照明光を被検体に照射し、前記被写体からの戻り光を撮像素子で受光して撮像することにより、互いに異なる色情報を持つ2つ以上の色信号を取得する電子内視鏡を有する内視鏡システムのプロセッサ装置において、
 前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
 前記多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記多色画像から前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段とを備えることを特徴とする内視鏡システムのプロセッサ装置。
[請求項11]
 青色成分と緑色成分を含む照明光を被検体に照射し、前記被写体からの戻り光を撮像素子で受光して撮像することにより、互いに異なる色情報を持つ2つ以上の色信号を取得する電子内視鏡を有する内視鏡システム内で行われる画像処理方法において、
 前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、
 前記多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成することを特徴とする画像処理方法。

補正された請求の範囲(条約第19条)
[ 2013年4月3日 ( 03.04.2013 )  国際事務局受理 ]

[1]
[削除]
[2]
[削除]
[3]
[補正後] 
 青色成分と緑色成分を含む照明光を、被検体に照射する照明手段と、
 前記被写体からの戻り光を撮像素子で受光して撮像することによって、互いに異なる色情報を持つ2以上の色信号を取得する画像信号取得手段と、
 前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
 前記多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段と、を備え、
 前記血管抽出画像生成手段は、
 前記被検体の粘膜、前記第1層血管、及び前記第2層血管と前記演算値との相関関係を記憶した複数の演算値テーブルと、
 設定された観察モードに対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第1層血管抽出画像、または前記第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備え、
 前記演算値テーブルは前記複数の観察モード毎に設けられ、
 前記各演算値テーブルには、前記粘膜と前記第1層血管との境界を示す演算値が第1境界値として記憶され、前記粘膜と前記第2層血管との境界を示す演算値が前記第2境界値として記憶され、前記第1及び第2境界値は、演算値テーブル毎に異なっていることを特徴とする内視鏡システム。
[4]
[補正後] 
 前記複数の観察モードは、前記被検体の所定の部位における血管の視認性を向上させるためのモードであり、各観察モードは前記所定の部位毎に設定されている請求項3記載の内視鏡システム。
[5]
[補正後] 
 前記第1層血管抽出画像を用いて、前記第1層血管が強調または抑制された第1層血管強調・抑制画像を生成し、または前記第2層血管抽出画像を用いて、前記第2層血管が強調または抑制された第2層血管強調・抑制画像を生成する血管強調・抑制画像生成手段を備える請求項3または4記載の内視鏡システム。
[6]
 前記第1層血管強調・抑制画像または前記第2層血管強調・抑制画像の少なくともいずれか一方を表示する表示手段を備える請求項5記載の内視鏡システム。
[7]
[補正後] 
 前記照明手段は、前記照明光として、青色狭帯域光と、この青色狭帯域光により波長変換部材で波長変換される蛍光を、前記被検体に向けて同時に照射し、
 前記画像信号取得手段は、前記青色狭帯域光及び蛍光が同時照射された被検体を、カラーの撮像素子で撮像する請求項3ないし6いずれか1項記載の内視鏡システム。
[8]
[補正後] 
 前記照明手段は、前記照明光として、青色狭帯域光と緑色狭帯域光を、前記被検体に向けて順次に照射し、
 前記画像信号取得手段は、前記青色狭帯域光と前記緑色狭帯域光が順次照射される毎に、被検体をモノクロの撮像素子で順次撮像する請求項3ないし6いずれか1項記載の内視鏡システム。
[9]
[補正後] 
 前記色信号は、青色成分の情報が含まれる青色信号と緑色成分の情報が含まれる緑色信号を有し、
 前記多色画像は、画素毎に青色信号を緑色信号で除することで得られるB/G比から構成されるB/G画像である請求項3ないし8いずれか1項記載の内視鏡システム。
[10]
[補正後] 
 青色成分と緑色成分を含む照明光を被検体に照射し、前記被写体からの戻り光を撮像素子で受光して撮像することにより、互いに異なる色情報を持つ2つ以上の色信号を取得する電子内視鏡を有する内視鏡システムのプロセッサ装置において、
 前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成する多色画像生成手段と、
 前記多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記多色画像から前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成手段と、を備え、
 前記血管抽出画像生成手段は、
 前記被検体の粘膜、前記第1層血管、及び前記第2層血管と前記演算値との相関関係を記憶した複数の演算値テーブルと、
 設定された観察モードに対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第1層血管抽出画像、または前記第2層血管抽出画像の少なくともいずれか一方を生成する血管抽出画像生成部とを備え、
 前記演算値テーブルは前記複数の観察モード毎に設けられ、
 前記各演算値テーブルには、前記粘膜と前記第1層血管との境界を示す演算値が第1境界値として記憶され、前記粘膜と前記第2層血管との境界を示す演算値が前記第2境界値として記憶され、前記第1及び第2境界値は、演算値テーブル毎に異なっていることを特徴とする内視鏡システムのプロセッサ装置。
[11]
[補正後] 
 青色成分と緑色成分を含む照明光を被検体に照射し、前記被写体からの戻り光を撮像素子で受光して撮像することにより、互いに異なる色情報を持つ2つ以上の色信号を取得する電子内視鏡を有する内視鏡システム内で行われる画像処理方法において、
 前記2以上の色信号を用いて画素毎に所定の演算をすることで得られる演算値から構成される多色画像を生成し、
 前記多色画像に対して、複数の観察モード毎に異なる血管抽出処理を行うことによって、特定深さにある第1層血管が前記多色画像から抽出された第1層血管抽出画像、または前記第1層血管よりも深い位置にある第2層血管が前記多色画像から抽出された第2層血管抽出画像の少なくともいずれか一方を生成し、
 前記血管抽出処理は、
 前記被検体の粘膜、前記第1層血管、及び前記第2層血管と前記演算値との相関関係を記憶した複数の演算値テーブルと、
 設定された観察モードに対応する演算値テーブルを用いた血管抽出処理を行うことによって、前記第1層血管抽出画像、または前記第2層血管抽出画像の少なくともいずれか一方を生成するものであり、
 前記演算値テーブルは前記複数の観察モード毎に設けられ、
 前記各演算値テーブルには、前記粘膜と前記第1層血管との境界を示す演算値が第1境界値として記憶され、前記粘膜と前記第2層血管との境界を示す演算値が前記第2境界値として記憶され、前記第1及び第2境界値は、演算値テーブル毎に異なっていることを特徴とする画像処理方法。

条約第19条(1)に基づく説明書
1.補正の内容
(1)出願人は、請求項1に請求項2及び3の構成要件を組み入れて、独立請求項として請求項3 を補正する。
(2)請求項4の係属先を請求項1ないし3から、請求項3に補正をする。
(3)請求項5の係属先を請求項1ないし4から、請求項3または4に補正をする。
(4)請求項7の係属先を請求項1ないし6から、請求項3ないし6に補正をする。
(5)請求項8の係属先を請求項1ないし6から、請求項3ないし6に補正をする。
(6)請求項9の係属先を請求項1ないし8から、請求項3ないし8に補正をする。
(7)請求項10を、補正前の請求項1に係るプロセッサ装置クレームから、補正後の請求項3に係るプロセッサ装置クレームに補正する。
(8)請求項11を、補正前の請求項1に係る方法クレームから、補正後の請求項3に係る方法クレームに補正する。
(9)請求項1及び2を削除する。

2.説明
 請求項1に記載された構成要件と、請求項2に記載された構成要件を、請求項3に組み入れ、請求項3を独立請求項とした。
 また、上記の修正により、請求項4の係属先を請求項1ないし3 から請求項3に修正した。さらに、請求項5の係属先を請求項1ないし4から、請求項3または4に修正した。さらにまた、請求項7の係属先を請求項1ないし6から、請求項3ないし6に修正した。加えて、請求項8の係属先を請求項1ないし6から、請求項3ないし6に修正した。加えてまた、請求項9の係属先を請求項1ないし6から、請求項3ないし6に修正した。
 さらにまた、上記の修正により、請求項1及び2を削除した。

 加えて、請求項10を、請求項1に係るプロセッサ装置クレームから、補正後の請求項3に係るプロセッサ装置クレームに修正した。根拠は〔0029〕、及び〔0031〕から〔0042〕である。
 加えてまた、加えて、請求項11を、請求項1に係る方法クレームから、補正後の請求項3に係る方法クレームに修正した。根拠は〔0043〕から〔0052〕である。

請求項1~11に記載された内視鏡システムおよび画像生成方法において、上記構成を備えることはいずれの引用文献にも記載されていない。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17A]

[ 図 17B]

[ 図 17C]