Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2016114231 - SYSTÈME D'ENDOSCOPE ET DISPOSITIF DE TRAITEMENT

Document

明 細 書

発明の名称 内視鏡システムおよび処理装置

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022  

発明の効果

0023  

図面の簡単な説明

0024  

発明を実施するための形態

0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135  

符号の説明

0136  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

明 細 書

発明の名称 : 内視鏡システムおよび処理装置

技術分野

[0001]
 本発明は、内視鏡を備えた内視鏡システムおよび内視鏡から出力された画像信号を処理する処理装置に関する。

背景技術

[0002]
 従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から、光源装置から供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器の観察を行う。
[0003]
 このような内視鏡システムが有する撮像素子にCMOS(Complementary Metal Oxide Semiconductor)センサを適用するとともに、被写体に対する照明光として青色光、緑色光および赤色光を順次照射し、この三色の光に対応する撮像信号を順次生成する技術が提案されている(例えば、特許文献1参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2013-202189号公報

発明の概要

発明が解決しようとする課題

[0005]
 CMOSセンサは、水平ラインごとにタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像データを生成する。このCMOSセンサにおいて、全画素に対して十分な露光期間を確保するためには、全ての水平ラインで共通して露光させることが可能な期間(Vブランク期間)の比率を上げることが必要となる。しかしながら、Vブランク期間の比率を上げた場合には、その分だけ、信号伝送用の期間が減り、CMOSセンサからの高速読み出しが必要となるため、撮像ケーブルでの高速伝送が必要となり、伝送負担が大きくなるという問題があった。
[0006]
 本発明は、上記に鑑みてなされたものであって、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる内視鏡システムおよび処理装置を提供することを目的とする。

課題を解決するための手段

[0007]
 上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡システムは、被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子を有する内視鏡装置と、前記撮像素子から出力された画像信号のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部を有する処理装置と、を有することを特徴とする。
[0008]
 また、本発明にかかる内視鏡システムは、前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算することを特徴とする。
[0009]
 また、本発明にかかる内視鏡システムは、前記処理装置は、前記光源装置に対し、1ライン露光期間ごとに、1ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部を備えたことを特徴とする。
[0010]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に、各色の照明光が一定の条件を満たすように各色の照明光を照明させ、前記色成分演算部は、演算に使用する各フレームにおける各色の1ライン露光期間の1回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象のラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、ラインごとに各色成分信号を演算することを特徴とする。
[0011]
 また、本発明にかかる内視鏡システムは、前記光源装置は、3色の照明光を照明し、前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの1つ前のフレームおよび2つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を前記関係式に適用して、演算対象のラインにおける各色成分信号を演算することを特徴とする。
[0012]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、1つの前記1ライン露光期間に前記3色のうちの1色の照明光を照明させる照明処理を順次実行させることを特徴とする。
[0013]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、1つの前記1ライン露光期間に前記3色のうちの2色の照明光を照明させることを特徴とする。
[0014]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、前記2色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする。
[0015]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、1つの前記1ライン露光期間に前記3色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする。
[0016]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、前記3色の照明光のいずれもが重複して照明される期間を含むように前記3色の照明光を照明させることを特徴とする。
[0017]
 また、本発明にかかる内視鏡システムは、前記処理装置は、前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、をさらに備え、前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする。
[0018]
 また、本発明にかかる内視鏡システムは、前記3色の照明光は、赤色光、緑色光、青色光であることを特徴とする。
[0019]
 また、本発明にかかる内視鏡システムは、前記撮像素子は、CMOS撮像素子であることを特徴とする。
[0020]
 また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする。
[0021]
 また、本発明にかかる内視鏡システムは、前記撮像素子は、CCD撮像素子であることを特徴とする。
[0022]
 また、本発明にかかる処理装置は、被写体を照明するための照明光を発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、前記光源装置に対し、異なる色の照明光を所定の周期に対応させて順次照明させる照明制御部と、前記内視鏡装置の撮像素子から出力された画像信号の出力値のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部と、を備えたことを特徴とする。

発明の効果

[0023]
 本発明によれば、撮像素子から出力された画像信号のうち、照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて、取得対象のフレームの各色成分の画像信号をラインごとに演算処理によって求めているため、Vブランク期間を設けずとも全画素を十分な期間で露光することができ、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる。

図面の簡単な説明

[0024]
[図1] 図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。
[図2] 図2は、図1に示す内視鏡システムの構成を模式的に示すブロック図である。
[図3] 図3は、図2に示す処理装置において1フレーム分のRGB画像信号が生成されるまでの処理の処理手順を示すフローチャートである。
[図4] 図4は、図2に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。
[図5] 図5は、本実施の形態1で求める画像信号の解の一意性を説明する図である。
[図6] 図6は、実施の形態1の変形例1における撮像素子におけるNBI観察方式の場合における露光、読み出しタイミングを示すタイミングチャートである。
[図7] 図7は、実施の形態1の変形例1における撮像素子におけるNBI観察方式の場合における露光、読み出しタイミングの他の例を示すタイミングチャートである。
[図8] 図8は、実施の形態1における撮像素子がCCD撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
[図9] 図9は、実施の形態2にかかる内視鏡システムの構成を模式的に示すブロック図である。
[図10] 図10は、図9に示す処理装置において1フレーム分のRGB画像信号が生成されるまでの処理の処理手順を示すフローチャートである。
[図11] 図11は、図9に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。
[図12] 図12は、本実施の形態2で求める画像信号の解の一意性を説明する図である。
[図13] 図13は、本実施の形態2で求める画像信号の解の一意性を説明する図である。
[図14] 図14は、実施の形態2における撮像素子がCCD撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
[図15] 図15は、実施の形態3にかかる内視鏡システムの構成を模式的に示すブロック図である。
[図16] 図16は、図15に示す処理装置において1フレーム分のRGB画像信号が生成されるまでの処理の処理手順を示すフローチャートである。
[図17] 図17は、図15に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。
[図18] 図18は、本実施の形態3で求める画像信号の解の一意性を説明する図である。
[図19] 図19は、本実施の形態3で求める画像信号の解の一意性を説明する図である。
[図20] 図20は、実施の形態3における撮像素子がCCD撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。

発明を実施するための形態

[0025]
 以下の説明では、本発明を実施するための形態(以下、「実施の形態」という)として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
[0026]
(実施の形態1)
 図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、本実施の形態1にかかる内視鏡システム1は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡2(スコープ)と、着脱自在に内視鏡2が装着されて内視鏡2から送信される画像信号に対して所定の画像処理を行うとともに内視鏡システム1の各部を制御する処理装置3(信号処理装置)と、内視鏡2の照明光(観察光)を生成する光源装置4と、処理装置3が画像処理を施した画像信号に対応する画像を表示する表示装置5と、を備える。
[0027]
 内視鏡2は、被検体内に挿入される挿入部21と、挿入部21の基端部側であって術者が把持する操作部22と、操作部22より延伸する可撓性のユニバーサルコード23と、を備える。
[0028]
 挿入部21は、照明ファイバ(ライトガイドケーブル)および電気ケーブル等を用いて実現される。挿入部21は、被検体内を撮像する撮像素子としてCMOS撮像素子を内蔵した撮像部を有する先端部21aと、複数の湾曲駒によって構成された湾曲自在な湾曲部21bと、湾曲部21bの基端部側に設けられた可撓性を有する可撓管部21cと、を有する。先端部21aには、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部21dおよび送気・送水用ノズル(図示せず)が設けられている。
[0029]
 操作部22は、湾曲部21bを上下方向および左右方向に湾曲させる湾曲ノブ22aと、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部22bと、処理装置3、光源装置4、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部22cと、を有する。処置具挿入部22bから挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部21先端の開口部21dから表出する。
[0030]
 ユニバーサルコード23は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード23は、基端で分岐した処理装置3および光源装置4に着脱自在なコネクタ23a,23bを有する。ユニバーサルコード23は、先端部21aに設けられた撮像部が撮像した画像信号を、コネクタ23aを介して、処理装置3に伝送する。ユニバーサルコード23は、光源装置4から出射された照明光を、コネクタ23b、操作部22および可撓管部21cを介して先端部21aに伝播する。
[0031]
 処理装置3は、ユニバーサルコード23を介して入力された内視鏡2の先端部21aにおける撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置3は、ユニバーサルコード23を介して内視鏡2の操作部22におけるスイッチ部22cから送信された各種の指示信号に基づいて、内視鏡システム1の各部を制御する。
[0032]
 光源装置4は、複数の波長帯域(色)の光を出射する光源や集光レンズ等を用いて構成される。光源装置4は、光源から出射された光を、コネクタ23bおよびユニバーサルコード23の照明ファイバを介して接続された内視鏡2へ、被写体である被検体内へ向けて照明するための照明光として供給する。光源は、例えば、赤色(R)光、緑色(G)光および青色(B)光の光を発する。
[0033]
 表示装置5は、液晶または有機EL(Electro Luminescence)を用いた表示ディスプレイ等を用いて構成される。表示装置5は、映像ケーブルを介して処理装置3によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置5が表示する画像(体内画像)を見ながら内視鏡2を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。
[0034]
 つぎに、図1で説明した内視鏡システム1の構成について説明する。図2は、図1に示す内視鏡システム1の構成を模式的に示すブロック図である。
[0035]
 内視鏡2は、先端部21aに、光学系24および撮像素子25を有する。先端部21aには、光源装置4から、コネクタ23bを経由して、延伸するライトガイドケーブル23cの先端が位置する。ライトガイドケーブル23cの先端には、照明レンズ21eが設けられる。光源装置4から発せられた光は、ライトガイドケーブル23cを介して、挿入部21の先端部21aの照明窓21fから被写体に照明される。
[0036]
 光学系24は、撮像素子25の前段に設けられた一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
[0037]
 撮像素子25は、受光部26および読み出し部27を有する。撮像素子25は、水平ラインごとの露光かつ読み出しが可能であるCMOS撮像素子である。
[0038]
 受光部26は、受光面に複数の画素が行列状に配置される。各画素は、光が照射された被写体からの光を受光し、受光した光を光電変換して画素信号(画像信号)を生成する。受光部26の受光面側には、光学系24が配置される。
[0039]
 読み出し部27は、受光部26の複数の画素が生成した画像信号を読み出す。読み出し部27は、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット、露光および読み出しを行うローリングシャッタ方式によって画像信号を生成する。したがって、撮像素子25においては、1つの撮像期間(フレーム)であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。言い換えると、1水平ラインの画素群を露光している期間(1ライン露光期間)は、いずれの水平ラインにおいても同じ時間幅であるが、水平ラインごとに始点と終点とがずれている。読み出し部27が読み出した画像信号は、電気信号(アナログ)である。撮像素子25は、読み出し部27が読み出した画像信号の電気信号に対してノイズ除去やA/D変換などを行うAFE部(不図示)や、処理装置3から受信した制御信号にしたがって撮像素子25の動作を制御する制御部(不図示)を有する。撮像素子25が生成した画像信号(デジタル)は、信号ケーブル(不図示)やコネクタ23aを介して、処理装置3に出力される。
[0040]
 処理装置3は、画像処理部31と、表示制御部32と、調光部33と、制御部34と、入力部35と、記憶部36とを備える。
[0041]
 画像処理部31は、撮像素子25の読み出し部27によって読み出された画像信号に対し、所定の画像処理を行う。画像処理部31は、色成分演算部31aと、撮像素子25から読み出された画像信号をフレーム単位で一時的に保持できる書き換え可能なメモリ31bと、ゲイン調整部31cと、ホワイトバランス(WB)調整部31dと、同時化部31eとを有する。画像処理部31は、オプティカルブラック減算処理、エッジ強調処理を行う場合もある。
[0042]
 色成分演算部31aは、内視鏡2の撮像素子25から出力された画像信号のうち、照明光の波長帯域(色)の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を水平ラインごとに演算する。色成分演算部31aは、撮像素子25から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算する。色成分演算部31aは、演算に使用する各フレームにおける各色の1ライン露光期間の1回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、水平ラインごとに各色成分信号を演算する。R,G,Bの3色の照明光が照明される場合には、色成分演算部31aは、連続する3フレームにおいて、R光を照射された被写体からのR光のみを受光部26が受光した際のR画像信号、G光を照射された被写体からのG光のみを受光部26が受光した際のG画像信号、および、B光を照射された被写体からのB光のみを受光部26が受光した際のB画像信号を、水平ラインごとに生成する。
[0043]
 ゲイン調整部31cは、後述する調光部33によって算出されたゲイン調整値、および、後述する照明制御部34aによって設定されたR,G,Bの3色の照明光の各照明期間をもとに、色成分演算部31aから出力された各色の色成分信号であるR,G,B画像信号のゲイン調整を行う。
[0044]
 WB調整部31dは、色成分演算部31aから出力された各色成分であるR,G,B画像信号のホワイトバランスを調整する。
[0045]
 同時化部31eは、入力された各R,G,B画像信号を画素ごとに設けられたメモリ(図示しない)に入力し、読み出し部27が読み出した受光部26の画素のアドレスに対応させて、各メモリの値を入力された各画像信号で順次更新しながら保持するとともに、これら3つのメモリの各画像信号をRGB画像信号として同時化する。
[0046]
 表示制御部32は、画像処理部31から出力されたRGB画像信号を、表示装置5に対応させて階調変換するとともに、表示装置5に対応するフォーマットに変更した表示用画像信号を生成して表示装置5に出力する。この結果、表示装置5には、1枚の体内画像が表示される。
[0047]
 調光部33は、画像処理部31に入力された画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルをもとに、この画像信号に対するゲイン調整値を算出する。調光部33は、検出した明るさレベルをもとに、次に発せられる照明光における光照射量を調光条件として算出する。調光部33は、算出したゲイン調整値をゲイン調整部31cに出力し、検出した明るさレベルとともに調光条件を制御部34に出力する。
[0048]
 制御部34は、CPU等を用いて実現される。制御部34は、処理装置3の各部の処理動作を制御する。制御部34は、処理装置3の各構成に対する指示情報やデータの転送等を行うことによって、処理装置3の動作を制御する。制御部34は、各ケーブルを介して撮像素子25および光源装置4にそれぞれに接続されており、撮像素子25および光源装置4に対する制御も行う。制御部34は、照明制御部34aを有する。
[0049]
 照明制御部34aは、調光部33から出力された調光条件をもとに光源装置4の各色の照明期間および照明強度を設定する。実施の形態1では、照明制御部34aは、照明光の照明強度を一定とし、照明期間を設定する。照明制御部34aは、各光源に供給する電流量や電流供給期間等の駆動条件を設定して、設定条件を含む光源同期信号を光源装置4に出力する。照明制御部34aは、光源装置4が発する光の種別、光量、照明タイミングを設定する。照明制御部34aは、光源装置4に対し、先頭の水平ライン1における露光期間(1ライン露光期間)ごとに、1ライン露光期間以下の期間で照明光を照明させる制御を行う。なお、照明制御部34aは、撮像素子25の出力値が飽和しない条件で、照射時間、照射強度を設定する。照明制御部34aは、撮像素子25の出力値が飽和する手前の照射時間、照射強度を設定し、ゲイン調整部31cは、マイナスゲインで画像信号をゲイン調整してもよい。
[0050]
 入力部35は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム1の各種指示情報の入力を受け付ける。具体的には、入力部35は、被検体情報(例えばID、生年月日、名前等)、内視鏡2の識別情報(例えばIDや検査対応項目)および検査内容等の各種指示情報の入力を受け付ける。
[0051]
 記憶部36は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置3および光源装置4を動作させるための各種プログラムを記憶する。記憶部36は、処理装置3の処理中の情報を一時的に記録する。記憶部36は、読み出し部27によって読み出された画像信号を記憶する。また、記憶部36は、画像処理部31において処理された画像信号を記憶する。
[0052]
 光源装置4は、光源制御部41と、光源ドライバ43および光源44を備えた照明部42とを有する。
[0053]
 光源制御部41は、照明制御部34aの制御のもと、光源44の照明光の照明処理を制御する。照明部42の光源ドライバ43は、光源制御部41の制御のもと、光源44に所定の電力を供給する。照明部42の光源44は、内視鏡2に供給する照明光として、複数の波長帯域(色)の光を発する。光源44は、例えば、赤色LED、緑色LED、青色LED等の光源と集光レンズなどの光学系とを用いて構成され、R、GおよびBの波長帯域(例えば、R:600nm~700nm、G:500nm~600nm、B:400nm~500nm)の光を発する。光源44から発せられた光は、ライトガイドケーブル23cによって、コネクタ23bおよびユニバーサルコード23を経由し、挿入部21の先端部21aの照明レンズ21eを介して照明窓21fから被写体に照明される。なお、照明窓21f近傍には、撮像素子25が配置される。また、光源44は、白色光LEDと、R光、G光およびB光それぞれの波長帯域を有する光を透過させる赤色フィルタ、緑色フィルタおよび青色フィルタを有する回転フィルタとの組み合わせであってもよい。
[0054]
 図3は、処理装置3において1フレーム分のRGB画像信号が生成されるまでの処理の処理手順を示すフローチャートである。図3に示すように、まず、調光部33から制御部34の照明制御部34aに、次に照射させる照明光の調光条件が入力される調光条件入力処理が行なわれる(ステップS1)。照明制御部34aは、入力された調光条件にしたがって、次に照射させる照明光の照明条件を設定し、設定した照明条件で光源装置4に照明光を照明させる照明制御処理を行う(ステップS2)。照明制御部34aは、いずれの色の照明光も照明強度は一定とした上で、次に照射させる照明光の色と照明期間とを設定する。これとともに、制御部34は、内視鏡2の撮像素子25に対して、露光および画像信号の読み出しを行う画像信号読み出し処理を先頭の水平ラインから順次実行させる画像信号読み出し処理を行う(ステップS3)。
[0055]
 画像処理部31の色成分演算部31aが、撮像素子25から出力された画像信号を含む連続する複数のフレームの画像信号の出力値を用いて、各色成分信号を水平ラインごとに演算する色成分演算処理を行う(ステップS4)。色成分演算部31aは、全水平ラインに対して各色成分信号を演算し、フレーム単位で各色成分信号を出力する。その後、画像処理部31は、色成分演算部31aが出力した各色成分信号に対し、ゲイン調整処理、ホワイトバランス調整処理、同時化処理を行って、1フレームのRGB画像信号を生成する画像信号処理を行う(ステップS5)。なお、画像処理部31は、ステップS5において、オプティカルブラック減算処理、エッジ強調処理等の画像信号処理を行う場合もある。
[0056]
 次に図4を参照して、図3に示す各処理について説明する。図4は、図2に示す撮像素子25における露光、読み出しタイミングを示すタイミングチャートである。図4には、撮像素子25の露光、読み出しタイミング(図4の(1)に対応して撮像素子25から読み出される画像信号(図4の(2))、該画像信号を基に生成されるR,G,B画像信号(図4の(3)~(5))についても示している。なお、図4の(3)~(5)においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。
[0057]
 照明制御部34aは、ステップS1において入力された調光条件を基に、光源装置4に対し、R光、G光、B光のうちの1色の光を1ライン露光期間内の1ライン露光期間以下の期間で照明させる照明処理を順次実行させる照明制御処理を行う(ステップS2)。照明制御部34aは、いずれの色の光についても、撮像素子25における各フレームの1ライン露光期間の終了タイミングと同じタイミングで消灯させる。照明制御部34aは、照明開始時間については、調光条件に従い各1ライン露光期間内で調整する。図4の例では、照明制御部34aは、光源装置4に、1ライン露光期間ごとに、G光、B光、R光の順で順次照明させ、いずれの光も各フレームの1ライン露光期間の終了時間で消灯させる。
[0058]
 具体的には、フレーム1の1ライン露光期間(時間T ~T )では、期間L g1がG光の照明期間となり、フレーム2の1ライン露光期間(時間T ~T )では、期間L b2がB光の照明期間となり、フレーム3の1ライン露光期間(時間T ~T )では、期間L r3がR光の照明期間となり、フレーム4の1ライン露光期間(時間T ~T )では、期間L g4がG光の照明期間となり、フレーム5の1ライン露光期間(時間T ~T )では、期間L b5がB光の照明期間とされる。光源装置4は、いずれのフレームにおいても、各フレームの1ライン露光期間の終了時間T ,T ,T ,T ,T で、各光を消灯する。
[0059]
 次に、図3の画像信号読み出し処理(ステップS3)について説明する。本内視鏡システム1では、撮像素子25として、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用するCMOS撮像素子を採用しており、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しを行う。
[0060]
 具体的には、図4の(1)の例では、フレーム1では、先頭の水平ライン1については、時間T ~T まで露光されてから時間T で画素信号が読み出される。以降の水平ラインの画素については、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しが行われる。したがって、フレーム1では、時間T ~T の間に先頭から順に各水平ラインの画素信号が読み出されることによって、フレーム1の画像信号F が出力される(図4の(2)参照)。フレーム2では、時間T ~T の間に各水平ラインの画素信号が順に読み出されることによって、フレーム2の画像信号F が出力される。同様に、フレーム3では、時間T ~T の間の読み出し処理によってフレーム3の画像信号F が出力され、フレーム4では、時間T ~T の間の読み出し処理によってフレーム4の画像信号F が出力され、フレーム5では、時間T ~T の間の読み出し処理によってフレーム5の画像信号F が出力される。
[0061]
 このように、撮像素子25においては、水平ラインごとに露光および読み出しのタイミングが異なるため、各フレームの画像信号F ~F の各出力値は、水平ラインによって、照明される光の色、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。また、R,G,B光は、各フレームの1ライン露光期間ごとに1色ずつ順次照明されるように制御されるため、各R,B,G光の露光期間は、連続する3フレームに渡って分散している。そこで、図3の色成分演算処理(ステップS4)においては、色成分演算部31aは、水平ラインごとに、連続する3フレームの各フレームにおける1ライン露光期間あたりの各色の照明期間と、各フレームにおける演算対象の水平ラインへの各色の露光期間との関係を勘案しながら、撮像素子25から画像信号が出力された最新のフレームを含む連続する3フレーム分の画像信号から取得対象の色成分の信号を抽出することによって、取得対象の色成分の信号を求めている。なお、被写体は動作していない前提である。また、色成分演算部31aが演算で使用する複数のフレームの画像信号は、メモリ31bに一時的に保持されている。
[0062]
 実施の形態1では、連続するフレーム(k-3)~(k-1)における水平ラインnの出力画像信号F (k-3)n,F (k-2)n,F (k-1)nの値と、連続するフレーム(k-3)~(k-1)の各1ライン露光期間における各色の照明期間およびフレーム(k-3)~(k-1)における水平ラインnへの各色の露光期間とに基づく行列A と、演算上のフレームkの水平ラインnのR画像信号F kn(R),G画像信号F kn(G),B画像信号F kn(B)との関係を示す3元一次連立方程式((1)式)が成立する。
[0063]
[数1]


[0064]
 このため、演算上のフレームkの水平ラインnのR画像信号F kn(R),G画像信号F kn(G),B画像信号F kn(B)を求めるためには、(1)式を変形した(2)式の逆行列A -1を求めて、(2)式を解けばよい。すなわち、色成分演算部31aは、撮像素子25から画像信号が出力された最新のフレームと、該フレームの1つ前のフレームおよび2つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を(2)式に適用して、演算対象のラインにおける各色成分信号を演算する。
[0065]
[数2]


[0066]
 例えば、4フレーム目の水平ラインnのR画像信号F 4n(R)、G画像信号F 4n(G)、B画像信号F 4n(B)については、以下の(3)式に、フレーム1~3の画像信号F 1n,F 2n,F 3nにおける水平ラインnの出力値を入力して求める(矢印Y1参照)。(3)式では、連続するフレーム2,3のそれぞれの1ライン露光期間におけるB,R光の照明期間L b2,L r3と、フレーム1~3における水平ラインnへのG光の露光期間g ,g 、B光の露光期間b ,b およびR色の露光期間r ,r と、が行列A のパラメータとなる。
[0067]
[数3]


[0068]
 色成分演算部31aは、水平ラインnに対応するR色の露光期間r ,r 、G光の露光期間g ,g 、B光の露光期間b ,b を行列A のパラメータとして適用し、画像信号F 3n,F 2n,F 1nの水平ラインnの出力値を入力した(3)式を解く演算処理を行う。この結果、色成分演算部31aは、4フレーム目の水平ラインnに対応する照明期間L r3にR光で露光された場合の画像信号に対応するR画像信号F 4n(R)、期間(g +g )にG光で露光された場合の画像信号に対応するG画像信号F 4n(G)、照明期間L b2にB光で露光された場合の画像信号に対応するB画像信号F 4n(B)を生成することができる。色成分演算部31aは、各水平ラインに対応するパラメータを行列A のパラメータとして用い、演算対象の水平ラインnの画像信号F 3n,F 2n,F 1nの出力値を入力した(3)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この結果、4フレーム目のR画像信号F 4(R)、G画像信号F 4(G)、B画像信号F 4(B)をフレーム単位で取得することができる。以下、(3)式における行列A の1行目の成分から成る行ベクトル(r /L r3,g /(g +g ),0)をRa、2行目の成分から成る行ベクトル(r /L r3,0,b /L b2)をRb、3行目の成分から成る行ベクトル(0,g /(g +g ),b /L b2)をRcという。
[0069]
 5フレーム目の水平ラインnのR画像信号F 5n(R)、G画像信号F 5n(G)、B画像信号F 5n(B)については、以下の(4)式に、フレーム2~4の画像信号F 2n,F 3n,F 4nにおける水平ラインnの出力値を入力して求める(矢印Y2参照)。(4)式では、連続するフレーム3,4のそれぞれの1ライン露光期間におけるR,G光の照明期間L r3,L g4、およびフレーム2~4における水平ラインnへのR色の露光期間r ,r 、G光の露光期間g ,g 、B光の露光期間b ,b が行列A のパラメータとなる。
[0070]
[数4]


[0071]
 色成分演算部31aは、水平ラインnに対応するR色の露光期間r ,r 、G光の露光期間g ,g 、B光の露光期間b ,b を行列A のパラメータとして適用し、画像信号F 4n,F 3n,F 2nの水平ラインnの出力値を入力した(4)式を解く演算処理を行う。この結果、色成分演算部31aは、5フレーム目の水平ラインnに対応する照明期間L r3にR光で露光された場合の画像信号に対応するR画像信号F 5n(R)、照明期間L g4にG光で露光された場合の画像信号に対応するG画像信号F 5n(G)、期間(b +b )にB光で露光された場合の画像信号に対応するB画像信号F 5n(B)を生成することができる。色成分演算部31aは、各水平ラインに対応するパラメータを行列A のパラメータとして用い、演算対象の水平ラインの画像信号F 4n,F 3n,F 2nの出力値を入力した(4)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この結果、5フレーム目のR画像信号F 5(R)、G画像信号F 5(G)、B画像信号F 5(B)をフレーム単位で取得することができる。
[0072]
 6フレーム目の水平ラインnのR画像信号F 6n(R)、G画像信号F 6n(G)、B画像信号F 6n(B)については、以下の(5)式に、フレーム3~5の画像信号F 3n,F 4n,F 5nにおける水平ラインnの出力値を入力して求める(矢印Y3参照)。(5)式では、連続するフレーム4,5のそれぞれの1ライン露光期間におけるG,B光の照明期間L g4,L b5、およびフレーム3~5における水平ラインnへのR色の露光期間r ,r 、G光の露光期間g ,g 、B光の露光期間b ,b が行列A のパラメータとなる。
[0073]
[数5]


[0074]
 色成分演算部31aは、水平ラインnに対応するR光の露光期間r ,r 、G光の露光期間g ,g 、B光の露光期間b ,b を行列A のパラメータとして適用し、画像信号F 5n,F 4n,F 3nの水平ラインnの出力値を入力した(5)式を解く演算処理を行う。この結果、色成分演算部31aは、6フレーム目の水平ラインnに対応する照明期間(r +r )にR光で露光された場合の画像信号に対応するR画像信号F 6n(R)、照明期間L g4にG光で露光された場合の画像信号に対応するG画像信号F 6n(G)、照明期間L b5にB光で露光された場合の画像信号に対応するB画像信号F 6n(B)を生成することができる。色成分演算部31aは、各水平ラインに対応するパラメータを行列A のパラメータとして用い、演算対象の水平ラインの画像信号F 5n,F 4n,F 3nの出力値を入力した(5)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この結果、6フレーム目のR画像信号F 6(R)、G画像信号F 6(G)、B画像信号F 6(B)をフレーム単位で取得することができる。
[0075]
 7フレーム以降についても、3フレーム単位で(3)式~(5)式を順次用いて各水平ラインnの各色成分の画像信号を演算すればよい。(3)式~(5)式の行列A については、各パラメータのフレーム番号を3ずつ加算し、各水平ラインnごとに行列A の逆行列A -1を演算して、水平ラインnごとに各色成分の画像信号を取得する。
[0076]
 なお、本実施の形態1で用いる関係式中の行列A の階数について説明する。図5は、本実施の形態1で求める画像信号の解の一意性を説明する図であり、(3)式の行ベクトルRa,Rb,RcをR,G,B空間で見た場合を示す図である。行ベクトルRaは、R-G平面上のベクトルであって、水平ライン1に対応する位置R a1から、ライン番号が進むにしたがって位置R c1に向かって進む軌跡P Raを描く。行ベクトルRbは、B-R平面上のベクトルであって、水平ライン1に対応する位置R b1から、ライン番号が進むにしたがって位置R a1に向かって進む軌跡P Rbを描く。行ベクトルRcは、G-B平面上のベクトルであって、水平ライン1に対応する位置R c1から、ライン番号が進むにしたがって位置R b1に向かって進む軌跡P Rcを描く。これらの行ベクトルRa,Rb,Rcは、図5のように、R-G平面、B-R平面、G-B平面の各平面上でそれぞれ異なる軌跡P Ra,P Rb,P Rcを描く関係であるため、いずれの行ベクトルRa~Rcについても2つの行ベクトルが同時にR,G,B軸上で重複することもない。
[0077]
 したがって、行ベクトルRa~Rcは常に一次独立であるため、行列A は、階数(ランク)3となり、(3)式の解は一意に定まる。したがって、R,G,Bの照明期間が同一である場合、異なる場合のいずれにおいても、(3)式の解は必ず一意に定まるため、各R画像信号F 4n(R)、G画像信号F 4n(G)、B画像信号F 4n(B)の値を演算において求めることができる。(4)式、(5)式も同様であるため、いずれのフレームの色成分信号についても一意に求めることができる。
[0078]
 上述の色成分演算処理(ステップS4)では、1フレームでR,G,B画像信号のいずれもが色成分信号として演算され、画像信号処理(ステップS5)では、これらのR,G,B画像信号に対して所定の画像信号処理が実行される。このうち同時化処理において、同時化部31eは、このR,G,B画像信号のうち、演算で使用した連続する3フレームのうちの最後のフレームの読み出し期間に最も近い露光期間で露光される色の画像信号を採用する。そして、3フレーム単位で、各フレームで1色ずつ採用された画像信号をもとに同時化処理を行う。例えば、4フレーム目では、フレーム3における読み出し期間T ~T に最も近い露光期間L r3に対応するR画像信号F 4(R)を採用し、5フレーム目では、フレーム4における読み出し期間T ~T に最も近い露光期間L g4に対応するG画像信号F 5(G)を採用し、6フレーム目では、フレーム5における読み出し期間T ~T に最も近い露光期間L b5に対応するB画像信号F 6(B)を採用し、採用したR画像信号F 4(R)、G画像信号F 5(G)、B画像信号F 6(B)を用いて、同時化処理を行ってRGB画像信号を生成する。もちろん、同時化部31eは、同フレームのR,G,B画像信号を用いて同時化処理を行い、1フレームごとにRGB画像信号を生成してもよい。
[0079]
 このように、実施の形態1では、処理装置3における色成分演算部31aにおいて、複数の連続したフレームの画像信号の出力値を用いた演算によって、取得対象のフレームの各色成分の画像信号を水平ラインごとに抽出している。したがって、実施の形態1によれば、各照明光の露光期間を1ライン露光期間の中で自由に設定することができるため、全画素に対して十分な露光期間を確保でき、撮像素子25の感度を維持できる。また、本実施の形態1では、色成分演算部31aが演算処理によって取得対象のフレームの各色成分の画像信号を抽出していることから、全ての水平ラインで共通して露光させる期間(Vブランク期間)を設けずともよいため、信号伝送用の期間も十分に確保できる。したがって、実施の形態1によれば、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる。
[0080]
(実施の形態1の変形例1)
 実施の形態1は、R,G,Bの3色の照明光を順次切り替える面順次方式に限らず、例えば血液中のヘモグロビンに吸収されやすくなるように狭帯域化された青色光および緑色光の2種の帯域のNBI(Narrow Band Imaging)照明光を用いて観察するNBI観察方式にも適用可能である。NBI観察方式の場合には、光源装置4は、照明制御部34aの制御に従い、狭帯域化された青色光(V光)と狭帯域化されたG光を順次切り替えて照射する。V光の波長帯域は、例えば、波長390~470nmである。
[0081]
 図6は、NBI観察方式の場合における、撮像素子25における露光、読み出しタイミングを示すタイミングチャートである。図6には、撮像素子25の露光、読み出しタイミング(図6の(1))に対応して撮像素子25から読み出される画像信号(図6の(2))、該画像信号を基に生成されるV、G画像信号等(図6の(3)~(5))についても示している。なお、図6の(3)~(5)においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。なお、この場合においても、処理装置3は、図3に示す各処理とほぼ同様の処理を行うことによって1フレーム分のV画像信号およびG画像信号を生成する。
[0082]
 まず、照明制御部34aは、調光条件入力処理(図3のステップS1)において入力された調光条件を基に、照明制御処理を行う(ステップS2)。NBI観察方式では、照射光は、V光、G光の2色となるため、演算処理で使用する行列式のランクを3に保持するために光を発光しない無光フレームを設定する。具体的には、照明制御部34aは、光源装置4に、フレーム1の1ライン露光期間においてV光を照射させ、フレーム2の1ライン露光期間においてG光を照射させ、次のフレーム3の1ライン露光期間では発光なしの無光フレームとする。そして、連続する3フレームにおいても、照明制御部34aは、V光照射(フレーム4)、G光照射(フレーム5)、発光なし(フレーム6)とし、3フレーム単位でこの照明制御を繰り返す。
[0083]
 続いて、色成分演算部31aは、画像信号読み出し処理(ステップS3)で読み出された連続する3つのフレームの画像信号と上述の(3)~(5)式のいずれかのうち対応する演算式を用いて、V画像信号およびG画像信号を水平ラインごとに生成する(ステップS4)。色成分演算部31aは、例えば、4フレーム目のV画像信号F 4v(V)、G画像信号F 4v(G)を生成する場合には、水平ラインnごとに、連続する3つのフレーム画像信号F ~F (図6の(2)参照)の水平ラインnの出力値を(3)式に入力する。この場合、水平ラインnにおいては、連続するフレーム1~3のそれぞれの1ライン露光期間におけるV,B光の照明期間L v1,L g2、およびフレーム1~3における水平ラインnへのV光の露光期間v ,v 、G光の露光期間g ,g に加え、発光のないフレーム3における見かけ上の照明期間L o3と露光期間O ,O とが、(3)式の行列A のパラメータとなる。
[0084]
 そして、色成分演算部31aは、(3)式を解くことによって、4フレーム目の水平ラインnに対応する期間(v +v )にV光で露光された場合の画像信号に対応するV画像信号F 4vn(V)(図6の(3))、照明期間L g2にG光で露光された場合の画像信号に対応するG画像信号F 4vn(G)(図6の(4))を生成する。なお、演算上、見かけ上の照明期間L O3に対応する無照明時画像信号F 4vn(O)も生成される(図6の(5))。色成分演算部31aは、各水平ラインに対応するパラメータを行列A のパラメータとして用い、演算対象の水平ラインの画像信号F 3n,F 2n,F 1nの出力値を入力した(3)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この結果、4フレーム目のV画像信号F 4V(V)、G画像信号F 4V(G)、無照明時画像信号F 4v(O)をフレーム単位で取得することができる。続いて、画像処理部31は、色成分演算部31aが演算した各V画像信号F 4v(V)、G画像信号F 4v(G)に対し、ゲイン調整処理等を含む画像信号処理(ステップS5)を行い、NBI画像信号を生成する。ここで、この無光フレームを設定した場合には、調光を行う必要がなくなるため、調光せずに常時最長の照射時間でV光、G光を照射できることから、計算誤差を低減でき、残像の影響も少なくできるものと考えられる。
[0085]
 また、図7は、NBI観察方式の場合における、撮像素子25における他の露光、読み出しタイミングを示すタイミングチャートである。照明制御部34aは、光源装置4に、図7の(1)に示すように、図6では無光フレームとしたフレーム3,6に、第2のV光(VV光)を照射させてもよい。この場合、4フレーム目の水平ラインnについては、連続するフレーム1~3のそれぞれの1ライン露光期間におけるV,G,VV光の照明期間L v1,L g2,L vv3、およびフレーム1~3における水平ラインnへのV光の露光期間v ,v 、G光の露光期間g ,g 、VV光の露光期間vv ,vv が(3)式の行列A のパラメータとなる。色成分演算部31aは、フレーム画像信号F ~F (図7の(2)参照)の水平ラインnの出力値を(3)式に入力し、解くことによって、4フレーム目の水平ラインnにおける、V画像信号F 4vvn(V)(図7の(3))、G画像信号F 4vvn(G)(図7の(4))に加え、照明期間L vv3にVV光で露光された場合の画像信号に対応するVV画像信号F 4vvn(VV)(図7の(5))を生成することができる。色成分演算部31aは、各水平ラインnに対応するパラメータを行列A のパラメータとし、演算対象の水平ラインnの画像信号F 3n,F 2n,F 1nの出力値を入力した(3)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまで順次行うことによって、4フレーム目のV画像信号F 4vv(V)、G画像信号F 4vv(G)、VV画像信号F 4vv(VV)をフレーム単位で取得する。V光は感度が十分確保できないため、この場合には、V光照明を2回行って、2枚のV光画像信号を用いることによって、V光画像信号とG光画像信号との感度的なバランスを取っている。なお、3フレーム中、V光を2回照明するほか、G光を2回照明することももちろん可能である。
[0086]
(実施の形態1の変形例2)
 また、実施の形態1は、撮像素子25がグローバルシャッタ方式を採用するCCD撮像素子である場合にも適用可能である。図8は、撮像素子25がCCD撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
[0087]
 図8の(1)に示すように、照明制御部34aは、光源装置4に、G光、B光、R光の順に順次照明光を照射させる。撮像素子25からは、フレーム1の画像信号F が、全水平ラインいずれについても、各B光照射期間L b2内における時間T において読み出される。同様に、撮像素子25からは、R光照射期間L r3、G光照射期間L g4の期間内の時間T ,T において、フレーム2,3の画像信号F ,F が読み出される。色成分演算部31aが4フレーム目のR画像信号F 4c(R)、G画像信号F 4c(G)、B画像信号F 4c(B)を生成する場合には、水平ラインごとに、連続する3つのフレームの画像信号F ~F (図8の(2)参照)のうち演算対象である水平ラインの出力値を入力して(3)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この場合には、実施の形態1と同様に、水平ラインnにおいては、連続するフレーム1~3のそれぞれの1ライン露光期間におけるR,B光の照明期間L r3,L b2、およびフレーム1~3における水平ラインnへのR光の露光期間r ,r 、G光の露光期間g ,g 、B光の露光期間b ,b が(3)式の行列A のパラメータとなる。
[0088]
(実施の形態2)
 次に、実施の形態2について説明する。実施の形態2では、1つの1ライン露光期間に3色のうちの2色の照明光を照明させた場合について説明する。
[0089]
 図9は、実施の形態2にかかる内視鏡システムの構成を模式的に示すブロック図である。図9に示すように、実施の形態2にかかる内視鏡システム201は、図2に示す処理装置3に代えて処理装置203を有する。処理装置203は、照明制御部234aを有する制御部234とを備える。照明制御部234aは、光源装置4に対し、1つの1ライン露光期間にR,G,Bの3色のうちの2色の照明光を照明させる。照明制御部234aは、連続する3つの1ライン露光期間においていずれの色の照明光も同回数照明されるように光源装置4に照明処理を行わせる。照明制御部234aは、光源装置4に対し、同一の1ライン露光期間において照明させる2色の照明光の照明期間が少なくとも一部で重複する状態で照明させる。
[0090]
 また、記憶部36は、照明期間テーブル236a(照明期間情報)を記憶する。照明期間テーブル236aは、色成分演算部31aが用いる所定の関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示されたテーブルである。照明制御部234aは、光源装置4に対する照明期間テーブル236aで示された各色の照明光の照明期間の組み合わせのうち、調光部33が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させる。
[0091]
 図10は、処理装置203において1フレーム分のRGB画像信号が生成されるまでの処理の処理手順を示すフローチャートである。照明制御部234aは、前フレームの照明期間を取得する前フレーム照明期間取得処理を行う(ステップS11)。ステップS11では、照明制御部234aは、1フレーム過去の2光の各照明期間を取得する。ステップS12は、図3に示すステップS1である。照明制御部234aは、記憶部36の照明期間テーブル236aを参照する照明期間テーブル参照処理を行う(ステップS13)。照明制御部234aは、ステップS11において取得した前フレームの照明期間も勘案して、照明期間テーブル236aで示された各色の照明光の照明期間の組み合わせのうち、調光部33が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で次に照明する各色の照明期間を設定する照明期間設定処理を行う(ステップS14)。照明制御部234aは、設定した照明期間で光源装置4に各照明光を照明させる照明制御処理を行う(ステップS15)。ステップS16~ステップS18は、図3に示すステップS3~ステップS5である。
[0092]
 次に図11を参照して、図10に示す一部の処理について説明する。図11は、図9に示す撮像素子25における露光、読み出しタイミングを示すタイミングチャートである。図11には、撮像素子25の露光、読み出しタイミング(図11の(1))に対応して撮像素子25から読み出される画像信号(図11の(2))、該画像信号を基に生成されるR,G,B画像信号(図11の(3)~(5))についても示している。なお、図11の(3)~(5)においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。
[0093]
 照明制御部234aは、ステップS13において設定した照明期間で、光源装置4に対し、1つの1ライン露光期間にR,G,Bの3色のうちの2色の照明光を照明させる照明期間設定処理(ステップS14)を、連続する3つの1ライン露光期間においていずれの色の照明光も同回数照明されるように実行させる。さらに、照明制御部234aは、光源装置4に対し、同一の1ライン露光期間において照明させる2色の照明光の照明期間が少なくとも一部で重複する状態で照明させる。そして、照明制御部234aは、光源装置4に対し、実施の形態1と同様に、いずれの光も各フレームの1ライン露光期間の終了時間T ,T ,T ,T ,T で消灯させる。
[0094]
 具体的には、フレーム1の1ライン露光期間では、第1光のB光が照明期間L b1で照射されるとともに第2光のR光が照明期間L r1で照明され、フレーム2の1ライン露光期間では、第1光のG光が照明期間L g2で照射されるとともに第2光のB光が照明期間L b2で照明され、フレーム3の1ライン露光期間では、第1光のR光が照明期間L r3で照射されるとともに第2光のG光が照明期間L g3で照明される。以降のフレームについても、連続する3つのフレームにおいていずれの色の照明光も、同回数照明されるとともに、同一の1ライン露光期間において照明させる2色の照明光の照明期間が少なくとも一部で重複する状態で照明される。
[0095]
 ステップS16における画像信号読み出し処理で読み出されるフレームの画像信号F ~F の各出力値は、水平ラインによって、照明光の色や数、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。実施の形態2では、連続するフレーム(k-3)~(k-1)における水平ラインnの出力画像信号F (k-3)n,F (k-2)n,F (k-1)nの値と、連続するフレーム(k-3)~(k-1)の各1ライン露光期間における第1光、第2光の各照明期間およびフレーム(k-3)~(k-1)における水平ラインnへの第1光および第2光の各露光期間とに基づく行列A と、フレームkの水平ラインnのR画像信号F kn(R),G画像信号F kn(G),B画像信号F kn(B)との関係を示す3元一次連立方程式が成立する((1)式)。色成分演算部31aは、水平ラインnごとに、実施の形態2に対応する行列A の逆行列A -1を求めて(2)式を解き、フレームkの水平ラインnのR画像信号F kn(R),G画像信号F kn(G),B画像信号F kn(B)を求める。
[0096]
 実施の形態2では、連続するフレーム(k-3)~(k-1)の各1ライン露光期間における第1光、第2光の照明期間およびフレーム(k-3)~(k-1)における水平ラインnへの第1光および第2光の各露光期間が行列A のパラメータとなる。例えば、4フレーム目の水平ラインnのR画像信号F 4n(R)、G画像信号F 4n(G)、B画像信号F 4n(B)については、以下の(6)式に、フレーム1~3における水平ラインnの画像信号F 1n,F 2n,F 3nの出力値を入力して求める。
[0097]
[数6]


[0098]
 (6)式では、連続するフレーム1,2,3の第1光のB,G,R光の各照明期間L b1,L g2,L r3、第2光のR,B,G光の各照明期間L r1,L b2,L g3、フレーム1~3における水平ラインnへの第1光のB光に対する露光期間b ,b 、第1光のG光に対する露光期間g ,g 、第1光のR光に対する露光期間r ,r 、第2光のR光に対する露光期間R ,R 、第2光のB光に対する露光期間B ,B 、および、第2光のG光に対する露光期間G ,G が4フレーム目の演算式中の行列A のパラメータとなる。以下、(6)式における行列A の1行目の分子成分から成る行ベクトル(r +R ,G ,b )をSa、2行目の分子成分から成る行ベクトル(r ,g +G ,B )をSb、3行目の分子成分から成る行ベクトル(R ,g ,b +B )をScという。
[0099]
 色成分演算部31aは、水平ラインnに対応する各第1色および第2色の照明期間および露光時間を行列A のパラメータとして適用し、画像信号F 3n,F 2n,F 1nの水平ラインnの出力値を入力した(6)式を解く演算処理を行う。この結果、色成分演算部31aは、4フレーム目の水平ラインnに対応する、期間(R +L r3+R )にR光で露光された場合の画像信号に対応するR画像信号F 4n(R)、期間(L g2+L g3)にG光で露光された場合の画像信号に対応するG画像信号F 4n(G)、期間(b +L b2+b )にB光で露光された場合の画像信号に対応するB画像信号F 4n(B)を生成することができる。色成分演算部31aは、各水平ラインnに対応するパラメータを行列A のパラメータとして用い、演算対象の水平ラインnの画像信号F 3n,F 2n,F 1nの出力値を入力した(6)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この結果、色成分演算部31aは、4フレーム目のR画像信号F 4(R)、G画像信号F 4(G)、B画像信号F 4(B)をフレーム単位で取得することができる。5フレーム目についても、同様に、(6)式の行列A にそれぞれ対応するパラメータを適用し、水平ラインnごとに行列A の逆行列A -1を演算して、水平ラインnごとに各色成分の画像信号(R画像信号F 5n(R)、G画像信号F 5n(G)、B画像信号F 5(B))を生成し、5フレーム目のR画像信号F 5(R)、G画像信号F 5(G)、B画像信号F 5(B)をフレーム単位で取得する。6フレーム目についても同様である。
[0100]
 次に、(6)式中の行列A の階数について説明する。(6)式の行列A は、以下の(7)式のように分解できる。
[0101]
[数7]


[0102]
 (7)式のように、行列A は、第1光による各露光時間r ,r ,g ,g ,b ,b がパラメータとなる行列A 4-1、第2光による各露光時間R ,R ,G ,G ,B ,B がパラメータとなる行列A 4-2、第1光の照射期間と第2光の照射期間との和の逆数がパラメータとなる行列A 4-3に分解できる。このうち、行列A 4-3は、対角行列であるため、ランク3であり、逆行列が存在する。このため、(6)式の解が一意に決まるためには、行列A 4-1と行列A 4-2の加算後の行列がランク3であればよい。以下、(7)式における行列A 4-1の1行目の成分から成る行ベクトル(r ,0,b )をSaa、2行目の成分から成る行ベクトル(r ,g ,0)をSba、3行目の成分から成る行ベクトル(0,g ,b )をScaという。(7)式における行列A 4-2の1行目の成分から成る行ベクトル(R ,G ,0)をSab、2行目の成分から成る行ベクトル(0,G ,B )をSbb、3行目の成分から成る行ベクトル(R ,0,B )をScbという。
[0103]
 図12は、本実施の形態2で求める画像信号の解の一意性を説明する図であり、行列A 4-1の行ベクトルSaa,Sba,Scaと、行列A 4-2の行ベクトルSab,Sbb,ScbをR,G,B空間で見た場合を示す図である。図12では、いずれの色の照明期間も全て同期間であって、調光を行わない場合について示す。この場合、行ベクトルSaaと行ベクトルScbは、R-B平面上で同一の軌跡P Saa,P Scbを描く。また、行ベクトルSbaと行ベクトルSabは、R-G平面上で同一の軌跡P Sba,P Sabを描き、行ベクトルScaと行ベクトルSbbは、G-B平面上で同一の軌跡P Sca,P Sbbを描く。このため、最終的に、(6)式における行ベクトルSaは、点P を起点とし点P を終点とする軌跡P Saをたどり、行ベクトルSbは、点P を起点とし点P を終点とする軌跡P Sbをたどり、行ベクトルScは、点P を起点とし点P を終点とする軌跡P Scをたどる。したがって、行ベクトルSa~Scは常に一次独立となり、行列A はランク3となるため、(6)式における行列A の逆行列A -1は存在し、(6)式の解は一意に定まる。
[0104]
 図13は、本実施の形態2で求める画像信号の解の一意性を説明する図であり、行列A 4-1の行ベクトルSaa,Sba,Scaと、行列A 4-2の行ベクトルSab,Sbb,ScbをR,G,B空間で見た場合の他の例を示す図である。図13では、各色の照明期間のうち、フレーム3の第2光であるG光の照明期間L g3以外の各色の照明期間は全て同期間であって、他の照明期間よりも照明期間L g3のみが長く調光した場合について示す。
[0105]
 この場合、行ベクトルSbaと行ベクトルSabは、R-B平面上で異なる軌跡P Sba,P Sabを描くものの、終点は一致している。また、行ベクトルScaと行ベクトルSbbは、G-B平面上で異なる軌跡P Sca,P Sbbを描くものの、起点は一致している。したがって、最終的に(6)式における行ベクトルSaの軌跡P saにおける起点と行ベクトルSbの軌跡P sbにおける終点とが、図12の場合と比して、照明期間L g3に対応する点P となるのみで、行ベクトルSa~Scは常に一次独立となり、行列A はランク3となるため、調光を行った場合であっても、(6)式における行列A の逆行列A -1は存在し、(6)式の解は一意に定まる。したがって、R,G,Bに対する調光の有無によらず、(6)式の解は、必ず一意に定まるため、各R画像信号F 4n(R)、G画像信号F 4n(G)、B画像信号F 4n(B)の値を演算において求めることができる。なお、実施の形態2では、色成分演算部31aが用いる関係式((6)式)の解が一意に定まる各色の照明光の照明期間の組み合わせの中から、調光条件に最も近い照明期間の組み合わせで各光を照明させることによって、色成分演算部31aによる演算の簡略化を図っている。
[0106]
 上述の色成分演算処理(ステップS17)では、1フレームでR,G,B画像信号のいずれもが演算される。画像信号処理(ステップS18)では、同時化部31eは、このR,G,B画像信号のうち、演算で使用した連続する3フレームのうちの最後のフレームの読み出し期間に近い2つの期間で露光される色の画像信号が低残像となるため、同時化処理において採用する。例えば、4フレーム目では、フレーム3における読み出し期間T ~T に近い露光期間L g3および露光期間L g2の2つの期間に対応するG画像信号F 4(G)を採用し、5フレーム目では、フレーム4における読み出し期間T ~T に最も近い露光期間L r4および露光期間L r3の2つの期間に対応するR画像信号F 5(R)を採用し、6フレーム目では、フレーム5における読み出し期間T ~T に最も近い露光期間L b5および露光期間L b4に対応するB画像信号F 6(B)を採用し、採用したR画像信号F 4(R)、G画像信号F 5(G)、B画像信号F 6(B)を用いて、同時化を行い、RGB画像信号を生成する。
[0107]
 この実施の形態2のように、1フレームで2色発光を行った場合も、複数の連続したフレームの画像信号の出力値を用いた演算処理において、取得対象のフレームの各色成分の画像信号を抽出しているため、実施の形態1と同様の効果を奏する。さらに、実施の形態2では、実施の形態1と比して、各色の照明頻度が多くなるため、被写体が動いた場合の残像を低減することができる。
[0108]
 なお、実施の形態2は、実施の形態1と同様に、撮像素子25がグローバルシャッタ方式を採用するCCD撮像素子である場合にも適用可能である。図14は、撮像素子25がCCD撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。照明制御部234aが、光源装置4に、図14の(1)に示す条件でG光、B光、R光を照射させ、例えば4フレーム目のR画像信号F 4c(R)、G画像信号F 4c(G)、B画像信号F 4c(B)を生成する場合には、連続する3つのフレーム画像信号F ~F (図14の(2)参照)の出力値を、水平ラインごとに、(6)式に入力して演算する。この場合も、CMOS撮像素子の場合と同様に、水平ラインnについては、連続するフレーム1~3の第1光のB,G,R光の各照明期間L b1,L g2,L r3、第2光のR,B,G光の各照明期間L r1,L b2,L g3、フレーム1~3における水平ラインnへの第1光のB光に対する露光期間b ,b 、第1光のG光に対する露光期間g ,g 、第1光のR光に対する露光期間r ,r 、第2光のR光に対する露光期間R ,R 、第2光のB光に対する露光期間B ,B 、および、第2光のG光に対する露光期間G ,G が(6)式の行列A のパラメータとなる。
[0109]
 また、本実施の形態2は、実施の形態1と同様に、NBI観察方式にも適用可能である。この場合には、照明制御部234aは、V光とG光と無光との組み合わせ、V光とG光とVV光との組み合わせ、或いは、V光とG光とGG光(2回目のG光)の組み合わせのいずれかのパターンを用いて、R,G,B光照射の条件と同様に、1つの1ライン露光期間に3色のうちの2色の照明光を照明させる照明処理を、連続する3つのフレーム期間においていずれの色の照明光も同回数照明されるように実行させればよい。また、実施の形態2では、同一の1ライン露光期間において照明させる2色の照明光の照明期間が少なくとも一部で重複する状態で照明させる場合を例に説明したが、行列A がランク3となる条件であれば、同一の1ライン露光期間において照明させる2色の照明光の照明期間が重複していなくともよい。
[0110]
(実施の形態3)
 次に、実施の形態3について説明する。実施の形態3では、1つの1ライン露光期間に3色全ての照明光を照明させた場合について説明する。
[0111]
 図15は、実施の形態3にかかる内視鏡システムの構成を模式的に示すブロック図である。図15に示すように、実施の形態3にかかる内視鏡システム301は、図9に示す処理装置203に代えて処理装置303を有する。処理装置303は、照明制御部334aを有する制御部334を備える。照明制御部334aは、光源装置4に対し、1つの1ライン露光期間にR,G,Bの3色の全ての照明光をそれぞれ異なる照明期間で照明させる。照明制御部334aは、光源装置4に対し、同じ1ライン露光期間において照明される3色の照明光のいずれもが重複して照明される期間を含むように3色の照明光を照明させる。
[0112]
 また、記憶部36は、実施の形態2と同様に、色成分演算部31aが用いる所定の関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間テーブル336a(照明期間情報)を記憶する。照明制御部334aは、光源装置4に対する照明期間テーブル336aで示された各色の照明光の照明期間の組み合わせのうち、調光部33が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させる。
[0113]
 図16は、処理装置303において1フレーム分のRGB画像信号が生成されるまでの処理の処理手順を示すフローチャートである。照明制御部334aは、前フレームの照明期間を取得する前フレーム照明期間取得処理を行う(ステップS21)。ステップS21では、照明制御部334aは、1フレーム過去の3光の各照明期間および2フレーム過去の3光の各照明期間を取得する。ステップS22は、図3に示すステップS1である。照明制御部334aは、記憶部36の照明期間テーブル336aを参照する照明期間テーブル参照処理を行う(ステップS23)。照明制御部334aは、ステップS21において取得した前フレームの照明期間も勘案して、照明期間テーブル336aで示された各色の照明光の照明期間の組み合わせのうち、調光部33が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で次に照明する各色の照明期間を設定する照明期間設定処理を行う(ステップS24)。照明制御部334aは、設定した照明期間で光源装置4に各照明光を照明させる照明制御処理を行う(ステップS25)。ステップS26~ステップS28は、図3に示すステップS3~ステップS5である。
[0114]
 次に図17を参照して、図16に示す一部の処理について説明する。図17は、図15に示す撮像素子25における露光、読み出しタイミングを示すタイミングチャートである。図17には、撮像素子25の露光、読み出しタイミング(図17の(1))に対応して撮像素子25から読み出される画像信号(図17の(2))、該画像信号を基に生成されるR,G,B画像信号(図17の(3)~(5))についても示している。なお、図17の(3)~(5)においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。
[0115]
 照明制御部334aは、ステップS23において設定した照明期間で、光源装置4に対し、1つの1ライン露光期間にR,G,Bの3色全ての照明光を照明させる照明処理(ステップS24)を、同じ1ライン露光期間における3色の照明期間がそれぞれ異なる期間で照明されるように実行させる。さらに、照明制御部334aは、光源装置4に対し、同一の1ライン露光期間において照明させる3色の照明光のいずれもが重複して照明される期間を含むように3色の照明光を照明させる。そして、照明制御部334aは、光源装置4に対し、実施の形態1と同様に、いずれの光も各フレームの1ライン露光期間の終了時間T ,T ,T ,T ,T で消灯させる。
[0116]
 具体的には、フレーム1の1ライン露光期間では、第1光のG光が照明期間L g1で照射され、第2光のB光が照明期間L b1(<L g1)で照明され、第3光のR光が照明期間L r1(<L b1)で照明される。フレーム2の1ライン露光期間では、第1光のB光が照明期間L b2で照射され、第2光のR光が照明期間L r2(<L b2)で照明され、第3光のG光が照明期間L g2(<L r2)で照明される。フレーム3の1ライン露光期間では、第1光のR光が照明期間L r3で照射され、第2光のG光が照明期間L g3(<L r3)で照明され、第3光のB光が照明期間L b3(<L g3)で照明される。以降のフレームについても、同じ1ライン露光期間における3色の照明期間がそれぞれ異なる期間で照明されるとともに、同じ1ライン露光期間において照明される3色の照明光のいずれもが重複して照明される期間を含むように3色の照明光を照明させる。
[0117]
 ステップS26における画像信号読み出し処理で読み出されるフレームの画像信号F ~F の各出力値は、水平ラインによって、照明光の色や数、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。実施の形態3では、連続するフレーム(k-3)~(k-1)における水平ラインnの出力画像信号F (k-3)n,F (k-2)n,F (k-1)nの値と、連続するフレーム(k-3)~(k-1)の各1ライン露光期間における第1光、第2光および第3光の各照明期間、並びに、フレーム(k-3)~(k-1)における水平ラインnへの第1光、第2光および第3光の各露光期間とに基づく行列A と、フレームkの水平ラインnのR画像信号F kn(R),G画像信号F kn(G),B画像信号F kn(B)との関係を示す3元一次連立方程式((1)式)が成立する。色成分演算部31aは、水平ラインごとに、実施の形態3に対応する行列A の逆行列A -1を求めて(2)式を解き、フレームkの水平ラインnのR画像信号F kn(R),G画像信号F kn(G),B画像信号F kn(B)を求める。
[0118]
 実施の形態3では、連続するフレーム(k-3)~(k-1)の各1ライン露光期間における第1光、第2光および第3光の照明期間、並びに、フレーム(k-3)~(k-1)における水平ラインnへの第1光、第2光および第3光の各露光期間が行列A のパラメータとなる。例えば、4フレーム目の水平ラインnのR画像信号F 4n(R)、G画像信号F 4n(G)、B画像信号F 4n(B)については、以下の(8)式に、フレーム1~3の画像信号F 1n,F 2n,F 3nにおける水平ラインnの出力値を入力して求める。
[0119]
[数8]


[0120]
 (8)式では、連続するフレーム1,2,3の第1光のG,B,R光の各照明期間L g1,L b2,L r3、第2光のB,R,G光の各照明期間L b1,L r2,L g3、第3光のR,G,B光の各照明期間L r1,L g2,L b3、フレーム1~3における水平ラインnへの第1光のG光に対する露光期間g ,g 、第1光のB光に対する露光期間b ,b 、第1光のR光に対する露光期間r ,r 、第2光のB光に対する露光期間B ,B 、第2光のR光に対する露光期間R ,R 、第2光のG光に対する露光期間G ,G 、第3光のR光に対する露光期間r ´,r ´、第3光のG光に対する露光期間g ´,g ´、第3光のB光に対する露光期間b ´,b ´が、4フレーム目の演算式中の行列A のパラメータとなる。以下、(8)式における行列A の1行目の分子成分から成る行ベクトル(r +r ´,g +G ,B +b ´)をQa、2行目の分子成分から成る行ベクトル(r +R ,G +g ´,b +b ´)をQb、3行目の分子成分から成る行ベクトル(R +r ´,g +g ´,b +B )をQcという。
[0121]
 色成分演算部31aは、水平ラインnに対応する各第1色、第2色および第3色の照明期間および露光時間を行列A のパラメータとして適用し、画像信号F 3n,F 2n,F 1nの水平ラインnの出力値を入力した(8)式を解く演算処理を行う。この結果、4フレーム目の水平ラインnに対応する、期間(r ´+L r2+Lr +r ´)にR光で露光された場合の画像信号に対応するR画像信号F 4n(R)、期間(g +L g2+L g3+g )にG光で露光された場合の画像信号に対応するG画像信号F 4n(G)、期間(B +L b2+L b3+B )にB光で露光された場合の画像信号に対応するB画像信号F 4n(B)を生成することができる。色成分演算部31aは、各水平ラインに対応するパラメータを行列A のパラメータとして用い、演算対象の水平ラインの画像信号F 3n,F 2n,F 1nの出力値を入力した(8)式を解く演算処理を、先頭の水平ライン1から最終の水平ラインNまでそれぞれ順次行う。この結果、色成分演算部31aは、4フレーム目のR画像信号F 4(R)、G画像信号F 4(G)、B画像信号F 4(B)をフレーム単位で取得することができる。5フレーム以降についても、(8)式の行列A にそれぞれ対応するパラメータを適用し、各水平ラインnごとに行列A の逆行列A -1を演算して、水平ラインnごとに各色成分の画像信号を取得する。
[0122]
 次に、(8)式中の行列A の階数について説明する。(8)式の行列A は、以下の(9)式のように分解できる。
[0123]
[数9]


[0124]
 (9)式のように、行列A は、第1光による各露光時間r ,r ,g ,g ,b ,b がパラメータとなる行列A 4-11、第2光による各露光時間R ,R ,G ,G ,B ,B がパラメータとなる行列A 4-12、第3光による各露光時間r ´,r ´,g ´,g ´,b ´,b ´がパラメータとなる行列A 4-13、第1光の照射期間と第2光の照射期間と第3光の照射期間との和の逆数がパラメータとなる行列A 4-14に分解できる。このうち、行列A 4-14は、対角行列であるため、ランク3であり、逆行列が存在する。このため、(8)式の解が一意に決まるためには、行列A 4-11~行列A 4-13の加算後の行列がランク3であればよい。以下、(9)式における行列A 4-11の1行目の成分から成る行ベクトル(r ,g ,0)をQaa、2行目の成分から成る行ベクトル(r ,0,b )をQba、3行目の成分から成る行ベクトル(0,g ,b )をQcaという。(9)式における行列A 4-12の1行目の成分から成る行ベクトル(0,G ,B )をQab、2行目の成分から成る行ベクトル(R ,G ,0)をQbb、3行目の成分から成る行ベクトル(R ,0,B )をQcbという。(9)式における行列A 4-13の1行目の成分から成る行ベクトル(r ´,0,b ´)をQac、2行目の成分から成る行ベクトル(0,g ´,b ´)をQbc、3行目の成分から成る行ベクトル(r ´,g ´,0)をQccという。
[0125]
 図18は、本実施の形態3で求める画像信号の解の一意性を説明する図であり、行列A 4-11の行ベクトルQaa,Qba,Qcaと、行列A 4-12の行ベクトルQab,Qbb,Qcbと、行列A 4-13の行ベクトルQac,Qbc,Qccと、をR,G,B空間で見た場合を示す図である。図18は、第1光のR,G,Bの照明期間が同期間であり、第2光のR,G,Bの各照明期間が同期間であり、第3光のR,G,Bの照明期間が同期間であり、第1光は、第3光の照明期間の3倍の期間であり、第2光は第3光の照明期間の2倍の期間である場合について示す。
[0126]
 第1光の露光期間に対応する行ベクトルQaa,Qba,Qcaは、R-G平面、B-R平面、G-B平面の各平面上で、R軸上、G軸上、B軸上の第1光の照明時間幅に対応する3点が起点或いは終点となる軌跡P Qaa,P Qba,P Qcaを描く。第2光の露光期間に対応する行ベクトルQab,Qbb,Qcbは、R-G平面、B-R平面、G-B平面の各平面上で、R軸上、G軸上、B軸上の第2光の照明時間幅に対応する3点が起点或いは終点となる軌跡P Qab,P Qbb,P Qcbを描く。第3光の露光期間に対応する行ベクトルQac,Qbc,Qccは、R-G平面、B-R平面、G-B平面の各平面上で、R軸上、G軸上、B軸上の第3光の照明時間幅に対応する3点が起点或いは終点となる軌跡P Qac,P Qbc,P Qccを描く。
[0127]
 この結果、行ベクトルQaa,Qab,Qacの合成ベクトルである行列A の行ベクトルQaは、軌跡P Qaを描き、行ベクトルQba,Qbb,Qbcの合成ベクトルである行列A の行ベクトルQbは、軌跡P Qbを描き、行ベクトルQac,Qbc,Qccの合成ベクトルである行列A の行ベクトルQcは、軌跡P Qcを描き、行ベクトルQa~Qcに対応する軌跡で形成される三角形が面積を有する状態となる。この場合には、いずれの行ベクトルQa~Qcについても対応する軌跡が重複することがない。行ベクトルQa~Qcは独立性を保持し、行列A はランク3となるため、(8)式における行列A の逆行列A -1は存在し、(8)式の解は一意に定まる。
[0128]
 図19は、本実施の形態3で求める画像信号の解の一意性を説明する図であり、行列A 4-11の行ベクトルQaa,Qba,Qcaと、行列A 4-12の行ベクトルQab,Qbb,Qcbと、行列A 4-13の行ベクトルQac,Qbc,Qccと、をR,G,B空間で見た場合の他の例を示す図である。各色の照明期間のうち、フレーム3の第1光のR光の照明期間L r3を、他のフレーム1,2の第1光の照明期間の(4/3)倍に長くし、第2光のG光の照明期間L g3を他のフレーム1,2の第2光の照明期間の(4/3)倍に長くし、第3光のB光の照明期間L b3を他のフレーム1,2の第3光の照明期間の(4/3)倍に長くした場合について示す。
[0129]
 この場合には、図18と比して、軌跡P Qbaの起点および軌跡P Qcaの終点が、他のフレーム1,2の第1光の照明期間の(4/3)倍に長いフレーム3の第1光のR光の照明期間L r3に対応する点となり、軌跡P Qabの起点および軌跡P Qbbの終点が、他のフレーム1,2の第2光の照明期間の(4/3)倍に長いフレーム3の第2光のG光の照明期間L g3に対応する点となり、軌跡P Qacの起点および軌跡P Qbcの終点が、他のフレーム1,2の第2光の照明期間の(4/3)倍に長いフレーム3の第3光のB光の照明期間L b3に対応する点となる。この場合も、行ベクトルQa~Qcに対応する軌跡P Qa,P Qb,P Qcで形成される三角形が面積を有する状態となり、行ベクトルQa~Qcは独立性を保持し、行列A はランク3となる。したがって、実施の形態3では、第1光、第2光、第3光の照明期間を、他のフレームの第1光、第2光、第3光の照明期間と異なる期間に変更することが可能である。
[0130]
 ただし、同一フレームにおける第1光、第2光、第3光の照明期間をいずれも同期間にした場合には、行ベクトルQaa,Qbb,Qccが重複し、行ベクトルQac,Qba,Qcbが重複し、行ベクトルQab,Qbc,Qcaが重複する。この場合には、行ベクトルQa~Qcは、行ベクトルQaa,Qbb,Qcc、行ベクトルQac,Qba,Qcb、行ベクトルQab,Qbc,Qcaの軌跡で形成される三角形の重心に位置し、動かなくなるため、行ベクトルQa~Qcの一次独立は破綻し、ランク3が崩れ、(8)式の解が一意に定まらない。したがって、行ベクトルQa~Qcに対応する軌跡P Qa,P Qb,P Qcで形成される三角形が面積を有することが、行列A のランク3を維持する条件となるため、照明制御部334aは、同じ1ライン露光期間における3色の照明期間がそれぞれ異なる期間で照明されるように制御する必要がある。なお、第1光、第2光および第3光の照明期間の差が大きいと、行ベクトルQa~Qcに対応する軌跡P Qa,P Qb,P Qcで形成される三角形の面積が大きくなり、行ベクトルQa~Qcの独立性を維持しやすくなるため、照明制御部334aは、同じ1ライン露光期間における第1光、第2光および第3光の照明期間の差が大きくなる条件を設定することが望ましい。
[0131]
 この実施の形態3のように、1フレームで3色発光を行った場合も、複数の連続したフレームの画像信号の出力値を用いた演算処理において、取得対象のフレームの各色成分の画像信号を抽出しているため、実施の形態1と同様の効果を奏する。さらに、実施の形態3では、実施の形態2よりもさらに各色の照明頻度が多くなる分、被写体が動いた場合の残像を低減できる。
[0132]
 なお、実施の形態3は、実施の形態1,2と同様に、撮像素子25がグローバルシャッタ方式を採用するCCD撮像素子である場合にも適用可能である。図20は、撮像素子25がCCD撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。照明制御部334aが、光源装置4に、図20の(1)に示す条件でG光、B光、R光を照射させ、例えば4フレーム目のR画像信号F 4c(R)、G画像信号F 4c(G)、B画像信号F 4c(B)を生成する場合には、連続する3つのフレーム画像信号F ~F (図20の(2)参照)の演算対象の水平ラインと同ラインの出力値を、(8)式に入力して、水平ラインごとに演算する。この場合も、CMOS撮像素子の場合と同様に、水平ラインnについては、連続するフレーム1~3の第1光のG,B,R光の各照明期間L g1,L b2,L r3、第2光のB,R,G光の各照明期間L b1,L r2,L g3、第3光のR,G,B光の各照明期間L r1,L g2,L b3、フレーム1~3における水平ラインnへの第1光のG光に対する露光期間g ,g 、第1光のB光に対する露光期間b ,b 、第1光のR光に対する露光期間r ,r 、第2光のB光に対する露光期間B ,B 、第2光のR光に対する露光期間R ,R 、第2光のG光に対する露光期間G ,G 、第3光のR光に対する露光期間r ´,r ´、第3光のG光に対する露光期間g ´,g ´、第3光のB光に対する露光期間b ´,b ´が(8)式の行列A のパラメータとなる。
[0133]
 また、本実施の形態3は、実施の形態1,2と同様に、NBI観察方式にも適用可能である。この場合には、照明制御部334aは、V光とG光と無光との組み合わせ、V光とG光とVV光との組み合わせ、或いは、V光とG光とGG光の組み合わせのいずれかのパターンを用いて、R,G,B光照射の条件と同様に、1つの1ライン露光期間に3色全ての照明光を照明させる照明処理を、同じ1ライン露光期間における3色の照明期間がそれぞれ異なる期間で照明されるように実行させればよい。また、実施の形態3では、同じ1ライン露光期間において照明される3色の照明光のいずれもが重複して照明される期間を含むように3色の照明光を照明させる場合を例に説明したが、(8)式の行列A がランク3となる条件であれば、同一の1ライン露光期間において照明させる3色の照明光の照明期間が重複していなくともよい。
[0134]
また、本実施の形態において、光源装置と別体である処理装置3,203,303を例に説明したが、もちろん、光源が一体となった光源一体型処理装置にも適用可能である。また、本実施の形態において、照明光の組み合わせは、R,G,B光の組み合わせ、或いは、狭帯域化されたV光とG光との組み合わせに限らない。G光と励起光と励起光との組み合わせ、G光と第1のR光と第1のR光とは異なる波長帯域の第2のR光との組み合わせであってもよい。また、狭帯域化されたV光とG光との組み合わせ例でも説明したように、3回単位で発する照明光のうちの2回の照明光において、波長帯域が異なれば本実施の形態は適用可能である。
[0135]
 また、本実施の形態にかかる処理装置3,203,303、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

符号の説明

[0136]
 1,201,301 内視鏡システム
 2 内視鏡
 3,203,303 処理装置
 4 光源装置
 5 表示装置
 21 挿入部
 21a 先端部
 21b 湾曲部
 21c 可撓管部
 21d 開口部
 21e 照明レンズ
 21f 照明窓
 22 操作部
 22a 湾曲ノブ
 22b 処置具挿入部
 22c スイッチ部
 23 ユニバーサルコード
 23a,23b コネクタ
 23c ライトガイドケーブル
 24 光学系
 25 撮像素子
 26 受光部
 27 読み出し部
 31 画像処理部
 31a 色成分演算部
 31b メモリ
 31c ゲイン調整部
 31d WB調整部
 31e 同時化部
 32 表示制御部
 33 調光部
 34,234,334 制御部
 34a,234a,334a 照明制御部
 35 入力部
 36 記憶部
 41 光源制御部
 42 照明部
 43 光源ドライバ
 44 光源
 236a,336a 照明期間テーブル

請求の範囲

[請求項1]
 被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、
 前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子を有する内視鏡装置と、
 前記撮像素子から出力された画像信号のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部を有する処理装置と、
 を有することを特徴とする内視鏡システム。
[請求項2]
 前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算することを特徴とする請求項1に記載の内視鏡システム。
[請求項3]
 前記処理装置は、前記光源装置に対し、1ライン露光期間ごとに、1ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部を備えたことを特徴とする請求項2に記載の内視鏡システム。
[請求項4]
 前記照明制御部は、前記光源装置に、各色の照明光が一定の条件を満たすように各色の照明光を照明させ、
 前記色成分演算部は、演算に使用する各フレームにおける各色の1ライン露光期間の1回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象のラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、ラインごとに各色成分信号を演算することを特徴とする請求項3に記載の内視鏡システム。
[請求項5]
 前記光源装置は、3色の照明光を照明し、
 前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの1つ前のフレームおよび2つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を前記関係式に適用して、演算対象のラインにおける各色成分信号を演算することを特徴とする請求項4に記載の内視鏡システム。
[請求項6]
 前記照明制御部は、前記光源装置に対し、1つの前記1ライン露光期間に前記3色のうちの1色の照明光を照明させる照明処理を順次実行させることを特徴とする請求項5に記載の内視鏡システム。
[請求項7]
 前記照明制御部は、前記光源装置に対し、1つの前記1ライン露光期間に前記3色のうちの2色の照明光を照明させることを特徴とする請求項5に記載の内視鏡システム。
[請求項8]
 前記照明制御部は、前記光源装置に対し、前記2色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする請求項7に記載の内視鏡システム。
[請求項9]
 前記照明制御部は、前記光源装置に対し、1つの前記1ライン露光期間に前記3色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする請求項5に記載の内視鏡システム。
[請求項10]
 前記照明制御部は、前記光源装置に対し、前記3色の照明光のいずれもが重複して照明される期間を含むように前記3色の照明光を照明させることを特徴とする請求項9に記載の内視鏡システム。
[請求項11]
 前記処理装置は、
 前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、
 前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、
 をさらに備え、
 前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする請求項7に記載の内視鏡システム。
[請求項12]
 前記3色の照明光は、赤色光、緑色光、青色光であることを特徴とする請求項5に記載の内視鏡システム。
[請求項13]
 前記撮像素子は、CMOS撮像素子であることを特徴とする請求項1に記載の内視鏡システム。
[請求項14]
 前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする請求項13に記載の内視鏡システム。
[請求項15]
 前記撮像素子は、CCD撮像素子であることを特徴とする請求項1に記載の内視鏡システム。
[請求項16]
 被写体を照明するための照明光を発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、
 前記光源装置に対し、異なる色の照明光を所定の周期に対応させて順次照明させる照明制御部と、
 前記内視鏡装置の撮像素子から出力された画像信号の出力値のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部と、
 を備えたことを特徴とする処理装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]