此应用程序的某些内容目前无法使用。
如果这种情况持续存在,请联系我们反馈与联系
1. (WO2018150627) IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
Document

明 細 書

発明の名称 画像処理装置、画像処理方法および画像処理プログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007  

課題を解決するための手段

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017  

発明の効果

0018  

図面の簡単な説明

0019  

発明を実施するための形態

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122  

産業上の利用可能性

0123  

符号の説明

0124  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 画像処理装置、画像処理方法および画像処理プログラム

技術分野

[0001]
 本発明は、入力画像信号に対して信号処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。

背景技術

[0002]
 従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。一般に、内視鏡システムは、先端に撮像素子が設けられ、被検体の体腔内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が生成した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置と、を備える。
[0003]
 体内画像を観察する際に、血管や粘膜構造等のコントラストの高い対象ではなく、胃粘膜の発赤や、平坦な病変等のコントラストの低い対象を観察したいという要望がある。この要望に対し、撮像により取得した画像に、所定の色成分の信号と、所定の色成分間の色差信号とに強調処理を施すことによって、コントラストの低い対象を強調した画像を取得する技術が開示されている(例えば、特許文献1を参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 特許第5159904号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら、特許文献1が開示する技術は、所定の色成分に強調処理を施すため、強調処理を施さずに生成した体内画像の色味と異なる色味の体内画像が生成されてしまう。色味が変化した体内画像を用いて病変の診断を行う場合、これまでに培われてきた診断学とは異なる診断学を確立させる必要があった。
[0006]
 また、体内画像を表示部に表示する際、処理装置では、表示部の表示態様に合わせて階調圧縮処理を施す場合がある。この際、一般に、表示用に生成した体内画像に対して階調圧縮処理を施すため、強調処理を施した部分も圧縮されてしまう。このため、特許文献1が開示する技術により強調処理を施したとしても、この強調部分のコントラストも低下してしまい、視認性の低い画像となってしまう。
[0007]
 本発明は、上記に鑑みてなされたものであって、色味の変化を抑制しつつ良好な視認性を有する画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

課題を解決するための手段

[0008]
 上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、映像信号に含まれる画像成分からベース成分を抽出するベース成分抽出部と、前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行う成分調整部と、前記画像成分と、前記成分調整部による成分調整後のベース成分とを用いてディテール成分を抽出するディテール成分抽出部と、を備えることを特徴とする。
[0009]
 また、本発明にかかる画像処理装置は、上記発明において、前記成分調整部は、前記画像の輝度値が、予め設定されている閾値より大きい場合に、前記ベース成分の成分調整を行うことを特徴とする。
[0010]
 また、本発明にかかる画像処理装置は、上記発明において、前記成分調整部は、前記ベース成分と前記画像成分とをαブレンドすることを特徴とする。
[0011]
 また、本発明にかかる画像処理装置は、上記発明において、前記成分調整部は、前記画像のエッジ検出を行って、輝度値の大きい領域である高輝度領域を設定し、設定した前記高輝度領域に基づいて前記ベース成分の成分調整を行うことを特徴とする。
[0012]
 また、本発明にかかる画像処理装置は、上記発明において、前記成分調整部による成分調整後のベース成分の明るさ補正を行う明るさ補正部、をさらに備えることを特徴とする。
[0013]
 また、本発明にかかる画像処理装置は、上記発明において、前記ディテール成分抽出部が抽出したディテール成分に強調処理を施すディテール成分強調部と、前記成分調整部による成分調整後のベース成分と、前記強調処理後のディテール成分とを合成する合成部と、をさらに備えることを特徴とする。
[0014]
 また、本発明にかかる画像処理装置は、上記発明において、前記ディテール成分強調部は、前記ディテール成分を含むディテール成分信号のゲインを増幅することを特徴とする。
[0015]
 また、本発明にかかる画像処理装置は、映像信号に含まれる画像成分に対して処理を施す画像処理装置であって、プロセッサが、前記画像成分からベース成分を抽出し、前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行い、前記画像成分と、成分調整後のベース成分とを用いてディテール成分を抽出する、ことを特徴とする。
[0016]
 また、本発明にかかる画像処理方法は、映像信号に含まれる画像成分からベース成分を抽出し、前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行い、前記画像成分と、成分調整後のベース成分とを用いてディテール成分を抽出する、ことを特徴とする。
[0017]
 また、本発明にかかる画像処理プログラムは、映像信号に含まれる画像成分からベース成分を抽出するベース成分抽出手順と、前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行う成分調整手順と、前記画像成分と、前記成分調整手順による成分調整後のベース成分とを用いてディテール成分を抽出するディテール成分抽出手順と、をコンピュータに実行させることを特徴とする。

発明の効果

[0018]
 本発明によれば、色味の変化を抑制しつつ良好な視認性を有する画像を生成することができるという効果を奏する。

図面の簡単な説明

[0019]
[図1] 図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。
[図2] 図2は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
[図3] 図3は、本発明の実施の形態1にかかる処理装置が行う重み算出処理を説明するための図である。
[図4] 図4は、本発明の実施の形態1にかかる処理装置が行う画像処理方法を示すフローチャートである。
[図5] 図5は、本発明の実施の形態1にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の画素値をそれぞれ示す図である。
[図6] 図6は、本発明の実施の形態1にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分画像の画素値を示す図である。
[図7] 図7は、撮像信号に基づく画像(a)、本発明の実施の形態1にかかる処理装置が生成した画像(b)、未調整のベース成分を用いて生成された画像(c)を示す図である。
[図8] 図8は、本発明の実施の形態1の変形例1にかかる内視鏡システムの概略構成を示すブロック図である。
[図9] 図9は、本発明の実施の形態1の変形例2にかかる内視鏡システムの概略構成を示すブロック図である。
[図10] 図10は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。
[図11] 図11は、本発明の実施の形態2にかかる処理装置が行う明るさ補正処理を説明するための図である。
[図12] 図12は、本発明の実施の形態3にかかる内視鏡システムの概略構成を示すブロック図である。
[図13] 図13は、本発明の実施の形態3にかかる処理装置が行う画像処理方法を示すフローチャートである。
[図14] 図14は、本発明の実施の形態3にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の画素値をそれぞれ示す図である。
[図15] 図15は、本発明の実施の形態3にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分画像の画素値を示す図である。

発明を実施するための形態

[0020]
 以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
[0021]
(実施の形態1)
 図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。なお、図2では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
[0022]
 図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理により生成された体内画像を表示する表示装置4と、を備える。
[0023]
 内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(光源部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
[0024]
 挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像素子244によって撮像する。
[0025]
 先端部24は、グラスファイバ等を用いて構成されて光源部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子244と、を有する。
[0026]
 光学系243は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
[0027]
 撮像素子244は、光学系243からの光を光電変換して電気信号(撮像信号)を生成する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系243からの光を光電変換して電気信号を生成する受光部244aと、受光部244aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部244bと、を有する。受光部244aには、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子244は、処理装置3から受信した駆動信号に従って先端部24の各種動作を制御する。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。
[0028]
 操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
[0029]
 ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、撮像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡2と処理装置3との間で信号を伝送するものであってもよい。
[0030]
 次に、処理装置3の構成について説明する。処理装置3は、撮像信号取得部301と、ベース成分抽出部302と、ベース成分調整部303と、ディテール成分抽出部304と、ディテール成分強調部305と、明るさ補正部306と、階調圧縮部307と、合成部308と、表示画像生成部309と、入力部310と、記憶部311と、制御部312と、を備える。この処理装置3は、一つの筐体からなるものであってもよいし、複数の筐体からなるものであってもよい。
[0031]
 撮像信号取得部301は、内視鏡2から、撮像素子244が出力した撮像信号を受信する。撮像信号取得部301は、取得した撮像信号に対してノイズ除去やA/D変換、同時化処理(例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う)等の信号処理を施す。撮像信号取得部301は、上述した信号処理によりRGBの各色成分が付与された入力画像を含む入力画像信号S Cを生成する。撮像信号取得部301は、生成した入力画像信号S Cをベース成分抽出部302、ベース成分調整部303およびディテール成分抽出部304に入力するとともに、記憶部311に入力して格納させる。撮像信号取得部301は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific Integrated Circuit)、処理内容を書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0032]
 ベース成分抽出部302は、入力画像信号S Cを撮像信号取得部301から取得して、入力画像信号S Cの画像成分から視覚的に相関の弱い成分を抽出する。ここでいう画像成分とは、画像を生成するための成分であって、後述するベース成分および/またはディテール成分からなる成分である。抽出処理は、例えば、Lightness and retinex theory, E.H.Land, J.J.McCann, Journal of the Optical Society of America, 61(1), 1(1971)に記載された技術(Retinex理論)を用いて行うことができる。Retinex理論に基づく抽出処理において、視覚的に相関の弱い成分は、物体の照明光成分に相当する成分である。視覚的に相関の弱い成分は、一般にベース成分と呼ばれている。一方、視覚的に相関の強い成分は、物体の反射率成分に相当する成分である。視覚的に相関の強い成分は、一般にディテール成分と呼ばれている。ディテール成分は、画像を構成する信号をベース成分で除算して得られる成分である。ディテール成分は、物体の輪郭(エッジ)成分や、テクスチャ成分等のコントラスト成分を含んでいる。ベース成分抽出部302は、抽出したベース成分を含む信号(以下「ベース成分信号S B」という)をベース成分調整部303に入力する。なお、ベース成分抽出部302は、RGBの各色成分の入力画像信号が入力された場合、各色成分の信号についてそれぞれ抽出処理を行う。以降の信号処理においても、各色成分について同様の処理が施される。ベース成分抽出部302は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0033]
 ベース成分抽出部302による抽出処理は、例えば、Temporally Coherent Local Tone Mapping of HDR Video, T.O.Aydin et al, ACM Transactions on Graphics, Vol 33, November 2014に記載されたEdge-aware filtering技術を用いて行うことができる。また、ベース成分抽出部302は、空間周波数を複数の周波数帯域に分けてベース成分を抽出するようにしてもよい。
[0034]
 ベース成分調整部303は、ベース成分抽出部302が抽出したベース成分の調整を行う。ベース成分調整部303は、重み算出部303aと、成分補正部303bとを有する。ベース成分調整部303は、成分調整後のベース成分信号S B_1を、ディテール成分抽出部304および明るさ補正部306に入力する。ベース成分調整部303は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0035]
 重み算出部303aは、ベース成分の調整に用いる重みを算出する。具体的に、重み算出部303aは、まず、入力画像信号S Cから入力画像のRGBをYCrCbに変換して輝度値(Y)を取得する。その後、重み算出部303aは、記憶部311を参照して重み算出のためのグラフを取得するとともに、入力部310または記憶部311を介して輝度値に関する閾値および上限値を取得する。なお、本実施の形態1では輝度値(Y)を用いるものとして説明するが、RGBの各色成分の信号値のうちの最大値等、輝度値以外の基準信号を用いるようにしてもよい。
[0036]
 図3は、本発明の実施の形態1にかかる処理装置が行う重み算出処理を説明するための図である。重み算出部303aは、取得したグラフに、閾値および上限値を適用して、図3に示す重み算出直線L 1を生成する。重み算出部303aは、生成した重み算出直線L 1により、入力される輝度値に応じた重みを算出する。重み算出部303aは、例えば、画素位置ごとに重みを算出する。これにより、各画素位置に重みが付与された重みマップが生成される。なお、閾値以下の輝度値は重みがゼロとなり、上限値以上の輝度値は、重みの上限値(例えば1)が設定される。閾値および上限値は、予め記憶部311に記憶されているものを用いてもよいし、入力部310を介してユーザが入力した値を用いてもよい。
[0037]
 成分補正部303bは、重み算出部303aが算出した重みマップに基づいて、ベース成分を補正する。具体的に、成分補正部303bは、ベース成分抽出部302が抽出したベース成分に対して重みに応じた入力画像を加算する。例えば、ベース成分抽出部302が抽出したベース成分をD PreBase、入力画像をD InRGB、補正後のベース成分をD C-Base、重みをwとしたとき、下式(1)により補正後のベース成分を得る。
   D C-Base=(1-w)×D PreBase+w×D InRGB   ・・・(1)
 これにより、重みが大きいほど、補正後のベース成分における入力画像の割合が大きくなる。例えば、重みが1の場合、補正後のベース成分は、入力画像と同じになる。このようにして、ベース成分調整部303では、入力画像信号S Cの画像成分と、ベース成分抽出部302が抽出したベース成分とをαブレンドすることによってベース成分の成分調整を行う。成分補正部303bによって補正されたベース成分を含むベース成分信号S B_1が生成される。
[0038]
 ディテール成分抽出部304は、入力画像信号S Cと、ベース成分信号S B_1とを用いてディテール成分を抽出する。具体的には、ディテール成分抽出部304は、入力画像からベース成分を除して、ディテール成分を抽出する。ディテール成分抽出部304は、ディテール成分を含む信号(以下「ディテール成分信号S D」という)をディテール成分強調部305に入力する。ディテール成分抽出部304は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0039]
 ディテール成分強調部305は、ディテール成分抽出部304が抽出したディテール成分に対して強調処理を施す。ディテール成分強調部305は、記憶部311を参照して、予め設定されている関数を取得して、この関数に基づいて各画素位置における各色成分の信号値を大きくするゲインアップ処理を行う。具体的には、ディテール成分強調部305は、ディテール成分信号が含む色成分の信号のうち、赤色成分の信号値をR Detail、緑色成分の信号値をG Detail、および青色成分の信号値をB Detailとしたとき、R Detail α、G Detail β、B Detail γとして、各色成分の信号値を算出する。ここで、本実施の形態1において、α、βおよびγは、互いに独立して設定されるパラメータであり、予め設定されている関数に基づき決定される。例えば、パラメータα、βおよびγについてそれぞれ輝度の関数f(Y)を設定し、入力される輝度値Yに応じてパラメータα、βおよびγが算出される。この関数f(Y)は、一次関数であってもよいし、指数関数であってもよい。ディテール成分強調部305は、強調処理後のディテール成分信号S D_1を合成部308に入力する。ディテール成分強調部305は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0040]
 なお、パラメータα、βおよびγを同じ値にしてもよいし、各々任意の値に設定するようにしてもよい。パラメータα、βおよびγは、例えば、入力部310を介して設定される。
[0041]
 明るさ補正部306は、ベース成分調整部303が生成した調整後のベース成分信号S B_1に対して、明るさ補正処理を施す。明るさ補正部306は、例えば予め設定された補正関数を用いて輝度値の補正処理を行う。明るさ補正部306は、少なくとも明るさの暗い部分の輝度値を大きくするような補正処理を行う。明るさ補正部306は、補正処理を施したベース成分信号S B_2を階調圧縮部307に入力する。明るさ補正部306は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0042]
 階調圧縮部307は、明るさ補正部306が補正処理を施したベース成分信号S B_2に対して、階調圧縮処理を施す。階調圧縮部307は、γ補正処理等の公知の階調圧縮処理を施す。階調圧縮部307は、階調圧縮後のベース成分信号S B_3を、合成部308に入力する。階調圧縮部307は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0043]
 合成部308は、ディテール成分強調部305により強調処理が施されたディテール成分信号S D_1と、階調圧縮部307が生成した階調圧縮処理後のベース成分信号S B_3とを合成する。合成部308は、ディテール成分信号S D_1とベース成分信号S B_3とを合成することにより、視認性を向上可能な合成画像信号S Sを生成する。合成部308は、生成した合成画像信号S Sを表示画像生成部309に入力する。合成部308は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0044]
 表示画像生成部309は、合成部308が生成した合成画像信号S Sに対して、表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号S Tを生成する。例えば、RGBの各色成分の合成画像信号をRGBの各チャンネルに割り当てる。表示画像生成部309は、生成した画像信号S Tを表示装置4に出力する。表示画像生成部309は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0045]
 入力部310は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部310は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータ等の可搬型端末を含んでいてもよい。
[0046]
 記憶部311は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部311は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。
[0047]
 記憶部311は、重み算出部303aが用いるグラフデータや、輝度値の閾値、上限値、ディテール成分強調部305が強調処理を行なう際に用いる関数等の強調処理情報を記憶する信号処理情報記憶部311aを有する。
[0048]
 また、記憶部311は、処理装置3の画像処理方法を実行するための画像処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)等によって実現されるものであり、有線、無線を問わない。
[0049]
 以上の構成を有する記憶部311は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)やハードディスク等を用いて実現される。
[0050]
 制御部312は、撮像素子244および光源部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御等を行う。制御部312は、記憶部311に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミング等)を参照し、集合ケーブル245に含まれる所定の信号線を介して駆動信号として撮像素子244へ送信する。また、制御部312は、信号処理情報記憶部311aに記憶されている関数を読み出してディテール成分強調部305に入力し、強調処理を実行させる。制御部312は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0051]
 続いて、光源部3aの構成について説明する。光源部3aは、照明部321と、照明制御部322と、を備える。照明部321は、照明制御部322の制御のもと、被写体(被検体)に対して、異なる露光量の照明光を順次切り替えて出射する。照明部321は、光源321aと、光源ドライバ321bと、を有する。
[0052]
 光源321aは、白色光を出射するLED光源や、一または複数のレンズ等を用いて構成され、LED光源の駆動により光(照明光)を出射する。光源321aが発生した照明光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。なお、光源321aは、赤色LED光源、緑色LED光源および青色LED光源を用いて構成し、照明光を出射するものであってもよい。また、光源321aは、レーザー光源や、キセノンランプ、ハロゲンランプ等のランプを用いるものであってもよい。
[0053]
 光源ドライバ321bは、照明制御部322の制御のもと、光源321aに対して電流を供給することにより、光源321aに照明光を出射させる。
[0054]
 照明制御部322は、制御部312からの制御信号に基づいて、光源321aに供給する電力量を制御するとともに、光源321aの駆動タイミングを制御する。
[0055]
 表示装置4は、映像ケーブルを介して処理装置3(表示画像生成部309)が生成した画像信号S Tに対応する表示画像を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
[0056]
 以上説明した内視鏡システム1では、処理装置3に入力された撮像信号をもとに、ベース成分抽出部302が、撮像信号に含まれる成分のうちのベース成分を抽出し、ベース成分調整部303が、抽出されたベース成分の成分調整を行い、ディテール成分抽出部304が、成分調整されたベース成分に基づいてディテール成分を抽出する。成分調整されたベース成分は、階調圧縮部307により階調圧縮処理が施される。その後、合成部308が、強調処理後のディテール成分信号と、階調圧縮後のベース成分信号とを合成し、表示画像生成部309が、合成後の信号に基づいて表示用の信号処理を施した画像信号を生成し、表示装置4が、画像信号に基づく表示画像を表示する。
[0057]
 図4は、本実施の形態1にかかる処理装置が行う画像処理方法を示すフローチャートである。以下、制御部312の制御のもと、各部が動作するものとして説明する。撮像信号取得部301は、内視鏡2から撮像信号を取得すると(ステップS101:Yes)、信号処理により赤色、緑色および青色の色成分が付与された画像を含む入力画像信号S Cを生成し、ベース成分抽出部302、ベース成分調整部303およびディテール成分抽出部304に入力する。一方、撮像信号取得部301は、内視鏡2から撮像信号が入力されていない場合(ステップS101:No)、撮像信号の入力確認を繰り返す。
[0058]
 ベース成分抽出部302は、入力画像信号S Cが入力されると、該入力画像信号S Cからベース成分を抽出し、該ベース成分を含むベース成分信号S Bを生成する(ステップS102)。ベース成分抽出部302は、上述した抽出処理によって抽出したベース成分を含むベース成分信号S Bを、ベース成分調整部303に入力する。
[0059]
 ベース成分調整部303は、ベース成分信号S Bが入力されると、該ベース成分信号S Bに対して、上述した調整処理を施す(ステップS103~S104)。ステップS103において、重み算出部303aは、入力画像の輝度値から、画素位置ごとに重みを算出する。重み算出部303aは、上述したグラフを用いて、各画素位置の重みを算出する。ステップS103に続くステップS104において、成分補正部303bは、重み算出部303aが算出した重みに基づいて、ベース成分を補正する。具体的に、成分補正部303bは、上述した式(1)を用いてベース成分の補正を行う。
[0060]
 図5は、本発明の実施の形態1にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の画素値をそれぞれ示す図である。入力画像は入力画像信号S Cに応じた画像であり、ベース成分画像はベース成分信号S Bまたは成分調整後のベース成分信号S B_1に応じた画像である。図5に示す画素ラインは、同一の画素ラインであり、この画素ラインのうち任意に選択された範囲の画素の位置についての画素値を示している。図5では、一例として緑色の色成分について、破線L orgが入力画像の画素値を示し、実線L 10が成分調整を行っていないベース成分信号S Bに対応するベース成分の画素値を示し、一点鎖線L 100が成分調整後のベース成分信号S B_1に対応するベース成分の画素値を示している。
[0061]
 破線L orgおよび実線L 10を比較すると、入力画像から低周波成分に相当する成分がベース成分として抽出されていることが分かる。これが視覚的に相関の弱い成分に相当する。また、実線L 10および一点鎖線L 100を比較すると、入力画像における画素値の大きい画素位置について、ベース成分抽出部302が抽出したベース成分に対し、成分調整後のベース成分の画素値が大きくなっていることが分かる。このように、本実施の形態1では、成分調整後のベース成分には、従来ディテール成分に含まれ得る成分が含まれる。
[0062]
 ステップS104に続くステップS105において、明るさ補正部306は、ベース成分調整部303が生成した成分調整後のベース成分信号S B_1に対して、明るさ補正処理を施す。明るさ補正部306は、補正処理を施したベース成分信号S B_2を階調圧縮部307に入力する。
[0063]
 ステップS105に続くステップS106において、階調圧縮部307は、明るさ補正部306が補正処理を施したベース成分信号S B_2に対して、階調圧縮処理を施す。階調圧縮部307は、γ補正処理等の公知の階調圧縮処理を施す。階調圧縮部307は、階調圧縮後のベース成分信号S B_3を、合成部308に入力する。
[0064]
 ステップS105、S106と並行して行われるステップS107において、ディテール成分抽出部304は、入力画像信号S Cと、ベース成分信号S B_1とを用いてディテール成分を抽出する。具体的には、ディテール成分抽出部304は、入力画像からベース成分を除して、ディテール成分を抽出する。ディテール成分抽出部304は、生成したディテール成分信号S Dをディテール成分強調部305に入力する。
[0065]
 図6は、本発明の実施の形態1にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分画像の画素値を示す図である。図6に示す画素ラインは、図5に示す画素ラインと同一の画素ラインおよび同一の選択範囲の画素の位置についての画素値を示している。図6では、一例として緑色の色成分について、破線L 20がベース成分信号S Bに対応するベース成分に基づいて抽出したディテール成分の画素値を示し、実線L 200が成分調整後のベース成分信号S B_1に対応するベース成分に基づいて抽出されたディテール成分の画素値を示している。
[0066]
 ディテール成分は、入力画像の輝度変化から、成分調整後のベース成分を除外した成分であり、反射率成分を多く含む成分である。これが視覚的に相関の強い成分に相当する。図6に示すように、入力画像における画素値の大きい画素位置について、ベース成分抽出部302が抽出したベース成分に基づいて抽出されたディテール成分には、この画素値に応じた成分が含まれているのに対し、成分調整後のベース成分に基づいて抽出されたディテール成分は、この画素値に応じた成分であって、従来ディテール成分として抽出され得る成分を含んでいないか、またはこの成分が少なくなっていることが分かる。
[0067]
 その後、ディテール成分強調部305が、入力されたディテール成分信号S Dに対して強調処理を施す(ステップS108)。具体的には、ディテール成分強調部305は、信号処理情報記憶部311aを参照し、各色成分において設定されている関数(例えば、α、βおよびγ)を取得して、ディテール成分信号S Dの各色成分の入力信号値を増大させる。ディテール成分強調部305は、強調処理後のディテール成分信号S D_1を合成部308に入力する。
[0068]
 合成部308は、階調圧縮部307から階調圧縮後のベース成分信号S B_3が入力され、ディテール成分強調部305から強調処理後のディテール成分信号S D_1が入力されると、該ベース成分信号S B_3およびディテール成分信号S D_1を合成し、合成画像信号S Sを生成する(ステップS109)。合成部308は、生成した合成画像信号S Sを表示画像生成部309に入力する。
[0069]
 表示画像生成部309は、合成部308から合成画像信号S Sが入力されると、該合成画像信号S Sに対して表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号S Tを生成する(ステップS110)。表示画像生成部309は、生成した画像信号S Tを表示装置4に出力する。表示装置4は、入力された画像信号S Tに応じた画像を表示する(ステップS111)。
[0070]
 図7は、撮像信号に基づく画像(a)、本発明の実施の形態1にかかる処理装置が生成した画像(b)、未調整のベース成分を用いて生成された画像(c)を示す図である。図7の(b)に示す合成画像は、図7の(a)に示す入力画像と比してディテール成分が強調され、かつ、図7の(c)に示す成分調整を行っていないベース成分を用いて生成された合成画像と比して白飛び部分が抑制されている。なお、図7の(b)、および図7の(c)は、成分補正部303bによる成分調整後に平滑化処理を施し、この平滑化処理後のベース成分信号を用いて生成された画像を示している。
[0071]
 表示画像生成部309による画像信号S Tの生成後、制御部312は、新たな撮像信号が入力されているか否かを判断し、新たな撮像信号が入力されていると判断した場合、この新たな撮像信号について、ステップS102からの画像信号の生成処理を行う。
[0072]
 上述した本発明の実施の形態1では、ベース成分調整部303が、ベース成分抽出部302が抽出したベース成分に対し、輝度値に基づく重みを算出して、この重みに基づいてベース成分の成分調整を行うようにした。これにより、成分調整後のベース成分に、入力画像における画素値の大きな画素位置の高輝度成分が含められ、このベース成分に基づいて抽出されるディテール成分は、この高輝度成分の割合が小さくなる。この結果、ディテール成分を強調した場合に、高輝度領域に対応する白飛び部分が強調されないようになる。本実施の形態1によれば、色味の変化を抑制しつつ良好な視認性を有する画像を生成することができる。
[0073]
 なお、上述した実施の形態1では、画素位置ごとに重みを算出するものとして説明したが、これに限らず、近傍の複数画素からなる画素群ごとに重みを算出するようにしてもよい。また、重みの算出は、1フレームごとに行ってもよいし、数フレームごとに行ってもよい。重みの算出間隔は、フレームレートに応じて設定するようにしてもよい。
[0074]
(実施の形態1の変形例1)
 本変形例1では、ベース成分の調整に用いる閾値を、輝度値のヒストグラムから決定する。図8は、本実施の形態1の変形例1にかかる内視鏡システムの概略構成を示すブロック図である。なお、図8では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
[0075]
 本変形例にかかる内視鏡システム1Aは、上述した実施の形態1にかかる内視鏡システム1の処理装置3に代えて処理装置3Aを備える。以下、上述した実施の形態1とは異なる構成および処理についてのみ説明する。処理装置3Aは、上述した実施の形態1にかかるベース成分調整部303に代えてベース成分調整部303Aを有する。本変形例1において、ベース成分抽出部302は、抽出後のベース成分信号S Bをベース成分調整部303Aに入力する。
[0076]
 ベース成分調整部303Aは、上述した重み算出部303aおよび成分補正部303bと、ヒストグラム生成部303cとを有する。ヒストグラム生成部303cは、入力画像の輝度値に関するヒストグラムを生成する。
[0077]
 重み算出部303aは、ヒストグラム生成部303cが生成したヒストグラムから、高輝度領域において孤立している領域の最低輝度値、または、最も高い輝度から順に頻度を加算していき、設定された頻度数になる輝度値を、上述した閾値に設定する。その後の処理について、重み算出部303aは、上述した実施の形態1と同様にして、閾値と上限値とに基づいて重みを算出するためのグラフを生成し、各画素位置の重みを算出する。その後は、成分補正部303bにより成分調整後のベース成分が得られ、このベース成分をもとに、ディテール成分の抽出、および合成画像の生成が行われる。
[0078]
 上述した本変形例1によれば、重みの算出に関して、入力画像信号が入力される都度、閾値が設定されるため、入力画像に応じた閾値の設定を行うことができる。
[0079]
(実施の形態1の変形例2)
 本変形例2では、入力画像のエッジ検出を行って、検出されたエッジにより囲まれた領域を高輝度領域に設定し、設定された領域に応じて重みを決定する。図9は、本実施の形態1の変形例2にかかる内視鏡システムの概略構成を示すブロック図である。なお、図9では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
[0080]
 本変形例にかかる内視鏡システム1Bは、上述した実施の形態1にかかる内視鏡システム1の処理装置3に代えて処理装置3Bを備える。以下、上述した実施の形態1とは異なる構成および処理についてのみ説明する。処理装置3Bは、上述した実施の形態1にかかるベース成分調整部303に代えてベース成分調整部303Bを有する。本変形例2において、ベース成分抽出部302は、抽出後のベース成分信号S Bをベース成分調整部303Bに入力する。
[0081]
 ベース成分調整部303Bは、上述した重み算出部303aおよび成分補正部303bと、高輝度領域設定部303dとを有する。高輝度領域設定部303dは、入力画像のエッジ検出を行い、検出したエッジによって囲まれる領域の内部を高輝度領域に設定する。エッジ検出は、公知のエッジ検出を用いることができる。
[0082]
 重み算出部303aは、高輝度領域設定部303dが設定した高輝度領域の内部の重みを1、高輝度領域の外部の重みを0に設定する。その後は、成分補正部303bにより成分調整後のベース成分が得られ、このベース成分をもとに、ディテール成分の抽出、および合成画像の生成が行われる。
[0083]
 上述した本変形例2によれば、設定した高輝度領域に基づいて重みを0または1に設定するようにしたので、高輝度であると認定された領域については、ベース成分が入力画像に置き換わる。これにより、白飛びする部分の成分をベース成分として、ディテール成分を強調した場合でも、白飛び部分が強調されることを防止することができる。
[0084]
(実施の形態2)
 本実施の形態2は、明るさ補正部が、画素位置ごとにゲイン係数が付与されたゲインマップを生成し、このゲインマップに基づいてベース成分の明るさ補正を行う。図10は、本実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した実施の形態1にかかる内視鏡システム1の構成要素と同じ構成要素には、同一の符号が付してある。図10では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
[0085]
 本実施の形態2にかかる内視鏡システム1Cは、上述した実施の形態1にかかる内視鏡システム1の構成に対し、処理装置3に代えて処理装置3Cを備える。処理装置3Cは、上述した実施の形態1にかかる明るさ補正部306に代えて明るさ補正部306Aを有する。その他の構成は、実施の形態1にかかる構成と同じである。以下、上述した実施の形態1とは異なる構成および処理についてのみ説明する。
[0086]
 明るさ補正部306Aは、ベース成分調整部303が生成した成分調整後のベース成分信号S B_1に対して、明るさ補正処理を施す。明るさ補正部306Aは、ゲインマップ生成部306aと、ゲイン調整部306bとを有する。例えば予め設定された補正関数を用いて輝度値の補正処理を行う。明るさ補正部306Aは、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
[0087]
 ゲインマップ生成部306aは、ベース成分の最大画素値I Base-max(x,y)と、ベース成分の画素値I Base(x,y)とをもとに、ゲインマップを算出する。具体的に、ゲインマップ生成部306aは、まず、赤色成分の画素値I Base-R(x,y)、緑色成分の画素値I Base-G(x,y)および青色成分の画素値I Base-B(x,y)のうち、最大の画素値を抽出し、その画素値を最大画素値I Base-max(x,y)とする。その後、ゲインマップ生成部306aは、抽出した最大の画素値を有する色成分の画素値に対し、下式(2)を用いて明るさ補正を行う。
[数1]


 なお、式(2)において、I Base´は補正後のベース成分の画素値、Thは不変輝度値、ζは係数である。また、I gam=I Base-max 1/ζである。不変輝度値Thおよび係数ζは、パラメータとして与えられる変数であり、例えばモードに応じて設定可能である。例えば、モードとしてはS/N優先モード、明るさ補正優先モード、S/N優先モードと明るさ補正優先モードとのそれぞれの中間の処理を行う中間モードが挙げられる。
[0088]
 図11は、本発明の実施の形態2にかかる処理装置が行う明るさ補正処理を説明するための図である。不変輝度値Thを固定し、上述したS/N優先モードの係数をζ 1、明るさ補正優先モードの係数をζ 2(>ζ 1)、中間モードの係数をζ 3(>ζ 2)とすると、各モードにおける明るさ補正の特性は、係数ζ 1では特性曲線L ζ1となり、係数ζ 2では特性曲線L ζ2となり、係数ζ 3では特性曲線L ζ3となる。特性曲線L ζ1~L ζ3が示すように、本明るさ補正処理では、入力値が小さいほど、出力値の増幅率が大きくなっており、ある入力値を超えると、入力値と同等の出力値が出力される。
[0089]
 ゲインマップ生成部306aは、明るさ補正前のベース成分の最大画素値I Base-maxと、明るさ補正後のベース成分の画素値I Base´とを用いてゲインマップを生成する。具体的に、ゲインマップ生成部306aは、画素(x,y)におけるゲイン値をG(x,y)とすると、下式(3)によりゲイン値G(x,y)を算出する。
   G(x,y)=I Base´(x,y)/I Base-max(x,y)
                            ・・・(3)
 式(3)により、各画素位置におけるゲイン値が付与される。
[0090]
 ゲイン調整部306bは、ゲインマップ生成部306aが生成したゲインマップを用いて、各色成分のゲイン調整を行う。具体的に、ゲイン調整部306bは、画素(x,y)について、赤色成分のゲイン調整後の画素値をI Base-R´(x,y)、緑色成分のゲイン調整後の画素値をI Base-G´(x,y)、青色成分のゲイン調整後の画素値をI Base-B´(x,y)とすると、下式(4)にしたがって、各色成分のゲイン調整を行う。
   I Base-R´(x,y)=G(x,y)×I Base-R(x,y)
   I Base-G´(x,y)=G(x,y)×I Base-G(x,y)・・・(4)
   I Base-B´(x,y)=G(x,y)×I Base-B(x,y)
[0091]
 ゲイン調整部306bは、各色成分についてゲイン調整を行ったベース成分信号S B_2を階調圧縮部307に入力する。その後は、階調圧縮部307が、取得したベース成分信号S B_2に基づいて階調圧縮処理を行い、階調圧縮処理後のベース成分信号S B_3を合成部308に入力する。合成部308は、入力されたベース成分信号S B_3と、ディテール成分信号S D_1とを合成して合成画像信号S Sを生成する。
[0092]
 上述した本発明の実施の形態2では、明るさ補正部306Aが、画素位置ごとに抽出された一つの色成分の画素値をもとにゲイン値の算出を行ってゲインマップを生成し、他の色成分に対してもこのゲイン値でゲイン調整を行うようにした。本実施の形態2によれば、各色成分の信号処理において画素位置ごとに同一のゲイン値を用いるため、各色成分間の相対的な強度比を信号処理前後で保持することができ、生成されるカラー画像の色味が変わることはない。
[0093]
 また、上述した実施の形態2では、ゲインマップ生成部306aが、各画素位置において最も大きい画素値を有する色成分の画素値を抽出し、ゲイン値を算出するようにしたので、すべての画素位置において、ゲイン調整後の輝度値が上限値を超えることにより生じるクリップを抑制することができる。
[0094]
(実施の形態3)
 本実施の形態3は、明るさ補正部が、画素位置ごとにゲイン係数が付与されたゲインマップを生成し、このゲインマップに基づいてベース成分の明るさ補正を行う。図12は、本実施の形態3にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した実施の形態1にかかる内視鏡システム1の構成要素と同じ構成要素には、同一の符号が付してある。図12では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
[0095]
 本実施の形態3にかかる内視鏡システム1Dは、上述した実施の形態1にかかる内視鏡システム1の構成に対し、処理装置3に代えて処理装置3Dを備える。処理装置3Dは、上述した実施の形態1にかかる構成に加え、平滑化部313を備える。その他の構成は、実施の形態1にかかる構成と同じである。
[0096]
 平滑化部313は、ベース成分調整部303が生成したベース成分信号S B_1に対して、スムージング処理を施して、信号波形を平滑化する。スムージング処理は、公知の手法を用いることができる。
[0097]
 図13は、本実施の形態3にかかる処理装置が行う画像処理方法を示すフローチャートである。以下、制御部312の制御のもと、各部が動作するものとして説明する。撮像信号取得部301は、内視鏡2から撮像信号を取得すると(ステップS201:Yes)、信号処理により赤色、緑色および青色の色成分が付与された画像を含む入力画像信号S Cを生成し、ベース成分抽出部302、ベース成分調整部303およびディテール成分抽出部304に入力する。一方、撮像信号取得部301は、内視鏡2から撮像信号が入力されていない場合(ステップS201:No)、撮像信号の入力確認を繰り返す。
[0098]
 ベース成分抽出部302は、入力画像信号S Cが入力されると、該入力画像信号S Cからベース成分を抽出し、該ベース成分を含むベース成分信号S Bを生成する(ステップS202)。ベース成分抽出部302は、上述した抽出処理によって抽出したベース成分を含むベース成分信号S Bを、ベース成分調整部303に入力する。
[0099]
 ベース成分調整部303は、ベース成分信号S Bが入力されると、該ベース成分信号S Bに対して、上述した調整処理を施す(ステップS203~S204)。ステップS203において、重み算出部303aは、入力画像の輝度値から、画素位置ごとに重みを算出する。重み算出部303aは、上述したグラフを用いて、各画素位置の重みを算出する。ステップS203に続くステップS204において、成分補正部303bは、重み算出部303aが算出した重みに基づいて、ベース成分を補正する。具体的に、成分補正部303bは、上述した式(1)を用いてベース成分の補正を行う。
[0100]
 その後、平滑化部313は、ベース成分調整部303が生成した成分調整後のベース成分信号S B_1の平滑化を行う(ステップS205)。平滑化部313は、上述したスムージング処理を施したベース成分信号S B_2を、ディテール成分抽出部304および明るさ補正部306に入力する。
[0101]
 図14は、本発明の実施の形態3にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の画素値をそれぞれ示す図である。入力画像は入力画像信号S Cに応じた画像であり、ベース成分画像は成分調整をせずに平滑化したベース成分信号S B、または成分調整後に平滑化したベース成分信号S B_2に応じた画像である。図14に示す画素ラインは、同一の画素ラインであり、この画素ラインのうち任意に選択された範囲の画素の位置についての画素値を示している。図14では、一例として緑色の色成分について、破線L orgが入力画像の画素値を示し、実線L 30が成分調整を行っていないベース成分信号S Bに対応するベース成分の画素値を示し、一点鎖線L 300が成分調整後のベース成分信号S B_2に対応するベース成分の画素値を示している。
[0102]
 破線L orgおよび実線L 30を比較すると、上述した実施の形態1と同様に、入力画像から低周波成分に相当する成分がベース成分として抽出されていることが分かる。また、実線L 30および一点鎖線L 300を比較すると、入力画像における画素値の大きい画素位置について、ベース成分抽出部302が抽出したベース成分に対し、成分調整後のベース成分の画素値が大きくなっていることが分かる。また、このように、本実施の形態1では、成分調整後のベース成分には、従来ディテール成分に含まれ得る成分が含まれる。
[0103]
 ステップS205に続くステップS206において、明るさ補正部306は、平滑化処理後のベース成分信号S B_2に対して、明るさ補正処理を施す。明るさ補正部306は、補正処理を施したベース成分信号S B_3を階調圧縮部307に入力する。
[0104]
 ステップS206に続くステップS207において、階調圧縮部307は、明るさ補正部306が補正処理を施したベース成分信号S B_3に対して、階調圧縮処理を施す。階調圧縮部307は、γ補正処理等の公知の階調圧縮処理を施す。階調圧縮部307は、階調圧縮後のベース成分信号S B_4を、合成部308に入力する。
[0105]
 ステップS206、S207と並行して行われるステップS208において、ディテール成分抽出部304は、入力画像信号S Cと、平滑化後のベース成分信号S B_2とを用いてディテール成分を抽出する。具体的には、ディテール成分抽出部304は、入力画像からベース成分を除して、ディテール成分を抽出する。ディテール成分抽出部304は、生成したディテール成分信号S Dをディテール成分強調部305に入力する。
[0106]
 図15は、本発明の実施の形態3にかかる内視鏡システムによる画像処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分画像の画素値を示す図である。図15に示す画素ラインは、図14に示す画素ラインと同一の画素ラインおよび同一の選択範囲の画素の位置についての画素値を示している。図15では、一例として緑色の色成分について、破線L 40が成分調整をせずに平滑化したベース成分信号S Bに対応するベース成分に基づいて抽出したディテール成分の画素値を示し、実線L 400が成分調整後に平滑化したベース成分信号S B_2に対応するベース成分に基づいて抽出されたディテール成分の画素値を示している。
[0107]
 ディテール成分は、上述した実施の形態1と同様に、入力画像の輝度変化から、成分調整後のベース成分を除外した成分であり、反射率成分を多く含む成分である。図15に示すように、入力画像における画素値の大きい画素位置について、ベース成分抽出部302が抽出したベース成分に基づいて抽出されたディテール成分には、この画素値に応じた成分が含まれているのに対し、成分調整後のベース成分に基づいて抽出されたディテール成分は、この画素値に応じた成分であって、従来ディテール成分として抽出され得る成分を含んでいないか、またはこの成分が少なくなっていることが分かる。
[0108]
 その後、ディテール成分強調部305が、入力されたディテール成分信号S Dに対して強調処理を施す(ステップS209)。具体的には、ディテール成分強調部305は、信号処理情報記憶部311aを参照し、各色成分において設定されている関数(例えば、α、βおよびγ)を取得して、ディテール成分信号S Dの各色成分の入力信号値を増大させる。ディテール成分強調部305は、強調処理後のディテール成分信号S D_1を合成部308に入力する。
[0109]
 合成部308は、階調圧縮部307からベース成分信号S B_4が入力され、ディテール成分強調部305から強調処理後のディテール成分信号S D_1が入力されると、該ベース成分信号S B_4およびディテール成分信号S D_1を合成し、合成画像信号S Sを生成する(ステップS210)。合成部308は、生成した合成画像信号S Sを表示画像生成部309に入力する。
[0110]
 表示画像生成部309は、合成部308から合成画像信号S Sが入力されると、該合成画像信号S Sに対して表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号S Tを生成する(ステップS211)。表示画像生成部309は、生成した画像信号S Tを表示装置4に出力する。表示装置4は、入力された画像信号S Tに応じた画像を表示する(ステップS212)。
[0111]
 表示画像生成部309による画像信号S Tの生成後、制御部312は、新たな撮像信号が入力されているか否かを判断し、新たな撮像信号が入力されていると判断した場合、この新たな撮像信号について、ステップS202からの画像信号の生成処理を行う。
[0112]
 上述した本発明の実施の形態3では、ベース成分調整部303が、ベース成分抽出部302が抽出したベース成分に対し、輝度値に基づく重みを算出して、この重みに基づいてベース成分の成分調整を行い、その後、成分調整されたベース成分信号の波形を平滑化するようにした。これにより、成分調整後のベース成分に、入力画像における画素値の大きな画素位置の高輝度成分が含められ、このベース成分に基づいて抽出されるディテール成分には、この高輝度成分の割合が小さくなる。この結果、ディテール成分を強調した場合に、高輝度領域に対応する白飛び部分が強調されないようになる。本実施の形態3によれば、色味の変化を抑制しつつ良好な視認性を有する画像を生成することができる。
[0113]
 なお、上述した実施の形態1~3では、撮像信号取得部301が、RGBの各色成分が付与された画像を含む入力画像信号S Cを生成するものとして説明したが、YCbCr色空間に基づいて輝度(Y)成分および色差成分を含むYCbCr色空間を有する入力画像信号S Cを生成するものであってもよいし、色相(Hue)、彩度(Saturation Chroma)、明度(Value Lightness Brightness)の三つの成分からなるHSV色空間や、三次元空間を用いるL ***色空間等を用いて、色と輝度とに分けた成分を有する入力画像信号S Cを生成するものであってもよい。
[0114]
 また、上述した実施の形態1~3では、取得した撮像信号を用いてベース成分およびディテール成分を抽出して合成した合成画像を生成するものとして説明したが、画像生成に限らず、例えば抽出したディテール成分を病変検出や各種測定処理に用いるようにしてもよい。
[0115]
 また、上述した実施の形態1~3では、ディテール成分強調部305が、予め設定されているパラメータα、βおよびγを用いてディテール成分信号S Dの強調処理を施すものとして説明したが、ベース成分と対応する領域や、病変の種類、観察モード、観察部位、観察深さ、構造等に応じてα、βおよびγの数値を設定し、適応的に強調処理を実施するようにしてもよい。観察モードとしては、通常の白色光を照射して撮像信号を取得する通常観察モードや、特殊光を照射して撮像信号を取得する特殊光観察モードが挙げられる。
[0116]
 また、所定の画素領域の輝度値(平均値や最頻値等)に応じてパラメータα、βおよびγの数値を決定してもよい。撮像して得られる画像は、画像ごとに明るさの調整量(ゲインマップ)が変化し、同じ輝度値であっても画素位置によりゲイン係数が異なる。このような調整量の差異に対して適応的に調整を行うための指標として、例えば、iCAM06: A refined image appearance model for HDR image rendering, Jiangtao Kuang, et al, J.Vis.Commun.Image R, 18(2007) 406-414に記載された手法が知られている。具体的には、この文献に記載されているディテール成分信号の調整式であるS D_1=S D (F+0.8)の指数部分(F+0.8)に、色成分ごとに決まるパラメータであるα´、β´またはγ´をべき乗することにより、色成分ごとに調整式を設定する。例えば、赤色成分の調整式はS D_1=S D (F+0.8)^α´である。ディテール成分強調部305は、色成分ごとに設定されている調整式を用いてディテール成分信号の強調処理を行う。なお、式中のFは、各画素位置における低周波数域に適した画像ひいては空間的変化に基づく関数である。
[0117]
 また、上述した実施の形態1~3では、光源部3aから白色光が出射され、受光部244aがRGBの各色成分の光を受光する同時式の照明/撮像方式であるものとして説明したが、光源部3aが、RGBの色成分の波長帯域の光を個別に順次出射して、受光部244aが、各色成分の光をそれぞれ受光する面順次式の照明/撮像方式であってもよい。
[0118]
 また、上述した実施の形態1~3では、光源部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設ける等、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3の機能を付与してもよい。
[0119]
 また、上述した実施の形態1~3では、光源部3aが、処理装置3とは一体であるものとして説明したが、光源部3aおよび処理装置3が別体であって、例えば処理装置3の外部に照明部321および照明制御部322が設けられているものであってもよい。
[0120]
 また、上述した実施の形態1~3では、本発明にかかる画像処理装置が、観察対象が被検体内の生体組織等である軟性の内視鏡2を用いた内視鏡システム1に設けられているものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管等の光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。本発明にかかる画像処理装置は、体内、体外を問わず適用可能であり、外部で生成された撮像信号や画像信号を含む映像信号に対して抽出処理、成分調整処理、合成処理を施すものである。
[0121]
 また、上述した実施の形態1~3では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるEVF(Electronic View Finder)に映像を出力する場合にも適用可能である。
[0122]
 また、上述した実施の形態1~3において、各ブロックの機能は一つのチップに実装してもよいし、複数のチップに分けて実装してもよい。また、各ブロックの機能を複数のチップに分けた場合、一部のチップが別の筐体に配置されていてもよいし、一部のチップに実装される機能がクラウドサーバに配置されていてもよい。

産業上の利用可能性

[0123]
 以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、良好な視認性を有する画像を生成するのに有用である。

符号の説明

[0124]
 1、1A、1B、1C、1D 内視鏡システム
 2 内視鏡
 3、3A、3B、3C、3D 処理装置
 3a 光源部
 4 表示装置
 21 挿入部
 22 操作部
 23 ユニバーサルコード
 24 先端部
 25 湾曲部
 26 可撓管部
 301 撮像信号取得部
 302 ベース成分抽出部
 303、303A、303B ベース成分調整部
 304 ディテール成分抽出部
 305 ディテール成分強調部
 306 明るさ補正部
 307 階調圧縮部
 308 合成部
 309 表示画像生成部
 310 入力部
 311 記憶部
 311a 信号処理情報記憶部
 312 制御部
 313 平滑化部
 321 照明部
 322 照明制御部

請求の範囲

[請求項1]
 映像信号に含まれる画像成分からベース成分を抽出するベース成分抽出部と、
 前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行う成分調整部と、
 前記画像成分と、前記成分調整部による成分調整後のベース成分とを用いてディテール成分を抽出するディテール成分抽出部と、
 を備えることを特徴とする画像処理装置。
[請求項2]
 前記成分調整部は、前記画像の輝度値が、予め設定されている閾値より大きい場合に、前記ベース成分の成分調整を行う
 ことを特徴とする請求項1に記載の画像処理装置。
[請求項3]
 前記成分調整部は、前記ベース成分と前記画像成分とをαブレンドする
 ことを特徴とする請求項2に記載の画像処理装置。
[請求項4]
 前記成分調整部は、前記画像のエッジ検出を行って、輝度値の大きい領域である高輝度領域を設定し、設定した前記高輝度領域に基づいて前記ベース成分の成分調整を行う
 ことを特徴とする請求項1に記載の画像処理装置。
[請求項5]
 前記成分調整部による成分調整後のベース成分の明るさ補正を行う明るさ補正部、
 をさらに備えることを特徴とする請求項1に記載の画像処理装置。
[請求項6]
 前記ディテール成分抽出部が抽出したディテール成分に強調処理を施すディテール成分強調部と、
 前記成分調整部による成分調整後のベース成分と、前記強調処理後のディテール成分とを合成する合成部と、
 をさらに備えることを特徴とする請求項1に記載の画像処理装置。
[請求項7]
 前記ディテール成分強調部は、前記ディテール成分を含むディテール成分信号のゲインを増幅する
 ことを特徴とする請求項6に記載の画像処理装置。
[請求項8]
 映像信号に含まれる画像成分に対して処理を施す画像処理装置であって、
 プロセッサが、
 前記画像成分からベース成分を抽出し、
 前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行い、
 前記画像成分と、成分調整後のベース成分とを用いてディテール成分を抽出する、
 ことを特徴とする画像処理装置。
[請求項9]
 映像信号に含まれる画像成分からベース成分を抽出し、
 前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行い、
 前記画像成分と、成分調整後のベース成分とを用いてディテール成分を抽出する、
 ことを特徴とする画像処理方法。
[請求項10]
 映像信号に含まれる画像成分からベース成分を抽出するベース成分抽出手順と、
 前記映像信号に対応する画像の明るさが大きくなるほど、前記画像成分に対して前記ベース成分が占める割合が大きくなるように前記ベース成分の成分調整を行う成分調整手順と、
 前記画像成分と、前記成分調整手順による成分調整後のベース成分とを用いてディテール成分を抽出するディテール成分抽出手順と、
 をコンピュータに実行させることを特徴とする画像処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]