Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019026263) IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
Document

明 細 書

発明の名称 画像処理装置、画像処理方法、及び画像処理プログラム

技術分野

0001   0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014  

図面の簡単な説明

0015  

発明を実施するための形態

0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069  

符号の説明

0070  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12  

明 細 書

発明の名称 : 画像処理装置、画像処理方法、及び画像処理プログラム

技術分野

[0001]
 本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
[0002]
 ビジョンセンサ(カメラ)を含むシステムには、当該システム固有の画像処理が施されることが往々にしてある。例えば、一部の内視鏡システムでは、3Dノイズリダクションの機能を有する(特許文献1参照)。これは、入力画像(動画)に際して各フレーム単体ではなく連続する2フレームを比較して差分を取ることでノイズを抽出するものであり、単一のフレームからノイズを抽出する2Dノイズリダクションよりも精度が高いことを特徴とする。このように補正された画像がリアルタイムにLCD等のモニタに表示され、医師等はその態様を観察しうる。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2013-089205号公報

発明の概要

発明が解決しようとする課題

[0004]
 ところで、このような内視鏡システムは、リアルタイムの動画表示を一時停止する機能を有することが一般的である。しかしながら、3Dノイズリダクションは、一時停止するとその後表示される画像は、同一の画像(静止)であるため、差分を取ってノイズを抽出する3Dノイズリダクションが効かなくなって画像が不鮮明になるという問題がある。
[0005]
 更に、そもそも一般的に静止画よりも動画の方が、その輪郭がぼやけて見えるという性質がある。例えば、入力画像のうち一部の領域が動いているといった状況では、動いている領域を鮮鋭化しようとすると静止している領域にノイズが目立ってしまうが、逆に静止している領域のノイズを低減しようとノイズリダクションの度合いを高めると、今度は動いている領域が不鮮明になってしまう。
[0006]
 本発明は、このような事情を鑑みてなされたものであり、動作領域と静止領域の両方を含みうる入力画像に対して適切な鮮鋭度の画像を出力しうる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
[0007]
 本発明の観点によれば、静動情報算出部と、ブレンド率決定部と、画像処理部とを備え、画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出部は、入力された入力画像の静動情報を算出し、前記ブレンド率決定部は、前記入力画像の前記静動情報に所定の演算を実施してブレンド率を決定し、前記画像処理部は、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像を生成する、画像処理装置が提供される。
[0008]
 この観点に係る画像処理装置では、ブレンド率決定部が、静動情報算出部により算出された静動情報に所定の演算を実施して、ブレンド率を決定する。かかるブレンド率に基づいて入力画像を画像処理して得られた出力画像は、静止領域及び動作領域の両方に最適化されており、すなわち視認する上で全体として最適化された出力画像を得ることができるという効果を奏する。
[0009]
 以下、本発明の種々の実施形態を例示する。以下に示す実施形態は、互いに組み合わせ可能である。
[0010]
 好ましくは、前記静動情報は、0又は1に2値化されたピクセルデータを有する画像であり、前記所定の演算では、前記静動情報における第1小領域とこの周辺に位置する第2小領域とについて当該2値がそれぞれ占める割合を使用する。
 前記画像処理部は、第1~第3画像処理部を備え、前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、前記第1画像処理部は、前記入力画像を画像処理して前記静止状態に対応する第1中間画像を生成し、前記第2画像処理部は、前記入力画像を画像処理して前記動作状態に対応する第2中間画像を生成し、前記第3画像処理部は、前記ブレンド率に基づいて、前記第1及び第2中間画像を重ね合わせて前記出力画像を生成する。
 好ましくは、パラメータ算出部を更に備え、前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、前記パラメータ算出部は、前記ブレンド率に基づいて、前記静止状態に対応する静止パラメータと、前記動作状態に対応する動作パラメータとを重ね合わせて静動パラメータを算出し、前記画像処理部は、前記静動パラメータを用いて前記出力画像を生成する。
 好ましくは、前記第2小領域は、前記第1小領域の上側、左上側、左側において前記第1小領域と隣接する小領域である。
 好ましくは、前記画像処理部は、前記ブレンド率に基づいてノイズリダクション処理及び鮮鋭化処理のうち少なくとも一方を実施して前記出力画像を生成する。
 好ましくは、前記画像処理部は、前記ブレンド率に基づいて超解像処理を実施して前記出力画像を生成する。
 好ましくは、前記入力画像は、3次元ノイズリダクション処理が予め施されている画像である。
[0011]
 本発明の別の観点によれば、静動情報算出ステップと、ブレンド率決定ステップと、画像処理ステップとを備え、画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出ステップでは、入力された入力画像の静動情報が算出され、前記ブレンド率決定ステップでは、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、前記画像処理ステップでは、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、画像処理方法が提供される。
[0012]
 この観点に係る画像処理方法では、ブレンド率決定ステップにおいて、静動情報算出ステップで算出された静動情報に所定の演算を実施して、ブレンド率が決定される。かかるブレンド率に基づいて入力画像を画像処理して得られた出力画像は、静止領域及び動作領域の両方に最適化されており、すなわち視認する上で全体として最適化された出力画像を得ることができるという効果を奏する。
[0013]
 本発明の別の観点によれば、コンピュータに、所定の機能を実現させるプログラムであって、前記所定の機能は、静動情報算出機能と、ブレンド率決定機能と、画像処理機能とを備え、画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出機能では、入力された入力画像の静動情報が算出され、前記ブレンド率決定機能では、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、前記画像処理機能では、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、画像処理プログラムが提供される。
[0014]
 この観点に係る画像処理プログラムでは、ブレンド率決定機能によって、静動情報算出機能で算出された静動情報に所定の演算を実施して、ブレンド率が決定される。かかるブレンド率に基づいて入力画像を画像処理して得られた出力画像は、静止領域及び動作領域の両方に最適化されており、すなわち視認する上で全体として最適化された出力画像を得ることができるという効果を奏する。

図面の簡単な説明

[0015]
[図1] 本発明の実施形態に係る画像処理装置3を用いたシステム1の構成概要を示す機能ブロック図である。
[図2] 本発明の実施形態に係る静動情報算出部35による静動情報の算出方法を示すフローチャートである。
[図3] 入力画像I(f)から縮小画像J(f)を生成する際の概要図である。
[図4] 図3の入力画像I(f)から生成された縮小画像J(f)と、過去の縮小画像J(f-Δf)である参照画像Rを示す概要図であり、特に、図4Aは縮小画像J(f)、図4Bは参照画像Rを示している。
[図5] 図4A及び図4Bの縮小画像J(f)と参照画像Rとから生成される差分画像S(f)と、差分画像S(f)を2値化処理したバイナリ画像B(f)とを示す概要図であり、特に、図5Aは差分画像S(f)、図5Bはバイナリ画像B(f)を示している。
[図6] 入力画像I(f)の一例を示すもので、内視鏡システム2が送信するような医療画像に係るものではないが、敢えて簡単な例示として採用している。
[図7] 図6の入力画像I(f)に関する、縮小画像J(f)、参照画像R、及びバイナリ画像B(f)の例を示す概要図であり、特に、図7Aは縮小画像J(f)、図7Bは参照画像R、図7Cはバイナリ画像B(f)を示している。
[図8] 本発明の実施形態に係るブレンド率決定部36によるブレンド率の決定方法を示すフローチャートである。
[図9] 図8に示したブレンド率の決定方法を適用した一例であり、図9Aはバイナリ画像B(f)の一部の領域、図9Bはこの領域に対応する縮小ブレンド率X(f)であって計算途中のものを示している。
[図10] 図8に示したブレンド率の決定方法を適用した一例であり、決定された縮小ブレンド率X(f)を示している。
[図11] 種々の画像処理結果を示す図であり、特に図11A~図11Dは比較例、図11E及び図11Fは本発明に係る実施例である。
[図12] 変形例に係り、入力画像I(f)から縮小画像J(f)を生成する際の概要図である。

発明を実施するための形態

[0016]
 以下、本発明の実施形態について図面を参照しながら詳細に説明する。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものを指しうる。
[0017]
 また、広義の回路とは、回路(circuit)、回路類(circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CLPD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものであることに留意されたい。
[0018]
 また、本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうるものである。具体的には、画像(2次元配列)の一部であって少なくとも1つのピクセルからなる領域である「小領域」、過去フレームから現在フレームへの静動変化を小領域毎に示した「静動情報」、静動情報を小領域毎に代数演算を実施して得られる「ブレンド率」等が、かかる情報/概念に含まれうる。これらについては、再度必要に応じて詳しく説明するものとする。
[0019]
1.システム1(全体構成)
 図1は、本発明の実施形態に係る画像処理装置3を用いたシステム1の構成概要を示す機能ブロック図である。システム1は、内視鏡システム2と、画像処理装置3と、表示部4とを備える。
[0020]
1.1 内視鏡システム2
 内視鏡システム2は、内視鏡21と、画像処理部22とを備える。内視鏡21は不図示のビジョンセンサ(カメラ)を有し、例えばこれを被験体の口腔部から腹部に向けて挿入することで、被検体の腹部等を撮像可能に構成される。なお、情報処理という観点において、撮像された画像データは、2次元の画素の集合体(ピクセル配列)である。また、画像処理部22は、内視鏡21によって撮像された画像データに所定の画像処理を施す。ここでは当該画像処理は、上述の課題で例示した3Dノイズリダクションであるものとする。つまり、内視鏡21によって撮像された画像データのうち特に時系列において隣接する2フレームを用いて、画像に重畳しているノイズを低減する。
[0021]
1.2 画像処理装置3
 画像処理装置3は、内視鏡システム2より送信された画像データ(上述の通り3Dノイズリダクションが施されているもの)に対して所定の画像処理を実行する装置である。画像処理装置3は、制御部31と、記憶部32と、入力部33と、送受信部34と、静動情報算出部35と、ブレンド率決定部36と、画像処理部37とを備え、これらが通信バス3Bを介して接続されている。以下、構成要素31~37をそれぞれ詳述する。
[0022]
<制御部31>
 制御部31は、画像処理装置3に関連する全体動作の処理・制御を行う。制御部31は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部31は、記憶部32に記憶された所定のプログラムを読み出すことによって、画像処理装置3ないしはシステム1に係る種々の機能を実現する。例えば、所定のプログラムを読み出して、内視鏡21のリアルタイムの表示画像を含むグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面を表示部4に表示させることが含まれる。
[0023]
 なお、図1においては、単一の制御部31として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部31を有するように実施してもよい。またそれらの組合せであってもよい。
[0024]
<記憶部32>
 記憶部32は、上述の通り、制御部31により実現させるための種々のプログラム等を記憶する。これは、例えばハードディスクドライブ(Hard Disk Drive:HDD)又はソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして実施されうる。また記憶部32は、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとしても実施されうる。また、これらの組合せであってもよい。
[0025]
<入力部33>
 入力部33は、例えば、画像処理装置3自体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部33は、タッチパネルとして実施されうる。或いは、スイッチボタン、マウス、キーボード等のユーザインターフェースを採用してもよい。入力部33を介して、操作者(例えば、医師)の指示(コマンド)を受け付ける。当該指示は、通信バス3Bを介して制御部31に転送され、制御部31が必要に応じて所定の制御や演算を実行しうる。当該指示の一例として、操作者は、入力部33を介して、表示部4に表示されている内視鏡21が撮像中の画像を一時停止することができる。つまり、内視鏡システム2において、内視鏡21が画像の撮像を一時停止(中断)することができ、その一方で画像処理部22が3Dノイズリダクションを実施することができる。この結果、一時停止された場合、3Dノイズリダクションがされていない画像が、システム1の送受信部34に送信されることとなる。
[0026]
<送受信部34>
 送受信部34は、画像処理装置3と、画像処理装置3以外の外部機器との通信のためのユニットである。すなわち、送受信部34を介して、内視鏡システム2より入力画像となる画像データを受信し、これを画像処理した後出力画像として表示部4に送信しうる。なお、送受信部34による通信は、画像データに限るものではない。例えば、有線LANネットワーク通信、Bluetooth通信、無線LANネットワーク通信等を含む複数の通信手段の集合体であって通信対象について適切な通信規格を含むように実施することが好ましい。
[0027]
<静動情報算出部35>
 静動情報算出部35は、送受信部34を介して内視鏡システム2から受信した入力画像の静動情報を算出する。静動情報とは、入力画像とそれより過去に撮像された参照画像とを比較したときの静動変化(過去の所定のフレームから現在のフレームへのピクセルデータの変化)を示したピクセル配列である。静動情報の算出に関する詳細については、第2節に述べるものとする。
[0028]
<ブレンド率決定部36>
 ブレンド率決定部36は、静動情報算出部35によって算出された静動情報に所定の代数演算を施して、入力画像に対するブレンド率を決定する。ブレンド率とは、静止状態に対応する(好ましくは、最適化された)画像処理(静止画用処理)と、動作状態に対応する(好ましくは、最適化された)画像処理(動画用処理)の重み付けとなるピクセル配列である。例えば、ブレンド率は静動情報をもとに算出される。注目領域(特許請求の範囲における「第1小領域」の一例)、及び、その周辺領域(特許請求の範囲における「第2小領域」の一例)における動作領域の割合が大きい場合、静止画処理に対して動画処理の重み付けが大きくなる。一方、注目領域、及び、周辺領域における静止領域の割合が大きい場合、動画処理に対して静止画処理の重み付けが大きくなる。なお、ブレンド率の決定に関する詳細については、第3節に述べるものとする。
[0029]
<画像処理部37>
 画像処理部37は、ブレンド率に基づいて所定の画像処理を実行することで、静止状態及び動作状態の両方に最適化された出力画像を生成する。なお、かかる出力画像が通信バス3B及び送受信部34を介して表示部4に送信され、表示部4が当該出力画像を表示する。画像処理方法に関する詳細については、第2節に述べるものとする。
[0030]
1.3 表示部4
 表示部4は、画像処理装置3によって画像処理された画像データが入力されると、各ピクセルデータ(各ピクセルが有する輝度値等の情報)に基づいてこれを映像として表示する媒体であり、例えばLCDモニタ、CRTモニタ、有機ELモニタ等であってよい。なお、画像処理装置3が表示部4を含んでもよい。
[0031]
2.静動情報
 続いて、静動情報について詳述する。
[0032]
2.1 静動情報の算出方法
 図2は、本発明の実施形態に係る静動情報算出部35による静動情報の算出方法を示すフローチャートである。以下、図2における各ステップに基づいて流れを説明するものとする。
[0033]
[開始]
(ステップS1-1)
 入力画像I(f)(特許請求の範囲における「現在フレーム」の一例)について、入力画像I(1)を縮小処理して得られる縮小画像J(1)を参照画像Rとして登録し、次のステップであるステップS1-2に進む。
[0034]
(ステップS1-2)
 続いて、参照画像R(特許請求の範囲における「過去フレーム」の一例)が、現在の入力画像I(f)よりもΔfフレーム前に撮像されたフレームかどうかが判定される。ここでΔfの値については、元の画像データのフレームレートによって適宜設定されることが好ましい。特に限定されるものではないが、例えばΔf=1、2、3、4、5、6、7、8、9、10、11、12、13、14、15等が考えられる。表示部4の表示フレームレートに合わせるため、元々はフレームレートの低い画像データをアップコンバート(例えば24fps→60fps等)したものを入力画像I(f)に使用する場合は、時系列で隣接する入力画像I(k)、I(k+1)が同一の画像である場合を含むこととなる。そのため、このようなものを排除しうる適切なΔfの設定が必要である。或いは、入力画像I(f)のフレームレート判定を行う処理を追加し、適切なΔfが設定されるように実施してもよい。参照画像Rが現在の入力画像I(f)よりもΔfフレーム前に撮像されたフレームである場合は次のステップであるステップS1-3に進み、そうではない場合はステップS1-2aに進む。なお、ステップS1-2aではfの値が+1インクリメントされて、再度ステップS1-2が実行される。
[0035]
(ステップS1-3)
 続いて、入力画像I(f)を縮小処理して縮小画像J(f)が生成され、次のステップであるステップS1-4に進む。なお、かかる縮小処理については、第2.2節で詳述する。
[0036]
(ステップS1-4)
 続いて、ステップS1-3において生成された縮小画像J(f)と、参照画像Rとに対して差分演算処理を実行することによって差分画像S(f)が生成され、次のステップであるステップS1-5に進む。なお、かかる差分演算処理については、第2.2節で詳述する。
[0037]
(ステップS1-5)
 続いて、ステップS1-4において生成された差分画像S(f)に対して2値化処理を実行することによってバイナリ画像B(f)が生成され、次のステップであるステップS1-5に進む。なお、かかる2値化処理については、第2.2節で詳述する。また、本実施形態では、バイナリ画像B(f)が静動情報である。
[0038]
(ステップS1-6)
 最後に、参照画像Rを現在の縮小画像であるJ(f)に上書き更新する。その後、ステップS1-2aに戻り上述のステップS1-2~S1-6が繰り返されるが、最終フレームである場合にはそのフレームをもって処理を終了する。
[終了]
[0039]
2.2 各演算処理
 ここでは、上述の静動情報の算出方法において登場した各演算処理について説明する。図3は、入力画像I(f)から縮小画像J(f)を生成する際の概要図である。図4A及び図4Bは、図3の入力画像I(f)から生成された縮小画像J(f)と、過去の縮小画像J(f-Δf)である参照画像Rを示す概要図であり、特に、図4Aは縮小画像J(f)、図4Bは参照画像Rを示している。図5A及び図5Bは、図4A及び図4Bの縮小画像J(f)と参照画像Rとから生成される差分画像S(f)と、差分画像S(f)を2値化処理したバイナリ画像B(f)とを示す概要図であり、特に、図5Aは差分画像S(f)、図5Bはバイナリ画像B(f)を示している。図6は、入力画像I(f)の一例を示すもので、内視鏡システム2が送信するような医療画像に係るものではないが、敢えて簡単な例示として採用している。図7A~図7Cは、図6の入力画像I(f)に関する、縮小画像J(f)、参照画像R、及びバイナリ画像B(f)の例を示す概要図であり、特に、図7Aは縮小画像J(f)、図7Bは参照画像R、図7Cはバイナリ画像B(f)を示している。
[0040]
<縮小処理>
 入力画像I(f)は、図3に示されるようなM×Nのピクセル配列(行列)を有する画像であり、左上を基準としてm行n列目のピクセルをピクセルi_m.nと表記している。この縮小処理は、入力画像I(f)を1/4倍も縮小するものであり、4×4の小領域に含まれる16個のピクセルi_m.nのピクセルデータの平均値を、縮小画像J(f)の1つのピクセルにおけるピクセルデータとして採用する。例えば、入力画像I(f)における小領域A1について、ピクセルi_1.1~ピクセルi_4.4のピクセルデータの平均値が算出され、入力画像I(f)における小領域A2について、ピクセルi_5.5~ピクセルi_8.8のピクセルデータの平均値が算出される。これを各小領域について繰り返すことで得られる画像が、図4Aに示される縮小画像J(f)である。
[0041]
 縮小画像J(f)は、[M/4]×[N/4]([]はガウス記号)のピクセル配列(行列)を有する画像であり、左上を基準としてm行n列目のピクセルをピクセルj_m.nと表記している。上述の通り、入力画像I(f)における小領域に対応するものである。例えば、ピクセルj_1.1のピクセルデータは、ピクセルi_1.1~ピクセルi_4.4のピクセルデータの平均値であり、ピクセルj_1.2のピクセルデータは、ピクセルi_1.5~ピクセルi_4.8のピクセルデータの平均値であり、ピクセルj_2.2のピクセルデータは、ピクセルi_5.5~ピクセルi_8.8のピクセルデータの平均値である。なお、縮小画像J(f)を生成し、これを元に静動情報を算出することによって、直接入力画像I(f)を用いて静動情報を算出する場合に比して、メモリ(記憶部32)の確保量を小さくすることができる。この例においては、メモリの確保量が約1/16で済むことになる。
[0042]
<差分演算処理>
 参照画像Rは、上述の通り現在の縮小画像J(f)よりもΔfフレーム前に撮像された縮小画像J(f-Δf)である。ここでは参照画像Rのピクセルをピクセルr_m.nと表記している。各ピクセルr_m.nは、入力画像I(f)における小領域に対応するものである。差分演算処理では、縮小画像J(f)と参照画像Rとの行列における差分演算が実行され、差分画像S(f)が生成される(数式(1)参照)。
  S(f)=|J(f)-R|   (1)
 換言すると、差分画像S(f)における各ピクセルs_m.nのピクセルデータは、縮小画像J(f)における各ピクセルj_m.nのピクセルデータと参照画像Rにおける各ピクセルr_m.nのピクセルデータの差で表される。
[0043]
<2値化処理>
 2値化処理では、差分画像S(f)の各ピクセルs_m.nのピクセルデータが所定の閾値を超えるか否かが判定され、バイナリ画像B(f)の各ピクセルb_m.nのピクセルデータが0(閾値未満)又は1(閾値以上)を有するようにバイナリ画像B(f)が生成される(数式(2)参照)。
  B(f)=bin(S(f))   (2)
 上述の通り、本実施形態では、バイナリ画像B(f)が静動情報として採用される。これについて少し補足する。図7A~図7Cに示されるように、図6の入力画像I(f)を縮小した縮小画像J(f)と、Δfフレーム前の縮小画像J(f-Δf)である参照画像Rとにおいて、動きがある場合は、対応するピクセルであるピクセルj_m.nのピクセルデータとピクセルr_m.nのピクセルデータに変化が起こる。そのため、その後の差分演算処理及び2値化処理を介することでバイナリ画像B(f)の各ピクセルb_m.nは、ピクセルデータとして0(黒:動きなし)又は1(白:動きあり)を有することとなる。このような理由でバイナリ画像B(f)が入力画像I(f)における各小領域の静動変化を示す静動情報として採用されうる。
[0044]
3.ブレンド率
 続いて、ブレンド率について詳述する。ブレンド率は、メディアンフィルタや膨張縮小処理による誤判定低減処理と、スムージングフィルタによる静動境界平滑化や隣接するピクセルのピクセルデータを用いた変動量制御とを組合せて決定されうるものだが、一例として注目ピクセル(入力画像I(f)に対しては小領域に対応)の近傍の3ピクセルを用いた変動量制御と、線形拡大とを組合せた方法について以下、説明する。
[0045]
3.1 ブレンド率の決定方法
 図8は、本発明の実施形態に係るブレンド率決定部36によるブレンド率の決定方法を示すフローチャートである。本算出方法では、まず、ステップS2-1~ステップS2-6に示されるように、バイナリ画像B(f)の各ピクセルb_m.nから縮小ブレンド率X(f)を決定する。縮小ブレンド率X(f)は、[M/4]×[N/4]のピクセル配列(行列)を有する画像であり、左上を基準としてm行n列目のピクセルをピクセルx_m.nと表記することにする。最後に、ステップS2-7において線形拡大処理をすることによって、ブレンドY(f)が決定される。以下、図8における各ステップに基づいて流れを説明するものとする。
[0046]
[開始]
(ステップS2-1)
 各ピクセルb_m.nが左上の端部を構成するピクセルb_m.nであるかが判定される。端部を構成するピクセルb_m.nである場合は、ステップS2-1aに示されるようにこれに対応するピクセルx_m.nのピクセルデータをピクセルb_m.nのピクセルデータ(0又は1)とし、ステップS2-1bに示されるように次のピクセルb_m.n+1(又はピクセルb_m+1.1)に処理を進める。端部を構成するピクセルb_m.nでない場合は、次のステップであるステップS2-2に進む。
[0047]
(ステップS2-2)
 ピクセルb_m.nのピクセルデータが0又は1かが判定される。換言すると、入力画像I(f)における対応する小領域が静止領域(0)か動作領域(1)かが判定されている。ピクセルb_m.nのピクセルデータが0である場合は、ステップS2-3及びS2-4に進み、ピクセルb_m.nのピクセルデータが1である場合は、ステップS2-5及びS2-6に進む。
[0048]
(ステップS2-3)
 今回処理するピクセルb_m.nに対応するピクセルx_m.n(これからピクセルデータを決定する注目ピクセル)の上、左上、左の3つのピクセルのピクセルデータに着目する。それぞれ、ピクセルx_m-1.n、ピクセルx_m-1.n-1、ピクセルx_m.n-1である。そして、これら3つの各ピクセルデータのうちの最小値をαとして抽出し、次のステップであるステップS2-4に進む。
[0049]
(ステップS2-4)
 ステップS2-3において決定されたαから所定のパラメータdの値を減算した値と、0とのうち大きい方の値が、ピクセルx_m.nのピクセルデータとして決定される。なお、パラメータdは、自由に調節できるパラメータである。その後ステップS2-1bに示されるように次のピクセルb_m.n+1(又はピクセルb_m+1.1)に処理を進め、次のピクセルがない場合には処理を終了する。
[0050]
(ステップS2-5)
 今回処理するピクセルb_m.nに対応するピクセルx_m.n(これからピクセルデータを決定する注目ピクセル)の上、左上、左の3つのピクセルのピクセルデータに着目する。それぞれ、ピクセルx_m-1.n、ピクセルx_m-1.n-1、ピクセルx_m.n-1である。そして、これら3つの各ピクセルデータのうちの最大値をβとして抽出し、次のステップであるステップS2-6に進む。
[0051]
(ステップS2-6)
 ステップS2-5において決定されたβから所定のパラメータdの値を加算した値と、1とのうち小さい方の値が、ピクセルx_m.nのピクセルデータとして決定される。なお、パラメータdは、自由に調節できるパラメータである。その後ステップS2-1bに示されるように次のピクセルb_m.n+1(又はピクセルb_m+1.1)に処理を進め、次のピクセルがない場合には処理を終了する。
[終了]
[0052]
3.2 適用例
 図9A及び図9Bは、図8に示したブレンド率の決定方法を適用した一例であり、図9Aはバイナリ画像B(f)の一部の領域、図9Bはこの領域に対応する縮小ブレンド率X(f)であって計算途中のものを示している。また、図10は、図8に示したブレンド率の決定方法を適用した一例であり、決定された縮小ブレンド率X(f)を示している。
[0053]
 ここで、図9Bにおける注目ピクセルx1(特許請求の範囲における「第1小領域」の一例)のピクセルデータの決定について説明する。まず、注目ピクセルx1は、端部を構成するものではなく、且つ注目ピクセルx1に対応するバイナリ画像B(f)のピクセルb1は、ピクセルデータが1である。したがって、図8に示したフローチャートでいえば、ステップS2-1、S2-2、S2-5、S2-6の順に処理が実行される。ステップS2-5に際して、ピクセルx1の上、左上、左の3つのピクセル(特許請求の範囲における「第2小領域」の一例)のピクセルデータはそれぞれ、0.5、0.2、0.3である。したがって最大値β=0.5である。また、パラメータd=0.3とすると、ステップS2-6に際して、β+d=0.5+0.3=0.8となり、1よりも小さい。したがって、ピクセルx1のピクセルデータは、0.8と決定される。
[0054]
 同様に、次々と他のピクセルについても同様の演算を行うことで、図10に示される縮小ブレンド率X(f)が決定される。換言すると、小領域単位においては、近傍の小領域どうしの動作領域と静止領域の割合を用いて縮小ブレンド率X(f)が決定されていることに留意されたい。更にこれを線形拡大したものが、ブレンド率Y(f)として決定される。
[0055]
4.画像処理方法
 続いて、画像処理方法について説明する。簡単のためここでは、入力画像I(f)に画像処理フィルタFを左から乗算することで出力画像O(f)が得られる場合を考えるものとする(数式(3)参照)。特に、例えば、小領域毎の入力画像I(f)に画像処理フィルタFを左から乗算することで小領域毎の出力画像O(f)が得られる。かかる乗算は、上述の画像処理部37が実施しうるものである。
  O(f)=F×I(f)   (3)
 また、画像処理フィルタFは、静止領域(又は静止状態)に最適化された画像処理フィルタF0と、動作領域(又は動作状態)に最適化された画像処理フィルタF1とが用意されていることに留意されたい。例えば、画像処理フィルタF(F0、F1含む)は、入力画像I(f)に対して鮮鋭化処理を行うようなフィルタや、ノイズリダクション処理を行うようなフィルタが例として想定されうる。一方、フィルタF0(又はF1)を鮮鋭化処理フィルタとし、フィルタF1(又はF0)をノイズリダクション処理フィルタとする、というようにフィルタF0、F1をそれぞれ異なる処理を実行するフィルタとしてもよい。以下、いくつかの画像処理方法を説明する。
[0056]
4.1 第1画像処理方法
 第1画像処理方法では、静止領域に最適化して得られる第1中間画像M0(f)と、動画領域に最適化して得られる第2中間画像M1(f)とを、ブレンド率Y(f)に基づいて重ね合わせることにより、静止領域及び動作領域の両方に最適化された出力画像O(f)を生成するものである(数式(4)~(6)参照)。
  M0(f)=F0×I(f)   (4)
  M1(f)=F1×I(f)   (5)
  O(f)=Y(f)×M0(f)+{1-Y(f)}×M1(f)   (6)
 なお、かかる演算はあくまでも一例であり、更に何らかの重み付けを考慮してもよいし、静動状態によって変えるべき複数のパラメータについてそれぞれ実施してもよい。例えば、スパースコーディングを用いた超解像処理であれば、ノイズリダクションに用いる係数と鮮鋭度向上に用いる係数が例示されうる。例えば、ノイズリダクションに用いる係数について説明すると、F0はノイズリダクションについて静止領域に最適化された係数であり、F1はノイズリダクションについて動作領域に最適化された係数である。また、鮮鋭度向上について説明すると、F0は鮮鋭度向上について静止領域に最適化された係数であり、F1は鮮鋭度向上について動作領域に最適化された係数である。かかるブレンド率Y(f)を用いることで、これらの係数をそれぞれ最適化することができる。なお、ここでは画像処理部37が特許請求の範囲における第1~第3画像処理部の一例として機能している。
[0057]
4.2 第2画像処理方法
 第2画像処理方法では、静止領域に最適化された画像処理フィルタF0(特許請求の範囲における「静止パラメータ」の一例)と、動作領域に最適化された画像処理フィルタF1(特許請求の範囲における「動作パラメータ」の一例)とをブレンド率Y(f)に基づいて重ね合わせることにより、最適化フィルタF2(特許請求の範囲における「静動パラメータ」の一例)を生成し、更に入力画像I(f)に最適化フィルタF2を左から乗算することで静止領域及び動作領域の両方に最適化された出力画像O(f)を生成するものである(数式(7)及び(8)参照)。
  F2=Y(f)×F0+{1-Y(f)}×F1   (7)
  O(f)=F2×I(f)   (8)
 特に、第1画像処理方法とは異なって画像処理そのものは、数式(8)に示されるように1度で済むため、画像処理部37の回路構成が第1画像処理方法に比してシンプルで済むという効果がある。また、こちらについても、かかる演算はあくまでも一例であり、更に何らかの重み付けを考慮してもよいし、複数の静動状態によって変えるべき複数のパラメータについて実施してもよい。なお、ここでは画像処理部37が特許請求の範囲におけるパラメータ算出部の一例として機能している。
[0058]
4.3 実施例
 図11A~図11Fは、種々の画像処理結果を示す図であり、特に図11A~図11Dは比較例、図11E及び図11Fは本発明に係る実施例である。何れもスパースコーディングを用いた超解像処理が実施されているものである。例えば、図11Aに示されるように、静止領域に最適化された画像処理フィルタF0を動作領域に適用すると鮮鋭度が著しく低い画像となる。また、図11Dに示されるように、動作領域に最適化された画像処理フィルタF1を静止領域に適用すると鮮鋭度が高く且つノイズが強調された画像となる。一方、本実施形態に係る画像処理方法(ここでは一例として第2画像処理方法)を実施すると、画像処理フィルタF2によって、静止領域/動作領域ともに適切な鮮鋭度を有する出力画像が出力されている。特に、ブレンド率Y(f)は動作領域と静止領域の境界において自然な出力画像を出力するためのピクセルデータを有するように構成されるため、動作領域と静止領域が混在している場合は、最適化に際してより大きな効果を奏するといえる。
[0059]
5.変形例
 上述の本実施形態に係る画像処理方法は、以下の態様によっても実施することができる。
[0060]
 第1に、本実施形態においては、1/4倍の縮小処理を採用したが、縮小倍率は特に限定されるものではなく例えば1/2倍や1/8倍の縮小処理を実施してもよい。或いは、かかる処理を行わず入力画像I(f)から差分画像S(f)やバイナリ画像B(f)を生成してもよい。
[0061]
 第2に、本実施形態においては、縮小処理を採用したが、小領域内に含まれるピクセルi_m.nに関してそのピクセルデータの平均値を代表値とするのではなく、別の値、例えば中央値等を採用してもよい。或いは、小領域内に含まれる特定の位置にあるピクセルi_m.n、例えば図12に示されるように、ピクセルi_4k-3.4l-3(ただし、1≦k≦[M/4]、1≦l≦[N/4]であり[]はガウス記号)のピクセルだけを代表ピクセルとして選択してもよい。特に図12では、入力画像I(f)における小領域A1の代表ピクセルとして、ピクセルi_1.1が選択されていることが確認できる。
[0062]
 第3に、本実施形態に係るブレンド率の決定方法では、注目ピクセルの上、左上、左に隣接するピクセルのピクセルデータを用いて所定の演算を実施したが、この演算方法に限定されるものではない。ピクセルの処理順がラスタ状に行われるため、上、左上、左に着目することは好ましいが、例えば注目ピクセルの周囲に隣接する8ピクセルを採用してもよい。
[0063]
 第5に、ブレンド率Y(f)を生成することなく縮小ブレンド率X(f)を直接用いて画像処理を実施してもよい。かかる場合、入力画像I(f)の各ピクセルi_m.nと、縮小ブレンド率X(f)の各ピクセルx_m.nとは1対1に対応しないため、複数のピクセルi_m.nに1つのピクセルx_m.nが対応するように、画像処理演算をする必要があることに留意されたい。
[0064]
 第6に、静動情報(例えばバイナリ画像B(f))からブレンド率(例えば縮小ブレンド率X(f))を算出するにあたり、両者の2次元配列の大きさが異なっていてもよい。
[0065]
 第7に、上述の種々の2次元配列は、最終的に所望の画像が表示部4に表示できるのであれば、演算途中に際して1次元配列として記憶されていてもよい。また、1次元配列又は2次元配列を用いて演算する代わりに、逐次、演算をしてもよい。
[0066]
 第8に、本実施形態に係るシステム1は、内視鏡システム2を採用しているがこれに限らず、動作領域と静止領域の両方を含みうる入力画像を送信する信号源であれば、応用が可能である。すなわち、内視鏡システム2以外に応用した場合であっても、動作領域と静止領域の両方を含みうる入力画像に対して適切な鮮鋭度の画像を出力しうるという効果を奏する。
[0067]
 第9に、コンピュータに、所定の機能を実現させるプログラムであって、前記所定の機能は、静動情報算出機能と、ブレンド率決定機能と、画像処理機能とを備え、画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出機能では、入力された入力画像の静動情報が算出され、前記ブレンド率決定機能では、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、前記画像処理機能では、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、画像処理プログラムを提供することもできる。また、かかるプログラムの機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、かかるプログラムを、インターネット等を介して配信することもできる。さらに、システム1を構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。
[0068]
6.結言
 以上のように、本実施形態によれば、動作領域と静止領域の両方を含みうる入力画像に対して適切な鮮鋭度の画像を出力しうる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
[0069]
 本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

符号の説明

[0070]
1:システム、2:内視鏡システム、21:内視鏡、22:画像処理部、3:画像処理装置、3B:通信バス、31:制御部、32:記憶部、33:入力部、34:送受信部、35:静動情報算出部、36:ブレンド率決定部、37:画像処理部、4:表示部、A1:小領域、A2:小領域、B:バイナリ画像、B2:バイナリ画像、F:画像処理フィルタ、F0:画像処理フィルタ、F1:画像処理フィルタ、F2:最適化フィルタ、I:入力画像、J:縮小画像、M0:第1中間画像、M1:第2中間画像、O:出力画像、R:参照画像、S:差分画像、X:縮小ブレンド率、Y:ブレンド率、

請求の範囲

[請求項1]
 静動情報算出部と、ブレンド率決定部と、画像処理部とを備え、
 画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
  前記静動情報算出部は、入力された入力画像の静動情報を算出し、
  前記ブレンド率決定部は、前記入力画像の前記静動情報に所定の演算を実施してブレンド率を決定し、
  前記画像処理部は、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像を生成する、
 画像処理装置。
[請求項2]
 前記静動情報は、0又は1に2値化されたピクセルデータを有する画像であり、
 前記所定の演算では、前記静動情報における第1小領域とこの周辺に位置する第2小領域とについて当該2値がそれぞれ占める割合を使用する、
 請求項1に記載の画像処理装置。
[請求項3]
 前記画像処理部は、第1~第3画像処理部を備え、
 前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、
  前記第1画像処理部は、前記入力画像を画像処理して前記静止状態に対応する第1中間画像を生成し、
  前記第2画像処理部は、前記入力画像を画像処理して前記動作状態に対応する第2中間画像を生成し、
  前記第3画像処理部は、前記ブレンド率に基づいて、前記第1及び第2中間画像を重ね合わせて前記出力画像を生成する、
 請求項1又は請求項2に記載の画像処理装置。
[請求項4]
 パラメータ算出部を更に備え、
 前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、
  前記パラメータ算出部は、前記ブレンド率に基づいて、前記静止状態に対応する静止パラメータと、前記動作状態に対応する動作パラメータとを重ね合わせて静動パラメータを算出し、
  前記画像処理部は、前記静動パラメータを用いて前記出力画像を生成する、
 請求項1又は請求項2に記載の画像処理装置。
[請求項5]
 前記第2小領域は、前記第1小領域の上側、左上側、左側において前記第1小領域と隣接する小領域である、
 請求項2に記載の画像処理装置。
[請求項6]
 前記画像処理部は、前記ブレンド率に基づいてノイズリダクション処理及び鮮鋭化処理のうち少なくとも一方を実施して前記出力画像を生成する、
 請求項1~請求項5の何れか1つに記載の画像処理装置。
[請求項7]
 前記画像処理部は、前記ブレンド率に基づいて超解像処理を実施して前記出力画像を生成する、
 請求項1~請求項6の何れか1つに記載の画像処理装置。
[請求項8]
 前記入力画像は、3次元ノイズリダクション処理が予め施されている画像である、
 請求項1~請求項7の何れか1つに記載の画像処理装置。
[請求項9]
 静動情報算出ステップと、ブレンド率決定ステップと、画像処理ステップとを備え、
 画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
  前記静動情報算出ステップでは、入力された入力画像の静動情報が算出され、
  前記ブレンド率決定ステップでは、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、
  前記画像処理ステップでは、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、
 画像処理方法。
[請求項10]
 コンピュータに、所定の機能を実現させるプログラムであって、
 前記所定の機能は、静動情報算出機能と、ブレンド率決定機能と、画像処理機能とを備え、
 画像の一部であって少なくとも1つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
  前記静動情報算出機能では、入力された入力画像の静動情報が算出され、
  前記ブレンド率決定機能では、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、
  前記画像処理機能では、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、
 画像処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]