Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020194693 - ENDOSCOPE PROCESSOR, INFORMATION PROCESSING DEVICE, ENDOSCOPE SYSTEM, PROGRAM, AND INFORMATION PROCESSING METHOD

Document

明 細 書

発明の名称 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079  

符号の説明

0080  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

明 細 書

発明の名称 : 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法

技術分野

[0001]
 本発明は、内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法に関する。

背景技術

[0002]
 近年、内視鏡検査における検出精度を向上するための各種の画像処理技術がある。例えば、特許文献1には、距離を反映した学習特徴量を用いて、距離情報に基づく検出処理を行うことで、画像から精度よく対象領域を検出する検出装置が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2014-232470号公報

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、特許文献1の発明では、医師による観察に適した内視鏡画像から特徴量を抽出する。そのため、画像の幾何学歪み、全画素の均一性の欠如等で画像の特徴量を正確に求められず、対象領域を正しく抽出できないおそれがある。
[0005]
 一つの側面では、学習済みの画像認識モデルを用いた画像認識処理において、精度の良い認識結果を出力することが可能な内視鏡用プロセッサ等を提供することを目的とする。

課題を解決するための手段

[0006]
 一つの側面に係る内視鏡用プロセッサは、内視鏡から撮影画像を取得する画像取得部と、前記画像取得部が取得した撮影画像を補正する第1補正部と、前記画像取得部が取得した撮影画像を補正する第2補正部と、前記第1補正部が補正した撮影画像に基づく内視鏡画像と、前記第2補正部が補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果とを出力する出力部とを備えることを特徴とする。

発明の効果

[0007]
 一つの側面では、学習済みの画像認識モデルを用いた画像認識処理において、精度の良い認識結果を出力することが可能となる。

図面の簡単な説明

[0008]
[図1] 内視鏡システムの構成例を示す模式図である。
[図2] 内視鏡から取り込まれた撮影画像に対する補正処理を説明する説明図である。
[図3] 幾何学歪み補正処理を説明する説明図である。
[図4] 内視鏡の外観図である。
[図5] プロセッサの構成例を示すブロック図である。
[図6] 補正DBのレコードレイアウトの一例を示す説明図である。
[図7] 内視鏡画像と認識結果とを表示する模式図である。
[図8] 撮影画像に対する補正処理を行う際の処理手順を示すフローチャートである。
[図9] 第1補正処理のサブルーチンの処理手順を示すフローチャートである。
[図10] 第2補正処理のサブルーチンの処理手順を示すフローチャートである。
[図11] 実施形態2のプロセッサの構成例を示すブロック図である。
[図12] 学習済みの画像認識モデルの選択を受け付ける画面の例である。
[図13] 学習済みの画像認識モデルの選択を受け付ける際の処理手順を示すフローチャートである。
[図14] 上述した形態のプロセッサの動作を示す機能ブロック図である。

発明を実施するための形態

[0009]
 以下、本発明をその実施形態を示す図面に基づいて詳述する。
[0010]
 (実施形態1)
 実施形態1は、内視鏡から取り込まれた撮影画像に対する補正処理を行ってから画像認識処理を行う形態に関する。
[0011]
 図1は、内視鏡システムの構成例を示す模式図である。図1に示すシステムは、被検体の体内に挿入されて撮影を行い、観察対象の映像信号を出力する内視鏡1、内視鏡1が出力した映像信号を内視鏡画像に変換する内視鏡用プロセッサ2、及び内視鏡画像等を表示する表示装置3を含む。各装置はコネクタを介して電気信号、映像信号等の送受信を行う。
[0012]
 内視鏡1は、先端部に撮像素子がある挿入部を被検体の体内に挿入し、診断または治療を行う器具である。内視鏡1は、先端にある撮像素子を用いて捉えた撮影画像をプロセッサ2に転送する。
[0013]
 内視鏡用プロセッサ2は、内視鏡1の先端にある撮像素子から取り込まれた撮像画像に対して画像処理を行い、内視鏡画像を生成して表示装置3に出力する情報処理装置である。また、以下では簡潔のため、内視鏡用プロセッサ2をプロセッサ2と読み替える。
[0014]
 表示装置3は、液晶ディスプレイ又は有機EL(electroluminescence)ディスプレイ等であり、プロセッサ2から出力された内視鏡画像等を表示する。
[0015]
 図2は、内視鏡1から取り込まれた撮影画像に対する補正処理を説明する説明図である。プロセッサ2は、内視鏡1から取得した撮影画像を第1補正処理により補正した内視鏡画像を生成する。プロセッサ2は、内視鏡1から取得した撮影画像を第2補正処理により補正したAI(Artificial Intelligence)補正用画像を生成する。プロセッサ2は、AI補正用画像を後述する画像認識モデル272に入力して認識結果を取得する。AI補正用画像を用いることで、画像認識モデル272による画像認識処理における精度が高い認識結果を取得することができる。プロセッサ2は、取得した内視鏡画像と、認識結果とを表示装置3に出力する。
[0016]
 第1補正処理は、内視鏡1から取り込まれた撮影画像から、医師による観察に適した内視鏡画像を生成するための補正処理であり、オフセット(Offset)補正処理、ゲイン(Gain)補正処理、ガンマ(Gamma)補正処理、ホワイトバランス(White Balance)補正処理のうち少なくとも1つを含む。
[0017]
 オフセット補正処理は、暗電流画像に基づいて予め定められたオフセット補正データを用いて、暗電流の影響を除去する。暗電流は、光電効果を示す半導体等の電気素子に電圧を加えたときに、熱的原因、絶縁不良または結晶欠陥等によって光を当てなくても流れる電流である。発生した暗電流によって、撮影した画像にノイズが現れることがある。オフセット補正データは、例えば被写体に対する撮影を開始する前の非撮影期間において複数枚の暗電流画像データを取得し、取得された複数枚の暗電流画像データを合成して生成されても良い。生成されたオフセット補正データを用いて、内視鏡1から得られた撮影画像を構成する各画素の画素値から一定値である暗電流値が減算される。
[0018]
 ゲイン補正処理は、撮像素子の各画素の感度ばらつきを補正する処理である。ガンマ補正処理は、撮影画像の階調値と、表示装置3に出力される信号の階調値との相対関係を調節して、元データにできるだけ忠実な画像を表示装置3に表示するための補正である。ガンマ補正は、表示装置3等の入出力機器のガンマ値に応じた最適のカーブに画像の階調を補正する。
[0019]

 ホワイトバランス補正処理は、色温度が異なる光源の下でも、青系と赤系と緑系とのカラーバランスを調節して撮影画像の白色を正確に表現する補正処理である。   
[0020]

 第2補正処理は、学習済みの画像認識モデル272を用いて画像認識処理における精度が高い認識結果を取得するための補正処理であり、基本補正処理、幾何学歪み補正処理、及びノイズ均一化補正処理若しくはノイズ低減処理を含む。   
[0021]
 基本補正処理は、オフセット補正処理、ゲイン補正処理、シェーディング(Shading)補正処理及びホワイトバランス補正処理を含む。シェーディング補正処理は、撮影画像全体の明度均一化のための補正処理である。オフセット補正処理、ゲイン補正処理及びホワイトバランス補正処理は、第1補正処理のホワイトバランス補正処理と同様であるため、説明を省略する。
[0022]

 幾何学歪み補正処理は、撮影画像の歪みを補正する処理である。図3は、幾何学歪み補正処理を説明する説明図である。図3の上部の左側は、縦線および横線がそれぞれ等間隔に並んだグリッドパターンを有する被写体を示す。図3の上部の中央には、内視鏡1により該被写体を撮影した撮影画像を示す。内視鏡1の広角レンズによる幾何学歪みにより、中央部が膨らみ、周辺部が収縮した状態である。被写体の直線は湾曲した状態である。図3の上部の右側には、幾何学歪み補正処理により撮影画像を補正した画像を示す。幾何学歪み補正処理により湾曲した線が、本来の直線に戻される。   
[0023]

 幾何学補正処理により、撮影画像の中心部が収縮するため、補正後の画像の外形は糸巻き型になる。補正後の撮影画像から矩形の領域を取得して後続する処理で使用する。以降の説明では、領域を取得する範囲を示す矩形を基準矩形と記載する。   
[0024]

 基準矩形の領域の取得処理に関しては、図3の下部を用いて説明する。図3下部の上から1段目は、補正後の撮影画像の内側から基準矩形の領域を取得する場合を示す。具体的には、糸巻き型に補正された撮影画像の内側に入る最大の矩形を基準矩形に使用する。   
[0025]

 図3下部の上から2段目は、補正後の撮影画像の外縁から基準矩形を取得する例を示す。具体的には、糸巻き型に補正された撮影画像を囲む最小の矩形を基準矩形に使用する。基準矩形と補正後の撮影画像との間の領域の画素を補完する。   
[0026]

 図3下部の上から3段目は、上述した2種類の基準矩形の領域を取得する処理の中間である。糸巻き型の撮影画像に対して矩形の領域を特定し、画素がない領域に画素を補完して基準矩形の領域を取得する。なお、上述した基準矩形の領域を取得する処理に限るものではない。例えば、先に糸巻き型の撮影画像の各辺に沿って画素を補完し、補完した領域から適当な矩形の領域を切り取って取得しても良い。幾何歪がより少ない方が、画像の特徴パラメータの精度、再現性を上げることができる。精度の良い画像の特徴パラメータにより認識を行うと、安定的な結果を出力することが可能で認識率が上がることが知られている。   
[0027]
 ノイズ均一化補正処理は、撮影画像の周辺部と中心部とでノイズの標準偏差(SD: Standard Deviation)を同等にする。撮影画像の周辺部のノイズの標準偏差が、中心部のノイズの標準偏差より大きい場合、プロセッサ2は、周辺部の画素に平滑化フィルタ、またはメディアンフィルタ等をかけて、中心部と周辺とのノイズの標準偏差を同等にする。ノイズ低減処理は、撮影画像の全体的なノイズを低減する。ノイズ均一化があまり上手くいかなくても全体的なノイズを低減できれば良い。
[0028]

 AIに基づく画像認識では、目視の場合に比べ、ノイズがより少ない方が、ノイズの均一性がより良い方が、シェーディングがより少ない方が、幾何歪がより少ない方が、各画素のバラツキが少ない方が、人の目の特性に合わせたガンマ補正ではなくリニア(線型)な諧調変換の方が、画像の特徴パラメータの精度が上がり、精度の良い認識結果を出力することが可能で認識率が上がることが知られている。このため、目視用画像と、AIに基づく画像認識用の画像とを別に補正している。   
[0029]
 図4は、内視鏡1の外観図である。内視鏡1は、撮像素子11、処置具挿入チャネル12、操作部13及びコネクタ14を含む。撮像素子11は、内視鏡1の先端部に設置された、例えばCCD(Charge Coupled Device)イメージセンサ、CMD(Charge Modulation Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、入射光を光電変換する。光電変換により生成された電気信号には、図示しない信号処理回路によりA/D変換、ノイズ除去などの信号処理が施され、プロセッサ2に出力される。
[0030]
 処置具挿入チャネル12は、処置具を通すためのチャネルである。処置具は、例えば把持具、生検針、鉗子、スネア、クランプ、ハサミ、メス、切開器具、内視鏡ステープラ、組織ループ、クリップアプライヤ、縫合糸送達器具、またはエネルギーによる組織凝固器具若しくは組織切断器具である。操作部13にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられ、例えば送気、送水、送ガス等の周辺機器の操作指示信号の入力を受け付ける。コネクタ14は、プロセッサ2に接続される。
[0031]
 図5は、プロセッサ2の構成例を示すブロック図である。プロセッサ2は、制御部21、記憶部22、操作入力部23、出力部24、光源制御部25、読取部26、大容量記憶部27、光源28及び通信部29を含む。各構成はバスBで接続されている。
[0032]
 制御部21は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を含み、記憶部22に記憶された制御プログラム2Pを読み出して実行することにより、プロセッサ2に係る種々の情報処理、制御処理等を行う。なお、図2では制御部21を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。
[0033]
 記憶部22は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ素子を含み、制御部21が処理を実行するために必要な制御プログラム2P又はデータ等を記憶している。また、記憶部22は、制御部21が演算処理を実行するために必要なデータ等を一時的に記憶する。操作入力部23は、例えばタッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生した入力信号を制御部21に入力する。出力部24は、制御部21の制御の下で、表示用の画像信号及び各種の情報を表示装置3に出力し、画像及び情報を表示させる。
[0034]
 光源制御部25は、LED等のオン/オフ、LED等の駆動電流及び駆動電圧の調整によって照明光の発光量を制御する。また、光源制御部25は、光学フィルタの変更等によって、照明光の波長帯域を制御する。光源制御部25は、各LEDの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。
[0035]
 読取部26は、CD(Compact Disc)-ROM又はDVD(Digital Versatile Disc)-ROMを含む可搬型記憶媒体2aを読み取る。制御部21が読取部26を介して、制御プログラム2Pを可搬型記憶媒体2aより読み取り、大容量記憶部27に記憶しても良い。また、ネットワークN等を介して他のコンピュータから制御部21が制御プログラム2Pをダウンロードし、大容量記憶部27に記憶しても良い。さらにまた、半導体メモリ2bから、制御部21が制御プログラム2Pを読み込んでも良い。
[0036]
 大容量記憶部27は、例えばHDD(Hard disk drive:ハードディスク)、SSD(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部27には、補正DB271及び画像認識モデル272が記憶されている。補正DB271は、内視鏡1から取り込まれた撮影画像に対して補正処理を行うための補正データを記憶している。画像認識モデル272は、撮影画像に基づいて、被検体の体内の病変、組織等を認識する画像認識器であり、機械学習により生成された学習済みモデルである。なお、画像認識モデル272は、ネットワークを介して接続されたクラウドコンピューティングシステムに配置され、使用されても良い。
[0037]
 なお、本実施形態において記憶部22及び大容量記憶部27は一体の記憶装置として構成されていても良い。また、大容量記憶部27は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部27はプロセッサ2に接続された外部記憶装置であっても良い。
[0038]
 光源28は、観察対象の照明に用いる照明光を発する光源を備える。光源は、例えば、波長域が異なる複数色のLED(Light Emitting Diode)等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ、ハロゲンランプ等である。光源28は、プロセッサ2の光源制御部25からの制御に従い明るさ等を調整する。なお、本実施形態では、プロセッサ2が光源一体型であるが、これに限るものではない。例えば、プロセッサ2は、光源装置と分離する光源分離型であっても良い。通信部29は、通信に関する処理を行うための通信モジュールであり、ネットワークNを介して、外部の情報処理装置等との間で情報の送受信を行う。
[0039]
 図6は、補正DB271のレコードレイアウトの一例を示す説明図である。補正DB271は、管理ID列、補正種別列及び補正データ列を含む。管理ID列は、各補正データを識別するために、一意に特定される補正データのIDを記憶している。補正種別列は、補正データの種別を記憶している。補正データ列は、プロセッサ2と組み合わせて使用する内視鏡1及び表示装置3に合わせて、各種の補正データを記憶している。例えば、オフセット補正の補正データは、オフセットを補正するための補正係数である。ガンマ補正の補正データは、組み合わせの表示装置3のガンマカーブを記録したテーブルである。
[0040]
 続いて、図2に戻り、内視鏡1から取り込まれた撮影画像に対する補正処理を詳しく説明する。内視鏡1の先端が被検体の体内に挿入された場合、プロセッサ2の制御部21は、内視鏡1の先端にある撮影素子から取り込まれた撮影画像を取得する。制御部21は、内視鏡1から取得した撮影画像を第1補正処理により補正する。
[0041]
 具体的には、プロセッサ2の制御部21は、取得した撮影画像に対してオフセット補正処理を行い、オフセット補正後の撮影画像に対してゲイン補正を行う。制御部21は、ゲイン補正後の画像に対してガンマ補正処理を行い、ガンマ補正後の撮影画像に対してホワイトバランス補正処理を行う。なお、上述した補正処理の順に限るものではない。例えば制御部21は、オフセット補正、ゲイン補正、ホワイトバランス補正、ガンマ補正の順に第1補正処理を行っても良い。また全部の補正が必ずしも必須ではない。少なくとも1つ、部分的に行っても良い。以上により、制御部21は、内視鏡画像を生成する。
[0042]

 制御部21は第1補正処理と並行して、内視鏡1から取得した撮影画像を第2補正処理により補正してAI補正用画像を生成する。具体的には、制御部21は、取得した撮影画像に対し、基本補正、オフセット補正、ゲイン補正、シェーディング補正の順に第2補正処理を行う。基本補正処理は、ゲイン補正処理、シェーディング補正処理、ホワイトバランス補正処理を含む。制御部21は、ゲイン補正、シェーディング補正、ホワイトバランス補正の順、またはゲイン補正、ホワイトバランス補正、シェーディング補正の順に基本補正処理を行う。また全部の補正が必ずしも必須ではない、部分的に行われても良い。   
[0043]

 制御部21は、後述する学習済みの画像認識モデル272にAI補正用画像を入力して、画像認識結果を取得する。   
[0044]

 以下では、ディープラーニングにより構築された画像認識モデル272(AI(人工知能)に基づく画像認識モデル)を用いて、大腸内のポリープを認識した認識結果を出力する例を説明する。ポリープは、大腸の粘膜の一部がイボ状に盛り上がり、大腸の空間部分に突出したものであり、大部分が良性の疾患で、今すぐ身体に害を及ぼすことがないが、徐々に大きくなれば出血等を起こす場合がある。なお、本実施形態では、ポリープ抽出用の画像認識モデル272の例を説明するが、他の学習済みの画像認識モデルであっても良い。   
[0045]
 画像認識モデル272は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。画像認識モデル272は、AI補正用画像が入力された場合に、ポリープが写っていると推定する領域と、その領域にポリープが写っている確率とを示す情報を出力する学習モデルである。
[0046]
 画像認識モデル272は、教師データあり学習によって生成されたニューラルネットワークである。教師データは、AI補正用画像に対し、ポリープに該当する画像領域の座標範囲と、ポリープに関する情報とがラベル付けされたデータである。図示を省略する情報処理装置(例えば、サーバ)で生成された画像認識モデル272が、ネットワークまたは読取部26を介して、大容量記憶部27に記憶されても良い。
[0047]
 本実施の形態の画像認識モデル272は、RCNN(Regions with Convolutional Neural Network)を用いて推定を行う。画像認識モデル272は、領域候補抽出部72aと、分類部72bとを含む。分類部72bは、図示を省略するニューラルネットワークを含む。ニューラルネットワークは、コンボリューション層、プーリング層および全結合層を含む。
[0048]
 画像認識モデル272に、撮影画像が入力される。領域候補抽出部72aは、撮影画像から、様々なサイズの領域候補を抽出する。分類部72bは、抽出された領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っている被写体がポリープであるか否かを分類する。画像認識モデル272は、領域候補の抽出と分類とを繰り返す。
[0049]
 画像認識モデル272は、所定の閾値よりも高い確率でポリープが写っていると分類された領域候補について、領域の範囲、および、ポリープが写っている確率を出力する。図2に示す例では、80パーセントの確率でポリープが写っている領域と、90パーセントの確率でポリープが写っている領域とが検出されている。
[0050]
 なお、RCNNの代わりに、Fast RCNN、Faster RCNNまたはSSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等の、任意の物体検出アルゴリズムを使用しても良い。
[0051]
 制御部21は、第1補正処理を行った撮影画像に基づく内視鏡画像と、第2補正処理を行った撮影画像を用いて、学習済みの画像認識モデル272から出力した認識結果とを重畳して表示用の画像を生成する。制御部21は、生成した表示用の画像を表示装置3に出力する。なお、上述した大腸内の撮影画像に対する第1補正処理及び第2補正処理の例を説明したが、これに限らず、他の部位(例えば、胃等)に対する第1補正処理及び第2補正処理を行っても良い。
[0052]
 図7は、内視鏡画像と認識結果とを表示する模式図である。図示のように、表示装置3は、プロセッサ2から出力された表示用の画像を表示する。認識結果は、例えば潰瘍または腫瘍の確率等であっても良い。なお、上述した表示方式に限るものではない。例えば、認識されたポリープに対して識別IDが付与され、識別IDごとに内視鏡画像以外の領域に、認識結果が表示されても良い。
[0053]
 図8は、撮影画像に対する補正処理を行う際の処理手順を示すフローチャートである。プロセッサ2の制御部21は、内視鏡1から転送された撮影画像を取得する(ステップS201)。制御部21は、大容量記憶部27の補正DB271から、各種の補正処理を行うための補正データ(係数)を取得する(ステップS202)。補正データは、例えばオフセット補正のデータ、シェーディング補正係数等であっても良い。
[0054]
 制御部21は、取得した撮影画像に対して第1補正処理を行う(ステップS203)。なお、第1補正処理のサブルーチンに関しては後述する。並行して、制御部21は、取得した撮影画像に対して第2補正処理を行い、AI補正用画像を生成する(ステップS204)。なお、第2補正処理のサブルーチンに関しては後述する。
[0055]
 なお、図8では、第1補正処理と、第2補正処理とを並行して行う例を説明したが、これにこだわらない。第1補正処理及び第2補正処理は、一方を先に実行し、他方を後に実行しても良い。
[0056]
 制御部21は、第2補正処理で補正したAI補正用画像を学習済みの画像認識モデル272に入力する(ステップS205)。制御部21は、画像認識モデル272を用いて、AI補正用画像に対する画像特徴量を抽出することにより、病変(例えば、大腸ポリープ等)等を認識した認識結果を取得する(ステップS206)。
[0057]
 制御部21は、ステップS203で生成した内視鏡画像と、ステップS206で取得した画像認識モデル272による認識結果とを表示装置3に出力し(ステップS207)、制御部21は処理を終了する。表示装置3は、プロセッサ2から出力された内視鏡画像と認識結果とを表示する(ステップS301)。
[0058]
 図9は、第1補正処理のサブルーチンの処理手順を示すフローチャートである。プロセッサ2の制御部21は、補正DB271から取得したオフセット補正データを用いて、内視鏡1から取り込まれた撮影画像に対してオフセット補正処理を行い(ステップS211)、暗電流を除去する。制御部21は、補正DB271から取得したゲイン補正係数を、オフセット補正後の撮影画像の各画素に乗算してゲイン補正処理を行う(ステップS212)。制御部21は、表示装置3のガンマ値に基づくガンマ補正処理を行う(ステップS213)。制御部21は、補正DB271から取得したホワイトバランス補正のRGB補正係数を用いて、ガンマ補正後の撮影画像の各画素値のRGB信号のレベルを校正し、ホワイトバランス補正処理を行う(ステップS214)。その後、制御部21は処理を終了する。なお、図9に示す各補正処理の順序は適宜変更できる。
[0059]
 図10は、第2補正処理のサブルーチンの処理手順を示すフローチャートである。プロセッサ2の制御部21は、補正DB271から取得したオフセット補正データを用いて、内視鏡1から取り込まれた撮影画像に対してオフセット補正処理を行い(ステップS221)、暗電流を除去する。制御部21は、補正DB271から取得したゲイン補正係数を、オフセット補正後の撮影画像の各画素に乗算してゲイン補正処理を行う(ステップS222)。
[0060]
 制御部21は、補正DB271から取得したシェーディング補正係数を、ゲイン補正後の撮影画像の各画素に乗算してシェーディング補正処理を行う(ステップS223)。制御部21は、補正DB271から取得したホワイトバランス補正のRGB補正係数を用いて、シェーディング補正後の撮影画像の各画素値のRGB信号のレベルを校正し、ホワイトバランス補正処理を行う(ステップS224)。なお、図10では、制御部21はシェーディング補正、ホワイトバランス補正の順に補正処理を行ったが、これに限るものではない。例えば、制御部21はホワイトバランス補正、シェーディング補正の順に補正処理を行っても良い。
[0061]
 制御部21は、ホワイトバランス補正後の撮影画像の全画素が等間隔になるよう幾何学歪み補正処理を行う(ステップS225)。制御部21は、幾何学歪み補正後の撮影画像の周辺部と中心部それぞれのノイズの標準偏差を算出し、周辺部のノイズの標準偏差が中心部のノイズの標準偏差より大きい場合、平滑化フィルタまたはメディアンフィルタ等をかけてノイズ均一化補正処理を行う(ステップS226)。その後、制御部21は処理を終了する。
[0062]
 本実施形態によると、内視鏡1から取り込まれた撮影画像に対して第1補正処理を行うことにより、医師による観察に適した内視鏡画像を生成することが可能となる。
[0063]
 本実施形態によると、内視鏡1から取り込まれた撮影画像に対して第2補正処理を行うことにより、補正後の撮影画像を学習済みの画像認識モデルに入力した場合に画像認識の精度を向上するため、正確性の高い画像認識結果を出力することが可能となる。
[0064]
 本実施形態によると、最適化の観察用の撮影画像と共に、学習済みの画像認識モデルを用いた精度が高い画像認識結果とを重畳して出力することにより、医師の内視鏡診断を支援することが可能となる。
[0065]
 (実施形態2)
 実施形態2は、複数の学習済みの画像認識モデルから、使用する学習済みの画像認識モデルの選択を受け付ける形態に関する。なお、実施形態1と重複する内容については説明を省略する。
[0066]
 図11は、実施形態2のプロセッサ2の構成例を示すブロック図である。なお、図5と重複する内容については同一の符号を付して説明を省略する。本実施形態では、画像認識モデル272は、ポリープ抽出モデル2721、及び潰瘍抽出モデル2722の例を説明する。なお、画像認識モデル272の種類、数量は特に限定されない。また、プロセッサ2は、図示しない外部情報処理装置から画像認識モデル272をダウンロードして大容量記憶部27に記憶する。プロセッサ2は、外部の情報処理装置に記憶された多数の画像認識モデル272から、ユーザにより選択された画像認識モデル272をダウンロードしても良い。ポリープ抽出モデル2721は、大腸内のポリープを抽出する抽出器であり、機械学習により生成された学習済みモデルである。潰瘍抽出モデル2722は、潰瘍を抽出する抽出器であり、機械学習により生成された学習済みモデルである。
[0067]
 図12は、学習済みの画像認識モデルの選択を受け付ける画面の例を示す。プロセッサ2の制御部21は、複数の学習済みの選択可能な画像認識モデルの名称を表示装置3に出力する。図示のように、「画像認識モデル不使用」、「ポリープ抽出モデル」及び「潰瘍抽出モデル」をそれぞれ選択するボタンが表示されている。
[0068]
 制御部21は、操作入力部23により「画像認識モデル不使用」の選択を受け付けた場合、制御部21は、内視鏡1から取り込まれた撮影画像に対して第1補正処理のみを行い、第1補正処理により補正した撮影画像に基づく内視鏡画像を表示装置3に出力する。
[0069]
 制御部21は、操作入力部23により「ポリープ抽出モデル」または「潰瘍抽出モデル」の選択を受け付けた場合、制御部21は、内視鏡1から取り込まれた撮影画像に対してそれぞれの第1補正処理、第2補正処理を行う。「ポリープ抽出モデル」は、内視鏡1から取り込まれた撮影画像をポリープ抽出モデル2721に入力した場合に、画像を認識した認識結果を出力する処理を受け付ける選択モードである。「潰瘍抽出モデル」は、内視鏡1から取り込まれた撮影画像を潰瘍抽出モデル2722に入力した場合に、画像を認識した認識結果を出力する処理を受け付ける選択モードである。
[0070]
 例えば、制御部21は、操作入力部23により「ポリープ抽出モデル」の選択を受け付けた場合、制御部21は、第2補正処理で補正した撮影画像をポリープ抽出モデル2721に入力し、ポリープ抽出モデル2721を用いて撮影画像を認識した認識結果を出力する。制御部21は、内視鏡画像と、ポリープ抽出モデル2721を用いた認識結果とを重畳して表示用の画像を生成する。制御部21は、生成した表示用の画像を表示装置3に出力する。
[0071]
 図13は、学習済みの画像認識モデルの選択を受け付ける際の処理手順を示すフローチャートである。なお、図8と重複する内容については同一の符号を付して説明を省略する。プロセッサ2の制御部21は、操作入力部23により医師からの選択を受け付ける(ステップS231)。制御部21は、受け付けた選択によって、学習済みの画像認識モデルを使用したか否かを判定する(ステップS232)。制御部21は、学習済みの画像認識モデルを使用したと判定した場合(ステップS232でYES)、制御部21は、ユーザの選択に応じて、大容量記憶部27から選択した学習済みの画像認識モデルを取得し(ステップS233)、ステップS201を実行する。
[0072]
 制御部21は、学習済みの画像認識モデルを使用していないと判定した場合(ステップS232でNO)、制御部21は、内視鏡1から取り込まれた撮影画像を取得する(ステップS234)。制御部21は、大容量記憶部27の補正DB271から、各種の補正処理を行うための補正データ(係数)を取得する(ステップS235)。制御部21は、取得した撮影画像に対して第1補正処理を行い(ステップS236)、第1補正処理で補正した撮影画像に基づく内視鏡画像を表示装置3に出力する(ステップS237)。制御部21は、処理を終了する。
[0073]
 本実施形態によると、複数の学習済みの画像認識モデルから、医師が使用する学習済みの画像認識モデルを選択することが可能となる。
[0074]
 本実施形態によると、画像認識モデルの使用モードと、画像認識モデルの不使用モードとを自由に切り替えることが可能となる。
[0075]
 (実施形態3)
 図14は、上述した形態のプロセッサ2の動作を示す機能ブロック図である。制御部21が制御プログラム2Pを実行することにより、プロセッサ2は以下のように動作する。
[0076]
 画像取得部20aは、内視鏡1から撮影画像を取得する。第1補正部20bは、画像取得部20aが取得した撮影画像を第1補正処理で補正する。第2補正部20cは、画像取得部20aが取得した撮影画像を第2補正処理で補正する。出力部20dは、第1補正部20bが補正した撮像画像に基づく内視鏡画像と、第2補正部20cが補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、画像を認識した認識結果とを出力する。
[0077]
 取得部20eは、第2補正部20cが撮影画像を幾何学歪み補正処理で補正した後に、周縁部を除去し、基準矩形の領域を取得する。第2の取得部20fは、第2補正部20cが撮影画像を幾何学歪み補正処理で補正した後に、補正後の撮影画像の各辺に沿って、画素を補完して基準矩形の領域を取得する。受付部20gは、複数の学習済みの画像認識モデルから、使用する学習済みの画像認識モデルの選択を受け付ける。
[0078]
 本実施の形態3は以上の如きであり、その他は実施の形態1から2と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
[0079]
 今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

符号の説明

[0080]
 1    内視鏡
 11   撮像素子
 12   処置具挿入チャネル
 13   操作部
 14   コネクタ
 2    内視鏡用プロセッサ(プロセッサ)
 21   制御部
 22   記憶部
 23   操作入力部
 24   出力部
 25   光源制御部
 26   読取部
 27   大容量記憶部
 271  補正DB
 272  画像認識モデル
 72a  領域候補抽出部
 72b  分類部
 2721 ポリープ抽出モデル
 2722 潰瘍抽出モデル
 28   光源
 2a   可搬型記憶媒体
 2b   半導体メモリ
 2P   制御プログラム
 3    表示装置
 20a  画像取得部
 20b  第1補正部
 20c  第2補正部
 20d  出力部
 20e  取得部
 20f  第2の取得部
 20g  受付部

請求の範囲

[請求項1]
 内視鏡から撮影画像を取得する画像取得部と、
 前記画像取得部が取得した撮影画像を補正する第1補正部と、
 前記画像取得部が取得した撮影画像を補正する第2補正部と、
 前記第1補正部が補正した撮影画像に基づく内視鏡画像と、前記第2補正部が補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果とを出力する出力部と
 を備える内視鏡用プロセッサ。
[請求項2]
 前記出力部は、前記内視鏡画像に前記認識結果を重ねて出力する
 請求項1に記載の内視鏡用プロセッサ。
[請求項3]
 前記第2補正部は、前記撮影画像に対して、基本補正処理、幾何学歪み補正処理、ノイズ均一化補正処理若しくはノイズ低減処理の順に補正処理を行い、
 または、前記基本補正処理、前記幾何学歪み補正処理、前記ノイズ均一化補正処理若しくは前記ノイズ低減処理から選択された一部の処理をこの順で行う
 請求項1または請求項2に記載の内視鏡用プロセッサ。
[請求項4]
 前記基本補正処理は、オフセット補正処理、ゲイン補正処理、シェーディング補正処理またはホワイトバランス補正処理を含み、
 ゲイン補正処理及びシェーディング補正処理を含む場合、ゲイン補正処理をシェーディング補正処理より先に行い、
 ゲイン補正処理及びホワイトバランス補正処理を含む場合、ゲイン補正処理をホワイトバランス補正処理より先に行う
 請求項3に記載の内視鏡用プロセッサ。
[請求項5]
 前記ノイズ均一化補正処理は、前記撮影画像の周辺部と中心部とでノイズの標準偏差を同等にし、
 前記ノイズ低減処理は、前記撮影画像で全体的にノイズを低減する
 請求項3または請求項4に記載の内視鏡用プロセッサ。
[請求項6]
 前記第2補正部が前記撮影画像を幾何学歪み補正処理で補正した後に、周縁部を除去した基準矩形の領域を取得する取得部を有し、
 前記出力部が、前記取得部が取得した前記基準矩形の領域を出力する
 請求項3から請求項5のいずれか一つに記載の内視鏡用プロセッサ。
[請求項7]
 前記第2補正部が前記撮影画像を幾何学歪み補正処理で補正した後に、補正後の撮影画像の各辺に沿って、画素を補完した基準矩形の領域を取得する第2の取得部を有し、
 前記出力部が、前記第2の取得部が取得した前記基準矩形の領域を出力する
 請求項3から請求項5のいずれか一つに記載の内視鏡用プロセッサ。
[請求項8]
 複数の前記学習済みの画像認識モデルから、使用する学習済みの画像認識モデルの選択を受け付ける受付部を有し、
 前記受付部が前記画像認識モデルの選択を受け付けた場合、前記第2補正部が補正した撮影画像を、選択を受け付けた前記画像認識モデルに入力する
 請求項1から請求項7のいずれか一つに記載の内視鏡用プロセッサ。
[請求項9]
 内視鏡から撮影画像を取得する画像取得部と、
 前記画像取得部が取得した撮影画像を補正する第1補正部と、
 前記画像取得部が取得した撮影画像を補正する第2補正部と、
 前記第1補正部が補正した撮影画像に基づく内視鏡画像と、前記第2補正部が補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果とを出力する出力部と
 を備える情報処理装置。
[請求項10]
 内視鏡用プロセッサと、前記内視鏡用プロセッサに接続される内視鏡とを備える内視鏡システムにおいて、
 前記内視鏡用プロセッサは、
 内視鏡から撮影画像を取得する画像取得部と、
 前記画像取得部が取得した撮影画像を補正する第1補正部と、
 前記画像取得部が取得した撮影画像を補正する第2補正部と、
 前記第1補正部が補正した撮影画像に基づく内視鏡画像と、前記第2補正部が補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果とを出力する出力部とを有する
 内視鏡システム。
[請求項11]
 内視鏡から撮影画像を取得し、
 取得した撮影画像を第1補正処理により補正し、
 取得した撮影画像を第2補正処理により補正し、
 前記第1補正処理により補正した撮影画像に基づく内視鏡画像と、前記第2補正処理により補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果とを出力する
 処理をコンピュータに実行させるプログラム。
[請求項12]
 内視鏡から撮影画像を取得し、
 取得した撮影画像を第1補正処理により補正し、
 取得した撮影画像を第2補正処理により補正し、
 前記第1補正処理により補正した撮影画像に基づく内視鏡画像と、前記第2補正処理により補正した撮影画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果とを出力する
 情報処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]