Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018225448) DISEASE DIAGNOSIS SUPPORT METHOD, DIAGNOSIS SUPPORT SYSTEM AND DIAGNOSIS SUPPORT PROGRAM EMPLOYING ENDOSCOPIC IMAGE OF DIGESTIVE ORGAN, AND COMPUTER-READABLE RECORDING MEDIUM HAVING SAID DIAGNOSIS SUPPORT PROGRAM STORED THEREON
Document

明 細 書

発明の名称 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013  

先行技術文献

特許文献

0014  

非特許文献

0015  

発明の概要

発明が解決しようとする課題

0016   0017   0018  

課題を解決するための手段

0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076  

発明の効果

0077  

図面の簡単な説明

0078  

発明を実施するための形態

0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212  

符号の説明

0213  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26  

明 細 書

発明の名称 : 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

技術分野

[0001]
 本発明は、ニューラルネットワーク(neural network)を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。

背景技術

[0002]
 消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われているところ、上部消化器官の内視鏡検査は胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。
[0003]
 胃癌は、最も一般的な悪性腫瘍の1つであり、数年前には世界中で約100万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ(Helicobacter pylori、以下、「H.ピロリ」ということがある。)感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの98%はH.ピロリが寄与していると考えられている。H.ピロリに感染した患者の胃癌の危険性が高まり、H.ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関(International Agency for Research on Cancer)は、H.ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはH.ピロリの除菌が有用で、抗菌薬による除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。
[0004]
 H.ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合(RAC(regular arrangement of collecting venules))や胃底腺ポリープはH.ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、H.ピロリ感染胃炎の代表的な所見である。H.ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗H.ピロリIgGレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はH.ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にH.ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。
[0005]
 また、特に先進工業国では潰瘍性大腸炎(UC)の罹患率が着実に増加しており、欧米の食生活や環境が潰瘍性大腸炎の原因の1つであることが示唆されている。潰瘍性大腸炎の治療のためには、メサラジン、コルチコステロイド、及び抗腫瘍壊死因子モノクローナル抗体を含むいくつかの選択肢があり、患者の臨床症状及び疾患活動指数に従ってこれらの薬物を使用し、疾患活性を寛解状態に保つことが重要である。
[0006]
 臨床症状のスコア以外にも、潰瘍性大腸炎患者の大腸内視鏡検査を用いてその程度及び重症度を主に評価し、以前の研究では内視鏡疾患活動の測定との組み合わせが報告されている。その中でも、Mayo内視鏡スコアは、潰瘍性大腸炎患者の疾患活動性を評価するための臨床実践において最も信頼性が高く、広く使用されている指標の1つである。具体的には、Mayo内視鏡スコアは、0:正常又は被活動性、1:軽症(発赤、血管透未像不明瞭、軽度の易出血性)、2:中等症(著明発赤、血管透見像消失、易出血性、びらん)、3:重傷(自然出血、潰瘍)の4つに分類される。
[0007]
 Mayo内視鏡スコア<1と定義され、「粘膜治癒」と呼ばれる内視鏡的寛解状態は、コルチコステロイド使用率、入院率、臨床再発率及び結腸切除率の低下と相関することが示されている。しかし、これまでの報告では、非専門家では0.45~0.53の範囲のκ-係数で、疾患活動性の評価にかなりの観察者間の差があり、適度の訓練を受けた専門家でさえも0.71~0.74の範囲の一致度となっている。なお、κ-係数は、観察者間の診断の一致度を評価するパラメータであり、0~1の値をとり、値が大きいほど一致度が高いと判断される。
[0008]
 このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は1人あたり1時間で約2800枚と膨大なものとなっており、現場の大きな負担となっている。
[0009]
 しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。
[0010]
 上記の内視鏡検査の労務負荷と精度低下の改善のためには、AI(人工知能:artificial intelligence)の活用が期待されている。近年の画像認識能力が人間を上回ったAIを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング(深層学習)を用いたAIが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症などの医学画像を専門医に替わってスクリーニングできるとの報告がある。
[0011]
 特に、顕微内視鏡レベルのスクリーニングにおいては、AIが専門医と同等の精度を出せることが証明されている(非特許文献1)。また、皮膚科では、ディープラーニング機能を持ったAIが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献2)、各種機械学習法を利用した特許文献(特許文献1、2参照)も存在する。しかし、AIの内視鏡画像診断能力が実際の医療現場において役立つ精度(正確性)と性能(スピード)を満たせるかどうかについては、検証されておらず、機械学習法を利用した内視鏡画像に基づく診断は、未だに実用化されていない。
[0012]
 ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。
[0013]
 医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。

先行技術文献

特許文献

[0014]
特許文献1 : 特開2017-045341号公報
特許文献2 : 特開2017-067489号公報
特許文献3 : 特開2013-113689号公報

非特許文献

[0015]
非特許文献1 : http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA
非特許文献2 : 「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する:人工知能が画像から皮膚がんを検出する能力を強化する」(http://www.natureasia.com/ja-jp/nature/highlights/82762)
非特許文献3 : http://gentaikyo.or.jp/about/pdf/report/131119.pdf
非特許文献4 : Kumagai Y, Monma K, Kawada K. "Magnifying chromoendoscopy of the esophagus: in-vivo pathological diagnosis using an endocytoscopy system.", Endoscopy ,2004, vol.36, p590-4.
非特許文献5 : Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8

発明の概要

発明が解決しようとする課題

[0016]
 消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持したうえの効率化が大きな課題になっている。また、この分野の画像解析にAIを活用しようとしたときには、そのAI技術の向上が大きな課題となっている。さらに、発明者らが知る限り、H.ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患、特に超拡大内視鏡(Endocytoscopy:ECS)画像を用いた食道疾患を診断するためのニューラルネットワークの能力に関する報告や、ニューラルネットワークによるディープラーニング介してこれらの消化管内視鏡画像の解析に基づくH.ピロリ感染胃炎検査、潰瘍性大腸炎の検査ないし食道疾患の検査に最適化されて医療現場に実装化されて利用されている例はなく、今後の解決すべき課題となっている。
[0017]
 また、上部内視鏡検査においては、胃だけでなく、喉頭、咽頭、食道、十二指腸等の複数の臓器の画像が混在しているが、特に胃癌内視鏡検診においては収集された画像をAIにより臓器別ないし部位別に仕分けることができれば、内視鏡専門医による所見記入や二次読影の負担軽減につながると考えられる。
[0018]
 本発明は、消化器官の内視鏡画像を用い、ニューラルネットワークを用いることによって、疾患、例えばH.ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患等の診断を正確に行うことができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

課題を解決するための手段

[0019]
 本発明の第1の態様の消化器官の内視鏡画像による疾患の診断支援方法は、
 ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
 消化器官の第1の内視鏡画像と、
 前記第1の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
 前記訓練されたニューラルネットワークは、消化器官の第2の内視鏡画像に基いて、当該消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを出力することを特徴とする。
[0020]
 かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか1つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを自動診断することができるため、内視鏡専門医によるチェック/修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
[0021]
 また、本発明の第2の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第1の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法システムにおいて、前記第1の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする。
[0022]
 第2の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、全ての第1の内視鏡画像のコントラストが実質的に同一の階調となるように調整されているため、疾患の陽性及び陰性のそれぞれの確率ないし重症度のレベルの検出精度が向上する。
[0023]
 また、本発明の第3の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第1又は第2の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第1の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
[0024]
 訓練されていないニューラルネットワークでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第3の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ニューラルネットワークに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第2内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
[0025]
 また、本発明の第4の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第3の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも1つを含むことを特徴とする。
[0026]
 第4の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、咽頭、食道、胃及び十二指腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
[0027]
 また、本発明の第5の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第3又は第4の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位は、前記複数の消化器官の少なくとも1つにおいて複数箇所に区分されていることを特徴とする。
[0028]
 消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。
第5の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。
[0029]
 また、本発明の第6の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第5の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも1つを含むことを特徴とする。また、本発明の第7の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第5の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも1つを含むことを特徴とする。
[0030]
 本発明の第6又は第7の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、胃の各区分ないし部位毎の分類が正確にできるので、それぞれの区分ないし部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。なお、胃の区分ないし部位の選択は、必要に応じて適宜に選択すればよい。
[0031]
 また、本発明の第8の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第3~第7のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記撮像された部位における前記第1の内視鏡画像の数が他の部位に比して少ない場合、前記第1の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも1つを使用することによって、全ての部位における前記第1の内視鏡画像の数が実質的に等しくなるようにされていることを特徴とする。
[0032]
 複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像の数が部位毎に大きく異なる場合がある。第8の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、そのような場合においても、その部位の第1の内視鏡画像を適宜に回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも1つを使用することによってニューラルネットワークを訓練するための画像数を増やすことができるので、部位の相違に基づく疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度のばらつきが減少する。なお、第8の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法においては、各部位毎の内視鏡画像の数が必ずしも同一となるようにする必要はなく、数のばらつきが少なくなればよい。
[0033]
 また、本発明の第9の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第3~第8のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたニューラルネットワークは、前記第2の内視鏡画像が撮像された部位に対応する情報が出力可能とされていることを特徴とする。
[0034]
 通常、一人の被検者に対して多くの消化器官の内視鏡画像ないし連続撮影画像が得られる。第9の態様の係る態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第2の内視鏡画像毎に疾患の陽性及び陰性のそれぞれの確率と部位名とが出力されるので、疾患の陽性部位や分布を理解しやすくなる。
[0035]
 また、本発明の第10の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第9の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたニューラルネットワークは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。
[0036]
 第10の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、疾患の陽性の確率ないし重症度の高い順に当該確率ないし重症度及び部位名が出力されるので、精密に検査しなければならない部位が理解しやすくなる。
[0037]
 また、本発明の第11の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第1~第10のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第1の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも1つを含むことを特徴とする。
[0038]
 第11の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者のヘリコバクター・ピロリ感染の陽性又は陰性のそれぞれの確率ないしヘリコバクター・ピロリ除菌の有無を予測することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗H.ピロリIgGレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。
[0039]
 また、本発明の第12の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第1~第10のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第1の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。
[0040]
 第12の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者の潰瘍性大腸炎の重症度を予測することができるので、別途さらなる精密検査を行わなければならない被験者を短時間で正確に選別することができるようになる。
[0041]
 また、本発明の第13の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、1~第10のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第1の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを区分して出力することを特徴とする。
[0042]
 第13の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、超拡大内視鏡による食道内視鏡画像に基づいて非癌性の病変を癌性であるとする過剰診断を最小限に押さえることができるので、組織生検を行う必要がある被験者の数を減らすことができるようになる。
[0043]
 また、本発明の第14の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第1~第13のいずれか態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第2の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも1つであることを特徴とする。
[0044]
 第14の態様の消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第2の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第2の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。
[0045]
 なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のIEEE1394シリアルバス、USB、電力線搬送、ケーブルTV回線、電話線回線、ADSL回線等の有線、赤外線、Bluetooth(登録商標)、IEEE802.11等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。
[0046]
 また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク、ハードディスク等の磁気ディスク、コンパクトディスク-ROM/MO/MD/デジタルビデオデイスク/コンパクトディスク-R等の光ディスクを含むディスク系、ICカード、メモリカード、光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。
[0047]
 また、本発明の第15の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第1~第14のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記ニューラルネットワークとして畳み込みニューラルネットワーク用いることを特徴とする。
[0048]
 ニューラルネットワークとしての畳み込みニューラルネットワークは、脳の視覚野の特性をシミュレーションした数理モデルであり、画像に対する学習能力が非常に優れている。そのため、第15の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、より高感度で、より高特異度となるので、有用性が非常に大きくなる。
[0049]
 さらに、本発明の第16の態様の消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第1の内視鏡画像を記憶する第1の記憶領域と、前記第1の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果を記憶する第2の記憶領域と、前記ニューラルネットワークプログラムを記憶する第3の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第1の記憶領域に記憶されている前記第1の内視鏡画像と、前記第2の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第2の内視鏡画像に基いて、前記第2の内視鏡画像に対する消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを前記出力部に出力することを特徴とする。
[0050]
 また、本発明の第17の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練/検証データは、コントラストの調整が行なわれていることを特徴とする。
[0051]
 また、本発明の第18の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16又は第17の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第1の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
[0052]
 また、本発明の第19の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第18の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも1つを含むことを特徴とする。
[0053]
 また、本発明の第20の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第18又は第19の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、前記複数の消化器官の少なくとも1つにおいて複数箇所に区分されていることを特徴とする。
[0054]
 また、本発明の第21の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第20の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも1つを含むことを特徴とする。
[0055]
 また、本発明の第22の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第20の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも1つを含むことを特徴とする。
[0056]
 また、本発明の第23の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16~第22のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記撮像された部位における前記第1の内視鏡画像の数が他の部位に比して少ない場合には、前記第1の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも1つを使用することによって、全ての部位における訓練/検証データの数が実質的に等しくなるようにされていることを特徴とする。
[0057]
 また、本発明の第24の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16~第23のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記第2の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする。
[0058]
 また、本発明の第25の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第24の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。
[0059]
 また、本発明の第26の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16~第25のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第1の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも1つを含むことを特徴とする。
[0060]
 また、本発明の第27の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16~第25のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第1の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。
[0061]
 また、本発明の第28の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16~第25のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第1の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを区分して出力することを特徴とする。
[0062]
 また、本発明の第29の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第16~第28のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第2の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも1つであることを特徴とする
[0063]
 また、本発明の第30の態様の内視鏡画像による疾患の診断支援システムは、第16~第29のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする。
[0064]
 本発明の第16~第30のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第1~第15のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
[0065]
 さらに、本発明の第31の態様の消化器官の内視鏡画像による診断支援プログラムは、第16~第30のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
[0066]
 本発明の第31の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第16~第30のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。
[0067]
 また、本発明の第32の態様の消化器官の内視鏡画像による診断支援プログラムは、第31の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。
[0068]
 本発明の第32の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第31の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
[0069]
 さらに、本発明の第33の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法は、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、消化器官の第1の内視鏡画像と、前記第1の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練し、前記訓練されたニューラルネットワークは、消化器官の第2の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力することを特徴とする。
[0070]
 本発明の第33の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法によれば、ニューラルネットワークが消化器官の第1の内視鏡画像と、前記第1の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の撮像された部位に対応する情報を得ることができ、診断対象の消化器官の部位を短時間で判別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する撮像された部位に対応する情報を自動判別することができるため、内視鏡専門医によるチェック等が容易になるだけでなく、疾患と関連づけられた画像を解析する作業の省略化も図ることができる。
[0071]
 また、本発明の第34の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、前記コンピュータは、消化器官の第1の内視鏡画像を記憶する第1の記憶領域と、前記第1の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第2の記憶領域と、前記ニューラルネットワークプログラムを記憶する第3の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第1の記憶領域に記憶されている前記第1の内視鏡画像と、前記第2の記憶領域に記憶されている確定情報とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第2の内視鏡画像に基いて、前記第2の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする。
[0072]
 本発明の第34の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムによれば、第33の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法と同様の効果を奏することができる。
[0073]
 また、本発明の第35の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムは、第34の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
[0074]
 本発明の第35の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムによれば、第34の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による消化器官の部位の判別プログラムを提供することができる。
[0075]
 また、本発明の第36の態様のコンピュータ読み取り可能な記録媒体は、第35の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする。
[0076]
 本発明の第36の態様のコンピュータ読み取り可能な記録媒体によれば、第35の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

発明の効果

[0077]
 以上述べたように、本発明によれば、ニューラルネットワークを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する情報等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。

図面の簡単な説明

[0078]
[図1] 図1AはH.ピロリ感染の陽性の場合の胃内視鏡画像例であり、図1BはH.ピロリ感染の陰性の場合の胃内視鏡画像例である。
[図2] テストデータセットのために患者の選別を示す図である。
[図3] GoogLeNetの動作を示す模式概念図である。
[図4] 1回目の学習結果を表すROC曲線及び内視鏡検査医のH.ピロリ感染診断結果を示す図である。
[図5] 2回目の実施結果を表すROC曲線及び内視鏡検査医のH.ピロリ感染診断結果を示す図である。
[図6] 日本国のガイドラインに基づく胃の主要な解剖学的分類及び準解剖学的分類を示す図である。
[図7] 実施形態2のCNNシステムのフローチャートの概略図である。
[図8] 図8Aは実施形態2のCNNシステムによる喉頭の画像のROC曲線であり、図8Bは同じく食道の画像のROC曲線であり、図8Cは同じく胃の画像のROC曲線であり、図8Dは同じく十二指腸の画像のROC曲線である。
[図9] 図9Aは実施形態2のCNNシステムによる上部胃の画像のROC曲線であり、図9Bは同じく中部胃の画像のROC曲線であり、図9Cは同じく下部胃の画像のROC曲線である。
[図10] 図10Aは下部胃と誤分類された十二指腸の画像であり、図10Bは正しく分類された下部胃の画像である。
[図11] 図11Aは下部胃と誤分類された食道の画像であり、図11Bは正しく下部胃と分類された下部胃の画像である。
[図12] 図12Aは中部胃と誤分類された十二指腸の画像であり、12Bは正しく分類された上部胃の画像である。
[図13] 図13Aは食道と誤分類された咽頭の画像であり、図13Bは正しく分類された食道の画像である。
[図14] 典型的なMayo0~Mayo3に分類される大腸内視鏡画像である。
[図15] 実施形態3のCNNベースの診断システムの概要図である。
[図16] 実施形態3のCNNの代表的な画像と3区分のMayo分類の例を示す図である。
[図17] 実施形態3の2区分のMayo分類におけるROC曲線である。
[図18] 実施形態4の低倍率画像(a~e)及び高倍率画像(f~j)の例である。
[図19] 実施形態4でType1(図19a)、Type2(図19b)、Type3(図19c)に、それぞれ分類された画像の例である。
[図20] 図20Aは実施形態4の全画像のROC曲線であり、図20Bは同じくHMPの場合のROC曲線であり、図20Cは同じくLMPの場合のROC曲線である。
[図21] 実施形態4のCNNが非悪性であると誤診した例の画像であり、図21Aは通常内視鏡画像、図21Bは同じく超拡大内視鏡画像、図21Cは同じく病理組織検査画像である。
[図22] 内視鏡専門医が悪性であると誤診した例の画像であり、図22Aは通常内視鏡画像、図22Bは同じく超拡大内視鏡画像、図22Cは同じく病理組織検査画像である。
[図23] 実施形態5のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。
[図24] 実施形態6のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
[図25] 実施形態7のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法のブロック図である。
[図26] 実施形態8のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。

発明を実施するための形態

[0079]
 以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、最初にH.ピロリ感染胃炎の場合及び臓器別分類を例にとり、次いで潰瘍性大腸炎及び食道疾患の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は、消化器官の内視鏡画像によって特定され得る疾患一般に及ぶものであり、特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画が含まれ得る。
[0080]
 最初に、表1に示した四分表を用いて、一般的な検査の精度、感度及び特異度について簡単に説明する。一般に検査値は連続量であるから、カットオフ値(閾値)を決めて、それより高い値の場合を陽性、それよりも低い場合を陰性と判断していく(逆の場合もある)。
[0081]
[表1]


[0082]
 表1に示したように、患者の疾患の有無及び検査結果が陽性であるか陰性であるかに応じてa~dの4つの領域に分類される。なお、患者が疾患有の場合は有病者(有)に分類され、疾患無しの場合は無病者(無)に分類される。aの領域は、患者が疾患を有しており、検査結果が陽性の場合であり、真陽性の領域である。bの領域は、患者が疾患を有していないが、検査結果が陽性の場合であり、偽陽性の領域である。cの領域は、患者が疾患を有しているが、検査結果が陰性の場合であり、偽陰性の領域である。同じくdの領域は、患者が疾患を有しておらず、検査結果が陰性の場合であり、真陰性の場合である。
[0083]
 一方、感度は、有病者において検査結果が陽性となる確率(有病正診率)であり、a/(a+c)で表される。特異度は、無病者において検査結果が陰性となる確率(無病正診率)であり、d/(b+d)で表される。なお、偽陽性率は、無病者において検査結果が陽性となる確率(無病誤診率)であり、b/(b+d)で表される。また、偽陰性率は、有病者において検査結果が陰性となる確率(有病誤診率)であり、c/(a+c)で表される。
[0084]
 さらに、カットオフ値を変更しながらその都度感度と特異度を算出し、縦軸を感度とし、横軸を偽陽性率(=1-特異度)としてプロットすると、ROC曲線(Receiver Operating Characteristic:受信者動作特性曲線)が得られる(図4及び図5参照)。
[0085]
[実施形態1]
 実施形態1では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、H.ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ33人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道、胃、十二指腸鏡検査(以下、「EGD」という。)を行った。EGDの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関する、プライマリケア医からの紹介であった。全ての内視鏡医は、異常がなくても、喉頭、食道、胃、及び十二指腸の全体像を撮影するよう指示された。胃腸疾患のない患者の典型的な画像数は34(喉頭1、食道6、胃25、十二指腸2)であった。
[0086]
 標準的な内視鏡(EVIS GIF-XP290N、GIF-XP260、GIF-XP260NS、GIF-N260等、オリンパスメディカルシステムズ社、東京)で白色光を用いて画像を撮影し、EGDを行った。得られた画像は通常の倍率の画像で有り、拡大された画像は使用していない。図1に、得られた典型的な胃部内視鏡画像を示す。なお、図1AはH.ピロリ感染陽性と診断された画像の例であり、図1BはH.ピロリ感染陰性と診断された画像の例である。
[0087]
 全ての患者は、H.ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗H.ピロリIgGレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、H.ピロリ感染陽性と分類された。H.ピロリ感染陽性と診断されなかった患者において、H.ピロリ除菌治療を受けた経験がなかった者はH.ピロリ陰性と分類された。また、過去にH.ピロリ除菌治療を受け、既に除菌に成功した患者は測定対象から除外された。
[0088]
[データセットについて]
 2014年1月~2016年12月にかけて行われた1768例のEGDの画像を遡及的にレビューすることにより、AIベースの診断システムの訓練及び構築に使用するデータ(「訓練/検証用データ」という。)のセットを用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練/検証用データセットから除外した。H.ピロリ感染陽性又はH.ピロリ感染陰性と診断された胃の画像から、胃の食物残渣、生検後の出血、ハレーション又はその他の理由により、内視鏡専門医によって除外された画像もあった。また、評価対象となる内視鏡画像データ(「テストデータ」という。)のセットも用意した。なお、この「訓練/検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第2の内視鏡画像」に対応する。これらの患者の人口統計学的特徴及び画像の特徴を表2に示した。
[0089]
[表2]


[0090]
 表2に示したように、H.ピロリ陽性と判定された753人の患者及び陰性と分類された1,015人の患者からの画像を用いて、32,208枚の訓練/検証用データセットを作成した。このデータセットは、全ての画像のRGBの各信号について、同じ比率でコントラスト調整を行っている。RGBの各色は、それぞれ8ビット、すなわち0~255までの範囲の値を取るが、RGBの全色が255,255,255となる点(白色)が必ず1点は存在するようにコントラスト調整を行った。通常、内視鏡画像の画質は、良好であるので、実際にはコントラスト調整を行わない場合も多かった。また、内視鏡の画面には黒い枠が入っているが、自動でトリミングして拡大・縮小を行い、全ての画像が同一のサイズとなるようにした。
[0091]
 分類としては、複数の消化器官のそれぞれにおいて複数箇所に区分されていてもよいが、ここでは胃についてのみ位置に応じて複数箇所に分類された画像を得るとともに、その他の部位についてはそのまま区分せずに用いた。さらに、男女別、年齢別等の属性に分けて入力することによって、属性別の診断を行うことも可能である。
[0092]
 全ての分類について均等な数のデータが得られれば理想的であるが、データ数が少ない分類については、0度から359度の間で無作為に回転し、ツールによって適宜拡大又は縮小することによってデータを増やした。その結果として、32,208枚の訓練/検証用のオリジナルの内視鏡画像を得た。
[0093]
 まず、分類データを含まない全ての画像を組み合わせて用いることにより、第1回目のニューラルネットワークの構築を行った。次に、上述のように複数に分類された画像を用いて第2回目のニューラルネットワークの構築を行った。なお、これらのニューラルネットワークの構築は、繰り返し処理が多いので、並列処理により高速化したコンピュータを用いた。
[0094]
[テストデータの準備]
 上述した訓練/検証用データセットを用いて構築された実施形態1のニューラルネットワークと内視鏡検査医との診断精度を評価するために、テストデータセットを準備した。発明者の一人が属する医院において、2017年1月~2月の内視鏡検査を行った587人の患者の画像データのうち、H.ピロリ除菌後の166人の患者の画像データ、H.ピロリ感染状態が不明の23人の患者の画像データ及び胃切除後の1人の患者の画像データを除外した(図2参照)。結果として、H.ピロリ感染陽性ないし陰性と判断された残りの397人の患者の画像データをテストデータとして用いた。
[0095]
 テストデータセットにおいて、72人(43%)は糞便抗原検査で診断され、87人(21%)は尿中抗H.ピロリIgGレベルに基いて診断されている。テストデータセットは、合計397人の患者からの合計11,481枚の画像を含んでいる。このうち、72人はH.ピロリ感染陽性と診断され、325人はH.ピロリ感染陰性と診断されている。テストデータセットと訓練/検証用データセットとの間に重複はない。
[0096]
[訓練・アルゴリズム]
 AIベースの診断システムを構築するため、ディープラーニングニューラルネットワークの開発基盤としてCaffeフレームワークを利用し、畳み込みニューラルネットワーク(CNN)アーキテクチャとして22層からなるGoogLeNetを使用した。
[0097]
 本実施形態1で用いたCNNは、図3に示したように、バックプロパゲーション(Backpropagation:誤差逆伝播法)を用いて訓練されている。CNNの各層は、パラメータ最適化手法の一つであるAdam(https://arxiv.org/abs/1412.6980)を使用して、グローバル学習率0.0001で調整されている。
[0098]
 全ての画像をGoogLeNetと互換性を持たせるために、各画像を244×244ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet(http://www.image-net.org/)は、2017年当初で1,400万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。
[0099]
[評価アルゴリズム]
 訓練されたニューラルネットワークは、入力された画像に対してのH.ピロリ感染陽性又は陰性の診断結果として、0から1の間の確率値(PS)を出力する。ROC曲線は、陽性と陰性を識別するための閾値を変更することによって、この確率値をプロットしたものである。
[0100]
[CNN及び内視鏡検査医との間のテストデータセットのパーフォマンス比較]
 テストデータセットに対し、CNNとEGDの経験豊富な23人の内視鏡検査医とは、それぞれ各患者の内視鏡画像に基づき、各患者をH.ピロリ感染陽性又は陰性と分類した。また、H.ピロリ感染診断の正確さと評価に必要な時間を測定し、それらをCNNと内視鏡専門医との間で比較した。
[0101]
 23人の内視鏡検査医のうち、6人は、日本消化器内視鏡学会の専門医である。残りの17人は、EGD経験が1000人以上(n=9)及び1000人未満(n=8)であり、前者を「経験医」及び後者を「研修中医師」に分類した。CNNの診断精度表示用のROC曲線は、Rソフトウェア(統計分析フリーソフト)を用いて記述された。CNNの診断精度表示用のROC曲線は、Rソフトウェア(統計分析フリーソフト)を用いて記述された。これらの画像に表示された全ての患者の情報は、データ解析に先立って匿名の目的で識別できないようにし、この評価に関与する全ての内視鏡検査医は、識別可能な患者の情報にアクセスできないようにした。この研究は、日本医師会倫理審査委員会の承認を受けて行った(ID JMA-IIA00283)。
[0102]
[内視鏡検査医の結果]
 H.ピロリ感染の診断についてのそれぞれの内視鏡検査医の感度、特異度及び評価に必要であった時間を表3に纏めて示した。全内視鏡検査医の感度及び特異度はそれぞれ平均で79.6%及び83.2%であり、テストデータセットの全ての画像を評価するのに必要であった時間(評価時間)は230±65分(平均±標準偏差)であった。
[0103]
[表3]


[0104]
 23人の内視鏡検査医中、専門医(n=6)の感度及び特異度は、それぞれ85.2%及び89.3%であり、研修中医師(n=8)の72.2%及び76.3%と比すると非常に高い感度及び特異度を備えていた。なお、評価時間は、専門医が252.5±92.3分であったのに対し、研修中医師は206.6±54.7分であった。経験医(n=9)の感度、特異度及び評価時間は、いずれも専門医と研修中医師の中間の値となっていた。
[0105]
[CNNのパーフォマンス]
 本実施形態1で構築されたCNNは、1画像あたりのH.ピロリ感染確率Pを出力し、さらに、患者あたりの標本の標準偏差を計算した。まず、分類データを含まない全ての訓練/検証用データセットを用いて構築された第1回目のCNNの特性を調べた。その際に得られたROC曲線を図4に示した。なお、本来のROC曲線は、横軸は「1-特異度」を表し、左端が原点「0」であり、右端が「1」となるが、図4(図5においても同様)では横軸が「特異度」を表し、左端の原点が「1」であり、右端が「0」となっている。
[0106]
 各内視鏡検査医は患者毎にH.ピロリ感染の予測を行い、各内視鏡検査医毎の予測結果は、白抜き点で表されている。黒色の点は、全内視鏡検査医の予測値の平均を示す。CNNは、画像ごとにH.ピロリ確率Pを出力し、プログラムは、患者1人あたりの確率の標準偏差を計算する。
[0107]
 図4のROC曲線の下側部分の面積は0.89であり、カットオフ値を0.53と定義すると、第1回目のCNNの感度及び特異度はそれぞれ81.9%及び83.4%であった。また、第1回目に構築されたCNNによる全ての画像の診断時間は3.3分であった。この第1回目に構築されたCNNは397人中350人が正確に診断された(88.2%)。第1回目に構築されたCNNによる47人の誤診例について内視鏡検査医が診断した結果は、正確度の平均±標準偏差は、43.5±33.4%であった。
[0108]
 次に、複数に分類された同じ訓練/検証用データセットセットによって構築された第2回目のCNNのROC曲線を求めた。その結果を図5に示した。図5は、胃についてのみ位置に応じて複数箇所に分類された訓練/検証用データセットを用いて学習することにより得られたCNNによるものであり、第1回目のCNNによるものよりも良い確率を出力している。ROC曲線の下の面積は93%である。各白抜き点は、各内視鏡検査医の予測結果を示し、黒色の点は、全内視鏡検査医の平均値を示し、いずれも図4に示したものと同様である。
[0109]
 図5のROC曲線の下側部分の面積は、図4の89%から93%に増加した。最適カットオフ値は0.42であり、この際のCNNの感度及び特異度は、それぞれ88.9%及び87.4%であり、これらは日本消化器内視鏡学会の専門医の診断結果に匹敵し、研修中医師よりもはるかに高い値であった。この第2回目のCNNによる全ての画像の診断時間は、3.2分であった。
[0110]
 上述の結果から以下のことが分かる。第1回目のCNNの診断能力は、研修中医師と経験医との間あたりであり、第2回目のCNNの診断能力は経験豊富な内視鏡専門医の診断能力に匹敵しており、第1回目及び第2回目のいずれのCNNも内視鏡専門医よりも劇的に短い時間で診断することができている。この結果は、実施形態1のCNNを用いたH.ピロリ感染スクリーニングシステムが臨床実践に適用するのに十分高い感度と特異性を有することを示している。
[0111]
 皮膚や網膜の場合とは異なり、胃は複雑な形状をしており、胃内視鏡検査の画像には見え方の異なるいろいろな部位の画像が含まれているため、胃内の位置に対応する分類がなされていない訓練/検証用データセットを用いて学習することにより得られたCNN視を用いた場合には、如何なる部位の画像であるかを識別するのが困難な場合がある。したがって、胃についてのみ位置に応じて複数箇所に分類された訓練/検証用データセットを用いてCNNを構築すると、感度は81.9%から88.9%に増加し、H.ピロリ感染胃炎を診断する能力が高くなる。
[0112]
 なお、内視鏡検査医及びCNNは、互いに異なる方法で画像を認識し、診断していると考えられる。萎縮や腸上皮化生などのH.ピロリ感染による胃粘膜の変化は、最初、遠位胃(幽門部)で起こり、徐々に近位の胃(噴門部)に拡大する。このように、その中に軽度の変化がある胃では、正常な粘膜を異常ありと誤診してしまう可能性があるので、内視鏡専門医は胃の画像の位置、特に幽門部、角度、又は全体像などを認識した後に診断する。
[0113]
 我が国においては、特に高齢者ではH.ピロリ感染が多く、2016年から胃癌の内視鏡マススクリーニングが開始されているため、より有効なスクリーニング方法が求められている。本実施形態1で得られた結果は、大量の保存画像をこの自動化システムに接続することにより、内視鏡検査者の評価無しでもH.ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりH.ピロリ感染の確認につながるとともに最終的には根絶治療に至る可能性があることを示唆している。
[0114]
 この実施形態1のCNNは疲労なしにH.ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のH.ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態1のCNNによるH.ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でH.ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。
[0115]
 また、この実施形態1の第2回目のCNNでは、位置に応じて複数箇所に分類された訓練/検証用データセットを用いて学習させた例を示したが、この複数箇所の分類は、3~10箇所程度とすればよく、当業者が適宜に定めればよい。なお、第2回目のCNNの構築に際しては、胃だけでなく、咽頭、食道及び十二指腸の画像も含まれていたため、ピロリ感染陽性及び陰性の診断の正確度向上のためにこれらの画像を除外するようにした。
[0116]
 さらに、実施形態1では白色光による通常の倍率の内視鏡を使用して得た訓練/訓練画像を使用した例を示したが、画像数が多くなれば、画像増強内視鏡又は拡大内視鏡によって得た画像や、NBI(Narrow Band Imaging:狭帯域光法。波長の異なるレーザ光を照射して観察するもの。上記非特許文献3参照。)や、誘導ラマン散乱顕微鏡法を用いた内視鏡(上記特許文献3参照)等によって得られた画像も使用することができる。
[0117]
 また、実施形態1では、訓練/検証データセットとテストデータセットの両方として、単一の医院でのみ取得されたものを用いているが、他の内視鏡装置及び技法を用いて他の施設で得られた画像を用いた例を追加することにより、よりCNNの感度及び特異性を向上することが可能となると思われる。さらに、実施形態1では、H.ピロリ除菌後の患者は除外したが、H.ピロリ除菌後の画像を学習させることによりH.ピロリ除菌ができたかどうかの判定に使用することができるようになる。
[0118]
 また、H.ピロリ感染状態の診断は、血液又は尿の抗H.ピロリIgGレベル測定、糞便抗原検査、又は尿素呼気検査などの様々な検査によって確認しているが、これらの検査のいずれにおいても100%の感受性又は100%の特異性が得られるわけではない。そのため、訓練/検証データセットには、結果として誤った診断を伴う画像が混入している可能性があるが、これについては、複数の臨床検査でH.ピロリ感染陰性と診断されているもののみを多く増やしていったり、一つの検査でH.ピロリ感染陰性と診断されたものであっても、他の検査でH.ピロリ感染陽性と判断されたもの等の分類を作ってこれに対応する画像を収集し、当該分類に対応する訓練/検証データセットを使用してCNNを訓練することによって、解決することができるようになる。
[0119]
 また、実施形態1では、胃の状態、すなわち萎縮の程度、発赤の有無などに応じて診断能力の違いを評価しなかったが、今後、訓練用画像数が増加すれば、そのような所見に応じて訓練用画像をさらに細分化し、CNNに覚えこませれば、H.ピロリ感染胃炎の有無だけではなく、当該所見についても将来的に専門医と同等の判定できるようになる可能性がある。加えて、実施形態1では、胃のH.ピロリ感染状態の診断の補助に用いるものとして説明したが、内視鏡検査は、胃以外にも、喉頭、咽頭、食道、十二指腸、胆道、膵菅、小腸、大腸などに対しても行われており、これらの部位についての画像集積が進んで、訓練用画像が増加すれば、これらの部位についての診断補助に使用することができる。
[0120]
 特に、疾患が潰瘍性大腸炎の場合は、特徴の抽出と解析アルゴリズムがH.ピロリ感染胃炎の有無の場合と類似しているので、CNNに大腸内視鏡画像を用いて訓練すれば、CNNは容易に潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することが可能となる。訓練/検証用データとなる大腸内視鏡画像は、胃の場合と同様に、大腸の部位に応じて複数箇所に分類され、かつ、潰瘍性大腸炎について疾患の陽性又は陰性ないし重症度の段階の確定診断結果が付与されている。この大腸内視鏡画像からなる訓練/検証用データと確定診断結果とに基づいて訓練されたCNNを用いることにより、評価対処とする多数の被験者についての複数の大腸内視鏡画像からなるテストデータに対する疾患の陽性又は陰性ないし重症度のレベルを自動診断することができる。
[0121]
 さらに、内視鏡画像の訓練用データを作成する過程において、人間による手作業があるため、一部のデータにおいて、訓練用データに誤りがある可能性が否定できない。誤った訓練用データが紛れ込んでしまうと、CNNの判定の精度に悪い影響を及ぼす。本実施形態1で使用した内視鏡画像は、匿名化の処理を施しており、訓練用データにミスがあったかどうかを確認する術はない。これを可能なかぎり排除するため、臨床検査判定の結果から機械的に画像を分類することにより、質の高い訓練用データセットを作ることができる。この訓練用データでCNNを学習させればさらに判定精度を向上させることが可能となる。
[0122]
 なお、実施形態1では、CNNのアーキテクチャとしてGoogLeNetを使用した例を示したが、CNNのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のSGD(Stochastic Gradient Descent:確率的勾配降下法)法、SGDに慣性項(Momentum)を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。
[0123]
 以上述べたように、本実施形態1のCNNによる胃の内視鏡画像によるH.ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態のCNNは、スクリーニング又はその他の理由により、得られた内視鏡画像からH.ピロリ感染患者を選別するのに役立つ。また、H.ピロリ菌除菌後の画像をCNNに学習させれば、H.ピロリが除菌できたかどうかの判定にも使える。また、H.ピロリ菌を除菌したか否かは、問診で簡単にわかるので、H.ピロリ感染診断については、今回のH.ピロリ菌陽性陰性の判定だけで、臨床現場ですぐに応用可能な有用性がある。
[0124]
[診断支援システム]
 実施形態1の診断支援システムとしてのCNNを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部(ハードディスクないし半導体メモリ)と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
[0125]
 このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第1の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第2の記憶領域と、CNNプログラムを記憶する第3の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、CNNプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。
[0126]
 近年、CPUやGPUの能力の向上が著しく、実施形態1で使用した診断支援システムとしてのCNNを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、H.ピロリ感染胃炎診断システムとしても、1時間に3000症例以上を処理でき、1枚の画像については約0.2秒で処理することができる。そのため、内視鏡で撮影中の画像データを本実施形態1で使用したCNNを組み込んだコンピュータに与えることにより、リアルタイムでのH.ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのGPUは性能が非常に優れているので、本実施形態1のCNNを組み込むことにより、高速かつ高精度の画像処理が可能となる。
[0127]
 また、実施形態1の診断支援システムとしてのCNNを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態1の診断支援システムとしてのCNNを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。
[0128]
 なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のIEEE1394シリアルバス、USB、電力線搬送、ケーブルTV回線、電話線回線、ADSL回線等の有線、赤外線、Bluetooth(登録商標)、IEEE802.11等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク、ハードディスク等の磁気ディスク、コンパクトディスク-ROM/MO/MD/デジタルビデオデイスク/コンパクトディスク-R等の光ディスクを含むディスク系、ICカード、メモリカード、光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系等を用いることができる。
[0129]
[実施形態2]
 実施形態1で使用したCNNを組み込んだコンピュータによるH.ピロリ感染胃炎診断システムにおいては、入力された画像がどこの部分の画像であるかを自動的に判断することができる。そのため、このH.ピロリ感染胃炎診断システムにおいては、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞の7つの分類のそれぞれについてH.ピロリ感染確率を表示したり、これらの部位の幾つかから、例えば、H.ピロリ感染確率の上位5分類について、分類とともにH.ピロリ感染確率を表示したりすることが可能となる。このような分類とともにH.ピロリ感染確率を表示することは、最終的には血液検査や尿検査によって確定診断を行う必要があるが、内視鏡専門医の判断に有用となる。
[0130]
 そこで、実施形態2では、入力された画像がどこの部分の画像であるかを自動的に判断することができることの検証を行った。まず、内視鏡専門医により、実施形態1において得られたEGDの画像のうち、癌、潰瘍、残渣・異物、出血、ハレーション、ぼけ又は焦点不良のために明確でない画像は除外し、残りの1750人の患者からの27,335枚の画像を6つの主要なカテゴリー(喉頭、食道、十二指腸、上部胃、中部胃、下部胃)に分類した。主要な胃カテゴリーの各々は、図6に示したように、複数のサブカテゴリを含んでおり、下部胃は幽門部、幽門洞、前庭部を含み、上部胃は噴門部と胃底部を含み、中部胃は胃角部と胃体部を含んでいる。
[0131]
 これらの27,335枚の元の内視鏡画像を、実施形態1の場合と同様にして、ツールによって0度から359度の間で無作為に回転させて画像数を増大させ、各画像を囲む黒いフレームを自動的にトリミングして切り取り、適宜に拡大又は縮小し、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像を除外し、100万を超える訓練用画像データを得た。このようにして得られた実施形態2の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが244×244ピクセルにリサイズされている。そして、実施形態2で用いたCNNシステムは、これらの訓練用画像データを用いて、学習率を0.0002に変更した以外は実施形態1のCNNシステムと同様のものを用いて訓練した。
[0132]
 実施形態2の訓練されたCNNシステムは、0から100%の範囲の各画像の確率値(PS)を生成した。これは、各画像の各解剖学的分類に属する確率を示している。最も高い確率値を有するカテゴリーがCNNの最終的な分類として採用され、このCNNによって分類された画像は、2人の内視鏡専門医によって手作業で評価し、正しく分類されたかどうかを評価した。その評価が2人の内視鏡専門医によって異なる場合は、満足のいく解決に達するために議論が行われた。
[0133]
 さらに、CNNシステムの診断精度を評価するために、2017年2月から2017年3月までの間に、発明者の一人が属する医院において内視鏡検査を受けた435人の患者の17,081の独立した画像データを収集し、一連の検証用画像データを作成した。この検証用画像データは、通常の倍率を有する通常の白色光画像のみが含まれており、強調画像又は解剖学的分類が認識できなかった画像データは、訓練用画像データの場合と同じ方法で検証用画像データから除外された。最終的に、検証用画像データには、喉頭画像363件、食道画像2,142件、胃画像13,047件、十二指腸画像1,528件を含む17,081件の画像が用いられた(表4参照)。
[0134]
[表4]


[0135]
 最初に、実施形態2のCNNシステムが、喉頭、食道、胃及び十二指腸の画像を認識できるかどうかについて評価し、次いで、図6に示したように、日本の胃癌分類に基づく胃の位置(上部胃、中部胃、下部胃)を認識できるかどうかについて評価した。そして、実施形態2のCNNシステムによる解剖学的分類についての感度及び特異度が計算された。各臓器の分類のため、受容体作動特性(ROC)曲線をプロットし、GraphPad Prism 7(GraphPad software, Inc., California, U.S.A.)により下側部分の面積(AUC)を算出した。これらの試験方法の簡単化した概要を図7に示した。
[0136]
 まず、GIE画像を4つの主なカテゴリー(喉頭、食道、胃及び十二指腸)に分類した。実施形態2のCNNシステムは、17,081画像のうち16,632(97%)の解剖学的位置を正確に分類した。CNNシステムが計算した確率値は0~100%の範囲であり、画像の96%の個々の最高確率値は90%以上であった(表5参照)。
[0137]
[表5]


[0138]
 すなわち、実施形態2のCNNシステムは、GIE画像の解剖学的位置を、AUC値による正確度で、咽頭は1.00[95%信頼区間(CI):1.00~1.00,p<0.0001]、食道は1.00(95%CI:1.00~1.00,p<0.0001)、胃は0.99(95%CI:0.99~1.00,p<0.0001)、十二指腸は0.99(95%CI:0.99~0.99,p<0.0001)で自動的に認識した(図8A~図8D参照)。なお、実施形態2のCNNシステムの各部位の解剖学的位置を認識するための感度及び特異度は、喉頭については93.9%及び100%、食道については95.8%及び99.7%、胃については89.9%及び93.0%、十二指腸については87.0%及び99.2%であった(表6参照)。
[0139]
[表6]


[0140]
 次に、実施形態2のCNNシステムが胃の異なる部分から取得した画像データの解剖学的位置を正しく分類できるかどうかについて検討した。いくつかの胃の疾患は胃の特定の領域に発生する傾向があるため、胃の解剖学的位置を正しく分類することは重要である。実施形態2のCNNシステムの訓練には、上部胃からの3,532枚の画像データ、中部胃からの6,379枚の画像データ及び下部胃からの3,137枚の画像データを含む合計13,048の胃画像データが用いられた。
[0141]
 実施形態2のCNNシステムは、図9に示すように、上部胃、中部胃及び下部胃についてAUC値0.99(95%CI:0.99~0.99、p<0.0001)が得られ、これらの胃画像の解剖学的位置を正確に分類した。各部位の解剖学的位置を分類する際のCNNの感度と特異度は、上部胃が96.9%及び98.5%、中部胃が95.9%及び98.0%、下部胃が96.0%及び98.8%であった(表7参照)。すなわち、実施形態2のCNNシステムは、GIE画像データを胃の3つの解剖学的位置(上部胃、中部胃、下部胃)に正しく分類した。
[0142]
[表7]


[0143]
[誤って分類された画像の評価」
 最後に、CNNの性能を向上させるための基礎を提供するために、CNNによって誤って分類された画像を検討した。誤って分類された画像の典型的な例を図10~図13に示す。図10Aは下部胃と誤分類された十二指腸の画像を示し、図10Bは正しく分類された下部胃の画像である。これらの画像に見られるように、横から見ると十二指腸は時には下部胃に似ている。これが誤分類の原因であったと考えられる。
[0144]
 図11Aは下部胃と誤分類された食道の画像を示し、図11Bは正しく下部胃と分類された下部胃の画像を示す。また、図12Aは中部胃と誤分類された十二指腸の画像を示し、図12Bは正しく分類された上部胃の画像を示す。さらに、図13Aは食道と誤分類された咽頭の画像を示し、図13Bは正しく分類された食道の画像を示す。
[0145]
 図11A及び図12Aの画像は、内腔への空気の吹込みが不十分であること及び/又は管腔壁への内視鏡スコープが近接していることに起因して、全体の構造を認識に使用することができなかったものである。他方、図13Aは、喉頭の画像を示すが、肉眼で明らかに異なっており、食道と誤って分類されている。
[0146]
 画像の分類のためのアーキテクチャは絶えず進歩している。そのような技術を使用したImagenet大規模視覚認識チャレンジ2016(ILSVRC2016, http://image-net.org/challenges/LSVRC/2016/results)の最新の結果によると、分類エラー率は3.0%~7.3%となっている。それに対し、実施形態2のCNNシステムは、0.99~1.00の高いAUCを有する高精度の分類結果を示し、解剖学的位置によるGIE画像の分類におけるCNNの潜在的可能性が実証されている。解剖学的分類を認識するこの能力は、CNNシステムが患者から取得した画像上で病変又は異常所見を自動的に検出することによって、特に胃腸疾患の診断に使用できるかどうかを明らかにする重要なステップである。
[0147]
 医師はGIEの専門家になるために数年に渡って重要な訓練を必要とするため、本発明のCNNシステムは、患者の負担を軽減し、患者にとって有益なものとなる。この点について、本発明の結果は、本発明のCNNシステムが新しいGIE支援システムを確立する有望な可能性を示している。さらに、自動的に収集され、電子的に保存されるGIE画像は、疾患を逃さないために第2の観察者によって頻繁に見直されるため、自動GIE画像分類自体が臨床設定において有益である。解剖学的に分類された画像は、第2の観察者が解釈することがより容易となり、その負担を軽減することができるようになる。
[0148]
[実施形態3]
 実施形態3では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、潰瘍性大腸炎の場合に適用した例を説明する。発明者の一人が属する医院において、大腸内視鏡検査を受けた患者の臨床データを回顧的にレビューした。全体的に958例の患者の症状、内視鏡所見、 病理学的所見も含まれている。患者全員が全大腸内視鏡検査を受け、得られた大腸内視鏡画像は3人の消化器専門医によってレビューされた。
[0149]
 実施形態3では、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像は除外された。便、ぼけ、ハレーション又は空気混入を伴う不明瞭な画像も除外され、他の鮮明な画像は結腸・直腸の部位、すなわち右側結腸(盲腸、上行及び横行結腸)、左結腸(下行及びS状結腸)及び直腸、によって分類され、それぞれの内視鏡疾患活動性によって、3区分のMayo内視鏡スコア(Mayo0、Mayo1及びMayo2-3)に従って分類された。図14に典型的な直腸のMayo0~Mayo3に分類される大腸内視鏡画像を示す。なお、図14AはMayo0、図14BはMayo1、図14CはMayo2、図14DはMayo3の例を示す。
[0150]
 レビューされた各画像について、レビューアの分類が異なる場合には、上記の3人の消化器専門医のうち少なくとも2人がそれぞれの画像を見直し、各画像についてMayo内視鏡スコアを再付与した。このようにして再付与されたMayo内視鏡スコアを「真のMayo分類」と称する。
[0151]
 2006年10月から2017年3月の間に撮影された841人の潰瘍性大腸炎患者からの26,304枚の画像が訓練用データセットとして使用され、4月から2017年6月までに収集された117人の潰瘍性大腸炎患者からの4,589枚の画像が検証用データセットとして使用された。訓練用データセットと検証用データセットの患者特性の詳細を表8に示した。
[0152]
[表8]


[0153]
 これらの元の内視鏡画像を0度から359度の間でランダムに回転させ、各画像を囲む黒い枠を各側で切り取り、ソフトウェアを使用して0.9倍又は1.1倍に拡大又は縮小した。最後に、訓練用データセットの数が100万を超えるように増幅された。
[0154]
 全ての画像は、標準的な大腸内視鏡(EVIS LUCERA ELITE、オリンパスメディカルシステムズ、東京、日本)を用いて撮影された。付随する全ての患者情報は、データ分析前に注釈を付けられ、研究に関与する内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この研究は、日本医師会倫理審査委員会(ID:JMA-IIA00283)の承認を得た。また、インフォームド・コンセントは、この研究が遡及的性質を有しており、完全に匿名化されたデータを使用するために、削除された。
[0155]
このようにして得られた実施形態3の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが244×244ピクセルにリサイズされている。そして、実施形態3で用いたCNNシステムは、これらの訓練用画像データを用いて、学習率を0.0002に変更した以外は実施形態1のCNNシステムと同様のものを用いて訓練した。
[0156]
 訓練されたCNNベースの診断システムは、0から1の範囲の各画像の確率値(PS)を作成し、各画像は各Mayo内視鏡スコアに属する確率を示す。最も高い確率値を有するカテゴリーが、CNNの最終的な分類として採用された。実施形態3のCNNベースの診断システムの簡単な概要を図15に示し、実施形態3のCNNの代表的な画像と得られた3区分のMayo内視鏡スコアの例を図16に示した。なお、図16Aは横行結腸のMayo0に分類される例、図16Bは直腸のMayo1に分類される例、図16Cは直腸のMayo2ないしMayo3に分類される例を示している。
[0157]
 CNNの性能の検証は、CNNが各画像を2区分の分類、すなわちMayo0~1及びMayo2-3の2区分に分類できるかどうかを評価することにより行った。この理由は、Mayo0及びMayo1は寛解(症状がコントロールできている)状態にあるものであり、Mayo2及びMayo3は炎症が生じているものであるからである。そして、Mayo内視鏡スコアのために受容体作動特性(ROC)曲線をプロットし、95%信頼区間(CI)を有するROC曲線の下側の面積(AUC)をGraphPad Prism 7(GraphPad software, Inc, 米国)により測定した。さらに、結腸・直腸の各部位(右側結腸、左側結腸、及び直腸)でAUCを評価した。
[0158]
 表9に真のMayo内視鏡スコアとCNNによるMayo0-1,Mayo2-3の2区分の分類との間の関連性を示す。また、図17Aに、Mayo0-1と、Mayo2-3との2区分のMayo内視鏡スコアにおける各確率スコアの例を色の濃淡で示し、同じく図17BにMayo0-1と、Mayo2-3との2区分のMayo内視鏡スコアにおけるROC曲線を示す。
[0159]
[表9]


[0160]
 表9及び図17に示した結果によると、Mayo0-1画像の96%、Mayo2-3画像の49%は、CNNによってそれぞれのMayo内視鏡スコアに正しく分類されていた。図17Bに示したROC曲線は、Mayo0-1と、Mayo2-3との2区分の分類に対して0.95(95%CI:0.94-0.95)の高いAUCを有し、CNNが高い性能を有していることを示している。
[0161]
[結腸・直腸の各位置による真のMayo分類とCNN分類との間の関連性]
 次に、結腸・直腸の位置がCNNの性能に影響を及ぼす可能性があるので、結腸・直腸の各位置(右側結腸、左側結腸、及び直腸)によるCNNの性能を評価した。
[0162]
 表10は、ROC曲線のAUCと、真のMayo分類と、各場所におけるCNNの結果との一致度を示す。CNNの性能は、Mayo0-1と、Mayo2-3との2区分に分類する際には、直腸(AUC=0.88)よりも右側の結腸(AUC=0.96)及び左側の結腸(AUC=0.97)において良好であった。
[0163]
[表10]


[0164]
 以上のように、実施形態3によれば、訓練されたCNNによれば、潰瘍性大腸炎画像の内視鏡疾患活動性を識別でき、寛解状態の画像(Mayo0、Mayo1)と重度の炎症(Mayo2,Mayo3)画像とを区別する有望な性能を示すことが確認された。
[0165]
 実施形態3の結果によると、CNNは、粘膜が治癒状態(Mayo0、Mayo1)にあることを認識するに際して非常に良好な性能を示し、右結腸及び左結腸よりも直腸における方が良好であった。この理由の1つは、用いた画像が治療中の潰瘍性大腸炎患者のものが大部分であったためである。この治療は、炎症の重症度を変えてしまい、炎症を「斑状」又は「非連続病変」に導き、Mayo内視鏡スコアを適切に分類するのが困難になる。これは、直腸がいくつかの治療オプションを有しており、斑状ないし非連続性病変がしばしば起こるので、直腸におけるCNNによる分類に際してより性能低下をもたらす可能性がある。
[0166]
 また、実施形態3では、CNNによる分類をMayo内視鏡スコアの確率値が最も高いものとして定義した。したがって、Mayo1の確率値が0.344の画像(最低値)でも、Mayo1の確率値が1.00の画像と同じMayo1に分類された。これは、真のMayo内視鏡スコアとCNNによる分類との間の一致が、AUC値と比較して比較的低い理由の1つである。したがって、CNNによる分類を定義するために確率値に最適なカットオフ値を設定することによって、CNNの性能を改善することが可能となる。
[0167]
 実施形態3の測定にはいくつかの制限がある。第1に、これは後向き研究であり、実際の臨床状況におけるCNNの性能を評価するためには前向き研究が必要である。第2に、入院施設を持たない診療所では全ての大腸内視鏡検査画像が収集されたため、Mayo2-3の画像は訓練用データと検証用データの両方で比較的少なかった。したがって、より多くのMayo2-3画像でCNNをトレーニングすることで、CNNのパーフォマンスがより向上すると考えられる。
[0168]
[実施形態4]
 実施形態4では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、超拡大内視鏡(Endocytoscopy:ECS)システムを用いて食道疾患に適用した例を説明する。ここで使用するECSシステムは、メチレンブルーなどの生体染色を使用してリアルタイムで表面上皮細胞を生体内で観察することを可能にする新規の拡大内視鏡検査である。発明者等は、2003年にECSを用いた臨床試験を初めて行い、正常扁平上皮及び食道癌の表面上皮細胞の特徴を報告した(非特許文献4参照)。現在市販されている第4世代のECSの倍率は、光学的に500倍で、さらにビデオプロセッサーに内蔵されたデジタル拡大機能を使用して倍率を最大900倍にまで拡大させることも可能である。
[0169]
 発明者の一人が属する医院において、2011年11月から2018年2月までの間に、医院内の241人の患者に対して308例の食道ECS検査を行った。スコープは、GIF-Y0002(光学倍率:400倍(デジタル倍率700倍))及びGIF-Y0074(光学倍率:500倍(デジタル倍率900倍))の2つのプロトタイプECS(オリンパスメディカルシステムズ)を用いた。また、内視鏡ビデオスコープシステムとして、標準的な内視鏡ビデオシステム(EVIS LUCERA CV-260/CLV-260, EVIS LUCERA ELITE CV-290/CLV-290SL:オリンパスメディカルシステムズ)を使用した。
[0170]
 図18に示したように、ECSの最大光学倍率(低倍率画像)の内視鏡画像(図18のa~e)と、デジタル倍率1.8倍の内視鏡画像(高倍率画像、図18のf~j))とを併せて保存した。308例のECS検査の中で、2011年11月から2016年12月の間に行われた240の症例からの4715枚の画像が、ECS画像を分析するためのアルゴリズムを開発用の訓練用データセットとして採用された。
[0171]
 訓練用データセットは、食道癌126例(表在癌58例、進行癌68例)、食道炎106例(放射線関連食道炎52例、胃食道逆流症45例、カンジダ食道炎、好酸球性食道炎2例、食道炎3例)、正常扁平上皮症8例であった。全ての病変部を生検組織又は切除標本を用いて組織学的に診断した。最後に、訓練用データセットを「悪性画像(画像数:1141(低倍率画像:231、高倍率画像:910))」及び「非悪性画像(画像数:3574(低倍率画像:1150、高倍率画像:2424))」に分類した。実施形態4では低倍率画像と高倍率画像を用いてCNNをまとめて訓練した。
[0172]
 構築されたCNNの診断能力の評価のためのテストデータセットとしては、ECSにて食道の表面細胞形態を良好に観察可能であった55例を用いた。テストデータは、悪性病変27例と非悪性病変28例からなる1520枚の画像(低倍率画像:467、高倍率画像:1053)を用いた。悪性病変の全ての症例は食道扁平上皮癌であった。このうち表在癌が20例、進行癌が7例であった。非悪性病変は、食道炎(放射線関連食道炎14例、胃食道逆流症(GERD)9例、食道炎4例)が27例、食道乳頭腫が1例であった。
[0173]
 このようにして得られた実施形態3の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが244×244ピクセルにリサイズされている。そして、実施形態4で用いたCNNシステムは、これらの訓練用画像データを用いて、実施形態1のCNNシステムと同様のものを用いて訓練した。
[0174]
[CNNによる診断結果]
 訓練データセットを用いてCNNを構築した後、テストデータを検討した。テストデータの各画像について、悪性である確率を計算し、受信機動作特性(ROC)曲線をプロットし、ROC曲線の下側部分の面積(AUC)を計算した。カットオフ値は、ROC曲線の感度及び特異性を考慮して決定した。
[0175]
 症例ごとの検討では同一病変から取得した複数のECS画像に対し、2枚以上が悪性であると診断された場合、悪性であると診断した。食道癌を診断するCNNの感度、陽性的中率(PPV)、陰性的中率(NPV)、及び特異度を以下のように計算した。
  感 度=CNNが正しく悪性と診断した数/組織学的に証明された食道癌病変の数
  PPV=CNNが正しく悪性と診断した数/CNNによる食道癌と診断された病変の数
  NPV=CNNが非悪性病変として正しく診断した数(悪性と診断されたECS画像が1枚以下)/CNNによって非悪性病変と診断された病変の数
  特異度=CNNが非悪性病変として正しく診断した数/組織学的に証明された非悪性病変
[0176]
 CNNによる診断の前に、経験豊富な1名の内視鏡専門医が内視鏡検査中に診断を行った。内視鏡専門医は、全ての症例を以下のType分類に従って分類した。
  Type1:表面上皮細胞は、核/細胞質比が低く、細胞密度が低い。核異型は認められない。(図19a参照)
  Type2:核密度は高いが、明らかな核異型はない。細胞間境界は明らかではない。(図19b参照)
  Type3:明らかな核密度の上昇及び核異型が認められる。核の腫大も認められる(図19c参照)
[0177]
[テストデータの臨床診断と病理診断結果]
 テストデータ症例の臨床診断と病理診断結果とを表11に示した。
[表11]


[0178]
 表11に示したように、臨床診断により食道癌と診断された27例全てが扁平上皮癌であった。臨床診断により胃食道逆流症と診断された9例は、組織学的に4例が再生上皮、3例が食道潰瘍、2例が食道炎と診断された。臨床診断により放射線性食道炎と診断された14例は、組織学的に2例が再生上皮、8例が食道炎と診断され、他は食道潰瘍、異型細胞を伴う食道炎、肉芽組織及び壊死組織と診断された。
[0179]
[ROC曲線とその下側部分の面積及びカットオフ値]
 実施形態4で得られたCNNは、1520枚の画像(1画像あたり0.011秒)を分析するのに17秒を要した。全画像からプロットしたROC曲線(図20A)から求められたAUCは0.85であった。また、高倍率画像(図20B)と低倍率画像の場合(図20C)とでROC曲線を別々作成して分析したところ、高倍率画像の場合のAUC及び低倍率画像の場合のAUCはそれぞれ0.90及び0.72であった。
[0180]
 非悪性病変に対する高い特異性を期待して、ROC曲線から悪性腫瘍の確率のカットオフ値を90%に設定した。表12に示したとおり、全画像の場合の感度、特異度、PPV、NPVは、それぞれ39.4,98.2,92.9及び73.2であった。また、高倍率画像の場合及び低倍率画像の場合をそれぞれ別々に分析した場合、高倍率画像の場合の感度、特異性、PPV、NPVはそれぞれ46.4,98.4,95.2及び72.6であり、低倍率画像の場合の感度、特異性、PPV、NPVはそれぞれ17.4,98.2,79.3,74.4であった。
[0181]
[表12]


[0182]
 高倍率画像で非悪性であると臨床診断された622例のうち、10画像(1.6%)が悪性腫瘍の確率が90%を超えていた。この10画像には、白斑部分より得られた7画像、異型上皮より得られた2画像、正常上皮より得られた1画像が含まれていた。低倍率画像で非悪性であると臨床診断された332例のうち、食道炎と診断された7画像(2.1%)が、悪性の確率が90%を超えていた。
[0183]
[各症例ごとの内視鏡医によるType分類の評価とCNNによる診断の比較]
 食道扁平上皮癌と診断された27症例のうち、実施形態4で構築されたCNNによる診断結果と、内視鏡専門医により分類されたTypeとの関係を表13に示した。
[表13]


[0184]
 表13に示した結果によると、食道扁平上皮癌と診断された27症例のうち、CNNは25症例(感度92.6%)を悪性(悪性腫瘍の確率が90%を超えた2以上の画像を含む)と正確に診断した。CNNはがん細胞が写っている写真の中で悪性であると認識した割合の中央値(範囲)は40.9(0~88.9)%であった。CNNは非悪性病変の28症例の25症例を非悪性(特異性89.3%)と正確に診断した。PPV、NPV、及び全体的な精度は、それぞれ89.3%、92.6%、90.9%であった。
[0185]
 内視鏡専門医は、全ての悪性病変をType3と診断した。内視鏡専門医は、非悪性病変の28例中、13病変をType1、12病変をType2、3病変をType3と診断した。Type3が悪性腫瘍に対応すると考えられる場合、感度、特異性、PPV、NPV、内視鏡検査の診断の総合的な精度はそれぞれ100%、89.3%、90.0%、100%、94.5%であった。
[0186]
 CNNが非悪性であると誤診した2例の悪性病変は、内視鏡専門医によってType3と正診された。これらの2例は表在癌であり、核密度の増加と核の異常が明らかであった。しかし、核の拡大は明らかではなかった(図21参照)。なお、図21Aは通常内視鏡画像、図21Bは同じくECS画像、図21Cは同じく病理組織検査画像である。
[0187]
 CNNが非悪性病変を悪性と診断した3例のうち、2例が放射線照射後の食道炎であり、1例がグレードCの胃食道逆流症であった。これらの病変の非拡大内視鏡画像から、内視鏡専門医はこれらを悪性とみなさなかった。しかし、放射線食道炎の1例では、核密度と核異常の明らかな増加のために、内視鏡専門医はType3に分類している。この症例では、病変部の組織学的検査により肉芽組織であることが明らかになった(図22参照)。なお、図22Aは通常内視鏡画像、図22BはECS画像、図22Cは病理組織検査画像である。
[0188]
 食道に対するECS診断の最も有望な目標は、食道扁平上皮癌の生検組織診断の省略である。実施形態4の結果では、特に高倍率画像のROC曲線で高いAUCが確認された。以前1名の病理医にECS画像のみから、悪性ECS画像を区別できるかどうかを試験した。病理学者は、低倍率画像のみを使用した場合、食道炎の約2/3を悪性と診断している。これらの場合、核密度は増加したが、低倍率のために核異型を認識できなかった。その後、核異型の認識のため、デジタル1.8倍(高倍率)の画像で再度試験を行った。その際の病理学者の感度と特異度は90%以上に劇的に改善した。
[0189]
 実施形態4では、全ての悪性と診断された非悪性低倍率画像は食道炎症例から得られた。これらの画像は高い核密度を示したが、低倍率のため核の異常を評価することはできなかった。したがって、低倍率画像ではなく高倍率画像を参照することが推奨される。他方、悪性であると誤診された大部分の非悪性高倍率画像は、白斑部分の観察から得られている。白斑部分のECS画像の特徴は、炎症細胞の集蔟である。これらの画像は扁平上皮癌の低倍率画像として認識されたものであると推測される(図18参照)。そのため、今後は、高倍率画像と低倍率画像の2つの異なるCNNを別々に確立することが望ましい。
[0190]
 組織生検の省略のためには、非悪性病変の悪性であるとの誤診(偽陽性)を最小限に抑えなければならない。ECSを用いた内視鏡専門医による扁平上皮腫瘍の過剰診断は、死亡リスクのある手術を必要とする。癌の早期発見のためにAIを適用した論文では、一定の偽陽性率が許容される。このためカットオフ値は比較的低い確率で設定されている。今回の検討では悪性腫瘍の確率のカットオフ値を90%に設定した。これは先に述べた偽陽性を最小限にするためである。
[0191]
 各症例ごとの評価では、内視鏡専門医はECSによる診断のためのType分類を適用した。Type1及びType3はそれぞれ非腫瘍性上皮及び食道扁平上皮癌に対応する。これらの症例では、組織生検を省略することができる。しかしながら、Type2は様々な組織学的状況を含むため、治療方針決定のために組織生検を実施すべきである。実施形態4の結果では、CNNによるECS画像の診断結果は、内視鏡専門医の結果に近い90%を超えていた。
[0192]
 この結果は、高いカットオフ値にもかかわらず許容可能である。これらの症例は、CNNの支援によって組織生検を省略することができる。さらに、CNNによって悪性と診断されなかった2例の悪性症例は、内視鏡専門医によって正確にType3と診断された。病変通常内視鏡観察から悪性腫瘍であることを明瞭に示しているので、これらの症例はECS画像のみでCNNの支援なしに組織生検を省略することができる。
[0193]
 一方、実施形態4の特異度は89.3%であり、3例の非悪性病変はCNNによって悪性であると診断された。1例はグレードCの胃食道逆流症であり、他の2例は放射線食道炎であった。これらの病変の病理学的診断は、再生上皮、肉芽組織及び食道潰瘍であった。再生上皮は経験豊富な病理学者であっても食道扁平上皮癌と区別することは困難である。
[0194]
 放射線食道炎の1例は内視鏡専門医によってType3と診断され、実施形態4のCNNによって悪性と診断された。放射線照射後、組織生検を行っても再発や残存食道癌を診断することが困難な場合がある。ECS観察に加えて、食道癌の放射線照射後のフォローアップの場合には組織生検を実施すべきである。
[0195]
 実施形態4の結果によれば、今回のCNNの検討ではいくつかの限界を指摘することができる。第1に、テストデータの数が少なかったことである。この問題を解決するために動画から膨大な数の画像を取得することを計画している。さらに深く学習したCNNが診断結果を改善することを期待している。第2に、光学倍率が400倍と500倍の異なる2つのECSを使用したことである。これらの2つのECSの倍率の差は、CNNによる診断の結果に影響を及ぼす可能性がある。そのため、今後市販された光学倍率500倍のECSを使用した画像に限定する必要があると思われる。
[0196]
 結論として、実施形態4のCNNは、内視鏡専門医がECS画像に基づいて組織生検を省略することを強くサポートすることが可能である。また、核異型の認識のためには、低倍率画像ではなく、デジタルズームを併用した高倍率画像を参照すべきである。
[0197]
[実施形態5]
 実施形態5のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図23を用いて説明する。実施形態5では、実施形態1~4のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。S1では、消化器官の第1の内視鏡画像と、第1の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果と、を用いてニューラルネットワークを訓練する。S2では、S1において訓練されたニューラルネットワークは、消化器官の第2の内視鏡画像に基いて、当該消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを出力する。
[0198]
 S1では、第1の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、S1では、第1の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも1つを含むことができ、この部位は、複数の消化器官の少なくとも1つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも1つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも1つを含むこともできる。
[0199]
 撮像された部位における第1の内視鏡画像の数が他の部位に比して少ない場合には、第1の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも1つを使用することによって、全ての部位における前記第1の内視鏡画像の数が実質的に等しくなるようにすることもできる。
[0200]
 訓練されたニューラルネットワークは、第2の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。
[0201]
 第1の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも1つを含めてもよい。第1の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第1の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを区分して出力するようにしてもよい。
[0202]
 第2の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも1つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。
[0203]
[実施形態6]
 実施形態6のニューラルネットワークを用いた消化器官の内視鏡画像ずよる疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図24を参照して、説明する。実施形態6では、実施形態1~4で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部10と、出力部30と、ニューラルネットワークが組み込まれたコンピュータ20と、を有する。コンピュータ20は、消化器官の第1の内視鏡画像を記憶する第1の記憶領域21と、第1の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果を記憶する第2の記憶領域22と、ニューラルネットワークプログラムを記憶する第3の記憶領域23と、を備える。第3の記憶領域23に記憶されたニューラルネットワークプログラムは、第1の記憶領域21に記憶されている第1の内視鏡画像と、第2の記憶領域22に記憶されている確定診断結果とに基いて訓練されており、内視鏡画像入力部10から入力された消化器官の第2の内視鏡画像に基いて、第2の内視鏡画像に対する消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを出力部30に出力する。
[0204]
 第1の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、第1の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも1つを含むことができ、この部位は、複数の消化器官の少なくとも1つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも1つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも1つを含むこともできる。
[0205]
 撮像された部位における第1の内視鏡画像の数が他の部位に比して少ない場合には、第1の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも1つを使用することによって、全ての部位における前記第1の内視鏡画像の数が実質的に等しくなるようにすることもできる。
[0206]
 訓練されたニューラルネットワークプログラムは、第2の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。
[0207]
 第1の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも1つを含めてもよい。第1の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第1の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを区分して出力するようにしてもよい。
[0208]
 第2の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも1つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。
[0209]
 消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。
[0210]
[実施形態7]
 実施形態7のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法について図25を参照して、説明する。実施形態7では、実施形態1~4で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法を利用することができる。S11では、消化器官の第1の内視鏡画像と、第1の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練する。S12では、訓練されたニューラルネットワークは、消化器官の第2の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力する。
[0211]
[実施形態8]
 実施形態8のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体について図26を参照して、説明する。実施形態8では、実施形態1~4で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムを利用することができる。実施形態8の消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部40と、出力部60と、ニューラルネットワークが組み込まれたコンピュータ50と、を有する。コンピュータ50は、消化器官の第1の内視鏡画像を記憶する第1の記憶領域51と、第1の内視鏡画像に対応する、消化器官の撮像された部位に対応する情報の確定情報を記憶する第2の記憶領域52と、ニューラルネットワークプログラムを記憶する第3の記憶領域53と、を備える。第3の記憶領域53に記憶されたニューラルネットワークプログラムは、第1の記憶領域51に記憶されている第1の内視鏡画像と、第2の記憶領域52に記憶されている確定情報とに基いて訓練されており、内視鏡画像入力部40から入力された消化器官の第2の内視鏡画像に基いて、第2の内視鏡画像に対する消化器官の撮像された部位に対応する情報を出力部60に出力する。
[0212]
 消化器官の内視鏡画像による消化器官の部位の判別システムは、各手段として動作させるためのものである、消化器官の内視鏡画像による消化器官の部位の判別プログラムを備えている。また、消化器官の内視鏡画像による消化器官の部位の判別プログラムは、コンピュータ読み取り可能な記録媒体に記憶させることができる。

符号の説明

[0213]
 10…内視鏡画像入力部
 20…コンピュータ
 21…第1の記憶領域
 22…第2の記憶領域
 23…第3の記憶領域
 30…出力部
 40…内視鏡画像入力部
 50…コンピュータ
 51…第1の記憶領域
 52…第2の記憶領域
 53…第3の記憶領域
 60…出力部

請求の範囲

[請求項1]
 ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
 消化器官の第1の内視鏡画像と、
 前記第1の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
 前記訓練されたニューラルネットワークは、消化器官の第2の内視鏡画像に基いて、当該消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項2]
 前記第1の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項1に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項3]
 前記第1の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項1又は2に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項4]
 前記部位は、咽頭、食道、胃又は十二指腸の少なくとも1つを含むことを特徴とする、請求項3に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項5]
 前記部位は、前記複数の消化器官の少なくとも1つにおいて複数箇所に区分されていることを特徴とする、請求項3又は4に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項6]
 前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも1つを含むことを特徴とする、請求項5に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項7]
 前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも1つを含むことを特徴とする、請求項5に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項8]
 前記撮像された部位における前記第1の内視鏡画像の数が他の部位に比して少ない場合、前記第1の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも1つを使用することによって、全ての部位における前記第1の内視鏡画像の数が実質的に等しくなるようにされていることを特徴とする、請求項3~7のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項9]
 前記訓練されたニューラルネットワークは、前記第2の内視鏡画像が撮像された部位に対応する情報が出力可能とされていることを特徴とする、請求項3~8のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項10]
 前記訓練されたニューラルネットワークは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項9に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項11]
 前記第1の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも1つを含むことを特徴とする、請求項1~10のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項12]
 前記第1の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項1~10のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項13]
 前記第1の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを区分して出力することを特徴とする、請求項1~10のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項14]
 前記第2の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも1つであることを特徴とする、請求項1~13のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項15]
 前記ニューラルネットワークとして畳み込みニューラルネットワークを用いることを特徴とする、請求項1~14のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
[請求項16]
 内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
 前記コンピュータは、
 消化器官の第1の内視鏡画像を記憶する第1の記憶領域と、
 前記第1の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つの確定診断結果を記憶する第2の記憶領域と、
 前記ニューラルネットワークプログラムを記憶する第3の記憶領域と、
を備え、
 前記ニューラルネットワークプログラムは、
 前記第1の記憶領域に記憶されている前記第1の内視鏡画像と、前記第2の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
 前記内視鏡画像入力部から入力された消化器官の第2の内視鏡画像に基いて、前記第2の内視鏡画像に対する消化器官の疾患の陽性及び/又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも1つを前記出力部に出力することを特徴とする、消化器官の内視鏡画像による疾患の診断支援システム。
[請求項17]
 前記第1の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項16に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項18]
 前記第1の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項16又は17に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項19]
 前記部位は、咽頭、食道、胃又は十二指腸の少なくとも1つを含むことを特徴とする、請求項18に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項20]
 前記部位は、前記複数の消化器官の少なくとも1つにおいて複数箇所に区分されていることを特徴とする、請求項18又は19に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項21]
 前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも1つを含むことを特徴とする、請求項20に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項22]
 前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも1つを含むことを特徴とする、請求項20に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項23]
 前記撮像された部位における前記第1の内視鏡画像の数が他の部位に比して少ない場合には、前記第1の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも1つを使用することによって、全ての部位における訓練/検証データの数が実質的に等しくなるようにされていることを特徴とする、請求項16~22のいずれか1項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項24]
 前記訓練されたニューラルネットワークプログラムは、前記第2の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする、請求項16~23のいずれか1項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項25]
 前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項24に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項26]
 前記第1の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも1つを含むことを特徴とする、請求項16~25のいずれか1項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
[請求項27]
 前記第1の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項16~25のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
[請求項28]
 前記第1の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも1つを区分して出力することを特徴とする、請求項16~25のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
[請求項29]
 前記第2の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも1つであることを特徴とする、請求項16~28のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
[請求項30]
 前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする、請求項16~29のいずれか1項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
[請求項31]
 請求項16~30のいずれか1項に記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、消化器官の内視鏡画像による診断支援プログラム。
[請求項32]
 請求項31に記載の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
[請求項33]
 ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、
 消化器官の第1の内視鏡画像と、
 前記第1の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練し、
 前記訓練されたニューラルネットワークは、消化器官の第2の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法。
[請求項34]
 内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、
 前記コンピュータは、
 消化器官の第1の内視鏡画像を記憶する第1の記憶領域と、
 前記第1の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第2の記憶領域と、
 前記ニューラルネットワークプログラムを記憶する第3の記憶領域と、
を備え、
 前記ニューラルネットワークプログラムは、
 前記第1の記憶領域に記憶されている前記第1の内視鏡画像と、前記第2の記憶領域に記憶されている確定情報とに基いて訓練されており、
 前記内視鏡画像入力部から入力された消化器官の第2の内視鏡画像に基いて、前記第2の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム。
[請求項35]
 請求項34に記載の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段として動作させるためのものであることを特徴とする、消化器官の内視鏡画像による消化器官の部位の判別プログラム。
[請求項36]
 請求項35に記載の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]