Parte del contenido de esta aplicación no está disponible en este momento.
Si esta situación persiste, contáctenos aComentarios y contacto
1. (WO2019021646) MEDICAL IMAGING DEVICE AND IMAGE PROCESSING METHOD
Document

明 細 書

発明の名称 医用撮像装置及び画像処理方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007   0008  

課題を解決するための手段

0009   0010   0011  

発明の効果

0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077  

符号の説明

0078  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 医用撮像装置及び画像処理方法

技術分野

[0001]
 本発明は、超音波診断装置、MRI装置、CT装置等の医用撮像装置に係り、特に医用撮像装置で取得した3次元画像や時系列2次元又は時系列3次元画像から所定の断面を選択し、表示させるための技術に関する。

背景技術

[0002]
 医用撮像装置は、対象となる部位の形態画像を取得した後、画像を表示するだけでなく、形態情報や機能情報を定量的に取得する用途でも用いられる。このような用途として、例えば、超音波診断装置における、胎児の成長を観察するための推定体重計測がある。このような計測は、大きく分けて、画像取得、計測画像の選択、計測の3つの工程により行われる。画像取得の工程では、対象部位周辺を連続に撮像して、複数枚の2次元断面画像、またはボリュームデータを取得する。計測画像の選択の工程では、取得したデータから計測に最適な断面画像を選択する。計測の工程では、胎児の推定体重計測であれば頭部、腹部、脚部の各部位を計測し、計測値に対し、所定の計算式に従った計算を行い、体重を算出する。頭部や腹部の計測は、表面のトレースを必要とし、検査に時間がかかっていたが、近年では、トレースを自動で行い、所定の計算まで行う自動計測技術の提案されている(特許文献1等)。この技術により計測のワークフロー改善が実現されている。
[0003]
 しかし、検査にもっとも時間と手間をかかるのは画像取得後の計測画像の選択である。特に胎児の場合は被検査者の腹部内部について、計測断面の存在場所の推定と描出が難しく、断面の取得に時間がかかる。胎児検査に必要な断面の取得が難しいという課題に対し、特許文献2には、3次元データから高エコー領域を抽出し、抽出した高エコー領域の3次元特徴に基いて断面を選択することが開示されている。具体的には、断面選択において、予め用意した3次元の特徴を示すテンプレートとのマッチングを行い、それらが一致する場合に、断面と決定する。

先行技術文献

特許文献

[0004]
特許文献1 : 国際公開2016/190256号公報
特許文献2 : 国際公開2012/042808号公報

発明の概要

発明が解決しようとする課題

[0005]
 一般に超音波画像の特徴として、撮像者や撮像回次ごとに撮像される画像データが異なること(撮像者依存性)と、撮像対象の体質や疾患により撮像される画像データが異なること(撮像対象依存性)が挙げられる。撮像者依存性は、超音波を照射し断面画像またはボリュームデータとして取得する体内の領域の探索を撮像の都度、人手で行うため、同一患者に対し同一検査者が検査を行ったとしても取得データを完全に一致させることが難しいことから生じる。また、撮像対象者依存性は、患者の体質により音波の体内伝搬速度および減衰率が異なること、患者の疾患や個人差により異なる患者間では臓器の形状が完全に一致しないことから生じる。つまり、計測に理想的な画像は、撮像者依存性および撮像対象者依存性の影響により、撮像回次や患者によらず取得することが難しい。取得されたデータには理想的な位置に対するずれ、画像の不鮮明、特徴的な形状の差異などが生じる。
[0006]
 特許文献2に開示された技術は、予め用意したテンプレートとのマッチングによって断面を決定するため、上述した撮像者依存性や撮像対象依存性に対応することができない。
[0007]
 MRI装置やCT装置では、超音波診断装置に比べ撮像者依存性は少ないが、個人差や同じ個人でも心臓や肺など時系列画像において形態変化がある場合、テンプレートとのマッチングで断面を決めることは困難である。
 また近年、画質の向上や特定疾患の判定などにDL(Deep Learning)技術を適用することが試みられているが、DLで高い精度の識別力を達成するためには、高い処理能力を持つハードウェアが必要となり、また処理に要する時間も長くなるため、従来の医用撮像装置や処理の高速性が要求される医用撮像装置に搭載することは困難である。
[0008]
 そこで、本発明は、医用撮像装置で取得した3Dボリュームデータ、または時間的に連続撮像した2D又は3D画像や3Dボリュームデータから、診断や計測に用いる所定の断面を決定する際に、撮像者依存性や撮像対象依存性の問題を回避して、高精度且つ高速で断面を自動抽出する技術を提供することを課題とする。

課題を解決するための手段

[0009]
 上記課題を解決するため、本発明は、処理対象のデータから選択した複数の断面について、抽出すべき断面(目的断面)との空間的或いは時間的距離を識別スコアとして出力するように学習され、目的断面の抽出に適し且つ医用撮像装置に容易に搭載可能な学習済の学習モデルを提供する。そして、処理対象の断面画像の適性スコアを機械学習で得られたモデルを用いて算出することで、目的断面画像の抽出を高精度に実現する。
[0010]
 すなわち、本発明の医用撮像装置は、被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから所定の断面を抽出する処理を行う画像処理部と、を備え、前記画像処理部は、複数の断面画像データに対し所定の断面との空間的又は時間的近さを、識別スコアとして出力するように予め学習された学習モデルを導入するモデル導入部と、前記画像データから複数の断面画像を選択し、選択した断面画像に対し前記学習モデルを適用した結果に基づき所定の断面を抽出する断面抽出部と、を備える。学習モデルは、学習済モデルの特徴量抽出層と未学習モデルの識別層とを融合し縮小化した学習モデルであり、融合前の学習済モデルよりも簡易な層構成からなる。
[0011]
 また本発明の画像処理方法は、撮像データから、処理対象となる目的断面を決定し、提示する画像処理方法であって、複数の断面画像について目的断面画像との空間的又は時間的近さを識別スコアとして出力するように学習された学習モデルを用意するステップと、当該学習モデルを用いて、前記撮像データから選択した複数の断面画像について前記識別スコアの分布を得て、当該分布に基き前記目的断面を判定するステップと、を含む。前記学習モデルは、前記撮像データを構成する複数の断面画像と目的断面画像とを学習データとして学習した学習済モデルの特徴量抽出層と、未学習モデルの識別層とを融合し、再学習した縮小化モデルである。

発明の効果

[0012]
 本発明によれば、学習モデルを断面抽出に適用することで、計測に最適な断面画像の自動抽出において、手技依存性の軽減、検査時間の短縮を実現できる。また、学習モデルとして、高精度な複雑なモデルを、その精度を維持したまま縮小した簡素な縮小化モデルを用いることで、医用撮像装置において標準的な画像処理部の規模を維持したまま、学習モデルを装置に搭載することができ、且つ高速処理が可能となる。

図面の簡単な説明

[0013]
[図1] 医用撮像装置の全体構成を示す図
[図2] 第一実施形態の画像処理部の要部の構成を示す図
[図3] 第一実施形態の画像処理部の処理工程を示すフローチャート
[図4] 第二実施形態の医用撮像装置(超音波診断装置)の構成を示すブロック図
[図5] 学習モデルの融合・縮小化を説明する図
[図6] CNNを用いた学習モデルの融合・縮小化を説明する図
[図7] 学習モデルの学習過程を説明する図
[図8] 第二実施形態の断面選択処理を説明する図
[図9] 第二実施形態の断面抽出の処理工程を示すフローチャート
[図10] 第二実施形態の断面選択における探索領域を説明する図
[図11] 第二実施形態の抽出断面の調整工程を示すフローチャート
[図12] 抽出断面の表示例と断面調整のGUIを示す図
[図13] 胎児の体重計測における計測断面を説明する図
[図14] (a)~(c)は、図13の各計測断面における計測位置を示す図
[図15] 時系列2D画像の取得及びデータメモリからの断面群生成を説明する図

発明を実施するための形態

[0014]
 以下、本発明の実施形態を、図面を用いて説明する。
<第一実施形態>
 本実施形態の医用撮像装置10は、図1に示すように、被検体を撮像し、画像データを取得する撮像部100と、撮像部100が取得した画像データに対し画像処理を行う画像処理部200と、撮像部100が取得した画像或いは画像処理部200が処理した画像を表示する表示部310と、撮像部100や画像処理部200の処理に必要な指令やデータをユーザが入力するための操作入力部330とを備える。表示部310及び操作入力部330は、通常、近接して配置され、ユーザーインターフェイス(UI)300として機能する。医用撮像装置10は、さらに撮像部100が得た画像データや画像処理部200が処理に用いるデータや処理結果などを格納する記憶装置350を備えていてもよい。
[0015]
 撮像部100の構成は、モダリティによって異なり、MRI装置であれば、静磁場中に置かれた被検体から磁気共鳴信号を収集するための磁場発生手段等が備えられる。またCT装置であれば、被検体にX線を照射するX線源や被検体を透過したX線を検出するX線検出器及びX線源とX線検出器とを被検体の周りで回転させる機構などが備えられる。超音波診断装置では被検体に超音波を送信し、被検体からの反射波である超音波を受信して超音波画像を生成する手段を備える。撮像部において画像データを生成する手法もモダリティにより異なるが、最終的にはボリュームデータ(3D画像データ)或いは時系列の2D画像データ又はボリュームデータを得る。以下では、これらをまとめてボリュームデータとして説明する。
[0016]
 画像処理部200は、撮像部100から入力した3Dボリュームデータから所定の断面(目的断面という)を抽出する断面抽出部230、及び3Dボリュームデータに含まれる複数の断面の情報を入力し、各断面の特徴から、断面と目的断面との近さを表すスコアを出力する学習モデル(識別器)を断面抽出部230に導入するモデル導入部250を備える。目的断面は、診断の目的や断面に対する画像処理の目的によって異なるが、ここでは断面に含まれる構造体、例えば所定の臓器や部位の大きさ(幅、長さ、直径、周囲長など)を計測するのに適した断面とする。さらに、画像処理部200には、断面抽出部230が抽出した断面の画像データに対しさらに計測その他の演算を施す演算部210や断面抽出部230が抽出した断面や演算部の結果等を表示部310に表示させるための表示制御部270を備えていてもよい。
[0017]
 断面抽出部230が使用する学習モデルは、目的断面が既知であるボリュームデータの目的断面画像を正解画像として、その3Dボリュームデータに含まれる多数の断面画像と正解画像との類似度をスコアとして出力するように学習した機械学習モデルであり、例えば、CNN(畳み込みニューラルネットワーク)で構成することができる。また本実施形態の学習モデルは、高度に学習した学習済モデル(第一の学習済モデル)と、それより層数が少ない未学習モデルとを融合して作成した縮小化モデル(第二の学習済モデル)である。縮小化モデルは、融合後に学習済CNNと同様の学習が行われている。第一の学習済モデルは、層数が多く、学習に要する繰り返し回数が多いが、学習の精度が高いものである。縮小化モデルは、このように高い精度で学習されたモデルの各層の一部、例えば特徴量抽出層を含む特に高精度に学習した層と、未学習モデルのうち学習の寄与が比較的少ない層、例えばCNNの下層側の識別層とを結合したものであり、第一の学習済モデルより層数が少ない簡易な構成となっている。学習モデルとして、このような縮小化モデルを用いることで、医用撮像装置への搭載が可能となり、また画像処理部200の処理時間を短縮することができる。学習モデルの具体的な構造や学習過程については後述の実施形態において詳述する。
[0018]
 学習モデル(縮小化モデル)は、医用撮像装置10において或いは医用撮像装置10とは独立した計算機等で予め作成され、記憶装置350に格納されている。識別タスクの違いにより複数の縮小化モデルを格納しても良い。例えば、計測対象の断面が複数存在する場合には、計測対象ごとに例えば、頭部、胸部、脚部のそれぞれについて、作成される。また目的断面の種類が、複数ある場合には、目的断面の種類に応じて作成される。縮小化モデルが複数存在する場合には、モデル導入部250が識別タスクに応じて必要なモデルを呼び出し、断面抽出部230に渡す。
[0019]
 このためモデル導入部250は、図2に示すように、記憶装置から処理目的に適合する学習モデル220を読出し保存するモデル保存部251と、モデル保存部251から学習モデルを呼び出し、断面抽出部230に適用するモデル呼出部253と、を備える。また断面抽出部230は、ボリュームデータ240から複数の断面の画像データを選出する断面選出部231と、断面選出部231が選出した断面の画像データについて、モデル導入部250が読み出した学習モデルを用いて、当該断面と目的断面との近さを表すスコアを出力する断面識別部233と、断面識別部233の出力であるスコアを解析し目的断面を決定する判定部235とを備える。
[0020]
 このような画像処理部200の機能の一部又は全部は、CPUが実行するソフトウェアとして実現することができる。また撮像部の画像データ作成に係る部分や画像処理部の一部はASIC(Application Specific Integrated Circuit)やFPGA(Field Programable Gate Array)などのハードウェアで実現してもよい。
[0021]
 以上の、構成を踏まえ、本実施形態の医用撮像装置の動作、主として画像処理部200の処理の流れを、図3を参照して説明する。ここでは撮像と画像表示とを並行して実行する場合を例に説明する。
[0022]
 まず前提として、例えば、操作入力部330を介して、ユーザによる目的断面の種類が選択される。目的断面の種類とは、計測のための断面か構造体の延びる方向を確定するための断面かなど目的の違いによる種類、及び計測の対象(部位や臓器か或いは胎児か)の違いによる種類などがある。このような入力は、撮像条件の設定時に行ってもよいし、撮像条件が設定されるとデフォルトで設定されるようにしてもよい。
[0023]
 撮像部100が撮像して得た3D画像データを受け取ると、断面選出部231が3D画像データから複数の断面を選出する(S301)。ここで目的断面の画像空間における方向がわかっている場合には、その方向に平行な複数の断面を選出し、断面識別部233に渡す。例えば、Z軸を体軸方向とするとき、XY面であることがわかっているときには、XY面を所定の間隔で選出する。ボリュームデータに含まれる構造体(組織や部位)によって目的断面は、一定に定まらないので、その場合は、種々の方向の断面を選出する。断面選出の仕方は、所謂「粗‐密アプローチ(coarse to fine approach)」とすることが好ましい。このアプローチでは、断面選出部231による選出と断面識別部233による識別とを繰り返しながら、繰り返し毎に、断面を選出する領域(探索領域という)を比較的広い領域から狭い領域に狭めていく。探索領域が狭まるにつれ、選出する断面の間隔を狭くし、さらに断面の角度の数を増やしてもよい。
[0024]
 一方、モデル導入部250は、予め設定された目的断面の種類に応じて記憶装置350から学習モデルを読出し、モデル保存部251に保存しておく。断面選出部231が選出した断面を断面識別部233に渡すと、モデル呼出部252はモデル保存部251から適用すべき学習モデルを呼び出す。断面識別部233は、この呼び出された学習モデルを用いて、選出された断面の特徴抽出と識別とを行い、識別結果であるスコアの分布を出力する(S302)。スコアの分布は、目的断面と処理対象である断面との類似度を示すスコアを、複数の断面の目的断面からの距離に対しプロットした分布であり、スコアが高いほど目的断面との空間的距離が近づく分布となる。スコアの分布は、目的断面と一致する断面のスコアを1とし、0~1の間の数値を取る。
[0025]
 識別結果判定部235は、断面識別部233の結果であるスコアの分布を受け取り、最終的にスコアが最もよいもの、上述の例ではスコアが1或いは最も1に近い断面を目的断面と決定する(S303)。
[0026]
 こうして断面抽出部230によって目的断面が抽出されると、表示制御部250はこの断面を表示部310に表示させる(S304)。或いは演算部240が自動計測機能を備える場合には、この断面に存在する構造体の計測を行い、その結果を、表示制御部250を介して表示部310に表示させる(S305)。識別タスクが複数ある場合、或いはユーザ調整により再処理が必要な場合は、ステップS301に戻り(S306)、S301~S304(S305)を繰り返す。
[0027]
 本実施形態によれば、予め目的断面と最も近い断面を識別するように学習したモデル(識別器)を用いることで、短時間に且つ自動的に目的断面を決定することができる。また本実施形態によれば、学習モデルは、予め高度に学習したモデルの層の一部と、構造が比較的簡単な未学習のモデルの層の一部とを融合し、再学習したものであるので、撮像装置への実装が容易で且つ学習モデルによる処理時間を大幅に短縮できる。その結果、撮像から目的断面表示或いは目的断面を用いた計測までの時間を短縮し、リアルタイム性を高めることができる。
[0028]
 なお第一実施形態では、処理の対象が3Dボリュームデータの場合を例に説明を行ったが、時系列データの場合も同様に適用することができる。即ち、時系列データは、例えば時系列2D画像データの場合、3Dの一つの次元が時間の次元に置き換わったものであり、種々の時相の断面画像で構成されている。このうち、所定の時相の画像を目的断面とするとき、撮像中の時系列2D画像データを所定の時間単位で、画像処理部200に入力し、上述した処理を行うことで、目的の時相の断面を自動的に識別し表示させることができる。
[0029]
 また時系列2D画像データに目的断面が含まれない場合には、撮像を連続して行いながら画像処理部200による処理を平行して行うことで、目的断面の探索を行うことができる。
 なお時系列2D画像データの場合には、断面選出部231は、撮像断面(一方向の面)のみを選出すればよいので、高速な処理が可能となる。また所定の間隔で撮像される撮像断面を全て選択してもよい。
[0030]
 以上、モダリティに関わりなく適用可能な本発明の実施形態を説明した。以下では、本発明を超音波撮像装置に適用した実施形態を説明する。
[0031]
<第二実施形態>
 まず図4を参照して、本発明が適用される超音波診断装置の構成を説明する。本実施形態の超音波診断装置40は、超音波撮像部400として、探触子410と、送信ビームフォーマ420と、D/Aコンバータ430と、A/Dコンバータ440と、ビームフォーマメモリ450と、受信ビームフォーマ460とを備え、さらに、画像処理部470と、表示部480と、操作入力部490を備える。
[0032]
 探触子410は、所定の方向に沿って配列された複数の超音波素子で構成される。各超音波素子は、例えば、セラミックで生成されたセラミック素子である。探触子410は、検査対象101の表面に接するよう配置される。
[0033]
 送信ビームフォーマ420は、D/Aコンバータ430を介して複数の超音波素子の少なくとも一部から超音波を送信させる。探触子410を構成する各超音波素子から送信される超音波それぞれに対して、所定の深度で集束するよう遅延時間を与え、所定の深度で集束する送信ビームを生成する。
[0034]
 D/Aコンバータ430は、送信ビームフォーマ420から送信パルスの電気信号を音響信号に変換する。また、A/Dコンバータ440は、探触子410において受信した、検査対象101の内部を伝播する過程で反射した音響信号を再び電気信号に変換し受信信号を生成する。
[0035]
 ビームフォーマメモリ450は、A/Dコンバータ440を介して、送信毎に、超音波素子の出力する受信信号に対して受信焦点ごとの整相遅延データを格納する。受信ビームフォーマ460は、A/Dコンバータ440を介して、送信毎に、超音波素子の出力する受信信号を受け取り、ビームフォーマメモリ450に格納された送信ごとの整相遅延データと受け取った受信信号から整相信号を生成する。
[0036]
 画像処理部470は、受信ビームフォーマ460で生成した整相信号を用いて超音波画像を生成し、撮像した3Dボリュームデータ、またはシネメモリ内に蓄積した2D断面画像群から計測に最適な画像を自動抽出する。このため、画像処理部470は、受信ビームフォーマ460で生成した整相信号を用いて超音波画像を生成するデータ構成部471と、データ構成部において生成された画像データを格納するデータメモリ472と、予め装置に搭載した縮小された機械学習モデルを導入するモデル導入部473と、機械学習モデルを用いて、データメモリ472から取得した3Dボリュームデータまたは蓄積した2D断面画像群から計測に最適な画像を自動抽出する断面抽出部474と、抽出断面に対して所定の部位の自動計測を行う自動計測部475と、ユーザ操作入力を受ける断面調整部476と、を備える。さらに図示していないが、ドプラ撮像を行う場合には、ドプラ信号を処理するドプラ処理部などを備えていてもよい。
[0037]
 データ構成部471の機能は、従来の超音波撮像装置と同様であり、Bモード或いはMモード等の超音波画像を生成する。
[0038]
 モデル導入部473及び断面抽出部474は、それぞれ、第一実施形態のモデル導入部250及び断面抽出部230に対応する機能を実現するものであり、図2に示した機能ブロック図と同様の構成を有する。即ち、モデル導入部473はモデル保存部とモデル呼出部を備え、断面抽出部474は、断面選出部(231)、断面識別部(233)、識別結果判定部(234)を備える。以下の説明において、適宜、図2を援用する。断面選出部231は、データメモリ472に格納されたデータのうち、1人の患者におけるボリュームデータまたは2D断面画像群を読み出す。また、データメモリから読み出すデータは、2次元断面を撮像した動画データ、または動的に更新された画像でも良い。断面識別部233は、モデル導入部473で導入した学習モデルを用いて断面選出部231により選出された対象断面画像群を識別する。識別結果判定部235は、断面識別部233の識別結果を分析し、識別を終了するか否かおよび次の断面選出範囲を決定する。
[0039]
 自動計測部475は、公知の自動計測アルゴリズムを組み込んだソフトウェアで構成することができ、抽出された1乃至複数の断面から、予め定められた部位のサイズ等の計測を行い、所定のアルゴリズムを用いてサイズ等の値から目的の計測値を算出する。
[0040]
 断面調整部476は、表示部480に表示された断面抽出部475による抽出断面について、ユーザによる修正や調整を、操作入力部490を介して受け付け、断面位置の変更やそれにともなく自動計測の再処理の指令を自動計測部475に与える。
[0041]
 表示部480は、画像処理部470において抽出された超音波画像及びその計測値と計測位置を表示する。操作入力部490は、ユーザ入力により抽出された断面の位置調整、断面の切り替え、計測位置の調整を受け付けるための入力デバイスからなる。画像処理部470はユーザ入力により一部の処理を再度行い、表示部480の表示結果を更新する。
[0042]
 次にモデル導入部473のモデル保存部251に保存された学習モデルについて説明する。
[0043]
 この学習モデルは、予め装置に搭載されている高精度の縮小化モデルである。この縮小化モデルは、図5に示すように、機械学習を用いて、学習データベース500から学習した高精度なモデル510と、未学習モデル530とを融合して再学習するモデル融合部により獲得され、精度を維持したまま、装置搭載可能な簡素なモデル550である。モデル融合部の機能は、超音波撮像装置40とは別の画像処理装置やCPU等で実現することが可能であるが、超音波撮像装置40がCPUを搭載する場合には、当該装置内のCPUで実現してもよい。また学習データベース500は、予め多数の画像データ、例えば胎児の各生長週の3D画像や計測に用いた断面画像を収納したものである。
[0044]
 縮小化した機械学習のモデルの具体的な構造について、Deep Learning(DL)の一つであるCNNを例に説明する。
[0045]
 図6に示すように、高い精度を担保するため、学習済み高精度のモデル510は深い層構成を持ち、層の前段において特徴量を抽出するための畳込層511を複数有する。層の後段においては特徴量の識別スコアを算出するための大きい次元のフルコネクション層(プーリング層)513をいくつか有する。畳込層511のうち、特に入力層に隣接する1乃至複数の層は特徴量抽出に寄与する層であり、特徴量抽出層515という。またフルコネクション層513に近い層は識別に寄与する層であり、識別層という。モデル510は、識別精度が高いがモデルサイズが大きく処理時間がかかる。一方、未学習モデル530はモデル510と同様に複数の畳込層及びフルコネクション層を有するが、層構成は簡素でサイズが小さく、例えば畳込層の数が学習モデル510より少なく、またフルコネクション層の次元数が小さい。未学習モデル530は、識別速度は速いが精度は高くない。
[0046]
 縮小化モデル550は、学習済みモデル510の層構成の一部である特徴量抽出層515と未学習モデル530の識別層531とをモデル融合させて、新たな層構成を構築し、さらに、学習データベース500を用いて再学習させたものである。
 なお、図5に示すモデル510,530及び550の層構成は、モデル縮小化の手法を説明するための一例であって、層構成は図示するものに限定されるものではなく、上述した縮小化手法に適用できる様々な層構成が含まれる。
[0047]
 次に、学習済モデル510の生成方法(学習過程)について、図7を参照して説明する。図7は高速かつ高精度な探索を実現するための学習モデル生成を示した図である。図7に示すように、学習用ボリュームデータ700から学習用計測断面群701と非計測断面群(計測断面ではない断面)702を生成し、これを学習データとして機械学習を行うことで、これらの計測断面と非計測断面の特徴が自動的に抽出される学習モデル710を得る。さらに、学習モデルは、入力した断面(識別断面)に対して計測断面らしさのスコア(識別スコアという)を算出し、複数の断面についてそれぞれ算出したスコアの分布(スコア分布)705を作成する。なお図では簡略した一次元に展開した分布を示しているが、実際には三次元的な分布となる。
 一般に、生体のボリュームデータにおいて、計測断面位置と空間的に近いほど断面の識別スコアが高くなる。従って、図7に示すように、スコア分布705は、計測断面位置を中心としたとき、中心で最も高く中心から離れるにつれてスコアが低下する分布となるはずである。
[0048]
 そこで学習モデルの学習過程において、学習モデルの出力であるスコア分布705を確認し、それが、計測断面位置と空間的に近いほど断面の識別スコアが高い分布、になるように、学習データを調整するとともにモデルを構成する各層の重み係数を調整して、機械学習を繰り返す。学習データの調整においては、生体の解剖学的な情報を用いて、非計測断面と計測断面の空間的な距離と取得位置を調整する。このような調整の繰り返しにより、識別スコアの分布から計測断面を探索するのに適した高精度の学習モデルが生成される。処理対象とする計測断面が複数ある場合には、複数の計測断面について、それぞれ学習モデルが生成される。
[0049]
 また学習データがボリュームデータではなく時間的に連続する2D断面の場合は、図7のスコア分布705の横軸を空間軸から時間軸に置き換えたスコア分布を生成する。そして、時間軸において計測断面の近いフレームの断面が計測断面と類似していることを利用し、計測断面に時間軸で近い位置ほど識別スコアが高い分布となるように、学習データのサンプリング間隔を調整する。これによりボリュームデータを学習データとしたときと同様に学習モデルが生成される。
[0050]
 このように学習した学習済のモデル510と未学習のモデル530とを融合した上述の縮小化モデル550についても同様の学習を行う。ただし、この再学習時においては、識別層531を中心に学習を行うように、学習済モデル510と未学習モデル530の学習率を調整する。即ち、学習済モデル510から転移した特徴量抽出層515の重み係数を保持し、未学習モデル530から転移した識別層531の学習率を高くする。これにより高精度と高速処理を両立した縮小化モデル500を獲得することができる。
[0051]
 上述した超音波撮像装置40の構成を踏まえ、本実施形態の断面抽出部474の各部による、計測に最適な断面を抽出する流れを説明する。
 ここでは一例として、胎児の頭部大横径(BPD)、腹部周囲長(AC)及び大腿骨長さ(FL)を計測し体重推定を行う場合を例に説明する。胎児の体重推定においては、まず、図8に示すように、機械式メカプローブまた電子式2Dプローブ410を用いて、検査対象である胎児101に対し、ボリュームスキャンし、データメモリ472にボリュームデータを保存する。断面抽出部474は、データメモリ472から取得したボリュームデータ800を呼び出し、決定された探索領域内の切断位置801から断面を切り出し、対象となる切断面群802を獲得する。切り出す断面は、ボリュームデータの軸(Z軸)に対し垂直な面、Z軸に平行な面、これらを偏角方向や仰角方向に回転させた面などを含む。
[0052]
 断面抽出の処理工程の具体的な実施形態を、図9を参照して詳述する。断面抽出処理は、ユーザが抽出開始の指示を行うことにより、開始される。計測開始の指示が、抽出開始の指示を兼ねていても良い。
[0053]
 断面抽出処理が開始されると、まず、断面抽出部474(図2:断面選出部231)が、データメモリ472より、操作者によりあらかじめ指定された1人の患者におけるボリュームデータまたは連続撮像した2D画像群を読み出し、処理の対象データに対して、入力形式と抽出対象の種類と抽出しようとする断面の種類を識別する(ステップS901)。入力形式の識別は、例えば3Dデータか2Dデータかを識別する。また、抽出対象の種類や断面の種類は、計測の目的に応じた抽出すべき部位や断面の種類が複数ある場合において、そのいずれかを識別する。
[0054]
 ステップS902は、断面を抽出する領域(探索領域)を広い領域から順次狭めていく「粗-密アプローチ」で行う。そのため、まず断面選出部(図2:231)は、初期の探索領域を決定し(ステップS902)、対象となる断面群を生成する(ステップ903)。「粗-密アプローチ」による探索領域の決定の一例を図10に示す。図10の(a)、(c)は、扇面の回転体であるボリュームデータを、模式的に回転軸を中心とする平面図で示したものである。初期の探索領域1001は(a)に示すように、このボリュームデータ全領域とし、偏角方向及び半径方向に比較的粗い間隔でサンプリング点(黒丸)1002を設定し、サンプリング点1002を通る回転体の接線方向の断面を抽出する。
[0055]
 次いで断面識別部(図2:232)は、抽出した断面群について、予めモデル導入部473により呼び出した学習モデル(図6:縮小化学習モデル550)を適用し、断面群を構成する各断面を識別して、目的断面との近さを示すスコアを取得する(ステップS904)。学習モデル550による処理は、断面群を構成する個々の断面を並列処理により行うことができ、最終的に個々の断面のスコアを集計したスコア分布が得られる。ステップS904で用いる学習モデルは、計測断面の種類、BPD計測断面、AC計測断面、及びFL計測断面、のそれぞれについて、図7に示したような学習過程により予め作成され、モデル保存部(251)に格納されており、モデル呼出部(252)が処理対象である計測断面に相当する学習モデルを導入する。
[0056]
 断面抽出部474は、学習モデルによる各断面の識別結果であるスコアの分布を解析し(ステップS905)、初期の探索領域1001より狭い領域に、探索領域を絞る。スコアの分布は、図7に示したように、横軸を目的断面からの距離とし、縦軸をスコアとしたもので、次の探索領域をピークに近い領域に絞る。ピークが複数ある場合には、複数のピークを含むように探索領域を決定する。図10(b)に示す例では、ステップS905の結果、次の探索領域の中心1003と探索範囲1004が決定し、決定した探索領域1004から、複数の断面群(白丸で示すサンプリング点を含む断面)を抽出する。この断面群についても、同様に学習モデルを適用してスコアの分布を取得し、さらに断面群を抽出する領域を絞る。
[0057]
 このようにステップS905では、スコア分布の解析結果に基づいて、探索領域が十分に絞られたか、計測に適した断面が見つかったかを判断し、探索終了するか否かを決定する(ステップS906)。探索を終了しない場合、結果の解析に基づいて計測断面らしい領域に近づく新たな探索領域を決定する(ステップS902)。
[0058]
 ステップS902からステップS906までの処理を複数回繰り返し、探索領域を絞り込みながら、最適な計測断面を抽出することで、高速かつ漏れなく探索することができる。なお、探索領域がある程度小さくなった時点で、断面の方向(角度)を偏角方向のみならず仰角方向に変化させてもよい。このように、探索領域の絞込みをループのように複数回繰り返すことで、少ない識別回数でスコアが高い計測断面を抽出することが可能となる。
[0059]
 ステップS906で探索終了と判定された場合、抽出した最適な計測断面に対して自動計測或いは適宜マニュアルによる計測を実施する(ステップS907)。最後に、抽出した断面、断面の空間上の情報、計測値及び計測位置、他の上位候補など複数の抽出結果を提示する(ステップS908)。提示した抽出結果を表示部480により表示し、終了する。
[0060]
 なお、断面の自動抽出は診断の補助機能であり、最終的な診断はユーザが決定する必要がある。本実施形態では、断面調整部476が操作入力部490の信号を受け付けることで、ユーザの好みにより簡単な操作で断面の調整、切り替え、計測の見直しを実現することができる。断面調整を行う場合のフローを図11に示す。断面調整は、上述した計測断面の抽出と表示が終了した後、ユーザの画面操作を受ける操作入力部490からの信号を受けることで処理を開始する。入力の信号に応じて、断面の調整、切り替え、計測の見直しのいずれが指示されたのか、入力操作の種類を識別する(ステップS911)。入力に応じて画面表示と、内部に保持する断面情報とをリアルタイムに更新する(ステップS912)。操作入力が終了するかどうかを判定する(ステップS913)。終了する場合、最終的な抽出断面を決定する(ステップS914)。その後、調整断面に対して自動計測を行う(ステップS915)こと、抽出断面と計測結果等情報を提示し(ステップS916)、表示部480により表示することは、図9に示すフローと同様である。
[0061]
 表示部480に表示される画面(UI)の一例を図12に示す。本図はAC計測断面を例に説明したものであり、表示画面1200上に、計測断面表示ブロック1210、断面候補表示ブロック1220、位置調整スライダ1230、断面の種類や計測値を示すブロックなどが表示される。計測断面表示ブロック1210には、断面抽出部474により抽出された計測断面1201を表示する。また計測断面1201において計測を行った位置1202と計測値1204を表示する。計測位置1202上にはユーザ操作によりドラッグ可能なマーカ1203を表示する。マーカ1203のドラッグ操作により、計測位置1202と計測値1204が更新される。
[0062]
 断面候補表示ブロック1220に、3次元ボリュームデータにおける各断面画像の空間的な位置関係1206を表示し、候補を選択するためのUI(候補の選択欄1207)を表示してもよい。抽出された計測断面をユーザが変更したい場合は、候補の選択欄1207を展開するとともに、抽出されなかった候補断面1208、1209を表示する。候補断面は、例えば抽出断面に近い位置にある断面や、スコアが高い断面であり、図では、2つ表示しているが、候補となる断面の数は3つ以上でもよい。また候補断面のいずれかを選択できるようボタン1208A、1209Aを設けてもよい。
[0063]
 位置調整スライダ1230は、例えば、ボリュームデータ上の任意の位置から断面画像を抽出できるよう位置調整するためのUIである。位置調整スライダ1230或いは候補ボタン1208A、1209B等をユーザが操作すると、操作に応じて操作入力部490は信号を断面調整部476に送信する。断面調整部476は、操作に応じて断面の更新、切り替え、計測位置の更新、計測値の更新など一連の処理を行ない、処理結果を表示部480に表示する。
[0064]
 計測対象断面が複数ある場合には、各断面について、図9及び図11に示す手順を繰り返し、計測結果を得る。前掲の例では、BPD計測断面、AC計測断面、及びFL計測断面、のそれぞれについて、計測結果を得る。
[0065]
 自動計測の具体例を、胎児の体重計測を例に説明する。胎児の体重計測は、図13に示すように、計測対象である胎児の構造1300に対して、胎児頭部断面1310からBPD(児頭大横径)を計測し、腹部断面1320からAC(腹部周囲長)を計測し、大腿骨部断面1330からFL(大腿骨長)を計測し、それらの計測値に基づいて胎児の体重を推測し、週数に応じた成長曲線と見比べ、胎児が順調に成長しているかを判断する。
[0066]
 胎児頭部断面では、図14(a)に示すように、頭蓋骨1311、正中線1312、透明中隔1313、及び四丘体槽1314などの構造特徴を有する断面を計測断面とすることが、ガイドラインにより推奨されている。計測対象は、国によって異なるが、例えば、日本においては胎児頭部断面からBPD(児頭大横径)1315を計測し、欧米においてはOFD(児頭前後径)1316、HC(児頭周囲長)1317を計測するのが一般的である。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測は、自動計測部475(図4)が、例えば、特許文献1に記載された手法などの自動計測技術により行うことができる。この技術では、頭部であれば、断層画像の特徴から頭部に対応する楕円を算出し、頭部の径を算出する。
[0067]
 胎児腹部断面では、図14(b)に示すように、腹部壁1321と、臍静脈1322と、胃胞1323と、腹部大動脈1324と、脊椎1325などの構造特徴を有する断面を計測断面とするがガイドラインにより推奨されている。一般的にAC(腹部周囲長)1326が計測される。地域によりAPTD(腹部前後径)1327、TTD(腹部横径)1328が計測される場合もある。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測手法は、頭部の場合と同様である。
[0068]
 胎児大腿骨部断面では、図14(c)に示すように、大腿骨1331と、大腿骨の両端である遠位端1332と、近位端1333などの構造特徴を有する断面がガイドラインにより推奨されている。この計測断面からFL(大腿骨長)1334が計測される。
 自動計測部475は、これら三断面において計測した各計測値(BPD、AC、FL)を用いて、例えば次式により推定体重を算出する。
 推定体重=a×(BPD) +b×(AC) ×(FL)
 (a、bは経験値から求められた係数で、例えばa=1.07、b=0.30である)
自動計測部475は算出した推定体重を表示部480に表示させる。
[0069]
 以上、胎児体重計測に必要なAC計測断面、BPD計測断面、FL計測断面の断面抽出を例に、超音波撮像装置の実施形態を説明したが、本実施形態は縮小化学習モデルをベースに識別と抽出を行うことが特徴であり、胎児の心機能を調べるための心臓の4CV断面(心臓四腔断面)、3VV断面(Three Vessel View)、左室流出路断面、右室流出路断面、大動脈弓断面の抽出や、胎児の羊水量を測定する羊水ポケットの計測断面の自動抽出に適用することも可能である。また、胎児に限らず、成人の心臓、循環器の計測や観察に必要な標準断面の自動抽出に適用することも可能である。
[0070]
 本実施形態によれば、高度学習モデルを用いることにより、撮像者依存性の高い断面抽出を自動的且つ高速に行うことができる。また高度に学習した層構成の大きい学習モデルと層構成が比較的簡易なモデルとを融合した縮小化モデルを用いることにより、超音波撮像装置への実装を容易にし、且つ処理の高速化を図ることができる。
[0071]
 さらに本実施形態によれば、断面抽出において、粗-密アプローチを採用することにより、高速に且つ漏れなく断面の探索を行うことができる。
[0072]
<第二実施形態の変形例>
 上述した実施形態では、1人の患者における1回の検査で撮像されたボリュームデータを処理する場合を説明したが、本実施形態は、一時刻前または過去数回にわたる検査で撮像された2D画像群についても適用できる。以下、入力データが時間的に連続する2D画像の場合を説明する。
[0073]
 図15は抽出対象が時間軸における連続2D断面である場合に、データの取得及びデータメモリからの断面群生成を示した図である。本実施形態において、検査対象である胎児101に対し、1Dプローブを移動しながら、時間的に連続撮像した2D断面がデータメモリ472に蓄積されている。データメモリ472から呼び出した断面データ1501に対して、時間軸上でサンプリングし、対象断面群1502を生成する。即ち、時間軸における探索領域を決定し、時間軸上のフレーム画像を選定する。探索領域の決定については、ボリュームデータと同様に、粗-密アプローチをとってもよい。
[0074]
 その後、断面識別部(233)において、予めモデル導入部473により呼び出した学習モデルを用いて対象断面群を識別する。識別結果の時間軸上の分布を解析し、計測に適した断面が見つかった時点で探索を終了し、測定断面を決定する。この画像処理と並行して撮像が連続行われている場合には、データメモリから呼び出す断面を、その時刻におけるユーザの撮像操作により更新しても良い。
[0075]
 なお図15ではデータメモリ472から2D断面データを呼び出す場合を示したが、読み出すデータは1回のスキャンで取得した3Dボリュームデータでも良いし、4Dモードで連続スキャンした複数の3Dボリュームデータでも良い。入力データが複数の3Dボリュームデータである場合、一つのボリュームデータから一つの断面抽出後に、ボリュームを更新し断面の抽出を行う。最終的に複数のボリュームデータから抽出した候補断面から、最終的に一つの断面を決定する。
[0076]
<その他の変形例>
 第二実施形態とその変形例は、本発明を超音波診断装置に適用した実施形態であるが、本発明はボリュームデータ或いは時系列データを取得可能な医用撮像装置であれば、全て適用することができる。また上述した実施形態では、画像処理部は医用撮像装置の構成要素である場合を説明したが、撮像と画像処理とを並行して行わない場合には、医用撮像装置(図1の撮像部100)から空間的或いは時間的に離れた画像処理装置或いは画像処理部において、本発明の画像処理を行うこともありうる。
[0077]
 さらに、上記した実施形態及び変形例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施形態に限定されるものではない。また、ある実施形態で説明した構成、機能、処理部、処理手段等は、それらの一部またはすべてを、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、またはICカード、SDカード、DVD等の記録媒体に置くことができる。

符号の説明

[0078]
10 医用撮像装置
40 超音波診断装置
100 撮像部
101 検査対象
200 画像処理部
230 断面抽出部
231 断面選出部
233 断面識別部
235 識別結果判定部
250 モデル導入部
251 保存部
253 モデル呼出部
300 ユーザーインターフェイス
310 表示部
330 操作入力部
350 記憶装置
410 探触子
420 送信ビームフォーマ
430 D/Aコンバータ
440 A/Dコンバータ
450 ビームフォーマメモリ
460 受信ビームフォーマ
470 画像処理部
471 データ構成部
472 データメモリ
473 モデル導入部
474 断面抽出部
475 自動計測部
476 断面調整部
480 表示部
490 操作入力部
500 学習データベース
510 学習済み高精度モデル
530 未学習の簡素モデル
550 高精度の縮小化モデル

請求の範囲

[請求項1]
 被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから所定の断面を抽出する処理を行う画像処理部と、を備え、
 前記画像処理部は、学習済モデルの特徴量抽出層と未学習モデルの識別層とを融合し縮小化した学習モデルであって、複数の断面画像データに対し所定の断面との空間的又は時間的近さを識別スコアとして出力するように予め学習された学習モデルを導入するモデル導入部と、前記画像データから複数の断面画像を選択し、選択した断面画像に対し前記学習モデルを適用した結果に基づき所定の断面を抽出する断面抽出部と、を備えることを特徴とする医用撮像装置。
[請求項2]
 請求項1に記載の医用撮像装置であって、
 前記モデル導入部は、抽出すべき断面の種類に応じて用意された複数の学習モデルを保存するモデル保存部と、前記複数の学習モデルのうち、前記断面抽出部が選択する複数の断面画像に対応する学習モデルを呼出し、前記断面抽出部に渡すモデル呼出部と、を備えることを特徴とする医用撮像装置。
[請求項3]
 請求項1に記載の医用撮像装置であって、
 前記断面抽出部は、前記撮像部が収集した画像データから複数の断面を選択する断面選出部と、前記断面選出部が選択した断面について前記学習モデルを適用する断面識別部と、前記断面識別器の結果を判定する識別結果判定部と、を備えることを特徴とする医用撮像装置。
[請求項4]
 請求項3に記載の医用撮像装置であって、
 前記断面抽出部は、前記識別結果判定部の判定結果に応じて、前記断面選出部及び前記断面識別部の処理を複数回繰り返し、前記断面選出部は、繰り返し毎に前記複数の断面を選択する前記画像データの領域を変更または縮小することを特徴とする医用撮像装置。
[請求項5]
 請求項1に記載の医用撮像装置であって、
 ユーザによる抽出断面の調整を受け付ける断面調整部を更に備え、
 前記断面抽出部は、前記断面調整部が受け付けた調整の指示に従い、処理の一部を再実行することを特徴とする医用撮像装置。
[請求項6]
 請求項5に記載の医用撮像装置であって、
 前記断面抽出部の処理結果を表示する表示部を更に備え、
 前記表示部は、前記断面抽出部による処理が再実行されると表示内容を更新することを特徴とする医用撮像装置。
[請求項7]
 請求項1に記載の医用撮像装置であって、
 前記撮像部が収集した画像データは、三次元のボリュームデータであることを特徴とする医用撮像装置。
[請求項8]
 請求項1に記載の医用撮像装置であって、
 前記撮像部が収集した画像データは、時系列画像データであることを特徴とする医用撮像装置。
[請求項9]
 請求項1に記載の医用撮像装置であって、
 前記撮像部は、超音波を送受信する探触子と、前記探触子が受信した超音波信号を用いて超音波画像を生成する画像生成部とを備えた超音波撮像部であることを特徴とする医用撮像装置。
[請求項10]
 撮像データから、処理対象となる目的断面を決定し、提示する画像処理方法であって、
 複数の断面画像について目的断面画像との空間的又は時間的近さを識別スコアとして出力するように学習された学習モデルを用意するステップと、
 当該学習モデルを用いて、前記撮像データから選択した複数の断面画像について前記識別スコアの分布を得て、当該分布に基き前記目的断面を判定するステップと、を含み、
 前記学習モデルは、前記撮像データを構成する複数の断面画像と目的断面画像とを学習データとして学習した学習済モデルの特徴量抽出層と、未学習モデルの識別層とを融合し、再学習した縮小化モデルであることを特徴とする画像処理方法。
[請求項11]
 請求項10に記載の画像処理方法であって、
 前記目的断面を判定するステップは、前記撮像データの所定の領域から複数の断面を選出するステップと、当該選出された複数の断面について前記識別スコアの分布を得るステップと、を繰り返し、繰り返し毎に複数の断面を選出する領域を狭めることを特徴とする画像処理方法。
[請求項12]
 請求項10に記載の画像処理方法であって、
 前記撮像データは、超音波撮像装置が取得した三次元ボリュームデータ又は時系列画像データであることを特徴とする画像処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]