処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020129979 - 画像処理装置、方法及びプログラム

Document

明 細 書

発明の名称 画像処理装置、方法及びプログラム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008   0009   0010   0011   0012   0013   0014   0015  

発明の効果

0016  

図面の簡単な説明

0017  

発明を実施するための形態

0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054  

符号の説明

0055   0056   0057  

請求の範囲

1   2   3   4   5   6   7   8  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 画像処理装置、方法及びプログラム

技術分野

[0001]
 本開示は、セグメンテーション画像において割り当てられた関心領域を修正する画像処理装置、方法及びプログラムに関するものである。

背景技術

[0002]
 近年、CT(Computed Tomography)装置及びMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の3次元画像を用いての画像診断が可能となってきている。CT装置により取得したCT画像及びMRI装置により取得したMR画像等の医用画像に対して、臓器及び病変等の関心領域を自動でセグメンテーションし、セグメンテーションされた医用画像を可視化することで、診断及び治療等の支援に役立てられている。
[0003]
 上記セグメンテーションは、例えば画像処理技術を用いた自動臓器セグメンテーションエンジンを利用することにより行われている。このように自動で関心領域を抽出する場合、過抽出領域及び未抽出領域が発生する可能性があり、必ずしもセグメンテーションが適切に行われるとは限らない。自動臓器セグメンテーションエンジンを使用したセグメンテーションに失敗した場合には、自動で割り当てられた関心領域を手動で修正する必要がある。しかしながら手動により修正を行う場合には、修正すべき領域として指定した領域をどの関心領域に割り当てるのか選択する必要があり、セグメンテーションにより割り当てられた関心領域の数が多いほど、ユーザによる選択の負担が大きくなる。
[0004]
 そこで、特開2005-73817号公報、特表2012-505008号公報及び特開2003-180678号公報には、セグメンテーションされた医用画像において、セグメンテーションされた関心領域を適正範囲に調整するためのパラメータを調整することにより、関心領域を修正する技術が開示されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2005-73817号公報
特許文献2 : 特表2012-505008号公報
特許文献3 : 特開2003-180678号公報

発明の概要

発明が解決しようとする課題

[0006]
 しかしながら、特開2005-73817号公報、特表2012-505008号公報及び特開2003-180678号公報に記載された技術においては、セグメンテーションの処理条件であるパラメータを調整しているため、例えば1つの関心領域のみ割り当てられた領域を修正したい場合に対応するのは困難である。
[0007]
 本開示は、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正できるようにする。

課題を解決するための手段

[0008]
 本開示による画像処理装置は、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、
 セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、
 受付部が受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、
 優先順位取得部により取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、
 を含む。
[0009]
 なお、本開示の画像処理装置においては、優先順位取得部は、対象画像を複数の領域に分割する際のセグメンテーションアルゴリズムに基づいて取得された複数の領域の各領域のスコアに基づいて優先順位を取得することができる。
[0010]
 また、本開示の画像処理装置においては、各領域のスコアは、対象画像の各画素に対する存在確率であって、各画素が複数の領域の各領域に存在することを示す存在確率であってもよい。
[0011]
 また、本開示の画像処理装置においては、表示制御部は、入力部から入力される入力情報に基づいて、優先順位の高い順に前記割り当てる領域の候補を表示部に表示する制御を行なうことができる。
[0012]
 また、本開示の画像処理装置においては、表示制御部は、ユーザが指定した位置を、割り当てる領域の候補毎に予め設定された色で表示する制御を行なうことができる。
[0013]
 また、本開示の画像処理装置においては、表示制御部は、ユーザが指定した位置を、割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも1つの情報に対応付けて表示する制御を行なうことができる。
[0014]
 本開示の画像処理方法は、対象画像を複数の領域に分割したセグメンテーション画像を取得し、
 セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付け、
 受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得し、
 取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう。
[0015]
 なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムを提供してもよい。具体的には、本開示の画像処理プログラムは、
 対象画像を複数の領域に分割したセグメンテーション画像を取得することと、
 セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付けることと、
 受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得することと、
 取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なうことと、
 をコンピュータに実行させる。

発明の効果

[0016]
 本開示によれば、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正することができる。

図面の簡単な説明

[0017]
[図1] 本開示の実施形態による画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図
[図2] 本開示の実施形態による画像処理装置の概略構成を示す図
[図3] セグメンテーション画像において修正位置の指定を説明するための図
[図4] セグメンテーション画像の各領域を説明するための図
[図5] 本実施形態において行われる処理を示すフローチャート
[図6] 割り当てる領域の候補の表示の一例を説明するための図(その1)
[図7] 割り当てる領域の候補の表示の一例を説明するための図(その2)
[図8] 割り当てる領域の候補の表示の一例を説明するための図(その3)
[図9] 割り当てる領域の候補の表示の一例を説明するための図(その4)
[図10] 割り当てる領域の候補の表示の他の一例を説明するための図

発明を実施するための形態

[0018]
 以下、図面を参照して本開示の実施形態について説明する。図1は、本開示の実施形態による画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図1に示すように、診断支援システムでは、本実施形態による画像処理装置1、3次元画像撮影装置2、及び画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
[0019]
 3次元画像撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、及びPET(Positron Emission Tomography)装置等である。3次元画像撮影装置2により生成された3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、3次元画像撮影装置2はCT装置であり、被検体の診断対象となる部位を含むCT画像を3次元画像として生成する。なお、3次元画像は複数の断層画像からなる。なお、3次元画像が本開示の対象画像に対応する。
[0020]
 画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された3次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
[0021]
 画像処理装置1は、1台のコンピュータに、本実施形態の画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
[0022]
 図2は、コンピュータに画像処理プログラムをインストールすることにより実現される画像処理装置の概略構成を示す図である。図2に示すように、画像処理装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12及びストレージ13を備えている。また、画像処理装置1には、液晶ディスプレイ等の表示部14、並びにキーボード及びマウス等の入力部15が接続されている。なお、本実施形態においては、入力部15としてホイール付のマウスを備えている。
[0023]
 ストレージ13はハードディスクドライブ等からなり、ネットワーク4を経由して画像保管サーバ3から取得した3次元画像及び処理に必要な情報を含む各種情報が記憶されている。
[0024]
 また、メモリ12には、画像処理プログラムが記憶されている。画像処理プログラムは、CPU11に実行させる処理として、対象画像から複数の関心領域を抽出し、対象画像を複数の領域に分割したセグメンテーション画像を生成するセグメンテーション処理と、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得処理と、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付処理と、受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得処理と、取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御処理とを規定する。
[0025]
 そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、セグメンテーション処理部20、画像取得部21、受付部22、優先順位取得部23、及び表示制御部24として機能する。
[0026]
 セグメンテーション処理部20は、後述する画像取得部21が取得した3次元画像から複数の関心領域を抽出し、3次元画像を複数の領域に分割したセグメンテーション画像を生成する。このために、セグメンテーション処理部20は、3次元画像から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、骨及び軟骨等の構造物を関心領域として抽出するように、ディープラーニング(深層学習)がなされた畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、及びリカレントニューラルネットワーク(RNN(Recurrent Neural Network))等のニューラルネットワークからなる。本実施形態においては、学習済みモデルが本開示のセグメンテーションアルゴリズムに対応する。なお、診断の対象となる臓器は、心臓、肝臓、肺、腎臓及び脳等が挙げられる。学習済みモデルは、3次元画像が入力されると3次元画像の各画素が関心領域であるか否かを表す判別結果を出力する。判別結果は、各画素が各関心領域に割り当てられる存在確率である。
[0027]
 ここで、「存在確率」は、各画素が各関心領域に存在することを示す確率である。そして、セグメンテーション処理部20は、3次元画像の全領域のうち、最も存在確率の高い領域をその関心領域に割り当てることによりセグメンテーション画像を生成する。本実施形態においては、セグメンテーション処理部20により出力される各画素の存在確率はストレージ13に記憶される。
[0028]
 なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))、アダブースト(AdaBoost)、およびランダムフォレスト(RandomForest)等からなるものであってもよい。また、セグメンテーション処理部20は、機械学習がなされた学習モデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
[0029]
 画像取得部21は、関心領域を含む3次元画像を画像保管サーバ3から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、骨及び軟骨等の構造物の領域である。なお、3次元画像が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13から3次元画像を取得するようにしてもよい。また、画像取得部21は、セグメンテーション処理部20により生成されたセグメンテーション画像を取得する。
[0030]
 受付部22は、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける。図3はセグメンテーション画像Dkにおいて修正位置の指定を説明するための図である。セグメンテーション画像Dkは、セグメンテーション処理部20により複数の領域に分割された3次元画像を構成する複数の断層画像のうちの1枚の断層画像であり、表示部14に表示される。なお、表示するセグメンテーション画像Dkは、アキシャル断面、サジタル断面及びコロナル断面のいずれの断面の断層画像であってもよい。
[0031]
 図3に示すように、セグメンテーション画像Dkにおいては、セグメンテーション処理部20により各関心領域31~35が割り当てられている。なお、各関心領域31~35はマスクとしてセグメンテーション画像Dkに含まれる。マスクは、各関心領域31~35毎に異なる表示パターンで表されており、輪郭のみを表すものであってもよく、ハッチングが施されたものであってもよく、予め定められた色により塗りつぶされたものであってもよい。以降の説明において、各関心領域31~35は、セグメンテーション画像Dkにおいて、マスクされた領域を意味するものとする。
[0032]
 図3に示すセグメンテーション画像Dk上において、ユーザは入力部15を用いて、割り当てられた領域において修正したい位置を指定する。位置の指定は、一例として表示部14に表示された円形のカーソルAを用いて行うことができる。なお、カーソルAの形状は円形に限定されるものではなく、矩形、三角形及び矢印形状等、任意の形状とすることができる。また、カーソルAの大きさは、ユーザにより予め任意に設定することができる。カーソルAの大きさ及び形状等は、診断対象となる部位によって予め設定されていてもよい。
[0033]
 受付部22は、ユーザによるカーソルAを用いての修正指示を受け付ける。この場合、ユーザは入力部15のマウスを用いてカーソルAを移動して、修正したい領域上にカーソルAを移動させる。受付部22はカーソルAのセグメンテーション画像Dk上の位置情報を受け付ける。
[0034]
 優先順位取得部23は、受付部22が受け付けた位置情報が示すセグメンテーション画像Dk上の位置に対して、割り当てる領域の優先順位を画像情報に基づいて取得する。セグメンテーション画像Dkは、セグメンテーション処理部20によりセグメンテーション処理が行われた際に、各々の関心領域31~35が示す部位の名称が付帯情報として付与されている。また、セグメンテーション処理部20により出力された各画素毎の各関心領域に割り当てられる存在確率も、付帯情報として付与されて、ストレージ13に保存されている。
[0035]
 図4はセグメンテーション画像の各領域を説明するための図である。受付部22が受け付けた位置情報が示すセグメンテーション画像Dk上の位置、すなわちカーソルA内の領域は、例えば図4に示すように、関心領域31が示す部位aである存在確率が45%、関心領域32が示す部位bである存在確率が40%、関心領域34が示す部位cである存在確率が10%、関心領域35が示す背景である存在確率が4%、及び、関心領域33が示す部位dである存在確率が1%であるとする。ここで「背景」は、どの部位にも当てはまらない領域とする。例えば、セグメンテーション処理部20が、部位a及び部位bのみをセグメンテーションする場合には、部位a及び部位bに当てはまらない領域が背景となる。なお、部位dを示す関心領域33は、カーソルAから最も離れた領域であるため、最も存在確率が低くなる。
[0036]
 なお、セグメンテーション画像Dkにおいて、存在確率は各画素毎に出力される。従って、カーソルA内の領域に対応する存在確率は、カーソルA内の領域を構成する全画素における存在確率の代表値として求められる。代表値としては、存在確率の平均値、中央値、最大値及び最小値等を用いることができる。また、存在確率が予め定められた閾値以上となる領域についてのみの存在確率の代表値をカーソルA内の領域に対応する存在確率としてもよい。優先順位取得部23は、図4に示す存在確率の高い順に優先順位を高く設定した優先順位を取得する。
[0037]
 表示制御部24は、画像取得部21により取得された3次元画像及びセグメンテーション画像Dk等を表示部14に表示する制御を行なう。また、表示制御部24は、優先順位取得部23によって取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部14に表示する制御を行なう。なお、表示制御部24による割り当てる領域の候補の表示部14への表示については、後で詳細に説明する。本実施形態の画像処理装置1は以上のように構成される。
[0038]
 次に、本実施形態の画像処理装置1による一連の処理について説明する。図5は本実施形態において行われる処理を示すフローチャートである。図5に示すように、先ず、画像取得部21がセグメンテーション画像を取得して、表示制御部24が表示部14に表示させる(ステップST1)。次いで、受付部22が、上述したようにして、カーソルAの位置情報を受け付ける(ステップST2)。そして、優先順位取得部23が、上述したようにして、割り当てる領域の候補の優先順位を取得する(ステップST3)。
[0039]
 次に、表示制御部24が割り当てる領域の候補を表示部14に表示させる(ステップST4)。図4に示すように、図3に示すカーソルA内の領域においては、部位aである存在確率が最も高いので、セグメンテーション処理部20によるセグメンテーション処理の処理結果としては、カーソルA内の領域は部位aであり、関心領域31の表示パターンで示される。
[0040]
 しかしながら、セグメンテーション処理部20によるセグメンテーション処理の処理結果は必ずしも正確ではなく、セグメンテーション画像Dkに含まれる実際の関心領域とはならない場合がある。そのような場合、従来では、例えば塗り潰しツール等により手動で領域の修正を行うことがあった。例えば、図4に示す場合には、部位b、部位c、背景、及び部位dが割り当てる領域の候補となるが、この候補が多ければ多いほど、どの領域に割り当てればよいのかの判断が煩雑となり、ユーザへの負担が大きくなってしまっていた。
[0041]
 そこで、本実施形態においては、表示制御部24が割り当てる領域の候補を優先順位の高い順に表示部14に表示させる制御を行なう。図6~図9は各々、割り当てる領域の候補の表示の一例を説明するための図である。本実施形態においては、優先順位取得部23により取得された割り当てる領域の候補の優先順位は、図4に示すように、優先順位の高い順に、部位b、部位c、背景、及び部位dとなる。
[0042]
 先ず、表示制御部24は、図6に示すように、カーソルA内の領域を、割り当てる領域の候補の優先順位が最も高い「部位b」が示す関心領域32の表示パターンで表示させる。そして、ユーザによりマウスホイールが操作されると、図7に示すように、カーソルA内の領域を、割り当てる領域の候補の優先順位が部位bの次に高い「部位c」が示す関心領域32の表示パターンで表示させる。再度、ユーザによりマウスホイールが操作されると、図8に示すように、カーソルA内の領域を、割り当てる領域の候補の優先順位が部位cの次に高い「背景」が示す領域35の表示パターンで表示させる。
[0043]
 そして、また再度、ユーザによりマウスホイールが操作されると、図9に示すように、カーソルA内の領域を、割り当てる領域の候補の優先順位が背景の次に高い「部位d」が示す領域35の表示パターンで表示させ、次にユーザによりマウスホイールが操作されると、表示制御部24は、図4に示す元の表示状態に戻す。そして、ユーザにより割り当てる領域の候補が選択されるまで、上記の表示制御を繰り返し行う。
[0044]
 次いで、CPU11は、割り当てる領域の候補が選択されたか否かを判断し(ステップST5)、ユーザにより割り当てる領域の候補が選択されたと判断した場合に(ステップST5;YES)、ユーザにより選択された候補の領域に割り当てる領域を変更する。なお、候補を選択する指示は、例えば入力部15であるマウスの右クリック又は予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
[0045]
 一方、ステップST5にて、ユーザにより割り当てる領域の候補が選択されていないと判断した場合に(ステップST5;NO)、一連の処理を終了する。なお、候補を選択しない指示は、例えば入力部15であるエスケープ(Esc)ボタンの押下等とすることができるが、これらに限定されるものではない。
[0046]
 このように、本実施形態によれば、ユーザが指定した位置に対して、割り当てる領域の優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補が表示部14に表示される。このため、ユーザは、割り当てる領域の候補が多い場合であっても、どの領域に割り当てればよいのかを容易に視認することができるので、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正することができる。
[0047]
 なお、上記実施形態において、優先順位取得部23は、各画素に対する存在確率を取得したが本開示の技術はこれに限られない。例えば、セグメンテーション処理部20が対象画像を複数の領域に分割する際に、各画素に対する存在確率ではなく、領域毎に各領域である確率を示すスコアを取得している場合、各領域のスコアに基づいて優先順位を取得してもよい。なお、この場合スコアは確率であってもよい。
[0048]
 また、上記実施形態において、表示制御部24は、カーソルA内の領域を、図4、及び図6~図9に示す各関心領域31~35の表示パターンで表示したが、本開示の技術はこれに限られない。例えば、表示制御部24は、カーソルA内の領域を、各関心領域毎に予め定められた色で表示させてもよい。また、表示制御部24は、割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも1つの情報に対応付けてカーソルA内の領域を表示させてもよい。
[0049]
 図10は割り当てる領域の候補の表示の他の一例を説明するための図である。表示制御部24は、例えば図10に示すように、割り当てる領域毎に優先順位の高い順に番号を付与して表示させ、ユーザにより位置が指定された場合に、指定された位置の近傍に優先順位の高い順に、上記番号及び領域を示す表示パターンをプルダウンメニューにより、選択可能に表示させてもよい。なお、この場合、番号のみをプルダウンメニューにより表示させてもよいし、表示パターンのみをプルダウンメニューにより表示させてもよい。なお、番号に換えて、部位の名称を表示させてもよい。この場合、優先順位の高い部位の名称をプルダウンメニューの上位に表示する。
[0050]
 なお、上記実施形態においては、セグメンテーション処理部20は、画像処理装置1に設けられているが、本開示の技術はこれに限られない。例えば、外部に設けられたセグメンテーション処理部によって生成されたセグメンテーション画像を、ストレージ13及び画像保管サーバ3の少なくとも一方に保存しておき、画像取得部21が保存されたセグメンテーション画像を取得するようにしてもよい。この場合、セグメンテーション画像及びセグメンテーション処理部により出力される各画素に割り当てられる存在確率がストレージ13及び画像保管サーバ3の少なくとも一方に保存される。
[0051]
 また、上記実施形態において、例えば、セグメンテーション処理部20、画像取得部21、受付部22、優先順位取得部23、及び表示制御部24といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
[0052]
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
[0053]
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
[0054]
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。

符号の説明

[0055]
   1  画像処理装置
   2  3次元画像撮影装置
   3  画像保管サーバ
   4  ネットワーク
   11  CPU
   12  メモリ
   13  ストレージ
   14  ディスプレイ
   15  入力部
   20  セグメンテーション処理部
   21  画像取得部
   22  受付部
   23  優先順位取得部
   24  表示制御部
   31~35  関心領域
   A  カーソル
   Dk  セグメンテーション画像
[0056]
 2018年12月18日に出願された日本国特許出願2018-236662号の開示は、その全体が参照により本明細書に取り込まれる。
[0057]
 本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

請求の範囲

[請求項1]
 対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、
 前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、
 前記受付部が受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、
 前記優先順位取得部により取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、
 を含む画像処理装置。
[請求項2]
 前記優先順位取得部は、前記対象画像を複数の領域に分割する際のセグメンテーションアルゴリズムに基づいて取得された前記複数の領域の各領域のスコアに基づいて優先順位を取得する請求項1に記載の画像処理装置。
[請求項3]
 前記各領域のスコアは、前記対象画像の各画素に対する存在確率であって、前記各画素が前記複数の領域の各領域に存在することを示す存在確率である請求項2に記載の画像処理装置。
[請求項4]
 前記表示制御部は、入力部から入力される入力情報に基づいて、優先順位の高い順に前記割り当てる領域の候補を前記表示部に表示する制御を行なう請求項1から3の何れか1項に記載の画像処理装置。
[請求項5]
 前記表示制御部は、ユーザが指定した位置を、前記割り当てる領域の候補毎に予め設定された色で表示する制御を行なう請求項1から4の何れか1項に記載の画像処理装置。
[請求項6]
 前記表示制御部は、ユーザが指定した位置を、前記割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも1つの情報に対応付けて表示する制御を行なう請求項1から5の何れか1項に記載の画像処理装置。
[請求項7]
 対象画像を複数の領域に分割したセグメンテーション画像を取得し、
 前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付け、
 受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得し、
 取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう画像処理方法。
[請求項8]
 対象画像を複数の領域に分割したセグメンテーション画像を取得することと、
 前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付けることと、
 受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得することと、
 取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なうことと、
 をコンピュータに実行させる画像処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]