このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018043585) 内視鏡装置、情報処理装置およびプログラム
Document

明 細 書

発明の名称 内視鏡装置、情報処理装置およびプログラム

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008  

課題を解決するための手段

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020  

発明の効果

0021  

図面の簡単な説明

0022  

発明を実施するための形態

0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104  

符号の説明

0105  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3   4   5   6   7   8   9   10   11   12  

明 細 書

発明の名称 : 内視鏡装置、情報処理装置およびプログラム

技術分野

[0001]
 本発明は、体内器官などを撮像し、必要に応じて処置等を行う内視鏡装置、情報処理装置およびプログラムに関し、特に、動画像の記録、再生処理に関する。

背景技術

[0002]
 内視鏡装置では、観察中あるいは処置/手術中、スコープによって撮影される画像を動画像として記録することが可能である。オペレータが、スコープ操作部あるいはプロセッサのフロントパネルなどに設けられたボタンを押下すると、動画像データがプロセッサと接続する外部記録装置あるいはプロセッサ内部のメモリに送られ、動画ファイルとして記録される(例えば、特許文献1参照)。
[0003]
 手術などの作業開始から作業終了までの全期間に渡って動画像記録を行った場合、動画像再生時には、所望するシーンを効率よく抽出することが望まれる。そのため、記録された動画像データの中から特定シーンの動画像部分を抽出し、再生表示できるように構成されている(特許文献2参照)。
[0004]
 具体的には、対外から体内へスコープを挿入したときなど撮影画像に変化が生じた場合、その変化を検知し、動画像記録データに編集ポイントをメタ情報として付加し、また、画像の種別、電気メス装置など周辺機器の使用状況をメタ情報として関連付けて記録する。
[0005]
 動画像再生前の編集画面では、編集ポイントが付与された一連のサムネイル(縮小)画像とともに、メニュー画面で画像の種別を表す項目、周辺機器の使用状況を表す項目が表示される。オペレータが再生したいシーンの項目を選択、設定すると、そのシーンの編集ポイント画像が表示され、実行操作することによってその動画部分が再生される。

先行技術文献

特許文献

[0006]
特許文献1 : 特開2015-85029号公報
特許文献2 : 特開2016-7444号公報

発明の概要

発明が解決しようとする課題

[0007]
 内視鏡装置側で自動的に再生開始(区切り)となるシーンを抽出する場合、動画像記録中どのシーンが抽出されたかオペレータにはわからない。そのため、動画像再生時において、文字情報で表示される項目と一連の抽出された映像シーンとを関連付けることが難しく、抽出されたシーンがどのシーンであるか直感的に理解しづらく、所望するシーンを見つけ出すことが難しい。
[0008]
 したがって、所望するシーンをオペレータが容易に見出して動画像を再生表示することが求められる。

課題を解決するための手段

[0009]
 本発明に係る内視鏡装置は、リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部と、動画ファイルを読み出して動画像をモニタに再生表示する再生処理部と、再生開始シーンを選択可能な編集画面を表示部に表示する編集処理部とを備え、記録処理部が、動画像記録中、オペレータ指定のシーンに応じたフレーム画像(以下、チャプター画像)を、メタデータとして動画ファイルに保存し、編集処理部が、チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、再生処理部が、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始する。ここで、「前後のシーン」とは、チャプター画像から所定数(例えば数フレーム)のフレーム分だけ前あるいは後ろのフレーム画像を表し、ほぼ同じような被写体とみなせる範囲のフレーム画像を意味する。
[0010]
 例えば記録処理部は、オペレータによる静止画保存操作時のシーンに応じたチャプター画像を、メタデータとして動画ファイルに保存することができる。また、編集処理部は、メタデータの中にあるフレーム画像を、静止画ファイルとして取り出すことが可能である。
[0011]
 例えば記録処理部は、スコープの種類および画像処理設定内容の少なくともいずれか一方を、チャプター画像とともにメタデータとして動画ファイルに保存してもよい。また、編集処理部は、記録された動画像データの中で先頭シーンに応じた先頭フレーム画像を、チャプター画像とともに表示し、再生処理部が、オペレータによって先頭フレーム画像が選択されると、先頭フレーム画像から動画像の再生を開始することが可能である。
[0012]
 例えば内視鏡装置のプロセッサは、内視鏡作業関連映像を表示するととともに映像信号を出力可能な外部周辺機器と接続可能である。記録処理部は、オペレータによる静止画保存操作時に表示されていた内視鏡作業関連静止画像を、メタデータとして動画ファイルに保存することができる。再生処理部は、内視鏡作業関連静止画像に応じたメタデータを抽出し、内視鏡関連静止画像を動画像再生時に表示してもよい。
[0013]
 一方、内視鏡装置のプロセッサは、ファイリング装置と接続可能である。再生処理部は、リアルタイムの動画像とファイリング装置に記録された記録画像(静止画像、動画像いずれも含む)とを同時表示可能であり、記録処理部は、オペレータによる静止画保存操作時の再生シーンに応じた再生フレーム画像を、メタデータとして動画ファイルに保存することができる。
[0014]
 本発明の他の態様における内視鏡装置の記録・再生方法は、リアルタイムの動画像を動画ファイルとしてメモリに記録し、動画ファイルを読み出して動画像をモニタに再生表示し、再生開始シーンを選択可能な編集画面を表示部に表示する方法であって、動画像記録中、オペレータ指定のシーンに応じたフレーム画像(以下、チャプター画像)を、メタデータとして動画ファイルに保存し、チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始する。
[0015]
 一方、メタデータ記録の観点から導かれる内視鏡装置のプロセッサは、内視鏡作業関連映像を表示するととともに映像信号を出力可能な外部周辺機器と接続可能であり、リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部を備える。そして、記録処理部が、動画像記録中、オペレータによる静止画保存操作時に表示されていた内視鏡作業関連静止画像を、メタデータとして動画ファイルに保存する。同様な技術的特徴を有する内視鏡装置のプロセッサは、ファイリング装置と接続可能であり、リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部と、再生処理部は、リアルタイムの動画像とファイリング装置に記録された記録画像とを同時表示可能であり、記録処理部は、オペレータによる静止画保存操作時の再生シーンに応じた再生フレーム画像を、メタデータとして動画ファイルに保存する。
[0016]
 本発明の他の態様における情報処理装置は、動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得する第1取得部と、前記第1取得部が取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示する表示部と、前記表示部が一覧表示した前記チャプター画像からの選択を受け付ける受付部と、前記受付部が選択を受け付けた前記チャプター画像に対応する時刻に基づいて前記動画像を再生する再生部とを備える。
[0017]
 本発明の他の態様における情報処理装置は、前記動画像は、内視鏡を用いて撮影された画像であり、前期第1取得部は、前記内視鏡に設けられたボタンが操作された時刻に切り出されたチャプター画像に関するメタデータを含む動画ファイルを取得する。
[0018]
 本発明の他の態様における情報処理装置は、前記内視鏡が接続される内視鏡接続部と、前記内視鏡接続部を介して取得した動画像と時刻とに基づいて、前記動画ファイルを記録する記録部とを備える。
[0019]
 本発明の他の態様における情報処理装置は、撮影されたリアルタイム画像を取得する第2取得部を備え、前記表示部は、第2取得部が取得したリアルタイム画像と、前記チャプター画像または前記動画像とを同時に表示する。
[0020]
 本発明の他の態様におけるプログラムは、動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得し、取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示し、一覧表示した前記チャプター画像からの選択を受け付け、選択を受け付けたチャプター画像に対応する時刻に基づいて前記動画像を再生する処理をコンピュータに実行させる。

発明の効果

[0021]
 本発明によれば、内視鏡装置において、所望するシーンを容易に再生表示することができる。

図面の簡単な説明

[0022]
[図1] 第1の実施形態である内視鏡装置のブロック図である。
[図2] 動画像記録処理を示したフローチャートである。
[図3] 記録される動画像データの抽出フレーム画像を示した図である。
[図4] 動画像再生前の編集処理のフローチャートである。
[図5] フロントパネルのLCDに表示される編集画面を示した図である。
[図6] 動画像再生開始処理のフローチャートである。
[図7] 第2の実施形態におけるライブ画像および記録画像の同時表示画面を示した図である。
[図8] 第3の実施形態におけるフロントパネルのLCDに表示される編集画面を示した図である。
[図9] 第3の実施形態における画像再生処理のフローチャートである。
[図10] 第4の実施形態である内視鏡装置のブロック図である。
[図11] 第4の実施形態における表示画面を説明する説明図である。
[図12] 第4の実施形態の処理の流れを示すフローチャートである。

発明を実施するための形態

[0023]
[第1の実施形態]
 以下、図面を参照して本発明の実施形態である内視鏡装置について説明する。
[0024]
 図1は、第1の実施形態である内視鏡装置のブロック図である。
[0025]
 内視鏡装置100は、ビデオスコープ110とプロセッサ120とを備え、ビデオスコープ110は、プロセッサ120に着脱自在に接続可能である。またプロセッサ120には、モニタ150、キーボード170が接続されるとともに、ファイリング装置140、生体情報モニタリング装置160が接続されている。なお、ビデオスコープ110は、後述するようにイメージセンサ111を用いて消化管等の内部を観察する際に使用する、内視鏡の一例である。
[0026]
 プロセッサ120は、キセノンランプなどの光源124を備え、光源124から放射された光は、集光レンズ128を介してビデオスコープ110内に設けられたライトガイド117の入射端に入射する。ライトガイド117から射出した光は、配光レンズ119Aを介してスコープ先端部110Tから被写体(観察対象)に向けて照射される。光源124とライトガイド117との間には絞り129が設けられており、絞り129の開閉によって照明光量が調整される。
[0027]
 被写体で反射した照明光は、スコープ先端部110Tに設けられた対物レンズ119Bによって結像し、被写体像がイメージセンサ111の受光面に形成される。CMOSセンサ、あるいはCCDなどによって構成されるイメージセンサ111は駆動回路113によって駆動され、1フィールドもしくは1フレーム分の画素信号がイメージセンサ111から所定のフィールド/フレーム間隔(例えば1/60秒あるいは1/30秒間隔)で読み出される。イメージセンサ111の受光面上には、Cy、Ye、G、MgあるいはR、G、Bなどのカラーフィルタを配列させたカラーフィルタアレイ(図示せず)が配設されている。
[0028]
 イメージセンサ111から読み出された画素信号は、アナログ信号処理回路において増幅処理などが施されたさた後、プロセッサ120の信号処理回路125へ送られる。信号処理回路125では、デジタル画素信号に対し、色変換処理、ガンマ補正処理などの画像信号処理が施される。これにより、R、G、Bのカラー画像信号が生成される。
[0029]
 R,G,B画像信号は、RAMなどの画像メモリ(図示せず)に一時的に保存された後、後段信号処理回路135へ送られる。後段信号処理回路135では、オペレータの入力操作に伴う輪郭強調処理、スーパーインポーズ処理、あるいは複数の画像を同時表示するための編集処理などが施される。映像信号がモニタ150に出力されることにより、リアルタイムの観察画像が動画像としてモニタ150に表示される。
[0030]
 CPU(Central Processing Unit)などを含むシステムコントロール回路121は、タイミングコントローラ127、モータ130、後段信号処理回路135などへ制御信号を出力し、プロセッサ120の動作を制御する。動作制御プログラムは、あらかじめメモリ123に記憶されている。
[0031]
 スコープコントローラ115は、タイミングコントローラ114を制御するとともに、フリーズボタン118などからのボタン操作に応じて、システムコントロール回路121へ操作信号を送る。ビデオスコープ110がプロセッサ120に接続されると、ビデオスコープ110のメモリ116に記憶されたスコープ関連データが読み出され、プロセッサ120のRAM122に保存される。具体的には、スコープ機種名などのデータが読み出される。
[0032]
 ビデオスコープ110による撮像によって観察画像を表示する間、オペレータはキーボード170などに対する操作によって動画像を記録することが可能である。動画像記録操作が行われると、信号処理回路125において生成される各フレームの画像データは、システムコントロール回路121において圧縮処理され、RAM122に動画ファイルとして記録される。また、必要に応じてファイリング装置140へ出力される。ここでは、MPEG方式に従った動画圧縮処理が行われる。また、後述するように、オペレータが動画像記録中にフリーズボタン118を操作すると、その操作時のシーンのフレーム画像データがメタデータとして記録される。
[0033]
 プロセッサ120のフロントパネル126には、表示部としてLCD136が設けられており、LCD136の画面枠に合わせてタッチパネル138が設置されている。オペレータは、表示される輪郭強調用マーク、明るさレベルマークの部分をタッチすることで、画像処理、明るさ調整などが実行される。また、後述するように、動画像再生時、動画像再生開始シーンを選択可能な編集画面を表示可能である。
[0034]
 ファイリング装置140は、装置本体141と、ファイリングモニタ142とを備え、装置本体141は、コントローラ144と、メモリ145とを備えている。コントローラ144は、プロセッサ120から送られてくる画像データなどを受信し、ファイリングしてメモリ145に記録する。プロセッサ120から動画ファイル読み出しの指示があると、メモリ145から対象となる動画ファイルを読み出し、動画像データをプロセッサ120へ送信する。生体情報モニタリング装置160は、患者に取り付けられた各種センサからの信号に基づき、心拍数、脈拍、それらのパルス波形などを専用モニタ165に表示する。
[0035]
 図2は、動画像記録処理を示したフローチャートである。図3は、記録される動画像データの抽出フレーム画像を示した図である。図2、3を用いて、動画像記録時の静止画保存について説明する。
[0036]
 オペレータの操作によって動画像記録処理が開始されると(S101)、オペレータはビデオスコープ110を操作しながら、スコープ先端部110Tを移動させていく。そして、所望するシーンの観察画像が表示されると、フリーズボタン118を押下する。オペレータによって静止画保存のためフリーズボタン118が操作されたと判断されると(S102)、その操作時のフレーム画像をメタデータとしてメモリ123あるいはRAM122に記録する(S103)。
[0037]
 図3では、動画像記録中、オペレータが静止画保存のためにフリーズボタン118を3度操作したときのフレーム画像を示している。記録開始から時間T1経過したJ番目のフレーム画像AJは、スコープ先端部110Tが観察対象部位に到達し、視野範囲に入ったときの画像に相当する。オペレータは、動画像再生開始ポイント(指標)となる画像としてフレーム画像保存を行う。具体的には、フレーム画像AJに関するメタデータを付与し、アノテーションを取得させる。
[0038]
 このとき、フレーム番号あるいは動画開始からの時刻の情報とともに、スコープの種類、画像処理設定内容(輪郭強調など)の情報がメタデータとして付与され、動画ファイルに記録される。さらに本実施形態では、フレーム画像AJがメタデータm1として付与され、動画ファイルに記録される。すなわち、フレーム画像AJ自身がメタデータm1として扱われる。
[0039]
 動画ファイルでは、音声データ、圧縮動画データ、音声、動画の同期データなどがメインの格納領域となるコンテナに収納されるともに、メタデータが付随して所定領域に格納される。また、メタデータには、上述した記録開始からの時刻、フレーム番号などの記述メタデータとともに、ユーザが任意にフォーマットを規定できるメタデータの領域が定められており、オペレータ操作によって指定されたフレーム画像データが、メタデータとして格納される。動画記録方式は、任意の方式(例えばMP4、MXFフォーマットなど)を採用することが可能である。
[0040]
 記録開始から時間T2が経過したMフレーム目のフレーム画像AMは、ビデオスコープ110が病変部を捉えているシーンに応じたフレーム画像であり、オペレータがフリーズボタン118を操作することによって、フレーム画像AMがメタデータm2として付与され、動画ファイルに記録される。また、Nフレーム目のフレーム画像ANは、異なる部位に移動したときのシーンに応じたフレーム画像であり、メタデータm3として付与され、動画ファイルに記録される。キーボード170などによる動画像記録終了操作が行われるまで(S104)、ステップS102~S104が繰り返し実行される。
[0041]
 図4は、動画像再生前の編集処理のフローチャートである。図5は、フロントパネル126のLCD136に表示される編集画面を示した図である。図6は、動画再生開始処理のフローチャートである。図4~6を用いて、動画像再生開始シーンの選択、設定について説明する。
[0042]
 オペレータのキーボード170等による操作によって動画像再生モードが設定されると、図5に示すような編集画面が表示される。オペレータによって再生対象となる動画ファイルが検索されると(S201)、その先頭フレーム画像が縮小画像(以下、サムネイル画像という)としてLCD136に表示される(S202)。このとき、チャプター画像以外にメタデータとして記録されたスコープ種類、画像処理設定内容を文字情報で表示することが可能である。そして、検索された動画ファイルに書き込まれたメタデータの中に、フレーム画像データが存在するか否かが判断される(S203)。
[0043]
 フレーム画像データがメタデータとして存在する場合、そのメタデータを抽出し、編集用の画像(以下、チャプター画像という)としてLCD136に表示する(S204)。すべてのメタデータに対してステップS203、S204が実行されることによって(S205)、メタデータに含まれるチャプター画像が一覧表示される。ただし、メタデータにフレーム画像データが含まれない場合、サムネイル画像のみ表示され、含まれないことを示す文字情報が表示される。
[0044]
 図5では、編集画面において、動画先頭シーンのサムネイル画像M0と、抽出されたチャプター画像C1、C2、C3が表示されている。チャプター画像C1、C2、C3は、図3のフレーム画像AJ、AM、ANにそれぞれ対応する。
[0045]
 ここでは、先頭シーンのサムネイル画像M0と、チャプター画像C1~C3は同サイズのイメージであり、チャプター画像C1~C3は静止画保存操作の順番で並んで表示されている。オペレータは、タッチパネル138を操作することで、一連のチャプター画像C1~C3のシーンを、動画再生開始ポイントとして選択することができる。
[0046]
 なお、サムネイル画像M0とチャプター画像C1~C3とのサイズは、異なっていても良い。両者のサイズを異なるように表示することにより、オペレータがサムネイル画像M0とチャプター画像C1~C3とを容易に区別することができる。チャプター画像C1~C3同士のサイズは、相互に異なっていても良い。
[0047]
 オペレータがサムネイル画像を選択すると(図6のS301参照)、動画ファイルの先頭シーンから動画像がモニタ150に再生開始される(S302)。一方、オペレータによってチャプター画像が選択されると、選択されたチャプター画像に応じたシーンから動画像が再生開始される(S303、S304)。具体的には、チャプター画像とともにメタデータとして記録された記録開始からの時刻あるいはフレーム番号(例えば、時刻T1、フレーム番号J)に基づき、そのチャプター画像に応じたフレーム画像から再生開始される。
[0048]
 以上のように本実施形態によれば、動画像記録、再生表示が可能な内視鏡装置100において、動画像記録中にオペレータが静止画保存操作を行うと、操作時のシーンに応じたフレーム画像(チャプター画像)がメタデータとして動画ファイルに記録される。そして、動画像再生モード設定時には、動画再生開始シーンを選択可能な編集画面がLCD136に表示される。このとき、チャプター画像相応のメタデータが動画ファイルから抽出され、編集画面に一覧表示される。オペレータが所望するチャプター画像を選択すると、そのチャプター画像のシーンから動画像が再生開始される。
[0049]
 オペレータの意図に合わせて動画像記録中の1シーンの静止画像データを記録するため、再生表示前の編集画面に表示されるチャプター画像がどのシーンであるかすぐに把握することができる。また、フレーム画像データを動画像ファイルに埋め込むような形でメタデータとして記録するため、動画像、静止画像を別ファイル化することなく記録することができる。さらに、メタデータとして静止画像データが動画データと関連付けて記録されているため、どのような状況静止画を記録したのか把握するのが容易となる。特に、メタデータの中にある画像データを探索し、抽出するだけでチャプター画像を一覧表示することができるため、編集画面の表示も煩雑な処理を伴わない。
[0050]
 一方、動画ファイルがファイリング装置140ではなくプロセッサ120内のメモリに記録されるため、専用の接続ケーブル、コマンド送信など必要としない。また、スコープ種類、画像処理設定内容もメタデータとして記録されるため、動画記録時の作業状況などを後で把握することが可能となる。
[0051]
 なお、チャプター画像に応じたフレーム画像のシーンではなく、その前後のシーンから動画像再生開始させてもよい。例えば、内視鏡操作においてスコープ先端部110Tを観察対象部位まで送り込み、徐々にスコープ先端部110Tを引き戻しながら部位を観察する作業において動画像記録処理を行った場合、チャプター画像の数秒前のフレーム画像から再生開始させ、所望シーンを見逃さないようにすることができる。この場合、チャプター画像に付随する記録時刻あるいはフレーム番号のメタデータに対して、あらかじめ定めたシフトフレーム数あるいは時間によって再生表示開始シーンを修正すればよい。
[0052]
 なお、メタデータの中のフレーム画像データ抽出に関しては、メタデータごとに静止画像データを取り出すのではなく、動画ファイル全体のデータの中から、フレーム画像データを静止画ファイルとして取り出すようにしてもよい。この場合、図4のステップS203~S205の代わりに、静止画ファイル作成処理のステップが実行される。
[0053]
 リアルタイムの動画像(ライブ画像)と記録動画像とを、モニタ150に同時表示するようにしてもよい。例えば、オペレータがキーボード170を操作することにより、同時表示モードを設定することができる。また、オペレータのスコープボタン操作以外の手法によって、オペレータの指定するタイミングでフレーム画像データを記録してもよい。編集画面については、プロセッサ以外の表示部に表示してもよく、例えば、モニタ150に表示させるように構成してもよい。
[0054]
 オペレータが、キーボード170を用いて特定の入力操作を行った場合、又は、フットスイッチを操作した場合等に、その操作時のシーンのフレーム画像データがメタデータとして動画ファイルに記録されても良い。メタデータは、フレーム画像データ以外のデータでも良い。
[0055]
[第2の実施形態]
 次に、図7を用いて、第2の実施形態である内視鏡装置について説明する。第2の実施形態では、生体情報モニタリング装置およびファイリング装置の画像データをメタデータとして記録、再生表示することが可能である。
[0056]
 図7は、第2の実施形態におけるライブ画像および記録画像の同時表示画面を示した図である。
[0057]
 第2の実施形態では、オペレータが静止画保存操作を行うと、その操作時のシーンに応じたフレーム画像データだけでなく、生体情報モニタリング装置160の専用モニタ165において操作時に表示されていた生体情報表示画像(静止画像)が、メタデータとして記録される。生体情報モニタリング装置160は、プロセッサ120から保存データ送信要求を受けると、操作時に表示されていた生体情報表示画面データを静止画像データとしてプロセッサ120へ送信する。プロセッサ120では、送られてきた静止画像データをメタデータとして動画ファイルに記録する。なお、プロセッサ120に設けられたキャプチャーボード(図示せず)を使い、静止画像データを映像信号として取り込むようにしてもよい。
[0058]
 そして、第1の実施形態の説明で示した編集画面でチャプター画像が選択された場合、そのチャプター画像に付随して記録された生体情報表示画像が、動画像記録再生開始とともに表示される。
[0059]
 図7では、動画像再生時のモニタ150に表示されるリアルタイム動画像I1、記録再生動画像I2、および生体情報表示画像I3を示している。オペレータは、過去に記録した動画ファイルの中でリアルタイム動画像と同じ部位を写し出したシーンから再生表示開始させることで、現在の部位の病状と過去の病状とを比較することができる。また、それとともに、過去の生体情報表示画像をモニタ150で確認することにより、今現在専用モニタ165に表示されている生体情報と比較することができる。
[0060]
 さらに、オペレータが静止画保存操作を行うと、そのとき表示されていたリアルタイム画像のフレーム画像データがメタデータとして記録されるとともに、そのとき表示されていた記録再生動画像のフレーム画像(再生フレーム画像)が合わせてメタデータとして記録される。ファイリング装置140では、コントローラ144にて復元された動画像データの操作時シーンに応じた再生フレーム画像データがプロセッサ120へ送信される。なお、ファイリング装置から静止画像を取得して、リアルタイム動画像と同時に静止画像を再生表示し、その静止画像をメタデータとして記録してもよい。
[0061]
 図7には、記録されるリアルタイムのフレーム画像データm5と再生フレーム画像データm6とを示している。ここでは、1つのメタデータとしてリアルタイムフレーム画像データm5、再生フレーム画像データm6が記録される。このとき、あらかじめ定められたコメントの文字情報CM(経過観察の確認お願いしますなど)を添付した形で記録してもよい。これにより、現在と過去の患部の状態を比較観察することができる。なお、コメントについては、ユーザが任意にコメントを入力してコメントデータを保存し、必要な場面でコメントを記録させてもよい。
[0062]
 なお、生体情報画像データのメタデータとしての記録および再生表示は、第1の実施形態のように記録された動画像のみの再生表示に適用してもよい。また、第2の実施形態において、生体情報画像データのメタデータとしての記録および再生を行わず、再生動画像とリアルタイムの動画像の再生表示のみ行ってもよい。これらの場合、リアルタイム動画像のフレーム画像データと関係なく、メタデータとして記録してもよい。また、生体情報モニタリング装置以外の外部周辺機器で映像信号出力可能な装置についても適用可能である。
[0063]
[第3の実施形態]
 本実施形態は、オペレータにより選択されたチャプターに対応する時刻付近の動画を繰り返し再生する内視鏡装置100に関する。第1の実施形態と共通する部分については、説明を省略する。
[0064]
 図8は、第3の実施形態におけるフロントパネル126のLCD136に表示される編集画面を示した図である。オペレータにより、サムネイル画像M0又はチャプター画像C1からC3がシングルタップされた場合の動作は、第1の実施形態と同様である。
[0065]
 図8は、オペレータによりチャプター画像C1がダブルタップされた場合に、LCD136に表示される画像の例を示す。選択されたチャプター画像C1の周囲が太枠31により囲まれ、選択中であることが示される。
[0066]
 太枠31の内側に、チャプター画像C1が記録された時刻を中心にして、所定の繰り返し時間の範囲の動画像が繰り返し再生表示される。繰り返し時間は、数秒間、例えば3秒間程度である。太枠31の内側の領域は、本実施の形態の再生部の一例である。
[0067]
 画面の下部に、タイムバー32が表示される。タイムバー32の全長は、繰り返し時間を示す。タイムバー32にカーソル33が表示される。カーソル33は、繰り返し時間の範囲内で、太枠31に表示されている画像が撮影された時刻を示す。なお、オペレータがキーボード170又はタッチパネルを操作することにより、繰り返し時間および再生速度を適宜変更することが可能であっても良い。
[0068]
 内視鏡検査においては、オペレータは病変などの重要な部分を発見した際にフリーズボタン118を操作して静止画像を記録する。第1の実施形態において説明したとおり、フリーズボタン118が操作された場合に、動画像ファイルにチャプター画像等のメタデータが記録される。
[0069]
 しかしながら、オペレータがフリーズボタンを押した時刻に、必ずしも診断等に最適な画像が表示されているとは限らない。また、静止画像よりも動画像の方が、例えば病変部の立体的な形状等を把握しやすい場合がある。
[0070]
 図8に示すように、チャプター画像の前後の短い時間の動画像を繰り返し再生することにより、オペレータは内視鏡検査時に注目した部分の再観察を容易に行うことが可能である。
[0071]
 図9は、第3の実施形態における画像再生処理のフローチャートである。ステップS301およびステップS302は、図6を使用して説明した第1の実施形態の処理と同様であるので、説明を省略する。
[0072]
 本実施形態においては、ステップS303のチャプター画像の選択は、チャプター画像のシングルタップ又はダブルタップによって行われる。なお、シングルタップ又はダブルタップの代わりに、例えばスワイプ、複数の指による同時タップ、所定の領域へのドラッグアンドドロップ、又はキーボード操作等の、任意の操作を用いることができる。
[0073]
 シングルタップによってチャプター画像が選択された場合(ステップS303でシングルタップ)、第1の実施形態のステップS304と同様に、選択されたチャプター画像に応じたシーンから動画像が再生開始される(ステップS304)。
[0074]
 ダブルタップによってチャプター画像が選択された場合(ステップS303でダブルタップ)、図8を使用して説明したように、フロントパネル126に太枠31、タイムバー32及びカーソル33が表示される。太枠31内に、選択されたチャプター画像が保存された時刻の前後の動画像が繰り返し再生される(ステップS305)。ステップS304又はステップS305の終了後、処理は終了される。
[0075]
 動画像は、大きく拡大して表示されても良い。動画像は、フロントパネル126とは異なる表示装置、例えばモニタ150に表示されても良い。
[0076]
 なお、プロセッサ120は、ステップS302、ステップS304又はステップS305の動画像再生処理を行いながら、並行してステップS301に戻り、オペレータによる次の操作を受け付けても良い。
[0077]
 本実施の形態によると、チャプター画像の前後の短い時間の動画像を繰り返し再生する内視鏡装置100を提供できる。本実施の形態の内視鏡装置100を用いることにより、オペレータは内視鏡検査時に注目した部分の再観察を容易に行うことが可能である。
[0078]
 図6又は図9を使用して説明したフローチャートは、内視鏡検査中に記録されたメタデータを含む動画ファイルを読み込み可能な汎用のパソコン、タブレット等の情報処理装置で実行されても良い。例えば、メタデータを含む動画ファイルを、ネットワークを介して接続されたHIS(Hospital Information System:病院内情報システム)の記録装置に記録しておき、内視鏡検査室とは異なる部屋に設置されたパソコンを用いて、再生することができる。
[0079]
[第4の実施形態]
 本実施形態は、主にソフトウエア処理に基づいて動作するプロセッサ120を備える内視鏡装置100に関する。第1の実施形態と共通する部分については、説明を省略する。
[0080]
 図10は、第4の実施形態である内視鏡装置のブロック図である。内視鏡装置100は、ビデオスコープ110と、プロセッサ120と、表示装置90とを備える。ビデオスコープ110の内部の構成は、図1を使用して説明した実施の形態1のビデオスコープ110と同様であるので、図示を省略する。
[0081]
 表示装置90は、表示部91と入力部92とを備える。表示部91は、例えば液晶表示パネルである。入力部92は、表示部91の表面に配置されており、表示部91と連動してタッチパネルを構成するタッチセンサである。入力部92は、キーボード又はマウス等でも良い。
[0082]
 プロセッサ120は、CPU11、主記憶装置12、補助記憶装置13、通信部14、表示I/F(Interface)15、入力I/F16、スコープI/F17、光源124およびバスを備える。本実施の形態のプロセッサ120は、CPU11がプログラムを実行することにより動作する情報処理装置の一例である。
[0083]
 CPU11は、本実施の形態にかかるプログラムを実行する演算制御装置である。CPU11には、一又は複数のCPU又はマルチコアCPU等が使用される。CPU11は、バスを介してプロセッサ120を構成するハードウェア各部と接続されている。
[0084]
 主記憶装置12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置12には、CPU11が行う処理の途中で必要な情報およびCPU11で実行中のプログラムが一時的に保存される。
[0085]
 補助記憶装置13は、SRAM、フラッシュメモリ、ハードディスク又は磁気テープ等の記憶装置である。補助記憶装置13には、CPU11に実行させるプログラム、動画ファイルおよびプログラムの実行に必要な各種情報が保存される。なお、動画ファイルはHIS等のネットワーク等を介してプロセッサ120に接続された外部の大容量記憶装置等に保存されていても良い。
[0086]
 通信部14は、ネットワークとの通信を行うインターフェイスである。表示I/F15は、表示部91とバスとを接続するインターフェイスである。入力I/Fは、入力部92とバスとを接続するインターフェイスである。スコープI/F17は、ビデオスコープ110とバスとを接続するインターフェイスである。スコープI/F17は、内視鏡が接続される内視鏡接続部の一例である。図1に示すアナログ信号処理回路112、タイミングコントローラ114およびスコープコントローラは、それぞれスコープI/F17を介してバスに接続される。
[0087]
 図11は、第4の実施形態における表示画面を説明する説明図である。図11に示す画面は、表示部91に表示される。図11に示す画面は、サムネイル画像M0と、チャプター画像C1、C2およびC3と、リアルタイム動画像I1と、記録再生動画像I2とを含む。なお、チャプター画像は、2行以上に並べて一覧表示されても良い。
[0088]
 リアルタイム動画像I1には、ビデオスコープ110のイメージセンサ111により撮影された画像がリアルタイムで表示される。サムネイル画像M0と、チャプター画像C1、C2およびC3には、例えば内視鏡検査中の患者が過去に同様の内視鏡検査を受けた際の動画ファイルから抽出されたサムネイル画像とチャプター画像とが表示される。オペレータにより選択されたサムネイル画像C2は、太枠31により囲まれている。
[0089]
 記録再生画像I2には、動画ファイルを太枠31で囲まれたチャプター画像が記録された時刻から再生した再生画像が表示される。記録再生画像I2には、チャプター画像が記録された時刻に撮影された静止画像が表示されても良い。記録再生画像I2には、太枠31で囲まれたチャプター画像が拡大表示されても良い。記録再生画像I2が表示される領域は、本実施の形態の再生部の一例である。
[0090]
 なお、動画ファイルは、オペレータの指示に基づいて、補助記憶装置13に蓄積された動画ファイルから選択されても良い。動画ファイルは、オペレータの指示に基づいてHISから取得されて補助記憶装置13に一時的に記録されても良い。動画ファイルは、検査中の患者のID(Identifier)等に基づいて、自動的にHISから取得されて補助記憶装置13に記録されても良い。例えば、定期的な内視鏡検査による経過観察を行う患者の場合には、患者IDに基づいてCPU11が前回の内視鏡検査で記録した動画ファイルを選択することができる。
[0091]
 図11に示す画面を表示する手順の概要を説明する。オペレータは、内視鏡検査を開始する前に、内視鏡検査中に再生する動画ファイルを選択するか、又はCPU11に選択させるために必要な患者ID等の情報をCPU11に入力する。
[0092]
 CPU11は、動画ファイルに含まれるメタデータから、チャプター画像を抽出して、表示する。オペレータが内視鏡検査を開始した場合、CPU11はスコープI/Fを介してビデオスコープ110から取得した信号に基づいて、リアルタイム動画像I1を表示する。
[0093]
 オペレータは、例えばシングルタップ等の操作により、リアルタイム動画像I1と対比確認したいチャプター画像を選択する。CPU11は、選択を受け付けたチャプター画像に基づいて、記録再生画像I2を表示する。
[0094]
 以上により、オペレータは例えば前回の内視鏡検査時と今回の内視鏡検査との病変部位の変化の様子を対比することができる。オペレータは、ビデオスコープ110を操作して、記録再生画像I2と同様の向きから病変部を撮影することができるこのようにして撮影したリアルタイム動画像I1と、記録再生画像I2とを比較することにより、病変の変化の有無等を詳細に観察することができる。
[0095]
 オペレータは、例えば健康な人の内視鏡画像を撮影した動画ファイルを選択しても良い。オペレータは、記録再生画像I2に表示した健康な人の内視鏡画像を、リアルタイム動画像I1と比較することができる。
[0096]
 図12は、第4の実施形態の処理の流れを示すフローチャートである。CPU11は、動画ファイルを取得する(ステップS311)。CPU11は、ステップS311により動画ファイルを取得する第1取得部の機能を実現する。CPU11は、動画ファイルからチャプター画像を抽出する(ステップS312)。CPU11は、抽出したチャプター画像を、図11を使用して説明したように一覧表示する。
[0097]
 CPU11はスコープI/Fを介してビデオスコープ110から取得した信号に基づいて、リアルタイム動画像I1を表示する(ステップS314)。なお、CPU11は以後に説明する処理と平行して、リアルタイム動画像I1を更新し続ける。CPU11は、ステップS314によりリアルタイム画像を取得する第2取得部の機能を実現する。
[0098]
 CPU11は一覧表示したチャプター画像から、いずれかのチャプター画像の選択を受け付けたか否かを判定する(ステップS315)。CPU11は、ステップS315によりチャプター画像の選択を受け付ける受付部の機能を実現する。受け付けたと判定した場合(ステップS315でYES)。CPU11は記録再生画像I2を表示する(ステップS316)。なお、記録再生画像I2が動画像である場合には、CPU11は再度選択を受け付けるまで、記録再生画像I2の再生を継続する。
[0099]
 CPU11は、処理を終了するか否かを判定する(ステップS317)。例えば、内視鏡検査が終了した場合に、CPU11は処理を終了すると判定する。処理を終了すると判定した場合(ステップS317でYES)、CPU11は処理を終了する。
[0100]
 処理を終了しないと判定した場合(ステップS317でNO)、CPU11はステップS315に戻る。
[0101]
 本実施の形態によると、内視鏡検査中に、リアルタイム画像I1とオペレータが選択した記録再生画像とを並べて表示する内視鏡装置100を提供できる。
[0102]
 例えば画像処理等の、CPUが行う処理の一部を、バスに接続された専用の回路基板で実行しても良い。
[0103]
 CPU11は、画像のパターンマッチング等の処理により、リアルタイム画像I1と類似するチャプター画像を自動的に選択しても良い。
[0104]
 各実施例で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
 今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

符号の説明

[0105]
 11 CPU
 12 主記憶装置
 13 補助記憶装置
 14 通信部
 15 表示I/F
 16 入力I/F
 17 スコープI/F 31 太枠
 32 タイムバー
 33 カーソル
100 内視鏡装置
110 ビデオスコープ(ビデオスコープ、内視鏡)
120 プロセッサ
121 システムコントロール回路(編集処理部、再生処理部)
135 後段信号処理回路(編集処理部、再生処理部、記録処理部)
136 LCD(表示部)
150 モニタ

請求の範囲

[請求項1]
 リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部と、
 前記動画ファイルを読み出して動画像をモニタに再生表示する再生処理部と、
 再生開始シーンを選択可能な編集画面を表示部に表示する編集処理部とを備え、
 前記記録処理部が、動画像記録中、オペレータ指定のシーンに応じたフレーム画像(以下、チャプター画像)を、メタデータとして前記動画ファイルに保存し、
 前記編集処理部が、チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、
 前記再生処理部が、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始することを特徴とする内視鏡装置。
[請求項2]
 前記記録処理部が、オペレータによる静止画保存操作時のシーンに応じたチャプター画像を、メタデータとして前記動画ファイルに保存することを特徴とする請求項1に記載の内視鏡装置。
[請求項3]
 前記編集処理部が、メタデータの中にあるフレーム画像を、静止画ファイルとして取り出すことを特徴とする請求項1又は2に記載の内視鏡装置。
[請求項4]
 前記記録処理部が、スコープの種類および画像処理設定内容の少なくともいずれか一方を、チャプター画像とともにメタデータとして前記動画ファイルに保存することを特徴とする請求項1乃至3のいずれかに記載の内視鏡装置。
[請求項5]
 前記編集処理部が、記録された動画像データの中で先頭シーンに応じた先頭フレーム画像を、チャプター画像とともに表示し、
 前記再生処理部が、オペレータによって先頭フレーム画像が選択されると、先頭フレーム画像から動画像の再生を開始することを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。
[請求項6]
 前記内視鏡装置のプロセッサが、内視鏡作業関連映像を表示するととともに映像信号を出力可能な外部周辺機器と接続可能であり、
 前記記録処理部が、オペレータによる静止画保存操作時に表示されていた内視鏡作業関連静止画像を、メタデータとして前記動画ファイルに保存することを特徴とする請求項1乃至5のいずれかに記載の内視鏡装置。
[請求項7]
 前記再生処理部が、内視鏡作業関連静止画像に応じたメタデータを抽出し、内視鏡関連静止画像を動画像再生時に表示することを特徴とする請求項6に記載の内視鏡装置。
[請求項8]
 前記内視鏡装置のプロセッサが、ファイリング装置と接続可能であり、
 前記再生処理部が、リアルタイムの動画像と前記ファイリング装置に記録された記録画像とを同時表示可能であり、
 前記記録処理部が、オペレータによる静止画保存操作時の再生シーンに応じた再生フレーム画像を、メタデータとして前記動画ファイルに保存することを特徴とする請求項1乃至7のいずれかに記載の内視鏡装置。
[請求項9]
 リアルタイムの動画像を動画ファイルとしてメモリに記録し、
 前記動画ファイルを読み出して動画像をモニタに再生表示し、
 再生開始シーンを選択可能な編集画面を表示部に表示する方法であって、
動画像記録中、オペレータ指定のシーンに応じたチャプター画像を、メタデータとして前記動画ファイルに保存し、
 チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、
 オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始することを特徴とする内視鏡装置の記録・再生方法。
[請求項10]
 動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得する第1取得部と、
 前記第1取得部が取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示する表示部と、
 前記表示部が一覧表示した前記チャプター画像からの選択を受け付ける受付部と、
 前記受付部が選択を受け付けた前記チャプター画像に対応する時刻に基づいて前記動画像を再生する再生部とを備える
 情報処理装置。
[請求項11]
 前記動画像は、内視鏡を用いて撮影された画像であり、
 前期第1取得部は、前記内視鏡に設けられたボタンが操作された時刻に切り出されたチャプター画像に関するメタデータを含む動画ファイルを取得する
 請求項10に記載の情報処理装置。
[請求項12]
 前記内視鏡が接続される内視鏡接続部と、
 前記内視鏡接続部を介して取得した動画像と時刻とに基づいて、前記動画ファイルを記録する記録部とを備える
 請求項11に記載の情報処理装置。
[請求項13]
 撮影されたリアルタイム画像を取得する第2取得部を備え、
 前記表示部は、第2取得部が取得したリアルタイム画像と、前記チャプター画像または前記動画像とを同時に表示する
 請求項10から請求項12のいずれか一つに記載の情報処理装置。
[請求項14]
 動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得し、
 取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示し、
 一覧表示した前記チャプター画像からの選択を受け付け、
 選択を受け付けたチャプター画像に対応する時刻に基づいて前記動画像を再生する
 処理をコンピュータに実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]