処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020116224 - 情報処理装置、提示方法、および手術システム

Document

明 細 書

発明の名称 情報処理装置、提示方法、および手術システム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008   0009   0010   0011  

図面の簡単な説明

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136  

符号の説明

0137  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12  

明 細 書

発明の名称 : 情報処理装置、提示方法、および手術システム

技術分野

[0001]
 本開示は、情報処理装置、提示方法、および手術システムに関し、特に、医療事故の発生を抑えることができるようにした情報処理装置、提示方法、および手術システムに関する。

背景技術

[0002]
 手術現場においては、ガーゼや手術針など手術に使用する物を、患者の体内に置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが求められている。
[0003]
 看護師などの医療従事者は、手術に使用する物の数を目視で確認後、発声によりカウントしたり、手術後に物の数が正しく揃っているかを確認することで、上述した医療事故を防ぐようにしている。しかしながら、上述した医療事故がヒューマンエラーにより発生する可能性は少なからずある。
[0004]
 そこで、手術に使用する物の数を精度良くカウントする構成として、例えば特許文献1には、ICタグを装着したガーゼを計数するシステムが開示されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2013-97761号公報

発明の概要

発明が解決しようとする課題

[0006]
 しかしながら、特許文献1の構成は、例えば手術針のような、ICタグを装着できないほど小さい物には適用できず、手術に使用する物の数を精度良くカウントする構成としては十分ではなかった。
[0007]
 本開示は、このような状況に鑑みてなされたものであり、医療事故の発生を抑えることができるようにするものである。

課題を解決するための手段

[0008]
 本開示の情報処理装置は、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示制御部とを備える情報処理装置である。
[0009]
 本開示の提示方法は、情報処理装置が、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示方法である。
[0010]
 本開示の手術システムは、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示制御部とを備える手術システムである。
[0011]
 本開示においては、患者の体内にある手術に用いられる手術用具の残数が音声認識によりカウントされ、前記患者の体内にある前記手術用具の残数が画像認識によりカウントされ、前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告が提示される。

図面の簡単な説明

[0012]
[図1] 本実施の形態に係る手術システムの構成例を示す概略図である。
[図2] 手術システムの構成例を示すブロック図である。
[図3] 手術室サーバの機能構成例を示すブロック図である。
[図4] 警告提示処理の流れについて説明するフローチャートである。
[図5] モニタの画面表示例を示す図である。
[図6] モニタの画面表示例を示す図である。
[図7] カウントが一致しないときの画像のキャプチャについて説明する図である。
[図8] モニタの画面表示例を示す図である。
[図9] モニタの画面表示例を示す図である。
[図10] 手術システムの他の構成例を示す概略図である。
[図11] 警告提示処理の流れについて説明するフローチャートである。
[図12] 手術室サーバのハードウェア構成例を示すブロック図である。
[0013]
 以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
[0014]
 1.システム構成
 2.手術室サーバの構成と動作
 3.画面の表示例
 4.残数の差の算出タイミング
 5.変形例
 6.ユースケース
 7.ハードウェア構成
[0015]
<1.システム構成>
 図1は、本実施の形態に係る手術システムの構成例を示す概略図であり、図2は、手術システムの構成例を示すブロック図である。
[0016]
 図1には、手術システム1を含む手術室において、執刀医11と器械出し(器具出し)の看護師12が、手術台上の患者13を挟んで向かい合うようにして立っている様子が示されている。
[0017]
 看護師12の後方のテーブルには、手術に用いられる手術用具として、ガーゼなどの衛生材料21と、手術針などの手術器具22が載置されている。衛生材料21や手術器具22は、看護師12によって執刀医11に手渡される。衛生材料21には、ガーゼの他、綿球、スポンジ、癒着防止材などが含まれ、手術器具22には、手術針の他、メス、剪刃、鉗子、鑷子などが含まれる。
[0018]
 執刀医11と看護師12はそれぞれ、ヘッドセット型のマイクロフォン31を装着している。また、手術室の天井には、カメラ32が、患者13とその近辺を俯瞰するようにして設置されている。図1の例では、カメラ32が1台のみ設置されているが、複数台のカメラ32が設置されてもよい。
[0019]
 執刀医11の後方には、手術室サーバ41と提示装置42が設置されている。提示装置42は、モニタやスピーカとして構成され、手術室サーバ41の制御の下、表示や音声出力によって、執刀医11や看護師12、手術室内のその他の術者に対して情報を提示する。手術室サーバ41は、手術室の外部に設置されてもよい。
[0020]
 従来、手術現場においては、ガーゼや手術針などの手術用具を、患者の体内に置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが求められている。そのためには、例えば、
 (1)患者の体内にあるガーゼの数が0であること
 (2)患者の体内に入れたガーゼの数と、患者の体内から出したガーゼの数が等しいこと
のいずれかを達成する必要がある(ただし、ガーゼは破れないこと)。
[0021]
 上記2点のいずれかを実現するために、例えば、カメラ32により撮影された画像に基づいてガーゼを計数することが考えられる。
[0022]
 しかしながら、患者の体内に入れたガーゼが執刀医11の手の陰に隠れたり、患者の体内で移動するなどした場合、ガーゼを計数することは難しく、上記(1)の達成は困難となる。また、患者の体内に複数枚のガーゼを入れた場合、その枚数の認識は難しく、上記(2)の達成も困難となる。
[0023]
 また、上記2点のいずれかを実現するために、執刀医11や看護師12が発する音声に基づいてガーゼを計数することが考えられる。
[0024]
 しかしながら、ガーゼの数え間違いや言い間違いが無くならない限り、上記(1)の達成は困難となる。また、患者の体内から複数枚のガーゼを取り出す際、その枚数が言われない場合には、上記(2)の達成も困難となる。
[0025]
 そこで、本実施の形態に係る手術システム1においては、手術室サーバ41が、マイクロフォン31から入力される執刀医11や看護師12が発する音声と、カメラ32により撮影される画像とに基づいて、患者の体内にある手術用具の数をカウントする。
[0026]
 さらに、音声によるカウントと画像によるカウントに差が生じた場合、手術室サーバ41は、提示装置42に、所定の警告を提示させる。
[0027]
 これにより、ガーゼや手術針などの手術用具を、患者の体内に置き忘れたまま手術を終えてしまう医療事故の発生を抑えるようにする。
[0028]
<2.手術室サーバの構成と動作>
 次に、上述したような医療事故の発生を抑えることを実現する手術室サーバ41の構成と動作について説明する。
[0029]
(手術室サーバの構成)
 図3は、本開示の実施の形態に係る情報処理装置としての手術室サーバ41の機能構成例を示すブロック図である。
[0030]
 図3の手術室サーバ41は、音声認識部51、画像認識部52、算出部53、提示制御部54、および記録部55を備えている。
[0031]
 音声認識部51は、マイクロフォン31から入力される執刀医11や看護師12(主に看護師12)が発する音声に基づいて、患者の体内にある手術用具の残数を音声認識よりカウントする。音声認識よりカウントされた手術用具の残数(以下、音声カウントともいう)は、算出部53に供給される。
[0032]
 画像認識部52は、カメラ32により撮影された画像に基づいて、患者の体内にある手術用具の残数を画像認識よりカウントする。画像認識よりカウントされた手術用具の残数(以下、画像カウントともいう)は、算出部53に供給される。
[0033]
 算出部53は、音声認識部51からの音声カウントと、画像認識部52からの画像カウントの差を算出する。音声カウント、画像カウント、およびそれらの差を表す情報は、提示制御部54に供給される。
[0034]
 提示制御部54は、提示装置42における表示や音声出力による情報の提示を制御する。提示制御部54は、算出部53からの情報に基づいて、音声カウントや画像カウントを提示したり、音声カウントと画像カウントに差が生じた場合に、所定の警告を提示する。
[0035]
 記録部55は、手術中において、マイクロフォン31から入力される音声と、カメラ32により撮影された画像を記録する。記録された音声や画像は、必要に応じて、提示制御部54によって提示装置42に提示される。
[0036]
(手術室サーバの動作)
 次に、図4のフローチャートを参照して、手術室サーバ41による警告提示処理の流れについて説明する。
[0037]
 ステップS11において、音声認識部51は、音声認識により患者13の体内にある手術用具の残数をカウントする。
[0038]
 例えば、音声認識部51は、音声認識によりカウントした、手術用具が患者13の体内に挿入された挿入回数と、手術用具が患者13の体内から摘出された摘出回数との差分により、患者13の体内にある手術用具の残数をカウントする。
[0039]
 このとき、音声認識部51は、看護師12やその他の看護師など、複数の術者の発声に対する音声認識により、患者13の体内にある手術用具の残数をカウントしてもよい。
[0040]
 音声認識される文言は、あらかじめ登録された文言とされる。例えば、挿入・摘出の動作を表す「入ります」や「出ます」、手術用具の名称と挿入・摘出の動作を表す「ガーゼ入ります」や「手術針出ます」などの文言があらかじめ登録される。また、「ガーゼ3枚入ります」などのように、手術用具の数が音声認識されるようにしてもよい。
[0041]
 ステップS12において、画像認識部52は、画像認識により患者13の体内にある手術用具の残数をカウントする。
[0042]
 例えば、画像認識部52は、画像認識によりカウントした、手術用具が患者13の体内に挿入された挿入回数と、手術用具が患者13の体内から摘出された摘出回数との差分により、患者13の体内にある手術用具の残数をカウントする。
[0043]
 このとき、画像認識部52は、複数台のカメラ32によって手術用具が撮影されている複数の動画像に対する画像認識により、患者13の体内にある手術用具の残数をカウントしてもよい。
[0044]
 画像認識される手術用具は、機械学習により学習された物体とされる。ここでは、通常、患者の体内に置き忘れることのない、例えばステントのような細長いものや鉗子などは認識対象から除外されるようにしてもよい。
[0045]
 例えば、手術用具が撮影された画像と、映っている手術用具とが対応付けられた学習データを多層ニューラルネットワークに入力することで、所定のパラメータを有する学習モデルを生成する。そして、生成された学習モデルに、カメラ32により撮影された画像を入力することで、手術用具が映っているか否かを判定する。なお、このような機械学習においては、手術用具の有無を判定できればよく、例えば強化学習などを適用してもよい。また、手術用具が映っている領域を示すアノテーションが付加された画像を学習データとして用いることで、手術用具が映っている領域の判定を行うようにしてもよい。
[0046]
 さらに、音声認識においても、マイクロフォンなどの音声入力機器を用いて録音された、人の発話を含む手術中の音声と、人の発話箇所を示すアノテーションとが対応付けられた学習データを多層ニューラルネットワークに入力することで、学習モデルを生成してもよい。この場合、音声入力機器から入力された音声に対して音声分離を行うことで、人の発話音声を分離し、分離された音声に対して音声認識を行うことで、音声認識の精度を向上させることができる。なお、音声認識についても、音声と、音声に対応した処理とが対応付けられた学習データを用いた機械学習を行い、音声認識用の学習モデルを生成して用いるようにしてもよい。
[0047]
 また、例えば複数のガーゼが患者13の体内に挿入され、患者13の体内から摘出された後、患者13の体内においてガーゼが1つも画像認識されない場合には、挿入された複数のガーゼが全て、患者13の体内から摘出されたとカウントされるようにしてもよい。
[0048]
 さらに、例えば血液を吸収したガーゼと臓器表面の色は互いに似た赤色であるが、色情報のコントラストなどに基づいて、ガーゼと臓器とが個別に認識されるようにしてもよい。
[0049]
 ステップS11の処理は、音声認識により挿入回数または摘出回数がカウントされる毎に行われる。また、ステップS12の処理は、画像認識により挿入回数または摘出回数がカウントされる毎に行われる。
[0050]
 所定のタイミングになると、ステップS13において、算出部53は、音声認識によりカウントされた手術用具の残数と、画像認識によりカウントされた手術用具の残数の差を算出する。
[0051]
 ステップS14において、算出部53は、それぞれの残数(音声カウントと画像カウント)が一致するか否かを判定する。
[0052]
 音声カウントと画像カウントが一致する場合、提示制御部54は何もせず、処理は終了する。
[0053]
 一方、音声カウントと画像カウントが一致しない場合、ステップS15に進み、提示制御部54は、提示装置42に警告を提示させる。
[0054]
 以上の処理によれば、音声カウントと画像カウントが一致しない場合、すなわち、音声カウントと画像カウントのいずれかが誤っている場合に、提示装置42に警告が提示される。これにより、器具出しの看護師12や、図示せぬ外回り看護師は、テーブル上に載置されている手術用具の数を数えたり、執刀医11に、患者13の体内にある手術用具の数を確認する機会を得ることができる。その結果、患者の体内に手術用具を置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
[0055]
<3.画面の表示例>
 ここで、図5および図6を参照して、モニタとして構成される提示装置42における画面の表示例について説明する。
[0056]
 図5および図6に示される画面100の左半分には、2台のカメラ32が術野を撮影している術野画像がリアルタイムで表示される表示領域111,112が、縦に並んで設けられる。
[0057]
 また、画面100の右半分の上側には、バイタルサインなどの情報や、記録された過去の術野画像などが表示される表示領域113が設けられる。
[0058]
 画面100において、表示領域113の下方には、音声カウント表示部121と画像カウント表示部122が設けられ、それらの下方には、警告表示部131が設けられる。
[0059]
 音声カウント表示部121には、音声認識によりカウントされた、患者13の体内にある手術用具の残数(音声カウント)が表示される。また、画像カウント表示部122には、画像認識によりカウントされた、患者13の体内にある手術用具の残数(画像カウント)が表示される。
[0060]
 ここでは、手術用具の種類(ガーゼなどの衛生材料21であるか、手術針などの手術器具22であるか)にかかわらず、全ての手術用具の残数がカウントされ、表示される。
[0061]
 図5の例では、音声カウント、画像カウントがいずれも「3」で一致しており、警告表示部131には何も表示されない。
[0062]
 一方、図6の例では、音声カウントが「4」である一方、画像カウントが「3」であり一致していない。このような場合、警告表示部131には「警告:数を確認してください」などの警告メッセージが表示される。このとき、提示装置42により、警告メッセージと同様の音声が出力されてもよい。
[0063]
 この警告メッセージを見た(聞いた)器具出しの看護師12や外回り看護師は、テーブル上に載置されている手術用具の数を数えたり、執刀医11に、患者13の体内にある手術用具の数を確認する機会を得ることができる。
[0064]
 なお、図6の例では、画像カウント表示部122の右方に、音声カウントおよび画像カウントの修正を受け付けるための修正ボタン141が表示されている。外回り看護師が、執刀医11に、患者13の体内にある手術用具の数を確認したり、自身で使用した数と廃棄した数を確認して、表示に誤りがある場合には、修正ボタン141を押下することで、音声カウントまたは画像カウントを正しい数に修正することができる。
[0065]
 また、上述したように、記録部55には、手術中において、マイクロフォン31から入力される音声と、カメラ32により撮影された画像が記録されている。そこで、音声カウントと画像カウントが一致しないときの(一致しない要因と思われる)音声や画像が提示されるようにしてもよい。
[0066]
 図7は、音声カウントと画像カウントが一致しないときの画像のキャプチャについて説明する図である。
[0067]
 図7の上側には、時間軸に沿った音声カウントが示され、図7の下側には、時間軸に沿った画像カウントが示されている。図中、時間軸上の上向き矢印は、手術用具が患者13の体内に挿入されたことを表し、時間軸上の下向き矢印は、手術用具が患者13の体内から摘出されたことを表している。
[0068]
 時刻T1の時点での音声カウントによれば、挿入回数が3回、摘出回数が2回であることから、残数は1である。一方、画像カウントによれば、挿入回数が3回、摘出回数が3回であることから、残数は0である。すなわち、音声カウントと画像カウントが一致しない。
[0069]
 このような場合、提示制御部54が、記録部55に記録されている音声と画像に基づいて、音声カウントと画像カウントが一致しないタイミングを推定し、そのタイミングの音声と画像を抽出する。
[0070]
 図7の例では、画像カウントにおける1回目の摘出(ハッチングされた下向き矢印)のタイミングの静止画像が、キャプチャ画像160としてキャプチャされる。キャプチャ画像160は、画面100の表示領域113に表示されることで、器具出しの看護師12や外回り看護師が、そのときの状況を確認することができる。
[0071]
 特に、音声カウントと画像カウントとで、挿入回数が一致しない場合には、手術用具が患者13の体内に余計に残っている可能性がある。この場合、器具出しの看護師12や外回り看護師は、キャプチャ画像を確認した上で、執刀医11に、患者13の体内にある手術用具の数を確認することができる。
[0072]
 また、図5および図6の例では、単に、音声認識および画像認識によりカウントされた手術用具の残数が表示されるものとした。
[0073]
 これに限らず、図8に示されるように、音声認識によりカウントされた挿入回数と摘出回数、画像認識によりカウントされた挿入回数と摘出回数がそれぞれ表示されるようにしてもよい。
[0074]
 図8の例では、画面100において、音声カウント表示部121と画像カウント表示部122に代えて、音声カウント表示部181と画像カウント表示部182が設けられている。
[0075]
 音声カウント表示部181には、音声認識によりカウントされた挿入回数(IN)と摘出回数(OUT)が表示される。また、画像カウント表示部182には、画像認識によりカウントされた挿入回数(IN)と摘出回数(OUT)が表示される。
[0076]
 図8の例では、音声カウント、画像カウントの挿入回数がいずれも「3」、音声カウント、画像カウントの摘出回数がいずれも「2」で一致しており、警告表示部131には何も表示されない。
[0077]
 また、上述した例では、手術用具の種類にかかわらず、全ての手術用具の残数がカウントされ、表示されるものとした。
[0078]
 これに限らず、図9に示されるように、手術用具の種類毎に、手術用具の残数がカウントされ、表示されるようにしてもよい。
[0079]
 図9の例では、画面100において、音声カウント表示部121と画像カウント表示部122に代えて、ガーゼカウント表示部191と手術針カウント表示部192が設けられている。
[0080]
 ガーゼカウント表示部191には、音声認識によりカウントされたガーゼの音声カウントと、画像認識によりカウントされたガーゼの画像カウントが表示される。また、手術針カウント表示部192には、音声認識によりカウントされた手術針の音声カウントと、画像認識によりカウントされた手術針の画像カウントが表示される。
[0081]
 図9の例では、手術針カウント表示部192の音声カウント、画像カウントがいずれも「1」で一致しているものの、ガーゼカウント表示部191の音声カウントが「3」、画像カウントが「2」で一致していない。このような場合、警告表示部131には「警告:ガーゼの数を確認してください」などの警告メッセージが表示される。このとき、提示装置42により、警告メッセージと同様の音声が出力されてもよい。
[0082]
 さらに、図示はしないが、図8の例と図9の例とを組み合わせて、手術用具の種類毎に、音声認識によりカウントされた挿入回数と摘出回数、画像認識によりカウントされた挿入回数と摘出回数がそれぞれ表示されるようにしてもよい。
[0083]
 また、図6の修正ボタン141は、図8の例、図9の例、図8の例と図9の例とを組み合わせた例における画面100に設けられてもよい。
[0084]
<4.残数の差の算出タイミング>
 以下では、算出部53が、音声認識によりカウントされた手術用具の残数(音声カウント)と、画像認識によりカウントされた手術用具の残数(画像カウント)の差を算出するタイミング(警告が提示されるタイミング)の例について説明する。
[0085]
(音声認識によりカウントされたタイミング)
 通常、看護師12は、手術用具を執刀医11に手渡した後に、その手術用具の名称などを発声する。そこで、例えば、音声認識部51により手術用具の残数がカウントされたときに、音声カウントと画像カウントとの差が算出されるようにする。また、音声認識部51により手術用具の残数がカウントされてから所定時間後(例えば20秒後など)に、音声カウントと画像カウントとの差が算出されるようにしてもよい。
[0086]
(画像認識によりカウントされたタイミング)
 上述した例とは逆に、画像認識部52により手術用具の残数がカウントされたときに、音声カウントと画像カウントとの差が算出されるようにしてもよい。例えば、画像認識部52により手術用具の残数がカウントされてから例えば5分後などに、音声カウントと画像カウントとの差が算出されるようにする。
[0087]
 この場合、画像認識部52により手術用具の残数がカウントされてから5分以内に、音声認識部51により手術用具の残数がカウントされなければ、音声カウントと画像カウントに差が生じる。また、画像認識部52により手術用具の残数がカウントされてから例えば4分59秒後に、音声認識部51により手術用具の残数がカウントされ始めた場合には、その時点からさらに1分後に、音声カウントと画像カウントとの差が算出されるようにする。
[0088]
(シーンが切り替わったタイミング)
 手術ステップが移行したとき、例えばカメラ32が撮影する術野画像においては、背景が大きく変化する。そこで、術野画像のシーンが切り替わったときに、音声カウントと画像カウントとの差が算出されるようにしてもよい。
[0089]
(医療機器からの信号に応じたタイミング)
 手術に用いられる医療機器からの信号に応じて、音声カウントと画像カウントとの差が算出されるようにしてもよい。例えば、手術に用いられる電気メスから通電されたことを表す信号が供給されたときに、音声カウントと画像カウントとの差が算出されるようにする。
[0090]
(一定の時間間隔毎のタイミング)
 例えば10分毎などの一定の時間間隔毎に、音声カウントと画像カウントとの差が算出されるようにしてもよい。
[0091]
(手術終了のタイミング)
 最終的には、手術終了時に、患者の体内にある手術用具の残数が0であればよい。そこで、手術終了時に、音声カウントと画像カウントとの差が算出されるようにしてもよい。手術終了のタイミングは、開腹手術であれば腹部の縫合を始めたとき、内視鏡手術であればスコープを抜いてから所定時間が経過したときなど、手術箇所を閉じるときとされる。
[0092]
<5.変形例>
(手術室サーバの構成)
 図10は、手術システム1の他の構成例を示す概略図である。
[0093]
 図10の手術システム1は、物体通過センサ211が新たに設けられている点で、図1の手術システム1とは異なる。
[0094]
 物体通過センサ211は、例えば、ToF(Time of Flight)カメラや赤外線カメラなどにより構成され、看護師12と患者13または執刀医11との間での手術用具の通過を検知する。
[0095]
 なお、物体通過センサ211は、衛生材料21や手術器具22を撮影するカメラとして構成されてもよいし、偏光カメラとして構成されてもよい。物体通過センサ211が偏光カメラとして構成される場合、半透明な衛生材料21や、銀色(金属製)の手術器具22を精度良く検知することができる。
[0096]
 図10の手術システム1においては、図示はしないが、手術室サーバ41に、物体通過センサ211により通過が検知された物体の数に基づいて、患者の体内にある手術用具の残数をカウントする物体通過認識部が設けられる。
[0097]
(手術室サーバの動作)
 次に、図11のフローチャートを参照して、図10の手術室サーバ41による警告提示処理の流れについて説明する。
[0098]
 なお、図11のフローチャートにおけるS31,S32の処理は、図4のフローチャートにおけるS11,S12の処理と同様であるので、その説明は省略する。
[0099]
 ステップS32の後、ステップS33において、図示せぬ物体通過認識部は、物体通過認識により患者13の体内にある手術用具の残数をカウントする。
[0100]
 ステップS34において、算出部53は、音声認識によりカウントされた手術用具の残数、画像認識によりカウントされた手術用具の残数、そして、物体通過認識によりカウントされた手術用具の残数(以下、物体通過カウント)の差を互いに算出する。
[0101]
 ステップS35において、算出部53は、それぞれの残数(音声カウント、画像カウント、および物体通過カウント)が互いに一致するか否かを判定する。
[0102]
 音声カウント、画像カウント、および物体通過カウントが全て一致する場合、提示制御部54は何もせず、処理は終了する。
[0103]
 一方、音声カウント、画像カウント、および物体通過カウントのいずれかが一致しない場合、ステップS36に進み、提示制御部54は、提示装置42に警告を提示させる。
[0104]
 以上の処理によれば、音声カウント、画像カウント、および物体通過カウントのいずれかが一致しない場合に、提示装置42に警告が提示されることで、患者の体内に、手術用具を置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
[0105]
<6.ユースケース>
 本開示に係る技術は、各種の手術を行う手術システムに適用される。
[0106]
 例えば、本開示に係る技術を、髄膜腫などの脳腫瘍の手術を行う手術システムに適用することができる。
[0107]
 脳腫瘍の手術は、主に、開頭、摘出、縫合の順番に行われる。
[0108]
 頭蓋骨を開頭する際の出血に伴い、複数のガーゼが頭蓋内へ挿入されたり、摘出されたりする。また、硬膜に存在する腫瘍を摘出する際には、手術針とガーゼが頭蓋内へ挿入されたり、摘出されたりする。腫瘍を摘出した後は、人工硬膜をあてがうなどし、皮膚を縫合して手術を終了する。
[0109]
 このような、脳腫瘍の手術を行う手術システムに、本開示に係る技術を適用することで、患者の頭蓋内に、手術針やガーゼを置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
[0110]
 また、本開示に係る技術を、内視鏡手術を行う手術システムに適用してもよい。
[0111]
 内視鏡手術においても、例えば他の臓器を保護するために、複数のガーゼが腹腔内へ挿入されたり、摘出されたりする。
[0112]
 内視鏡手術を行う手術システムに、本開示に係る技術を適用することで、患者の腹腔内に、ガーゼを置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
[0113]
<7.ハードウェア構成>
 次に、図12を参照して、本実施の形態に係る手術システムを構成する手術室サーバのハードウェア構成の一例について、詳細に説明する。
[0114]
 図12は、本実施の形態に係る手術システムを構成する手術室サーバ300のハードウェア構成の一例を示すブロック図である。
[0115]
 図12に示されるように、手術室サーバ300は、CPU301,ROM303,およびRAM305を備えている。さらに、手術室サーバ300は、ホストバス307、ブリッジ309、外部バス311、インタフェース313、入力装置315、出力装置317、およびストレージ装置319を備えている。なお、手術室サーバ300は、ドライブ321、接続ポート323、通信装置325を備えてもよい。
[0116]
 CPU301は、演算処理装置および制御装置として機能し、ROM303,RAM305、ストレージ装置319、またはリムーバブル記録媒体327に記録された各種プログラムに従って、手術室サーバ300内の動作全般またはその一部を制御する。
[0117]
 ROM303は、CPU301が使用するプログラムや演算パラメータなどを記憶する。RAM305は、CPU301が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、CPUバスなどの内部バスにより構成されるホストバス307により相互に接続されている。なお、図3を参照して説明した手術室サーバ41の各構成は、例えばCPU301により実現される。
[0118]
 ホストバス307は、ブリッジ309を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス311に接続されている。外部バス311には、インタフェース313を介して、入力装置315、出力装置317、ストレージ装置319、ドライブ321、接続ポート323、および通信装置325が接続される。
[0119]
 入力装置315は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置315は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、手術室サーバ300の操作に対応した携帯電話やPDAなどの外部接続機器329であってもよい。
[0120]
 入力装置315は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU301に出力する入力制御回路などから構成されている。
[0121]
 ユーザは、入力装置315を操作することにより、手術室サーバ300に対して各種のデータを入力したり処理動作を指示したりすることができる。
[0122]
 出力装置317は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置317は、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
[0123]
 出力装置317は、例えば、手術室サーバ300が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、手術室サーバ300が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。
[0124]
 ストレージ装置319は、手術室サーバ300の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置319は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置319は、CPU301が実行するプログラムや各種データなどを格納する。
[0125]
 ドライブ321は、記録媒体用リーダライタであり、手術室サーバ300に内蔵されるか、または外付けされる。ドライブ321は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体327に記録されている情報を読み出して、RAM305に出力する。また、ドライブ321は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体327に記録を書き込むことも可能である。
[0126]
 リムーバブル記録媒体327は、例えば、DVDメディア、HD-DVDメディア、またはBlu-ray(登録商標)メディアなどである。また、リムーバブル記録媒体327は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ、またはSD(Secure Digital)メモリカードなどであってもよい。さらに、リムーバブル記録媒体327は、例えば、非接触型ICチップを搭載したIC(Integrated Circuit)カード、または電子機器などであってもよい。
[0127]
 接続ポート323は、外部接続機器329を手術室サーバ300に直接接続するためのポートである。接続ポート323の一例としては、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどがある。接続ポート323の別の例としては、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどがある。接続ポート323に外部接続機器329を接続することで、手術室サーバ300は、外部接続機器329から直接各種のデータを取得したり、外部接続機器329に各種のデータを提供したりする。
[0128]
 通信装置325は、例えば、通信網(ネットワーク)331に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置325は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどである。また、通信装置325は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または各種通信用のモデムなどであってもよい。
[0129]
 通信装置325は、例えば、インターネットや他の通信機器との間で、例えばTCP/IPなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置325に接続される通信網331は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網331は、例えば、インターネットや家庭内LANであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
[0130]
 上述した手術室サーバ300の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
[0131]
 さらに、本実施の形態に係る手術システムを構成する手術室サーバ300の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
[0132]
 本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
[0133]
 例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0134]
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
[0135]
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
[0136]
 また、本開示は以下のような構成をとることができる。
(1)
 患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
 前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
 前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示制御部と
 を備える情報処理装置。
(2)
 前記提示制御部は、前記第1の残数および前記第2の残数を提示する
 (1)に記載の情報処理装置。
(3)
 前記音声認識部は、前記音声認識によりカウントした、前記手術用具が前記患者の体内に挿入された第1の挿入回数と、前記手術用具が前記患者の体内から摘出された第1の摘出回数との差分により、前記第1の残数をカウントし、
 前記画像認識部は、前記画像認識によりカウントした、前記手術用具が前記患者の体内に挿入された第2の挿入回数と、前記手術用具が前記患者の体内から摘出された第2の摘出回数との差分により、前記第2の残数をカウントする
 (1)に記載の情報処理装置。
(4)
 前記提示制御部は、前記第1の挿入回数と前記第1の摘出回数、および、前記第2の挿入回数と前記第2の摘出回数を提示する
 (3)に記載の情報処理装置。
(5)
 手術中における音声および画像の少なくともいずれかを記録する記録部をさらに備え、
 前記提示制御部は、前記記録部に記録された前記音声および前記画像の少なくともいずれかに基づいて、前記第1の残数と前記第2の残数に差が生じたときの前記音声および前記画像の少なくともいずれかを提示する
 (1)または(2)に記載の情報処理装置。
(6)
 前記音声認識部は、前記手術用具の種類毎に、前記第1の残数をカウントし、
 前記画像認識部は、前記手術用具の種類毎に、前記第2の残数をカウントし、
 前記提示制御部は、前記手術用具の種類毎に、前記第1の残数および前記第2の残数を提示する
 (1),(2)、または(5)に記載の情報処理装置。
(7)
 前記提示制御部は、前記警告の提示後、前記第1の残数および前記第2の残数の修正を受け付ける
 (1)乃至(6)のいずれかに記載の情報処理装置。
(8)
 前記音声認識部は、1以上の術者の発声に対する前記音声認識により、前記第1の残数をカウントし、
 前記画像認識部は、前記手術用具が撮影されている1以上の動画像に対する前記画像認識により、前記第2の残数をカウントする
 (1)乃至(7)のいずれかに記載の情報処理装置。
(9)
 所定のタイミングで、前記第1の残数と前記第2の残数の差を算出する算出部をさらに備える
 (1)乃至(8)のいずれかに記載の情報処理装置。
(10)
 前記算出部は、前記音声認識部により前記第1の残数がカウントされたときに、前記第1の残数と前記第2の残数の差を算出する
 (9)に記載の情報処理装置。
(11)
 前記算出部は、前記画像認識部により前記第2の残数がカウントされたときに、前記第1の残数と前記第2の残数の差を算出する
 (9)に記載の情報処理装置。
(12)
 前記算出部は、術野画像のシーンが切り替わったときに、前記第1の残数と前記第2の残数の差を算出する
 (9)に記載の情報処理装置。
(13)
 前記算出部は、手術に用いられる医療機器からの信号に応じて、前記第1の残数と前記第2の残数の差を算出する
 (9)に記載の情報処理装置。
(14)
 前記信号は、電気メスが通電されたことを表す信号である
 (13)に記載の情報処理装置。
(15)
 前記算出部は、一定の時間間隔毎に、前記第1の残数と前記第2の残数の差を算出する
 (9)に記載の情報処理装置。
(16)
 前記算出部は、手術終了時に、前記第1の残数と前記第2の残数の差を算出する
 (9)に記載の情報処理装置。
(17)
 前記手術用具は、手術器具および衛生材料の少なくともいずれかを含む
 (1)乃至(16)のいずれかに記載の情報処理装置。
(18)
 前記手術器具は、手術針を含み、
 前記衛生材料は、ガーゼを含む
 (17)に記載の情報処理装置。
(19)
 情報処理装置が、
 患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、
 前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、
 前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する
 提示方法。
(20)
 患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
 前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
 前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示制御部と
 を備える手術システム。

符号の説明

[0137]
 1 手術システム, 31 マイクロフォン, 32 カメラ, 41 手術室サーバ, 42 提示装置, 51 音声認識部, 52 画像認識部, 53 算出部, 54 提示制御部, 55 記録部

請求の範囲

[請求項1]
 患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
 前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
 前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示制御部と
 を備える情報処理装置。
[請求項2]
 前記提示制御部は、前記第1の残数および前記第2の残数を提示する
 請求項1に記載の情報処理装置。
[請求項3]
 前記音声認識部は、前記音声認識によりカウントした、前記手術用具が前記患者の体内に挿入された第1の挿入回数と、前記手術用具が前記患者の体内から摘出された第1の摘出回数との差分により、前記第1の残数をカウントし、
 前記画像認識部は、前記画像認識によりカウントした、前記手術用具が前記患者の体内に挿入された第2の挿入回数と、前記手術用具が前記患者の体内から摘出された第2の摘出回数との差分により、前記第2の残数をカウントする
 請求項1に記載の情報処理装置。
[請求項4]
 前記提示制御部は、前記第1の挿入回数と前記第1の摘出回数、および、前記第2の挿入回数と前記第2の摘出回数を提示する
 請求項3に記載の情報処理装置。
[請求項5]
 手術中における音声および画像の少なくともいずれかを記録する記録部をさらに備え、
 前記提示制御部は、前記記録部に記録された前記音声および前記画像の少なくともいずれかに基づいて、前記第1の残数と前記第2の残数に差が生じたときの前記音声および前記画像の少なくともいずれかを提示する
 請求項1に記載の情報処理装置。
[請求項6]
 前記音声認識部は、前記手術用具の種類毎に、前記第1の残数をカウントし、
 前記画像認識部は、前記手術用具の種類毎に、前記第2の残数をカウントし、
 前記提示制御部は、前記手術用具の種類毎に、前記第1の残数および前記第2の残数を提示する
 請求項1に記載の情報処理装置。
[請求項7]
 前記提示制御部は、前記警告の提示後、前記第1の残数および前記第2の残数の修正を受け付ける
 請求項1に記載の情報処理装置。
[請求項8]
 前記音声認識部は、1以上の術者の発声に対する前記音声認識により、前記第1の残数をカウントし、
 前記画像認識部は、前記手術用具が撮影されている1以上の動画像に対する前記画像認識により、前記第2の残数をカウントする
 請求項1に記載の情報処理装置。
[請求項9]
 所定のタイミングで、前記第1の残数と前記第2の残数の差を算出する算出部をさらに備える
 請求項1に記載の情報処理装置。
[請求項10]
 前記算出部は、前記音声認識部により前記第1の残数がカウントされたときに、前記第1の残数と前記第2の残数の差を算出する
 請求項9に記載の情報処理装置。
[請求項11]
 前記算出部は、前記画像認識部により前記第2の残数がカウントされたときに、前記第1の残数と前記第2の残数の差を算出する
 請求項9に記載の情報処理装置。
[請求項12]
 前記算出部は、術野画像のシーンが切り替わったときに、前記第1の残数と前記第2の残数の差を算出する
 請求項9に記載の情報処理装置。
[請求項13]
 前記算出部は、手術に用いられる医療機器からの信号に応じて、前記第1の残数と前記第2の残数の差を算出する
 請求項9に記載の情報処理装置。
[請求項14]
 前記信号は、電気メスが通電されたことを表す信号である
 請求項13に記載の情報処理装置。
[請求項15]
 前記算出部は、一定の時間間隔毎に、前記第1の残数と前記第2の残数の差を算出する
 請求項9に記載の情報処理装置。
[請求項16]
 前記算出部は、手術終了時に、前記第1の残数と前記第2の残数の差を算出する
 請求項9に記載の情報処理装置。
[請求項17]
 前記手術用具は、手術器具および衛生材料の少なくともいずれかを含む
 請求項1に記載の情報処理装置。
[請求項18]
 前記手術器具は、手術針を含み、
 前記衛生材料は、ガーゼを含む
 請求項17に記載の情報処理装置。
[請求項19]
 情報処理装置が、
 患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、
 前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、
 前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する
 提示方法。
[請求項20]
 患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
 前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
 前記音声認識によりカウントされた第1の残数と、前記画像認識によりカウントされた第2の残数に差が生じた場合に、所定の警告を提示する提示制御部と
 を備える手術システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]