処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020189110 - 医用ロボットシステムの力覚表示装置および力覚表示方法

Document

明 細 書

発明の名称 医用ロボットシステムの力覚表示装置および力覚表示方法 0001  

技術分野

0002  

背景技術

0003   0004   0005   0006  

先行技術文献

特許文献

0007  

発明の概要

発明が解決しようとする課題

0008   0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026  

発明の効果

0027  

図面の簡単な説明

0028  

符号の説明

0029  

発明を実施するための形態

0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230  

請求の範囲

1   2   3   4   5   6   7   8  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

明 細 書

発明の名称 : 医用ロボットシステムの力覚表示装置および力覚表示方法

関連出願の相互参照

[0001]
 本国際出願は、2019年3月15日に日本国特許庁に出願された日本国特許出願第2019-048547号に基づく優先権を主張するものであり、日本国特許出願第2019-048547号の全内容を本国際出願に参照により援用する。

技術分野

[0002]
 本開示は、医用ロボットシステムの力覚表示装置および力覚表示方法に関する。

背景技術

[0003]
 近年、手術支援に用いられる医用ロボットを用いた内視鏡外科手術が普及しつつある。内視鏡外科手術では、医用ロボットに取り付けられた腹腔鏡や内視鏡、鉗子などの術具が用いられる。
[0004]
 医用ロボットは医師による術具の遠隔操作が可能である。また、直観的な操作が可能な医用ロボットも提案されている。さらに、正確性や安全性を高めることを目的として、医用ロボットを操作する医師に対して、術具に作用する外力を伝える力覚提示が可能な医用ロボットも提案されている(例えば、特許文献1および2参照)。
[0005]
 特許文献1には、医療用具により受けた測定された応力に従って、ハプティックコントロールから触覚フィードバックを受ける内容や、ニードルに受けた応力の感触を有するようにモニタ上に測定された応力等を表示する内容が開示されている。
[0006]
 特許文献2には、触覚フィードバックで生成された情報に基づいて3次元触覚表現を更新する内容が開示されている。なお、3次元を以下では3Dとも表現する。具体的には、外科器具が患者の骨と接触していると判定されるとき、患者の状態の3D表現、例えば、3D図示表現および/または3D触覚表現を更新する内容が記載されている。

先行技術文献

特許文献

[0007]
特許文献1 : 特表2005-510289号公報
特許文献2 : 特開2018-158104号公報

発明の概要

発明が解決しようとする課題

[0008]
 力覚の提示方法が、操作を行う医師の手への触覚による提示の場合、操作を行っている医師が直感的に力覚を把握できるという利点がある。その一方で、触覚への提示の強さが同じであっても、受け取る医師が異なると強さの感じ方が異なる場合があり、正確性に欠けるおそれがあった。また、操作を行う医師に対してのみ力覚が提示され、他の医師などへの提示がされないため、第三者によるリアルタイムチェックや、客観性の確保が難しい。
[0009]
 特許文献1および2に開示されている技術のように、モニタ上に測定された応力等を表示する方法、言い換えると力覚を表示する方法では、上述のような第三者によるリアルタイムチェックや、客観性の確保は、比較的容易になるという利点がある。しかしながら、面積の限られたモニタ上に、内視鏡などにより撮像された映像や画像とともに力覚を表示するため、力覚が把握しにくいおそれがあった。特に、複数の異なる力覚を表示させると、力覚の把握しにくさが顕著となる。
[0010]
 本開示の一局面は、医用ロボットシステムにおける操作の正確性や安全性を高めることが容易な医用ロボットシステムの力覚表示装置および力覚表示方法を提供することが好ましい。

課題を解決するための手段

[0011]
 本開示の第1の態様に係る医用ロボットシステムの力覚表示装置は、術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する装置であって、前記術具および前記スレーブ装置の少なくとも一方の2ヶ所以上で測定された外力の測定信号が入力される入力部と、前記測定信号に基づいて、前記術具の操作に関する情報を表示する第1表示領域とは異なる第2表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成部と、前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力部と、が設けられている。
[0012]
 本開示の第2の態様に係る医用ロボットシステムの力覚表示方法は、術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する表示方法であって、前記術具および前記スレーブ装置の少なくとも一方の2ヶ所以上で測定された外力の測定信号が入力される入力ステップと、前記測定信号に基づいて、前記術具の操作に関する情報を表示する第1表示領域とは異なる第2表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成ステップと、前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力ステップと、を有する。
[0013]
 本開示の第1の態様に係る力覚表示装置、および、第2の態様に係る力覚表示方法によれば、外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示部に画像情報を表示させることができる。言い換えると、表示されている外力の情報が、どの箇所で測定されたか識別可能な態様で表示することができる。
[0014]
 また、第1表示領域とは異なる第2表示領域に外力の情報を画像として表示するため、第1表示領域に重ねて外力の情報を表示する場合と比較して、表示されている外力の情報を把握しやすくなる。また、第1表示領域に表示される術具に関する情報の視認を妨げにくくなる。
[0015]
 本開示の第1の態様において前記画像生成部は、前記外力の値の大きさを当該外力として表示する前記画像の色、形状、および、面積の少なくとも1つとして表現する前記画像情報を作成することが好ましい。
[0016]
 このように外力の値の大きさを色、形状、および面積の少なくとも1つを用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
[0017]
 本開示の第1の態様において前記スレーブ装置は複数であって、前記画像生成部は、前記第2表示領域に前記スレーブ装置ごとに前記外力として表示する前記画像を内側に表示するサブ領域を設けていることが好ましい。
[0018]
 このようにスレーブ装置毎に設けられたサブ領域の内側に、当該スレーブ装置で測定された外力を表示することにより、複数のスレーブ装置が設けられている場合であっても、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。
[0019]
 本開示の第1の態様において前記画像生成部は、前記サブ領域の形状、および、少なくとも一部の色彩により、複数の前記スレーブ装置を識別可能とする前記画像情報を作成することが好ましい。
[0020]
 このようにスレーブ装置毎にサブ領域の形状、および、少なくとも一部の色彩を異ならせることにより、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。
[0021]
 本開示の第1の態様において前記入力部には、前記スレーブ装置に把持されている前記術具の種類を表す種類情報が入力され、前記画像生成部は、前記種類情報に基づいて、前記サブ領域に前記術具の形状を表す画像を含む前記画像情報を作成することが好ましい。
[0022]
 このようにスレーブ装置に把持されている術具の形状を表す画像をサブ領域に表示することにより、表示されている外力の情報が、どの術具を把持しているスレーブ装置で測定された外力の情報か把握しやすくなる。
[0023]
 本開示の第1の態様においては、棒状に延びる前記スレーブ装置の端部に前記術具が配置され、前記スレーブ装置の前記端部近傍には、前記術具の姿勢を変更可能とする関節部が設けられ、前記入力部に入力される前記測定信号は、前記関節部に作用する力に関する関節測定信号、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関するアーム測定信号が含まれ、前記画像生成部は、前記関節測定信号および前記アーム測定信号に基づいて、前記関節部に作用する力に関する情報、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関する情報を表示する前記画像情報を作成することが好ましい。
[0024]
 このように関節部に作用する力と、スレーブ装置における関節部以外の箇所に作用する外力に関する情報を表示することにより、1箇所に作用する外力などを表示する場合と比較して、操作しているスレーブ装置の状況を把握しやすくなる。例えば、スレーブ装置同士が接触した場合には、スレーブ装置における関節部以外の箇所(例えばシャフト)に接触による外力が作用する。この外力に関する情報が表示されるため、操作者はスレーブ装置同士が接触したことを把握することができる。
[0025]
 本開示の第1の態様においては、前記入力部に入力される前記測定信号には、前記術具に作用する力に関する術具測定信号が含まれ、前記画像生成部は、前記術具測定信号に基づいて、前記術具に作用する力に関する情報を表示する前記画像情報を作成することが好ましい。
[0026]
 このように術具に作用する力に関する情報を表示することにより、術具の操作状況を把握しやすくなる。例えば、術具が鉗子である場合には、鉗子を閉じて対象物を挟んで把持する際の把持力が表示される。また、鉗子を開いて対象物を剥離させる際の剥離力も表示される。

発明の効果

[0027]
 本開示の第1の態様に係る力覚表示装置、および、第2の態様に係る力覚表示方法によれば、外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示部に画像情報を表示させることにより、医用ロボットシステムにおける操作の正確性や安全性を高めることが容易になるという効果を奏する。

図面の簡単な説明

[0028]
[図1] 本開示の第1の実施形態に係る医用ロボットシステムの構成を説明するブロック図である。
[図2] 図1のスレーブユニットに設けられるカートリッジの構成を説明する斜視図である。
[図3] 図1の制御装置における力覚の表示に関する制御を説明するフローチャートである。
[図4] 図4Aは図1の表示装置における表示の態様を説明する模式図であり、図4Bは他の態様を説明する模式図であり、図4Cはさらに他の態様を説明する模式図である。
[図5] 図1の表示装置における別の表示の態様を説明する模式図である。
[図6] 力覚表示部における表示態様を説明する模式図である。
[図7] 図7Aは剥離表示態様を説明する図であり、図7Bは把持表示態様を説明する図であり、図7Cは力を測定していない場合の表示態様を説明する図である。
[図8] 本開示の第1の実施形態の第1変形例に係る医用ロボットシステムの構成を説明するブロック図である。
[図9] 図8の表示装置における表示の態様を説明する模式図である。
[図10] 本開示の第1の実施形態の第2変形例に係る医用ロボットシステムの構成を説明するブロック図である。
[図11] 図11Aは、第1表示装置における表示の態様を説明する模式図であり、図11Bは、第2表示装置における表示の態様を説明する模式図である。
[図12] 本開示の第2の実施形態に係る医用ロボットシステムの構成を説明するブロック図である。
[図13] 図12のスレーブユニットの構成を説明するブロック図である。
[図14] 図12の表示装置における表示の態様を説明する模式図である。
[図15] 図14の第1力覚表示部、第2力覚表示部、第3力覚表示部における表示態様を説明する模式図である。
[図16] 本開示の第2の実施形態の第1変形例に係る医用ロボットシステムの構成を説明するブロック図である。
[図17] 図16の表示装置における第1力覚表示部、第2力覚表示部、第3力覚表示部における表示態様を説明する模式図である。
[図18] 本開示の第2の実施形態の第2変形例に係る医用ロボットシステムの構成を説明するブロック図である。
[図19] 図18の表示装置における第1力覚表示部、第2力覚表示部、第3力覚表示部における表示態様を説明する模式図である。
[図20] 本開示の第2の実施形態の第3変形例に係る医用ロボットシステムの構成を説明するブロック図である。
[図21] 図20の表示装置における第1力覚表示部、第2力覚表示部、第3力覚表示部における表示態様を説明する模式図である。
[図22] 本開示の第2の実施形態の第4変形例に係る医用ロボットシステムの構成を説明するブロック図である。
[図23] 図22の表示装置における第1力覚表示部、第2力覚表示部、第3力覚表示部における表示態様を説明する模式図である。

符号の説明

[0029]
 1,101,201,301,401,501,601,701…医用ロボットシステム、 10,310…スレーブユニット(スレーブ装置)、 14…術具、 10A…第1スレーブ装置(スレーブ装置)、 10B…第2スレーブ装置(スレーブ装置)、 10C…第3スレーブ装置(スレーブ装置)、 13…関節部、 50,150,250,350,450,550,650,750…制御装置(力覚表示装置)、 51…入力部、 53,153,253,353,453,553,653,753…画像生成部、 54…出力部、 60…表示装置(表示部)、 61,361…内視鏡画像表示部(第1表示領域)、 62,162…第1力覚表示部(第2表示領域)、 63,163…第2力覚表示部(第2表示領域)、 260A…第1表示装置(表示部)、 260B…第2表示装置(表示部)、 261…内視鏡画像表示部(第1表示領域)、 262…第1力覚表示部(第2表示領域)、 263…第2力覚表示部(第2表示領域)、 362…第1力覚表示部(サブ領域)、 363…第2力覚表示部(サブ領域)、 364…第3力覚表示部(サブ領域)、 365…力覚表示部(第2表示領域)、 S12,S15,S18…入力ステップ、 S14,S17,S20…画像生成ステップ、出力ステップ

発明を実施するための形態

[0030]
 〔第1の実施形態〕
 以下、本開示の第1の実施形態に係る医用ロボットシステム1ついて図1から図7を参照しながら説明する。本実施形態の医用ロボットシステム1は、手術支援に用いられる。本実施形態の医用ロボットシステム1は、例えば、内視鏡外科手術の支援に用いて好適である。
[0031]
 医用ロボットシステム1は、図1に示すように、スレーブユニット10と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置50と、表示装置60と、を備える。なお、スレーブユニット10がスレーブ装置の一例に相当し、制御装置50が力覚表示装置の一例に相当し、表示装置60が表示部の一例に相当する。
[0032]
 スレーブユニット10は、図1および図2に示すように、内視鏡外科手術に用いられる鉗子などの術具14を支持する。また、スレーブユニット10は、操作ユニット30に入力される操作に従って術具14の位置および姿勢の少なくとも一方を制御する。また、術具14が鉗子である場合には鉗子を開閉駆動する。
[0033]
 本実施形態では、スレーブユニット10が、第1スレーブ装置10A、および、第2スレーブ装置10Bを有している。なお、スレーブユニット10が有しているスレーブ装置の数は、2つよりも多くてもよいし、少なくてもよい。また、第1スレーブ装置10A、および、第2スレーブ装置10Bはそれぞれスレーブ装置の一例に相当する。
[0034]
 本実施形態では、第1スレーブ装置10A、および、第2スレーブ装置10Bがロボットアームである。さらに第1スレーブ装置10Aおよび第2スレーブ装置10Bは同じ構成を有し、同種の術具14を支持する。
[0035]
 なお、第1スレーブ装置10A、および、第2スレーブ装置10Bは術具14の位置および姿勢の少なくとも一方を制御するもの、または、術具14としての鉗子の開閉駆動できればよく、アーム状の構成を有していなくてもよい。
[0036]
 第1スレーブ装置10A、および、第2スレーブ装置10Bには、図2に示すように、カートリッジ11と、シャフト12と、関節部13と、が少なくとも設けられている。なお、カートリッジ11、シャフト12、および、関節部13において第1スレーブ装置10Aに設けられたものか、第2スレーブ装置10Bに設けられたものか区別する必要がない場合には、カートリッジ11、シャフト12、および、関節部13と表記する。第1スレーブ装置10Aに設けられたものか、第2スレーブ装置10Bに設けられたものか区別する場合には、それぞれ、カートリッジ11A、シャフト12Aおよび関節部13Aと、カートリッジ11B、シャフト12Bおよび関節部13Bと表記する。
[0037]
 カートリッジ11は、シャフト12、関節部13、および、術具14を支持する。本実施形態では、カートリッジ11が立方体状の形状を有している。
[0038]
 カートリッジ11には、シャフト12、関節部13、および、術具14の少なくとも1つを駆動する空気圧アクチュエータなどの駆動源が収納されていてもよい。また、シャフト12に加わる外力を測定するシャフトセンサ15、関節部13に加わる外力を測定する関節センサ16、術具14である鉗子により外部へ加えられる開閉の力を測定する術具センサ17の少なくとも1つが収納されていてもよい。
[0039]
 なお、シャフトセンサ15、関節センサ16および術具センサ17において第1スレーブ装置10Aに設けられたものか、第2スレーブ装置10Bに設けられたものか区別する必要がない場合には、シャフトセンサ15、関節センサ16および術具センサ17と表記する。第1スレーブ装置10Aに設けられたものか、第2スレーブ装置10Bに設けられたものか区別する場合には、それぞれ、シャフトセンサ15A、関節センサ16Aおよび術具センサ17Aと、シャフトセンサ15B、関節センサ16Bおよび術具センサ17Bと表記する。
[0040]
 シャフト12は、カートリッジ11から延びる円筒状または円柱状に形成された部材である。シャフト12は、カートリッジ11に対して自身の中心軸線まわりに回転可能に配置されている。なお、シャフト12は、円筒状または円柱状に形成されてもよいし、角柱状に形成されてもよい。
[0041]
 関節部13は、術具14を支持するとともに、屈曲することにより術具14の位置や姿勢を制御する。関節部13は、シャフト12と術具14との間に位置する。言い換えると、関節部13の一方の端部は、シャフト12におけるカートリッジ11から離れた側の端部と隣接し、他方の端部は術具14と隣接している。なお、関節部13の構成としては、屈曲が可能であれば、具体的な構成は特に限定されない。
[0042]
 内視鏡ユニット20は、図1に示すように、内視鏡外科手術を行う際に用いられる映像または画像を取得する。具体的には、患者の体腔内であって手術の対象である領域の映像または画像を取得する。取得した映像または画像の情報は、制御装置50へ出力される。なお、内視鏡ユニット20は、映像または画像の情報を出力できればよく、その構成が限定されるものではない。
[0043]
 操作ユニット30は、スレーブユニット10の制御に用いられる。具体的には、第1スレーブ装置10Aおよび第2スレーブ装置10Bを操作して内視鏡外科手術を行う際に用いられる。
[0044]
 操作ユニット30は、ハンド操作部31およびフット操作部35を備える。ハンド操作部31は、医用ロボットシステム1の操作者(例えば、内視鏡外科手術の術者)が手を用いてスレーブユニット10の動きを入力する際に用いられる。
[0045]
 ハンド操作部31は、操作者の右手に対応する右手用操作部32と、左手に対応する左手用操作部33と、を備える。右手用操作部32および左手用操作部33は、操作者から入力された情報を信号に変換して制御部52へ出力する。また、右手用操作部32および左手用操作部33は、制御部52から入力された制御信号に基づいて、操作者に対して力覚を提示する。
[0046]
 なお、右手用操作部32および左手用操作部33としては、構成および方式は限定されない。また、ハンド操作部31は、上述のように右手用操作部32および左手用操作部33の両者を有していてもよいし、右手用操作部32および左手用操作部33の一方のみを有してもよい。
[0047]
 フット操作部35は、操作者が足を用いてスレーブユニット10の動きや機能を操作する際に用いられる。フット操作部35は、第1フットスイッチ36と、第2フットスイッチ37と、第3フットスイッチ38とを備える。第1フットスイッチ36、第2フットスイッチ37、第3フットスイッチ38は、操作者が足で踏むことにより操作されるスイッチである。
[0048]
 例えば、術具14へ高周波電流の供給および停止や、スレーブユニット10の制御モードの切り替えなど、を例示することができる。なお、フット操作部35による操作の種類や内容は、特に限定されない。またフット操作部35は、上述のように3つのフットスイッチを有していてもよいし、3つよりも少ないフットスイッチを有していてもよいし、3つよりも多いフットスイッチを有していてもよい。
[0049]
 発音装置40は、操作者を含む内視鏡外科手術に関与する関係者の少なくとも一部に対して、制御装置50から入力される制御信号に基づいて音を発する。音を発生させる構成等は、特に限定されない。
[0050]
 制御装置50は、スレーブユニット10の動作等や、発音装置40における発音を制御する。制御装置50は、表示装置60に表示される内容や表示される態様を制御する。
[0051]
 制御装置50は、図1に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部53、および、出力部54として機能させる。なお、CPUは中央演算処理ユニットの略称である。
[0052]
 入力部51は、外部から信号が入力される。具体的には、入力部51は、操作ユニット30と操作に関する信号が入力可能に接続され、内視鏡ユニット20と映像や画像の信号が入力可能に接続されている。
[0053]
 さらに、入力部51は、シャフト12に加わる外力を測定するシャフトセンサ15、関節部13に加わる外力を測定する関節センサ16、および、術具14である鉗子により外部へ加えられる開閉の力を測定する術具センサ17と、測定信号が入力可能に接続されている。
[0054]
 なお、シャフトセンサ15、関節センサ16、および、術具センサ17が配置されている位置は、それぞれの測定対象の外力が測定できる位置であればよく、その位置を限定するものではない。また、シャフトセンサ15、関節センサ16、および、術具センサ17により外力を測定する方式は、特に限定されるものではない。
[0055]
 制御部52は、スレーブユニット10および術具14の動作や、機能の発揮を制御する信号を生成する。制御信号は、操作ユニット30から入力される操作に関する信号に基づいて生成される。
[0056]
 画像生成部53は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号、および、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。
[0057]
 出力部54は、制御部52において生成された制御信号および画像生成部53において生成された画像情報を出力する。出力部54は、スレーブユニット10および術具14と制御信号の出力が可能に接続され、表示装置60と画像情報が出力可能に接続されている。
[0058]
 表示装置60は、制御装置50から出力された画像情報に基づいて、映像や画像を表示する。表示装置60は、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行う。表示装置60としては、映像や画像を表示することができれば方式や構成は特に限定されない。
[0059]
 次に、上記の構成を備える医用ロボットシステム1における制御、具体的には力覚の表示に関する制御について説明する。まず、制御装置50における演算処理の流れを、図3を参照しながら説明し、その後に表示する内容について説明する。
[0060]
 制御装置50に電力が供給されると、図3に示すように、制御装置50は、S11でタイマカウンタが所定時間に達したか否かを判定する処理を行う。本実施形態では、所定時間は200msである。なお所定時間は、上述のように200msであってもよいし、200msよりも長くても、短くてもよい。
[0061]
 タイマカウンタが所定時間に達していないと判定された場合、すなわちNOと判定された場合には、制御装置50は、再びS11の判定処理を行う。
[0062]
 タイマカウンタが所定時間に達したと判定された場合、すなわちYESと判定された場合には、制御装置50は、S12の入力ステップに処理を移行する。S12で、制御装置50は、シャフト12に働く外力を検出したか否かを判定する処理を行う。言い換えると、入力部51にシャフトセンサ15から力の測定信号であるアーム測定信号が入力しているか否かを判定する処理を行う。
[0063]
 シャフト12に働く外力を検出したと判定された場合、すなわちYESと判定された場合には、制御装置50は、S13に処理を移行する。S13で、制御装置50は、検知した外力を力覚として提示する制御信号を生成する処理を行う。検出した外力は、シャフトセンサ15により測定された力の大きさである。検出された外力は、シャフトセンサ15から出力される測定信号に基づいて推定される。
[0064]
 具体的には、測定信号を出力したシャフトセンサ15が設けられたスレーブ装置に対応するハンド操作部31に、検出した外力を力覚として提示させる処理を行う。例えば、測定信号を出力したシャフトセンサ15が、第1スレーブ装置10Aのシャフト12に作用する力を測定する場合には、第1スレーブ装置10Aの操作に用いられるハンド操作部31(すなわち、右手用操作部32または左手用操作部33)に、検出した外力を力覚として提示させる処理を行う。
[0065]
 さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部31は、制御装置50から出力される制御信号に基づいて、シャフトセンサ15に作用する力に応じた力覚を操作者に提示する。
[0066]
 S13の処理が終了すると、制御装置50は、S14の画像生成ステップおよび出力ステップに処理を移行する。S14で、制御装置50は、検知した外力に対応した、外力に関する情報を、視覚を用いて把握できる情報として提示する処理を行う。具体的には、測定信号を出力したシャフトセンサ15が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置60へ出力される。表示装置60は入力された画像情報に基づいて映像や画像を表示する。
[0067]
 S14の処理が終了すると、または、S12においてシャフト12に働く外力が検出されないと判定された場合、すなわちNOと判定された場合には、制御装置50は、S15の入力ステップに処理を移行する。S15で、制御装置50は、関節部13に働く外力を検出したか否かを判定する処理を行う。言い換えると、入力部51に関節センサ16から力の測定信号である関節測定信号が入力しているか否かを判定する処理を行う。
[0068]
 関節部13に働く外力を検出したと判定された場合、すなわちYESと判定された場合には、制御装置50は、S16に処理を移行する。S16で、制御装置50は、検知した外力を力覚として提示する制御信号を生成する処理を行う。検出した外力は、関節センサ16により測定された力の大きさである。検出された外力は、関節センサ16から出力される測定信号に基づいて推定される。
[0069]
 具体的には、測定信号を出力した関節センサ16が設けられたスレーブ装置に対応するハンド操作部31に、検出した外力を力覚として提示させる処理を行う。さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部31は、制御装置50から出力される制御信号に基づいて、関節センサ16に作用する力に応じた力覚を操作者に提示する。
[0070]
 S16の処理が終了すると、制御装置50は、S17の画像生成ステップおよび出力ステップに処理を移行する。S17で、制御装置50は、検知した外力に対応した、力に関する情報を、視覚を用いて把握できる情報として提示する処理を行う。具体的には、測定信号を出力した関節センサ16が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置60へ出力される。表示装置60は入力された画像情報に基づいて映像や画像を表示する。
[0071]
 S17の処理が終了すると、または、S15において関節部13に働く外力が検出されない判定がされた場合、すなわちNOと判定された場合には、制御装置50は、S18の入力ステップに処理を移行する。S18で、制御装置50は、術具14に働く外力を検出したか否かを判定する処理を行う。言い換えると、入力部51に術具センサ17から力の測定信号である術具測定信号が入力しているか否かを判定する処理を行う。
[0072]
 術具14に働く外力を検出したと判定された場合、すなわちYESと判定された場合には、制御装置50は、S19に処理を移行する。S19で、制御装置50は、検知した外力を力覚として提示する制御信号を生成する処理を行う。検出した外力は、術具センサ17により測定された力の大きさである。術具センサ17により測定された力の大きさは、具体的には、鉗子が把持する力、または、剥離する力の大きさに対応する。検出された外力は、術具センサ17から出力される測定信号に基づいて推定される。
[0073]
 具体的には、測定信号を出力した術具センサ17が設けられたスレーブ装置に対応するハンド操作部31に、検出した外力を力覚として提示させる処理を行う。さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部31は、制御装置50から出力される制御信号に基づいて、術具センサ17に作用する力に応じた力覚を操作者に提示する。
[0074]
 S19の処理が終了すると、制御装置50は、S20の画像生成ステップ及び出力ステップに処理を移行する。S20で、制御装置50は検知した外力に対応した、術具に作用する力に関する情報を、視覚を用いて把握できる情報として提示する処理を行う。具体的には、制御装置50は、測定信号を出力した術具センサ17が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置60へ出力される。表示装置60は入力された画像情報に基づいて映像や画像を表示する。
[0075]
 S20の処理が終了すると、制御装置50は、S21に処理を移行する。S21で、制御装置50はタイマカウンタを0にリセットする処理を行う。リセットの処理が終了すると、制御装置50はS11に戻り、上述の処理を繰り返し行う。例えば、少なくとも、医用ロボットシステム1による内視鏡外科手術の支援が行われている期間は、上述の処理の繰り返しが行われる。
[0076]
 次に画像生成部53において生成される画像情報について説明する。具体的には、表示装置60における表示の態様について説明する。図4Aは、本実施形態の画像生成部53により生成された画像情報に基づいて、表示装置60が表示する態様を説明する模式図である。
[0077]
 画像生成部53は、図4Aに示すように、表示装置60における表示面に、左右方向の中央である内視鏡画像表示部61を設定するとともに、内視鏡画像表示部61の左下に第1力覚表示部62と、右上に第2力覚表示部63とを設定する。なお、内視鏡画像表示部61が第1表示領域の一例に相当し、第1力覚表示部62と、第2力覚表示部63とがそれぞれ第2表示領域の一例に相当する。
[0078]
 内視鏡画像表示部61は、第1力覚表示部62および第2力覚表示部63よりも広い面積を有する領域である。画像生成部53は、内視鏡ユニット20から入力された映像または画像の情報を内視鏡画像表示部61に表示させる画像情報を生成する。
[0079]
 第1力覚表示部62および第2力覚表示部63は、内視鏡画像表示部61よりも狭い面積を有する領域である。画像生成部53は、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。
[0080]
 第1力覚表示部62および第2力覚表示部63は、枠により他の領域と区画される。また、第1力覚表示部62および第2力覚表示部63は、区画された内部にシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づく表示が行われる。本実施形態の第1力覚表示部62および第2力覚表示部63は、同じ矩形状に形成された同色の枠を有している。第1力覚表示部62および第2力覚表示部63における表示態様については後述する。
[0081]
 本実施形態では、第1力覚表示部62は、第1スレーブ装置10Aに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域であり、第2力覚表示部63は、第2スレーブ装置10Bに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域である。
[0082]
 なお、第1力覚表示部62が第2スレーブ装置10Bに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域であり、第2力覚表示部63が第1スレーブ装置10Aに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域であってもよい。
[0083]
 なお、本実施形態では、第1力覚表示部62が表示装置60における表示面の左下に位置し、第2力覚表示部63が右上に位置するが、図4Bに示すように、第1力覚表示部62が表示面の左上に位置し、第2力覚表示部63が右下に位置してもよいし、図4Cに示すように、第1力覚表示部62が表示面の左側中央のやや上に位置し、第2力覚表示部63が右側中央のやや下に位置してもよい。
[0084]
 また、本実施形態では第1力覚表示部62および第2力覚表示部63が、同じ矩形状に形成された同色の枠を有している例に適用して説明したが、第1力覚表示部62および第2力覚表示部63が異なる形状に形成された枠を有していてもよい。例えば、図5に示すように、第1力覚表示部62が矩形状に形成された枠を有し、第2力覚表示部63が楕円状に形成された枠を有していてもよい。
[0085]
 さらに本実施形態では第1力覚表示部62および第2力覚表示部63が、同じ色の枠を有している例に適用して説明したが、第1力覚表示部62および第2力覚表示部63が異なる色の枠を有していてもよい。
[0086]
 次に第1力覚表示部62および第2力覚表示部63における表示態様について説明する。なお、第1力覚表示部62および第2力覚表示部63における表示態様は同じであるため、代表して第1力覚表示部62における表示態様について説明し、第2力覚表示部63における表示態様の説明は省略する。また、第1力覚表示部62および第2力覚表示部63は、互いに区別が容易になるように第1スレーブ装置10Aおよび第2スレーブ装置10Bの名称が表示されてもよい。
[0087]
 第1力覚表示部62の表示態様は、図6に示す通りである。つまり、第1力覚表示部62には、第1スレーブ装置10Aのシャフト12、関節部13および術具14の3次元モデルが表示される。つまり、3次元モデルのシャフト12m、3次元モデルの関節部13mおよび3次元モデルの術具14mが表示される。3次元モデルは、実際のシャフト12の姿勢や、関節部13の屈曲状態が反映して表示される。
[0088]
 なお、3次元モデルにおける術具14mの形状は、入力部51を介して入力される術具14の種類を表す種類情報に基づいて決められる。制御装置50には、術具14の種類を表す種類情報と、表示される3次元モデルにおける術具14mの形状と、が対応付けして記憶されている。画像生成部53は、入力された種類情報に対応付けされた術具14mの形状の情報を取得し、3次元モデルを表示する画像情報を生成する。
[0089]
 なお、入力部51を介して入力される種類情報は、医用ロボットシステム1のセッティングを行う作業者や、内視鏡外科手術を行う術者などが入力する情報であってもよいし、取付けられた術具14の種類を検知するセンサから出力される検知信号であってもよい。
[0090]
 3次元モデルにおけるシャフト12mの部分には、シャフトセンサ15から入力される信号に基づいて、力の大きさ、および、力の向きを示す円錐状の図形15fが表示される。また、3次元モデルにおける関節部13mの部分には、関節センサ16から入力される信号に基づいて、力の大きさ、および、力の向きを示す円錐状の図形16fが表示される。
[0091]
 本実施形態では、円錐状の図形の底面から頂点までの距離が力の大きさに対応する。また、力の大きさに応じて円錐状の図形を表示する色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。さらに、本実施形態では、円錐状の図形の底面から頂点に向かう方向が力の向きを表す。
[0092]
 3次元モデルにおける術具14に隣接する領域、例えば術具14の先端側に隣接する領域には、術具センサ17から入力される信号に基づいて、術具14である鉗子が閉じる力の大きさ、または、開く力の大きさを示す帯状の図形が表示される。
[0093]
 本実施形態では、図7Aに示すように、帯状図形14fの長さが予め定められた基準指標14sよりも長くする剥離表示態様で表示することで、術具14である鉗子が開く力を表現する。また、図7Bに示すように、基準指標14sよりも帯状図形14fの長さを短くする把持表示態様で表示することで術具14が閉じる力を表現する。
[0094]
 また、力の大きさに応じて帯状図形14fと基準指標14sの長さの差を変化させ、当該長さの差により力の大きさを表示する。例えば、力が大きくなると当該長さの差を大きく表示し、力が小さくなると当該長さの差が小さく表示される。
[0095]
 または、力の大きさに応じて帯状図形14fの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ17が力を測定していない場合には、図7Cに示すように、帯状図形14fは基準指標14sと同じ長さで表示され、かつ、白色で表示される。
[0096]
 上記の構成の制御装置50によれば、外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示装置60に画像情報を表示させることができる。言い換えると、表示されている外力の情報が、どの箇所で測定されたか識別可能な態様で表示することができる。
[0097]
 また、内視鏡画像表示部61とは異なる第1力覚表示部62と第2力覚表示部63に外力の情報を画像として表示するため、内視鏡画像表示部61に重ねて外力の情報を表示する場合と比較して、表示されている外力の情報を把握しやすくなる。また、内視鏡画像表示部61に表示されるシャフト12や、関節部13や、術具14に働く力の視認を妨げにくくなる。
[0098]
 外力の値の大きさを色、形状、および面積の少なくとも1つを用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
[0099]
 関節部13に作用する力と、第1スレーブ装置10A、第2スレーブ装置10Bにおける関節部13以外の箇所であるシャフト12に作用する外力に関する情報を表示することにより、1箇所(例えば関節部13のみ)に作用する外力などを表示する場合と比較して、操作している第1スレーブ装置10A、第2スレーブ装置10Bの状況を把握しやすくなる。
[0100]
 例えば、第1スレーブ装置10Aと第2スレーブ装置10Bとが接触した場合には、第1スレーブ装置10Aと第2スレーブ装置10Bとにおける関節部13以外の箇所(例えばシャフト12)に接触による外力が作用する。この外力に関する情報が表示されるため、操作者は第1スレーブ装置10Aと第2スレーブ装置10Bとが接触したことを把握することができる。
[0101]
 術具14に作用する力に関する情報として、鉗子が開く力の情報と、鉗子が閉じる力の情報を表示することにより、術具14の操作状況を把握しやすくなる。なお、ここでは、鉗子が開く力を剥離する力とも表現し、鉗子が閉じる力を把持する力とも表現する。
[0102]
 第1スレーブ装置10Aと第2スレーブ装置10Bに把持されている術具14の形状を表す画像を表示することにより、表示されている外力の情報が、第1スレーブ装置10Aで測定された外力の情報か、第2スレーブ装置10Bで測定された外力の情報かを把握しやすくなる。
[0103]
 このように基準指標14sと比較して帯状図形14fの長さを変えて、把持力に関する情報なのか、剥離力に関する情報なのかを表示することにより、情報の視認が行いやすくなる。また、帯状図形14fの長さと、基準指標14sとの差の大きさを把持力の大きさ、または、剥離力の大きさとして表示することにより、把持力の大きさや、剥離力の大きさの視認が行いやすくなる。
[0104]
 このように術具センサ17が測定する力の大きさに基づいて帯状図形14fの色あるいは色彩を変化させることにより、術具14における力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。
[0105]
 〔第1の実施形態の第1変形例〕
 次に、本開示の第1の実施形態の第1変形例に係る医用ロボットシステムについて図8および図9を参照しながら説明する。本変形例の医用ロボットシステムの基本構成は、第1の実施形態と同様であるが、第1の実施形態とは、内視鏡ユニットが設けられていない点が異なっている。よって、本変形例においては、図8および図9を用いて力覚の表示に関連するものについて説明し、その他の説明を省略する。
[0106]
 本変形例の医用ロボットシステム101は、図8に示すように、スレーブユニット10と、操作ユニット30と、発音装置40と、制御装置150と、表示装置60と、を備える。なお、制御装置150が力覚表示装置の一例に相当する。
[0107]
 制御装置150は、スレーブユニット10の動作等や、発音装置40における発音を制御し、表示装置60に表示される内容や表示される態様を制御する。
[0108]
 制御装置150は、図8に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部153、および、出力部54として機能させる。
[0109]
 画像生成部153は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて画像情報を生成する。第1の実施形態の画像生成部53とは、内視鏡ユニット20から入力される映像や画像の信号に基づく画像情報を生成しない点が異なる。
[0110]
 次に、上記の構成を備える医用ロボットシステム101における制御について説明する。なお、制御装置150における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。
[0111]
 次に画像生成部153において生成される画像情報について説明する。具体的には、表示装置60における表示の態様について説明する。図9は、本変形例の画像生成部153により生成された画像信号に基づいて、表示装置60が表示する態様を説明する模式図である。
[0112]
 画像生成部153は、図9に示すように、表示装置60における表示面を左右に分割した左側に第1力覚表示部162を設定し、右側に第2力覚表示部163を設定する。言い換えると、第1の実施形態と比較すると、表示装置60の表示面に内視鏡画像表示部61が設定されていない点が異なる。なお、第1力覚表示部162および第2力覚表示部163が第2表示領域の一例に相当する。
[0113]
 なお、本変形例では、表示面を左右に分割する例に適用して説明したが、上下に分割してもよく、分割する態様を限定するものではない。また、本変形例では第1力覚表示部162の表示面積と、第2力覚表示部163の表示面積が等しいが、第1力覚表示部162の表示面積が第2力覚表示部163の表示面積よりも小さくてもよいし、大きくてもよい。
[0114]
 さらに、本変形例では第1力覚表示部162および第2力覚表示部163が共に同じ矩形状の枠で囲われているが、第1力覚表示部162および第2力覚表示部163の枠が異なる形状であってもよいし、矩形状以外の形状であってもよく、特に限定するものではない。また、第1力覚表示部162および第2力覚表示部163の枠の色が同じ色であってもよいし、異なる色であってもよい。
[0115]
 本変形例の第1力覚表示部162および第2力覚表示部163における表示態様は、第1の実施形態の第1力覚表示部62および第2力覚表示部63における表示態様と同様であるため、その説明を省略する。
[0116]
 上記の制御装置150によれば、内視鏡ユニット20が必須の構成ではないため、第1の実施形態の医用ロボットシステム1と比較して、内視鏡ユニット20を用いない手術にも医用ロボットシステム101を用いやすくなる。
[0117]
 〔第1の実施形態の第2変形例〕
 次に、本開示の第1の実施形態の第2変形例に係る医用ロボットシステムについて図10および図11を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第1の実施形態と同様であるが、第1の実施形態とは、設けられている表示装置の数が異なっている。よって、本変形例においては、図10および図11を用いて力覚の表示に関連するものについて説明し、その他の説明を省略する。
[0118]
 本変形例の医用ロボットシステム201は、図10に示すように、スレーブユニット10と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置250と、第1表示装置260Aおよび第2表示装置260Bと、を備える。
[0119]
 なお、制御装置250が力覚表示装置に相当し、第1表示装置260Aおよび第2表示装置260Bが表示部の一例に相当する。
[0120]
 制御装置250は、スレーブユニット10の動作等や、発音装置40における発音を制御し、第1表示装置260Aおよび第2表示装置260Bに表示される内容や表示される態様を制御する。
[0121]
 制御装置250は、図10に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部253、および、出力部54として機能させる。
[0122]
 制御装置250は、スレーブユニット10の動作等や、発音装置40における発音を制御し、表示装置60に表示される内容や表示される態様を制御する。
[0123]
 画像生成部253は、第1表示装置260Aおよび第2表示装置260Bに表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号に基づいて第1表示装置260Aへ出力する画像情報を生成し、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、第2表示装置260Bへ出力する画像情報を生成する。画像情報の内容については後述する。
[0124]
 第1表示装置260Aおよび第2表示装置260Bは、制御装置250から出力された画像情報に基づいて、映像や画像を表示する。第1表示装置260Aおよび第2表示装置260Bは、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行う。第1表示装置260Aおよび第2表示装置260Bとしては、映像や画像を表示すればよく、方式や構成は限定されない。
[0125]
 なお第1表示装置260Aおよび第2表示装置260Bは、同じ大きさの表示面を有するものであってもよいし、一方が他方よりも大きな表示面を有するものであってもよい。また、映像や画像を表示する方式や構成が同じであってもよいし、異なっていてもよい。
[0126]
 次に、上記の構成を備える医用ロボットシステム201における制御について説明する。なお、制御装置250における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。
[0127]
 次に画像生成部253において生成される画像情報について説明する。具体的には、第1表示装置260Aおよび第2表示装置260Bにおける表示の態様について説明する。図11は、本変形例の画像生成部253により生成された画像信号に基づいて、第1表示装置260Aおよび第2表示装置260Bが表示する態様を説明する模式図である。
[0128]
 画像生成部253は、図10に示すように、第1表示装置260Aにおける表示面に内視鏡画像表示部261を設定する。また、第2表示装置260Bを左右に分割した左側に第1力覚表示部262を設定し、右側に第2力覚表示部263を設定する。
内視鏡画像表示部261が第1表示領域の一例に相当する。また、第1力覚表示部262及び第2力覚表示部263が第2表示領域の一例に相当する。
[0129]
 なお本変形例では、第1表示装置260Aに内視鏡画像表示部261を設定し、第2表示装置260Bに第1力覚表示部262および第2力覚表示部263を設定するが、第1表示装置260Aに第1力覚表示部262および第2力覚表示部263を設定し、第2表示装置260Bに内視鏡画像表示部261を設定してもよい。
[0130]
 上記の制御装置250によれば、内視鏡画像表示部261が設定される表示装置と、第1力覚表示部262および第2力覚表示部263が設定される表示装置とが異なるため、内視鏡画像の視認性や、力覚表示の視認性を向上させやすい。
[0131]
 〔第2の実施形態〕
 次に、本開示の第2の実施形態に係る医用ロボットシステムおよび力覚表示装置ついて図12から図15を参照しながら説明する。本実施形態の医用ロボットシステムおよび力覚表示装置の基本構成は、第1の実施形態と同様であるが、第1の実施形態とは、スレーブユニットの構成および力覚表示の態様が異なっている。よって、本実施形態においては、図12から図15を用いてスレーブユニットの構成および力覚表示の態様について説明し、その他の説明を省略する。
[0132]
 本実施形態の医用ロボットシステム301は、図12に示すように、スレーブユニット310と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置350と、表示装置60と、を備える。なお、スレーブユニット310が、スレーブ装置の一例に相当し、制御装置350が力覚表示装置の一例に相当する。
[0133]
 スレーブユニット310は、第1の実施形態のスレーブユニット10と同様に、内視鏡外科手術に用いられる鉗子などの術具14を支持し、操作ユニット30に入力される操作に従って術具14の位置および姿勢の少なくとも一方を制御する。また、術具14が鉗子である場合には鉗子を開閉駆動する。
[0134]
 本実施形態では、スレーブユニット310が、第1スレーブ装置10Aと、および、第2スレーブ装置10Bと、第3スレーブ装置10Cと、を有している。
[0135]
 本実施形態では、第1スレーブ装置10A、第2スレーブ装置10B、および、第3スレーブ装置10Cがロボットアームである。さらに第3スレーブ装置10Cが、第1スレーブ装置10Aおよび第2スレーブ装置10Bと同じ構成を有し、同種の術具14を支持する。
[0136]
 なお、第3スレーブ装置10Cは、第1スレーブ装置10Aおよび第2スレーブ装置10Bと同様に、術具14の位置および姿勢の少なくとも一方を制御するもの、または、術具14としての鉗子の開閉駆動できればよい。また、第3スレーブ装置10Cは、アーム状の構成を有していなくてもよい。
[0137]
 図2に示すように、第3スレーブ装置10Cには、第1スレーブ装置10Aおよび第2スレーブ装置10Bと同様に、カートリッジ11と、シャフト12と、関節部13と、が少なくとも設けられている。なお、カートリッジ11、シャフト12、および、関節部13において第1スレーブ装置10A、第2スレーブ装置10B、および、第3スレーブ装置10Cのいずれかに設けられたものか区別する必要がない場合には、カートリッジ11、シャフト12、および、関節部13と表記する。
[0138]
 第1スレーブ装置10Aに設けられたものか、第2スレーブ装置10Bに設けられたものか、第3スレーブ装置10Cに設けられたものか区別する場合には、それぞれ、カートリッジ11A、シャフト12Aおよび関節部13Aと、カートリッジ11B、シャフト12Bおよび関節部13Bと、カートリッジ11C、シャフト12Cおよび関節部13Cと表記する。
[0139]
 さらに図13に示すように、第3スレーブ装置10Cには、第1スレーブ装置10Aおよび第2スレーブ装置10Bと同様に、シャフト12に加わる外力を測定するシャフトセンサ15、関節部13に加わる外力を測定する関節センサ16、術具14である鉗子により外部へ加えられる開閉の力を測定する術具センサ17が設けられている。
[0140]
 なお、シャフトセンサ15、関節センサ16および術具センサ17において第3スレーブ装置10Cに設けられたものを区別する場合には、シャフトセンサ15C、関節センサ16Cおよび術具センサ17Cと表記する。
[0141]
 制御装置350は、スレーブユニット310の動作等や、発音装置40における発音を制御し、表示装置60に表示される内容や表示される態様を制御する。
[0142]
 制御装置350は、図12に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部353、および、出力部54として機能させる。
[0143]
 画像生成部353は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号、および、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。
[0144]
 次に、上記の構成を備える医用ロボットシステム301における制御について説明する。なお、制御装置350における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。
[0145]
 次に画像生成部353において生成される画像情報について説明する。具体的には、表示装置60における表示の態様について説明する。図14は、本変形例の画像生成部353により生成された画像信号に基づいて、表示装置60が表示する態様を説明する模式図である。
[0146]
 画像生成部353は、図14に示すように、表示装置60における表示面に、左右方向の左側に内視鏡画像表示部361を設定するとともに、右側に力覚表示部365を設定する。力覚表示部365の内部には、左側から右側に向かって順に第1力覚表示部362、第2力覚表示部363、および、第3力覚表示部364を設定する。
[0147]
 なお、内視鏡画像表示部361が第1表示領域の一例に相当し、力覚表示部365が第2表示領域の一例に相当し、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364がそれぞれサブ領域の一例に相当する。
[0148]
 内視鏡画像表示部361は、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364よりも広い面積を有する領域である。画像生成部353は、内視鏡ユニット20から入力された映像または画像の情報を内視鏡画像表示部361に表示させる画像情報を生成する。
[0149]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364は、力覚表示部365の内部に設定される領域である。また、内視鏡画像表示部361よりも狭い面積を有する領域である。画像生成部353は、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。
[0150]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364は、枠により他の領域と区画される。また、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364は、区画された内部にシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づく表示が行われる。本実施形態の第1力覚表示部362、第2力覚表示部363および第3力覚表示部364は、同じ矩形状に形成された枠を有している。また、第1力覚表示部362および第2力覚表示部363は同色の枠を有し、第3力覚表示部364は第1力覚表示部362および第2力覚表示部363と異なる色の枠を有している。第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様については後述する。
[0151]
 本実施形態では、第1力覚表示部362は、第1スレーブ装置10Aに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域であり、第2力覚表示部363は、第2スレーブ装置10Bに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域であり、第3力覚表示部364は、第3スレーブ装置10Cに対応するシャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて表示が行われる領域である。
[0152]
 次に第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様について説明する。なお、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様は同じであるため、代表して第1力覚表示部362における表示態様について説明し、第2力覚表示部363および第3力覚表示部364における表示態様の説明は省略する。
[0153]
 本実施形態では第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の区別を容易にするために、第1力覚表示部362にLeft Arm、第2力覚表示部363にRight Arm、第3力覚表示部364にThird Armとの名称が表示される。
[0154]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の表示態様は、図15に示す通りである。第1力覚表示部362には、第1スレーブ装置10Aのシャフト12、関節部13および術具14の3次元モデルが表示される。つまり、3次元モデルのシャフト12m、3次元モデルの関節部13mおよび3次元モデルの術具14mが表示される。3次元モデルは、実際のシャフト12の姿勢や、関節部13の屈曲状態が反映して表示される。
[0155]
 第2力覚表示部363および第3力覚表示部364にも同様に、それぞれ第2スレーブ装置10Bおよび第3スレーブ装置10Cのシャフト12、関節部13および術具14の3次元モデルが表示される。
[0156]
 なお、3次元モデルにおける術具14mの形状は、入力部51を介して入力される術具14の種類を表す種類情報に基づいて決められる。制御装置350には、術具14の種類を表す種類情報と、表示される3次元モデルにおける術具14mの形状と、が対応付けして記憶されている。画像生成部353は、入力された種類情報に対応付けされた術具14mの形状の情報を取得し、3次元モデルを表示する画像情報を生成する。
[0157]
 なお、入力部51を介して入力される種類情報は、医用ロボットシステム301のセッティングを行う作業者や、内視鏡外科手術を行う術者などが入力する情報であってもよいし、取付けられた術具14の種類を検知するセンサから出力される検知信号であってもよい。
[0158]
 3次元モデルにおけるシャフト12mに隣接する位置には、シャフトセンサ15から入力される信号に基づいて力の大きさを表す棒グラフ315fが表示される。本実施形態では、棒グラフ315fを表示する位置に「Force(Shaft)」と表示され、かつ、棒グラフ315fの基準線の位置に「base」と表示される。
[0159]
 また、3次元モデルにおける関節部13mに隣接する位置には、関節センサ16から入力される信号に基づいて力の大きさを表す棒グラフ316fが表示される。本実施形態では、棒グラフ316fを表示する位置に「Force(Wrist)」と表示され、かつ、棒グラフ316fの基準線の位置に「base」と表示される。
[0160]
 本実施形態では、棒グラフ315fおよび棒グラフ316fが横方向へ延びるグラフであって、棒グラフ315fおよび棒グラフ316fの長さが力の大きさに対応する。また、力の大きさに応じて棒グラフ315fおよび棒グラフ316fの色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。
[0161]
 3次元モデルにおける術具14に隣接する位置には、術具センサ17から入力される信号に基づいて、術具14である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状図形314fが表示される。
[0162]
 本実施形態では、半円形の枠の中に扇状図形314fが表示される。半円形の枠は、水平方向に直線状に延びる枠と、上方向に凸な円弧状の枠とから構成されている。また、水平方向に延びる枠の中央から上方へ延びる基準線が設けられている。
[0163]
 本実施形態では、術具14が閉じる力は、基準線から左側に扇状図形314fを表示する把持表示態様で表現される。また、術具14である鉗子が開く力は、基準線から右側に扇状図形314fを表示する剥離表示態様で表現される。なお、術具14が閉じる力は、基準線から右側に扇状図形314fを表示して表現してもよいし、術具14である鉗子が開く力は、基準線から左側に扇状図形314fを表示して表現してもよい。
[0164]
 力の大きさは、扇状図形314fの面積により表現される。言い換えると、基準線からの開き角度の大きさにより表現される。例えば、力が大きくなると扇状図形314fの面積が大きくなり、力が小さくなると扇状図形314fの面積が小さくなる。
[0165]
 または、力の大きさに応じて扇状図形314fの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ17が力を測定していない場合には、半円形の枠および基準線のみが表示され、扇状図形314fは表示されない。
[0166]
 上記の制御装置350によれば、第1スレーブ装置10A、第2スレーブ装置10B、および、第3スレーブ装置10Cのそれぞれに対応して設けられた第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の内側に、当該スレーブ装置で測定された外力を表示することにより、複数のスレーブ装置が設けられている場合であっても、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。
[0167]
 第1スレーブ装置10A、第2スレーブ装置10B、および、第3スレーブ装置10Cのそれぞれに対応して第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の形状、および、少なくとも一部の色彩を異ならせることにより、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。
[0168]
 第1スレーブ装置10A、第2スレーブ装置10B、および、第3スレーブ装置10Cのそれぞれに把持されている術具14の形状を表す画像を、対応する第1力覚表示部362、第2力覚表示部363および第3力覚表示部364に表示することにより、表示されている外力の情報が、どの術具14を把持しているスレーブ装置で測定された外力の情報か把握しやすくなる。
[0169]
 〔第2の実施形態の第1変形例〕
 次に、本開示の第2の実施形態の第1変形例に係る医用ロボットシステムについて図16および図17を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第2の実施形態と同様であるが、第2の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図16および図17を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
[0170]
 本実施形態の医用ロボットシステム401は、図16に示すように、スレーブユニット310と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置450と、表示装置60と、を備える。なお、制御装置450が、力覚表示装置の一例に相当する。
[0171]
 制御装置450は、スレーブユニット310の動作等や、発音装置40における発音を制御し、表示装置60に表示される内容や表示される態様を制御する。
[0172]
 制御装置450は、図16に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部453、および、出力部54として機能させる。
[0173]
 画像生成部453は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号、および、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。
[0174]
 次に、上記の構成を備える医用ロボットシステム401における制御について説明する。なお、制御装置450における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。また、表示装置60における表示の態様は第2の実施形態と同様であるため、その説明を省略する。
[0175]
 次に第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様について説明する。なお、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様は同じであるため、代表して第1力覚表示部362における表示態様について説明し、第2力覚表示部363および第3力覚表示部364における表示態様の説明は省略する。
[0176]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の表示態様は、図17に示す通りである。第1力覚表示部362には、第1スレーブ装置10Aのシャフト12、関節部13および術具14の3次元モデルが表示される。つまり、3次元モデルのシャフト12m、3次元モデルの関節部13mおよび3次元モデルの術具14mが表示される。3次元モデルは、実際のシャフト12の姿勢や、関節部13の屈曲状態が反映して表示される。
[0177]
 第2力覚表示部363および第3力覚表示部364にも同様に、それぞれ第2スレーブ装置10Bおよび第3スレーブ装置10Cのシャフト12、関節部13および術具14の3次元モデルが表示される。
[0178]
 3次元モデルにおけるシャフト12mには、シャフトセンサ15から入力される信号に基づいて力の大きさ、および、力の方向を表す先端が円錐形状を有する円柱グラフ415fが表示される。
[0179]
 また、3次元モデルにおける関節部13mには、関節センサ16から入力される信号に基づいて力の大きさ、および、力の方向を表す先端が円錐形状を有する円柱グラフ416fが表示される。
[0180]
 本実施形態では、円柱グラフ415fおよび円柱グラフ416fの長さが力の大きさに対応し、円柱グラフ415fおよび円柱グラフ416fの延びる方向が力の方向に対応する。また、力の大きさに応じて円柱グラフ415fおよび円柱グラフ416fの色が変化してもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化してもよい。
[0181]
 3次元モデルにおける術具14に隣接する位置には、術具センサ17から入力される信号に基づいて、術具14である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状図形414fが表示される。
[0182]
 本実施形態では、術具14が閉じる力は、1つの扇状図形414fを表示する把持表示態様で表現される。また、術具14である鉗子が開く力は、2つに分裂した扇状図形414fを表示する剥離表示態様で表現される。
[0183]
 さらに、1つの扇状図形414fを表示する場合には基準線を含んで扇状図形414fを表示し、2つの場合には、基準線を間に挟んで間隔をあけて扇状図形414fを表示してもよい。
[0184]
 力の大きさは、扇状図形414fの面積により表現される。例えば、力が大きくなると扇状図形414fの面積が大きくなり、力が小さくなると扇状図形414fの面積が小さくなる。
[0185]
 または、力の大きさに応じて扇状図形414fの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ17が力を測定していない場合には、扇状図形414fは表示されない。
[0186]
 上記の制御装置450によれば、扇状図形414fを1つにするか2つにするかにより、把持力に関する情報なのか、剥離力に関する情報なのかを表示され、情報の視認が行いやすくなる。また、扇状図形414fの面積が把持力の大きさ、または、剥離力の大きさとして表示することにより、把持力の大きさや、剥離力の大きさの視認が行いやすい。
[0187]
 さらに、1つの扇状図形414fを表示する場合には基準線を含んで扇状図形414fを表示し、2つの場合には、基準線を間に挟んで間隔をあけて扇状図形414fを表示することにより、更に、情報の視認が行いやすくなる。
[0188]
 〔第2の実施形態の第2変形例〕
 次に、本開示の第2の実施形態の第2変形例に係る医用ロボットシステムについて図18および図19を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第2の実施形態と同様であるが、第2の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図18および図19を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
[0189]
 本実施形態の医用ロボットシステム501は、図18に示すように、スレーブユニット310と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置550と、表示装置60と、を備える。制御装置550が力覚表示装置の一例に相当する。
[0190]
 制御装置550は、スレーブユニット310の動作等や、発音装置40における発音を制御する。また、制御装置550は、表示装置60に表示される内容や表示される態様を制御する。
[0191]
 制御装置550は、図18に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部553、および、出力部54として機能させる。
[0192]
 画像生成部553は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号、および、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。
[0193]
 次に、上記の構成を備える医用ロボットシステム501における制御について説明する。なお、制御装置550における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。また、表示装置60における表示の態様は第2の実施形態と同様であるため、その説明を省略する。
[0194]
 次に第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様について説明する。なお、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様は同じであるため、代表して第1力覚表示部362における表示態様について説明し、第2力覚表示部363および第3力覚表示部364における表示態様の説明は省略する。
[0195]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の表示態様は、図19に示す通りである。第1力覚表示部362には、第1スレーブ装置10Aのシャフト12、関節部13および術具14の3次元モデルが表示される。つまり、3次元モデルのシャフト12m、3次元モデルの関節部13mおよび3次元モデルの術具14mが表示される。3次元モデルは、実際のシャフト12の姿勢や、関節部13の屈曲状態が反映して表示される。
[0196]
 第2力覚表示部363および第3力覚表示部364にも同様に、それぞれ第2スレーブ装置10Bおよび第3スレーブ装置10Cのシャフト12、関節部13および術具14の3次元モデルが表示される。
[0197]
 3次元モデルにおけるシャフト12mには、シャフトセンサ15から入力される信号に基づいて力の大きさ、および、力の方向を表す円環状グラフ515fが表示される。
[0198]
 また、3次元モデルにおける関節部13mには、関節センサ16から入力される信号に基づいて力の大きさ、および、力の方向を表す円環状グラフ516fが表示される。本実施形態では、円環状グラフ515fおよび円環状グラフ516fは、一部が切り欠いた形状であるが、切欠きがない形状であってもよい。
[0199]
 また本実施形態では、円環状グラフ515fおよび円環状グラフ516fに表示される色が力の大きさに対応するとともに、力が働く方向に対応する。具体的には、円環状グラフ515fおよび円環状のグラフ516fのうち、力が働く方向に対応する領域の色を変化させることにより、力が働く方向が表示される。さらに、力が大きくなるに伴い、力が働く方向に対応する領域の色を緑、黄および赤に変化する。
[0200]
 3次元モデルにおける術具14に隣接する位置には、術具センサ17から入力される信号に基づいて、術具14である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状図形514fが表示される。
[0201]
 本実施形態では、術具14が閉じる力は、扇状図形514fを赤色で表示する把持表示態様で表現される。また、術具14である鉗子が開く力は、扇状図形514fを青色で表示する剥離表示態様で表現される。
[0202]
 力の大きさは、扇状図形514fの面積により表現される。例えば、力が大きくなると扇状図形514fの面積が大きくなり、力が小さくなると扇状図形514fの面積が小さくなる。
[0203]
 または、力の大きさに応じて扇状図形514fの色の濃淡を変化させてもよい。例えば、力が大きくなるに伴い濃い色に変化し、力が小さくなるに伴い薄い色に変化する。術具センサ17が力を測定していない場合には、扇状図形514fは表示されない。
[0204]
 上記の制御装置550によれば、扇状図形514fの色あるいは色彩を異ならせて表示を行うことにより、情報の視認が行いやすくなる。例えば、把持表示態様や、剥離表示態様により表示されている扇状図形514fを、表示される色あるいは色彩により確認することが可能となる。
[0205]
 扇状図形514fにおける力の大きさに基づいて表示の色あるいは色彩の濃淡を変化させることにより、扇状図形514fにおける力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。
[0206]
 〔第2の実施形態の第3変形例〕
 次に、本開示の第2の実施形態の第3変形例に係る医用ロボットシステムについて図20および図21を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第2の実施形態と同様であるが、第2の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図20および図21を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
[0207]
 本実施形態の医用ロボットシステム601は、図20に示すように、スレーブユニット310と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置650と、表示装置60と、を備える。制御装置650が、力覚表示装置の一例に相当する。
[0208]
 制御装置650は、スレーブユニット310の動作等や、発音装置40における発音を制御する。また、制御装置650は、表示装置60に表示される内容や表示される態様を制御する。
[0209]
 制御装置650は、図20に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部653、および、出力部54として機能させる。
[0210]
 画像生成部653は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号、および、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。
[0211]
 次に、上記の構成を備える医用ロボットシステム601における制御について説明する。なお、制御装置650における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。また、表示装置60における表示の態様は第2の実施形態と同様であるため、その説明を省略する。
[0212]
 次に第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様について説明する。なお、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様は同じであるため、代表して第1力覚表示部362における表示態様について説明し、第2力覚表示部363および第3力覚表示部364における表示態様の説明は省略する。
[0213]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の表示態様は、図21に示す通りである。第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の下段には、シャフトセンサ15から入力される信号に基づいて力の大きさを表す円図形615fが表示される。本実施形態では、円図形615fを表示する位置に「Force(Shaft)」と表示される。
[0214]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の中段には、関節センサ16から入力される信号に基づいて力の大きさを表す円図形616fが表示される。本実施形態では、円図形616fを表示する位置に「Force(Wrist)」と表示される。
[0215]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の上段には、術具センサ17から入力される信号に基づいて力の大きさを表す円図形614fが表示される。本実施形態では、円図形614fを表示する位置にGripと表示される。
[0216]
 本実施形態では、力の大きさに応じて円図形615f、円図形616fおよび円図形614fの色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤(または橙)に変化する。
[0217]
 上記の制御装置650によれば、外力の値の大きさを、色を用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
[0218]
 〔第2の実施形態の第4変形例〕
 次に、本開示の第2の実施形態の第4変形例に係る医用ロボットシステムについて図22および図23を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第2の実施形態と同様であるが、第2の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図22および図23を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
[0219]
 本実施形態の医用ロボットシステム701は、図22に示すように、スレーブユニット310と、内視鏡ユニット20と、操作ユニット30と、発音装置40と、制御装置750と、表示装置60と、を備える。なお、制御装置750が力覚表示装置の一例に相当する。
[0220]
 制御装置750は、スレーブユニット310の動作等や、発音装置40における発音を制御する。また、制御装置750は、表示装置60に表示される内容や表示される態様を制御する。
[0221]
 制御装置750は、図22に示すように、CPU、ROM、RAM、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のROM等の記憶装置に記憶されているプログラムは、CPU、ROM、RAM、入出力インタフェースを協働させて、少なくとも入力部51、制御部52、画像生成部753、および、出力部54として機能させる。
[0222]
 画像生成部753は、表示装置60に表示される映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット20から入力される映像や画像の信号、および、シャフトセンサ15、関節センサ16、および、術具センサ17から入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。
[0223]
 次に、上記の構成を備える医用ロボットシステム701における制御について説明する。なお、制御装置750における力覚の表示に関する制御については第1の実施形態と同様であるため、その説明を省略する。また、表示装置60における表示の態様は第2の実施形態と同様であるため、その説明を省略する。
[0224]
 次に第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様について説明する。なお、第1力覚表示部362、第2力覚表示部363および第3力覚表示部364における表示態様は同じであるため、代表して第1力覚表示部362における表示態様について説明し、第2力覚表示部363および第3力覚表示部364における表示態様の説明は省略する。
[0225]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の表示態様は、図23に示す通りである。第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の下段には、シャフトセンサ15から入力される信号に基づいて力の大きさを表す円グラフ715fが表示される。本実施形態では、円グラフ715fを表示する位置に「Force(Shaft)」と表示される。
[0226]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の中段には、関節センサ16から入力される信号に基づいて力の大きさを表す円グラフ716fが表示される。本実施形態では、円グラフ716fを表示する位置に「Force(Wrist)」と表示される。
[0227]
 第1力覚表示部362、第2力覚表示部363および第3力覚表示部364の上段には、術具センサ17から入力される信号に基づいて力の大きさを表す円グラフ714fが表示される。本実施形態では、円グラフ714fを表示する位置にGripと表示される。
[0228]
 本実施形態では、力の大きさに応じて円グラフ715f、円グラフ716fおよび円グラフ714fの面積が変化すると共に色が変化する。例えば、力が大きくなるに伴い、円グラフの面積が大きくなると共に、緑、黄および赤(または橙)に変化する。
[0229]
 上記の制御装置750によれば、外力の値の大きさを色、形状、および面積を用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
[0230]
 なお、本開示の技術的範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、本開示を上記の実施形態や変形例に適用したものに限られることなく、これらの実施形態や変形例を適宜組み合わせた実施形態に適用してもよく、特に限定するものではない。

請求の範囲

[請求項1]
 術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する力覚表示装置であって、
 前記術具および前記スレーブ装置の少なくとも一方の2ヶ所以上で測定された外力の測定信号が入力される入力部と、
 前記測定信号に基づいて、前記術具の操作に関する情報を表示する第1表示領域とは異なる第2表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成部と、
 前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力部と、
が設けられている医用ロボットシステムの力覚表示装置。
[請求項2]
 前記画像生成部は、前記外力の値の大きさを当該外力として表示する前記画像の色、形状、および、面積の少なくとも1つとして表現する前記画像情報を作成する請求項1記載の医用ロボットシステムの力覚表示装置。
[請求項3]
 前記スレーブ装置は複数であって、
 前記画像生成部は、前記第2表示領域に前記スレーブ装置ごとに前記外力として表示する前記画像を内側に表示するサブ領域を設けている請求項1または2に記載の医用ロボットシステムの力覚表示装置。
[請求項4]
 前記画像生成部は、前記サブ領域の形状、および、少なくとも一部の色彩により、複数の前記スレーブ装置を識別可能とする前記画像情報を作成する請求項3記載の医用ロボットシステムの力覚表示装置。
[請求項5]
 前記入力部には、前記スレーブ装置に把持されている前記術具の種類を表す種類情報が入力され、
 前記画像生成部は、前記種類情報に基づいて、前記サブ領域に前記術具の形状を表す画像を含む前記画像情報を作成する請求項4記載の医用ロボットシステムの力覚表示装置。
[請求項6]
 棒状に延びる前記スレーブ装置の端部に前記術具が配置され、前記スレーブ装置の当該端部の近傍には、前記術具の姿勢を変更可能とする関節部が設けられ、
 前記入力部に入力される前記測定信号は、前記関節部に作用する力に関する関節測定信号、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関するアーム測定信号が含まれ、
 前記画像生成部は、前記関節測定信号および前記アーム測定信号に基づいて、前記関節部に作用する力に関する情報、および、前記スレーブ装置における前記関節部以外の箇所に作用する外力に関する情報を表示する前記画像情報を作成する請求項1から5のいずれか1項に記載の医用ロボットシステムの力覚表示装置。
[請求項7]
 前記入力部に入力される前記測定信号には、前記術具に作用する力に関する術具測定信号が含まれ、
 前記画像生成部は、前記術具測定信号に基づいて、前記術具に作用する力に関する情報を表示する前記画像情報を作成する請求項6記載の医用ロボットシステムの力覚表示装置。
[請求項8]
 術具および当該術具を支持するスレーブ装置の少なくとも一方に働く外力を操作者に知覚可能に表示する表示方法であって、
 前記術具および前記スレーブ装置の少なくとも一方の2ヶ所以上で測定された外力の測定信号が入力される入力ステップと、
 前記測定信号に基づいて、前記術具の操作に関する情報を表示する第1表示領域とは異なる第2表示領域に、前記外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成する画像生成ステップと、
 前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力ステップと、
 を有する医用ロボットシステムの力覚表示方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]