Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020196276 - MAINTENANCE ASSISTANCE SYSTEM, MAINTENANCE ASSISTANCE METHOD, PROGRAM, METHOD FOR GENERATING PROCESSED IMAGE, AND PROCESSED IMAGE

Document

明 細 書

発明の名称 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007  

先行技術文献

特許文献

0008  

発明の概要

発明が解決しようとする課題

0009  

課題を解決するための手段

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037  

発明の効果

0038  

図面の簡単な説明

0039  

発明を実施するための形態

0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086  

符号の説明

0087  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像

技術分野

[0001]
 本発明は、保守対象である産業用機器の保守作業を支援するための保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像に関する。特に、本発明は、保守対象である産業用機器以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像に関する。

背景技術

[0002]
 従来、一般的に、基板処理装置等の産業用機器のトラブルが発生した場合、保守対象である産業用機器の設置現場に居る保守作業者が、トラブルの状況を確認した上で、保守対象の製造メーカ側の保守支援者に電話でトラブルの状況を伝え、保守支援者が電話によって保守作業者に各種の指示を出す対応を行っている。
 上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。
[0003]
 上記の電話対応の場合、口頭による意思疎通であるため、トラブルの状況が保守支援者に上手く伝わらなかったり、保守支援者の指示が保守作業者に上手く伝わらず、トラブルが解決できない場合がある。必要に応じて、保守作業者が取得した保守対象の撮像画像を電子メール等で保守支援者に送信し、保守支援者が撮像画像を確認することでトラブルの状況を把握する場合もあるが、状況把握に時間が掛かるという問題がある。
 また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。
[0004]
 上記のような問題を解決するため、撮像手段及びディスプレイを具備するウェアラブル端末(ヘッドマウントディスプレイ)を保守作業者が装着し、このウェアラブル端末を用いて保守対象を撮像し、この撮像画像(動画)をインターネット等の電気通信回線を通じて保守支援者側端末に送信する保守支援システムが提案されている。
 しかしながら、上記の保守支援システムにおいて、撮像画像をそのまま保守支援者側端末に送信すると、撮像画像中に設置現場の機密情報が含まれるおそれがある。機密情報が含まれる撮像画像が保守支援者側に送信されると、保守支援者が機密情報を知り得ることになり問題である。
[0005]
 そこで、機密情報の漏洩を防止可能な保守支援システムとして、例えば、特許文献1に記載の保守支援システム(特許文献1では、画像処理システム)が提案されている。
 特許文献1に記載のシステムは、元領域を捉えた元画像を取得する取得部と、前記元画像中の1つ以上の識別子を認識する認識部と、前記認識部で認識された前記1つ以上の識別子に基づいて、前記元領域のうち第1領域を捉えた第1画像部分、および前記元領域から前記第1領域を除いた第2領域を捉えた第2画像部分の少なくとも一方を特定する特定部と、前記特定部による特定結果に応じて、前記第1画像部分を含む処理済み画像を生成する生成部と、を有する、画像処理システムである(特許文献1の請求項1)。
 特許文献1に記載のシステムによれば、第1領域を保守対象とし、第2領域を保守対象以外の機密情報等とすることにより、機密情報等の漏洩を防止可能であると考えられる。
[0006]
 しかしながら、特許文献1に記載のシステムでは、元画像中に必ず識別子が含まれなければならないという制約がある。具体的には、特許文献1には、印刷装置300の内部領域(4つの識別子30で囲まれた矩形領域)を保守対象とする例が挙げられており、カメラ170を具備するウェアラブルツール100を装着する作業者10の動きに応じて元領域が変動し、異なる元領域を捉えた元画像171a~173aが取得されるが、いずれの元画像171a~173aにも識別子30が含まれる必要があることが記載されている(特許文献1の段落0063~0065、図6、図7等)。
 したがい、例えば、保守対象に近接して保守対象の細部を撮像しようとすると、元画像中に識別子が含まれる範囲でしか近接できないというような制約が生じる。
[0007]
 また、特許文献1に記載のシステムでは、識別子を基準として2次元的に第1画像部分(保守対象に対応する部分)を特定する構成であるため、識別子が貼り付けられた保守対象を識別子に対向する特定の一方向から撮像しなければならないという制約が生じる。

先行技術文献

特許文献

[0008]
特許文献1 : 特開2017-211766号公報

発明の概要

発明が解決しようとする課題

[0009]
 本発明は、上記従来技術の問題点を解決するためになされたものであり、保守対象である産業用機器以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像を提供することを課題とする。

課題を解決するための手段

[0010]
 前記課題を解決するため、本発明は、撮像手段を具備し保守作業者が装着するウェアラブル端末と、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定手段と、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定手段と、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、前記加工画像生成手段で生成した前記加工画像を保守支援者が操作する保守支援者側端末に送信する通信手段と、を備えることを特徴とする保守支援システムを提供する。
[0011]
 本発明によれば、第1特定手段によって、初期状態の撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は保守対象である産業用機器を除く所定の第2の3次元領域が特定される。本発明における「初期状態の撮像手段」とは、所定の基準点が撮像画像中に位置する状態にある撮像手段を意味する。
 具体的には、例えば、撮像画像の任意の点をARカーソルを用いて指定し、この指定した位置を基準点とする場合、初期状態の撮像手段とは、ARカーソルを用いて指定した点を撮像できる位置にある撮像手段を意味する。
 また、例えば、第1特定手段が撮像画像に所定の画像処理を施すことで、撮像画像中の特徴的な部位(例えば、保守対象の角部等)に対応する画素領域を抽出し、この画素領域の中心等を基準点とする場合、初期状態の撮像手段とは、特徴的な部位を撮像できる位置にある撮像手段を意味する。
 さらに、例えば、基準点が保守対象等に付されたマーカによって規定されている場合、初期状態の撮像手段とは、このマーカを撮像できる位置にある撮像手段を意味する。
[0012]
 また、第1の3次元領域及び第2の3次元領域は、例えば、これらが直方体形状の3次元領域である場合、基準点を基準とする3次元座標系で表された3次元領域の8つの各頂点の座標で規定されることになる。
 上記の場合、例えば、基準点を基準とする各頂点の座標を第1特定手段に予め記憶させておいたり、或いは、ARカーソルを用いて各頂点を指定すると共に、未知の環境の中でセンサの自己位置と周囲の環境地図を構築していく技術として公知であるSLAM(Simultaneous Localization and Mapping)技術を用いることで、第1特定手段は、第1の3次元領域及び/又は第2の3次元領域を特定可能である。
[0013]
 図10は、SLAM技術の概要を説明する説明図である。
 図10に示すように、SLAM技術では、以下の第1ステップ~第4ステップを実行する。
 (1)第1ステップ:まず、異なる時刻t0、t1にそれぞれ撮像対象を撮像して取得した2つの撮像画像において、対応する同じ点(特徴点)を検出する。図10に示す例では、撮像対象の角部が特徴点として検出されている。
 (2)第2ステップ:次に、2つの撮像画像における特徴点の位置を比較することで、撮像手段の姿勢の変化量(並行/回転成分)を算出する。また、特徴点の組み合わせから、三角測量の原理により、特徴点の3次元空間での位置を求める。これが環境地図の構築に相当する。
 (3)第3ステップ:さらに、別の時刻t1、t2にそれぞれ撮像対象を撮像して取得した2つの撮像画像において、特徴点の3次元空間での位置の変化を求め、この変化から、撮像手段の自己位置を推定する。
 (4)第4ステップ:3次元空間上に特徴点を登録、更新する(環境地図の更新)。
 以降、SLAM技術では、第3、第4ステップを繰り返し実行することになる。
 上記のように、SLAM技術は、環境地図の構築(3次元形状の復元)と、撮像手段の自己位置の推定とを交互に繰り返し、常に3次元空間を把握する技術である。
 本発明における基準点は、この環境地図を構築(3次元形状を復元、換言すれば3次元空間を把握)した後に、3次元空間上に任意に設定されることになる。
 なお、SLAM技術のより具体的な内容は、例えば、情報処理学会研究報告 Vol.2014-CVIM-190 No.40「移動カメラ画像からの3次元形状復元・自己位置推定(SLAM)と高密度な3次元形状復元」に記載のように公知であるため、本明細書ではこれ以上の詳細な説明を省略する。 
[0014]
 次に、本発明によれば、第2特定手段によって、ウェアラブル端末が移動した移動後状態において、撮像手段で取得した撮像画像における第1の3次元領域に対応する有効画素領域を除くマスク画素領域が特定されるか及び/又は第2の3次元領域に対応するマスク画素領域が特定される。第1特定手段で第1の3次元領域のみを特定した場合には、第2特定手段では、第1の3次元領域に対応する有効画素領域を除くマスク画素領域が特定される。また、第1特定手段で第2の3次元領域のみを特定した場合には、第2特定手段では、第2の3次元領域に対応するマスク画素領域が特定される。さらに、第1特定手段で第1の3次元領域及び第2の3次元領域を特定した場合には、第2特定手段では、第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び第2の3次元領域に対応するマスク画素領域が特定される。
 前述のように、初期状態の撮像手段で取得した撮像画像における基準点を基準とする第1の3次元領域及び/又は第2の3次元領域は、第1特定手段で特定されているため、ウェアラブル端末が移動した移動後状態において、撮像手段で取得した撮像画像における基準点を基準とする第1の3次元領域及び/又は第2の3次元領域は、例えば、SLAM技術を用いることで特定可能である。そして、移動後状態において第1の3次元領域及び/又は第2の3次元領域を特定するに際し、移動後状態の撮像手段で取得した撮像画像に必ずしも基準点が含まれる必要はない。
[0015]
 次に、本発明によれば、加工画像生成手段によって、第2特定手段で特定したマスク画素領域(第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は第2の3次元領域に対応するマスク画素領域)を不可視にした加工画像が生成される。本発明における「マスク画素領域を不可視にした加工画像」としては、例えば、撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像からマスク画素領域以外の画素領域のみを切り出した画像を挙げることができる。
 第2特定手段で特定したマスク画素領域が第1の3次元領域に対応する有効画素領域を除くマスク画素領域である場合、第1の3次元領域が保守対象を含み、有効画素領域が第1の3次元領域に対応するため、第1の3次元領域を保守対象よりも過度に大きく設定しない限り、有効画素領域を除くマスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。
 また、第2特定手段で特定したマスク画素領域が第2の3次元領域に対応するマスク画素領域である場合、第2の3次元領域に保守対象が含まれないため、第2の3次元領域が少なくとも保守対象以外の機密情報等を含むように設定しておくことで、マスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。
[0016]
 最後に、本発明によれば、通信手段によって、加工画像生成手段で生成した加工画像が保守支援者が操作する保守支援者側端末に送信される。したがい、保守支援者側端末では、第1の3次元領域に含まれる保守対象が視認されるか、及び/又は、第2の3次元領域に含まれる保守対象以外の機密情報等が視認されないようになり、保守対象以外の機密情報等の漏洩を防止可能である。
[0017]
 以上に説明したように、本発明によれば、初期状態の撮像手段で取得した撮像画像に基準点が含まれればよく、ウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像中に基準点が含まれる必要はない。また、本発明によれば、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は保守対象である産業用機器を除く所定の第2の3次元領域を特定するため、撮像手段の撮像方向に制約を受けない。したがい、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない。
 本発明のように、保守対象を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は保守対象を除く所定の第2の3次元領域に対応するマスク画素領域を不可視にした加工画像を生成し、マスク画素領域に含まれる保守対象以外の機密情報等の漏洩を防止する技術を、本発明者らは「Virtual Partition」技術と称している。
[0018]
 なお、本発明における「産業用機器」には、一般社団法人日本産業機械工業会で産業機械として定義されている、鉱山機械、化学機械、環境装置、動力伝導装置、タンク、業務用洗濯機、ボイラ・原動機、プラスチック機械、風水力機械、運搬機械、製鉄機械等が含まれる。また、別の観点から、本発明における「産業用機器」には、有体物を製造する製造装置が含まれる。基板処理装置は、産業用機器の一種であり、処理済基板(例えば、エッチング処理を施した基板や、成膜処理を施した基板)を製造する点で、有体物を製造する製造装置の一種である。電子機器がサーバを介して電気的に接続されたITシステムは、有体物を製造する製造装置に含まれず、産業用機器にも含まれない。
 また、本発明において、「ウェアラブル端末が移動した移動後状態」とは、ウェアラブル端末がその移動終点(例えば、保守作業終了時のウェアラブル端末の位置)に到達した状態のみを意味するものではなく、移動終点に到達するまでの移動過程における所定の短時間ピッチ毎の各位置に移動した状態を意味する。したがい、加工画像生成手段では、移動終点に到達するまで、撮像手段によってリアルタイムで(所定の短時間ピッチ毎に)取得した全ての撮像画像に対して、マスク画素領域を不可視にした加工画像が生成されることになる。
[0019]
 本発明において、初期状態の撮像手段で取得した撮像画像中に基準点が含まれるだけでなく、移動後状態の撮像手段で取得した撮像画像中にも基準点が常に含まれるようにウェラブル端末を移動させて保守支援を行う態様にすることも可能である。しかしながら、このような態様では、特許文献1に記載のシステムと同様の撮像条件の制約が生じていることになる。
 本発明によれば、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない態様を採用可能である。換言すれば、撮像手段の視野内に基準点が存在する位置から存在しない位置まで撮像手段が移動するように、ウェラブル端末の移動位置の制約を外して保守支援を行うことが可能である。
[0020]
 本発明において、例えば、前記基準点は、マーカによって規定される。
 前記基準点がマーカによって規定される場合、例えば、前記第1特定手段は、前記撮像手段で取得した撮像画像を用いて(例えば、撮像画像を用いたSLAM技術によって)3次元空間を把握した後、初期状態の前記撮像手段で取得した撮像画像における前記基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する構成とされる。
[0021]
 好ましくは、前記第2特定手段は、撮像方向が互いに異なる複数の第2の撮像手段を具備し、前記複数の第2の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する。
[0022]
 上記の好ましい構成によれば、第2特定手段が、撮像方向が互いに異なる複数の第2の撮像手段を具備するため、例えば、複数の第2の撮像手段で取得した撮像画像に基づき、いわゆる両眼立体視(ステレオ視)を用いたSLAM技術を適用可能である。また、例えば、第2の撮像手段で取得した撮像画像毎に単眼視のSLAM技術を適用して、これらを組み合わせることで、マスク画素領域を精度良く特定可能である。
[0023]
 好ましくは、前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイであり、前記ヘッドマウントディスプレイは、前記ディスプレイに前記撮像画像を表示する状態と、前記ディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている。
[0024]
 上記の好ましい構成によれば、ディスプレイに撮像画像を表示する状態では、例えば、マスク画素領域を黒塗りにした加工画像を表示する場合と異なり、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。なお、上記の好ましい構成における「撮像画像を表示する状態」とは、MRヘッドセットのように、ディスプレイに撮像手段で取得した撮像画像を実際に表示する状態(保守作業者がこの表示された撮像画像を視認する状態)の他、透過型のARヘッドセットのように、ディスプレイが透過型であり、保守作業者が何も表示されていない透過型のディスプレイを介して保守対象を直接視認できる状態も含む概念である。
 一方、上記の好ましい構成によれば、ディスプレイに加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末に送信される加工画像を認識可能である。このため、保守対象以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、上記の好ましい構成における「加工画像を認識可能に表示する状態」には、保守支援者側端末に送信される加工画像と同じもの(撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像からマスク画素領域以外の画素領域のみを切り出した画像など)を表示する状態の他、撮像画像にマスク画素領域とマスク画素領域以外の画素領域との境界線をオーバレイした画像を表示する状態や、表示画面の一部(例えば片隅)に加工画像を縮小して表示する状態なども含まれる。
[0025]
 好ましくは、前記第1特定手段、前記第2特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている。
[0026]
 上記の好ましい構成によれば、撮像手段で保守対象を撮像して取得した撮像画像におけるマスク画素領域を不可視にした加工画像を生成し、この加工画像を保守支援者側端末に送信するまでの一連の動作を実行する各手段の全てがウェアラブル端末に取り付けられている。これは、ウェアラブル端末自体に取り付けられたセンサ等によってウェアラブル端末(撮像手段)の位置を検出する、インサイドアウト方式の構成になっている。ウェアラブル端末とは別体の外部デバイスを用いてウェアラブル端末の位置を検出するアウトサイドイン方式の構成(例えば、ウェラブル端末が具備する撮像手段とは別の外部に設置した撮像手段やセンサ等を用いて、ウェアラブル端末(ウェアラブル端末の具備する撮像手段)の位置を検出する構成など)の場合、ウェアラブル端末の消費電力が低下するという利点があるものの、外部デバイスとウェアラブル端末との間に遮蔽物が存在しないなどの環境面での制約や、高精度の外部デバイスが必要になるため高コストになる欠点がある。したがい、上記の好ましい構成にすることで、低コストで、環境面での制約が少ないという利点が得られる。
[0027]
 好ましくは、本発明は、前記保守支援者側端末を備え、前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている。
[0028]
 上記の好ましい構成によれば、保守支援者側端末と通信手段とが双方向にデータ通信可能であるため、通信手段から保守支援者側端末に加工画像を送信するだけではなく、逆に保守支援者側端末から通信手段に、保守作業用の画像を送信したり、保守作業の内容を指示する音声データを送信したり等、本発明に係る保守支援システムだけを用いて効果的な保守作業を行うことが可能である。
[0029]
 上記の好ましい構成において、より好ましくは、前記通信手段及び前記保守支援者側端末に電気的に接続され、前記保守作業者の識別情報である第1識別情報及び前記保守支援者の識別情報である第2識別情報が記憶されたサーバを備え、前記サーバは、前記通信手段から前記サーバに送信された識別情報と前記サーバに記憶された前記第1識別情報とが合致するか否かを判定すると共に、前記保守支援者側端末から前記サーバに送信された識別情報と前記サーバに記憶された前記第2識別情報とが合致するか否かを判定し、前記通信手段から前記サーバに送信された前記識別情報と前記第1識別情報とが合致し、且つ、前記保守支援者側端末から前記サーバに送信された識別情報と前記第2識別情報とが合致する場合に、前記サーバを介した前記通信手段と前記保守支援者側端末との双方向のデータ通信を可能にするように構成されている。
[0030]
 上記のより好ましい構成によれば、サーバによって、通信手段からサーバに送信された識別情報とサーバに記憶された第1識別情報(保守作業者の識別情報)とが合致するか否かが判定される。換言すれば、サーバによって、本発明に係る保守支援システムを利用する保守作業者の識別情報がサーバに送信されたか否かが判定される。また、サーバによって、保守支援者側端末からサーバに送信された識別情報とサーバに記憶された第2識別情報(保守支援者の識別情報)とが合致するか否かが判定される。換言すれば、サーバによって、本発明に係る保守支援システムを利用する保守支援者の識別情報がサーバに送信されたか否かが判定される。そして、通信手段からサーバに送信された識別情報と第1識別情報とが合致し、且つ、保守支援者側端末からサーバに送信された識別情報と第2識別情報とが合致する場合(換言すれば、本発明に係る保守支援システムを利用する保守作業者の識別情報及び保守支援者の識別情報の双方がサーバに送信されたと認証された場合)に、サーバを介した通信手段と保守支援者側端末との双方向のデータ通信が可能になる。
 上記のより好ましい構成によれば、本発明に係る保守支援システムを利用する保守作業者の識別情報及び保守支援者の識別情報の双方がサーバに送信されたと認証された場合に初めて、通信手段と保守支援者側端末との双方向のデータ通信が可能になるため、予め決められた保守作業者及び保守支援者しか本発明に係る保守支援システムを利用することができず、保守対象である産業用機器以外の機密情報等の漏洩をより確実に防止可能である。
[0031]
 なお、上記の好ましい構成又は上記のより好ましい構成に加えて、保守対象である産業用機器(例えば、基板処理装置等)から保守支援者側端末にデータ通信可能な構成とし、例えば、保守対象で得られるプロセスログデータ(保守対象のプロセスに関わる測定値や設定値)を保守支援者側端末に送信すれば、保守支援者はこのプロセスログデータを参照しながら、保守作業の内容を指示することができ、より一層効果的な保守作業を行うことが可能である。
[0032]
 なお、前記課題を解決するため、本発明は、撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、第1特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定工程と、前記ウェアラブル端末が移動した移動後状態において、第2特定手段によって、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、を含むことを特徴とする保守支援方法としても提供される。
[0033]
 また、前記課題を解決するため、本発明は、前記保守支援方法が含む前記第1特定工程、前記第2特定工程、前記加工画像生成工程及び前記通信工程を、前記第1特定手段、前記第2特定手段、前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラムとしても提供される。
 なお、上記のプラグラムを記憶させたコンピュータ(CPU)で読み取り可能な記憶媒体として提供することも可能である。
[0034]
 また、前記課題を解決するため、本発明は、保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像において、保守対象である産業用機器を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域に対応するマスク画素領域を特定し、前記マスク画素領域を不可視にした加工画像を生成する、ことを特徴とする加工画像の生成方法としても提供される。
[0035]
 また、前記課題を解決するため、本発明は、保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、第1特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定工程と、前記ウェアラブル端末が移動した移動後状態において、第2特定手段によって、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、を含むことを特徴とする加工画像の生成方法としても提供される。
[0036]
 また、前記課題を解決するため、本発明は、保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像において、保守対象である産業用機器を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域に対応するマスク画素領域が、不可視にされた加工画像としても提供される。
[0037]
 さらに、前記課題を解決するため、本発明は、前記の生成方法によって生成され、前記保守対象である産業用機器を含む前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は前記保守対象である産業用機器を除く前記第2の3次元領域に対応するマスク画素領域が、不可視にされた加工画像としても提供される。

発明の効果

[0038]
 本発明によれば、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ないという効果が得られる。

図面の簡単な説明

[0039]
[図1] 本発明の第1実施形態に係る保守支援システムの概略構成を模式的に示す図である。
[図2] 図1に示す保守支援システムの概略動作を説明する説明図である。
[図3] 図1に示す初期状態の撮像手段で取得した撮像画像及び加工画像生成手段で生成した加工画像の一例を示す図である。
[図4] 図1に示すウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像及び加工画像生成手段で生成した加工画像の一例を示す図である。
[図5] 本発明の第2実施形態に係る保守支援システムにおける第1の3次元領域の設定例を説明する説明図である。
[図6] 本発明の第3実施形態に係る保守支援システムで用いる第2の3次元領域を説明する説明図である。
[図7] 本発明の第4実施形態に係る保守支援システムにおける第1の3次元領域の設定例及びこのときの第2特定手段の概略動作を説明する説明図である。
[図8] 図7に示すように第1の3次元領域を設定したときの第2特定手段の概略動作を説明する平面図である。
[図9] 図7に示すように第1の3次元領域を設定すると共に第2の3次元領域を設定したときに加工画像生成手段で生成される加工画像の一例を示す図である。
[図10] SLAM技術の概要を説明する説明図である。

発明を実施するための形態

[0040]
 以下、添付図面を参照しつつ、本発明の実施形態に係る保守支援システムについて説明する。
[0041]
 <第1実施形態>
 図1は、本発明の第1実施形態に係る保守支援システムの概略構成を模式的に示す図である。図1(a)は全体構成図であり、図1(b)はウェアラブル端末及びこれに取り付けられた構成要素を示す図であり、図1(c)は図1(b)に示す制御信号処理手段の内部構成を示すブロック図である。
 図1(a)に示すように、本実施形態に係る保守支援システム100は、ウェアラブル端末1と、保守支援者側端末2と、制御信号処理手段3と、を備えている。また、保守支援システム100は、好ましい構成として、サーバ6を備えている。
[0042]
 ウェアラブル端末1は、保守対象(基板処理装置等の産業用機器)Tの設置現場に居て保守作業を行う保守作業者が装着する端末である。
 図1(b)に示すように、本実施形態のウェアラブル端末1は、眼鏡型のウェアラブル端末(ヘッドマウントディスプレイ)とされており、保守作業者が耳に掛けるフレーム11を具備する。また、ウェアラブル端末1は、フレーム11の前側中央(保守作業者がフレーム11を耳に掛けたときに保守作業者の眉間近傍に相当する位置)に撮像手段12を具備する。本実施形態の撮像手段12としては、カラー(RGB)カメラが用いられている。そして、撮像手段12の撮像方向(視線方向)L1は、保守作業者がフレーム11を耳に掛けたときの保守作業者の眉間に正対する方向となるように設定されている。さらに、ウェアラブル端末1は、フレーム11の前側に取り付けられ、保守作業者がフレーム11を耳に掛けたときに保守作業者の視界前方を覆うディスプレイ13を具備する。本実施形態のディスプレイ13としては、透過型のものが用いられている。したがい、ディスプレイ13に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。
 なお、撮像手段12は、必要に応じて、後述の第2特定手段32のハードウェア部分として用いることもできる。
[0043]
 図1(b)に示すように、本実施形態のウェアラブル端末1には、撮像方向が互いに異なる複数の第2の撮像手段32a、32bが取り付けられている。具体的には、本実施形態では、フレーム11の前側の左右の端部に、一対の第2の撮像手段32a、32bが取り付けられており、第2の撮像手段32aの撮像方向(視線方向)L2と、第2の撮像手段32bの撮像方向(視線方向)L3とが互いに異なる方向に設定されている。第2の撮像手段32a、32bとしては、例えば、撮像手段12と同様に、カラー(RGB)カメラを用いることができる。また、第2の撮像手段32a、32bとしては、例えば、広角レンズ(超広角レンズ、魚眼レンズを含む)を具備する広角カメラを用いることもできる。なお、第2の撮像手段32a、32bは、後述の第2特定手段32のハードウェア部分として用いることができる。
[0044]
 図1(b)に示すように、本実施形態のウェアラブル端末1には、撮像手段12と略同一の視線方向を有する距離画像センサ(デプスカメラや3Dカメラともいう)32cが取り付けられている。具体的には、距離画像センサ32cは、フレーム11の前側中央において、撮像手段12の下方に取り付けられている。距離画像センサ32cとしては、例えば、TOF(Time Of Flight)方式によって視野内における被写体までの距離を測定し、被写体までの距離が各画素の濃度値で表わされた距離画像を取得する距離画像センサが用いられる。なお、距離画像センサ32cは、後述の第2特定手段32のハードウェア部分として用いることができる。
[0045]
 また、本実施形態のウェアラブル端末1には、慣性センサ32dが取り付けられている。具体的には、フレーム11の側方に慣性センサ32dが取り付けられている。慣性センサ32dは、例えば、3軸の加速度センサと、3軸の角速度センサ(ジャイロセンサ)と、3軸の地磁気(方位)センサとから構成されている。なお、慣性センサ32dは、後述の第2特定手段32のハードウェア部分として用いることができる。
[0046]
 さらに、本実施形態のウェアラブル端末1のフレーム11の側方には、スピーカ4及びマイクロフォン5も取り付けられている。
[0047]
 以上に説明したような構成を有するウェアラブル端末1は、例えば、マイクロソフト社製のスマートグラスである「HoloLens」(登録商標)を用い、これに改良を加えることで構成可能である。
[0048]
 保守支援者側端末2は、一般的には、保守対象Tの設置現場から離れた位置にあり、保守支援者が操作する端末である。保守支援者側端末2は、インターネット等の電気通信回線Nを通じて、ウェアラブル端末1(具体的には、ウェアラブル端末1に取り付けられた制御信号処理手段3)に電気的に接続されている。具体的には、本実施形態の保守支援者側端末2は、電気通信回線Nに電気的に接続されたサーバ6を介して、ウェアラブル端末1に電気的に接続されている。そして、保守支援者側端末2は、後述の通信手段34と双方向にデータ通信可能に構成されている。保守支援者側端末2としては、例えばデスクトップ型のコンピュータを用いることができるが、これに限るものではなく、ラップトップ型のコンピュータ、タブレット型のコンピュータ、スマートフォン等、後述のように加工画像を表示できる限りにおいて、種々の端末を用いることができる。
 なお、本実施形態の保守支援者側端末2は、必須の構成ではないが、電気通信回線Nを通じて、保守対象Tとも電気的に接続されている。具体的には、本実施形態では、例えば、保守対象Tのプロセスログデータ(保守対象Tのプロセスに関わる測定値や設定値)を収集するコンピュータ(図1(a)には図示せず)が設けられ、このコンピュータが、電気通信回線Nに電気的に接続されたサーバ6を介して、保守支援者側端末2に電気的に接続されている。そして、保守対象Tで得られるプロセスログデータが保守支援者側端末2に逐次送信され、保守支援者側端末2に記憶されるように構成されている。サーバ6を設けることで、保守支援者側端末2に接続されたウェアラブル端末1や保守対象Tの識別情報の管理や利用履歴の管理が容易になる。
[0049]
 制御信号処理手段3は、ウェアラブル端末1(フレーム11の側方)に取り付けられ、撮像手段12、ディスプレイ13、第2の撮像手段32a、32b、距離画像センサ32c、慣性センサ32d、スピーカ4及びマイクロフォン5の各構成要素に電気的に接続されており、各構成要素を制御したり、各構成要素の出力信号を処理する機能を有する。
 制御信号処理手段3は、主として、CPU、ROMやRAM等のメモリ、該メモリに記憶され、CPUに後述の動作を実行させるプログラムと、によって構成されている。
[0050]
 図1(c)に示すように、制御信号処理手段3は、第1特定手段31としての動作をCPUに実行させるプログラムと、第2特定手段32のソフトウェア部分32eの動作をCPUに実行させるプログラムと、加工画像生成手段33としての動作をCPUに実行させるプログラムと、を具備する。また、制御信号処理手段3は、通信手段34を具備する。通信手段34は、アンテナや、アンテナを動作させるプログラム等によって構成されている。
 なお、上記のようなプログラムの更新は、所定のコンピュータと制御信号処理手段3とをUSBケーブル等で直接接続して行ってもよいし、サーバ6から直接アップデートしてもよい。
[0051]
 本実施形態では、第1特定手段31、第2特定手段32(撮像手段12、第2撮像手段32a、32b、距離画像センサ32c及び慣性センサ32dのうち少なくとも何れか一つと、ソフトウェア部分32e)、加工画像生成手段33及び通信手段34の全てがウェアラブル端末1に取り付けられている。これは、前述のように、ウェアラブル端末1自体に取り付けられたセンサ等によってウェアラブル端末1(撮像手段12)の位置を検出する、インサイドアウト方式の構成である。
[0052]
 以下、以上に説明した概略構成を有する本実施形態に係る保守支援システム100の動作(保守支援方法)について、図1に加えて図2~図4を参照しつつ説明する。
[0053]
 最初に、本実施形態に係る保守支援システム100を利用するに際して、サーバ6は、保守作業者の識別情報及び保守支援者の識別情報の双方を認証する。具体的には、保守作業者の識別情報及び保守支援者の識別情報の双方がサーバ6に送信されたか否かを判定する。
 保守作業者の識別情報である第1識別情報及び保守支援者の識別情報である第2識別情報は、保守支援システム100を利用する前に予めサーバ6に記憶される。具体的には、例えば、保守支援者が、保守支援者側端末2のキーボード等を用いて、保守支援システム100を利用することが決まっている保守作業者の第1識別情報(例えば、ID番号)を保守支援者側端末2に入力することで、入力された第1識別情報が、電気通信回線Nを通じてサーバ6に送信され、記憶される。同様に、例えば、保守支援者が、保守支援者側端末2のキーボード等を用いて、保守支援システム100を利用することが決まっている保守支援者の第2識別情報(例えば、ID番号)を保守支援者側端末2に入力することで、入力された第2識別情報が、電気通信回線Nを通じてサーバ6に送信され、記憶される。或いは、保守支援システム100を利用する可能性のある保守作業者の第1識別情報及び保守支援者の第2識別情報を予め保守支援者側端末2に記憶させておき、保守支援者が、この保守支援者側端末2に記憶された第1識別情報及び第2識別情報のうち、これから実際に保守支援システム100を利用する保守作業者の第1識別情報及び保守支援者の第2識別情報を保守支援者側端末2のキーボード等を用いて選択することで、選択された第1識別情報及び第2識別情報が、電気通信回線Nを通じてサーバ6に送信され、記憶されるようにしてもよい。
 なお、本実施形態では、第1識別情報及び第2識別情報をサーバ6に記憶させる際に、保守作業者及び保守支援者による保守支援システム100の利用開始時刻や利用時間も併せてサーバ6に記憶させる。
[0054]
 保守支援システム100の利用開始時刻になったとき又は利用開始時刻に近づいたとき、ウェアラブル端末1の通信手段34から識別情報をサーバ6に送信する。この通信手段34から送信される識別情報は、例えば、ウェアラブル端末1の制御信号処理手段3に予め記憶されたウェアラブル端末1の識別情報である。この場合、保守作業者が装着するウェアラブル端末1は予め決められており、ウェアラブル端末1の識別情報が保守作業者の識別情報(第1識別情報)としてサーバ6に送信される。同様に、保守支援システム100の利用開始時刻になったとき又は利用開始時刻に近づいたとき、保守支援者側端末2から識別情報をサーバ6に送信する。この保守支援者側端末2から送信される識別情報は、例えば、保守支援者が保守支援者側端末2のキーボード等を用いて入力した保守支援者の第2識別情報である。保守支援者側端末2を操作する保守支援者が予め決められている場合には、保守支援者側端末2に予め記憶された保守支援者側端末2の識別情報を保守支援者の識別情報(第2識別情報)としてサーバ6に送信するようにしてもよい。
[0055]
 サーバ6は、上記のようにして通信手段34からサーバ6に送信された識別情報とサーバ6に記憶された第1識別情報とが合致するか否かを判定する。同様に、サーバ6は、上記のようにして保守支援者側端末2からサーバ6に送信された識別情報とサーバ6に記憶された第2識別情報とが合致するか否かを判定する。そして、通信手段34からサーバ6に送信された識別情報と第1識別情報とが合致し、且つ、保守支援者側端末2からサーバ6に送信された識別情報と第2識別情報とが合致する場合(保守支援システム100を利用する保守作業者の識別情報及び保守支援者の識別情報の双方がサーバ6に送信されたと認証された場合)に、利用開始時刻から利用時間が経過するまで、サーバ6を介した通信手段34と保守支援者側端末2との双方向のデータ通信を可能にする。
 本実施形態に係る保守支援システム100は、上記のように、保守作業者の識別情報及び保守支援者の識別情報の双方がサーバ6に送信されたと認証された場合に初めて、通信手段34と保守支援者側端末2との双方向のデータ通信が可能になる。したがい、予め決められた保守作業者及び保守支援者しか保守支援システム100を利用することができず、保守対象T以外の機密情報等の漏洩をより確実に防止可能である。
[0056]
 なお、上記のように、通信手段34と保守支援者側端末2との双方向のデータ通信が可能になった時点で、双方向の音声データの送受信が可能になり、この送受信された音声データが、サーバ6及び/又は保守支援者側端末2に記憶されるように構成してもよい。音声データを記憶することで、保守支援の履歴を確実に残すことが可能である。
 また、保守作業者及び保守支援者のうち、少なくとも何れか一方が、利用時間が経過する前に保守支援システム100の利用を中止又は中段する場合には、利用の中止又は中段を指示する所定の指示情報をウェアラブル端末1の通信手段34及び/又は保守支援者側端末2からサーバ6に送信することで、サーバ6が通信手段34と保守支援者側端末2との双方向のデータ通信を中止又は中断するように構成することも可能である。
 さらに、ウェアラブル端末1が複数である場合や、保守支援者側端末2が複数である場合、各端末1、2から送信された全ての識別情報がサーバ6で認証された場合に初めて各端末1、2における双方向のデータ通信を全て可能にする態様を採用してもよいし、認証された各端末1、2における双方向のデータ通信のみを可能にする態様を採用してもよい。
[0057]
 図2は、本実施形態に係る保守支援システム100の概略動作を説明する説明図である。図2では、ウェアラブル端末1を装着した保守作業者の図示を省略している。図3は、初期状態の撮像手段12で取得した撮像画像及び加工画像生成手段33で生成した加工画像の一例を示す図である。図3(a)は撮像画像の一例を、図3(b)は加工画像の一例を示す。図4は、ウェアラブル端末1が移動した移動後状態の撮像手段12で取得した撮像画像及び加工画像生成手段33で生成した加工画像の一例を示す図である。図4(a)は撮像画像の一例を、図4(b)は加工画像の一例を示す。なお、図3及び図4には、説明の便宜上、第1の3次元領域TAの境界線を破線で図示しているが、実際の撮像画像に境界線は存在しない。
 図2に示すように、本実施形態の保守対象Tの前面には、部材T1~T3が設けられている。保守対象Tの隣には、機密情報に関わる装置Sが配置されている。
 まず、ウェアラブル端末1を装着した保守作業者は、例えば、ウェアラブル端末1の撮像手段12で保守対象Tを撮像できるように、保守対象Tに正対する位置に移動する。そして、この初期状態の撮像手段12(図2に実線で図示するウェアラブル端末1が具備する撮像手段12)で保守対象Tを撮像して、図3(a)に示すような撮像画像(動画)を取得する。
[0058]
 次に、例えば、保守作業者がディスプレイ13に表示された撮像画像の任意の点をARカーソルを用いて指定することで、第1特定手段31が、上記の指定した点を基準点Mとして特定し、第1特定手段31に記憶する。また、第1特定手段31が、撮像画像に所定の画像処理を施すことで、撮像画像中の特徴的な部位(例えば、保守対象Tの角部等)に対応する画素領域を抽出し、この画素領域の中心等を基準点Mとして特定し、記憶することも可能である。さらに、保守対象Tにマーカが付されている(ARマーカ、QRコード(登録商標)、バーコード等のマーカが、貼付、印刷、刻印等によって付されている)場合には、第1特定手段31が、撮像画像に所定の画像処理を施すことでマーカに対応する画素領域を抽出し、この画素領域の中心等を基準点Mとして特定することも可能である。
[0059]
 そして、本実施形態では、第1特定手段31が、基準点Mを基準として、保守対象Tを含む所定の第1の3次元領域(例えば、直方体形状の3次元領域)TAを特定する。第1の3次元領域TAは、仮想空間における3次元領域である。具体的には、例えば、第1特定手段31に、基準点Mを基準とする3次元座標系(図2に示すX軸、Y軸及びZ軸を有する3次元座標系)で表された第1の3次元領域TAの各頂点P1~P8の座標が予め記憶されており、第1特定手段31は、例えば、SLAM技術を用いて、この各頂点P1~P8の座標に基づき第1の3次元領域TAを特定する。
 また、保守作業者が、ディスプレイ13に表示された撮像画像に対してARカーソルを用いて第1の3次元領域TAの各頂点P1~P8を指定することで、第1特定手段31が、例えば、SLAM技術を用いて、第1の3次元領域TAを特定することも可能である。この場合、第1の3次元領域TAの各頂点P1~P8は、ARカーソルを用いて指定した瞬間に、基準点Mを基準とする3次元座標系に配置されるので、各頂点P1~P8の座標が決まり、結果として第1の3次元領域TAを特定することができる。
 さらに、保守対象Tにマーカが付されている場合には、第1特定手段31が、マーカに対応する画素領域の特徴量を演算し、この特徴量からマーカの識別情報を特定し、特定した識別情報に関連付けて第1特定手段31に記憶された各頂点P1~P8の座標に基づき、例えば、SLAM技術を用いて、第1の3次元領域TAを特定することも可能である。このように、基準点Mをマーカによって規定する場合、各頂点P1~P8の座標が既に第1特定手段31に記憶されていて、保守作業者が設定する必要がないため、手間がかからない。保守対象Tの形状が複雑である場合には、予め保守対象Tの設計図面等に基づき各頂点P1~P8(或いは、8つより多い頂点)を詳細に設定してマーカの識別情報に関連付けておくことができ、特に効果的である。
 なお、図2では、保守作業者が装着したウェアラブル端末1が、第1の3次元領域TA内で移動する場合を例示している。
[0060]
 次に、ウェアラブル端末1を装着した保守作業者が移動することで、ウェアラブル端末1も移動し、ウェアラブル端末1が移動した移動後状態において、ウェアラブル端末1が具備する撮像手段12(図2に破線で図示するウェアラブル端末1が具備する撮像手段12)で保守対象Tを撮像して、図4(a)に示すような撮像画像を取得する。この撮像画像には、基準点Mが含まれていない。
 そして、上記の移動過程において、撮像手段12及び第2の撮像手段32a、32bによって、連続的に撮像画像が取得される。また、距離画像センサ32cによって、連続的に距離画像が取得される。さらに、慣性センサ32dによって、ウェアラブル端末1が具備する撮像手段12の加速度、角速度及び地磁気(方位)が連続的に検出される。
[0061]
 第2特定手段32は、ウェアラブル端末1が移動した移動後状態において、
撮像手段12で取得した撮像画像における第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域を特定する。
 具体的には、第2の撮像手段32a、32bが第2特定手段32を構成する場合には、移動過程において第2の撮像手段32a、32bで連続的に取得した撮像画像に基づき、第2特定手段32を構成するソフトウェア部分32eが、例えばSLAM技術を用いて、ウェアラブル端末1(撮像手段12)の自己位置と周囲の環境地図を構築することで、移動後状態の撮像画像における第1の3次元領域TAを特定する。
 また、距離画像センサ32cが第2特定手段32を構成する場合には、移動過程において距離画像センサ32cで連続的に取得した距離画像に基づき、第2特定手段32を構成するソフトウェア部分32eが、例えばSLAM技術を用いて、移動後状態の撮像画像における第1の3次元領域TAを特定する。
 さらに、撮像手段12や慣性センサ32dが第2特定手段32を構成する場合も同様である。また、第2の撮像手段32a、32b、距離画像センサ32c、撮像手段12及び慣性センサ32dのうちの何れかが組み合わさって第2特定手段32を構成する場合も考えられ、この場合も、第2特定手段32が、例えばSLAM技術を用いて、移動後状態の撮像画像における第1の3次元領域TAを特定する。
 なお、本実施形態の第2特定手段32は、移動後状態の撮像画像における第1の3次元領域TAを特定するに際して、GPSを用いない(後述のように、移動後状態の撮像画像における第2の3次元領域SAを特定する場合も同様)。GPSは、屋内では用いることができない他、少なくとも数メートルの位置検出誤差が生じるからである。
[0062]
 第2特定手段32は、上記のようにして、移動後状態の撮像画像における第1の3次元領域TAを特定し、第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域を特定する。第1の3次元領域TAが、移動後状態の撮像手段12の視野内のどの部分に写るか、換言すれば、撮像手段12で取得した撮像画像におけるどの画素領域に対応するのかは幾何学演算で特定できるため、撮像画像における第1の3次元領域TAに対応する有効画素領域を特定し、有効画素領域を除くマスク画素領域を特定可能である。
[0063]
 次に、加工画像生成手段33が、移動後状態の撮像手段12で取得した撮像画像に対して、第2特定手段32で特定したマスク画素領域を不可視にした加工画像(動画)を生成する。図4(b)に示す例では、加工画像として、マスク画素領域を黒塗りにした画像が生成されている。ただし、加工画像としては、これに限るものではなく、撮像画像から有効画素領域のみ(マスク画素領域以外の画素領域のみ)を切り出した画像にすることも可能である。また、マスク画素領域を黒塗りにするのに代えて、モザイク処理を施したり、フォギーをかけたりして、機密情報等の漏洩を防止できる限りにおいて、種々の態様を採用可能である。
[0064]
 最後に、通信手段34が、加工画像生成手段33で生成した加工画像を電気通信回線Nを通じて保守支援者側端末2に送信する。したがい、図4(a)に示すように、撮像画像では機密情報に関わる装置Sが視認できる状態であっても、保守支援者側端末2では、図4(b)に示すように、第1の3次元領域TAに含まれる保守対象Tのみが視認され、保守対象T以外の機密情報等の漏洩を防止可能である。
 なお、図3(a)に示すような初期状態の撮像手段12で取得した撮像画像に対しても第2特定手段32、加工画像生成手段33及び通信手段34は動作する。これにより、加工画像生成手段33では、初期状態の撮像手段で取得した撮像画像に対してもマスク画素領域を不可視にした図3(b)に示すような加工画像が生成され、保守支援者側端末2に送信されることになる。
[0065]
 なお、第2特定手段32を構成する第2の撮像手段32a、32b等が故障又は何らかの不具合が生じた場合には、移動後状態の撮像手段12の初期状態からの位置の変化を正しく特定できなくなる。これに伴い、移動後状態の撮像手段12で取得した撮像画像における第1の3次元領域TAに対応する有効画素領域を正しく特定できなくなる。この結果、生成された加工画像に保守対象T以外の機密情報等が含まれる可能性が生じる。
 したがい、第2の撮像手段32a、32b等が故障又は何らかの不具合が生じた場合には、加工画像生成手段33が全ての画素領域を不可視にした加工画像を生成するか、或いは、通信手段34が加工画像の送信を停止する機能を有することが好ましい。また、この際、第2の撮像手段32a、32b等に故障又は何らかの不具合が生じたことを保守作業者が迅速に把握できるように、ディスプレイ13に故障又は何らかの不具合が生じた旨を表示するか、或いは、スピーカ4に故障又は何らかの不具合が生じた旨を音声で通知することが好ましい。
[0066]
 本実施形態のディスプレイ13は、ディスプレイ13に撮像画像を表示する状態(具体的には、本実施形態では、透過型のディスプレイ13には何も表示されず、保守作業者が何も表示されていないディスプレイ13を介して保守対象Tを直接視認できる状態)と、ディスプレイ13に加工画像を認識可能に表示する状態とが切り替え可能に構成されている。具体的には、例えば、フレーム11に切り替えボタン(図示せず)を設け、この切り替えボタンを押すことで、制御信号処理手段3が何れかの状態を選択するように制御する態様を採用可能である。
 ディスプレイ13に撮像画像を表示する状態(保守作業者が保守対象Tを直接視認できる状態)では、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。
 一方、ディスプレイ13に加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末2に送信される加工画像を認識可能である。このため、保守対象T以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、加工画像を認識可能に表示する状態としては、保守支援者側端末2に送信される加工画像と同じもの(撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像から有効画素領域のみを切り出した画像など)を表示する状態の他、図3(a)や図4(a)に示すように、撮像画像にマスク画素領域と有効画素領域との境界線(第1の3次元領域TAの境界線)をオーバレイした画像を表示する状態や、表示画面の一部に加工画像を縮小して表示する状態なども含まれる。
[0067]
 なお、本実施形態では、1つの保守対象Tに1つの第1の3次元領域TAを特定する場合を例に挙げて説明したが、本発明はこれに限るものではない。例えば、保守対象Tが複数ある場合には、保守対象T毎に例えば基準点Mを設定し、保守対象T毎に第1の3次元領域TAを特定すればよい。例えば、1つの保守対象Tが基板処理装置であり、基板処理装置の部品を取り外して所定の作業机上で修理等の作業を行う場合には、もう一つの保守対象Tをこの作業机に設定し、作業机にも基準点Mを設定すればよい。
[0068]
 また、本実施形態では、第1の3次元領域TAとして、8つの頂点P1~P8を有する直方体形状の3次元領域を例に挙げて説明したが、本発明はこれに限るものではない。保守対象Tの形状に応じて、8つより多くの点で特定される直方体以外の形状の第1の3次元領域TAを設定することも可能である。
[0069]
 また、本実施形態では、保守支援者側端末2に1つのウェアラブル端末1が電気的に接続されている場合を例に挙げて説明したが、本発明はこれに限るものではない。保守支援者側端末2に複数のウェアラブル端末1が電気的に接続されている構成を採用することも可能である。
 この場合、複数のウェアラブル端末1の撮像手段12が同じ基準点Mを基準とする同じ第1の3次元領域TAを特定する構成でもよいし、ウェアラブル端末1毎に、基準点Mを異なるものにしたり、特定する第1の3次元領域TAを異なるものにする構成を採用することも可能である。
 また、保守支援者側端末2では、複数のウェアラブル端末1から送信された各加工画像を並べて同時に表示したり、或いは、表示する加工画像を切り替え可能にするなど、種々の態様を採用可能である。
 さらに、ウェアラブル端末1が1つであっても複数であっても、ウェアラブル端末1に電気的に接続される保守支援者側端末2を複数用意することも可能である。
[0070]
 また、本実施形態では、図2に示すように、保守対象Tを含むと共に、ウェアラブル端末1が移動する範囲を含む領域を第1の3次元領域TAに設定しているが、本発明はこれに限るものではない。保守対象Tが存在しなかったり、ウェアラブル端末1が移動しない領域であっても、機密情報に関わる装置Sが存在しないことが予め決まっている領域については、この領域が含まれるように、第1の3次元領域TAを更に広げることも可能である。また、第1の3次元領域TAは繋がった1つの領域に限るものではなく、複数の分離した領域を第1の3次元領域TAとして設定することも可能である。
[0071]
 <第2実施形態>
 第2実施形態に係る保守支援システムも、図1を参照して説明した第1実施形態に係る保守支援システム100と同様の概略構成を有する。
 ただし、第2実施形態に係る保守支援システムは、第1の3次元領域TAの設定が第1実施形態に係る保守支援システム100と異なる。以下、この点について説明する。
[0072]
 図5は、第2実施形態に係る保守支援システムにおける第1の3次元領域TAの設定例を説明する説明図である。
 図5に示すように、本実施形態では、第1の3次元領域TAを複数(図5に示す例では8つ)の仮想の仕切り壁W1~W8で構成している。図5に示す例では、8つの仕切り壁W1~W8で囲まれた領域が、第1の3次元領域TAとして設定されることになる。仕切り壁W1~W8は、例えば、保守作業者が、ディスプレイ13に表示された撮像画像に対してARカーソルを用いて指定すればよい。これにより、第1特定手段31は、仕切り壁W1~W8で囲まれた領域を第1の3次元領域TAとして特定することになる。
[0073]
 図5に示すような仕切り壁は、その位置やサイズや個数を保守作業者が自由に指定可能にすることが好ましい。この好ましい構成により、保守対象Tの形状や寸法が変わっても、これに応じて仕切り壁の位置やサイズや個数を自由に変更できるので汎用性に優れる他、第2特定手段32によるマスク画素領域の特定も容易である。また、例えば、保守対象Tが、基板処理装置本体だけでなく、基板処理装置本体から少し離れた場所にある補器(例えば、ポンプやチラーなど)も含む場合等には、図2のような定尺の第1の3次元領域TAに比べて、仕切り壁を適切に配置して第1の3次元領域TAを構成することが可能である(レイアウト変更が容易である)。
[0074]
 なお、各仕切り壁の間は、機密情報に関わる装置Sが保守支援者側端末2で視認できない(すなわち、加工画像において不可視になっている)限りにおいて、若干の隙間が空いていても構わない。図5では、仕切り壁W1、W2の間、仕切り壁W2、W3の間、仕切り壁W5、W6の間、仕切り壁W6、W7の間に、若干の隙間が空いている例を図示している。ただし、機密情報に関わる装置Sが保守支援者側端末2で確実に視認できないようにするには、第1の3次元領域TA内のウェアラブル端末1の撮像手段12の撮像方向(視線方向)L1から見て、各仕切り壁同士がオーバーラップする部分を有する方が好ましい。
 また、図5に示す例では、保守対象Tが位置する場所の天井部分や床部分には仕切り壁を設けていないが、保守対象Tの周りの機密情報に関わる装置Sが保守支援者側端末2で視認できない限り、自由に仕切り壁を設定してよい。
[0075]
 <第3実施形態>
 第3実施形態に係る保守支援システムも、図1を参照して説明した第1実施形態に係る保守支援システム100と同様の概略構成を有する。
 ただし、第3実施形態に係る保守支援システムは、第1の3次元領域TAではなく、第2の3次元領域SAを用いることが第1実施形態に係る保守支援システム100と異なる。以下、この点について説明する。
[0076]
 第3実施形態に係る保守支援システムでは、第1特定手段31が、基準点Mを基準として、保守対象Tを除く所定の第2の3次元領域を特定(例えば、図6に示すように、機密情報に関わる装置Sが含まれる第2の3次元領域SAを特定)し、第2特定手段32が、第2の3次元領域SAに対応するマスク画素領域を特定する構成となっている。第2の3次元領域SAは、仮想空間における3次元領域である。第2の3次元領域SAを特定する場合についても、前述の第1の3次元領域TAを特定する場合について説明した内容を同様に適用可能である。
 第1特定手段31は、第1の3次元領域TAを特定することに代えて、第2の3次元領域SAを特定してもよいし、第1の3次元領域TA及び第2の3次元領域SAの双方を特定してもよい。第1特定手段31が第1の3次元領域TAを特定することに代えて第2の3次元領域SAを特定する場合、第2特定手段32は、第2の3次元領域SAに対応するマスク画素領域を特定することになる。第1特定手段31が第1の3次元領域TA及び第2の3次元領域SAの双方を特定する場合、第2特定手段32は、第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域を特定すると共に、第2の3次元領域SAに対応するマスク画素領域を特定することになる。なお、双方を特定する場合には、第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域と、第2の3次元領域SAに対応するマスク画素領域とが重なる場合がある。この場合、少なくとも一方でマスク画素領域として特定される画素領域は、全てマスク画素領域とすればよい。
[0077]
 <第4実施形態>
 第4実施形態に係る保守支援システムも、図1を参照して説明した第1実施形態に係る保守支援システム100と同様の概略構成を有する。
 ただし、第4実施形態に係る保守支援システムは、第1の3次元領域TAの設定が第1実施形態に係る保守支援システム100や第2実施形態に係る保守支援システムと異なる。以下、この点について説明する。なお、以下の説明では、機密情報に関わる装置が2つ(装置S1、S2)存在する場合を例示する。
[0078]
 図7は、第4実施形態に係る保守支援システムにおける第1の3次元領域TAの設定例及びこのときの第2特定手段32の概略動作を説明する説明図である。図7(a)は、第1の3次元領域TAの設定例を示す斜視図である。図7(b)は、第2特定手段32の概略動作を説明する平面図であり、ウェアラブル端末1が保守対象Tの前面(図7(a)に示す部材T1~T3が設けられている面)の中央に正対する(図7(a)に示すウェアラブル端末1の撮像手段12の撮像方向L1が保守対象Tの前面に直交する)位置にある状態を示す。
 図8は、図7に示すように第1の3次元領域TAを設定したときの第2特定手段32の概略動作を説明する平面図である。図8(a)は、ウェアラブル端末1が図7(b)に示す状態から装置S2側に平行移動した位置にある状態を示す。図8(b)は、ウェアラブル端末1が図7(b)に示す状態から装置S2側に回転移動(保守対象Tの周りを反時計回りに移動)した位置にある状態を示す。図8(c)は、ウェアラブル端末1が図7(b)に示す状態からその場で左に向きを変えた状態を示す。
 なお、図7(b)、図8においては、便宜上、ウェアラブル端末1を矩形で図示している。
[0079]
 前述の図2に示す例では、保守対象Tを含むと共に、ウェアラブル端末1が移動する範囲を含む領域を第1の3次元領域TAに設定しているが、図7(a)に示す例では、保守対象Tと合致するように第1の3次元領域TAを設定し、ウェアラブル端末1が第1の3次元領域TAの外部で移動する。
 図7(b)に示すように、ウェアラブル端末1が保守対象Tの前面の中央に正対する位置にある状態では、ウェアラブル端末1の撮像手段で保守対象Tを(第1の3次元領域TA)を撮像した場合、ウェアラブル端末1の撮像手段の画角θの範囲内に位置する被写体が結像して撮像画像として取得されることになる。換言すれば、図7(b)に示すウェアラブル端末1の撮像手段の画角θの範囲外である撮像領域外OIAに位置する被写体は、撮像画像を構成しない。
[0080]
 第2特定手段32は、取得した撮像画像における第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域を特定する。具体的には、撮像画像における、図7(b)に示すマスク領域MAに位置する被写体が結像して得られる画素領域又はマスク領域MAを通って結像して得られる画素領域をマスク画素領域として特定する。
 ウェアラブル端末1の撮像手段から見て、第1の3次元領域TA(保守対象T)の後方に位置する死角領域BAに位置する被写体は、保守対象Tに遮られて結像しないため、撮像画像を構成しない。その結果、実質的に、第1の3次元領域TAに対応する有効画素領域を除く画素領域をマスク画素領域として特定するのと同じ効果がある。
[0081]
 また、ウェアラブル端末1の撮像手段で第1の3次元領域TA(保守対象T)を撮像した際、ウェアラブル端末1と第1の3次元領域TAとの間にあり且つ撮像手段の画角θの範囲内にある領域は、本来、第1の3次元領域TA以外の領域であるが、第2特定手段32は、この領域を第1の3次元領域TAの手前にある例外領域EAとして特定する。そして、第2特定手段32は、撮像画像において、この例外領域EAを通って結像して得られる画素領域を有効画素領域として特定する。加工画像生成手段33は、この例外領域EAを通って結像して得られる画素領域(すなわち、保守対象Tの前面に対応する画素領域)が有効画素領域であるため、不可視にしない。つまり、第1の3次元領域TA(保守対象T)を視認できることが優先される処理が行われる。
[0082]
 図8(a)に示すように、ウェアラブル端末1が図7(b)に示す状態から装置S2側に平行移動した場合(ウェアラブル端末1を装着した保守作業者が保守対象Tを正面に見たまま右側に移動した場合)、図7(b)に示す状態に比べて、例外領域EAの位置が大きく変化する。図8(a)に示す例では、装置S2がマスク領域MAに位置するため、第2特定手段32は、撮像画像における装置S2が結像して得られる画素領域をマスク画素領域として特定し、加工画像生成手段33がこのマスク画素領域を不可視にするため、加工画像中に装置S2は映らない。ただし、ウェアラブル端末1の位置によっては、装置S2が例外領域EA内に入ることがある。この場合には、前述の第2の3次元領域SAを別途設定することも可能である。
[0083]
 図8(b)に示すように、ウェアラブル端末1が図7(b)に示す状態から装置S2側に回転移動した場合(ウェアラブル端末1を装着した保守作業者が保守対象Tの周りを反時計回りに移動した場合)も、図8(a)の場合と同様に、装置S2、S1が例外領域EA内に入ることがある。この場合には、前述の通り、第2の3次元領域SAを別途設定することで対処可能である。
[0084]
 図8(c)に示すように、ウェアラブル端末1が図7(b)に示す状態からその場で左に向きを変えた場合(ウェアラブル端末1を装着した保守作業者がその場で視線方向(頭の向き)を左方向に変えた場合)、図7(b)に示すように、元々装置S1、S2が死角領域BA内に位置するのであれば、視線方向を変えても死角領域BA内に位置したままとなる。
[0085]
 以上、図7及び図8を参照して説明した第4実施形態に係る保守支援システムのように、保守対象Tと合致するように第1の3次元領域TAを設定し、ウェアラブル端末1が第1の3次元領域TAの外部で移動する場合、例外領域EA内に機密情報に関わる装置S(S1、S2)が位置する可能性に備えて、第2の3次元領域SAを別途設定する必要があるが、前述の図2に示す場合と同様に、保守支援者側端末2では、第1の3次元領域TA(保守対象T)のみが視認され、保守対象T以外の機密情報等の漏洩を防止可能である。
[0086]
 図9は、図7に示すように第1の3次元領域TAを設定すると共に、第2の3次元領域SAを設定したときに加工画像生成手段33で生成される加工画像の一例を示す図である。図9(a)はウェアラブル端末1の撮像手段12の撮像方向(視線方向)L1を説明する図であり、図9(b)は図9(a)に示す撮像方向L1のときに生成される加工画像の一例を示す図である。なお、図9(a)ではウェアラブル端末1の図示を省略している。
 図9(b)に示すように、保守作業者が装着するウェアラブル端末1が具備する撮像手段12で取得した撮像画像において、保守対象Tを含む所定の第1の3次元領域TA(図9に示す例では保守対象T=第1の3次元領域TA)に対応する有効画素領域を除くマスク画素領域、及び、図9(a)に示す装置S1、S2に対してそれぞれ設定された第2の3次元領域SA(図示省略)に対応するマスク画素領域を不可視にした(図9に示す例では黒塗りにした)加工画像が得られる。
 なお、レイアウト上、機密情報に関わる装置Sが保守対象Tの近傍にない(つまり、ウェアラブル端末1を装着した作業者が移動する領域と保守対象Tとの間に機密情報に関わる装置Sがない)場合には、第1の3次元領域TAの設定のみで問題なく、機密情報に関わる装置Sが保守対象Tの近傍にある場合に、第2の3次元領域SAも必要となる。

符号の説明

[0087]
1・・・ウェアラブル端末
2・・・保守支援者側端末
3・・・制御信号処理手段
12・・・撮像手段
13・・・ディスプレイ
31・・・第1特定手段
32・・・第2特定手段
32a、32b・・・第2の撮像手段
32c・・・距離画像センサ
32d・・・慣性センサ
33・・・加工画像生成手段
34・・・通信手段
100・・・保守支援システム
M・・・基準点
N・・・電気通信回線
S、S1、S2・・・機密情報に関わる装置
T・・・保守対象
TA・・・第1の3次元領域
SA・・・第2の3次元領域
W1、W2、W3、W4、W5、W6、W7、W8・・・仕切り壁
θ・・・画角
BA・・・死角領域
OIA・・・撮像領域外
EA・・・例外領域
MA・・・マスク領域

請求の範囲

[請求項1]
 撮像手段を具備し保守作業者が装着するウェアラブル端末と、
 初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定手段と、
 前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定手段と、
 前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、
 前記加工画像生成手段で生成した前記加工画像を保守支援者が操作する保守支援者側端末に送信する通信手段と、
を備えることを特徴とする保守支援システム。
[請求項2]
 前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、
ことを特徴とする請求項1に記載の保守支援システム。
[請求項3]
 前記基準点は、マーカによって規定される、
ことを特徴とする請求項1又は2に記載の保守支援システム。
[請求項4]
 前記第2特定手段は、撮像方向が互いに異なる複数の第2の撮像手段を具備し、前記複数の第2の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、
ことを特徴とする請求項1から3の何れかに記載の保守支援システム。
[請求項5]
 前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイであり、
 前記ヘッドマウントディスプレイは、前記ディスプレイに前記撮像画像を表示する状態と、前記ディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている、
ことを特徴とする請求項1から4の何れかに記載の保守支援システム。
[請求項6]
 前記第1特定手段、前記第2特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている、
ことを特徴とする請求項1から5の何れかに記載の保守支援システム。
[請求項7]
 前記保守支援者側端末を備え、
 前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている、
ことを特徴とする請求項1から6の何れかに記載の保守支援システム。
[請求項8]
 前記通信手段及び前記保守支援者側端末に電気的に接続され、前記保守作業者の識別情報である第1識別情報及び前記保守支援者の識別情報である第2識別情報が記憶されたサーバを備え、
 前記サーバは、前記通信手段から前記サーバに送信された識別情報と前記サーバに記憶された前記第1識別情報とが合致するか否かを判定すると共に、前記保守支援者側端末から前記サーバに送信された識別情報と前記サーバに記憶された前記第2識別情報とが合致するか否かを判定し、前記通信手段から前記サーバに送信された前記識別情報と前記第1識別情報とが合致し、且つ、前記保守支援者側端末から前記サーバに送信された識別情報と前記第2識別情報とが合致する場合に、前記サーバを介した前記通信手段と前記保守支援者側端末との双方向のデータ通信を可能にする、
ことを特徴とする請求項7に記載の保守支援システム。
[請求項9]
 撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、
 第1特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定工程と、
 前記ウェアラブル端末が移動した移動後状態において、第2特定手段によって、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定工程と、
 加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
 通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、
を含むことを特徴とする保守支援方法。
[請求項10]
 請求項9に記載の保守支援方法が含む前記第1特定工程、前記第2特定工程、前記加工画像生成工程及び前記通信工程を、前記第1特定手段、前記第2特定手段及び前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラム。
[請求項11]
 保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像において、保守対象である産業用機器を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域に対応するマスク画素領域を特定し、前記マスク画素領域を不可視にした加工画像を生成する、
ことを特徴とする加工画像の生成方法。
[請求項12]
 保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、
 第1特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定工程と、
 前記ウェアラブル端末が移動した移動後状態において、第2特定手段によって、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定工程と、
 加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
を含むことを特徴とする加工画像の生成方法。
[請求項13]
 保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像において、保守対象である産業用機器を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域に対応するマスク画素領域が、不可視にされた加工画像。
[請求項14]
 請求項12に記載の生成方法によって生成され、前記保守対象である産業用機器を含む前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は前記保守対象である産業用機器を除く前記第2の3次元領域に対応するマスク画素領域が、不可視にされた加工画像。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]