国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2011122610) 情報処理装置、情報処理方法及びプログラム
Document

明 細 書

発明の名称 情報処理装置、情報処理方法及びプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007   0008  

課題を解決するための手段

0009   0010   0011  

発明の効果

0012   0013  

図面の簡単な説明

0014  

発明を実施するための形態

0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094  

産業上の利用可能性

0095  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13A   13B   13C   13D   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37A   37B   37C   37D   38   39   40   41   42  

明 細 書

発明の名称 : 情報処理装置、情報処理方法及びプログラム

技術分野

[0001]
 本発明は、情報処理装置、情報処理方法及びプログラムに関する。

背景技術

[0002]
(その1)
 従来、施設や工場等の見学は、見学者が実際の施設や設備をみたり、用意されたパネルやビデオをみたりすることが多かった。これに対して、例えば、特許文献1では、見学者の移動にあわせてその場にあった要素情報を携帯端末等で撮影した実景画像に重畳表示する仕組みが提案されている。
[0003]
(その2)
 工場や工事現場等、作業員が作業を行う上で危険な個所には、ペンキ等で危険な領域が示されていたり、看板等が掲示されていたりする。これらの危険な個所の表示(危険個所表示)は、固定的であるため、危険がおよび得る範囲に網羅的に表示や掲示がされているのが通常である。
 ところで、危険な個所は、常に危険である場合と、時間的に見て特定な時期だけ危険である場合とがある。例えば、工場内のクレーン作業が行われるような場所は、クレーンが稼働しているときだけ吊荷の下が危険な個所となる。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2004-102835号公報
特許文献2 : 特開2002-7703号公報

発明の概要

発明が解決しようとする課題

[0005]
(その1)
 施設や工場によっては、危険性があり、見学者が設備に近寄れない場合がある。また、近寄ったとしても設備の内部まで見られない場合もある。
 例えば、特許文献1の技術を施設や工場の見学に適用しても、設備の名称等が仮想画像として見える程度であり、見学者にとって実感が湧かないという問題があった。
 また、工場では、設備の稼働状況をシミュレーションにより予測することがあるが、シミュレーション結果としては、計算機端末の画面に2次元の断面図として表示されるに過ぎなかった。そのため、オペレータとしてはシミュレーション結果の把握が容易ではないという問題があった。
[0006]
 本発明はこのような問題点に鑑みなされたもので、施設や工場の見学者や作業員に対して設備等の稼働状況やシミュレーションの結果を、臨場感をもって伝えることを第一の目的とする。
[0007]
(その2)
 固定式のクレーンアーム等の従来の危険個所表示においては、例えば、クレーンアームの可動範囲の全てが危険な個所とみなされ、地面に危険個所表示(ハッチング表示等)がなされる。よって、従来の危険個所表示では、必要以上に危険な個所を特定しすぎて、危険な個所が不明確になる問題がある。また、従来の危険個所表示では、粉塵や油分等で汚れてしまい、表示そのものが見えなくなってしまったり、汚れたときに清掃や再塗装等のメンテナンスを要したりする問題もある。
 一方、移動式のクレーン車等の従来の危険個所表示においては、その使用される場所が固定されていないので、クレーン車に「半径10m以内立ち入り禁止」等を表示するが、危険な個所が視認できず、危険な個所が不明確になる問題がある。また、パイロン等で物理的に立ち入れないようにすることもあるが、その準備には手間がかかる問題がある。
[0008]
 本発明はこのような問題点に鑑みなされたもので、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することを第二の目的とする。

課題を解決するための手段

[0009]
(その1)
 そこで、本発明の情報処理装置は、撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する表示制御手段と、を有する。
 かかる構成とすることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
 なお、情報処理装置は、例えば、後述するARサーバに対応する。
[0010]
 また、本発明の情報処理装置は、設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、前記作成手段で作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、を有する。
 かかる構成とすることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
 なお、情報処理装置は、例えば、後述するARサーバに対応する。
[0011]
(その2)
 また、本発明に係る情報提供装置は、表示部を有し、記憶部と通信可能に接続された情報提供装置であって、前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、を有する。
 ここで、「読込手段」は、例えば、後述する取込部1055に対応する。「位置情報取得手段」は、例えば、後述する計測部1040に対応する。「方位情報取得手段」は、例えば、方位情報取得部1045に対応する。「姿勢情報取得手段」は、例えば、姿勢情報取得部1050に対応する。「特定手段」は、例えば、後述する視野特定部1060に対応する。「表示制御手段」は、例えば、後述する表示制御部1065に対応する。

発明の効果

[0012]
(その1)
 本発明によれば、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
[0013]
(その2)
 また、本発明によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。

図面の簡単な説明

[0014]
[図1] 図1は、実施形態1の設備案内システムのシステム構成の一例を示す図である。
[図2] 図2は、ARサーバのハードウェア構成の一例を示す図である。
[図3] 図3は、実施形態1のARサーバのソフトウェア構成の一例を示す図である。
[図4] 図4は、実施形態1の仮想画像と撮像画像との重畳表示の一例を示す図(その1)である。
[図5] 図5は、実施形態1の仮想画像と撮像画像との重畳表示の一例を示す図(その2)である。
[図6] 図6は、実施形態1の仮想画像と撮像画像との重畳表示の一例を示す図(その3)である。
[図7] 図7は、実施形態1のARサーバにおける表示制御処理の一例を示すフローチャートである。
[図8] 図8は、実施形態2の設備案内システムのシステム構成の一例を示す図である。
[図9] 図9は、実施形態2のARサーバのソフトウェア構成の一例を示す図である。
[図10] 図10は、実施形態2の仮想画像と撮像画像との重畳表示の一例を示す図(その1)である。
[図11] 図11は、実施形態2のARサーバにおける表示制御処理の一例を示すフローチャートである。
[図12] 図12は、実施形態3のARサーバにおける表示制御処理の一例を示すフローチャートである。
[図13A] 図13Aは、表示レイヤごとの設備の表示の一例を示す図(その1)である。
[図13B] 図13Bは、表示レイヤごとの設備の表示の一例を示す図(その2)である。
[図13C] 図13Cは、表示レイヤごとの設備の表示の一例を示す図(その3)である。
[図13D] 図13Dは、表示レイヤごとの設備の表示の一例を示す図(その4)である。
[図14] 図14は、実施形態5の設備案内システムのシステム構成の一例を示す図である。
[図15] 図15は、実施形態5のARサーバのソフトウェア構成の一例を示す図である。
[図16] 図16は、実施形態5のARサーバにおける表示制御処理の一例を示すフローチャートである。
[図17] 図17は、実施形態6の作業支援システムのシステム構成の一例を示す図である。
[図18] 図18は、実施形態6の作業支援システムのソフトウェア構成の一例を示す図である。
[図19] 図19は、実施形態6の作業支援システムにおける処理の一例を示すフローチャートである。
[図20] 図20は、実施形態7の作業支援システムのシステム構成の一例を示す図である。
[図21] 図21は、設備マーカ対応テーブルの一例を示す図である。
[図22] 図22は、設備利用状況テーブルの一例を示す図である。
[図23] 図23は、カメラ付きHMDのソフトウェア構成の一例を示す図である。
[図24] 図24は、実施形態7の作業支援システムにおける処理の一例を示すフローチャートである。
[図25] 図25は、実施形態7の作業支援システムのシステム構成の一例を示す図である。
[図26] 図26は、情報提供システムの構成の一例を示す図である。
[図27] 図27は、AR提供装置のハードウェア構成の一例を示す図である。
[図28] 図28は、AR提供装置の機能構成の一例を示す図である。
[図29] 図29は、情報処理装置のハードウェア構成の一例を示す図である。
[図30] 図30は、危険物に関する情報を格納するテーブルの一例を示す図である。
[図31] 図31は、危険物に関する情報を格納するテーブルの一例を示す図である。
[図32] 図32は、稼働状態設定処理に係るフローチャートの一例を示す図である。
[図33] 図33は、稼働状態設定処理に係るフローチャートの一例を示す図である。
[図34] 図34は、位置情報設定処理に係るフローチャートの一例を示す図である。
[図35] 図35は、表示処理に係るフローチャートの一例を示す図である。
[図36] 図36は、AR視野の一例を示す図である。
[図37A] 図37Aは、三次元の拡張画像が表示されたときの一例を示す図である。
[図37B] 図37Bは、二次元の拡張画像が表示されたときの一例を示す図である。
[図37C] 図37Cは、拡張画像が表示されたときの一例を示す図である。
[図37D] 図37Dは、拡張画像が表示されたときの一例を示す図である。
[図38] 図38は、表示処理に係るフローチャートの一例を示す図である。
[図39] 図39は、危険物が接近しているときの表示の一例を示す図である。
[図40] 図40は、表示処理に係るフローチャートの一例を示す図である。
[図41] 図41は、危険物に関する情報を格納するテーブルの一例を示す図である。
[図42] 図42は、表示処理に係るフローチャートの一例を示す図である。

発明を実施するための形態

[0015]
 以下、本発明の実施形態について図面に基づいて説明する。
[0016]
<実施形態1>
 図1は、実施形態1の設備案内システムのシステム構成の一例を示す図である。図1に示されるように、設備案内システムは、AR(Augumented Reality)サーバ1と、カメラ2と、センサ3 ~3 と、表示装置4と、がネットワークを介して接続されている。
 ARサーバ1は、カメラ2で撮像された工場内の設備(図1の例では高炉)の撮像画像をカメラ2より入力する。なお、本実施形態を含む以下の実施形態では工場の設備の一例として、製鉄所内の設備を例に説明を行う。なお、このことは本実施形態を含む以下の実施形態を限定するものではない。
 また、ARサーバ1は、センサ3 ~3 で計測された計測情報(例えば、高炉の内部の温度情報等)をセンサ3 ~3 より入力する。なお、図1では、センサの数を5として示しているが、本実施の形態はこのことに限定されるものではなく、5より少なくてもよいし、5より多くてもよい。なお、本実施形態では、センサ3は、設備の外部及び内部に設けられているものとするが、例えば、設備に応じて、設備の内部だけに設けられていてもよいし、設備の外部だけに設けられていてもよい。例えば、高炉の場合、センサ3は、高炉の外部及び内部に設けられているものとする。また、後述する転炉の場合、センサ3は、転炉の内部に設けられているものとする。また、後述する連続鋳造機の場合、センサ3は、連続鋳造機の外部に設けられているものとする。また、センサは、温度情報を計測する温度センサに限定されるものでなく、例えば、気圧情報を計測する気圧センサ、又は圧力情報を計測する圧力センサ、ガスの種類及び濃度を計測するガスセンサ等であってもよい。センサ3 ~3 は、全て同じ種類のセンサ(例えば、温度センサ等)であってもよいし、違う種類のセンサ(例えば、温度センサ、ガスセンサ、圧力センサ等)であってもよい。
 なお、以下では、説明の簡略化のため、特に言及しない限り、これら複数のセンサを単にセンサという。
 ARサーバ1は、入力した計測情報に基づき設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像と、カメラ2より入力した撮像画像と、を重畳して表示装置4に表示するよう制御する。
 工場の見学者は、表示装置4を目視することによって、危険で立ち入れない領域にある設備の稼働状況や、設備内部の稼働状況等を、臨場感をもって把握することができる。
[0017]
 図2は、ARサーバ1のハードウェア構成の一例を示す図である。
 図2に示されるように、ARサーバ1は、ハードウェア構成として、CPU11と、記憶装置12と、通信装置13と、を含む。CPU11は、記憶装置12に記憶されているプログラムに基づき、ARサーバ1を制御する処理等を実行する。記憶装置12は、プログラムやCPU11が処理を実行する際に利用するデータ等を記憶する。通信装置13は、ARサーバ1と他の装置(例えば、センサ3やカメラ2、表示装置4等)との通信を制御する。
 CPU11が、プログラムに基づき処理を実行することによって、後述するソフトウェア構成及び後述するフローチャートにかかる処理が実現される。
[0018]
 図3は、実施形態1のARサーバ1のソフトウェア構成の一例を示す図である。
 図3に示されるように、ARサーバ1は、ソフトウェア構成として、撮像画像入力部21と、計測情報入力部22と、作成部23と、表示制御部24と、を含む。
 撮像画像入力部21は、カメラ2で撮像された工場内の設備の撮像画像をカメラ2より受け取り、入力する。
 計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ3 ~3 より受け取り、入力する。
 作成部23は、計測情報入力部22で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
 例えば、作成部23は、計測情報入力部22より計測情報を受け取ると共に、この計測情報がどの設備で計測されたかを示す設備情報を計測情報入力部22より受け取る。作成部23は、受け取った設備情報に基づいて、設備情報が示す設備が設備内部の仮想画像を生成するよう設定されている設備か否かを判定する。作成部23は、設備情報が示す設備が設備内部の仮想画像を生成するよう設定されている設備である場合、前記設備情報に基づいて、記憶装置12等より前記設備情報と関連付けて記憶されている設備内推定モデル(設備内推定数学モデル式)を選択する。より具体的に説明すると、記憶装置12等には、例えば、高炉と、高炉内推定モデルと、が関連付けられて記憶されている。また、記憶装置12等には、例えば、転炉と、転炉内推定モデルと、が関連付けられている。作成部23は、設備情報が示す設備が高炉を示している場合、記憶装置12等より高炉と関連付けられている高炉内推定モデルを選択する。そして、作成部23は、選択した高炉内推定モデルに、計測情報入力部22で入力された計測情報を代入し、高炉内の状況を推定し、高炉内の状況を表わす仮想画像を生成する。
 なお、各推定モデルは、あくまでも論理的なモデルとして記憶装置12に記憶されており、例えばセンサ3 ~3 で計測された計測情報に応じて再演算されて実際の状態に近い形の仮想画像が生成される。従って、数学モデル式であることが好ましいが、数学モデル式に基づいて予めコンピュータ・グラフィクスとして生成しておき、パラメータを変更することにより表示を変更するようにしてもよい。より具体的には、高炉内の原材料の投入量に応じて高さ方向の調整をしたり、後述する転炉の例では、炉内溶鋼の表面位置等をセンサの計測値に基づいて変更出来るようにしたりする。或いは高炉内推定モデルに対してセンサ3 ~3 で計測された温度情報を適用し、実際の温度分布を仮想画像として生成してもよい。
 表示制御部24は、作成部23で作成された設備の外部又は内部の状況を表わす仮想画像と、撮像画像入力部21で入力された前記設備の撮像画像と、を重畳して表示装置4に表示するよう制御する(図4~図6参照)。
[0019]
 図4は、実施形態1の仮想画像と撮像画像との重畳表示の一例を示す図(その1)である。図4では、高炉の撮像画像と、高炉の内部の温度情報に基づいて作成された高炉内部の仮想画像と、が重畳して表示された一例が示されている。
 図5は、実施形態1の仮想画像と撮像画像との重畳表示の一例を示す図(その2)である。図5では、転炉の撮像画像と、転炉の内部の温度情報に基づいて作成された転炉内部の仮想画像と、が重畳して表示された一例が表示されている。
 図6は、実施形態1の仮想画像と撮像画像との重畳表示の一例を示す図(その3)である。図6では、連続鋳造機及び連続鋳造機の間を通る溶融状態の鋼の撮像画像と、連続鋳造機の外部の温度情報に基づいて作成された連続鋳造機を通る溶融状態の鋼の固まっていく仮想画像と、が重畳して表示された一例が表示されている。
[0020]
 図7は、実施形態1のARサーバ1における表示制御処理の一例を示すフローチャートである。
 ステップS10において、撮像画像入力部21は、カメラ2で撮像された工場内の設備の撮像画像をカメラ2より受け取り、入力する。
 ステップS11において、計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ3 ~3 より受け取り、入力する。
 ステップS12において、作成部23は、ステップS11で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
 ステップS13において、表示制御部24は、ステップS12で作成された設備の外部又は内部の状況を表わす仮想画像と、ステップS10で入力された前記設備の撮像画像と、を重畳して表示装置4に表示するよう制御する。
 ステップS14において、例えば、表示制御部24は、表示装置4等より表示終了の情報等を受信したか否か等に基づいて、図7に示す処理を終了するか否かを判定する。表示制御部24は、処理を終了すると判定すると、図7に示す処理を終了し、処理を終了しないと判定すると、処理をステップS10に戻す。
 なお、撮像画像入力部21は、カメラ2で撮像が行われている限り、常時、撮像画像をカメラ2より受け取り、入力するようにしてもよい。同様に、計測情報入力部22は、センサ3 ~3 で計測が行われている限り、常時、計測情報をセンサ3 ~3 より受け取り、入力するようにしてもよい。以下の実施形態においても同様である。このような構成とすることにより、ARサーバ1は、リアルタイムで入力された計測情報に基づき、仮想画像を作成し、リアルタイムで入力された撮像画像に仮想画像を重畳して表示装置4に表示するよう制御することができる。
[0021]
 以下、本実施形態によれば、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。特に、従来のような一辺倒なビデオ画像の上映ではなく、今まさに稼動状態にある設備の状況を示すことができるため、従来に無い臨場感の有る見学を提供出来るようになる。
[0022]
<実施形態2>
 図8は、実施形態2の設備案内システムのシステム構成の一例を示す図である。図8に示されるように、実施形態2の設備案内システムのシステム構成は、実施形態1の設備案内システムのシステム構成に比べて、操業サーバ5が新たに含まれる。
 操業サーバ5は、工場内の設備に制御情報を送信する。前記設備は、前記制御情報に基づいて、処理を実行する。例えば、設備が高炉の場合、操業サーバ5は、高炉に対して、焼結鉱等の投入を指示する焼結鉱等の投入指示情報や、材料の一例であるコークスの投入を指示するコークス投入指示情報、還元材の吹き込みを指示する還元材の吹き込み指示情報、出銑口からの出銑を指示する出銑指示情報等を送信する。
 なお、制御信号はこれらに限定されるものではなく、設備が転炉の場合、転炉の上から酸素の吹き込みを指示する酸素の吹き込み指示情報、転炉の下から酸素や燃料ガス、炭酸ガス、不活性ガス等の吹き込みを指示するそれぞれの吹き込み指示情報等がある。更には、炉体を傾けて鉄くずを装入したり、吹錬後に再び炉体を傾けて取鍋に溶鋼を移したりする作業では、炉体を傾ける旨を指示する指示情報等がある。また、設備が連続鋳造機の場合、圧力をあげる、又は圧力をさげる圧力指示情報等がある。
 ARサーバ1は、操業サーバ5から設備へ送信される制御情報を入力する。そして、ARサーバ1は、入力した制御情報と、入力した計測情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像と、カメラ2より入力した撮像画像と、を重畳して表示装置4に表示するよう制御する。
 工場の見学者は、表示装置4を目視することによって、危険で立ち入れない領域にある設備の稼働状況や、設備内部の稼働状況等を、臨場感をもって把握することができる。
[0023]
 図9は、実施形態2のARサーバ1のソフトウェア構成の一例を示す図である。
 図9に示されるように、実施形態2のARサーバ1のソフトウェア構成は、実施形態1のARサーバ1のソフトウェア構成に比べて、制御情報入力部25が新たに含まれる。
 制御情報入力部25は、操業サーバ5から設備へ送信される制御情報を操業サーバ5より受け取り、入力する。
 作成部23は、計測情報入力部22で入力された計測情報と、制御情報入力部25で入力された制御情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。例えば、作成部23は、実施形態1に示したように、計測情報を設備に対応する設備内推定モデルに代入し、設備内の状況を推定し、推定結果に応じた仮想画像を作成する。
それと共に、例えば、制御情報がコークス投入指示情報であった場合、作成部23は、制御情報に基づき、設備内にコークスが投入されている様子を表わすオブジェクトを前記仮想画像に追加し、最終的な設備の内部の状況を表わす仮想画像とする。
 図10は、実施形態2の仮想画像と撮像画像との重畳表示の一例を示す図(その1)である。図10では、高炉の撮像画像と、高炉の内部の温度情報と高炉へのコークスの投入指示情報とに基づいて作成された高炉内部及び高炉にコークスを投入している仮想画像と、が重畳して表示された一例が示されている。
 本実施形態によれば、作成部23は、計測情報だけでなく、制御情報も加味して仮想画像を作成するので、より臨場感をもった仮想画像を作成することができる。特に転炉では、炉体が傾くと重畳表示される仮想画像もその動きに伴って変化するため臨場感が更に増す。
[0024]
 図11は、実施形態2のARサーバ1における表示制御処理の一例を示すフローチャートである。
 ステップS20において、撮像画像入力部21は、カメラ2で撮像された工場内の設備の撮像画像をカメラ2より受け取り、入力する。
 ステップS21において、計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ3 ~3 より受け取り、入力する。
 ステップS22において、制御情報入力部25は、操業サーバ5より制御情報を受け取り、入力する。なお、制御情報入力部25は、操業サーバ5より設備に対して制御情報が送信される度に制御情報を入力するものとする。
 ステップS23において、作成部23は、ステップS21で入力された計測情報と、ステップS22で入力された制御情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
 ステップS24において、表示制御部24は、ステップS23で作成された設備の外部又は内部の状況を表わす仮想画像と、ステップS20で入力された前記設備の撮像画像と、を重畳して表示装置4に表示するよう制御する。
 ステップS25において、例えば、表示制御部24は、表示装置4等より表示終了の情報等を受信したか否か等に基づいて、図11に示す処理を終了するか否かを判定する。表示制御部24は、処理を終了すると判定すると、図11に示す処理を終了し、処理を終了しないと判定すると、処理をステップS20に戻す。
[0025]
 以下、本実施形態によれば、施設や工場の見学者に対して設備等の稼働状況を、より臨場感をもって伝えることができる。
[0026]
<実施形態3>
 工場によっては、年中無休で設備を稼働させているところもあれば、メンテナンスや清掃等の理由により設備を稼働させていない場合もある。本実施形態では、設備が稼働していない場合であっても、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝える方法について説明する。なお、本実施形態のシステム構成やソフトウェア構成等は特に言及がない限り、実施形態1の構成と同様とする。
 本実施形態の作成部23は、計測情報入力部22から入力された計測情報に基づき、設備が稼働しているか否かを判定し、設備が稼働していると判断した場合は、計測情報に基づき仮想画像を作成し、設備が稼働していないと判断した場合は、理論値、又は今までの計測情報の平均値等に基づいて予め生成された仮想画像を記憶装置12等より取得する。
例えば、作成部23は、計測情報入力部22より計測情報を受け取ると共に、この計測情報がどの設備で計測されたかを示す設備情報を計測情報入力部22より受け取る。作成部23は、受け取った設備情報に基づいて、記憶装置12等より、設備情報と関連付けられた予め生成された仮想画像を取得する。
[0027]
 図12は、実施形態3のARサーバ1における表示制御処理の一例を示すフローチャートである。
 ステップS30において、撮像画像入力部21は、カメラ2で撮像された工場内の設備の撮像画像をカメラ2より受け取り、入力する。
 ステップS31において、計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ3 ~3 より受け取り、入力する。
 ステップS32において、作成部23は、計測情報入力部22から入力された計測情報に基づき、設備が稼働しているか否かを判定する。作成部23は、例えば、計測情報が予め定められた範囲内にない場合、設備が稼働していないと判定する。作成部23は、設備が稼働していると判定した場合、ステップS33に処理を進め、設備が稼働していないと判定した場合、ステップ34に処理を進める。
 ステップS33において、作成部23は、ステップS31で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
 一方、ステップS34において、作成部23は、設備に応じた、理論値等に基づいて予め作成された設備の外部又は内部の状況を表わす仮想画像を記憶装置12等より取得する。
 ステップS35において、表示制御部24は、ステップS33で作成された、又はステップS34で取得された、設備の外部又は内部の状況を表わす仮想画像と、ステップS30で入力された前記設備の撮像画像と、を重畳して表示装置4に表示するよう制御する。
 ステップS36において、例えば、表示制御部24は、表示装置4等より表示終了の情報等を受信したか否か等に基づいて、図12に示す処理を終了するか否かを判定する。表示制御部24は、処理を終了すると判定すると、図12に示す処理を終了し、処理を終了しないと判定すると、処理をステップS30に戻す。
[0028]
 以上、本実施形態によれば、設備が稼働しているときは、計測情報に基づき作成した仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。また、本実施形態によれば、設備が稼働していないときは、理論値又は今までの計測情報の平均値に基づき作成された仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
 なお、実施形態のシステム構成やソフトウェア構成等を、実施形態1の構成と同様としたが、実施形態2の構成と同様とした場合、作成部23は、計測情報及び/又は制御情報に基づき、設備が稼働中か否かを判定するようにしてもよい。例えば、作成部23は、計測情報が所定の範囲内にない、及び/又は、操業サーバ5から設備に対して所定の間、制御情報が送信されていない場合、設備が稼働中でないと判定するようにしてもよい。
[0029]
<実施形態4>
 表示制御部24は、設備ごとに設定されている表示レイヤを、表示装置4における見学者の画面操作等に応じて、表示装置4に送信するようにしてもよい。図13A~図13Dは、表示レイヤごとの設備の表示の一例を示す図である。図13Aは、高炉の外観を表わしている。図13Bは、高炉内部の耐火煉瓦を表わしている。図13Cは、高炉内の鉄鉱石やコークスの様子を表わしている。図13Dは、高炉の断面を表わしている。
 表示制御部24は、図13Aや図13Bのような表示レイヤの表示を表示装置4から要求された場合は、予め作成された表示レイヤの仮想画像を記憶装置12等より取得し、取得した表示レイヤの仮想画像と、撮像画像入力部21で入力された撮像画像と、を表示装置4で重畳して表示するよう制御する。
[0030]
 本実施形態によれば、見学者からの要求等に応じて、設備等の稼働状況を様々な表示レイヤで表示した仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、より臨場感をもって、かつ、詳細に伝えることができる。
[0031]
<実施形態5>
 図14は、実施形態5の設備案内システムのシステム構成の一例を示す図である。図14に示されるように、実施形態5の設備案内システムのシステム構成は、実施形態1の設備案内システムのシステム構成に比べて、カメラ2が含まれない。また、本実施形態の表示装置4は、例えば、窓等に張られた透過型の液晶フィルム等である。
 ARサーバ1は、センサ3 ~3 で計測された計測情報(例えば、高炉の内部の温度情報等)をセンサ3 ~3 より入力する。
 ARサーバ1は、入力した計測情報に基づき設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像が、表示装置4が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
[0032]
 図15は、実施形態5のARサーバ1のソフトウェア構成の一例を示す図である。
 図15に示されるように、ARサーバ1は、ソフトウェア構成として、計測情報入力部22と、作成部23と、表示制御部24と、を含む。
 計測情報入力部22は、センサ31~35で計測された計測情報をセンサ31~35より受け取り、入力する。
 作成部23は、計測情報入力部22で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
 表示制御部24は、作成部23で作成された設備の外部又は内部の状況を表わす仮想画像が、表示装置4が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
[0033]
 図16は、実施形態5のARサーバ1における表示制御処理の一例を示すフローチャートである。
 ステップS40において、計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ31~35より受け取り、入力する。
 ステップS41において、作成部23は、ステップS40で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
 ステップS42において、表示制御部24は、ステップS41で作成された設備の外部又は内部の状況を表わす仮想画像が、表示装置4が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
 ステップS43において、例えば、表示制御部24は、表示装置4等より表示終了の情報等を受信したか否か等に基づいて、図16に示す処理を終了するか否かを判定する。表示制御部24は、処理を終了すると判定すると、図16に示す処理を終了し、処理を終了しないと判定すると、処理をステップS40に戻す。
[0034]
 以上、本実施形態によっても、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
[0035]
<実施形態6>
 製鉄所内の工場設備の制御は、コンピュータ制御全盛の今日においてもなお、オペレータが高炉ののぞき窓から見える銑鉄の色や転炉口から吹き上がる炎等から、高炉や転炉の内部の状況を予測し、そのときの状況に応じたオペレータの判断に基づいて行われることも少なくない。しかしながら、この判断は熟練を要するため容易ではなく、オペレータの判断が適切でなかった場合、工場設備で生産される製品の品質低下を招く結果につながりかねない。
 そこで、本実施形態では、オペレータの判断によって工場設備の制御を行う場合、その制御を行ったときの工場設備の状況(例えば高炉や転炉の内部の状況)がどのようになるかをシミュレーションし、シミュレーションの結果をオペレータに対して3次元画像として提示する作業支援システムについて説明する。
 実施形態1~5の設備案内システムは、計測情報や制御情報に基づいて現在の設備の内部の状況を表す3次元の仮想画像を作成し、見学者に対して提示していた。しかしながら、実施形態6に係る作業支援システムは、計測情報のほか、これから制御しようとする内容を表す情報(制御予定情報)に基づいて、仮にその制御を行った場合、設備の内部の状況がどのように変化するかをシミュレーションにより予測し、その予測結果をオペレータに対して提示する。オペレータは、その予測結果を見て、実際にどのような制御を行うか最終的に判断する。
[0036]
 本実施形態に係る作業支援システムについて、より詳細に説明すれば以下のとおりである。図17は、実施形態6の作業支援システムのシステム構成の一例を示す図である。図17に示されるように、作業支援システムは、サーバ101と、カメラ付きHMD102(以下、HMD102と略す)と、センサ103 ~103 と、が無線ネットワークを介して接続されている。
 図18は、実施形態6の作業支援システムのソフトウェア構成の一例を示す図である。
 本実施形態の作業支援システムのソフトウェア構成は、実施形態1のARサーバ1のソフトウェア構成に比べて、制御予定情報入力部26が新たに含まれる。
 また、本実施形態では、ソフトウェアの機能がサーバ101とHMD102とに分散している。サーバ101は、ソフトウェアの機能構成として、計測情報入力部22と、制御予定情報入力部26と、シミュレーション部27と、を含む。また、HMD102は、カメラ及び作画機能を備えており、ソフトウェアの機能構成として、撮像画像入力部21と作画・表示制御部28と、を含む。なお、本実施形態では、ソフトウェアの機能がサーバ101とHMD102とに分散しているが、実施形態1等のように、全ての機能をサーバ101が備えている構成であってもよいし、或いは、全ての機能をHMD102が備えている構成であってもよく、特に限定はされない。
[0037]
 はじめにサーバ101の機能について説明する。
 計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ3 ~3 より入力データとして受け取る。このとき、センサ3 ~3 は、無線ネットワークを介してサーバ101に対して計測情報を送信する。
 制御予定情報入力部26は、オペレータによって入力された制御予定情報を入力データとして受け取る。制御予定情報としては、制御情報と同様、焼結鉱等の投入指示情報やコークス投入指示情報や還元剤の吹き込み指示情報や出銑指示情報のほか、酸素や空気や各種ガスの吹き込み指示や圧力指示情報がある。オペレータは、サーバに接続された入力装置を介して制御予定情報を入力することもできるし、携帯端末等を介してリモートで制御予定情報を入力することも可能である。
 シミュレーション部27は、計測情報入力部22で受け取った計測情報と、制御予定情報入力部26で受け取った制御予定情報と、に基づいて、制御予定情報によって表される内容の制御が行われた場合の設備の外部又は内部の状況についてのシミュレーションを行う。例えば、シミュレーション部27は、計測情報(高炉の現在の温度等)と制御予定情報(羽口ごとの酸素や空気の吹き込み量を表す吹き込み指示情報等)とを設備に対応する設備内推定モデルに代入し、設備内の状況について数値解析を行い、その結果を表す数値データを出力する。
 なお、設備内推定モデルを利用する技術としては、例えば、特開平8-295910等に、炉内の状態をモデル化した数式モデルを導入して高炉の動作をシミュレートする技術が開示されている。このような技術を利用すれば、炉内の3次元座標の各地点における温度や圧力等のデータを得ることできる。
[0038]
 次にHMD102の機能について説明する。
 撮像画像入力部21は、HMD102に備えられたカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
 作画・表示制御部28は、シミュレーション部27によるシミュレーション結果を表す数値データを受け取ると、当該数値データに基づいて3次元の仮想画像を作画する。更に、作画・表示制御部28は、作画した設備の外部又は内部の状況についてのシミュレーション結果を表す3次元の仮想画像と、撮像画像入力部21で入力された前記設備の撮像画像と、を重畳してHMD102の表示装置に表示するよう制御する。このとき、サーバ101は、無線ネットワークを介してHMD102にシミュレーション結果を表す数値データを送信する。
[0039]
 図19は、実施形態6の作業支援システムにおける処理の一例を示すフローチャートである。
 ステップS50において、撮像画像入力部21は、HMD102に備えられているカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
 ステップS51において、計測情報入力部22はセンサ3 ~3 で計測された計測情報をセンサ3 ~3 より入力データとして受け取る。
 ステップS52において、制御予定情報入力部26は、オペレータによって入力された制御予定情報を受け取る。
 ステップS53において、シミュレーション部27は、ステップS51で入力された計測情報とステップS52で入力された制御予定情報と、に基づいて、設備の外部又は内部の状況を推定するシミュレーションを実行し、シミュレーション結果を表す数値データを出力する。そして、作画・表示制御部28は、シミュレーション結果を表す数値データに基づいて3次元の仮想画像を作成する。
 ステップS54において、作画・表示制御部28は、ステップS53で作成された設備の外部又は内部の状況についてのシミュレーション結果を表す3次元の仮想画像と、ステップS50で入力された前記設備の撮像画像と、を重畳してHMD102に備えられているディスプレイ(表示装置)に表示するよう制御する。
 ステップS55において、例えば、作画・表示制御部28は、HMD102等より表示終了の情報等を受信したか否か等に基づいて、図19に示す処理を終了するか否かを判定する。作画・表示制御部28は、処理を終了すると判定すると、図19に示す処理を終了し、処理を終了しないと判定すると、処理ステップをS50に戻す。
[0040]
 なお、作画・表示制御部28によって作成された3次元の仮想画像と撮像画像とを重畳表示する処理について、制御予定情報として羽口ごとの酸素や空気の吹き込み量を表す吹き込み指示情報を用いる場合を例に、より具体的に説明すれば以下のとおりである。
 大型の高炉には、本体下部の30~40箇所に炉内に空気を送り込むための羽口が設けられているが、羽口に送り込まれる量が異なれば、各羽口周辺の温度分布はそれぞれ異なる。
 そこで、各羽口には識別用のID(以下、羽口IDと略す)が割り当てられており、シミュレーション部27がシミュレーションを実行する際、制御予定情報として、羽口IDを指定して酸素や空気の吹き込み量を表す吹き込み指示情報が入力される。これにより、各羽口に対応する3次元座標の各点における吹込み量を表すデータが入力されることになる。また、高炉内の3次元座標の各点における温度データの初期値は、センサからの計測情報に基づいて計算された値が入力されることになる。
 そして、シミュレーション部27は、入力された制御予定情報や計測情報を初期条件として、高炉内の状態を表す数式モデルに基づいて流れの運動方程式や熱伝導法方程式の数値解析を行うことで、一定時間経過した後の高炉内の3次元座標の各点における各種の数値データ(温度データ、速度データ、圧力データ等)を算出する。
 そして、作画・表示制御部28は、シミュレーション部27からシミュレーション結果を表す高炉内の3次元座標の各点における数値データを受け取ると、受け取った数値データからシミュレーション結果(温度分布、速度分布、圧力分布等)を示す3次元の仮想画像を生成する。
 更に、作画・表示制御部28は、作成した3次元の仮想画像と撮像画像とを重畳表示する際、例えば、HMD102に備えられたカメラで撮像した高炉の画像に基づいてユーザに見えている部分の方位や角度を識別する。より具体的には、HMD102に備えられたカメラで撮像した高炉の画像はユーザの視界に捉えられている高炉の画像とほぼ同じであるため、予め、高炉を様々な角度や方位から撮像した画像をHMD102内のメモリに格納しておき、HMD102のカメラで撮像した画像とメモリに格納された画像とのマッチングを行うことでユーザに見えている部分の方位や角度を識別する。そして、作画・表示制御部28は、識別した方位や角度に基づいて、オペレータに提示するシミュレーション結果を表す3次元の仮想画像の向きを制御する。
[0041]
 なお、3次元の仮想画像の向きをオペレータが入力装置を介して自分で操作して調整できる構成であってもよく、特に限定はされない。
 この構成によれば、オペレータは、シミュレーションの結果から、自分がこれから行おうとしている制御によって、高炉や転炉内の温度分布や圧力分布がどのような状況になるかを前もって確認することができる。
 これにより、オペレータは、例えば高炉内のシミュレーションの結果が良好な温度分布等を示すものであれば、予定どおりの制御を行い、シミュレーションの結果が好ましくない温度分布等を示すものであれば、制御内容を再検討して、適切な操作を選択することができるようになる。したがって、経験の浅いオペレータであっても、熟練を要する高炉等の工場設備の運転を適切に行うことができるようになる。しかも、実際の高炉や転炉に重畳させて内部の温度分布等が3次元の仮想画像として提示されるので、オペレータは設備内部の状況をより直感的に捉えることができるようになり、シミュレーションの結果が良好であるか否かを瞬時にかつ正確に把握することができるようになる。
 なお、本実施形態では、カメラ付きの非透過型のHMD102を用いた場合を例に説明したが、実施形態5の構成を適用して、透過型のHMDを利用することにより、カメラが含まれてない構成であってもよい。つまり、HMDには撮像画像入力部21が備えられておらず、作画・表示制御部28は、作成した3次元の仮想画像を、HMDから実際に見える設備に重畳して表示されるように制御を行うことになる。この場合、HMDにはGPSや加速度センサが備えられていれば、HMDは、ユーザがどの方位や角度から設備を捉えているかを認識することができる。また、シミュレーションで用いられる3次元座標と実際の設備の方位との関係は予め定義されている。これにより、カメラを備えていないHMDでも、識別した方位や角度に基づいて、オペレータに提示するシミュレーション結果を表す3次元の仮想画像の向きを制御して、透過型のHMDから見えている設備に重畳させて表示することができる。
[0042]
<実施形態7>
 製鉄所では、高炉から出てくる溶銑を混銑車(トーピードカー)等に入れて製鋼工場に運搬し、溶解した状態のまま製鋼炉に装入する。そこで、混銑車についても工場設備の一部として、実施形態1と同様、内部の状況を表す仮想画像を生成し、混銑車に重畳表示させて作業員に提示してもよい。即ち、混銑車の内部や表面の温度や圧力等の計測情報をセンサにより取得し、この計測情報を用いて混銑車に関連付けられている設備内推定モデルに基づいて生成される温度分布等を表す仮想画像を、実際の混銑車に重畳して表示させる構成であってもよい。
 更に、本実施形態では、混銑車によって運搬されている溶銑に対応する注文番号を表示する構成であってもよい。本実施形態に係る作業支援システムについて、より詳細に説明すれば以下のとおりである。図20は、実施形態7の作業支援システムのシステム構成の一例を示す図である。図20に示されるように、作業支援システムは、サーバ101と、カメラ付きHMD102(以下、HMD102と略す)と、センサ104 ~104 と、が無線ネットワークを介して接続されている。
 なお、実施形態7では、実施形態1においてARサーバ1にて実行されていた各種の処理がHMD102において行わる。HMD102の機能についてより詳細に説明すれば以下のとおりである。
[0043]
 HMD102は、自機に一体的に備えられたカメラで撮像した工場内の設備(図20の例では混銑車)の撮像画像を取得する。また、HMD102は、センサ104 ~104 で計測された計測情報(例えば、混銑車の内部の温度情報等)を、無線等を介して取得する。
 更に、本実施形態では、工場内の設備に各設備を識別するためのマーカが付されており、HMD102は、自機に備えられたカメラが各マーカを認識することにより各設備を識別可能である。より具体的には、HMD102は、各設備を識別するための設備IDと各マーカとが対応付けられた図21に示す設備マーカ対応テーブルを自機に備えられたメモリに保持しており、カメラによってマーカを認識することにより、各マーカに対応づけられた設備IDを設備マーカ対応テーブルから読み出すことによって、各設備を識別する。図21は、設備マーカ対応テーブルの一例を示す図である。
 また、HMD102は、取得した計測情報に基づき設備の外部又は内部の状況を表す仮想画像を作成し、作成した仮想画像と、カメラで撮像した撮像画像とを重畳して自機に備えられたディスプレイ(表示装置)に表示するよう制御する。
 更に、本実施形態では、HMD102は設備IDに基づき設備内の製品が引き当てられている注文番号を示す仮想画像を生成し、作成した注文番号の仮想画像とカメラで撮像した設備の撮像画像とを重畳して自機に備えられた表示装置に表示する点において特徴を有する。この点について、より詳細に説明すれば次のとおりである。
 本実施形態では、サーバ101は、各設備を識別するための設備IDと注文番号とが対応付けられた図22に示す設備利用状況テーブルを格納している。この設備利用状況テーブルは、工場内の製造管理システムにデータを登録する際等に、オペレータによって更新される。例えば、高炉にて銑鉄を製造する作業を開始する際、これから当該高炉において製造される銑鉄が引き当てられている注文番号をオペレータが製造管理システムに入力することによって、上記の設備利用状況テーブルが更新される。即ち、本実施形態では、サーバ101は、図2に示されるARサーバ1とは異なり、製造管理システムのデータを記憶するものである。図22は、設備利用状況テーブルの一例を示す図である。
 なお、HMD102のハードウェア構成としては、図2に示されるARサーバ1と同様、CPU、記憶装置(メモリ)、通信装置とを含み、CPUは記憶装置に含まれているプログラムやデータに基づいてHMD102を制御する処理等を実行することによって、後述するソフトウェア構成及びフローチャートにかかる処理が実現される。
[0044]
 図23は、カメラ付きHMDのソフトウェア構成の一例を示す図である。図23に示されるように、HMD102は、ソフトウェア構成として、撮像画像入力部21と、計測情報入力部22と、特定処理部29と、作成部23と、表示制御部24と、を含む。
 撮像画像入力部21は、HMD102に備えられたカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
 計測情報入力部22は、センサ3 ~3 で計測された計測情報をセンサ3 ~3 より入力データとして受け取る。
 特定処理部29は、各設備内の製品が引き当てられている注文番号を特定する。より具体的には、特定処理部29は、カメラで捉えられた工場内の設備に付されたマーカに対応する設備IDを、上述した設備マーカ対応テーブルから読み出す。
 図20に示す例では、特定処理部29は、自機に備えられたカメラが混銑車Aに付されたマーカA及び混銑車Bに付されたマーカBを捉えた場合、設備マーカ対応テーブルから、それぞれのマーカに対応する設備IDを読み出し、マーカAが付されている設備が混銑車Aであり、マーカBが付されている設備が混銑車Bであることを識別する。
 更に、特定処理部29は、各設備IDに対応する注文番号を、上述した設備利用状況テーブルから読み出し、各設備内の製品等が引き当てられている注文番号を特定する。
 図20に示す例では、特定処理部29は、混銑車A及び混銑車Bを識別した場合、設備利用状況テーブルから、それぞれの設備IDに対応する注文IDを読み出し、混銑車Aでは注文ID「ABC123」、「EDF456」の銑鉄が運搬おり、混銑車Bでは注文ID「G123」、「X456」の銑鉄が運搬されていることを特定する。
[0045]
 作成部23は、計測情報入力部22で入力された計測情報入力部22で入力された計測情報に基づいて、設備の外部又は内部の状況を表す仮想画像を作成する。また、作成部23は、特定処理部29で特定された注文番号を表す仮想画像を作成する。
 表示制御部24は、作成部23で作成された設備の外部又は内部の状況を表す仮想画像と、撮像画像入力部21で入力された前記設備の撮像画像と、を重畳してHMD102の表示装置に表示するよう制御する。また、表示制御部24は、作成部23で作成された注文番号を表す仮想画像と、撮像画像入力部21で入力された前記設備の撮像画像と、を重畳してHMD102の表示装置に表示するよう制御する。
 図20には、HMD102には、作成部23によって作成された注文番号を表す仮想画像が、表示制御部24によりカメラで撮像された混銑車の画像に重畳されている様子が示されている。
 なお、図20には、設備の外部又は内部の状況を表す仮想画像を重畳する例については示していないが、実施形態4の構成を用いて表示レイヤの切り替えを行うことで表示することが可能である。
 また、図20に示す例では、工場設備を識別するためにマーカを用いる構成を説明したが、マーカの代わりに、工場設備を識別するためにRFID等の無線ICタグ等を用いてもよい。即ち、HMD102は無線ICタグのリーダー機能を備えていて、各設備IDを記憶した無線ICタグが各設備に付されており、そこから直接、設備IDを読み取る構成であってもよく、特に限定はされない。
[0046]
 図24は、実施形態7の作業支援システムにおける処理の一例を示すフローチャートである。
 ステップS60において、撮像画像入力部21は、HMD102に備えられたカメラで撮像された工場内の設備の撮像画像を受け取り、入力する。
 ステップS61において、計測情報入力部22はセンサ3 ~3 で計測された計測情報をセンサ3 ~3 より受け取り、入力する。
 ステップS62において、特定処理部29は、HMD102に備えられたカメラで捉えたマーカに基づいて各設備の設備IDを特定し、更に、特定した設備IDに基づいて、各設備に保管されている製品等の注文番号を特定する。
 ステップS63において、作成部23は、ステップS61で入力された計測情報に基づいて、設備の外部又は内部の状況を表す3次元の仮想画像を作成する。また、作成部23は、ステップS62で特定した注文番号に基づいて、注文番号を表す仮想画像を作成する。
 ステップS64において、表示制御部24は、ステップS63で作成された設備の外部又は内部の状況を表す3次元の仮想画像と、ステップS60で入力された前記設備の撮像画像と、を重畳して表示装置4に表示するよう制御する。また、表示制御部24は、ステップS63で作成された注文番号を表す仮想画像と、ステップS60で入力された前記設備の撮像画像と、を重畳して表示装置4に表示するよう制御する。
 ステップS65において、例えば、表示制御部24は、表示装置4等より表示終了の情報等を受信したか否か等に基づいて、図24に示す処理を終了するか否かを判定する。表示制御部24は、処理を終了すると判定すると、図24に示す処理を終了し、処理を終了しないと判定すると、処理ステップをS60に戻す。
 なお、本実施形態は、工場の設備だけでなく、出荷待ちの製品そのものに適用することも可能である。この場合、設備の内部や外部の様子を表す仮想画像を重畳表示させる必要がないため、S61をスキップし、S63において設備の内部や外部の様子を表す仮想画像を生成する処理を行わない構成であってもよく、特に限定はされない。
[0047]
 図25は、実施形態7の作業支援システムのシステム構成の一例を示す図である。図25に示す例では、出荷待ちのコイルに注文番号を表示する例を示している。この例では、出荷待ちのコイルにマーカ105 ~105 が付されており、HMD102でこのマーカを捉えることによって、各コイルの注文番号を取得することができるが、処理内容の詳細については、図20を用いて説明した例と同様であるため、説明を省略する。
 また、図25に示す例では、注文番号だけではなく、積み込み順番指示書もARによって表示している。この場合、オペレータは、予めサーバ101に積み込みの順番に関する情報(注文番号を用いて積み込みの順番等を定義した情報)を登録している。そして、特定処理部29が製品の注文番号を特定する際、サーバ101に登録されている積み込みの順番に関する情報もあわせて読み出し、作成部23が積み込み順番指示書を表す仮想画像を作成する。
 これにより、作業員は、工場内の設備や製品を見るだけで、設備内に収納されている製品や半製品や材料等について、引き当てられている注文番号や積み込みの順番を瞬時に把握することができるため、出荷の準備や次の工程への輸送等の作業をスムーズに行うことができるようになり、また、作業のミスも防止することができるようになる。
 なお、本実施形態でも、カメラ付きの非透過型のHMD102を用いた場合を例に説明したが、実施形態5の構成を適用して、透過型のHMDを利用することにより、カメラが含まれてない構成であってもよい。その場合、HMDには撮像画像入力部21が備えられておらず、作成部23は、作成した3次元の仮想画像を、HMDから実際に見える設備に重畳して表示されるように制御を行うことになる。
 以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
[0048]
 例えば、上記実施形態では中を見ることの困難な製鉄所の高炉や転炉等の設備内の様子を示す例で説明した。しかしながら、上述した各実施形態は、食品製造や化学・薬品製造等であると、透明な筐体内で液体や粉体を扱うような設備においても適用することができる。この様な設備に上述した各実施形態を適用した場合、投入中の液体や粉体を直接的に見学者に見せ、その液体や粉体の属性(材料名、温度、粘度、酸度、アルコール度、1回の投入量等)をタグのような表示形態で重畳表示することができる。このようにすることによって、リアルタイムな稼働状況を目視しながらタグ情報でより具体的な情報を得ることができ、見学者によりわかりやすい見学サービスを提供することができる。
[0049]
 また、上述した実施形態では、所謂、非透過型のディスプレイや透過型のディスプレイを例に説明を行ったが、非透過型のプロジェクタや、透過型のプロジェクタであっても本発明を適用することができる。例えば、表示装置4の代わりに、見学者の頭部等に装着される眼鏡型の表示部を供えた表示装置を用いてもよい。また、例えば、ARサーバ1は、撮像画像と、仮想画像と、を重畳して表示する際に、撮像画像と、仮想画像と、の座標合わせを行う。座標合わせの手法としては、例えば、設備に固定マーカを配置しておき、カメラ2で撮像した画像中の固定マーカに基づいて、撮像画像と、仮想画像と、の座標合わせを行う方法等がある。なお、見学者の頭部等に装着される眼鏡型の表示部を供えた表示装置を用いる場合、ARサーバ1は、表示装置からの位置情報や向き情報等に基づいて、見学者がどこをみているかを推定し、推定した位置に整合するように座標合わせを行う。
 なお、上述した実施形態を任意に組み合わせて実施してもよい。
 なお、上述したARサーバ1は、コンピュータの一例である。
[0050]
<実施形態8>
 図26は、本実施形態に係る情報提供システムの構成の一例を示す図である。情報提供システムは、AR提供装置1000と情報処理装置200とを有する。AR提供装置1000と情報処理装置200とは、ネットワークを介して通信可能に接続されている。
 AR提供装置1000は、情報提供装置(コンピュータ)の一例であり、HMD(Head Mounted Display)等であり、AR提供装置1000を介して知覚できる現実空間に整合する位置に、AR提供装置1000で生成した画像(コンピュータグラフィックス画像)を表示することにより、拡張された現実感(AR:Augmented Reality)を提供する。AR提供装置1000は、例えば、現実空間のクレーン車300に、クレーン車300による危険な範囲を示す危険範囲画像310を重畳して表示する。なお、情報処理装置200は、例えばサーバコンピュータであり、クレーン車300等の危険物(危険対象の一例である。)に関する各種の情報を管理する。付言するならば、危険対象は、危険物そのものに限られるものではなく、不特定多数の危険物が頻繁に通る道路等、危険に係る場所や空間を含むものである。
[0051]
 図27は、AR提供装置1000のハードウェア構成の一例を示す図である。
 AR提供装置1000は、制御装置1005、記憶装置1010、通信装置1015、表示装置1020、方位検出装置1025、姿勢検出装置1030、及び撮影装置1035を有する。
 制御装置1005は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置1010よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、AR提供装置1000における後述の機能、及び後述のフローチャートに係る処理が実現される。
[0052]
 記憶装置1010は、ROM(Read Only Memory)、RAM(Random Access Memory)、HD(Hard Disk)等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置1010(ROM)は、AR提供装置1000の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置1010(RAM)は、AR提供装置1000のメインメモリとして機能する。また、記憶装置1010(HD)は、プログラム以外に制御装置1005により算出された数値データ等を記憶する。なお、AR提供装置1000は、記憶装置1010に記憶される各種の情報を、CD-ROM等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
 通信装置1015は、情報処理装置200と有線又は無線で通信を行い、危険物に関する各種の情報を取得する。また、通信装置1015は、位置検出装置の一例である衛星と通信を行い、軌道情報を取得する。
 表示装置1020は、表示部の一例であり、透過型の液晶ディスプレイ等であり、各種の画像を表示する。
[0053]
 方位検出装置1025は、例えば電子コンパスであり、微弱な地磁気(例えば前後方向の地磁気及び左右方向の地磁気)を検知し、地磁気の強さから北の方向を計算してAR提供装置1000の方位(方位情報)を算出する。
 姿勢検出装置1030は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分等して角度(AR提供装置1000の姿勢(姿勢情報))を算出する。
 撮影装置1035は、現実空間の撮影を行う。
[0054]
 なお、AR提供装置1000のハードウェア構成は、これに限られるものではない。例えば、方位検出装置1025及び姿勢検出装置1030に代えて、方位検出装置1025及び姿勢検出装置1030の機能を一体とした機能を有する方位姿勢検出装置を採用してもよい。
[0055]
 図28は、AR提供装置1000の機能構成の一例を示す図である。
 AR提供装置1000は、計測部1040、方位情報取得部1045、姿勢情報取得部1050、取込部1055、視野特定部1060、表示制御部1065、及び映像取得部1070を有する。
 計測部1040は、位置情報取得手段の一例であり、通信装置1015を介して衛星から取得された軌道情報から、AR提供装置1000の現在の位置を示す情報(装置位置情報の一例であるAR位置情報)を計測(算出して取得)する。
 方位情報取得部1045は、方位検出装置1025で算出された方位情報を取得する。なお、方位情報取得部1045は、方位検出装置1025から地磁気等の検出された情報を受け取り、方位情報を算出してもよい。
 姿勢情報取得部1050は、姿勢検出装置1030で算出された姿勢情報を取得する。なお、姿勢情報取得部1050は、姿勢検出装置1030から角速度等の検出された情報を受け取り、姿勢情報を算出してもよい。
[0056]
 取込部1055は、情報処理装置200が有する後述の記憶装置280から、危険物に関する各種の情報として、危険物による危険な範囲を示す危険範囲画像を生成するときに用いる情報が格納されたテーブル(後述の位置固定対象テーブル、後述の移動対象テーブル等)から必要な情報を取り込む(読込む)。
 視野特定部1060は、方位情報取得部1045で取得された方位情報、及び姿勢情報取得部1050で取得された姿勢情報等に基づいて、AR提供装置1000を装着しているユーザの視野(AR視野)を特定(推定)する。
[0057]
 表示制御部1065は、方位情報取得部1045で取得された方位情報、姿勢情報取得部1050で取得された姿勢情報、及び取込部1055で取り込まれた情報等に基づいて、拡張画像を生成して表示装置1020に表示する。このとき、表示制御部1065は、現実空間の危険物に拡張画像を整合させて表示装置1020に表示するために、座標合わせを行う。
 現実空間と表示空間(仮想空間)との間の座標合わせ(幾何位置合わせ)を正確に行うためには、仮想空間の拡張画像を生成するためのパラメータ(内部パラメータ及び外部パラメータ)を、表示装置1020のパラメータと一致させる必要がある。表示装置1020の内部パラメータが既知であるので、幾何位置合わせの問題は、表示装置1020の外部パラメータ(即ち、AR提供装置1000の位置及び姿勢)を求める問題に帰結される。
[0058]
 ここで、AR提供装置1000の位置及び姿勢を求めるには、方位検出装置1025(磁気センサ)、姿勢検出装置1030(ジャイロセンサ)、制御装置1005(GPS)、及び表示装置1020を適宜組み合わせて、様々な手法を採用することができる。換言するならば、センサによる計測結果(AR位置情報、方位情報、及び姿勢情報)を用いる手法、表示装置1020により撮影された画像を用いる手法、表示装置1020とセンサとを組み合わせて位置合わせのずれを補完する手法に大別できる。
 本実施形態では、表示装置1020の内部パラメータ(焦点距離、レンズ歪み、アスペクト比等)が事前にキャリブレーションされていることを前提として、表示制御部1065は、計測されたAR提供装置1000のAR位置情報、方位情報、及び姿勢情報を取得することで、仮想環境を表す仮想座標系と予め与えられた現実空間の基準座標系との間の幾何変換行列(仮想座標系と基準座標系との変換が対応付けられた変換情報)を求める方法を採用して説明を行う。
 なお、上述したように、表示制御部1065は、例えば、撮影された画像中に存在する何らかの指標を用いて表示装置1020の外部パラメータ(位置及び姿勢)を実時間で推定することで、幾何変換行列を求めてもよい。このとき、AR提供装置1000の位置及び姿勢を推定するための指標としては、意図的に付されたマーカ等の指標を用いていてもよいし、輪郭情報、輝度エッジ、特徴点等の自然特徴を用いてもよい。
 映像取得部1070は、撮影装置1035で撮影された現実空間の映像データを取得する。
[0059]
 図29は、情報処理装置200のハードウェア構成の一例を示す図である。
 情報処理装置200は、制御装置275、記憶装置280、通信装置285、表示装置290、及び入力装置295を有する。
 制御装置275は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置280よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、情報処理装置200における後述の機能、及び後述のフローチャートに係る処理が実現される。
[0060]
 記憶装置280は、記憶部の一例であり、ROM(Read Only Memory)、RAM(Random Access Memory)、HD(Hard Disk)等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置1010(ROM)は、情報処理装置200の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置280(RAM)は、情報処理装置200のメインメモリとして機能する。また、記憶装置280(HD)は、プログラム以外に制御装置275により算出された数値データ等を記憶する。なお、情報処理装置200は、記憶装置280に記憶される各種の情報を、CD-ROM等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
 通信装置285は、危険物が稼働している状態(稼働状態)を検出する稼働状態検出センサと通信を行い、稼働状態検出センサから危険物の現在の位置を示す情報(危険対象位置情報の一例である危険物位置情報)等を取得する。
 表示装置290は、液晶ディスプレイ等であり、各種の情報を表示する。
 入力装置295は、ユーザが操作するキーボード及びマウス等であり、情報処理装置200に各種の情報を入力する。
[0061]
 図30は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル210)を示す図である。
 位置固定対象テーブル210は、危険物ID、危険物名、危険種別、基準位置、状態、状態ごとの危険範囲、現状の情報を含んで構成される。現状の情報を除いた各種の情報は、例えば管理者により入力装置295等を介して設定されている。現状の情報についての設定については後述する。
 危険物IDの情報は、危険物を識別するための識別情報である。危険物名の情報は、危険物の名称を示す情報である。危険種別の情報は、危険物による危険の種別を示す情報である。
 基準位置の情報は、危険物が設置されている位置(緯度及び経度)を示す情報(設置位置情報)である。なお、設置位置情報は、固定されている危険物の位置を示す情報であり、危険物の現在の位置を示しているので、危険物位置情報と等価である。また、設置位置情報は、危険範囲画像を表示する位置を特定する情報(表示位置情報)としても用いられることがある。ここで、例えば、緯度が「35.354417」であり、経度が「139.867623」である位置情報の場合は、位置情報「35.354417,139.867623」として表すものとする。本実施形態では、説明の便宜上、危険物の高度については「0」であるものとして取り扱う。
[0062]
 状態の情報は、危険物の稼働状態を識別するための情報(状態識別情報)である。図30には、状態識別情報が2種類、示されている。1つ目は、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(「9:00~17:00」、稼働時等)である。2つ目は、危険物が稼働するとき(稼働しているとき)の態様に基づいて危険物が何れの態様で稼働しているかを識別するための状態識別情報(フル稼働時、東側のみ稼働時等)である。
 状態ごとの危険範囲の情報は、危険範囲情報の一例であり、危険物の状態に対応した危険範囲を示す情報である。現状の情報は、危険物が稼働しているか否かを示す情報である。本実施形態では、危険物が稼働しているときは、情報処理装置200により、「○」が設定され、危険物が稼働していないときは何も設定されない(クリアされている)ものとする。
[0063]
 図31は、危険物に関する情報を格納するテーブルの一例(移動対象テーブル220)を示す図である。
 移動対象テーブル220は、危険物ID、危険物名、危険種別、測位基準、状態、状態ごとの危険範囲、現状、現在位置の情報を含んで構成される。現状の情報及び現在位置の情報を除いた各種の情報は、例えば管理者により入力装置295等を介して設定されている。現状の情報及び現在位置の情報の設定については後述する。
 測位基準の情報は、危険範囲画像を表示する位置を示す情報(表示位置情報)である。現在位置の情報は、危険物の現在の位置を示す情報(危険物位置情報)である。なお、図30で示した項目と同一の項目については、説明を省略する。
 ここで、本実施形態では、危険物に関する情報が、テーブルの形式で、かつ危険物の種類(固定された危険物であるか、移動する危険物であるか等)に応じて複数のテーブルに格納されているが、この構成に限られるものではない。例えば、危険物に関する情報を一又は複数のファイルとして格納する構成を採用してもよい。また、例えば、危険物に関する情報を一のテーブルとして格納する構成を採用してもよい。
[0064]
 図32は、情報処理装置200の機能の一例である稼働状態設定部により行われる「現状」の設定を行う処理(稼働状態設定処理)に係るフローチャートの一例を示す図である。なお、図32に示すフローチャートの処理は、一定間隔(例えば、1分)ごとに行われる。
 はじめに、稼働状態設定部は、現在の時刻を取得する(ステップS105)。
 次に、稼働状態設定部は、記憶装置280から危険物に関する情報を読み出す(ステップS110)。
 次に、稼働状態設定部は、現在の時刻と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS115)、稼働状態設定処理を終了する。
 より具体的には、稼働状態設定部は、危険物に関する情報を順次読み出し、状態の情報が、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(時間帯)である場合は、現在の時刻がこの時間帯に含まれているか否かを判定する。このとき、稼働状態設定部は、現在の時刻がこの時間帯に含まれていると判定した場合は、「現状」に「○」を設定する。他方、稼働状態設定部は、現在の時刻がこの時間帯に含まれていないと判定した場合は、「現状」をクリアする。
[0065]
 ここで、現在の時刻が「15:00」であるときに、図32に示すフローチャートの処理が行われる場合を例に挙げて説明する。
 まず、ステップS105では、稼働状態設定部は、現在の時刻「15:00」を取得する。
 次に、ステップS110では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、状態の情報を読み出す。
 次に、ステップS115では、稼働状態設定部は、状態の情報に対応する「現状」を1件ずつ設定するが、例えば状態の情報として時間帯「9:00~17:00」が読み出されたときは、現在の時刻「15:00」が時間帯「9:00~17:00」に含まれているか否かを判定する。そして、稼働状態設定部は、現在の時刻「15:00」が時間帯「9:00~17:00」に含まれていると判定し、状態の情報(時間帯「9:00~17:00」)に対応する「現状」に「○」を設定する。
[0066]
 なお、「現状」を設定する処理は、上述の処理に限られるものではない。例えば、ステップS105~ステップS115の処理に代えて、稼働状態設定部は、稼働状態検出センサより危険物の稼働の有無を示す情報を受信し、実際に危険物が稼働しているか否かを判定し、危険物が稼働していると判断したときには「現状」に「○」を設定し、危険物が稼働していないと判断したときには「現状」をクリアする処理を行ってもよい。
[0067]
 図33は、情報処理装置200の機能の一例である稼働状態設定部により行われる「現状」の設定を行う処理(稼働状態設定処理)に係るフローチャートの一例を示す図である。なお、図33に示すフローチャートの処理は、稼働状態検出センサより危険物状態情報を受信したことを契機に行われる。
[0068]
 はじめに、稼働状態設定部は、稼働状態検出センサより、危険物状態情報を受信する(ステップS120)。危険物状態情報には、危険物IDの情報、及び危険物の稼働の態様を示す情報(稼働態様情報)が含まれる。例えば、稼働態様情報としては、危険物が稼働していないときは「0」、危険物が第1の態様で稼働しているときは「1」、危険物が第2の態様で稼働しているときは「2」等が設定されている。
 次に、稼働状態設定部は、記憶装置280から危険物に関する情報を読み出す(ステップS125)。より具体的には、稼働状態設定部は、危険物状態情報に含まれる危険物IDの情報に対応する危険物に関する情報を読み出す。
 次に、稼働状態設定部は、受信した危険物状態情報と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS130)、稼働状態設定処理を終了する。
 より具体的には、稼働状態設定部は、読み出した危険物に関する情報から危険物状態情報に含まれる稼働態様情報に対応する「状態」を特定できた場合は、特定した「状態」に対応する「現状」に「○」を設定する。他方、稼働状態設定部は、特定できなかった場合(稼働態様情報が、危険物が稼働していないことを示す情報であった場合)は、読み出した全ての「現状」をクリアする。
[0069]
 ここで、危険物ID「001」の稼働状態を検出する稼働状態検出センサより危険物状態情報(危険物ID「001」、稼働態様情報「2」)を受信したときに、図33に示すフローチャートの処理が行われる場合を例に挙げて説明する。
 まず、ステップS120では、稼働状態設定部は、危険物ID「001」の危険物「クレーン」の稼働状態を検出する稼働状態検出センサより危険物状態情報を受信する。
 次に、ステップS125では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、危険物ID「001」に対応する状態「フル稼働時」及び「東側のみ稼働時」を読み出す。本実施形態では、状態「フル稼働時」としては、第1の態様での稼働として「1」が規定され、状態「東側のみ稼働時」としては、第2の態様での稼働として「2」が規定されているものとする。
 次に、ステップS130では、稼働状態設定部は、読み出した状態「フル稼働時:1」及び「東側のみ稼働時:2」から危険物状態情報に含まれる稼働態様情報「2」に対応する状態「東側のみ稼働時」を特定し、特定した状態「東側のみ稼働時」に対応する「現状」に「○」を設定する。
[0070]
 図34は、情報処理装置200の機能の一例である位置情報設定部により行われる危険物の現在の位置情報を設定する処理(位置情報設定処理)に係るフローチャートの一例を示す図である。
 はじめに、位置情報設定部は、危険物の位置を計測する計測器(或いは、計測器を有する危険物)より、危険物特定情報を受信する(ステップS135)。危険物特定情報には、危険物の現在の位置情報(危険物位置情報)と危険物IDの情報とが含まれる。なお、危険物位置情報に代えて、危険物位置情報を算出するための軌道情報等を受信し、位置情報設定部が危険物位置情報を算出する構成を採用してもよい。
 次に、位置情報設定部は、受信した危険物位置情報と危険物に関する情報とに基づいて「現在位置」を設定(更新)し(ステップS140)、位置情報設定処理を終了する。
 例えば、ステップS140では、位置情報設定部は、危険物ID「010」、危険物位置情報「35.355187,139.874618」が含まれる危険物特定情報を受信したときは、位置固定対象テーブル210及び移動対象テーブル220を参照し、危険物ID「010」に対応する「現在位置」に危険物位置情報「35.355187,139.874618」を設定する。
[0071]
 図35は、AR提供装置1000における各機能により行われる表示処理に係るフローチャートの一例を示す図である。表示処理は、AR機能の利用の有無を識別するモード(ARモード)がONであるときに、繰り返して行われるものとする。なお、ユーザは、ARモードを切り替えるスイッチ(図示せず)を押下することで、ARモードのON/OFFを切り替える。
 はじめに、ステップS145では、取込部1055は、位置固定対象テーブル210及び移動対象テーブル220から現状「○」となっている対象データを情報処理装置200から取り込む(抽出する)。なお、位置固定対象テーブル210から抽出される対象データには、危険物ID、基準位置、及び状態ごとの危険範囲の情報が含まれる。また、移動対象テーブル220から抽出される対象データには、危険物ID、測位基準、状態ごとの危険範囲、現在位置の情報が含まれる。
 本実施形態では、図30及び図31に示すように、現状「○」となっている対象データとして、4つ読み込まれる。例えば、危険物ID「001」の状態「2(東側のみ稼働)」により特定される対象データが読み込まれ、この対象データには、危険物ID「001」、基準位置「35.354417,139.867623」、及び状態ごとの危険範囲「半径15m、高さ20m、方位0°~180°」が含まれる。
[0072]
 次に、ステップS150では、映像取得部1070は、撮影装置1035で撮影された現実空間の映像データを取得する。
 次に、ステップS155では、計測部1040は、通信装置1015を介して衛星から取得された軌道情報から、AR提供装置1000の現在の位置を示す情報(AR位置情報)を計測する。
 次に、ステップS160では、向き特定部(方位情報取得部1045及び姿勢情報取得部1050)は、AR提供装置1000の向き(方位及び姿勢)を特定する。すなわち、方位情報取得部1045は、方位検出装置1025で算出された方位情報を取得し、姿勢情報取得部1050は、姿勢検出装置1030で算出された姿勢情報を取得する。
[0073]
 次に、ステップS165では、視野特定部1060は、計測結果(ステップS150及びステップS155で取得された情報)等に基づいて、表示装置1020を装着したユーザのAR視野を特定する。
 ここで、図36に、ユーザ400のAR視野Uの一例を示す。本実施形態では、危険物の高度は「0」と設定しているので、AR視野は平面的に(二次元で)特定されている。しかしながら、危険物位置情報に高度を加味する場合は、AR視野は立体的に(三次元で)特定されてもよい。
 また、本実施形態では、ユーザ400の視界として、例えば、左右方向160°(高度を加味する場合は例えば上下方向120°)の範囲の情報(視界情報)が予め設定され、記憶装置1010に格納されている。
 例えば、視野特定部1060は、AR位置情報410を基準とした予め定められた範囲(例えば、半径100m)内であって、方位情報420を中心とした視界をAR視野Uとして特定する。
[0074]
 次に、ステップS170では、表示制御部1065は、映像データと計測結果と対象データとに基づいてAR視野に含まれる危険物の危険範囲画像(拡張画像)を生成する。
 より具体的には、まず、表示制御部1065は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。例えば、図36では、危険物位置情報430は、AR視野Uに含まれているので、危険物位置情報430に位置する危険物は、AR視野Uに含まれていると特定される。なお、危険物位置情報440は、AR視野Uに含まれていないので、危険物位置情報440に位置する危険物は、AR視野Uに含まれていないと特定される。
[0075]
 そして、表示制御部1065は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
 このとき、表示制御部1065は、危険物が固定されている場合は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する座標(範囲座標)を算出し、算出した範囲座標に幾何変換行列を適用して危険範囲画像(拡張画像)を生成する。
[0076]
 他方、危険物が移動する場合は、表示制御部1065は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標を起点として状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。
[0077]
 なお、拡張画像を生成する方法は、上述した構成に限られるものではない。例えば、表示制御部1065は、仮想座標系における、危険物位置情報に対応する点とAR位置情報に対応する点とを映像データに基づいて算出し、これらの点の距離(相対距離)、及び、基準座標系における、危険物位置情報とAR位置情報との距離(絶対距離)から倍率を算出して拡張画像を生成してもよい。
 このとき、表示制御部1065は、危険物が固定されている場合は、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
 他方、危険物が移動する場合は、表示制御部1065は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標に幾何変換行列を適用して仮想座標系における座標(表示座標)を算出し、算出した表示座標を基点として、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
[0078]
 ステップS175では、表示制御部1065は、拡張画像が現実空間の危険物に重畳されるように、表示装置1020を透過制御し(危険物を視認可能にし)、拡張画像を表示する。
 付言するならば、表示制御部1065は、AR視野に含まれる危険物を複数、特定した場合は、複数の危険物の各々について拡張画像を生成して表示する。なお、表示制御部1065は、生成した拡張画像を映像データに重畳して表示装置1020に表示してもよい。
 また、拡張画像を表示する方法は、上述した構成に限られるものではない。例えば、予め登録されている危険物を特定するための情報(特徴量等)が情報処理装置200から危険物IDに基づいて取得され、表示制御部1065は、特徴量等を用いて映像データについて認識処理を行って危険物を特定し、特定した危険物の座標に危険範囲画像(拡張画像)を表示してもよい。この構成によれば、拡張画像を表示する位置を現実空間により適した位置に補正することができる。
[0079]
 図37Aに、危険物が固定されている場合の表示例として、クレーン(危険物ID「001」、状態「東側のみ稼動時」)500に拡張画像510が重畳して表示されたときの一例を示す。この例では、状態ごとの危険範囲において高さが「20m」に設定されているので立体的な(三次元の)拡張画像510が表示される。なお、高さが「0m」に設定されている場合は、平面的な(二次元の)拡張画像520が表示される。図37Bに、二次元の拡張画像520が表示されたときの一例を示す。
 また、図37Cに、危険物が移動する場合の表示例として、測位基準を示すマーカ620が付されたクレーン車(危険物ID「011」、状態「移動」)600に拡張画像610が重畳して表示されたときの一例を示す。
[0080]
 本実施形態では、危険範囲画像を生成して表示する構成を説明したが、この構成に限られるものではない。例えば、安全表示機能の利用の有無を識別するモード(安全表示モード)を設け、表示制御部1065は、安全表示モードがONであるときは、危険範囲画像に加えて又は代えて、安全に関する画像(退避経路画像、或いは安全地帯画像)を表示装置1020に表示してもよい。
 例えば、表示制御部1065は、危険範囲画像を解析して危険範囲画像でない部分(危険範囲とされていない範囲)を安全な範囲として特定し、安全な範囲を示す画像(安全地帯画像)を生成する。また、例えば、表示制御部1065は、予め設定された工場の出口の位置を示す位置情報とAR位置情報とに基づいて退避経路を算出し、算出した退避経路を示す画像(退避経路画像)を生成する。図37Dに、安全に関する画像が表示されたときの一例(退避経路画像700)を示す。
 なお、ユーザは、安全表示モードを切り替えるスイッチ(図示せず)を押下することで、安全表示モードのON/OFFを切り替える。
[0081]
 ステップS180では、表示制御部1065は、表示を中止するか否かを判断する。このとき、ARモードがONであるときは、表示制御部1065により表示を中止しないと判断され、続いて、ステップS145の処理が行われる。他方、ARモードがOFFであるときは、表示制御部1065により表示を中止すると判断され、表示処理が終了される。
[0082]
 図38は、AR提供装置1000における各機能により行われる表示処理に係るフローチャートの一例を示す図である。本表示処理は、ステップS175の処理に続いて、或いは、ステップS170及びステップS175の処理に代えて行われる。
 はじめに、取込部1055は、危険物の移動の予定を示す移動予定情報の一例である運行計画情報を情報処理装置200から取り込む(ステップS185)。運行計画情報には、危険物の運行予定の位置を示す運行位置情報とそのときの時刻を示す運行時刻情報とが含まれている。
 次に、ステップS190では、表示制御部1065は、危険予定範囲を特定する。より具体的には、表示制御部1065は、危険物位置情報を中心に予め定められた範囲(例えば、半径50mの円の内側)を危険予定範囲として特定する。
[0083]
 次に、ステップS195では、表示制御部1065は、取得された運行計画情報と現在の時刻とに基づいて、危険予定範囲に危険物が進入するか否かを判定する。より具体的には、表示制御部1065は、現在の時刻から一定の時間内(例えば、5分以内)の運行位置情報を運行計画情報から取得し、取得した運行位置情報が危険予定範囲に含まれるか否かを判定する。このとき、表示制御部1065は、含まれる(危険予定範囲に危険物が進入する)と判定した場合は、続いて、ステップS200の処理を行い、他方、含まれない(危険予定範囲に危険物が進入しない)と判定した場合は、表示処理を終了する。なお、危険物位置情報がAR視野に含まれている場合、表示制御部1065は、含まれないと判定する。
 ステップS200では、表示制御部1065は、危険物が接近している旨の画像を表示装置1020に表示する。より具体的には、表示制御部1065は、取得した運行予定位置及び計測結果より、危険物が接近してくる方向を特定し、特定した方向から危険物が接近していることを報知する画像を表示装置1020に表示する。図39に、ユーザの左側から危険物(AGV:Automatic Guided Vehicle)が接近しているときの表示の一例(警告表示画像800)を示す。
[0084]
 なお、表示制御部1065は、危険予定範囲に危険物が進入するか否かを判定しているが、この構成に限られるものではない。例えば、現在の時刻、運行計画情報、及び計測結果に基づいて、AR提供装置1000に危険物が接近しているか否かを判定してもよい。
[0085]
<実施形態9>
 実施形態8では、AR提供装置1000が撮影装置1035を有する構成を採用したが、実施形態9に係るAR提供装置1000は、撮影装置1035を有していないことを特徴とする。以下では、実施形態8と異なる主な構成について説明する。
 図40は、AR提供装置1000における各機能により行われる表示処理に係るフローチャートの一例を示す図である。実施形態8の図35で示した処理と同一の処理については同一の符号を付し、説明を省略する。なお、AR提供装置1000は、撮影装置1035を有していないので、図35に示すステップS150の処理は行われない。
[0086]
 ステップS305では、表示制御部1065は、計測結果と対象データとに基づいてAR視野に含まれる危険物の危険範囲画像(拡張画像)を生成する。
 より具体的には、まず、表示制御部1065は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。
 そして、表示制御部1065は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
 そして、表示制御部1065は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。なお、実施形態8では、危険物が固定されているか否かに応じて、異なる拡張画像の生成方法を採用したが、実施形態9では、マーカを撮影できないので、危険物が固定されているか否かに拘わらず、上述した方法で拡張画像を生成する。
[0087]
<その他の実施形態>
 上述したAR提供装置は、情報処理装置から危険物に関する情報等を取得して拡張画像を生成するが、これに限られるものではない。例えば、AR提供装置は、危険物を特定するための情報(特徴量、危険物の画像データ等)を記憶装置1010に記憶し、撮影装置1035で撮影した映像データを解析して、映像データに含まれる危険物を認識処理により特定し、特定した危険物が反復動作(回転運動、往復運動等)をしていると判断したときは、特定した危険物による危険範囲を想定して危険範囲画像(拡張画像)を生成してもよい。
 また、AR提供装置としては、様々な形態のものを採用することができる。例えば、携帯端末型のAR提供装置を採用してもよい。この場合、透過型の液晶ディスプレイに代えて、非透過型の液晶ディスプレイを採用してもよい。また、例えば、光学的に透過して映し出される現実空間の対象物に拡張画像を合成表示するヘッドアップディスプレイ型のAR提供装置を採用してもよい。
 更に、上述した実施形態では、AR提供装置1000と情報処理装置200とで、それぞれ機能分担させたが、これらは1つの装置で行ってもよく、或いは、拡張画像をAR提供装置1000ではなく情報処理装置200が生成する等、本実施形態で示した装置とは別の装置が同様の機能を司るようにしてもよい。
[0088]
 また、上述した実施形態では、固定された危険物として、クレーン、ガス管、旋盤を例示しているが、これらに限られるものではない。例えば、危険物として電力を送るための送電線を採用してもよい。このとき、稼働状態検出センサは、電圧が規定値(規定ボルト)に達したときに、稼働している(危険である)と検出する。また、例えば、危険物として流体を送るための配管を採用してもよい。このとき、稼働状態検出センサは、流体の温度が規定値(規定温度)に達したときに、稼働していると検出する。また、例えば、危険物として砥石車を回転して工作物の面を研削仕上げする研削盤(グラインダ)を採用してもよい。このとき、稼働状態検出センサは、作動状況信号や作動予定信号を検知して、稼働していると検出する。
[0089]
 また、上述した実施形態では、危険物がAR提供装置1000によって認識された場合には、当該危険物の危険範囲の拡張画像を生成して表示する構成であったが、必ずしもAR提供装置1000によって認識された全ての危険物について危険範囲の拡張画像を生成して表示する必要はない。
 例えば、AR提供装置1000の視界に複数の危険物が捉えられたときに、それら全ての危険物について危険範囲が一斉に提示された場合、どこに注意するべきかユーザは混乱する可能性がある。より具体的には、現時点ではまだそれほどユーザにとって危険ではないような遠方にある危険物に対してまで危険範囲の拡張画像を生成して提示する必要はない。むしろ、そのようなあまり危険性のない危険物についてまで拡張画像を提示することで、ユーザは本当に注意する必要がある近くにある危険物についての拡張画像を見落としてしまう可能性もある。
[0090]
 そこで、ユーザに対して現時点で危険範囲を表示する必要がある危険物についてのみ、危険範囲を示す拡張画像を提示する構成を採用してもよい。この構成について、より具体的に説明すれば以下のとおりである。
 この構成では、AR提供装置1000は、例えばユーザの位置が危険物から所定の距離以下(予め定められた閾値以下)となった場合にのみ、ユーザに対して危険物の危険範囲の拡張画像を生成する。図41は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル910)を示す図である。なお、図41に示すテーブルでは、図30に示すテーブルと比べて、表示条件の項目が追加されている。
 位置固定対象テーブル910を用いる構成では、例えば、危険物ID「001」のクレーンの表示条件が30m以内となっているので、AR提供装置1000は、危険物ID「001」のクレーンまでの距離が30m以内の場合のみ拡張画像を生成してユーザに提示する。その他の項目については、図30に示すテーブルと同じであるので、説明を省略する。
[0091]
 図42は、表示処理に係るフローチャートの一例を示す図である。なお、図42に示すフローチャートでは、図35に示すフローチャートと比べて、AR提供装置1000と危険物との距離を判定するステップS405が追加されている。
 ステップS405では、表示制御部1065は、AR視野に含まれる危険物を特定すると、危険物までの距離を取得する。
 AR提供装置1000と危険物との間の距離については、表示制御部1065がAR提供装置1000の現在の位置を示す情報(AR位置情報)と図41に示す危険物の基準位置とに基づいて算出する構成とすることができる。或いは、AR提供装置1000に計測部を設けておき、計測部が対象の危険物に対してレーザーを発射し、発射されたレーザーが危険物で反射して計測部に戻ってくるまでの時間から距離を計測部が計測する構成であってもよい。なお、ステップS405以外のステップについては、図35に示すフローチャートと同じであるので、説明を省略する。
[0092]
 また、表示制御部1065は、位置固定対象テーブル910から表示条件として格納されている距離を読み出し、危険物からの距離の測定結果と比較する。そして、危険物からの距離の測定結果が、位置固定対象テーブル910に格納されている表示条件を満たしている場合、処理はステップS170に遷移する。
 例えば、危険物ID「001」のクレーンである場合、表示制御部1065は、AR視野に含まれるクレーンを特定すると、クレーンまでの距離を取得する。また、表示制御部1065は、位置固定対象テーブル910から、危険物ID「001」のクレーンに対応する表示条件「30m以内」を読み出す。そして、表示制御部1065は、取得したクレーンまでの距離が表示条件の「30m以内」であるか否かを判定する。判定の結果、30m以内の場合には、処理はステップS170に移り、表示制御部1065は、危険物に対して危険範囲を表す拡張画像を生成し、重畳して表示する。一方、30mを超える場合には、処理はステップS145に戻ることになる。
[0093]
 なお、上述の例では、図30に示す位置固定対象テーブルに表示条件の項目を追加した例について説明したが、図31に示す移動対象テーブルに表示条件の項目を追加し、移動する危険物に対して図42に示すフローチャートを適用する構成であってもよく、特に限定はされない。
 また、上述した実施形態では、作業員に対して危険物に関する情報等を提示する構成であるが、作業員のほかにも作業現場を巡回する警備員に対して危険物に関する情報を提供する構成であってもよく、特に限定はされない。
 上述した実施形態の構成によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。
[0094]
 以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
 なお、上述した実施形態を任意に組み合わせて実施してもよい。

産業上の利用可能性

[0095]
 施設や工場の見学者に対して設備等の稼働状況を、AR表示する技術に適用される。また、危険な個所が時間的に変化する場面において、危険な個所をAR表示する技術に適用される。

請求の範囲

[請求項1]
 撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、
 前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
 前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
 前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する表示制御手段と、
を有する情報処理装置。
[請求項2]
 設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
 前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
 前記作成手段で作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、
を有する情報処理装置。
[請求項3]
 前記設備を制御する制御装置から前記設備へ送信される制御情報を入力する制御情報入力手段を更に有し、
 前記作成手段は、前記制御情報入力手段で入力された前記制御情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する請求項1記載の情報処理装置。
[請求項4]
 前記設備に対して行われる予定の制御内容を表す制御予定情報を入力する制御予定情報入力手段と、
 前記制御予定情報入力手段で入力された制御予定情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記制御予定情報によって表される制御が行われた場合の前記設備の外部又は内部の状況を推定するシミュレーションを行うシミュレーション手段と、
を更に有し、
 前記作成手段は、前記シミュレーションの結果を表す数値データから、前記シミュレーションの結果を表す3次元の仮想画像を作成する請求項1記載の情報処理装置。
[請求項5]
 前記設備内の製品に対応する注文番号を特定する特定手段を更に有し、
 前記作成手段は、特定手段によって特定された注文番号を表す仮想画像を作成する請求項1記載の情報処理装置。
[請求項6]
 前記設備を制御する制御装置から前記設備へ送信される制御情報を入力する制御情報入力手段を更に有し、
 前記作成手段は、前記制御情報入力手段で入力された前記制御情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する請求項2記載の情報処理装置。
[請求項7]
 前記設備に対して行われる予定の制御内容を表す制御予定情報を入力する制御予定情報入力手段と、
 前記制御予定情報入力手段で入力された制御予定情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記制御予定情報によって表される制御が行われた場合の前記設備の外部又は内部の状況を推定するシミュレーションを行うシミュレーション手段と、
を更に有し、
 前記作成手段は、前記シミュレーションの結果を表す数値データから、前記シミュレーションの結果を表す3次元の仮想画像を作成する請求項2記載の情報処理装置。
[請求項8]
 前記設備内の製品に対応する注文番号を特定する特定手段を更に有し、
 前記作成手段は、特定手段によって特定された注文番号を表す仮想画像を作成する請求項2記載の情報処理装置。
[請求項9]
 前記作成手段は、前記設備が稼働しているときは、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成し、
 前記表示制御手段は、前記設備が稼働しているときは、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示し、前記設備が稼働していないときは、予め作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する請求項1記載の情報処理装置。
[請求項10]
 前記作成手段は、前記設備が稼働しているときは、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成し、
 前記表示制御手段は、前記設備が稼働しているときは、前記作成手段で作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示し、前記設備が稼働していないときは、予め作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する請求項2記載の情報処理装置。
[請求項11]
 前記設備は、製鉄所内の設備であり、
 前記センサは、前記設備の内部又は外部の複数の温度センサ、又は気圧センサ、又は圧力センサであり、
 前記制御情報は、前記設備への酸素又はガスの吹き込み、又は前記設備への材料の投入である請求項3記載の情報処理装置。
[請求項12]
 情報処理装置が実行する情報処理方法であって、
 撮像装置において撮像された設備の撮像画像を入力する撮像画像入力ステップと、
 前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力ステップと、
 前記計測情報入力ステップで入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成ステップと、
 前記作成ステップで作成された仮想画像と、前記撮像画像入力ステップで入力された撮像画像と、を重畳して表示装置に表示する表示制御ステップと、
を有する情報処理方法。
[請求項13]
 情報処理装置が実行する情報処理方法であって、
 設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力ステップと、
 前記計測情報入力ステップで入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成ステップと、
 前記作成ステップで作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する表示制御ステップと、
を有する情報処理方法。
[請求項14]
 コンピュータを、
 撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、
 前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
 前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
 前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する表示制御手段と、
して機能させるプログラム。
[請求項15]
 コンピュータを、
 設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
 前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
 前記作成手段で作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、
して機能させるプログラム。
[請求項16]
 表示部を有し、記憶部と通信可能に接続された情報提供装置であって、
 前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
 位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
 方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
 姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
 前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、
 前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
を有する情報提供装置。
[請求項17]
 前記表示制御手段は、前記装置位置情報、前記方位情報、及び前記姿勢情報に基づいて現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項16記載の情報提供装置。
[請求項18]
 撮影装置により撮影された映像を入力する入力手段を更に有し、
 前記表示制御手段は、前記入力手段で入力された映像を解析して現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項16記載の情報提供装置。
[請求項19]
 撮影装置により撮影された映像を入力する入力手段を更に有し、
 前記表示制御手段は、前記入力手段で入力された映像を解析して、現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出すると共に、前記特定した危険対象に付された基準位置を示すマーカの現実空間の座標系における座標を特定し、特定した座標を起点として前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項16記載の情報提供装置。
[請求項20]
 前記表示制御手段は、前記表示部を透過制御して前記表示部を介して前記危険対象を視認可能にすると共に、前記危険範囲画像を表示する請求項17記載の情報提供装置。
[請求項21]
 前記表示制御手段は、前記入力手段で入力された映像に前記危険範囲画像を重畳して表示する請求項18記載の情報提供装置。
[請求項22]
 前記読込手段は、前記記憶部に記憶された、前記危険対象が移動する予定を示す移動予定情報を更に読み込み、
 前記表示制御手段は、前記視野に前記危険対象が存在しないと判断した場合、前記読込手段で読み込まれた移動予定情報、及び前記装置位置情報、並びに、現在の時刻に基づいて、前記危険対象が当該情報提供装置に接近していると判断したときは、前記危険対象による危険を報知する画像を生成して前記表示部に表示する請求項16記載の情報提供装置。
[請求項23]
 前記表示制御手段は、複数の危険対象について危険範囲画像を生成する場合、前記複数の危険対象の各々について危険範囲画像を生成し、生成した複数の危険範囲画像を解析して前記複数の危険対象による危険が及ばない安全地帯、或いは退避経路を特定し、特定した安全地帯、或いは退避経路を示す画像を更に生成して前記表示部に表示する請求項16記載の情報提供装置。
[請求項24]
 前記表示制御手段は、前記危険範囲画像を平面的または立体的に生成する請求項16記載の情報提供装置。
[請求項25]
 前記表示制御手段は、前記危険対象までの距離が予め定められた閾値以下である場合、前記危険範囲画像を生成して前記表示部に表示する請求項16記載の情報提供装置。
[請求項26]
 表示部を有し、記憶部と通信可能に接続された情報提供装置が実行する情報提供方法であって、
 前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込工程と、
 位置検出装置で検出された前記情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得工程と、
 方位検出装置で検出された前記情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得工程と、
 姿勢検出装置で検出された前記情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得工程と、
 前記位置情報取得工程で取得された装置位置情報、前記方位情報取得工程で取得された方位情報、前記姿勢情報取得工程で取得された姿勢情報、及び予め規定された前記情報提供装置の視界情報に基づいて、前記情報提供装置の視野を特定する特定工程と、
 前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込工程で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御工程と、
を有する情報提供方法。
[請求項27]
 表示部を有し、記憶部と通信可能に接続されたコンピュータを、
 前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
 位置検出装置で検出された前記コンピュータの位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
 方位検出装置で検出された前記コンピュータの方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
 姿勢検出装置で検出された前記コンピュータの姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
 前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された前記コンピュータの視界情報に基づいて、前記コンピュータの視野を特定する特定手段と、
 前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
して機能させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13A]

[ 図 13B]

[ 図 13C]

[ 図 13D]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37A]

[ 図 37B]

[ 図 37C]

[ 図 37D]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41]

[ 図 42]