処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2010073616 - 情報表示装置および情報表示方法

Document

明 細 書

発明の名称 情報表示装置および情報表示方法

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008  

先行技術文献

特許文献

0009  

発明の概要

発明が解決しようとする課題

0010   0011   0012   0013  

課題を解決するための手段

0014   0015  

発明の効果

0016  

図面の簡単な説明

0017  

発明を実施するための形態

0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218  

産業上の利用可能性

0219  

符号の説明

0220  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

明 細 書

発明の名称 : 情報表示装置および情報表示方法

技術分野

[0001]
 本発明は、実世界映像と実世界映像に映し出されるオブジェクトに関する情報とを重畳して表示する情報表示装置および情報表示方法に関する。

背景技術

[0002]
 風景の撮影映像といった実世界映像には、各種の施設等のオブジェクトが映し出される。実世界映像とその実世界映像に映し出されるオブジェクトに関する情報(以下「オブジェクト情報」という)とを、1つの画面に重畳して表示する画像表示装置が、各種分野で用いられている。このような技術は、「拡張現実感」(Augmented Reality)と呼ばれており、また、「強調現実感」、「強化現実感」などとも呼ばれている。この技術を応用した拡張現実感装置は、移動しながらその都度情報を取得する場合に便利である。
[0003]
 実世界映像とオブジェクト情報とを重畳して表示する装置(以下単に「情報表示装置」という)において、表示するオブジェクト情報を制御する技術が、例えば特許文献1および特許文献2に記載されている。
[0004]
 図1は、特許文献1記載の情報表示装置の構成を示す図である。図2は、特許文献1記載の情報表示装置が入力する実世界映像の一例を示す図である。図3は、図1に示す情報表示装置が図2に示す入力映像に対応して表示する、実世界映像とオブジェクト情報とを重畳した映像(以下「情報重畳映像」という)の一例を示す図である。
[0005]
 図2に示すように、オブジェクト11の近くには、そのオブジェクトを識別するための、独立した既知のマーカ12が予め配置されている。
[0006]
 図1において、情報表示装置20は、実世界の画像を入力する画像入力部21と、入力画像からマーカ12を抽出するマーカ抽出部22と、抽出されたマーカ12を用いて位置姿勢を演算するマーカ認識部23とを有する。更に、情報表示装置20は、マーカ12に予め関連付けたオブジェクト情報を入手する関連情報入手部24と、オブジェクト情報の加工処理をするモデルデータ作成部25と、入力画像と加工した情報とを重畳表示する表示部26とを有する。この結果、図3に示すように、オブジェクト11の画像を含む実世界の画像31と、オブジェクト11に関するオブジェクト情報32とを重畳した、画像33が表示される。
[0007]
 また、特許文献1記載の情報表示装置のモデルデータ作成部25は、表示している情報の描画位置を、入力画像の変化に同期して変化させ、オブジェクトの表示位置に追従させる。したがって、特許文献1記載の情報表示装置は、例えば、標本の周りを回りながら撮影が行われる場合でも、入力画像の視点の動き(カメラのユーザの動き)に正確に同期して、情報を表示することができる。
[0008]
 図4は、特許文献2記載の情報表示装置の構成を示す図である。図4において、情報表示装置40は、ユーザの視点の位置を検出する視点位置検出部41と、ディスプレイ47の位置を検出するディスプレイ位置検出部42と、映し出されるオブジェクトを検出する対象位置検出部43とを有する。そして、情報表示装置40は、ユーザ視点とディスプレイ47の中心位置とを結ぶ線上に位置するオブジェクトを特定する対象特定部44と、オブジェクト情報を記憶装置から取得する対象情報検索部45とを有する。更に、情報表示装置40は、ユーザ視点とディスプレイ47との距離に応じて、表示する参照情報の詳細度を選択する映像生成部46を有する。この結果、ユーザ視点がディスプレイに近づいたときに、より詳細な情報が表示される。

先行技術文献

特許文献

[0009]
特許文献1 : 特開2004-48674号公報
特許文献2 : 特開平8-190640号公報

発明の概要

発明が解決しようとする課題

[0010]
 しかしながら、特許文献1記載の技術および特許文献2記載の技術では、ユーザが知りたい情報を見易く表示することができないという課題がある。
[0011]
 特許文献1記載の情報表示装置では、例えば、実世界映像にマーカを配置したオブジェクトが多数存在する場合、表示される情報の量が多くなり、情報が煩雑となるだけでなく、実世界映像が見難くなる。
[0012]
 特許文献2記載の情報表示装置では、情報表示の対象となるオブジェクトを制限することができるが、オブジェクトに対する注目度がユーザ視点のディスプレイへの接近度に対応しない場合、情報の過不足が発生するおそれがある。
[0013]
 本発明の目的は、実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置および情報表示方法を提供することである。

課題を解決するための手段

[0014]
 本発明の情報表示装置は、実世界映像を入力する映像入力部と、入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得する距離取得部と、前記オブジェクトに関する情報と前記実世界映像とを重畳した映像を出力するオブジェクト重畳部と、前記オブジェクト重畳部が表示する前記情報を制御する情報出力制御部とを有し、前記情報出力制御部は、取得された前記距離に応じて、前記オブジェクト重畳部が出力する前記情報の提示の仕方を決定する。
[0015]
 本発明の情報表示方法は、実世界映像を入力するステップと、入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得するステップと、取得された前記距離に応じて、前記オブジェクトに関する情報の提示の仕方を決定するステップと、決定された提示の仕方で提示されるように、前記情報と前記実世界映像とを重畳して出力するステップとを有する。

発明の効果

[0016]
 本発明によれば、実世界映像の視点とオブジェクトとの間の距離に応じた提示の仕方で、オブジェクトに関する情報を提示するため、オブジェクトに関する情報のうちユーザが知りたい情報を、見易く提示することが可能となる。

図面の簡単な説明

[0017]
[図1] 従来の情報表示装置の構成を示す第1の図
[図2] 従来の情報表示装置による入力映像の一例を示す図
[図3] 従来の情報表示装置による情報重畳映像の一例を示す図
[図4] 従来の情報表示装置の構成を示す第2の図
[図5] 本発明の実施の形態1に係る情報表示装置の外観図
[図6] 実施の形態1に係る情報表示装置の構成を示すブロック図
[図7] 実施の形態1におけるオブジェクト情報テーブルの内容の一例を示す図
[図8] 実施の形態1における表示情報決定ルールの内容の一例を示す図
[図9] 実施の形態1に係る情報表示装置の動作を示すフローチャート
[図10] 実施の形態1における入力映像の一例を示す図
[図11] 実施の形態1における情報重畳映像の一例を示す図
[図12] 本発明の実施の形態2に係る情報表示装置の構成を示すブロック図
[図13] 実施の形態2における情報表示装置の動作を示すフローチャート
[図14] 実施の形態2におけるInfoモードにてズーム操作が行われたときの表示映像の変化の一例を示す図
[図15] 実施の形態2におけるPhoto+Infoモードにてズーム操作が行われたときの表示映像の変化の一例を示す図
[図16] 実施の形態2におけるPhoto+Infoモードにて絞り操作が行われたときの表示映像の変化の一例を示す図
[図17] Infoモードにてフォーカスロック操作が行われたときの、表示映像の変化の一例を示す図
[図18] 本発明の実施の形態3に係る情報表示装置の構成を示すブロック図
[図19] 本発明の実施の形態4に係る情報表示装置の構成を示すブロック図
[図20] 実施の形態4におけるPhoto+Infoモードにてタッチ操作が行われたときの表示映像の変化の一例を示す図
[図21] 本発明の実施の形態5に係る情報表示装置の構成を示すブロック図
[図22] 実施の形態5におけるオブジェクト情報テーブルの内容の一例を示す図
[図23] 実施の形態5におけるPhoto+Infoモードにてタッチ操作が行われたときの表示映像の変化の一例を示す図

発明を実施するための形態

[0018]
 以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
[0019]
 (実施の形態1)
 本発明の実施の形態1は、実世界映像を表示しながら撮影操作を待機するデジタルスチルカメラに本発明を適用した例である。まず、本発明の実施の形態1に係る情報表示装置の操作インタフェースの概要について説明する。
[0020]
 図5は、本実施の形態に係る情報表示装置の外観図である。図5は、操作状態における情報表示装置を、上方から見たときの平面図である。
[0021]
 図5において、情報表示装置100は、薄い直方体の本体部200と、本体部200の外側に配置された映像入力部300、映像表示部400、および操作インタフェース部500とを有する。操作インタフェース部500は、操作入力部510およびモード切替入力部520を有する。
[0022]
 映像入力部300は、レンズ、シャッター、および撮像素子(いずれも図示せず)を有し、実世界映像を入力する。映像入力部300は、フォーカス、絞り、およびズームを操作可能な構成となっている。
[0023]
 映像表示部400は、例えば液晶ディスプレイ(図示せず)を有し、画像および映像の表示を行う。
[0024]
 本体部200は、映像入力部300が入力した実世界映像の、映像表示部400への表示および撮影を行う。また、本体部200は、実世界画像とその実世界映像に映し出されるオブジェクト情報とを重畳した情報重畳映像を、映像表示部400に表示する。このとき、本体部200は、実世界映像の視点(情報表示装置100の位置)とオブジェクトとの間の距離を取得し、取得した距離に応じて、表示するオブジェクト情報の提示の仕方を決定する。
[0025]
 操作入力部510は、ユーザ操作を受け付け、受け付けたユーザ操作を、本体部200が入力する実世界映像と、表示されるオブジェクト情報とに反映させる。操作入力部510は、レバー511およびボタン512を有する。レバー511は、ボタン512を中心として弧状に回転させることが可能なノブである。ボタン512は、半押しおよび全押しの2段階の押下が可能となっている。
[0026]
 モード切替入力部520は、スイッチ521と、スイッチ521を3箇所の係止位置間でスライドさせるスライド部522とを有し、本体部200の動作が異なる3つのモードに対するユーザからの切り替え操作を受け付ける。本実施の形態においては、1つ目のモードは、実世界映像のみを表示するモード(以下「Photoモード」という)である。2つ目のモードは、オブジェクト情報のみを表示するモード(以下「Infoモード」という)である。3つ目のモードは、実世界映像とオブジェクト情報とを重畳した映像を表示するモード(以下「Photo+Infoモード」という)である。
[0027]
 次に、情報表示装置100の構成について説明する。
[0028]
 図6は、情報表示装置100の構成を示すブロック図である。図5と同一部分には、同一符号を付し、これについての説明を適宜省略する。
[0029]
 図6において、情報表示装置100は、操作入力部510、モード切替入力部520、動作制御部610、レンズ制御部620、映像入力部300、映像認識部630、自位置姿勢算出部640、距離取得部650、オブジェクト測位部660、端末通信部670、オブジェクト情報検索部680、情報出力制御部690、情報位置決定部700、オブジェクト重畳部710、および映像表示部400を有する。
[0030]
 操作入力部510は、ユーザ操作の内容を示す情報(以下「操作情報」という)を、動作制御部610へ出力する。
[0031]
 モード切替入力部520は、設定されているモードを示す情報(以下「モード情報」という)を、動作制御部610へ出力する。
[0032]
 動作制御部610は、入力されたモード情報に応じて、レンズ制御部620、情報出力制御部690、およびオブジェクト重畳部710の動作を制御する。
[0033]
 具体的には、動作制御部610は、Photoモードのとき、レンズ制御部620に対して操作情報を出力する一方で、情報出力制御部690の動作を停止させ、オブジェクト重畳部710に対して実世界映像のみの表示を行わせる。また、動作制御部610は、Photo+Infoモードのとき、レンズ制御部620に対して操作情報を出力し、かつ情報出力制御部690を動作させ、オブジェクト重畳部710に対して情報重畳映像の表示を行わせる。また、動作制御部610は、Infoモードのとき、レンズ制御部620の動作を停止させ、かつ情報出力制御部690の動作を停止させ、オブジェクト重畳部710に対して表示中の情報重畳映像を固定表示させる。
[0034]
 レンズ制御部620は、映像入力部300のレンズを制御する。具体的には、レンズ制御部620は、入力される操作情報に応じて、映像入力部300が入力する実世界映像のズームの倍率、フォーカス位置、および絞り値を制御する。
[0035]
 映像入力部300は、入力した実世界映像(以下「入力映像」という)を、映像認識部630、情報位置決定部700、およびオブジェクト重畳部710へ出力する。また、映像入力部300は、レンズの合焦点(以下「フォーカス点」という)を示す情報を、映像認識部630およびオブジェクト重畳部710へ出力する。
[0036]
 映像認識部630は、入力映像に映し出されるオブジェクトを認識する。具体的には、映像認識部630は、入力映像に対してパタンマッチング処理等の画像認識処理を行い、建物や看板等のオブジェクトが映し出されている入力映像上の領域(以下「オブジェクト領域」という)を抽出する。そして、映像認識部630は、抽出したオブジェクト領域の入力映像上の位置を示す情報(以下「領域情報」という)を、距離取得部650、オブジェクト測位部660、および情報位置決定部700へ出力する。
[0037]
 なお、映像認識部630は、オブジェクト領域が複数存在する場合には、後段の処理をオブジェクトごとに行うために、領域情報のそれぞれに識別情報を付加し、出力することが望ましい。
[0038]
 自位置姿勢算出部640は、実世界映像が入力される時点の、情報表示装置100の位置および姿勢を算出する。具体的には、自位置姿勢算出部640は、角速度センサおよびGPS(global positioning system)センサ等を用いて、映像入力部300の視点の位置および光軸方向を算出する。そして、自位置姿勢算出部640は、算出結果(以下「位置姿勢情報」という)を、距離取得部650およびオブジェクト測位部660へ出力する。
[0039]
 距離取得部650は、入力映像の視点から映像認識部630により認識されたオブジェクトまでの水平距離(以下「オブジェクト距離」という)を取得する。
[0040]
 具体的には、距離取得部650は、レーザ式の測距センサ等を用いて、映像認識部630から各オブジェクトの領域情報に対応する各オブジェクトまでの実距離を、それぞれ測定する。そして、距離取得部650は、測定された実距離を、位置姿勢情報から算出されるオブジェクトの方向の仰角に基づいて水平距離に換算し、オブジェクト距離として、オブジェクト測位部660および情報出力制御部690へ出力する。なお、地面の傾斜が大きい地域での用途等、用途によっては、オブジェクト距離は、水平距離ではなく実距離をそのまま採用してもよい。
[0041]
 オブジェクト測位部660は、自位置姿勢算出部640からの位置姿勢情報、映像認識部630からの領域情報、および距離取得部650からのオブジェクト距離を取得する。次に、オブジェクト測位部660は、取得した情報から入力映像に映し出されたオブジェクトの実世界における位置(以下単に「オブジェクトの位置」という)を測定する。更に、オブジェクト測位部660は、測定結果を、緯度と経度とによって示す情報(以下「緯度経度情報」という)を、オブジェクト情報検索部680および情報出力制御部690へ出力する。
[0042]
 端末通信部670は、インターネット等の通信ネットワーク720を介して、オブジェクト情報データベース(DB)730を備えた情報サーバ740と、通信を行う。オブジェクト情報データベース730は、オブジェクトの位置に対応付けて、各種オブジェクト情報をオブジェクト情報ごとに蓄積したオブジェクト情報テーブルを予め格納している。
[0043]
 図7は、オブジェクト情報データベース730が格納するオブジェクト情報テーブルの内容の一例を示す図である。
[0044]
 図7に示すように、オブジェクト情報テーブル810は、オブジェクトのID811およびオブジェクトの位置812に対応付けて、詳細度の異なるレベル1~レベル4のオブジェクト情報813~816を記述している。上述の情報サーバ740は、位置812をインデックスとして、オブジェクト情報テーブル810から、対応するID811およびレベル1~レベル4のオブジェクト情報813~816を取得することが可能となっている。
[0045]
 レベル1のオブジェクト情報813は、施設種別を示す記号である。レベル2のオブジェクト情報814は、施設の名称である。レベル3のオブジェクト情報815は、施設のトピック情報である。また、レベル4のオブジェクト情報816は、施設の詳細情報である。すなわち、レベル1~レベル4のオブジェクト情報813~816は、この順に、情報の詳細度が高くなっている。
[0046]
 例えば、「緯度:xxx1、経度:xxx2」という位置に存在するオブジェクトには、施設種別として「B」が、施設名称として「Xタワー」が、それぞれ対応付けられている。また、「緯度:xxx1、経度:xxx2」という位置に存在するオブジェクトには、更に、トピックス情報と詳細情報がそれぞれ対応付けられている。具体的には、トピック情報として「吹き抜けに雪が降るイベント開催中」が、詳細情報として「13:00、15:00、17:00に降雪・・・」が、それぞれ対応付けられている。したがって、「緯度:xxx1、経度:xxx2」という緯度経度情報を検索キーとした場合は、これらのオブジェクト情報が検索されることになる。
[0047]
 図6のオブジェクト情報検索部680は、オブジェクトの位置を示す緯度経度情報を検索キーとして、オブジェクト情報を検索する。
[0048]
 具体的には、オブジェクト情報検索部680は、端末通信部670を介して、入力された緯度経度情報を、オブジェクト情報データベース730に対する検索クエリとして、情報サーバ740へ送信する。そして、オブジェクト情報検索部680は、情報サーバ740から返信されたオブジェクト情報を、情報出力制御部690へ出力する。ここで返信されるオブジェクト情報は、ID811およびレベル1~レベル4のオブジェクト情報813~816の全てとする。なお、情報表示装置100が先に表示対象となるオブジェクト情報の詳細度のレベルを決定する場合には、オブジェクト情報検索部680は、そのレベルのオブジェクト情報のみを検索して取得するようにしてもよい。
[0049]
 情報出力制御部690は、オブジェクト距離に応じて、オブジェクト情報の提示の仕方を制御する。
[0050]
 具体的には、情報出力制御部690は、表示情報決定ルールを予め格納し、この表示情報決定ルールに従って、表示対象となるオブジェクトに関するオブジェクト情報、および表示対象となる情報量の異なるオブジェク情報を決定する。すなわち、情報出力制御部690は、表示対象として、オブジェクトと、情報量の程度とを決定する。そして、情報出力制御部690は、表示対象とすることを決定したオブジェクト情報(以下「表示オブジェクト情報」という)を、情報位置決定部700およびオブジェクト重畳部710へ出力する。ここでは、表示情報決定ルールは、オブジェクト距離がより短いオブジェクトほど、より詳細度のレベルが高いオブジェクト情報を表示対象として決定することを規定するものとする。
[0051]
 図8は、表示情報決定ルールの内容の一例を示す図である。
[0052]
 図8に示すように、表示情報決定ルール820は、オブジェクト距離821の範囲ごとに、オブジェクト情報の表示非表示と、表示する場合のオブジェクト情報のレベルとを、決定内容822として規定する。例えば、「300m以上かつ400m未満」というオブジェクト距離821には、「レベル1」という決定内容822が規定されている。これは、オブジェクト距離が300m以上かつ400m未満の場合には、レベル1のオブジェクト情報(ここでは施設種別を示す記号)を、表示オブジェクト情報に決定することを意味する。また、表示情報決定ルール820は、ある範囲内において、オブジェクト距離821がより短いほど、より詳細度のレベルが高いオブジェクト情報を対応付けている。したがって、表示情報決定ルール820に従うことにより、表示されるオブジェクト情報は、オブジェクト距離がより短いほど、より詳細な内容となる。
[0053]
 図6の情報位置決定部700は、入力映像の奥行き方向を検出し、検出した奥行き方向に揃うように、各表示オブジェクト情報の表示位置を決定する。次に、情報位置決定部700は、決定結果(以下「表示レイアウト情報」という)を、オブジェクト重畳部710へ出力する。具体的には、情報位置決定部700は、入力映像に含まれる直線成分から消失点を検出する。そして、情報位置決定部700は、消失点、領域情報、および表示オブジェクト情報に基づいて、消失点から放射状に伸びる線分に沿うように、かつ、オブジェクト領域と重ならないように、各表示オブジェクト情報の表示位置を決定する。
[0054]
 なお、情報位置決定部700は、複数のオブジェクト領域の縁を結ぶ線に沿うように、各表示オブジェクト情報の表示位置を決定するようにしてもよい。これにより、情報位置決定部700は、オブジェクト領域と重ならないように、かつ、オブジェクトの実世界での配置関係に対応させた状態で、簡単に各表示オブジェクト情報の表示位置を決定することができる。
[0055]
 オブジェクト重畳部710は、入力映像上に表示レイアウト情報が示す位置に表示オブジェクト情報を配置した情報重畳映像を表示する映像データを生成し、生成した映像データを、映像表示部400へ出力する。具体的には、オブジェクト重畳部710は、Photoモードのときには、入力映像のみを表示する映像データを生成し、Infoモードのとき、またはPhoto+Infoモードのときには、情報重畳映像を表示する映像データを生成する。
[0056]
 映像表示部400は、オブジェクト重畳部710で生成された映像データを、映像化して液晶ディスプレイに表示する。
[0057]
 情報表示装置100は、例えば、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)等の記憶媒体、RAM(random access memory)等の作業用メモリ等を有する。この場合には、上記各部の機能は、CPUが制御プログラムを実行することで実現される。
[0058]
 このような情報表示装置100によれば、オブジェクトに関する情報を、入力映像の視点とオブジェクトとの間の距離に応じた情報の提示の仕方で、入力映像に重畳して表示することができる。
[0059]
 次に、以上説明した構成を有する情報表示装置100の動作について説明する。ここでは、Photo+Infoモードにおける動作について説明する。
[0060]
 図9は、情報表示装置100の動作を示すフローチャートである。
[0061]
 まず、ステップS1010において、映像入力部300は、実世界映像を入力し、入力映像を、映像認識部630、情報位置決定部700、およびオブジェクト重畳部710へ送る。
[0062]
 図10は、映像入力部300が入力する入力映像の一例を示す図である。ここでは、図10に示すように、入力映像830には、道路831に沿って手前側から順に位置する第1~第3のオブジェクト832-1~832-3が映し出されているものとする。第1~第3のオブジェクト832-1~832-3は、異なる施設の建物である。
[0063]
 そして、図9のステップS1020において、映像認識部630は、入力映像から一つ以上のオブジェクト領域を抽出および識別する。例えば、映像認識部630は、図10に示す入力映像830から、第1~第3のオブジェクト832-1~832-3のそれぞれのオブジェクト領域として、第1~第3のオブジェクト領域833-1~833-3を抽出および識別する。そして、映像認識部630は、識別したオブジェクト領域から、その全てまたは任意のオブジェクト領域を、処理対象として選択する。
[0064]
 映像認識部630は、例えば、予め設定された閾値の数の範囲内で、認識率の高いオブジェクト領域を優先して選択したり、焦点が合っているオブジェクト領域およびその前後のある範囲に含まれるオブジェクト領域のみを選択する。認識率とは、例えば、一つの映像の中に100のオブジェクト領域が抽出される場合に、それらを均等に扱うのではなく、優先順位に従って処理するために、オブジェクト領域の特徴に基づくオブジェクト領域の確からしさを示す指標をいう。オブジェクト領域の特徴は、例えば、背景とオブジェクトの境界の画素値の傾斜の急峻度、または、オブジェクト領域内の画素値が高い尾根の部分(エッジ)が囲んでいる領域の面積の大きさ等である。このように、実際に処理対象とするオブジェクト領域を制限することにより、後段の処理負荷を軽減することができる。
[0065]
 そして、ステップS1030において、映像認識部630は、処理対象として選択したオブジェクト領域の中から1つのオブジェクト領域を選択する。そして、映像認識部630は、選択したオブジェクト領域の領域情報を、距離取得部650、オブジェクト測位部660、および情報位置決定部700へ送る。
[0066]
 そして、ステップS1040において、距離取得部650は、自位置姿勢算出部640および映像認識部630から入力される情報に基づいて、選択されているオブジェクトのオブジェクト距離を算出する。そして、距離取得部650は、算出したオブジェクト距離を、オブジェクト測位部660および情報出力制御部690へ送る。
[0067]
 具体的には、まず、自位置姿勢算出部640は、角速度センサおよびGPSセンサ等を用いて算出した、映像入力部300の視点の位置および光軸方向を、位置姿勢情報として生成し、距離取得部650およびオブジェクト測位部660へ送る。そして、距離取得部650は、レーザ式の測距センサ等を用いて、映像認識部630からの領域情報に基づいて、各オブジェクトまでの実距離をそれぞれ測定する。そして、距離取得部650は、測定された実距離を、位置姿勢情報から算出されるオブジェクトの方向の仰角に基づいて水平距離に換算し、オブジェクト距離として出力する。
[0068]
 そして、ステップS1050において、オブジェクト測位部660は、位置姿勢情報と、位置姿勢情報から算出されるオブジェクトの方向の方位と、オブジェクト距離とを用いて、オブジェクト領域に対応するオブジェクトの位置を算出する。次に、オブジェクト測位部660は、算出したオブジェクトの位置の緯度経度情報を、オブジェクト情報検索部680および情報出力制御部690へ送る。
[0069]
 そして、ステップS1060において、オブジェクト情報検索部680は、緯度経度情報を検索キーとする検索クエリを情報サーバ740へ送り、対応するオブジェクト情報を取得する。そして、オブジェクト情報検索部680は、取得したオブジェクト情報を、情報出力制御部690へ送る。
[0070]
 そして、ステップS1070において、情報出力制御部690は、表示対象となるオブジェクト(以下「表示オブジェクト」という)を決定する。情報出力制御部690は、例えば、取得したオブジェクト情報の全てや、焦点が合っているオブジェクト領域に対応するオブジェクト、または、その周辺範囲に含まれるオブジェクト領域に対応するオブジェクト等を決定する。また、情報出力制御部690は、例えば、表示の対象となるオブジェクトの属性(ホテル、百貨店等)が指定されている場合には、指定された属性に該当するオブジェクトを表示オブジェクトに決定してもよい。
[0071]
 そして、ステップS1080において、情報出力制御部690は、上述の表示情報決定ルールを用いて、オブジェクト距離がより短いほどより詳細度のレベルがより高くなるように、情報量を決定する。ここで決定される情報量は、表示オブジェクトのオブジェクト情報を提示する際の情報量である。
[0072]
 そして、情報出力制御部690は、決定した表示オブジェクトと、決定した情報量に該当するオブジェクト情報を、表示オブジェクト情報として、情報位置決定部700およびオブジェクト重畳部710へ送る。
[0073]
 そして、ステップS1090において、情報位置決定部700は、複数のオブジェクト領域の配置パタンや、入力映像に含まれる直線成分から、入力映像の奥行きを表す線分を算出する。
[0074]
 そして、ステップS1100において、情報位置決定部700は、ステップS1090において算出した線分に基づいて表示レイアウトを決定し、表示レイアウト情報をオブジェクト重畳部710へ送る。
[0075]
 そして、ステップS1110において、オブジェクト重畳部710は、表示レイアウト情報に従って表示オブジェクト情報を配置した情報重畳映像の映像データを生成する。
[0076]
 そして、ステップS1120において、映像認識部630は、ステップS1020において処理対象として選択されたオブジェクト領域のうち、未処理のオブジェクト領域が残っているか否かを判断する。映像認識部630は、未処理のオブジェクト領域が残っている場合には(S1120:YES)、ステップS1030へ戻り、未処理のオブジェクト領域を選択して、ステップS1030~S1110の処理を実行する。この結果、複数の表示オブジェクト情報が存在する場合には、ステップS1110において、複数のオブジェクト情報が重畳された映像データが生成される。また、映像認識部630は、未処理のオブジェクト領域が残っていない場合には(S1120:NO)、ステップS1130へ進む。
[0077]
 ステップS1130において、オブジェクト重畳部710は、生成した映像データを、映像表示部400に出力し、情報重畳映像を表示させる。
[0078]
 そして、ステップS1140において、情報表示装置100は、ユーザ操作等(例えば、Photoモードに切り替えられる操作等)により情報重畳映像の表示の停止を指示されたか否かを判断する。情報表示装置100は、情報重畳映像の表示の停止を指示されていない場合には(S1140:NO)、ステップS1010へ戻り、情報重畳映像の表示の停止を指示された場合には(S1140:YES)、一連の処理を終了する。
[0079]
 図11は、映像表示部400が表示する情報重畳映像の一例を示す図である。ここでは、図7に示すオブジェクト情報テーブル810および図8に示す表示情報決定ルール820に基づいて、図10に示す入力映像に対応して表示される情報重畳映像を示す。また、図10に示す第1~第3のオブジェクト832-1~832-3が、それぞれ、図7に示すID「001」、ID「002」、ID「003」に該当するオブジェクトであるものとする。
[0080]
 ここでは、第1~第3のオブジェクト832-1~832-3のそれぞれのオブジェクト距離は、150m、250m、350mであるものとする。この場合、第1~第3のオブジェクト領域833-1~833-3に対して、レベル3(トピック情報)、レベル2(施設名称)、レベル1(施設種別を示す記号)のオブジェクト情報のレベルが、それぞれ決定される。そして、第1~第3のオブジェクト領域833-1~833-3に対して、順に、ID「001」のレベル3のオブジェクト情報、ID「002」のレベル2のオブジェクト情報、ID「003」のレベル1のオブジェクト情報が、表示オブジェクト情報として決定される。
[0081]
 図11に示すように、情報重畳映像840では、入力映像830に、第1~第3のオブジェクト領域833-1~833-3に対応する第1~第3のオブジェクト情報841-1~841-3が、重ねて描画される。また、第1~第3のオブジェクト情報841-1~841-3は、入力画像の奥行きを示す線分842(実際には表示されない)に沿って、かつ、第1~第3のオブジェクト情報841-1~841-3と重ならないように、配置される。
[0082]
 また、第1~第3のオブジェクト情報841-1~841-3の内容は、入力画像830の視点により近いほど、つまり、より手前側ほど、詳細な内容となる。具体的には、例えば、最も手前側の第1のオブジェクト情報841-1の情報量は、20文字と多く、遠方の第3のオブジェクト情報841-3の情報量は、1文字と少ない。
[0083]
 ユーザは、移動しながら逐次の情報取得を行う場合、通常、施設に立ち寄るか否か等の判断を、より近くに位置する施設に対して先に行う。このため、ユーザは、より近くに位置する施設に関する情報については詳細に知りたいと考える。また、遠くに位置する施設に関しては、なんらかの情報が表示されると、進む方面の決定等に便利である。一方で、遠くに位置する施設に関する情報も詳細に表示されると、ユーザが詳しく知りたいと望む情報や入力画像が見難くなる。
[0084]
 したがって、図11に示すような情報重畳映像によれば、ユーザが知りたい情報をユーザに対して見易く表示することができ、ユーザの移動や行動をより適切に支援することができる。
[0085]
 なお、情報表示装置100は、入力映像に映し出されるオブジェクトの像が連続的に移動する場合は、オブジェクト領域の画像を追尾して、表示中のオブジェクト情報を画面上で移動させるようにするようにしてもよい。このようにすることにより、情報表示装置100は、ステップ1020~S1070の処理を省略し、処理負荷を軽減することができる。
[0086]
 また、情報表示装置100は、オブジェクトが建物等の固定物の場合には、位置姿勢情報の変化に基づいて、オブジェクト領域、オブジェクト距離、奥行きを示す線分を再計算することができる。このことにより、情報表示装置100は、ステップS1080~S1100の処理を簡略化し、処理負荷を軽減することができる。
[0087]
 また、オブジェクト領域が複数存在する場合には、情報表示装置100は、ステップS1030~S1110を一括でまとめて処理してもよい。
[0088]
 また、情報表示装置100は、ステップS1030~S1080の処理とステップS1090の処理等の、同時並行で行うことができる複数の処理を、同時並行で行うようにしてもよい。
[0089]
 以上説明したように、本実施の形態に係る情報表示装置100は、オブジェクトに関する情報を、実世界映像の視点とオブジェクトとの間の距離に応じた情報量で、実世界映像に重畳して表示することができる。すなわち、本実施の形態に係る情報表示装置100は、情報表示装置100を携帯するユーザからオブジェクトまでの距離に応じて、オブジェクト情報の提示の仕方を変えながら実世界映像との重畳表示を行う。
[0090]
 これにより、本実施の形態に係る情報表示装置100は、近いオブジェクトの情報は多く、遠いオブジェクトの情報は少なく、奥行きに合わせた表示を行うことができる。したがって、本実施の形態に係る情報表示装置100は、表示情報が多すぎて混乱しないように表示することができ、ユーザが知りたい情報を見易く表示することが可能となる。
[0091]
 なお、本実施の形態に係る情報表示装置100は、緯度経度情報の取得や、オブジェクトの特定またはオブジェクト情報の特定を、特許文献1記載の手法等、他の手法を用いて行うようにしてもよい。
[0092]
 (実施の形態2)
 本発明の実施の形態2は、表示されるオブジェクト情報をユーザ操作に基づいて変化させるようにした例である。
[0093]
 カメラのユーザは、入力映像に映し出されたあるオブジェクトに注目したとき、そのオブジェクトに対するズーム操作、フォーカス操作、絞り操作、およびフォーカスロック操作等を行うことが多い。逆にいうと、これらの操作の対象となったオブジェクトは、ユーザがより詳細な情報を望むオブジェクトである可能性が高い。
[0094]
 そこで、本実施の形態に係る情報表示装置は、操作入力部510におけるユーザ操作を、入力される実世界映像に反映させ(映像のズームやフォーカス等)、かつ、その実世界映像に連動してオブジェクト情報を変化させる。
[0095]
 まず、本実施の形態に係る情報表示装置の構成について説明する。
[0096]
 図12は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態1の図6に対応するものである。図6と同一部分には、同一符号を付し、これについての説明を省略する。
[0097]
 図12において、本実施の形態に係る情報表示装置100aは、図6の動作制御部610、映像認識部630、情報出力制御部690、およびオブジェクト重畳部710に替えて、これらとは異なる動作制御部610a、映像認識部630a、情報出力制御部690a、およびオブジェクト重畳部710aを有する。
[0098]
 動作制御部610aは、モード切替入力部520に設定されているモードに応じて、操作入力部510におけるユーザ操作を、入力される実世界映像と表示されるオブジェクト情報にどのように反映させるかを制御する。
[0099]
 具体的には、動作制御部610は、Photoモードのとき、ユーザ操作を入力映像に反映させ、Photo+Infoモードのとき、更に、表示されるオブジェクト情報を入力映像に連動して変化させる。また、動作制御部610は、Infoモードのとき、ユーザ操作を表示されるオブジェクト情報にのみ反映させ、入力映像(つまりレンズ制御)には反映させない。
[0100]
 映像認識部630aは、入力映像に映し出されるオブジェクトを認識するとともに、フォーカス点が位置するオブジェクトのオブジェクト領域、またはその周辺のオブジェクトを含むオブジェクト領域を選択し、対応する領域情報を出力する。具体的には、映像認識部630aは、被写界深度の範囲内に位置しており焦点が合っているオブジェクトのオブジェクト領域を選択する。すなわち、映像認識部630aは、ズーム操作、フォーカス操作、および絞り操作によって、オブジェクト情報を表示させるオブジェクトに対するユーザの選択を受け付けることができるようになっている。
[0101]
 情報出力制御部690aは、オブジェクト距離に応じて、表示するオブジェクト情報とその情報量とを制御する。また、情報出力制御部690aは、絞り操作が行われたとき、被写界深度の範囲内に位置するオブジェクトを表示対象と決定し、ズーム操作が行われたとき、ズームの倍率に応じて、表示するオブジェクト情報を制御する。
[0102]
 オブジェクト重畳部710aは、表示レイアウト情報に従って表示オブジェクト情報を配置し、かつ、フォーカス位置を示すアイコンを重畳した情報重畳映像の映像データを生成する。また、オブジェクト重畳部710aは、フォーカスロック操作が行われたとき、表示中のオブジェクト情報の表示形態を切り替える。
[0103]
 また、動作制御部610aは、情報表示装置100aに設けた絞り調節部(例えば、操作入力部510のレバー511を用いる)により、映像入力部300の絞り操作が行われたとき、これを検出し、絞り操作の内容を示す操作情報を生成する。
[0104]
 次に、情報表示装置100aの動作について説明する。
[0105]
 図13は、情報表示装置100aの動作を示すフローチャートであり、実施の形態1の図9に対応するものである。図9と同一部分には、同一ステップ番号を付し、これについての説明を省略する。
[0106]
 実世界映像が入力されると(S1010)、ステップS2010において、動作制御部610aは、操作入力部510から操作情報が入力されたか否かを判断する。動作制御部610aは、操作情報が入力された場合には(S2010:YES)、ステップS2020へ進み、操作情報が入力されていない場合には(S2010:NO)、図9のステップS1020へ進む。操作情報は、例えば、操作入力部510のレバー511を右に30度動かしたことを示す情報である。
[0107]
 ステップS2020において、動作制御部610aは、Photo+InfoモードまたはPhotoモードか否か、つまり、レンズ制御を行うモードか否かを判断する。動作制御部610aは、Photo+InfoモードまたはPhotoモードである場合には(S2020:YES)、ステップS2030へ進み、Infoモードである場合には(S2020:NO)、ステップS2040へ進む。
[0108]
 ステップS2040において、動作制御部610aは、Photo+InfoモードまたはInfoモードか否か、つまり、オブジェクト情報表示を含むモードか否かを判断する。動作制御部610aは、Photo+InfoモードまたはInfoモードである場合には(S2040:YES)、ステップS2050へ進み、Photoモードである場合には(S2040:NO)、図9のステップS1020へ進む。
[0109]
 ステップS2050において、動作制御部610aは、入力された操作情報に基づいて、フォーカス操作が行われたかどうかを判断する。動作制御部610aは、フォーカス操作が行われた場合には(S2050:YES)、ステップS2060へ進み、フォーカス操作が行われていない場合には(S2050:NO)、ステップS2070へ進む。
[0110]
 ステップS2060において、動作制御部610aは、映像認識部630aに対して、フォーカス点の合焦距離を示す合焦距離情報を取得させ、ステップS2070へ進む。映像認識部630aは、例えば、レンズのズーム値およびフォーカス値を取得し、これらの値と合焦距離とを予め対応付けて記述した距離テーブルを参照することにより、合焦位置情報を取得する。
[0111]
 ステップS2070において、動作制御部610aは、入力された操作情報に基づいて、絞り操作が行われたかどうかを判断する。動作制御部610aは、絞り操作が行われた場合には(S2070:YES)、ステップS2080へ進み、絞り操作が行われていない場合には(S2070:NO)、ステップS2090へ進む。
[0112]
 ステップS2080において、動作制御部610aは、情報出力制御部690aに対して、レンズの被写界深度を示す被写界深度情報を取得させ、ステップS2090へ進む。情報出力制御部690aは、例えば、レンズのズーム値、フォーカス値、および絞り値を取得し、これらの値と被写界深度とを予め対応付けて記述した被写界深度テーブルを参照することにより、被写界深度情報を取得する。
[0113]
 ステップS2090において、動作制御部610aは、入力された操作情報に基づいて、ズーム操作が行われたかどうかを判断する。動作制御部610aは、ズーム操作が行われた場合には(S2090:YES)、ステップS2100へ進み、ズーム操作が行われていない場合には(S2090:NO)、ステップS2110へ進む。
[0114]
 ステップS2100において、動作制御部610aは、情報出力制御部690aに対して、ズーム倍率を示す倍率情報を取得させ、ステップS2110へ進む。情報出力制御部690aは、例えば、レンズのズーム値を取得し、この値とズーム倍率とを予め対応付けて記述した倍率テーブルを参照することにより、倍率情報を取得する。
[0115]
 ステップS2110において、動作制御部610aは、入力された操作情報に基づいて、フォーカスロック操作が行われたかどうかを判断する。動作制御部610aは、フォーカスロック操作が行われた場合には(S2110:YES)、ステップS2120へ進み、フォーカスロック操作が行われていない場合には(S2110:NO)、図9のステップS1020へ進む。
[0116]
 ステップS2120において、動作制御部610aは、オブジェクト重畳部710aに対して、フォーカスロックの対象となったオブジェクトを示す合焦オブジェクト情報を取得させ、図9のステップS1020へ進む。オブジェクト重畳部710aは、例えば、フォーカス点が位置するオブジェクトの領域情報に基づいて、合焦オブジェクト情報を取得する。
[0117]
 そして、情報表示装置100aは、図9のステップ1020~S1140を実行し、情報重畳映像を表示する。但し、各ステップの処理は、上記ステップS2060、S2080、S2100、S2120における情報取得に応じて、実施の形態1とは異なる内容の処理を行う。実施の形態1とは異なる処理内容について説明する。
[0118]
 ステップS1030において、映像認識部630aは、ステップS2060において取得した合焦距離情報に基づいて、フォーカス点またはフォーカス点の周辺のオブジェクト領域を代表する候補点または候補領域を判定する。そして、映像認識部630aは、判定した候補点または候補領域を示すマークを、オブジェクト重畳部710aに表示させる。このマーク表示は、例えば、映像認識部630aがフォーカス点の周辺のオブジェクト領域のみを選択し、情報位置決定部700が領域情報に基づいてマークの位置を決定し、オブジェクト重畳部710aが決定された位置にマークを重畳する。
[0119]
 そして、映像認識部630aは、候補点または候補領域から、表示可能な情報量や提示の仕方を決定する。例えば、映像認識部630aは、オブジェクト数、オブジェクト領域が全入力映像に占める割合、および全入力映像のうちのオブジェクト領域以外の領域の輝度や色の変化の度合い等に基づいて、表示可能な情報量を含む提示の仕方を決定する。そして、映像認識部630aは、オブジェクト数とそれぞれのオブジェクト情報の情報量とを比較して、提示する情報量が過多にならないように、候補点または候補領域を選択する。オブジェクト情報を表示可能な領域は、オブジェクト領域以外の領域、または、オブジェクト領域以外の領域にオブジェクト領域の一部を加えた領域である。
[0120]
 なお、映像認識部630aは、候補点または候補領域を、ユーザの操作を受けて指定してもよい。その際には、例えば、映像表示部400がタッチパネル型の入力部を兼ねており、ユーザが触れた領域に応じて選択を受け付ける。また、映像認識部630aは、十字キーなどの他の操作部に対するユーザ操作を受けて、操作する候補点または候補領域の移動、および選択か非選択の決定を行ってもよい。
[0121]
 そして、映像認識部630aは、抽出されたオブジェクト領域の領域情報を、距離取得部650、オブジェクト測位部660、および情報位置決定部700へ送り、ステップS1040へ進む。映像認識部630aは、自動的にあるいはユーザ操作により、候補点または候補領域が選択された場合には、選択された点または領域に該当するオブジェクト領域の領域情報を送る。
[0122]
 また、ステップS1070において、情報出力制御部690aは、ステップS2080で取得した被写界深度情報に基づいて、被写界深度の範囲内に位置するオブジェクトに対応するオブジェクト情報を、表示オブジェクト情報に決定する。
[0123]
 この結果、Photo+Infoモードのときには、フォーカス点付近の鮮明に映し出されたオブジェクトのオブジェクト情報が、表示されることになる。
[0124]
 また、ステップS1080において、情報出力制御部690aは、ステップS2100において取得した倍率情報に基づいて、ズームの倍率がより高いほど詳細度のレベルが高くなるように、表示オブジェクト情報を決定する。例えば、情報出力制御部690aは、ズームの倍率に応じて詳細度のレベルを変更して、表示オブジェクト情報を決定する。具体的には、表示情報決定ルールに規定される詳細度のレベルを、小さなズームアップのときには1つ上げ、大きなズームアップのときには2つ上げる。
[0125]
 この結果、Photo+Infoモードのときには、入力映像に対するズーム操作に連動(同期)してオブジェクト情報の詳細度が変化することになり、Infoモードのときには、オブジェクト情報の詳細度のみが変化することになる。
[0126]
 また、ステップS1110において、オブジェクト重畳部710aは、ステップS2120において取得した合焦オブジェクト情報に基づいて、表示中のオブジェクト情報の表示形態を変更して、入力映像と重畳出力する。例えば、オブジェクト重畳部710aは、表示中のオブジェクト情報の透過度を高くし、入力画像がオブジェクト情報を通して透けて見えるようにする。
[0127]
 この結果、Photo+Infoモードのときには、入力映像に対するフォーカスロック操作に連動(同期)してオブジェクト情報の表示形態が変化することになる。一方、Infoモードのときには、オブジェクト情報の表示形態のみが変化することになる。
[0128]
 また、Photoモードのときには、情報出力制御部690aの動作は停止しているので、オブジェクト情報の表示は行われないことになる。
[0129]
 なお、図13に示すフローチャートのうち、同時並行が可能な処理については同時並行で実行するようにしてもよいことは、図9のフローチャートと同様である。
[0130]
 以下、各種操作が行われたときの表示映像の変化の例について説明する。
[0131]
 図14は、Infoモードにてズーム操作が行われたときの、表示映像の変化の一例を示す図であり、実施の形態1の図11に対応するものである。
[0132]
 まず、図14Aに示すように、第1のオブジェクト領域833-1にフォーカス点851が位置し、第1のオブジェクト情報841-1のみが表示されているものとする。この状態で、図14Bに示すように、Infoモードにてズームアップの操作が行われると、図14Cに示すように、入力映像はズームアップされない状態で、第1のオブジェクト情報841-1の詳細度のレベルが高くなる。
[0133]
 このように、オブジェクト情報の詳細度のみを操作可能とすることにより、ユーザは、入力画像の状態はそのままで、所望のオブジェクトに関するより詳細な情報を得ることができる。
[0134]
 図15は、Photo+Infoモードにてズーム操作が行われたときの、表示映像の変化の一例を示す図であり、図14に対応するものである。
[0135]
 まず、図15Aに示すように、第1のオブジェクト領域833-1にフォーカス点851が位置し、第1のオブジェクト情報841-1のみが表示されているものとする。この状態で、図15Bに示すように、Photo+Infoモードにてズームアップの操作が行われると、図15Cに示すように、入力映像はズームアップされる。さらに、図15Cに示すように、入力映像のズームアップと連動する形で、第1のオブジェクト情報841-1の詳細度のレベルが高くなる。
[0136]
 このように、通常のズーム操作と連動させてオブジェクト情報の詳細度を変化させることにより、ユーザは、注目するオブジェクトへのズームイン操作という自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。
[0137]
 図16は、Photo+Infoモードにて絞り操作が行われたときの、表示映像の変化の一例を示す図であり、図11に対応するものである。
[0138]
 まず、図16Aに示すように、第1~第3のオブジェクト情報841-1~841-3が表示されているものとする。この状態で、図16Bに示すように、Photo+Infoモードにて絞りを開放する操作が行われたとする。すると、図16Cに示すように、例えば、フォーカス点851の近くに、第1および第2の候補点852-1、852-2がガイド表示される。そして、最終的な表示は、絞りを開放する操作によって狭められた被写界深度の範囲内に位置する方、つまり、第2の852-2に対応するオブジェクト情報841-2のみの表示に絞られる。
[0139]
 このように、本実施の形態では、通常の絞り操作と連動(同期)させてオブジェクト情報の詳細度を変化可能とした。これにより、ユーザは、注目するオブジェクトが限定されているときに絞りを開くという自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。また、ユーザは、絞りの調整により、表示されるオブジェクト情報の数を調整することができる。
[0140]
 図17は、Infoモードにてフォーカスロック操作が行われたときの、表示映像の変化の一例を示す図であり、図15に対応するものである。
[0141]
 まず、図17Aに示す例は、第1のオブジェクト情報841-1のみが表示されているものとする。この状態で、図17Bに示すように、Infoモードにてフォーカスロックの操作が行われると、図17Cに示すように、第1のオブジェクト情報841-1は、透過度50%となる。
[0142]
 このように、本実施の形態では、通常のフォーカスロック操作と連動させてオブジェクト情報の表示態様を変化させることを可能とした。このことにより、ユーザは、そのオブジェクトに対してフォーカスロックされたことをより確実に知ることができる。また、透過させる場合には、ユーザは、オブジェクト情報を確認しながら、入力画像の全体を視認することができる。
[0143]
 このように、本実施の形態に係る情報表示装置100aは、表示対象となるオブジェクト情報や、表示されるオブジェクト情報の詳細度を、ユーザが簡単に選択することを可能にする。また、本実施の形態に係る情報表示装置100aは、表示されるオブジェクト情報を、入力映像に対する操作、つまり通常のカメラ操作に連動させて変化させるか、独立して操作可能とするかを、ユーザが任意に選択することを可能にする。したがって、本実施の形態に係る情報表示装置100aは、実世界映像のオブジェクト情報のうち、ユーザが知りたい情報を、より一層見易く、かつ、より一層的確に表示することができる。また、本実施の形態に係る情報表示装置100aは、所望の複数のオブジェクトについてのオブジェクト情報を簡単に表示することができる。すなわち、本実施の形態に係る情報表示装置100aは、ユーザが知りたい対象およびユーザが求める情報量に対する直感的な制御を実現することができ、ユーザが簡単な操作で見たい情報だけを、適切な情報量で提供することができる。
[0144]
 なお、本実施の形態に係る情報表示装置100aの操作入力部510における具体的な操作内容と、ズーム等の内部的な調整内容との対応関係は、特定のものに限定されない。また、オブジェクト情報の詳細度は、連続的に変化可能としてもよい。特に、操作入力部510が、時間長さや回転角度等、連続的な変量を任意に設定可能である場合には、情報表示装置100aは、設定された変量に連動して、オブジェクト情報の詳細度を連続的に変化させて表示してもよい。通常、ズーム操作は、連続的にズーム率を変化させることができるようになっている。したがって、情報表示装置100aがズーム率に連動させてオブジェクト情報の詳細度を変化させることが考えられる。
[0145]
 また、本実施の形態に係る情報表示装置100aは、操作入力部510のレバー511が右に回された際にオブジェクト情報をより詳細となるものとしたが、これに限定されない。例えば、本実施の形態に係る情報表示装置100aは、レバー511が左に回された際にはより大まかな詳細度を設定し、右に回された際にはより細かい間隔で詳細度を設定するようにしてもよいし、これとは左右逆の機能を有してもよい。
[0146]
 また、操作入力部510の形態は、上記内容に限定されるものではなく、ズームの倍率等を調整可能な形態であればよい。具体的には、操作入力部510の形態は、例えば、映像入力部300のレンズの絞りリング等を用いる形態や、十字キー等を用いる形態等、ズーム操作と独立の操作を行うことができる態様としてもよい。ユーザは、例えば、映像表示部400に表示される絞り値を見ながら、十字キー等を操作することができる。
[0147]
 また、モード切替入力部520の形態は、上記内容に限定されるものではなく、「Info、Video+Info、Video」、「ナビゲーション、移動、カメラ」等の他の表記を用いてもよいし、ダイヤル式を採用してもよい。
[0148]
 また、フォーカスロック操作がされたときのオブジェクト情報の表示形態の変化は、上記内容に限定されない。例えば、表示形態の変化は、任意の透過度への変更や、情報の強調表示等でもよい。強調表示は、例えば、文字の色、濃さ、輝度、太さ、およびフォントの変化、文字の点滅、文字を囲む枠線の表示、オブジェクト情報表示領域の縁の強調および地の色や輝度の変更を含む。
[0149]
 また、情報表示装置100aは、表示対象となるオブジェクトの数に応じて、オブジェクト情報の詳細度のレベルを変化させるようにしてもよい。具体的には、例えば、情報表示装置100aは、表示対象となるオブジェクトの数が少ないときは、オブジェクト情報の詳細度のレベルを、表示情報決定ルールが規定するレベルよりも上げるようにする。
[0150]
 また、情報表示装置100aは、シャッター速度に応じてオブジェクト情報の有効時間帯を制御してもよい。具体的には、例えば、情報表示装置100aは、速いシャッター速度を選択することにより、現在時刻または指定した時刻の前後または前または後の時間幅が狭い時間内に関連づけられている情報を提示する。あるいは、情報表示装置100aは、遅いシャッター速度を選択することにより、現在時刻または指定した時刻の前後または前または後の時間幅が広い時間内に関連づけられている情報を提示するか、を連続的に制御する。
[0151]
 また、情報表示装置100aは、他のカメラ操作およびカメラ設定(例えば、露出補正(感度調整)の度合い)に対応させて、オブジェクト情報の詳細度や表示形態を変化させるようにしてもよい。具体的には、例えば、情報表示装置100aは、視点から見える範囲の施設の情報を提示するか、それとも視点からは見えない建物の裏側の施設の情報をも含めて提示するか、を制御する。
[0152]
 また、情報表示装置100aは、カメラにおける撮影メニューと同様の、ダイヤル式または同等のメニューによって、レストラン情報、アミューズメント情報等、表示の対象となるオブジェクト情報のジャンルを選択できるようにしてもよい。
[0153]
 また、情報表示装置100aは、ポインタを合わせされたオブジェクト領域やオブジェクト情報の色を変化させるようにしてもよい。更に、情報表示装置100aは、オブジェクト情報の検索インタフェースを備え、検索結果のオブジェクト情報を、色を変えたり、点滅させたり、矢印などのポインタで指し示しながら映像に重畳して表示したりするようにしてもよい。
[0154]
 (実施の形態3)
 本発明の実施の形態3は、着脱可能な記憶媒体に情報重畳映像を記録するようにした例である。
[0155]
 情報重畳映像を記録することは、生成された情報重畳映像を後で別の場所で利用可能とすれば、施設の場所や評判等の情報を第三者に伝えることが容易となり、便利である。そこで、本実施の形態では、生成した情報重畳映像を、単に表示するだけでなく、着脱可能な記憶媒体に記録するようにした。
[0156]
 図18は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態1の図6に対応するものである。図6と同一部分には、同一符号を付し、これについての説明を省略する。
[0157]
 図18において、本実施の形態に係る情報表示装置100bは、記憶媒体750bおよび記録・読出部760bを有する。記憶媒体750bは、記録・読出部760bに接続されている。記録・読出部760bは、オブジェクト重畳部710と映像表示部400との間に配置されている。
[0158]
 記憶媒体750bは、着脱可能な記憶媒体であり、例えばSDメモリカードである。
[0159]
 記録・読出部760bは、情報重畳映像記録モードのとき、情報重畳映像の映像データを、映像表示部400へ転送するとともに、記憶媒体750bに記録する。また、記録・読出部760bは、情報重畳映像再生モードのとき、記憶媒体750bから記憶媒体750bに記録された情報重畳映像の映像データを読みだし、映像表示部400へ送る。
[0160]
 情報重畳映像記録モードおよび情報重畳映像再生モードの設定は、例えば、操作入力部510および動作制御部610によって行うようにすればよい。また、情報重畳映像の映像データは、入力映像とオブジェクト情報の画像とが合成された映像データ、あるいは、入力映像のデータとオブジェクト情報に関するデータとが情報重畳映像を再現可能な状態で分離されたものであってもよい。オブジェクト情報に関するデータとは、例えば、映像データと重畳する際の、映像内の空間的位置を表す座標(表示レイアウト情報)と映像の時間的位置を表すタイムコードとに対応付けて、オブジェクト情報を記録したデータである。
[0161]
 このような情報表示装置は、撮影した実世界映像と、撮影時点のオブジェクト情報とを同時に記録し、また、記録したこれらの情報を、別の情報表示装置等で読出して表示することができる。
[0162]
 なお、記憶媒体としては、光ディスク、半導体メモリ、CD(compact disc)、DVD(digital versatile disk)、およびBD(blu-ray disk)等のメモリデバイス、ハードディスク、ネットワーク上の任意のメモリ、並びに光メモリ等の新規のメモリ等、各種の記憶媒体を適用することができる。
[0163]
 (実施の形態4)
 本発明の実施の形態4は、タッチパネルを用いてユーザ操作を受け付けるようにした例である。
[0164]
 入力映像を、ファインダではなくディスプレイで確認しながら撮影を行うユーザも多い。このようなユーザにとっては、入力映像に映し出されたあるオブジェクトに注目したとき、そのオブジェクトに対するフォーカス操作およびフォーカスロック操作等を、直接ディスプレイ上のオブジェクトを指定できると、使用勝手が良い。そこで、本実施の形態に係る情報表示装置は、タッチパネルによる操作入力部を搭載し、上述の操作を実現する。
[0165]
 まず、本実施の形態に係る情報表示装置の構成について説明する。
[0166]
 図19は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態2の図12に対応するものである。図12と同一部分には、同一符号を付し、これについての説明を省略する。
[0167]
 図19において、本実施の形態に係る情報表示装置100cは、図12の映像表示部400に替えて、映像表示・操作入力部400cを有する。
[0168]
 映像表示・操作入力部400cは、液晶ディスプレイ(実施の形態2の映像表示部400に相当)と一体型のタッチパネル(図示せず)を有する。映像表示・操作入力部400cは、ユーザのタッチ操作により、少なくとも、フォーカス点を画面上の任意の位置に設定するフォーカス操作と、現状の焦点距離を保持するフォーカスロック操作とを受け付ける。
[0169]
 そして、映像表示・操作入力部400cは、受け付けたタッチ操作の内容を示す操作情報を、動作制御部610aへ出力する。より具体的には、映像表示・操作入力部400cは、フォーカス点を指定する操作が行われたとき、その指定された位置にレンズを合焦させることを指示する操作情報を、動作制御部610aへ出力する。また、映像表示・操作入力部400cは、フォーカスロック操作が行われたとき、フォーカスロック操作が行われたことを示す操作情報を、動作制御部610aへ出力する。
[0170]
 次に、情報表示装置100cの動作について説明する。
[0171]
 ユーザは、例えば、タッチパネルの、オブジェクト情報を確認しようとするオブジェクトの映像の近傍に、指先を触れる。すると、映像表示・操作入力部400cは、タッチされた箇所の位置をフォーカス点として指定する操作情報を、動作制御部610aへ出力する(図13のステップS2010:YES)。
[0172]
 以降の動作は、実施の形態2と同様である。すなわち、映像認識部630aは、入力映像に映し出されるオブジェクトを認識する。そして、映像認識部630aは、フォーカス点が位置するオブジェクトのオブジェクト領域、またはその周辺のオブジェクトを含むオブジェクト領域を選択し、対応する領域情報を出力する。この結果、映像表示・操作入力部400cには、ユーザが指先を触れた箇所の近辺にフォーカスされた映像と、その近辺のオブジェクトのオブジェクト情報が表示される。
[0173]
 このように、情報表示装置100cは、タッチ操作によって、オブジェクト情報を表示させるオブジェクトに対するユーザの選択を受け付けることができるようになっている。
[0174]
 図20は、Photo+Infoモードにてタッチ操作が行われたときの、表示映像の変化の一例を示す図であり、図16に対応するものである。
[0175]
 まず、図20Aに示すように、第1~第3のオブジェクト領域833-1~833-3が存在するものとする。この状態で、図20Bおよび図20Cに示すように、Photo+Infoモードにて、映像表示・操作入力部400cに対して指861でタッチ操作が行われ、第1のオブジェクト領域833-1にフォーカス点の位置が指定されたとする。すると、図20Cに示すように、例えば、指定された位置862がフォーカス点となりガイド表示されると共に、第1のオブジェクト情報841-1が表示される。
[0176]
 このように、本実施の形態に係る情報表示装置100cは、ディスプレイに対する直接の指定操作により、オブジェクトに対するフォーカス操作およびフォーカスロック操作等を受け付ける。これにより、ユーザは、注目するオブジェクトを表示画面上でタッチするという自然な操作により、所望のオブジェクトに関するより詳細な情報を得ることができる。
[0177]
 なお、タッチパネル操作を入力される実世界映像に反映させない場合には、情報表示装置100cは、タッチパネル操作の操作情報を、映像認識部630に入力してもよい。この場合、映像認識部630は、例えば、タッチされた位置のオブジェクト領域を抽出し、抽出したオブジェクト領域のみを処理対象として選択すればよい。
[0178]
 また、映像認識部630は、ビルのような明確なオブジェクトがない状況においても、映像全体または映像の一部をオブジェクト領域として同様に処理してもよい。例えば、海と空を映した映像もしくは空のみ映した映像においては、空の部分をオブジェクトとして、空間座標に関連付けた情報をオブジェクト情報として表示してもよい。
[0179]
 (実施の形態5)
 本発明の実施の形態5は、タッチパネルを用いて更に詳細なユーザ操作を受け付けるようにした例である。
[0180]
 ディスプレイ上の同一位置または狭い範囲に対応して多くのオブジェクト情報が登録されている場合がある。そこで、本実施の形態に係る情報表示装置は、タッチパネル上で、ユーザから表示対象の条件の絞り込み操作を受け付けることにより、表示オブジェクト情報の絞り込みを行う。
[0181]
 まず、本実施の形態に係る情報表示装置の構成について説明する。
[0182]
 図21は、本実施の形態に係る情報表示装置の構成を示すブロック図であり、実施の形態4の図19に対応するものである。図19と同一部分には、同一符号を付し、これについての説明を省略する。
[0183]
 図21において、本実施の形態に係る情報表示装置100dは、図19の映像表示部・操作入力部400cと情報出力制御部690aとに替えて、これらと異なる映像表示・操作入力部400dと情報出力制御部690dとを有する。
[0184]
 映像表示・操作入力部400dは、表示対象の条件を指定する条件指定操作を受け付ける。ここでは、条件指定操作は、少なくとも、オブジェクト距離を指定する操作、およびオブジェクト情報の有効時間を指定する操作を含む。オブジェクト情報の有効時間(以下、単に「有効時間」という)とは、オブジェクト情報が有効とされる期間を代表する日時である。映像表示・操作入力部400dは、条件指定操作が行われたとき、条件指定操作の内容を示す操作情報を、情報出力制御部690dへ出力する。条件指定操作の受け付けの詳細については、後述する。
[0185]
 情報出力制御部690dは、映像表示・操作入力部400dから入力される操作情報が示す条件指定操作に応じて、表示するオブジェクト情報を制御する。より具体的には、情報出力制御部690dは、オブジェクト距離を指定する操作が行われたとき、指定されたオブジェクト距離に該当するオブジェクトのオブジェクト情報を、表示オブジェクト情報に決定する。また、情報出力制御部690dは、有効時間を指定する操作が行われたとき、指定された有効時間に該当するオブジェクト情報を、表示オブジェクト情報に決定する。
[0186]
 また、本実施の形態では、実施の形態1~実施の形態4とは異なる内容のオブジェクト情報テーブルが、オブジェクト情報データベース730に格納されているものとする。
[0187]
 図22は、本実施の形態におけるオブジェクト情報テーブルの内容の一例を示す図である。
[0188]
 図22に示すように、オブジェクト情報テーブル810dは、オブジェクトのID811およびオブジェクトの位置812だけでなく、有効時間817dにも対応付けて、オブジェクト情報813~816を記述している。また、ここでは、オブジェクト情報813~816の属性が、実施の形態1~実施の形態4とは異なっている。
[0189]
 レベル1のオブジェクト情報813は、施設に関する一般利用者による投稿(口コミ情報)のラベル情報である。レベル2のオブジェクト情報814は、口コミ情報の詳細情報である。レベル3のオブジェクト情報815は、施設に関するコメントやトピック情報である。また、レベル4のオブジェクト情報816は、施設に関して更に外部の情報を参照する先のURL(uniform resource locator)等を示す参照情報である。すなわち、レベル1~レベル4のオブジェクト情報813~816は、レベルの数や各レベルに記載する情報について、自由に情報の粒度を設定することができる。
[0190]
 例えば、「緯度:xx1、経度:yy2」という位置と、「2009/11/4、8:30」という有効時間との組み合わせには、口コミ情報のラベルとして「振替輸送で足止め」が対応付けられている。また、「緯度:xx1、経度:yy2」という位置と、「2009/11/4、20:30」という有効時間との組み合わせには、口コミ情報のラベルとして「ライブ開催」が対応付けられている。すなわち、同一のオブジェクトであっても、有効時間が異なる場合、異なるオブジェクト情報が対応付けられている。
[0191]
 次に、情報表示装置100dの動作について説明する。
[0192]
 ユーザは、例えば、タッチパネルの、後述するインジケータに触れることにより、条件指定操作を行う。すると、映像表示・操作入力部400dは、条件指定操作の内容(オブジェクト距離や有効時間)を示す操作情報を、情報出力制御部690dへ出力する。
[0193]
 情報出力制御部690dは、オブジェクト距離を指定する条件指定操作の操作情報が入力されたとき、指定されたオブジェクト距離に該当するオブジェクト情報を、表示オブジェクト情報に決定する。また、情報出力制御部690dは、有効時間を指定する条件指定操作の操作情報が入力されたとき、指定された有効時間に該当するオブジェクト情報を、表示オブジェクト情報に決定する。
[0194]
 表示オブジェクトが決定された後の動作は、実施の形態4と同様である。この結果、映像表示・操作入力部400dに表示されるオブジェクト情報は、ユーザが指定した条件(オブジェクト距離や有効時間)に該当するオブジェクト情報に絞られる。
[0195]
 なお、オブジェクト情報の絞り込みは、オブジェクト情報検索部680において行うようにしてもよい。この場合には、オブジェクト情報検索部680は、条件指定操作の内容を示す操作情報を入力し、次のような動作を行う。
[0196]
 オブジェクト情報検索部680は、オブジェクト距離を指定する条件指定操作の操作情報が入力されたとき、例えば、自位置を中心とし指定されたオブジェクト距離を半径とする範囲を、緯度経度情報として算出する。そして、オブジェクト情報検索部680は、緯度経度情報を検索キーとして、実施の形態2と同様に、オブジェクト情報を検索する。
[0197]
 具体的には、オブジェクト情報検索部680は、端末通信部670を介して、緯度経度範囲情報を、オブジェクト情報データベース730dに対する検索クエリとして、情報サーバ740へ送信する。
[0198]
 そして、オブジェクト情報検索部680は、情報サーバ740から返信されたオブジェクト情報を、情報出力制御部690へ出力する。オブジェクト情報検索部680は、有効時間についても同様に情報出力制御部690へ出力する。
[0199]
 以下、各種操作が行われたときの表示映像の変化の例について説明する。
[0200]
 図23は、Photo+Infoモードにてタッチ操作が行われたときの、表示映像の変化の一例を示す図であり、図16に対応するものである。図16と同一部分には同一符号を付し、これについての説明を省略する。
[0201]
 図23に示すように、映像表示・操作入力部400dが表示する情報重畳映像840dは、距離インジケータ871および有効時間インジケータ872を有する。距離インジケータは、現在フォーカスされている各オブジェクト領域のオブジェクト距離を、距離マーク873によって表示する。有効時間インジケータ872は、現在フォーカスされているオブジェクト領域のオブジェクト情報の有効時間を、時間マーク874によって表示する。ここで、フォーカスされているオブジェクト領域とは、フォーカス点またはフォーカス点の周辺のオブジェクト領域である。
[0202]
 映像表示・操作入力部400dは、距離マーク873および時間マーク847を表示するために、情報出力制御部690dから、フォーカスされている各オブジェクト領域のオブジェクト情報を予め取得する。
[0203]
 ここでは、第1および第2のオブジェクト領域833-1、833-2が、フォーカスされているオブジェクト領域であるものとする。
[0204]
 この場合、距離インジケータ871は、第1および第2のオブジェクト領域833-1、833-2にそれぞれ対応する、150mを示す第1の距離マーク873-1と、250mを示す第2の距離マーク873-2とを表示する。
[0205]
 また、有効時間インジケータ872は、第1および第2のオブジェクト領域833-1、833-2に対応して存在する各オブジェクト情報の、有効時間を示す第1および第2の時間マーク874-1、874-2を表示する。
[0206]
 映像表示・操作入力部400dは、デフォルトで、いずれかの距離マーク873および時間マーク874を1つずつ選択された状態にしておく。ここでは、表示オブジェクト情報のレベルがレベル1であり、第1の距離マーク873-1がデフォルトで選択されているものとする。また、第1のオブジェクト領域833-1に対応する第1および第2の時間マーク873-1、873-2は、それぞれ、「8:30」、「20:30」を示し、第1の時間マーク873-1がデフォルトで選択されているものとする。
[0207]
 この場合、図23Aに示すように、表示されるオブジェクト情報は、第1のオブジェクト領域833-1のオブジェクト情報のうち、有効時間「8:30」に対応する情報である「振替輸送で足止め」に絞られる。
[0208]
 この状態で、図23Bおよび図23Cに示すように、指861によって第2の時間マーク873-2がタッチされたとする。すると、図23Cに示すように、表示されるオブジェクト情報は、有効時間「20:30」に対応する情報である「ライブ開催」に変更される。
[0209]
 なお、情報重畳映像840dは、どのオブジェクト距離およびどの有効時間に対応するオブジェクト情報を現在表示しているかを表示することが望ましい。ここでは、距離インジケータ871および有効時間インジケータ872の色によってこの表示が行われている例を示しているが、距離マーク873および時間マーク874の色変化や点滅等を用いてもよい。
[0210]
 このように、本実施の形態に係る情報表示装置は、表示されるオブジェクト情報の絞込みを、ディスプレイのタッチ操作により行うことができる。また、本実施の形態に係る情報表示装置は、絞り込みの条件の指定を、ディスプレイに表示されたオブジェクト距離および有効時間の中から選択することにより行うことができる。
[0211]
 したがって、本実施の形態に係る情報表示装置は、同一オブジェクトに複数のオブジェクト情報が付与される場合や、画面における同一の座標や狭い範囲に複数のオブジェクト情報が付与される場合でも、閲覧が行い易くなる。更には、本実施の形態に係る情報表示装置は、画面上にオブジェクトが映し出されていない場合においても、フォーカス位置周辺の任意のオブジェクトのオブジェクト情報ついて、検索、選択、および閲覧を可能にする。すなわち、ユーザは、注目するオブジェクトを表示画面上でタッチするという自然な操作で、所望のオブジェクトに関するより詳細な情報を得ることができる。
[0212]
 なお、指定可能な条件は、オブジェクト距離および有効時間に限定されるものではなく、オブジェクト情報テーブルに含まれる情報に関する各種条件を採用することができる。例えば、指定可能な条件は、オブジェクト情報の登録時間および設定時間等を採用してもよい。
[0213]
 なお、以上説明した各実施の形態では、予め定められた情報サーバからオブジェクト情報を取得するものとして説明したが、検索エンジンを利用して、通信ネットワーク上で適切なオブジェクト情報を検索ようにしてもよい。
[0214]
 また、各実施の形態では、オブジェクト情報データベースを外部装置に配置し、通信ネットワーク経由で取得されるものとして説明したが、予め情報表示装置にオブジェクトデータベースを備えた構成としてもよい。また、情報表示装置は、必要なオブジェクト情報を保持していない場合にのみ、外部装置から当該オブジェクト情報を取得するようにしてもよい。
[0215]
 また、情報表示装置は、一度取得したオブジェクト情報をキャッシュしておき、外部からの取得を再度行わないように構成してもよい。
[0216]
 また、予め詳細度のレベルごとにオブジェクト情報を用意するのではなく、情報表示装置が、指定された詳細度のレベルに合うように、文章要約機能等を用いて、オブジェクト情報を編集するようにしてもよい。
[0217]
 また、用途によっては、オブジェクト距離がより遠いほど詳細な情報となるようにしたり、フォーカス位置により近いほどより詳細な情報となるようにしてもよい。また、後者の場合には、フォーカス位置からの距離に対して、情報の簡素化(詳細化)の割合を対称としてもよいし、非対称としてもよい。具体的には、例えば、被写界深度に合わせて、フォーカス位置よりも手前側のオブジェクトについては簡素化(詳細化)の割合を少なく、フォーカス位置よりも奥側のオブジェクトについては簡素化(詳細化)の割合を大きくする。
[0218]
 2008年12月25日出願の特願2008-331451の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

産業上の利用可能性

[0219]
 本発明に係る情報表示装置および情報表示方法は、実世界映像に映し出されたオブジェクトに関する情報のうちユーザが知りたい情報を、見易く表示することができる情報表示装置および情報表示方法として有用である。具体的には、本発明は、実世界映像と情報との重畳表示を行う拡張現実感システムとして有用であり、例えば、訓練用、教育用、宇宙開発用、ウェアラブルシステム、エンタテイメントシステムの用途に応用することができる。また、本発明は、ユーザが情報を得たいと望む対象およびその情報量の直感的な制御を行う実世界情報検索システムとして有用であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、カーナビゲーションシステム、携帯電話機によるナビゲーションシステム、計測・測量システムの用途に応用することができる。

符号の説明

[0220]
 100、100a、100b、100c、100d 情報表示装置
 200 本体部
 300 映像入力部
 400 映像表示部
 400c、400d 映像表示・操作入力部
 500 操作インタフェース部
 510 操作入力部
 511 レバー
 512 ボタン
 520 モード切替入力部
 521 スイッチ
 522 スライド部
 610、610a 動作制御部
 620 レンズ制御部
 630、630a 映像認識部
 640 自位置姿勢算出部
 650 距離取得部
 660 オブジェクト測位部
 670 端末通信部
 680 オブジェクト情報検索部
 690、690a、690d 情報出力制御部
 700 情報位置決定部
 710、710a オブジェクト重畳部
 720 通信ネットワーク
 730 オブジェクト情報データベース
 740 情報サーバ
 750b 記憶媒体
 760b 記録・読出部

請求の範囲

[請求項1]
 実世界映像を入力する映像入力部と、
 入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得する距離取得部と、
 前記オブジェクトに関する情報と前記実世界映像とを重畳した映像を出力するオブジェクト重畳部と、
 前記オブジェクト重畳部が出力する前記情報を制御する情報出力制御部と、を有し、
 前記情報出力制御部は、
 取得された前記距離に応じて、前記オブジェクト重畳部が出力する前記情報の提示の仕方を決定する、
 情報表示装置。
[請求項2]
 前記情報出力制御部は、
 前記距離がより短いほど、より多い情報量およびより強調した提示形態の少なくとも1つを、前記オブジェクト重畳部が出力する前記情報に対して決定する、
 請求項1記載の情報表示装置。
[請求項3]
 前記実世界映像の視点の位置を取得する自位置姿勢取得部と、
 入力された前記実世界映像に映し出されるオブジェクトの実世界における位置を取得するオブジェクト測位部と、を更に有し、
 前記オブジェクト測位部は、
 取得された前記視点の位置と、前記視点を基準としたオブジェクトの距離、方位および仰角とに基づいて、前記オブジェクトの位置を取得する、
 請求項1記載の情報表示装置。
[請求項4]
 入力された前記実世界映像から、前記実世界映像に映し出されるオブジェクトを認識する映像認識部、を更に有し、
 前記情報出力制御部は、
 認識された前記オブジェクトに関する情報のうち、決定された前記情報の提示の仕方に対応する情報を、前記オブジェクト重畳部に対して出力させる、
 請求項3記載の情報表示装置。
[請求項5]
 前記オブジェクト測位部は、
 認識された前記オブジェクトの前記実世界映像上の領域と、前記実世界映像の視点および視界とに基づいて、前記オブジェクトの位置を取得する、
 請求項3記載の情報表示装置。
[請求項6]
 前記映像入力部が入力する前記実世界映像のズームの倍率を変化させるレンズ制御部、を更に有し、
 前記情報出力制御部は、
 前記実世界映像のズームの倍率がより大きいほど、より多い情報量を決定する、
 請求項2記載の情報表示装置。
[請求項7]
 前記情報出力制御部は、
 情報表示の対象となるオブジェクトの数がより少ないほど、オブジェクトごとの前記情報に対してより多い情報量を決定する、
 請求項2記載の情報表示装置。
[請求項8]
 前記情報出力制御部は、
 入力された前記実世界映像に映し出されるオブジェクトの中から、情報表示の対象となるオブジェクトを決定する、
 請求項1記載の情報表示装置。
[請求項9]
 前記情報出力制御部は、
 所定のオブジェクト数の範囲内で、情報表示の対象となるオブジェクトを決定する、
 請求項8記載の情報表示装置。
[請求項10]
 前記映像入力部が入力する前記実世界映像の合焦位置を変化させるレンズ制御部、を更に有し、
 前記情報出力制御部は、
 前記合焦位置に近いオブジェクトを、情報表示の対象に決定する、
 請求項8記載の情報表示装置。
[請求項11]
 前記レンズ制御部は、
 所定の操作を受けて前記合焦位置を固定し、
 前記オブジェクト重畳部は、
 前記合焦位置が固定されたときに提示している情報の提示の仕方を変化させる、
 請求項10記載の情報表示装置。
[請求項12]
 前記映像入力部が入力する前記実世界映像の被写界深度を変化させるレンズ制御部、を更に有し、
 前記情報出力制御部は、
 前記被写界深度の範囲内に位置するオブジェクトを、情報表示の対象に決定する、
 請求項8記載の情報表示装置。
[請求項13]
 前記オブジェクト重畳部は、
 認識された前記オブジェクトの前記実世界映像上の領域に対応付けて、そのオブジェクトに関する情報を表示する、
 請求項3記載の情報表示装置。
[請求項14]
 複数のオブジェクトの情報が表示されるときに、前記複数のオブジェクトの実世界での配置関係に対応する位置に、前記複数のオブジェクトの情報の表示位置を決定する情報位置決定部、を更に有する、
 請求項4記載の情報表示装置。
[請求項15]
 前記情報位置決定部は、
 入力された前記実世界映像の奥行き方向を検出し、複数のオブジェクトの情報が表示されるときに前記奥行き方向に揃うように、前記複数のオブジェクトの情報の表示位置を決定する、
 請求項14記載の情報表示装置。
[請求項16]
 ユーザ操作を受け付ける操作入力部と、
 前記ユーザ操作を、入力される前記実世界映像に反映させるモードと、前記ユーザ操作を、提示される前記オブジェクトの情報に反映させるモードと、前記ユーザ操作を、入力される前記実世界映像に反映させ、かつ、入力される前記実世界映像に連動して前記オブジェクトの情報を変化させるモードと、を切り替えて設定する動作制御部、を更に有する、
 請求項1記載の情報表示装置。
[請求項17]
 前記オブジェクト重畳部によって表示される前記実世界映像に対するタッチパネル操作により、ユーザ操作を受け付ける操作入力部、を更に有する、
 請求項1記載の情報表示装置
[請求項18]
 実世界映像を入力するステップと、
 入力された前記実世界映像に映し出されるオブジェクトと前記実世界映像の視点との間の距離を取得するステップと、
 取得された前記距離に応じて、前記オブジェクトに関する情報の提示の仕方を決定するステップと、
 決定された提示の仕方で提示されるように、前記情報と前記実世界映像とを重畳して出力するステップと、
 を有する情報表示方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]