PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 19.11.2019 at 4:00 PM CET
Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2017130700) PHOTOGRAPHY ASSISTANCE DEVICE AND PHOTOGRAPHY ASSISTANCE METHOD
Document

明 細 書

発明の名称 撮影支援装置及び撮影支援方法

技術分野

0001  

背景技術

0002   0003   0004   0005   0006  

先行技術文献

特許文献

0007  

発明の概要

発明が解決しようとする課題

0008   0009   0010   0011   0012   0013   0014   0015  

課題を解決するための手段

0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036  

発明の効果

0037  

図面の簡単な説明

0038  

発明を実施するための形態

0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170  

符号の説明

0171  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24  

明 細 書

発明の名称 : 撮影支援装置及び撮影支援方法

技術分野

[0001]
 本発明は、撮像装置を用いた構造物の撮影を支援する撮影支援装置及び撮影支援方法に関する。

背景技術

[0002]
 社会的なインフラストラクチャーとして、橋梁、道路、トンネル、ダム、ビル等、各種の構造物が存在する。これらの構造物には損傷が発生し、その損傷は時間の経過と共に進行する性質を持つため、所定の頻度で構造物の点検を行うことが求められている。
[0003]
 また、コンピュータ装置による各種の支援技術が知られている。
[0004]
 特許文献1には、GPS(global positioning system)電波を携帯端末で受信して携帯端末の位置情報を算出し、その携帯端末の位置情報が所定範囲内であるか否かを判定することにより、携帯端末の近傍の構造物が点検対象の構造物であるか否かを確認することが記載されている。
[0005]
 特許文献2には、検査対象領域の図面と、検査対象の不具合位置検査用の検査リストとを合成処理して同一画面に表示させることが記載されている。
[0006]
 特許文献3には、検査対象領域での撮像装置の位置、高さ及びレンズ方向が設定されると、その設定された撮像装置の位置、高さ及びレンズ方向から見た三次元画像を生成し、撮影画像と並べて表示することが記載されている。

先行技術文献

特許文献

[0007]
特許文献1 : 特開2007-280282号公報
特許文献2 : 特開平10-269251号公報
特許文献3 : 特開2002-73730号公報

発明の概要

発明が解決しようとする課題

[0008]
 構造物に対して複数回の分割撮影を行う場合、要求された画質を満たす複数の画像をもれなく取得することは困難である。
[0009]
 単に構造物を背景とし例えば人物を主要被写体として一枚の写真を撮影するのであれば、背景である構造物部分の画質が低くても問題とならない場合がある。しかし、構造物の点検のための撮影では、重要な損傷が生じる可能性がある撮影箇所の画質が要求画質を満たしていない場合、構造物の損傷状態を適切に認識できなくなる。
[0010]
 例えば、コンクリート部材のひび割れの検査では微細な幅(例えば0.1mm)のひび割れを認識できることが求められており、そのひび割れを十分に認識可能な高い画質で撮影する必要がある。鋼部材の亀裂の検査でも、その亀裂を十分に認識可能な高い画質で撮影する必要がある。ひび割れ、亀裂等の損傷を十分に認識できない低い画質で撮影されたことが判明した場合、撮影をやり直す必要がある。また、損傷を十分に認識できない低い画質で撮影されたことが看過された場合には、不適切な点検結果が報告されてしまう可能性がある。例えば、細くても重要なひび割れが看過されてしまう可能性、及び太いひび割れが未だ細いと評価されてしまう可能性がある。
[0011]
 特許文献1に記載された技術は、GPSを用いて得られた携帯端末の位置情報に基づいて携帯端末の近傍の構造物が点検対象の構造物であるか否かを確認するだけであるため、点検対象の構造物の画像を取得できるにしても、分割撮影の場合に要求画質を満たす複数の画像をもれなく取得することは困難である。
[0012]
 特許文献2に記載された技術では、検査対象領域の図面に検査リストが合成されるだけであるため、分割撮影の場合に要求画質を満たす複数の画像をもれなく取得することは困難である。
[0013]
 特許文献3に記載された技術では、撮像装置の位置、高さ及びレンズ方向から見た三次元画像が生成されて撮影画像と並べて表示されるだけであるため、分割撮影の場合に要求画質を満たす複数の画像をもれなく取得することは困難である。
[0014]
 また、点検目的に限らず、構造物の分割撮影を行う場合がある。例えば、構造物の要部について、何らかの設計情報を作成する目的で構造物の分割撮影を行う場合がある。このような点検目的以外の分割撮影でも要求画質を満たす複数の画像をもれなく取得できることが求められる。
[0015]
 本発明はこのような事情に鑑みてなされたもので、撮像装置を用いて構造物を分割撮影する際に、要求画質を満たす画像をもれなく撮影することを可能にする撮影支援装置及び撮影支援方法を提供することを目的とする。

課題を解決するための手段

[0016]
 上述した目的を達成するため、本発明の第1の態様に係る撮影支援装置は、撮像装置を用いる構造物の撮影を支援する撮影支援装置であって、構造物の図面情報を取得する図面情報取得部と、図面情報に基づいて構造物の撮影箇所を特定する撮影箇所特定部と、撮影画像の画質情報を取得する画質情報取得部と、特定された撮影箇所及び画質情報に基づいて、構造物の撮影ごとの撮像装置の撮影位置情報及び撮影範囲情報のうち少なくとも一方を含む撮影計画情報を生成する撮影計画部と、構造物の撮影ごとの撮像装置の実撮影位置情報及び実撮影範囲情報のうち少なくとも一方を含む実撮影情報を取得する実撮影情報取得部と、撮影計画情報及び実撮影情報を図面情報に合成し、表示装置に表示させる撮影支援情報生成部と、を備える。
[0017]
 本態様によれば、図面情報に基づいて構造物の撮影箇所が特定され、特定された撮影箇所及び画質情報に基づいて構造物の撮影ごとの撮像装置の撮影位置情報及び撮影範囲情報のうち少なくとも一方を含む撮影計画情報が生成され、且つ構造物の撮影ごとの撮像装置の実撮影位置情報及び実撮影範囲情報のうち少なくとも一方を含む実撮影情報が取得され、撮影計画情報及び実撮影情報が図面情報に合成されて表示装置に表示されるので、要求された画質を満たす分割撮影が行われているのか否かを撮影ごとに容易且つ適切に確認することができる。つまり、撮像装置を用いて構造物を分割撮影する際に、要求画質を満たす画像をもれなく取得することを可能にする。
[0018]
 本発明の第2の態様に係る撮影支援装置は、撮像装置は撮像素子及び撮像レンズを含んで構成され、撮像装置の撮像素子の画素数情報及びサイズ情報と撮像レンズの焦点距離情報とを含む撮影性能情報を取得する撮影性能情報取得部を備え、撮影計画部は、撮影性能情報及び画質情報に基づいて、撮影画像に要求される画質を満足させる撮影計画情報を生成する。本態様によれば、撮像素子の画素数情報及びサイズ情報と撮像レンズの焦点距離情報と画質情報とに基づいて、撮影画像に要求される画質を満足させる撮影計画情報が生成されるので、同一種類の構造物に対して、撮像素子の画素数、撮像素子のサイズ及び撮像レンズの焦点距離のうち少なくとも一つが異なる撮像装置を用いる場合でも、要求画質を満たす画像をもれなく取得することを可能にする。
[0019]
 本発明の第3の態様に係る撮影支援装置では、撮影性能情報は、コントラスト、ピント、ボケ、ブレ、視野角、ノイズ、圧縮率、ホワイトバランス、及びシャッタスピードのうちの少なくとも一つに関する情報を含む。本態様によれば、同一種類の構造物に対して、コントラスト、ピント、ボケ、ブレ、視野角、ノイズ、圧縮率、ホワイトバランス、及びシャッタスピードのうちの少なくとも一つが異なる撮像装置が用いられる場合でも、要求画質を満たす画像をもれなく取得することを可能にする。
[0020]
 本発明の第4の態様に係る撮影支援装置は、撮影支援情報生成部は、撮像装置により撮像された画像を図面情報に合成する。本態様によれば、図面情報に合成された画像により、容易且つ適切な確認を行うことが可能となる。
[0021]
 本発明の第5の態様に係る撮影支援装置は、一の撮影画像と他の撮影画像とが一定幅以上で重なるか否かを判定する撮影範囲判定部を備える。本態様によれば、撮影計画情報の撮影位置と実撮影位置とに差が生じても、一定幅以上の重なり部分を持った複数の撮影画像を合成することで、要求された画質を持つ全体画像を容易に作成することが可能になる。
[0022]
 本発明の第6の態様に係る撮影支援装置は、撮影範囲判定部は、撮影済である一の撮影画像の実撮影範囲情報と未撮影である他の撮影画像の撮影範囲情報とに基づいて、重なるか否かの判定を行う。本態様では、撮影計画情報は撮影範囲情報を含み、且つ実撮影情報は実撮影範囲情報を含む。
[0023]
 本発明の第7の態様に係る撮影支援装置は、撮影支援情報生成部は、重なり判定部により一定幅以上で重ならないと判定された場合、表示装置に警告を表示させる。つまり、重なりが一定幅未満である場合又は重なりが無い場合には、警告が表示される。
[0024]
 本発明の第8の態様に係る撮影支援装置は、撮影支援情報生成部は、構造物の撮影ごとの撮影位置情報及び実撮影位置情報を表示装置に表示させる。本態様では、撮影計画情報は撮影位置情報を含み、且つ実撮影情報は実撮影位置情報を含む。
[0025]
 本発明の第9の態様に係る撮影支援装置は、実撮影情報取得部は、絶対位置が判明している基準装置との通信により、実撮影位置情報を取得する。
[0026]
 本発明の第10の態様に係る撮影支援装置は、実撮影情報取得部は、撮像装置の一の時点での絶対位置を取得し、且つ撮像装置の一の時点での絶対位置に対する撮像装置の他の時点での相対位置を取得し、撮像装置の絶対位置及び相対位置に基づいて実撮影位置情報を取得する。
[0027]
 本発明の第11の態様に係る撮影支援装置は、撮像装置の移動可能範囲又は移動不可能範囲を示す移動範囲情報を取得する移動範囲情報取得部を備え、撮影計画部は、移動範囲情報に基づいて、撮像装置を移動可能範囲内で移動させる撮影計画情報を生成する。
[0028]
 本発明の第12の態様に係る撮影支援装置は、撮影計画部は、撮像装置の移動可能範囲内での撮影位置の順列を示す撮影計画情報を生成し、撮影支援情報生成部は、撮影位置の順列を表示装置に表示させる。
[0029]
 本発明の第13の態様に係る撮影支援装置は、撮影計画部は、構造物の撮影ごとの撮像装置の撮影方向情報を取得し、撮影方向情報を含む撮影計画情報を生成する。
[0030]
 本発明の第14の態様に係る撮影支援装置は、撮影箇所に対する撮影が完了したか否かを判定する撮影完了判定部を備え、撮影支援情報生成部は、撮影が完了したと判定された場合、表示装置に撮影完了情報を表示させる。
[0031]
 本発明の第15の態様に係る撮影支援装置は、撮影支援情報生成部は、撮影箇所に対する未完了の撮影があると判定され、且つ未完了の撮影での撮影位置から撮像装置までの距離が閾値を超えた場合、表示装置に撮影未完了情報を表示させる。本態様では、撮影計画情報は撮影位置情報を含む。
[0032]
 本発明の第16の態様に係る撮影支援装置は、指示入力を受け付ける指示入力部を備え、撮影支援情報生成部は、撮影箇所に対する未完了の撮影があると判定され、且つ撮像装置及び撮影支援装置のうち少なくとも一つの装置を停止させる指示入力が行われた場合、表示装置に撮影未完了情報を表示させる。
[0033]
 本発明の第17の態様に係る撮影支援装置は、構造物の部材の種類を示す情報、構造物の損傷の種類を示す情報、及び構造物の構造の種類を示す情報のうち少なくとも一つの情報を取得する撮影箇所関連情報取得部を備え、撮影箇所特定部は、部材の種類を示す情報、損傷の種類を示す情報、及び構造の種類を示す情報のうち少なくとも一つの情報に基づいて図面情報を解析することにより、撮影箇所を特定する。
[0034]
 本発明の第18の態様に係る撮影支援装置は、撮影箇所特定部は、部材の種類がコンクリート部材である場合、コンクリート部材のうち露出した全面を撮影箇所として特定する。
[0035]
 本発明の第19の態様に係る撮影支援装置は、撮影箇所特定部は、部材の種類が鋼部材である場合、鋼部材のうち応力が作用する部分を撮影箇所として特定する。
[0036]
 本発明の撮影支援方法は、撮像装置を用いる構造物の撮影を支援する撮影支援方法であって、構造物の図面情報を取得する工程と、図面情報に基づいて構造物の撮影箇所を特定する工程と、撮影画像の画質情報を取得する工程と、特定された撮影箇所及び画質情報に基づいて、構造物の撮影ごとの撮像装置の撮影位置情報及び撮影範囲情報のうち少なくとも一方を含む撮影計画情報を生成する工程と、構造物の撮影ごとの撮像装置の実撮影位置情報及び実撮影範囲情報のうち少なくとも一方を含む実撮影情報を取得する工程と、撮影計画情報及び実撮影情報を図面情報に合成し、表示装置に表示させる撮影支援情報を生成する工程と、を含む。

発明の効果

[0037]
 本発明よれば、撮像装置を用いて構造物を分割撮影する際に、要求画質を満たす画像をもれなく撮影することを可能にする。

図面の簡単な説明

[0038]
[図1] 図1は、構造物の一例である橋梁の外観図である。
[図2] 図2は、撮像装置を含むロボット装置の外観を示す斜視図である。
[図3] 図3は、図2に示したロボット装置の要部断面図である。
[図4] 図4は、本発明に係る撮影支援装置の一例のブロック図である。
[図5] 図5は、トータルステーションを用いた実撮影位置情報取得の説明に用いる説明図である。
[図6] 図6は、要求画素密度と撮影性能情報と実撮影位置情報との関係を示す説明図である。
[図7] 図7は、第1の実施形態における撮影支援処理の実施例1の流れを示すフローチャートである。
[図8] 図8は、撮影ごとの予定の撮影位置情報及び予定の撮影範囲情報を図面情報に合成した場合の表示例を示す説明図である。
[図9] 図9は、撮影ごとの予定の撮影位置情報、予定の撮影範囲情報及び実撮影範囲情報を図面情報に合成した場合の表示例を示す説明図である。
[図10] 図10は、第1の実施形態における撮影支援処理の実施例2の流れを示すフローチャートである。
[図11] 図11は、第1の実施形態における撮影支援処理の実施例3の流れを示すフローチャートである。
[図12] 図12は、撮像装置及びパンチルト機構の外観斜視図である。
[図13] 図13は、ロボット装置の一例のブロック図である。
[図14] 図14は、第2の実施形態における撮影支援処理の実施例の流れを示すフローチャートである。
[図15] 図15は、第3の実施形態における撮影支援処理の実施例の流れを示すフローチャートである。
[図16] 図16は、橋梁を構成する鋼部材の撮影箇所を模式的に示す説明図である。
[図17] 図17は、橋梁の主桁の部材番号を示す図である。
[図18] 図18は、橋梁の主桁の要素番号を示す図である。
[図19] 図19は、橋梁の横桁の部材番号を示す図である。
[図20] 図20は、橋梁の横桁の要素番号を示す図である。
[図21] 図21は、橋梁の下横構の要素番号を示す図である。
[図22] 図22は、橋梁の上横構の要素番号を示す図である。
[図23] 図23は、撮像装置の現在の撮像画像を実撮影範囲情報として図面情報に合成した場合の表示例を示す説明図である。
[図24] 図24は、撮影計画情報の撮影位置情報及び実撮影位置情報を図面情報に合成した表示例を示す説明図である。

発明を実施するための形態

[0039]
 以下、添付図面に従って本発明に係る撮影支援装置及び撮影支援方法の実施形態について説明する。
[0040]
 [構造物例]
 図1は、構造物の一例である橋梁の外観図であり、橋梁を下から見た斜視図である。
[0041]
 図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベット又は溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、コンクリート部材からなるものが一般的である。
[0042]
 主桁2は、橋台又は橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4及び横構5は、それぞれ風及び地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。
[0043]
 なお、本発明における「構造物」は、橋梁に限定されない。例えば、道路、トンネル、ダム、ビルでもよい。
[0044]
 [撮像装置例及び撮像装置搭載例]
 図2は、撮像装置200を含むロボット装置100の外観を示す斜視図であり、橋梁1の主桁2間に設置されている状態に関して示している。また、図3は、図2に示したロボット装置の要部断面図である。
[0045]
 ロボット装置100は、撮像装置200を備え、撮像装置200の三次元空間内の位置(実撮影位置である)を制御し、かつ撮像装置200の撮影方向(実撮影方向である)を制御する。
[0046]
 ロボット装置100は、主フレーム102と、垂直伸延アーム104と、垂直伸延アーム104の駆動部及び各種の制御部等が配設された筐体106と、筐体106を主フレーム102の長手方向(主桁2の長手方向と直交する方向)(X方向)に移動させるX方向駆動部と、ロボット装置100全体を主桁2の長手方向(Y方向)に移動させるY方向駆動部と、垂直伸延アーム104を垂直方向(Z方向)に伸縮させるZ方向駆動部とを備えている。
[0047]
 X方向駆動部は、主フレーム102の長手方向(X方向)に配設されたボールネジ108Aと、筐体106に配設されたボールナット108Bと、ボールネジ108Aを回転させるモータ108Cとから構成され、モータ108Cによりボールネジ108Aを正転又は逆転させることにより、筐体106をX方向に移動させる。
[0048]
 Y方向駆動部は、主フレーム102の両端にそれぞれ配設されたタイヤ110A、110Bと、タイヤ110A、110B内に配設されたモータ(図示せず)とから構成され、タイヤ110A、110Bをモータ駆動することによりロボット装置100全体をY方向に移動させる。
[0049]
 尚、ロボット装置100は、主フレーム102の両端のタイヤ110A、110Bが、2箇所の主桁2の下フランジ上に載置され、かつ主桁2を挟む態様で設置される。これにより、ロボット装置100は、主桁2の下フランジに懸垂して、主桁2に沿って移動(自走)することができる。また、主フレーム102は、図示しないが、主桁2の間隔に合わせて長さが調整可能に構成されている。
[0050]
 垂直伸延アーム104は、ロボット装置100の筐体106に配設されており、筐体106と共にX方向及びY方向に移動する。また、垂直伸延アーム104は、Z方向に伸縮する。
[0051]
 なお、本発明における「撮像装置」は、ロボット装置に搭載されたデジタルカメラに限定されない。例えば、ドローン(飛行装置)に搭載されたデジタルカメラ、人が携帯したデジタルカメラであってもよい。
[0052]
 また、本発明における「画像」は、静止画像に限定されない。動画像であってもよい。
[0053]
 撮像装置200は、撮像素子及び撮像レンズを含んで構成されている。
[0054]
 [第1の実施形態]
 図4は、本発明に係る撮影支援装置の一例のブロック図である。
[0055]
 本例の撮影支援装置10は、撮像装置200を用いた構造物の撮影を支援するコンピュータ装置であって、無線通信を行う無線通信部11と、データベース50との各種の情報の入出力を行う外部入出力部12と、ユーザに対する表示を行う表示部13(「表示装置」の一形態である)と、ユーザに対する音出力を行う音出力部14と、ユーザからの指示入力を受け付ける指示入力部15と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部16と、記憶部16に記憶されたプログラムに従って撮影支援装置10の各部を制御するCPU(central processing unit)20を備える。
[0056]
 無線通信部11は、撮像装置200、基準装置300などの外部の無線通信可能な装置との間で無線通信を行う無線通信デバイスによって構成される。
[0057]
 外部入出力部12は、ネットワークを介してデータベース50と通信可能なデバイスによって構成される。メモリカードなどの撮影支援装置10の外部の記憶デバイスとの間で情報の入出力を行うデバイスを用いてもよい。
[0058]
 本例の外部入出力部12は、データベース50から、構造物の図面情報、撮影画像の画質情報、撮像装置200の撮影性能情報、撮像装置200の移動範囲情報、及び構造物の撮影箇所に関する撮影箇所関連情報を取得する。つまり、本例の外部入出力部12は、本発明における「図面情報取得部」、「画質情報取得部」、「撮影性能情報取得部」、「移動範囲情報取得部」、及び「撮影箇所関連情報取得部」の一形態である。
[0059]
 図面情報は、例えば、CAD(computer aided design)図面データである。CADで作成されていない非CADの図面データであってもよい。
[0060]
 画質情報は、撮像装置200を用いた撮影によって得られる撮影画像に要求される画質(以下「要求画質」という)を示す情報である。
[0061]
 撮影性能情報は、撮像装置200の撮像素子の画素数情報と、撮像装置200の撮像素子のサイズ情報と、撮像装置200の撮像レンズの焦点距離情報を含む。画素数情報は、撮像装置200の撮像素子の画素数(以下「撮像素子画素数」という)に対応した情報であり、画素数そのもので表す場合に限定されない。サイズ情報は、撮像装置200の撮像素子のサイズ(以下「撮像素子サイズ」という)に対応した情報であり、サイズの物理量で表す場合には限定されない。焦点距離情報は、撮像装置200の撮像レンズの焦点距離に対応した情報であり、焦点距離そのもので表す場合に限定されない。例えば、サイズ情報は、「フルサイズ」等の識別情報でもよい。例えば、焦点距離及び撮像素子サイズによって決まる視野角と、撮像素子画素数とで、撮影性能情報を表す場合も本発明に含まれる。
[0062]
 また、撮影性能情報は、コントラスト、ピント、ボケ、ブレ、視野角、ノイズ、圧縮率、ホワイトバランス、及びシャッタスピードのうちの少なくとも一つに関する情報を含んでいてもよい。
[0063]
 移動範囲情報は、撮像装置200の移動可能範囲又は移動不可能範囲を示す。
[0064]
 撮影箇所関連情報は、例えば、構造物の部材の種類を示す部材種類情報、構造物の損傷の種類を示す損傷種類情報、及び構造物の構造の種類を示す構造種類情報のうち少なくとも一つを含む。
[0065]
 表示部13は、例えばLCD(liquid crystal display)によって構成される。有機エレクトロルミネッセンス・ディスプレイ等、他の表示装置を用いてもよい。
[0066]
 音出力部14は、例えばスピーカによって構成される。
[0067]
 指示入力部15は、例えばタッチパネルによって構成される。キーボード及びマウスによって構成してもよい。他の入力デバイスを用いてもよい。例えば音声入力デバイスを用いてもよい。
[0068]
 記憶部16は、撮影支援装置10の内部に設けられた記憶デバイスであり、ROM(read only memory)、RAM(random access memory)、及びEEPROM(electrically erasable programmable read only memory)によって構成される。他の記憶デバイスを用いてもよい。
[0069]
 本例のCPU20は、図面情報に基づいて構造物の撮影箇所を特定する撮影箇所特定部22と、特定された撮影箇所及び画質情報に基づいて、構造物の一回の撮影ごとの撮像装置200の予定の撮影位置を示す撮影位置情報及び構造物の一回の撮影ごとの撮像装置200の予定の撮影範囲を示す撮影範囲情報を取得し、撮影位置情報及び撮影範囲情報を含む撮影計画情報を生成する撮影計画部24と、無線通信部11を介して撮像装置200を制御する撮像制御部26と、構造物の一回の撮影ごとの撮像装置200の実撮影位置情報及び構造物の一回の撮影ごとの撮像装置200の実撮影範囲情報を含む実撮影情報を取得する実撮影情報取得部28と、撮影計画情報及び実撮影情報を図面情報に合成し、表示部13に表示させる撮影支援情報生成部30と、撮像装置200によって得られた撮影画像の実際の画質が要求画質に適合するか否かを判定する画質判定部32と、撮影計画情報の撮影範囲情報及び実撮影範囲情報に基づいて予定の撮影範囲及び実撮影範囲が適切であるか否かを判定する撮影範囲判定部34と、構造物の撮影箇所に対する撮影が全て完了したか否かを判定する撮影完了判定部36と、構造物の撮影箇所に対する未完了の撮影があり且つユーザに撮影終了意思があるか否かを判定する撮影未完了判定部38を備える。
[0070]
 次に、撮影箇所特定部22の撮影箇所特定について、説明する。撮影箇所特定部22の撮影箇所特定態様には各種あるが、少なくとも図面情報を用いて、撮影箇所を特定する。例えば、図1の橋梁1を構成するコンクリート部材の露出した全面(例えば床版6の露出面)を、点検のための撮影箇所として特定する。
[0071]
 次に、撮影計画部24の撮影計画情報生成について、説明する。本例の撮影計画部24は、少なくとも撮影箇所特定部22によって特定された撮影箇所と外部入出力部12によってデータベース50から取得された画質情報とに基づいて、撮影画像に要求される画質を満足させる撮影位置情報及び撮影範囲情報を取得する。また、撮影計画部24は、撮像装置200の移動可能範囲内での撮影位置の順列を示す撮影計画情報を生成する。
[0072]
 次に、撮像制御部26の撮像装置制御について、説明する。本例の撮像制御部26は、撮影計画情報に基づいて、撮像装置200及びロボット装置100を制御する。本例の撮像装置200はロボット装置100に搭載されており、ロボット装置100に対して無線通信部11を介して指示を送信することにより撮像装置200の実撮影位置及び実撮影方向を制御する第1の撮像制御処理と、撮像装置200に対して無線通信部11を介して指示を送信することにより撮像装置200の撮像を制御する第2の撮像制御処理とを行う。
[0073]
 次に、実撮影情報取得部28の実撮影位置情報取得及び実撮影範囲情報取得について、説明する。本例の実撮影情報取得部28は、図5に示すように、絶対位置が判明している基準装置300と無線通信部11を介して通信を行うことにより、撮像装置200の現実の撮影位置を示す実撮影位置情報を取得する。基準装置300として、例えばトータルステーションを用いる。トータルステーションは、測量機器の一つであって、距離を測定する光波測距儀(距離測定部)と、角度を測定するセオドライト(角度測定部)とを含んで構成される。つまり、撮像装置200までの距離と撮像装置200に対する角度とを同時に測定する。本例の実撮影情報取得部28は、無線通信部11を介して、トータルステーションで測定された距離及び角度をトータルステーションから受信して、撮像装置200の実撮影位置情報を取得する。また、本例の実撮影情報取得部28は、実撮影位置情報に基づいて、撮像装置200の現実の撮影範囲を示す実撮影範囲情報を取得する。
[0074]
 次に、撮影支援情報生成部30の撮影支援情報生成について、説明する。撮影支援情報生成部30による撮影支援情報生成には、各種の態様がある。例えば、図面情報に対して、撮影計画情報の撮影ごとの撮影範囲情報及び撮影ごとの実撮影範囲情報を合成する。撮像装置200で撮像された画像を実撮影範囲情報として図面情報に合成してもよい。更に、撮影計画情報の撮影ごとの撮影位置情報及び撮影ごとの実撮影位置情報を図面情報に合成することが、好ましい。つまり、撮影支援情報生成部30は、撮影計画情報及び実撮影情報を図面情報に合成して表示部13に表示させる表示処理部として機能する。また、撮影支援情報生成部30は、表示部13に表示させる後述の各種の警告情報(画質不適切情報、撮影範囲不適切情報、撮影未完了情報など)を生成する。つまり、撮影支援情報生成部30は、各種の警告情報を表示部13に表示させる表示処理部としても機能する。また、撮影支援情報生成部30は、撮影完了情報等の通知情報を表示部13に表示させる表示処理部としても機能する。
[0075]
 次に、画質判定部32の画質判定について、説明する。本例の画質判定部32は、撮影画像が要求画素密度(画質情報の一例である)を満たしているか否かを判定する。図6を用いて、要求画素密度と撮影性能情報と実撮影位置情報との関係を説明する。要求画素密度は、撮影画像において撮影対象面Spの単位長さ当たりに要求される画素数である。橋梁1のコンクリート部材からなる床版6のひび割れ状態認識のために要求される要求画素数密度、即ち床版6の露出面(撮影対象面Spである)の単位長さ当たりの要求画素数は、予め決められている。例えば0.1mmのひび割れ検出に必要な要求画素密度がPr[ピクセル/mm]であり、撮像装置200の撮影方向Dが撮影対象面Spに対して直交する場合(即ち撮像装置200を撮影対象面Spに正対させて撮影を行う場合)、画質判定部32は、撮像装置200の撮像素子の画素数及びサイズと撮像装置200の焦点距離(視野角φに対応する)と、撮像装置200の実撮影位置Ppから撮影対象面Spまでの距離Dpとに基づいて、撮影画像が要求画素密度Prを満たすか否かを判定できる。要求画質を、要求画素密度の逆数(要求分解能)で表してもよい。尚、撮像装置200の撮影範囲は、撮影対象面Spのうち要求画素密度Prを満たす要求適合範囲Rfを包含する必要がある。
[0076]
 画質判定部32により撮影画像が要求画素密度を満たしていないと判定された場合、撮影支援情報生成部30は、撮影画像の画質が不適切であることを示す警告情報(画質不適切情報)を生成する。つまり、表示部13に画質不適切情報が表示される。
[0077]
 次に、撮影範囲判定部34の撮影範囲判定について、説明する。
[0078]
 撮影範囲判定部34は、撮像装置200により構造物の撮影箇所(撮影箇所特定部22により特定された撮影箇所である)を複数回に分けて分割撮影する場合、一の撮影画像と他の撮影画像とが一定幅以上で重なるか否かを判定する。本例の「一定幅」は、撮影画像における撮影計画情報の撮影位置情報によって示される予定の撮影位置と実撮影位置情報によって示される現実の撮影位置との許容誤差以上である。
[0079]
 本例の撮影範囲判定部34は、第1の撮影範囲判定として、撮影箇所の一の撮影画像の撮影範囲(撮影計画情報に含まれる一の撮影範囲情報によって示される予定の撮影範囲である)と、その撮影箇所の他の撮影画像の撮影範囲(撮影計画情報に含まれる他の撮影範囲情報によって示される予定の撮影範囲である)とが、一定幅以上で重なるか否かの判定を行う。
[0080]
 本例の撮影範囲判定部34は、第2の撮影範囲判定として、撮影箇所の一の撮影画像の実撮影範囲(撮影済である一の撮影画像の現実の撮影範囲である)と、その撮影箇所の他の撮影画像の撮影範囲(未撮影である他の撮影画像の予定の撮影範囲である)とが、一定幅以上で重なるか否かの判定を行う。
[0081]
 本例の撮影範囲判定部34は、第3の撮影範囲判定として、撮影箇所の一の撮影画像の実撮影範囲と、その撮影箇所の他の撮影画像の実撮影範囲とが、一定幅以上で重なるか否かの判定を行う。
[0082]
 撮影範囲判定部34により撮影画像の撮影範囲が不適切であると判定された場合、撮影支援情報生成部30は、撮影範囲が不適切であることを示す警告情報(撮影範囲不適切情報)を生成する。つまり、表示部13に撮影範囲不適切情報が表示される。
[0083]
 次に、撮影完了判定部36の撮影完了判定について、説明する。
[0084]
 撮影完了判定部36は、構造物の撮影箇所に対する撮影が全て完了したか否かを判定する。撮影支援情報生成部30は、撮影完了判定部36により構造物の撮影箇所に対する撮影が全て完了したと判定された場合、表示部13に表示させる撮影完了情報を生成する。つまり、表示部13に撮影完了情報が表示される。
[0085]
 次に、撮影未完了判定部38の撮影未完了判定について、説明する。撮影未完了判定部38は、構造物の撮影箇所に対する未完了の撮影があり、且つユーザに撮影終了意思があるか否かを判定する。
[0086]
 撮影未完了判定部38によるユーザの撮影終了意思の判定(撮影終了意思判定)には各種ある。第1に、未完了の撮影画像の予定の撮影位置から撮像装置200までの距離が閾値を超えた場合、ユーザに撮影終了意思があると判定する態様がある。第2に、撮像装置200及び撮影支援装置10のうち少なくとも一つの装置を停止させる指示入力が行われた場合、ユーザに撮影終了意思があると判定する態様がある。
[0087]
 撮影支援情報生成部30は、撮影未完了判定部38により構造物の撮影箇所に対する未完了の撮影があり且つユーザに撮影終了意思があると判定された場合、表示部13(表示装置)に表示させる警告情報を生成する。つまり、撮影支援情報生成部30は、撮影未完了であることを示す警告情報(撮影未完了情報)を生成する。表示部13に撮影未完了情報が表示される。
[0088]
 次に、CPU20によりプログラムに従って実行する第1の実施形態の撮影支援処理の具体例について、実施例1から実施例3に分けて説明する。
[0089]
 <撮影支援処理の実施例1>
 図7は、第1の実施形態における撮影支援処理の実施例1の流れを示すフローチャートである。本処理は、記憶部16に記憶されたプログラムに従って、CPU20により実行される。以下では、点検対象の構造物として図1の橋梁1を撮影する場合を例に説明する。
[0090]
 ステップS2からステップS10までは、撮影支援装置10をネットワークを介してデータベース50と接続した状態で実行される。ここで、ネットワークは、ローカルエリアネットワークでもよいし、グローバルエリアネットワークでもよい。セキュリティ保護されたネットワークを用いることが好ましい。
[0091]
 まず、外部入出力部12により、データベース50から、構造物の図面情報を取得する(ステップS2)。本例では、橋梁1のCAD図面データを取得する。
[0092]
 次に、撮影箇所特定部22により、図面情報に基づいて、構造物の撮影箇所を特定する(ステップS4)。本例では、橋梁1のうちコンクリート部材からなる床版6を点検するため、床版6の露出した全面を撮影箇所として特定する。ここで、床版6の基準位置を原点とした撮影箇所の全範囲(床版6の格間ごとの露出面の全面である)を示す領域情報(以下「撮影箇所領域情報」という)が生成される。
[0093]
 次に、外部入出力部12により、データベース50から、撮影画像に要求される画質情報を取得する(ステップS6)。本例では、コンクリート製の床版6に発生する損傷のうち最も高画質であることが要求される「ひび割れ」の幅に対応した画質情報を取得する。本例では、画質情報として、床版6の露出面(撮影対象面である)に対して要求される撮影画像の画素密度(以下「要求画素密度」という)を、取得する。要求画素密度は、撮影対象面の単位長さ当たりの画素数(ピクセル)で表される。また、本例では、撮影画像に対して要求される重なり幅(以下「要求重なり幅」という)を、取得する。要求重なり幅は、一の撮像画像と、その一の撮像画像に隣接する他の撮像画像との重なり幅である。言い換えると、隣接する撮影範囲同士の重なり幅である。
[0094]
 次に、撮影計画部24により、ステップS4で特定された撮影箇所、及びステップS6で取得された画質情報に基づいて、一回の撮影ごとの撮像装置200の撮影位置情報、及び一回の撮影ごとの撮像装置200の撮影範囲情報を取得する(ステップS8)。
[0095]
 本例では、撮像装置200の撮像素子の画素数及びサイズと、撮像装置200の撮像レンズの焦点距離とが予め固定されており、橋梁1の床版6の格間ひとつに対する複数回の撮影に亘り、撮影性能が一定であるものとする。また、撮像装置200の撮影位置のみを変更しながら複数回の撮影を行い、撮像装置200の撮影方向は変更しないものとする。また、撮像装置200の移動可能範囲に制限が無い(移動不可能範囲が無い)ものとする。
[0096]
 取得された撮影位置情報及び撮影範囲情報を含む撮影計画情報は、記憶部16に記憶される。
[0097]
 ステップS10からステップS32までは、構造物が存在する点検現場で実行される。撮影支援装置10は、点検現場において、ロボット装置100、撮像装置200及び基準装置300と無線通信が可能である。尚、撮影支援装置10は、点検現場において、データベース50にアクセス可能であってもよいが、ステップS10~S32において必要となる情報(例えば図面情報及び撮影計画情報)をステップS10よりも前に記憶部16に予め記憶させておくことにより、データベース50にアクセス不要とすることができる。
[0098]
 まず、撮影支援情報生成部30により、撮影計画情報を図面情報に合成して表示部13に表示させる(ステップS10)。例えば、図8に示すように、床版6を格間単位で撮影し、1つの格間を12分割で撮影する場合、合計12回の分割撮影の一回の撮影ごとの撮影位置情報Pb及び撮影範囲情報Fbを図面情報に合成する。尚、撮影範囲情報のみを図面情報に合成して撮影位置情報を図面情報に合成しない態様としてもよいし、撮影位置情報のみを図面情報に合成して撮影範囲情報を図面情報に合成しない態様としてもよい。
[0099]
 次に、撮像制御部26により、撮像装置200で一回の撮影が行われたか否かを判定する(ステップS12)。
[0100]
 次に、実撮影情報取得部28により、撮像装置200の実撮影位置情報及び実撮影範囲情報を取得する(ステップS14)。
[0101]
 図5に示したように、本例では、絶対位置が判明している基準装置300(例えばトータルステーション)により、撮像装置200の現在位置を計測する。例えば、撮像装置200による床版6の撮影時、撮像装置200は、撮像した画像を無線通信により撮影支援装置10に送信する。撮影支援装置10は、撮像装置200から無線通信で受信した画像と、基準装置300から無線通信で受信した実撮影位置情報とを関連付けて、記憶部16に記憶する。記憶部16に記憶する代わりに、図示を省略した外部装置に記録してもよい。また、撮影支援装置10から撮像装置200に対して撮影指示及び実撮影位置情報(基準装置300から無線通信により受信した情報である)を無線通信で送信し、撮像装置200で画像と実撮影位置情報とを関連付けて記憶してもよい。尚、基準装置300は、橋梁1の床版6の基準位置を計測済であり、その床版6の基準位置を原点とした実撮影位置情報を算出することができる。
[0102]
 実撮影情報取得部28は、実撮影位置情報に基づいて実撮影範囲情報を取得することができる。本例では、撮像装置200の撮影方向が一定であり、且つ撮像装置200の撮影条件が一定であるため、実撮影位置情報のみをパラメータとして実撮影範囲情報を取得することが可能である。
[0103]
 次に、撮影支援情報生成部30により、ステップS14で生成された情報(実撮影位置情報及び実撮影範囲情報を含む実撮影情報)のうち必要な情報を、図面情報に合成する(ステップS16)。尚、実撮影範囲情報のみを図面情報に合成して実撮影位置情報を図面情報に合成しない態様としてもよいし、実撮影位置情報のみを図面情報に合成して実撮影範囲情報を図面情報に合成しない態様としてもよい。
[0104]
 図9は、撮像装置200の実撮影範囲を示す枠Fa(以下「実撮影範囲枠」という)を図面情報に合成した表示例を示す。
[0105]
 次に、画質判定部32により撮影画像の実画素密度を算出し(ステップS18)、撮影範囲判定部34により実撮影範囲の重なり幅を算出し(ステップS20)、実画素密度が要求画素密度に適合し且つ撮影範囲判定部34により重なり幅が要求重なり幅に適合するか否かを判定する(ステップS22)。
[0106]
 撮影画像の実画素密度が要求画素密度に不適合又は撮影画像の重なり幅が不適合と判定された場合(ステップS22でNOの場合)、表示部13に対して警告情報を出力し(ステップS24)、ステップS12に戻る。即ち、表示部13に警告情報を表示させて、再撮影を促す。
[0107]
 撮影画像の実画素密度が要求画素密度に適合且つ撮影画像の重なり幅が適合と判定された場合(ステップS22でYESの場合)、撮影完了判定部36により撮影箇所に対する複数回の撮影の全てが終了したか否かを判定する(ステップS26)。撮影完了と判定された場合(ステップS26でYESの場合)、撮影完了表示を行い(ステップS32)、本処理を終了する。
[0108]
 尚、ステップS12でNOの場合、撮影未完了判定部38により、撮影箇所に対する未完了の撮影があり、且つユーザに撮影終了意思があるか否かを判定する(ステップS28)。未完了の撮影あり且つ撮影終了意思ありと判定された場合(ステップS28でYESの場合)には、撮影未完了表示を行う(ステップS30)。
[0109]
 本例では、撮影箇所(本例では橋梁1の床版6の露出面全面)に対して未撮影の撮影範囲が存在し、且つ未完了の撮影での撮影位置から撮像装置200までの距離が閾値を超えた場合、表示部13に撮影未完了情報を表示させる。
[0110]
 撮影箇所に対して未撮影の撮影範囲が存在し、撮影支援装置10を停止させる指示入力が指示入力部15に対して行われた場合、表示部13に撮影未完了情報を表示させてもよい。撮影未完了状態で撮像装置200に対して停止の指示入力が行われた場合に、表示部13に撮影未完了表示を表示させてもよい。
[0111]
 尚、上述の例では、撮像装置200の撮影方向と構造物の撮影対象面とが直交する場合、即ち撮像装置200を構造物の撮影対象面に正対させて撮影を行う場合を説明したが、このような場合に本発明は限定されない。撮像装置200の撮影方向の直交面と構造物の撮影対象面との傾き角度情報を取得し、その傾き角度情報にも基づいて要求画質を満たしているか否かの判定を行うことにより、撮影対象面に非正対で撮影する場合でも要求画質を満たす画像をもれなく取得することが可能となる。撮影対象面の傾き角度情報の取得方法としては、例えば、傾き角度測定装置により傾き角度を測定する方法、及び複数の距離情報から傾き角度を算出する方法が挙げられる。例えば、撮像装置200を二眼カメラで構成し、撮像装置200から撮影対象面までの複数の距離情報に基づいて、撮影対象面の傾き情報を算出することが可能である。
[0112]
 <撮影支援処理の実施例2>
 次に、撮像装置200の撮影性能情報が可変である場合の撮影支援処理について、説明する。例えば、橋梁1の撮影に用いることが許された撮像装置200が複数種類存在することに因り、撮影性能情報が可変になる場合である。
[0113]
 図10は、実施例2の撮影支援処理の流れを示すフローチャートである。尚、図7に示した実施例1のステップと同様なステップには同じ符号を付してあり、本例では説明を省略する。
[0114]
 ステップS206において、外部入出力部12により、データベース50から、画質情報、及び撮像装置200の撮影性能情報を取得する。
[0115]
 本例の撮影性能情報は、撮像装置200の撮像素子の画素数情報と、撮像装置200の撮像素子のサイズ情報と、撮像装置200の撮像レンズの焦点距離情報を含む。
[0116]
 ステップS208において、撮影計画部24により、画質情報及び撮影性能情報に基づいて、撮影位置情報及び撮影範囲情報を取得し、撮影計画情報を生成する(ステップS208)。
[0117]
 <撮影支援処理の実施例3>
 次に、撮像装置200の移動可能範囲が制限されている場合の撮影支援処理について、説明する。
[0118]
 図11は、実施例3の撮影支援処理の流れを示すフローチャートである。尚、図10に示した実施例2のステップと同様なステップには同じ符号を付してあり、本例では説明を省略する。
[0119]
 ステップS306において、外部入出力部12により、データベース50から、画質情報、撮像装置200の撮影性能情報、及び撮像装置200の移動範囲情報を取得する。
[0120]
 本例では、撮像装置200の移動可能範囲が、ロボット装置100のX方向及びY方向の可動範囲と垂直伸延アーム104のZ方向の可動範囲とに応じて制限されている。このような制限された移動可能範囲を示す移動範囲情報をデータベース50から取得する。
[0121]
 ステップS308において、撮影計画部24により、画質情報、撮影性能情報及び移動範囲情報に基づいて、撮影計画情報を生成する。ここで、本例の撮影計画部24は、撮像装置200の移動可能範囲内での撮影位置の順列を示す撮影計画情報を生成する。
[0122]
 ステップS310において、撮影支援情報生成部30により、移動可能範囲内での撮影位置の順列を表示部13に表示させる撮影支援情報を生成する。
[0123]
 [第2の実施形態]
 第1の実施形態では撮像装置200の撮影方向を固定としたが、第2の実施形態では撮像装置200の撮影方向が可変である。
[0124]
 図12に示すように、撮像装置200を搭載したロボット装置100は、撮像装置200の撮影方向を制御するパンチルト機構120を備える。
[0125]
 垂直伸延アーム104の先端には、カメラ設置部104Aが設けられており、カメラ設置部104Aには、パンチルト機構120によりパン方向及びチルト方向に回転可能な撮像装置200が設置されている。
[0126]
 また、撮像装置200は、パンチルト駆動部206(図13)から駆動力が加えられるパンチルト機構120により垂直伸延アーム104と同軸のパン軸Pを中心に回転し、あるいは水平方向のチルト軸Tを中心に回転する。これにより、撮像装置200は任意の姿勢にて撮影(任意の撮影方向の撮影)ができる。パン軸Pは、チルト軸Tと直交している。
[0127]
 また、撮像装置200を基準にしたカメラ座標系は、パン軸Pとチルト軸Tとの交点を原点Orとし、チルト軸Tの方向をXr軸方向(「x軸方向」ともいう)、パン軸Pの方向をZr軸方向(「z軸方向」ともいう)、Xr軸及びZr軸にそれぞれ直交する方向をYr軸方向(「y軸方向」ともいう)とする。
[0128]
 撮像装置200の位置(実撮影位置)は、構造物が存在する空間の座標系(以下「空間座標系」)の原点に対するロボット装置100のX方向及びY方向の移動量、及び垂直伸延アーム104のZ方向の移動量により検出することができる。また、撮像装置200の撮影方向(実撮影方向)は、パンチルト機構120のパン角度α、チルト角度βにより検出することができる。撮像装置200に搭載した方位センサ(図示せず)により検出してもよい。
[0129]
 図13は、ロボット装置100の一例のブロック図である。
[0130]
 図13に示すロボット装置100は、ロボット制御部130、X方向駆動部108、Y方向駆動部110、Z方向駆動部112、撮像装置200、撮影制御部204、パンチルト制御部210、パンチルト駆動部206、ロボット側通信部230を含んで構成されている。
[0131]
 ロボット側通信部230は、撮影支援装置10の無線通信部11との間で双方向の無線通信を行い、撮影支援装置10の無線通信部11から送信されるロボット装置100の移動を制御する移動指令、パンチルト機構120を制御するパンチルト指令、撮像装置200を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。
[0132]
 ロボット制御部130は、ロボット側通信部230から入力する移動指令に基づいてX方向駆動部108、Y方向駆動部110、及びZ方向駆動部112を制御し、ロボット装置100のX方向及びY方向に移動させ、且つ垂直伸延アーム104をZ方向に伸縮させる(図2参照)。
[0133]
 パンチルト制御部210は、ロボット側通信部230から入力するパンチルト指令に基づいてパンチルト駆動部206を介してパンチルト機構120をパン方向及びチルト方向に動作させ、撮像装置200を所望の方向にパンチルトさせる(図12参照)。
[0134]
 撮影制御部204は、ロボット側通信部230から入力する撮影指令に基づいて撮像装置200にライブビュー画像、又は撮影画像の撮影を行わせる。
[0135]
 橋梁1の撮影時に撮像装置200により撮像された画像と、撮影方向(本例では、パン角度α及びチルト角度β)を示す情報は、それぞれロボット側通信部230を介して撮影支援装置10の無線通信部11に送信される。
[0136]
 図14は、第2の実施形態における撮影支援処理例の流れを示すフローチャートである。本処理は、記憶部16に記憶されたプログラムに従って、CPU20により実行される。尚、図7のフローチャートに示した第1の実施形態のステップと同様なステップには同じ符号を付してあり、詳細な説明を省略する。
[0137]
 本実施形態では、図面情報取得(ステップS2)及び撮影箇所特定(ステップS4)の後、外部入出力部12により、画質情報、撮影性能情報及び移動範囲情報を取得し(ステップS406)、ステップS4で特定された撮影箇所と、ステップS406で取得された画質情報、撮影性能情報及び移動範囲情報とに基づいて、一回の撮影ごとの撮像装置200の撮影位置情報、一回の撮影ごとの撮像装置200の撮影方向情報、及び一回の撮影ごとの構造物の撮影範囲情報を含む撮影計画情報を生成する(ステップS408)。
[0138]
 次に、撮影支援情報生成部30により、撮影計画情報(撮影位置情報、撮影方向情報及び撮影範囲情報を含む)を図面情報に合成し、表示部13に表示させる(ステップS410)。尚、撮影範囲情報のみを図面情報に合成して撮影位置情報及び撮影方向情報の両方を図面情報に合成しない態様としてもよいし、撮影範囲情報と共に撮影位置情報及び撮影方向情報のうちいずれか一方を図面情報に合成する態様としてもよい。また、撮影位置情報のみを図面情報に合成して撮影方向情報及び撮影範囲情報の両方を図面情報に合成しない態様としてもよいし、撮影位置情報と共に撮影方向情報及び撮影範囲情報のうちいずれか一方を図面情報に合成する態様としてもよい。
[0139]
 次に、一回の撮影を行うごとに(即ちステップS12でYESの場合)、撮像装置200の実撮影位置情報、実撮影方向情報及び実撮影範囲情報を取得し(ステップS414)、撮影ごとの撮像装置200の実撮影位置情報、実撮影方向情報及び実撮影範囲情報を図面情報に合成して撮影支援情報を生成し、その撮影支援情報を表示部13に表示させる(ステップS416)。尚、実撮影範囲情報のみを図面情報に合成して実撮影位置情報及び実撮影方向情報の両方を図面情報に合成しない態様としてもよいし、実撮影範囲情報と共に実撮影位置情報及び実撮影方向情報のうちいずれか一方を図面情報に合成する態様としてもよい。また、実撮影位置情報のみを図面情報に合成して実撮影方向情報及び実撮影範囲情報の両方を図面情報に合成しない態様としてもよいし、実撮影位置情報と共に実撮影方向情報及び実撮影範囲情報のうちいずれか一方を図面情報に合成する態様としてもよい。
[0140]
 [第3の実施形態]
 第1の実施形態及び第2の実施形態では、一種類の部材(コンクリート部材及び鋼部材のうちいずれか一方)を対象とした撮影支援処理を説明したが、点検対象の構造物は一般に複数種類の部材から構成されており、部材の種類ごとに撮影箇所が異なってくる場合がある。また、部材の種類に応じて、部材に生じる損傷の種類が異なるため、生じる損傷の種類ごとに撮影箇所が異なってくる場合がある。また、構造物の構造の種類に応じて、撮影箇所が異なってくる場合がある。
[0141]
 本実施形態の撮影箇所特定部22は、外部入出力部12によってデータベース50から取得された撮影箇所関連情報(構造物の部材の種類を示す情報、構造物の損傷の種類を示す情報、及び構造物の構造の種類を示す情報のうち少なくとも一つの情報を含む)に基づいて、図面情報を解析し、撮影箇所を特定する。例えば、構造物の部材の種類がコンクリート部材である場合、コンクリート部材のうち露出した全面を撮影箇所として特定する。また、例えば、構造物の部材の種類が鋼部材である場合、鋼部材のうち応力が作用する部分を撮影箇所として特定する。
[0142]
 図15は、第3の実施形態における撮影支援処理例の流れを示すフローチャートである。本処理は、記憶部16に記憶されたプログラムに従って、CPU20により実行される。尚、図14のフローチャートに示した第2の実施形態のステップと同様なステップには同じ符号を付してあり、詳細な説明を省略する。
[0143]
 ステップS502において、外部入出力部12により、データベース50から、構造物の図面情報及び撮影箇所関連情報を取得する。ここで、撮影箇所関連情報は、部材の種類を示す部材種類情報、損傷の種類を示す損傷種類情報、及び構造物の構造の種類を示す構造種類情報のうち少なくとも一つの情報を含む。
[0144]
 ステップS504において、撮影箇所特定部22は、図面情報及び撮影箇所関連情報に基づいて、構造物の撮影箇所を特定する。
[0145]
 以下では、橋梁1の鋼部材の撮影箇所の特定例について、説明する。
[0146]
 図16は、橋梁1を構成する鋼部材の撮影箇所Tpを模式的に示す説明図である。図中の円は、本例の説明のために便宜的に撮影箇所Tpを囲んだマークであり、表示部13に非表示としてよい。また、図16に示すようにマークを図面情報に合成することにより、ユーザが撮影箇所を把握し易いように表示部13にマークを表示させてよい。
[0147]
 図17は、橋梁1の主桁2の部材番号Mgを示す図である。図17に示すように主桁(Mg)の部材番号は、Mg01,Mg02,Mg03,Mg04及びMg05により表されている。即ち、この橋梁は、Mg01~Mg05により表される5本の主桁(Mg)を備えていることが分かる。
[0148]
 尚、図1に示したように橋梁1を構成する部材には、主桁2、横桁3、対傾構4、横構5、及び床版6等が含まれるが、各部材の種別は、部材名称に対応する部材記号(主桁(Mg:Main girder),横桁(Cr:Cross beam)、対傾構(Cf:Cross frame)、横構(上横構(Lu:Upper lateral)、下横構(Ll:Lower lateral))、床版(Ds:Deck slab)等)により表される。
[0149]
 図18は、橋梁の主桁の要素番号を示す図である。同図に示すように、4桁の数字により表された要素番号は、点検評価を行う各部位又は部材の最小評価単位の番号である。要素番号の4桁の数字の上位2桁は橋梁の長手方向の並び(行)を示し、下位2桁は橋梁の長手方向と直交する方向の並び(列)を示す。
[0150]
 従って、部材の種別を示す部材記号と要素番号との組み合わせにより、点検対象の部材を一意に特定することができ、部材記号と要素番号との組み合わせは、部材識別情報に対応する。
[0151]
 同様に、図19は、橋梁の横桁(Cr)の部材番号を示す図であり、図20は橋梁の横桁(Cr)の要素番号を示す図である。
[0152]
 更に図21は、橋梁の下横構(Ll)の要素番号を示す図であり、図22は、橋梁の上横構(Lu)の要素番号を示す図である。
[0153]
 撮影箇所特定部22は、鋼部材である図17~図22に示した主桁(Mg)、横桁(Cr)、対傾構(Cf:Cross frame)、横構(上横構(Lu)及び下横構(Ll))のうち、応力が作用する接合部分を撮影箇所として特定する。
[0154]
 [撮影計画情報及び実撮影情報のバリエーション]
 上述の実施形態(第1の実施形態~第3の実施形態)では、撮影計画情報が撮影位置情報及び撮影範囲情報を含み、且つ実撮影情報が実撮影位置情報及び実撮影範囲情報を含む場合を説明したが、本発明はこのような場合に特に限定されない。撮影計画情報が撮影位置情報を含み且つ撮影範囲情報を含まない場合も、本発明に含まれる。また、実撮影情報が実撮影位置情報を含み且つ実撮影範囲情報を含まない場合も、本発明に含まれる。また、撮影計画情報が撮影位置情報を含まず且つ撮影範囲情報を含む場合も、本発明に含まれる。また、実撮影情報が実撮影位置情報を含まず且つ実撮影範囲情報を含む場合も、本発明に含まれる。
[0155]
 [合成のバリエーション]
 構造物の図面情報に対する合成には、各種のバリエーションがある。
[0156]
 前述の撮影支援処理例では、図9に示したように、実撮影範囲情報として撮像装置200の現在の撮像範囲を示す枠を、図面情報に合成した場合を説明したが、本発明はこのような場合に限定されない。
[0157]
 図23は、撮像画像Im(撮像装置200により撮像された画像である)を実撮影範囲情報として図面情報に合成した表示例を示す。撮像画像Imは、撮影画像は記録対象の画像には限定されず、非記録の画像(例えばライブビュー画像)であってもよい。
[0158]
 また、前述の撮影支援処理例では、図9に示したように、撮影計画情報の撮影位置情報(撮像装置200の予定の撮影位置を示す情報である)を図面情報に合成し、実撮影位置情報(撮像装置200の現実の撮影位置を示す情報である)を図面情報に合成しない場合を説明したが、本発明はこのような場合に限定されない。
[0159]
 図24は、撮影計画情報の撮影位置情報Pb及び実撮影位置情報Paを図面情報に合成した表示例を示す。つまり、撮影支援情報生成部30により、撮影計画情報の撮影位置情報Pb及び実撮影位置情報Paを同時に示す撮影支援情報を生成する。表示部13には、図面情報、撮影計画の撮影位置情報Pb及び実撮影位置情報Paが同時に表示される。
[0160]
 [実撮影位置情報取得のバリエーション]
 前述の撮影支援処理例では、絶対位置が判明している基準装置300(例えばトータルステーション)との通信により、撮像装置200の実撮影位置情報を取得する態様を説明したが、本発明はこのような態様に限定されない。
[0161]
 実撮影位置情報取得のバリエーションは、各種ある。
[0162]
 第1のバリエーションとして、撮像装置200を搭載した装置(例えば図2のロボット装置100)との通信により、実撮影位置情報を取得する態様がある。
[0163]
 実撮影情報取得部28は、撮像装置200の一の時点での絶対位置をロボット装置100から無線通信部11を介して取得し、且つ撮像装置200の一の時点での絶対位置に対する撮像装置200の他の時点での相対位置をロボット装置100から無線通信部11を介して取得し、撮像装置200の一の時点での絶対位置及び撮像装置200の他の時点での相対位置に基づいて撮像装置200の他の時点での絶対位置を示す実撮影位置情報を取得する。
[0164]
 尚、構造物の図面情報における座標系(図面座標系)と構造物が存在する空間における座標系(空間座標系)とが異なるため、撮影支援装置10又はロボット装置100で図面座標系と空間座標系との対応付けを行う必要があるが、撮影計画情報の撮影位置情報を利用することにより容易に対応付けることが可能である。なぜなら、撮影計画情報の撮影位置情報は、図面情報に基づいて取得された位置情報であるため、図面座標系で表現されているか又は図面座標系と対応付け済だからである。従って、以下の手順により、実撮影情報取得部28は実撮影位置情報を取得することも可能である。
[0165]
 まず、撮影計画情報の一の撮影位置情報(例えば図9のP1の位置)を撮像装置200の「一の時点での絶対位置」として取得し、且つ無線通信部11を介してロボット装置100を制御して撮像装置200を撮影計画情報の一の撮影位置情報に対応する空間座標系の位置に移動させる。次に、無線通信部11を介してロボット装置100から撮像装置200の移動方向及び移動距離を「他の時点での相対位置」として取得する。尚、撮像装置200の移動方向が予め決められている場合、移動距離のみをロボット装置100から取得する構成としてもよい。次に、「一の時点での絶対位置」を示す撮影計画情報の一の撮影位置情報と、「他の時点での相対位置」を示す撮像装置200の移動方向及び移動距離とに基づいて、「他の時点での絶対位置」である実撮影位置情報(例えば図9のP2の位置)を算出する。このような実撮影位置情報取得を行うことにより、図面座標系と空間座標系とを対応付けつつ実撮影位置情報を容易に取得することができる。
[0166]
 尚、実撮影位置情報をロボット装置100との通信により取得する場合を説明したが、他の装置との通信により取得してもよい。例えば、撮像装置がドローン(飛行装置)に搭載されている場合には、実撮影位置情報をドローンとの通信により取得する。
[0167]
 その他、撮像装置200がGPS(global positioning system)機能で絶対位置を検出し、ロボット装置100が絶対位置からの相対位置を検出し、撮像装置200によって検出された絶対位置とロボット装置100によって検出された相対位置とに基づいて、実撮影位置情報を取得する態様が考えられる。つまり、GPS電波が届かない位置では撮像装置200のGPS機能のみでは実撮影位置情報を取得できない可能性があるが、GPS電波が届く位置で撮像装置200のGPS機能により絶対位置(基準位置)を取得し、GPS電波が届かない位置では絶対位置に対する相対位置を取得するようにしてもよい。
[0168]
 第2のバリエーションとして、撮像装置200が実撮影位置情報を検出し、その撮像装置200との通信により、実撮影位置情報を取得する態様がある。
[0169]
 例えば、構造物の撮影箇所に対して位置情報を記録したRFID(radio frequency identification)媒体を予め付与しておき、構造物の撮影箇所の撮影時に撮像装置200がRFID媒体から位置情報を読み取り、そのRFID媒体の位置情報に基づいて撮像装置200が実撮影位置情報を検出する。実撮影情報取得部28は、無線通信部11を介して撮像装置200から実撮影位置情報を取得する。尚、RFID媒体にはID(identification)情報のみを記録し、実撮影情報取得部28がID情報に基づいて実撮影位置情報を検出してもよい。
[0170]
 以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

符号の説明

[0171]
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 撮影支援装置
11 無線通信部
12 外部入出力部
13 表示部
14 音出力部
15 指示入力部
16 記憶部
20 CPU
22 撮影箇所特定部
24 撮影計画部
26 撮像制御部
28 実撮影情報取得部
30 撮影支援情報生成部
32 画質判定部
34 撮影範囲判定部
36 撮影完了判定部
38 撮影未完了判定部
50 データベース
100 ロボット装置
102 主フレーム
104 垂直伸延アーム
104A カメラ設置部
106 筐体
108 X方向駆動部
108A ボールネジ
108B ボールナット
108C モータ
110 Y方向駆動部
110A タイヤ
110B タイヤ
112 Z方向駆動部
120 パンチルト機構
130 ロボット制御部
200 撮像装置
204 撮影制御部
206 パンチルト駆動部
210 パンチルト制御部
230 ロボット側通信部
300 基準装置
D 撮影方向
Dp 距離
Fa 実撮影範囲枠(実撮影範囲情報)
Fb 撮影範囲枠(撮影範囲情報)
Im 撮像画像
Mg 部材番号
Or 原点
P パン軸
Pa 実撮影位置情報
Pb 撮影位置情報
Pp 実撮影位置
Rf 要求適合範囲
Sp 撮影対象面
T チルト軸
Tp 撮影箇所
φ 視野角

請求の範囲

[請求項1]
 撮像装置を用いる構造物の撮影を支援する撮影支援装置であって、
 前記構造物の図面情報を取得する図面情報取得部と、
 前記図面情報に基づいて前記構造物の撮影箇所を特定する撮影箇所特定部と、
 撮影画像の画質情報を取得する画質情報取得部と、
 特定された前記撮影箇所及び前記画質情報に基づいて、前記構造物の撮影ごとの前記撮像装置の撮影位置情報及び撮影範囲情報のうち少なくとも一方を含む撮影計画情報を生成する撮影計画部と、
 前記構造物の撮影ごとの前記撮像装置の実撮影位置情報及び実撮影範囲情報のうち少なくとも一方を含む実撮影情報を取得する実撮影情報取得部と、
 前記撮影計画情報及び前記実撮影情報を前記図面情報に合成し、表示装置に表示させる撮影支援情報生成部と、
 を備える撮影支援装置。
[請求項2]
 前記撮像装置は撮像素子及び撮像レンズを含んで構成され、
 前記撮像装置の前記撮像素子の画素数情報及びサイズ情報と前記撮像レンズの焦点距離情報とを含む撮影性能情報を取得する撮影性能情報取得部を備え、
 前記撮影計画部は、前記撮影性能情報及び前記画質情報に基づいて、前記撮影画像に要求される画質を満足させる前記撮影計画情報を生成する、
 請求項1に記載の撮影支援装置。
[請求項3]
 前記撮影性能情報は、コントラスト、ピント、ボケ、ブレ、視野角、ノイズ、圧縮率、ホワイトバランス、及びシャッタスピードのうちの少なくとも一つに関する情報を含む、
 請求項2に記載の撮影支援装置。
[請求項4]
 前記撮影支援情報生成部は、前記撮像装置により撮像された画像を前記図面情報に合成する、
 請求項1から3のうちいずれか一項に記載の撮影支援装置。
[請求項5]
 一の前記撮影画像と他の前記撮影画像とが一定幅以上で重なるか否かを判定する撮影範囲判定部を備える、
 請求項1から4のうちいずれか一項に記載の撮影支援装置。
[請求項6]
 前記撮影範囲判定部は、撮影済である一の前記撮影画像の前記実撮影範囲情報と未撮影である他の前記撮影画像の前記撮影範囲情報とに基づいて、前記重なるか否かの判定を行う、
 請求項5に記載の撮影支援装置。
[請求項7]
 前記撮影支援情報生成部は、前記重なり判定部により前記一定幅以上で重ならないと判定された場合、前記表示装置に警告を表示させる、
 請求項5又は6に記載の撮影支援装置。
[請求項8]
 前記撮影支援情報生成部は、前記構造物の撮影ごとの前記撮影位置情報及び前記実撮影位置情報を前記表示装置に表示させる、
 請求項1から7のうちいずれか一項に記載の撮影支援装置。
[請求項9]
 前記実撮影情報取得部は、絶対位置が判明している基準装置との通信により、前記実撮影位置情報を取得する、
 請求項1から8のうちいずれか一項に記載の撮影支援装置。
[請求項10]
 前記実撮影情報取得部は、前記撮像装置の一の時点での絶対位置を取得し、且つ前記撮像装置の一の時点での絶対位置に対する前記撮像装置の他の時点での相対位置を取得し、前記撮像装置の前記絶対位置及び前記相対位置に基づいて前記実撮影位置情報を取得する、
 請求項1から8のうちいずれか一項に記載の撮影支援装置。
[請求項11]
 前記撮像装置の移動可能範囲又は移動不可能範囲を示す移動範囲情報を取得する移動範囲情報取得部を備え、
 前記撮影計画部は、前記移動範囲情報に基づいて、前記撮像装置を移動可能範囲内で移動させる、前記撮影計画情報を生成する、
 請求項1から10のうちいずれか一項に記載の撮影支援装置。
[請求項12]
 前記撮影計画部は、前記撮像装置の移動可能範囲内での撮影位置の順列を示す前記撮影計画情報を生成し、
 前記撮影支援情報生成部は、前記撮影位置の順列を前記表示装置に表示させる、
 請求項11に記載の撮影支援装置。
[請求項13]
 前記撮影計画部は、前記構造物の撮影ごとの前記撮像装置の撮影方向情報を取得し、前記撮影方向情報を含む前記撮影計画情報を生成する、
 請求項1から12のうちいずれか一項に記載の撮影支援装置。
[請求項14]
 前記撮影箇所に対する撮影が完了したか否かを判定する撮影完了判定部を備え、
 前記撮影支援情報生成部は、前記撮影が完了したと判定された場合、前記表示装置に撮影完了情報を表示させる、
 請求項1から13のうちいずれか一項に記載の撮影支援装置。
[請求項15]
 前記撮影支援情報生成部は、前記撮影箇所に対する未完了の撮影があると判定され、且つ前記未完了の撮影での撮影位置から前記撮像装置までの距離が閾値を超えた場合、前記表示装置に撮影未完了情報を表示させる、
 請求項14に記載の撮影支援装置。
[請求項16]
 指示入力を受け付ける指示入力部を備え、
 前記撮影支援情報生成部は、前記撮影箇所に対する未完了の撮影があると判定され、且つ前記撮像装置及び前記撮影支援装置のうち少なくとも一つの装置を停止させる指示入力が行われた場合、前記表示装置に撮影未完了情報を表示させる、
 請求項14に記載の撮影支援装置。
[請求項17]
 前記構造物の部材の種類を示す情報、前記構造物の損傷の種類を示す情報、及び前記構造物の構造の種類を示す情報のうち少なくとも一つの情報を取得する撮影箇所関連情報取得部を備え、
 前記撮影箇所特定部は、前記部材の種類を示す情報、前記損傷の種類を示す情報、及び前記構造の種類を示す情報のうち少なくとも一つの情報に基づいて前記図面情報を解析することにより、前記撮影箇所を特定する、
 請求項1から16のうちいずれか一項に記載の撮影支援装置。
[請求項18]
 前記撮影箇所特定部は、前記部材の種類がコンクリート部材である場合、前記コンクリート部材のうち露出した全面を前記撮影箇所として特定する、
 請求項17に記載の撮影支援装置。
[請求項19]
 前記撮影箇所特定部は、前記部材の種類が鋼部材である場合、前記鋼部材のうち応力が作用する部分を前記撮影箇所として特定する、
 請求項17に記載の撮影支援装置。
[請求項20]
 撮像装置を用いる構造物の撮影を支援する撮影支援方法であって、
 前記構造物の図面情報を取得する工程と、
 前記図面情報に基づいて前記構造物の撮影箇所を特定する工程と、
 撮影画像の画質情報を取得する工程と、
 特定された前記撮影箇所及び前記画質情報に基づいて、前記構造物の撮影ごとの前記撮像装置の撮影位置情報及び撮影範囲情報のうち少なくとも一方を含む撮影計画情報を生成する工程と、
 前記構造物の撮影ごとの前記撮像装置の実撮影位置情報及び実撮影範囲情報のうち少なくとも一方を含む実撮影情報を取得する工程と、
 前記撮影計画情報及び前記実撮影情報を前記図面情報に合成し、表示装置に表示させる撮影支援情報を生成する工程と、
 を含む撮影支援方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]