処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020122028 - 地表面推定方法、計測領域表示システムおよびクレーン

Document

明 細 書

発明の名称 地表面推定方法、計測領域表示システムおよびクレーン

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013  

発明の効果

0014   0015   0016   0017   0018   0019  

図面の簡単な説明

0020  

発明を実施するための形態

0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150  

産業上の利用可能性

0151  

符号の説明

0152  

請求の範囲

1   2   3   4   5   6  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

明 細 書

発明の名称 : 地表面推定方法、計測領域表示システムおよびクレーン

技術分野

[0001]
 本発明は、地表面推定方法、計測領域表示システムおよびクレーンに関する。

背景技術

[0002]
 従来、モニタに表示されたガイド情報に基づいて、荷物や荷物の周辺の状態を確認し、クレーン作業の効率化を図る技術が知られている。斯かる技術は、例えば、以下の特許文献1に開示されている。
[0003]
 特許文献1には、吊荷(荷物)周辺の物体高さを通知する高さ情報通知システムに係る技術が開示されている。特許文献1記載の吊荷周辺の物体の高さ情報通知システムでは、レーザ距離センサ、マイクロ波距離センサ、ステレオカメラ等の距離計測手段によって、ブームの先端から吊荷周辺までの距離を計測する。そして、距離の計測結果を用いて吊荷周辺の物体の位置を検出するとともに高さを算出し、カメラによって撮像(撮影)された撮像画像(カメラ画像)に吊荷周辺の物体の位置および高さを対応させた処理画像(ガイド情報)を作成(生成)し、その処理画像をモニタに表示する構成としている。
[0004]
 しかしながら、特許文献1に記載された従来技術は、ブームの先端から吊荷周辺までの距離を計測し、この距離を用いて吊荷周辺の物体の高さを算出する構成である。つまり、従来技術においては、吊荷周辺で局所的に計測した地点の高さを地表面の高さとして地物の高さが算出されている。このため、地表面が吊荷周辺の計測した地点から傾斜して高くなる場所がある場合、吊荷周辺の計測地点からの高さとして表示されて、オペレータがその高さの地物が存在すると誤って認識してしまう可能性がある。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2013-120176号公報

発明の概要

発明が解決しようとする課題

[0006]
 本発明の目的は、傾斜や凹凸によって地表面の高さが変動していても連続した地表面として認識できる地表面推定方法、計測領域表示システムおよびクレーンの提供を目的とする。

課題を解決するための手段

[0007]
 本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
[0008]
 即ち、本発明においては、レーザスキャナによって、計測領域にレーザを照射して点群データを取得し、前記点群データから照射点の標高値を算出する点群データ取得工程と、前記点群データを演算処理するデータ処理手段によって、前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定するグリッド生成処理工程と、前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識する連続領域認識工程と、前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定する地表面推定工程と、を備える、ことを特徴とする地表面推定方法である。
[0009]
 本発明においては、前記グリッド生成処理工程は、前記グリッド毎に当該グリッドを水平の方向にスライスして、前記グリッド毎にスライスされて形成される範囲内の前記点群データの平均標高値を算出する、ことを特徴とする地表面推定方法である。
[0010]
 本発明においては、前記連続領域認識工程は、前記レーザスキャナから前記代表点までの距離に応じて前記閾値を変更する、ことを特徴とする地表面推定方法である。
[0011]
 本発明においては、前記グリッド生成処理工程は、前記計測領域の所定の範囲内における、前記連続領域の数に応じて前記グリッドの幅を変更する、ことを特徴とする地表面推定方法である。
[0012]
 本発明においては、計測領域にレーザを照射して点群データを取得するレーザスキャナを備えたデータ取得部と、取得した点群データを演算処理するデータ処理部と、データ表示部と、を備え、前記データ処理部は、前記データ取得部から前記点群データを取得し、前記点群データから照射点の標高値を算出し、前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、前記地表面と推定された連続領域を他の領域と区別して前記データ表示部に表示する、ことを特徴とする計測領域表示システムである。
[0013]
 本発明においては、旋回台と、前記旋回台に設けられるブームと、前記ブームに取り付けられ、点群データを取得するレーザスキャナと、取得した点群データを演算処理する制御装置と、表示装置と、を備えるクレーンにおいて、前記旋回台の旋回操作と、前記ブームの伸縮操作と起伏操作と、に伴って前記レーザスキャナを移動させながらレーザを照射させることで、前記レーザスキャナのレーザ照射時の位置毎の点群データを取得し、前記制御装置は、前記レーザスキャナからレーザ照射時の位置毎の前記点群データを取得し、前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせ、照射点の標高値を算出し、前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、前記地表面と推定された連続領域を他の領域と区別して前記表示装置に表示する、ことを特徴とするクレーンである。

発明の効果

[0014]
 本発明は、以下に示すような効果を奏する。
[0015]
 本発明によれば、標高値の差が閾値以内の領域を連続する領域として認識するので、傾斜面のように標高値が連続して変化する領域、および閾値以内の高さの凹凸がある領域であっても、連続する領域として認識される。これにより、傾斜や凹凸によって地表面の高さが変動していても連続した地表面として認識できる。
[0016]
 本発明によれば、地表面に凹凸があり、地表面の凹凸の側面にレーザが照射された場合でも、地表面の凹凸の上面にレーザが照射され取得されたと推定される点群データを用いて、標高値が算出される。これにより、地表面に凹凸があっても、地表面の凹凸の上面を地表面として認識できる。
[0017]
 本発明によれば、点群データの計測誤差を考慮した閾値に変更することによって、より計測結果のばらつきを考慮して連続する領域が認識される。これにより、傾斜や凹凸によって地表面の高さが変動していても連続した地表面として認識できる。
[0018]
 本発明によれば、地表面の領域が小さくなる場合でも、グリッドの幅を小さくすることによって、より小さな地表面の領域が認識される。これにより、傾斜や凹凸によって地表面の高さが変動していても連続した地表面として認識できる。
[0019]
 本発明によれば、旋回台やブームの動作に伴ってクレーンの作業領域における点群データが取得され、標高値の差が閾値以内の領域を連続している領域として認識するので、標高値が連続して変化する領域および閾値以内の高さの凹凸がある領域が広範囲であっても、連続する領域として認識される。これにより、クレーンの作業領域において、傾斜や凹凸によって地表面の高さが変動していても連続した地表面として認識できる。

図面の簡単な説明

[0020]
[図1] 本発明の一実施形態に係るクレーンの全体構成を示す模式図。
[図2] 本発明の一実施形態に係る計測領域表示システムとクレーンとの制御構成を示す模式図。
[図3] レーザスキャナによるレーザの照射状況の説明図、図3AはY軸方向視模式図、図3BはZ軸方向視模式図。
[図4] 計測領域、個別計測領域、作業領域を説明する平面模式図。
[図5] 個別計測領域とレーザにより描かれる軌跡との関係を示す模式図。
[図6] グリッド生成処理の説明図、図6Aは点群データの分割、グリッドのスライス、平均標高値の算出の説明図、図6Bは代表点の設定の説明図。
[図7] 三次元地図更新処理の説明図、図7Aは設定したグリッド毎の代表点と現在時刻よりも前に生成した三次元地図の代表点との説明図、図7Bは同一のグリッド内に複数の代表点が存在する場合における代表点の削除の説明図。
[図8] グリッドの標高値を濃淡で表した三次元地図の表示状態を示す図。
[図9] ラベリング処理の説明図、図9Aは三次元地図のグリッドの模式図、図9Bはラベルの付与の説明図、図9Cはラベルの付与完了時の説明図、図9Dはラベルの上書き前の説明図、図9Eはラベルの上書き後の説明図。
[図10] 地物領域推定処理の説明図、図10Aは4番のラベルの連続領域と6番のラベルの連続領域とその周辺の領域を示す図、図10Bは標高値の平均値の説明図、図10Cは地物と地表面との推定の説明図。
[図11] ガイド情報の表示状態を示す図、図11Aはカメラ画像を表示したデータ表示部を示す図、図11Bはカメラ画像とガイド情報を重畳表示したデータ表示部を示す図。
[図12] 連続領域毎に領域を区別して表した三次元地図の表示状態を示す図。
[図13] データ処理部によるデータ処理の流れを示すフロー図。
[図14] グリッド生成処理を示すフロー図。
[図15] 三次元地図更新処理を示すフロー図。
[図16] ラベリング処理を示すフロー図。
[図17] ラベリング処理の説明図、図17Aはレーザスキャナによるレーザの照射状況のX軸方向視模式図、図17Bは三次元地図のグリッドの模式図。
[図18] ラベリング処理の説明図、図18AはクレーンのY軸方向視模式図と平面模式図、図18BはクレーンのY軸方向視模式図。
[図19] ラベリング処理を示すフロー図。
[図20] グリッド生成処理におけるグリッドの幅を変更する説明図、図20Aは所定の範囲とその範囲内の連続領域との説明図、図20Bはグリッドの幅を変更した後における地表面の領域の説明図。
[図21] グリッド生成処理を示すフロー図。

発明を実施するための形態

[0021]
 以下に、本発明の第一実施形態に係る計測領域表示システム50を備えたクレーン1について説明する。尚、本実施形態においては、クレーン1として移動式クレーン(ラフテレーンクレーン)について説明を行うが、トラッククレーン等でもよい。
[0022]
 図1に示すように、クレーン1は、不特定の場所に移動可能な移動式クレーンである。クレーン1は、車両2、クレーン装置6を有する。
[0023]
 車両2は、クレーン装置6を搬送する走行車両である。車両2は、複数の車輪3を有し、エンジン4を動力源として走行する。車両2には、アウトリガ5が設けられている。アウトリガ5は、車両2の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。
[0024]
 クレーン装置6は、荷物Wをワイヤロープによって吊り上げる作業装置である。クレーン装置6は、旋回台7、ブーム9、ジブ9a、メインフックブロック10、サブフックブロック11、起伏用油圧シリンダ12、メインウインチ13、メインワイヤロープ14、サブウインチ15、サブワイヤロープ16、キャビン17、制御装置18(図2参照)等を具備する。
[0025]
 旋回台7は、クレーン装置6を旋回可能に構成する駆動装置である。旋回台7は、円環状の軸受を介して車両2のフレーム上に設けられる。旋回台7は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台7には、アクチュエータである油圧式の旋回用油圧モータ8が設けられている。
[0026]
 旋回用油圧モータ8は、電磁比例切換弁である旋回用バルブ23(図2参照)によって回転操作されるアクチュエータである。旋回用バルブ23は、旋回用油圧モータ8に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台7は、旋回用バルブ23によって回転操作される旋回用油圧モータ8を介して任意の旋回速度に制御可能に構成されている。旋回台7には、旋回台7の旋回位置(角度)と旋回速度とを検出する旋回角度検出手段である旋回用センサ27(図2参照)が設けられている。
[0027]
 ブーム9は、荷物Wを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム9は、複数のブーム部材から構成されている。ブーム9は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。ブーム9は、ベースブーム部材の基端が旋回台7の略中央に揺動可能に設けられている。
[0028]
 図示しない伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ24(図2参照)によって伸縮操作されるアクチュエータである。伸縮用バルブ24は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。つまり、ブーム9は、伸縮用バルブ24によって任意のブーム長さに制御可能に構成されている。ブーム9には、ブーム9の長さを検出する伸縮長さ検出手段である伸縮用センサ28(図2参照)が設けられている。
[0029]
 メインフックブロック10とサブフックブロック11とは、荷物Wを吊る吊り具である。メインフックブロック10には、メインワイヤロープ14が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック10aとが設けられている。サブフックブロック11には、荷物Wを吊るサブフック11aが設けられている。
[0030]
 起伏用油圧シリンダ12は、電磁比例切換弁である起伏用バルブ25(図2参照)によって伸縮操作される。起伏用バルブ25は、起伏用油圧シリンダ12に供給される作動油の流量を任意の流量に制御することができる。つまり、ブーム9は、起伏用バルブ25によって任意の起伏速度に制御可能に構成されている。ブーム9には、ブーム9の起伏角度を検出する旋回角度検出手段である起伏用センサ29(図2参照)や荷物Wの重量を検出する重量センサ等が設けられている。
[0031]
 メインウインチ13とサブウインチ15とは、メインワイヤロープ14とサブワイヤロープ16との繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行う巻回装置である。メインウインチ13は、メインワイヤロープ14が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ15は、サブワイヤロープ16が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。
[0032]
 メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ26m(図2参照)によって回転操作される。メイン用バルブ26mは、メイン用油圧モータに供給される作動油の流量を任意の流量に制御することができる。つまり、メインウインチ13は、メイン用バルブ26mによって任意の繰り入れおよび繰り出し速度に制御可能に構成されている。同様に、サブウインチ15は、電磁比例切換弁であるサブ用バルブ26s(図2参照)によって任意の繰り入れおよび繰り出し速度に制御可能に構成されている。メインウインチ13とサブウインチ15とには、メインワイヤロープ14とサブワイヤロープ16との繰り出し量をそれぞれ検出する巻回用センサ30(図2参照)が設けられている。
[0033]
 キャビン17は、運転座席を覆うものである。運転座席には、車両2を走行操作するための操作具やクレーン装置6を操作するための旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22s等が設けられている(図2参照)。旋回操作具19は、旋回用油圧モータ8を操作することができる。伸縮操作具20は、伸縮用油圧シリンダを操作することができる。起伏操作具21は、起伏用油圧シリンダ12を操作することができる。メインドラム操作具22mは、メイン用油圧モータを操作することができる。サブドラム操作具22sは、サブ用油圧モータを操作することができる。
[0034]
 このように構成されるクレーン1は、車両2を走行させることで任意の位置にクレーン装置6を移動させることができる。また、クレーン1は、起伏操作具21の操作によって起伏用油圧シリンダ12でブーム9を任意の起伏角度に起立させて、伸縮操作具20の操作によってブーム9を任意のブーム長さに延伸させたりすることでクレーン装置6の揚程や作業半径を拡大することができる。また、クレーン1は、メインドラム操作具22m等によって荷物Wを吊り上げて、旋回操作具19の操作によって旋回台7を旋回させることで荷物Wを搬送することができる。
[0035]
 図2に示すように、制御装置18は、各バルブを介してクレーン装置6のアクチュエータを制御する。制御装置18は、キャビン17内に設けられている。制御装置18は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置18は、各アクチュエータ、センサ等の動作を制御するために種々のプログラムやデータが格納されている。
[0036]
 制御装置18は、旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22sに接続され、旋回操作具19、伸縮操作具20、起伏操作具21、メインドラム操作具22m、サブドラム操作具22sのそれぞれの操作量を取得することができる。
[0037]
 制御装置18は、旋回用バルブ23、伸縮用バルブ24、起伏用バルブ25、メイン用バルブ26m、サブ用バルブ26sに接続され、旋回用バルブ23、伸縮用バルブ24、起伏用バルブ25、メイン用バルブ26m、サブ用バルブ26sに制御信号を伝達することができる。
[0038]
 制御装置18は、旋回用センサ27、伸縮用センサ28、起伏用センサ29、重量センサ、巻回用センサ30に接続され、旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量を取得することができる。
[0039]
 制御装置18は、旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報を計測領域表示システム50に伝達することができる。
[0040]
 尚、本説明では、ブーム9の起伏支点の軸方向を基準として、図1に示すようなXYZ座標系を規定している(以下の説明においても同様)。
 X軸方向(奥行方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して垂直、かつ、水平な方向である。また、Y軸方向(水平方向とも呼ぶ)は、ブーム9の起伏支点の軸方向に対して平行、かつ、水平な方向である。さらに、Z軸方向は、鉛直下方向である。即ち、XYZ座標系は、ブーム9を基準としたローカル座標系として規定している(図4参照)。
[0041]
 次に、本発明の一実施形態に係る計測領域表示システム50について、説明する。
 クレーン1は、図2に示すような計測領域表示システム50を備えている。
 計測領域表示システム50は、本発明に係る計測領域表示システム50の一例であり、図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、計測領域表示システム50が計測対象とする領域(以下、計測領域KAという(図4参照))の情報(以下、ガイド情報という)を画像で表示し、オペレータに提示するためのシステムである。
[0042]
 図2に示すように、計測領域表示システム50は、データ取得部60、データ処理部70、データ表示部80、データ入力部90によって、構成されている。
[0043]
 データ取得部60は、計測領域KAにおけるガイド情報を生成するために必要なデータを取得する部位であり、カメラ61、レーザスキャナ62、慣性計測装置(IMU)63、第一GNSS受信機64a、第二GNSS受信機64bを備えている。カメラ61、レーザスキャナ62、慣性計測装置(IMU)63、第一GNSS受信機64aは、フレーム体に対して固定され、一体に構成されたセンサユニット65となっている。
[0044]
 センサユニット65は、クレーン1のブーム9の先端部分に付設されており、荷物Wの真上に位置するブーム9の先端部分から真下の状況を捉えることができる状態で配置されている(図1参照)。尚、ここでいう荷物Wの「真上」は、荷物Wの鉛直上方の位置と、その位置を基準とした一定範囲(例えば、荷物Wの上面の範囲)の位置と、を含む概念である。
[0045]
 センサユニット65は、ブーム9の先端部分に対してジンバル66(図1参照)を介して付設されており、旋回台7の旋回操作、ブーム9の起伏操作、伸縮操作が行われたときに、センサユニット65の姿勢(Z軸方向に向けた姿勢)を略一定に保持することができるように構成されている。これにより、カメラ61とレーザスキャナ62とを常に荷物Wに向けておくことができる。このため、センサユニット65は、カメラ61とレーザスキャナ62とによって、荷物Wとその下方の地表面Fから、常にデータを取得することができる。また、荷物Wの下方の地表面Fに地物Eが存在する場合には、カメラ61とレーザスキャナ62とによって、地物Eのデータを取得することができる。
[0046]
 カメラ61は、センサユニット65の下方の領域(以下、個別計測領域kaという(図4参照))の画像を撮影するためのデジタルビデオカメラであり、撮影したカメラ画像をリアルタイムで外部に出力する機能を有している。また、カメラ61は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、画角、フレームレート、画像伝送レートを有している。
[0047]
 レーザスキャナ62は、計測対象物にレーザを照射し、そのレーザの計測対象物における反射光を受光することによって、その反射点に係る情報を取得し、計測対象物の点群データを取得する装置である。レーザスキャナ62は、センサユニット65を介してブーム9の先端部分に取り付けられている。レーザスキャナ62の計測対象物は、荷物W、地物E、地表面Fである。また、レーザスキャナ62には、計測時刻を取得するための第三GNSS受信機64cが接続されている。
 そして、レーザスキャナ62は、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡がY軸方向に対して平行となるように配置されている(図3B参照)。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、X軸方向に対して平行とされている。
 計測領域表示システム50は、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
[0048]
 慣性計測装置(Inertial Measurement Unit、以下IMUという)63は、データ取得時におけるカメラ61とレーザスキャナ62との姿勢データを取得するための装置である。IMU63は、リアルタイムで姿勢角を計測することが可能であり、レーザスキャナ62によって取得した点群データの補正に利用可能な計測精度を有している。また、IMU63には、計測時刻を取得するための第四GNSS受信機64dが接続されている。
[0049]
 第一GNSS受信機64aは、衛星から測距電波を受信し、座標である緯度、経度、標高値を算出するための装置である。データ処理部70は、第一GNSS受信機64aとレーザスキャナ62とが離間する距離が設定されており、設定された距離に基づいてリアルタイムでレーザスキャナ62の座標を算出可能である。
[0050]
 第二GNSS受信機64bは、衛星から測距電波を受信し、座標である緯度、経度、標高値を算出するための装置である。第二GNSS受信機64bは、旋回台7の旋回中心位置に配置されている。第二GNSS受信機64bは、リアルタイムで旋回台7の旋回中心の座標を算出可能である。
[0051]
 本実施形態では、第一GNSS受信機64aと第二GNSS受信機64bとには、測定精度の高いRTK-GPS(Real Time Kinematic GPS)測位方式を採用する。RTK-GPS測位方式を採用することにより、レーザスキャナ62の位置と旋回台7の旋回中心の位置の測定精度を高めることができる。尚、RTK-GPS測位方式に限定されず、他の測位方法を採用してもよい。
[0052]
 第一GNSS受信機64aと第二GNSS受信機64bとを結ぶ直線と、レーザスキャナ62の計測軸と、IMU63の計測軸と、が同一直線上にあるように、第一GNSS受信機64aが配置される。また、第一GNSS受信機64aが算出するレーザスキャナ62の座標と、第二GNSS受信機64bが算出する旋回台7の旋回中心の座標と、によって、ブーム9を基線としたGNSSコンパスを構成し、レーザスキャナ62の向き(方位)を算出可能である。第一GNSS受信機64aと第二GNSS受信機64bとは、レーザスキャナ62によって取得した点群データの補正に利用可能な計測精度を有している。
[0053]
 図3に示すように、レーザスキャナ62は、合計16個のレーザ送受信センサを備えており、同時に16本のレーザを計測対象物に照射して、計測対象物の点群データを取得することができる装置である。図3Aに示すように、レーザスキャナ62の16個の各レーザ送受信センサは、X軸方向において2°ずつ照射角度を異ならせて配置されており、計測対象物に対して、全体で30°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ62の各レーザ送受信センサは、X軸回りに360°(全方位)回転可能に構成されている。図3Bに示すように、個別計測領域kaに向けて照射されるレーザにより描かれる軌跡は、Y軸方向に対して平行であり、レーザスキャナ62では、16本の当該軌跡が同時に描かれる。
[0054]
 尚、レーザスキャナ62は、ブーム9の最高到達高さを考慮して、その最高到達高さ(例えば、約100m)から計測対象物の三次元形状を計測可能な機器が選択される。また、レーザスキャナ62は、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、計測スピード、計測ポイント数、計測精度等の各仕様について所定の性能を有する機器が選択される。
[0055]
 尚、本実施形態では、合計16個のレーザ送受信センサを備えたレーザスキャナ62を用いる場合を例示しているが、本発明に係る計測領域表示システム50は、レーザスキャナ62を構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係る計測領域表示システム50では、クレーン1のブーム9(ジブ9a)の最高到達高さ等に応じて、最適な仕様のレーザスキャナ62が適宜選択される。
[0056]
 センサユニット65によって個別計測領域kaにおいて取得するデータには、荷物W、荷物Wの下方の地表面F、荷物Wの下方の地表面Fに存在する地物Eをカメラ61によって撮影した画像データが含まれる。また、センサユニット65によって個別計測領域kaにおいて取得するデータには、荷物W、地表面F、地物Eをレーザスキャナ62によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Fには、荷物Wの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。
[0057]
 データ処理手段であるデータ処理部70は、データ取得部60で取得したデータを演算処理して、オペレータに提示するガイド情報を生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
 また、データ処理部70は、クレーン1の制御装置18と電気的に接続されており、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度、荷物Wの重量、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等のクレーン1に関する情報が入力される。
[0058]
 データ表示部80は、オペレータに提示するガイド情報を表示するための部位であり、データ処理部70に接続された表示装置により構成される。
 データ表示部80は、計測領域KAの三次元地図と個別計測領域kaのカメラ画像とをリアルタイムに表示する。
[0059]
 ここで、計測領域KAとガイド情報とについて説明する。
[0060]
 計測領域KAとは、ガイド情報を生成する対象となる領域である。
 図4に示すように、計測領域表示システム50は、センサユニット65の下方の個別計測領域kaに存在する荷物W、地表面F、地物Eを計測する。センサユニット65は、旋回台7の旋回操作、起伏操作、ブーム9の伸縮操作に応じて移動する。このため、個別計測領域kaも、センサユニット65の移動に応じて移動する。計測領域KAは、異なる位置から計測された個別計測領域kaを併せた領域である。計測領域KAは、計測領域表示システム50が計測可能な領域の全体を計測した場合、ブーム9の先端部分が稼動可能な領域である作業領域SAを含む領域となる。
[0061]
 ここでいうガイド情報は、オペレータがクレーン1によって荷物Wを搬送するときに、ブーム9の長さ・旋回位置・起伏角度、メインワイヤロープ14とサブワイヤロープ16との繰り出し量等の良否について、オペレータの判断を補助する情報である。ガイド情報には、計測領域KAの三次元地図、カメラ画像情報、荷物Wと地物Eとの形状に係る情報、荷物Wの高さ情報、地物Eの高さ情報、荷物Wの動線に係る情報等が含まれる。
[0062]
 図2に示すように、データ入力部90は、データ処理部70に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等の入力装置により構成される。
[0063]
 図1に示すように、データ表示部80とデータ入力部90は、キャビン17内の運転座席の前方のオペレータが見やすい位置に配置する。データ処理部70は、センサユニット65の近傍に配置することが好ましい。尚、計測領域表示システム50は、データ処理部70、データ表示部80、データ入力部90をタブレットPCによって一体的に構成した場合には、データ処理部70をキャビン17内に配置する構成としてもよい。
 データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
[0064]
 ここで、データ取得部60によるデータの取得状況を説明する。
 データ取得部60は、カメラ61によって、個別計測領域kaを連続的に撮影し、個別計測領域kaのカメラ画像を取得する。
[0065]
 図5に示すように、データ取得部60は、レーザスキャナ62によって、個別計測領域kaを連続的にスキャンし、個別計測領域kaにおける計測対象物の点群データを取得する。以下では、レーザスキャナ62によって取得する点群データを、点群データPと呼ぶ。点群データPは、点データpの集合であり、点データpは、個別計測領域kaに存在する地表面F、荷物W、地物Eに位置する点を表している。
[0066]
 データ取得部60は、レーザスキャナ62によって点群データPを取得すると同時に、第三GNSS受信機64cによって複数の測位衛星から時間情報を受信する。そして、データ処理部70は、点データpに対して、該点データpの取得時間tpに係る情報を付与する。
[0067]
 また、データ取得部60は、レーザスキャナ62によって、点群データPを取得すると同時に、IMU63によって所定の周期でレーザスキャナ62の姿勢データQを取得し、第一GNSS受信機64aと第二GNSS受信機64bとによってレーザスキャナ62の位置データRと方位データDとを取得する。尚、データ処理部70は、第二GNSS受信機64bによって取得される旋回台7の旋回中心の位置と、制御装置18から出力される旋回台7の旋回位置、ブーム長さ、起伏角度に基づいて、レーザスキャナ62の位置と向きとを算出してもよい。
[0068]
 姿勢データQには、レーザスキャナ62のX・Y・Z軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、IMU63による姿勢データQの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。姿勢データQは、計測周期ごとに計測される個別姿勢データqの集合である。
[0069]
 データ取得部60は、IMU63によって姿勢データQを取得すると同時に、第四GNSS受信機64dによって、複数の測位衛星から時間情報を受信する。データ処理部70は、個別姿勢データqに対して、該個別姿勢データqの取得時間に係る情報として取得時間tqを付与する。
[0070]
 位置データRには、レーザスキャナ62のXYZ座標系における位置に係る情報が含まれる。尚、第一GNSS受信機64aと第二GNSS受信機64bとによる位置データRの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。位置データRは、計測周期ごとに計測される個別位置データrの集合である。データ処理部70は、個別位置データrに基づいて個別方位データdを算出する。方位データDは、計測周期ごとに計測される個別方位データdの集合である。
[0071]
 第一GNSS受信機64aと第二GNSS受信機64bとは、位置データRと方位データDとを取得すると同時に、複数の測位衛星から時間情報を受信する。データ処理部70は、位置データRと方位データDとに対して、該位置データRと該方位データDとの取得時間に係る情報として取得時間trを付与する。
[0072]
 次に、データ処理部70によるデータの処理状況を説明する。
[0073]
 本発明の一実施形態に係る地表面推定方法は、点群データ取得工程、グリッド生成処理工程、連続領域認識工程、地表面推定工程を備える。
[0074]
(点群データ取得工程)
 データ処理部70は、計測データを取得する。具体的には、データ処理部70は、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がX軸回りに1周する間に取得する点データpの集合である。また、データ処理部70は、カメラ61のカメラ画像、IMU63の姿勢データQ、第一GNSS受信機64aと第二GNSS受信機64bとによって取得する位置データRおよび方位データDを計測データとして取得する。
[0075]
 データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと、第一GNSS受信機64aと第二GNSS受信機64bとによって取得した位置データRおよび方位データDと、時間によって対応付ける(図13の時刻対応処理(STEP-101)参照)。
 具体的には、データ処理部70は、姿勢データQについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付ける。また、データ処理部70は、位置データRおよび方位データDについて、個々の点データpにおいて、その点データpの取得時間tpに最も近い位置データRおよび方位データDの取得時間trを探索し、該取得時間trにおける個別位置データrおよび個別方位データdを、その点データpに対応付ける。
[0076]
 このようにしてデータ処理部70は、個別姿勢データq、個別位置データr、個別方位データdとが時間によって対応付けられた点データpを出力する。
[0077]
 データ処理部70は、時間によって対応付けられた点データp、個別姿勢データq、個別位置データr、個別方位データdの組み合わせに対して剛体変換処理を行う(図13の剛体変換処理(STEP-102)参照)。具体的には、データ処理部70は、個別姿勢データq、個別位置データr、個別方位データdとに基づいて点群データPのアフィン変換を行って、点群データPを平面直角座標系に変換する。これにより、傾き、位置、向きが補正された点群データPが出力される。点データpの標高値は、傾き、位置、向きが補正された点データpのZ座標の値となる。つまり、レーザスキャナ62の照射点の標高値は、点データpのZ座標の値として算出されている。但し、Z軸は、鉛直下方向の軸であるため、Z座標の値が大きくなるに応じて、標高が低い位置となる。
[0078]
(グリッド生成処理工程)
 図6に示すように、データ処理部70は、補正された点群データPの全体を一定の大きさのグリッドgで分割し、グリッドgの代表点prを設定する(図13のグリッド生成処理A(STEP-103))。具体的には、まず、データ処理部70は、補正された点群データPを重ね合わせる。図6Aに示すように、次に、データ処理部70は、重ね合わせた点群データPの全体を一定の大きさのグリッドgで分割する。
[0079]
 重ね合わせた点群データPには、地物Eや地表面Fの上面だけではなく、地物Eや地表面Fの側面にレーザが照射され取得された点データpが含まれる可能性がある。地物Eや地表面Fの上面を対象としてガイド情報を生成するため、まず、データ処理部70は、グリッドg毎に、グリッドgを任意の間隔で水平の方向にスライスする。そして、データ処理部70は、グリッドg毎に、スライスされて形成される層L1・L2・L3・・・のうち、点データpが存在し、かつ、最も標高が高い位置にある層L1の点データp(点群データP)の標高値の平均値である平均標高値Hを算出する。また、データ処理部70は、グリッドg毎に、グリッドgの重心位置を算出する。図6Bに示すように、最後に、データ処理部70は、グリッドg毎に、算出した平均標高値Hにおけるグリッドgの重心位置をグリッドgの代表点prの位置として設定する。これにより、データ処理部70は、地表面Fに凹凸があり、地表面Fの凹凸の側面にレーザが照射された場合でも、地表面Fの凹凸の上面にレーザが照射され取得されたと推定される点群データPの代表点prを設定できる。
[0080]
 尚、平均標高値Hを算出する層は、層L1に限定されず、各層における、点データpの数、点データpの位置、点データpの密度に基づいて選択される層であってもよい。例えば、各層のうち、点データpの数が最も多い層が選択されてもよい。或いは、任意の数以上の点データpが存在する層のうち、最も高い層が選択されてもよい。或いは、Z方向視で均等に点データpが存在する層は、地物Eの上面に照射された点データpである可能性が高いため、Z方向視で均等に点データpが存在する層が選択されてもよい。
[0081]
 図7に示すように、データ処理部70は、設定したグリッドg毎の代表点prを用いて現在時刻よりも前に生成した三次元地図全体を更新する(図13の三次元地図更新処理B(STEP-104))。図7A左図は、設定したグリッドg毎の代表点prを代表点pr1として、グリッドgに代表点pr1のみを示した図である。図7A右図は、現在時刻よりも前に生成した三次元地図の代表点prを代表点pr2として、グリッドgに代表点pr2のみを示した図である。具体的には、まず、データ処理部70は、代表点pr1と代表点pr2とをグリッドg毎に取得する。図7(B)に示すように、データ処理部70は、同一のグリッドg内に複数の代表点prが存在する場合は、代表点pr2を削除する。データ処理部70は、削除後の全ての代表点pr毎にグリッドgの大きさの面を生成し、計測領域KAの三次元地図として出力する。図8に示すように、三次元地図Mをデータ表示部80に表示した場合、グリッドgの代表点prの標高値が高くなるに応じて面Sの色が濃く表示される。
[0082]
(連続領域認識工程)
 図9に示すように、データ処理部70は、三次元地図を用いて連続領域毎にラベルを付与する(図13のラベリング処理C(STEP-105)参照)。連続領域とは、隣接するグリッドgの代表点prの標高値の差が閾値以下となる領域である。閾値は、レーザスキャナ62のZ軸方向の計測誤差に基づいて設定されており、例えば、0.1mとしている。ラベルは、1番から順番に番号で付与される。以下では、説明のため、グリッドgの代表点prの標高値は、標高が最も低い位置に存在する代表点prの標高値を基準として、基準とした代表点prからの高さとしている。
[0083]
 図9(A)(B)に示すように、具体的には、まず、データ処理部70は、三次元地図のグリッドgから注目グリッドgaを選択する。注目グリッドgaの代表点prの標高値と、その左上、上、右上、左の4近傍(以下、単に4近傍という)にある各グリッドgの代表点prの標高値と、の比較が行われる。注目グリッドgaが選択される順番は、三次元地図の左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。
[0084]
 データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差のいずれかが閾値以下の場合は、標高値の差が閾値以下であるグリッドgと同一のラベルを注目グリッドgaに付与し、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が全て閾値よりも大きい場合は、新たなラベルを付与する。新たなラベルとは、この時点までに付与されたラベルの番号のうち、最も大きい番号を1だけ増加させた番号のラベルである。但し、データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が閾値以下であるグリッドgのラベルの種類が複数の場合は、標高値の差が閾値以下であるグリッドgのラベルのうち、最も番号が小さいラベルを付与する。これらの処理を全てのグリッドgに対して行うことで、注目グリッドgaとその左上、上、右上、左、右、左下、下、右下の8近傍にあるグリッドgとの比較ができる。
[0085]
 例えば、データ処理部70は、図9(B)に示す注目グリッドgaが選択されている場合、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を、全て0.5mと算出する。データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差が全て閾値0.1mよりも大きいため、1番のラベルの番号を1だけ増加させた2番のラベルを注目グリッドgaに付与している。
[0086]
 図9C、図9D、図9Eに示すように、データ処理部70は、全てのグリッドgにラベルが付与された後に、グリッドgから注目グリッドgaを再び選択する。注目グリッドgaが選択される順番は、ラベルを付与する際と同様に、三次元地図の左上を起点に左端から右に、右端に到達すると一つ下の段の左端から右に選択される。
[0087]
 データ処理部70は、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値とを比較する。データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合は、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているグリッドgのラベルを注目グリッドgaのラベルで上書きする。
[0088]
 例えば、データ処理部70は、図9Dに示す注目グリッドgaが選択されている場合、その左と右上にある各グリッドgの代表点prとの標高値の差を、それぞれ0mと算出し、その左上と上にある各グリッドgの代表点prとの標高値の差を、それぞれ2mと算出する。さらに、注目グリッドgaの左にあるグリッドgは、5番のラベルが付与されており、注目グリッドgaに付与されている3番のラベルと異なる。従って、注目グリッドgaの左にあるグリッドgは、標高値の差が閾値0.1m以下で、かつ、注目グリッドgaと異なるラベルが付与されている。図9Eに示すように、このため、データ処理部70は、注目グリッドgaの左にあるグリッドgのラベルを3番のラベルで上書きしている。
[0089]
 最後に、データ処理部70は、グリッドgにラベルが付与された三次元地図を出力する。このように、データ処理部70は、隣接するグリッドgの間で代表点prの標高値を比較して、傾斜の有無によらず、同一のラベルが付与されたグリッドgを、連続領域として認識している。
[0090]
(地表面推定工程)
 データ処理部70は、ラベルが付与された三次元地図の中から、地表面F、荷物Wとそれら以外の領域を示すラベルを推定する(図13の同一領域推定処理(STEP-106))。具体的には、データ処理部70は、地表面Fの領域が最も広いと考えられるため、グリッドgの数が最も多い同一のラベルを地表面Fのグリッドgに付与されたラベルとする。つまり、データ処理部70は、連続領域のうち、最もグリッドgの数が多い連続領域を地表面Fと推定する。データ処理部70は、このような地表面Fの推定をリアルタイムで自動的に行うことができる。図9Eに示すように、例えば、データ処理部70は、1番のラベルのグリッドgが最も多いため、1番のラベルの連続領域を地表面Fと推定する(白抜き部分参照)。データ処理部70は、三次元地図Mをデータ表示部80に表示した場合、地表面Fの領域を他の領域と色や濃淡を区別して表示する(図12参照)。
[0091]
 このような地表面推定方法を実施する計測領域表示システム50は、隣り合うグリッドgの標高値の差が閾値以内の領域を連続する領域として認識するので、傾斜面のように標高値が連続して変化する領域、および閾値以内の高さの凹凸がある領域であっても、連続する領域として認識される。これにより、傾斜や凹凸によって地表面Fの高さが変動していても連続した地表面Fとして認識できる。
[0092]
 本実施形態において、計測領域表示システム50がクレーン1から独立した構成として説明したが、データ取得部60が備える各種センサ61~64d、データ表示部80が備える表示装置、データ入力部90が備える入力装置をクレーン1が具備し、データ処理部70が行うデータ処理を制御装置18が行う構成であってもよい。
[0093]
 このようなクレーン1においては、旋回台7やブーム9の動作に伴ってクレーン1の作業領域SAにおける点群データPが取得され、標高値の差が閾値以内の領域を連続している領域として認識するので、標高値が連続して変化する領域および閾値以内の高さの凹凸がある領域が広範囲であっても、連続する領域として認識される。これにより、クレーン1の作業領域SAにおいて、傾斜や凹凸によって地表面Fの高さが変動していても連続した地表面Fとして認識できる。尚、計測領域表示システム50は、クレーン1以外のその他の作業車両に用いることもできる。例えば、高所作業車等にも用いることができる。
[0094]
 データ処理部70は、手動で入力された荷物Wの範囲(図11B参照)にあるグリッドgの代表点prの中で最も標高値の低い代表点prのグリッドgのラベルを取得し、荷物Wのグリッドgに付与されたラベルとする。これは、グリッドgの中に荷物Wのグリッドgとフックやワイヤのグリッドgが含まれる場合、フックやワイヤロープのグリッドgにおける代表点prの標高値よりも荷物Wのグリッドgにおける代表点prの標高値の方が低いためである。尚、荷物Wの高さ(Z軸方向の長さ)は、ブーム9の先端部分からでは荷物Wの側面や下部を計測できないため、実測されてデータ処理部70に入力されている。
[0095]
 図10に示すように、データ処理部70は、グリッドgに付与されたラベルを用いて、地物E毎の領域を推定する(図13の地物領域推定処理(STEP-107))。具体的には、データ処理部70は、同一領域推定処理において推定された地表面F、荷物W以外の連続領域毎に本処理を行う。まず、データ処理部70は、連続領域とその最近傍にある地表面Fの領域とにおいて、代表点prの標高値の平均値を算出する。ここでいう「最近傍にある地表面Fの領域」は、連続領域と地表面Fの領域とが隣接する場合、連続領域に隣接するグリッドgから構成される領域であり、連続領域と地表面Fの領域とが隣接しない場合、連続領域と地表面Fの領域との間にある他の連続領域に隣接するグリッドgから構成される領域である。連続領域に隣接しないグリッドg、または、連続領域と地表面Fの領域との間にある他の連続領域に隣接しないグリッドg、を含んで「最近傍にある地表面Fの領域」が構成されると、傾斜による標高値の変化の影響が大きくなるため、「最近傍にある地表面Fの領域」を上述の領域としている。但し、「最近傍にある地表面Fの領域」は、上述の領域に限定されず、任意の範囲の領域に設定可能である。そして、データ処理部70は、標高値の平均値の差が閾値以下の場合、連続領域を地表面Fと推定し、標高値の平均値の差が閾値よりも大きい場合、連続領域を地物Eと推定する。
[0096]
 図10A、図10Bに示すように、例えば、同一領域推定処理において、1番のラベルの連続領域が地表面Fと推定されており、4番のラベルと6番のラベルとの連続領域が地表面Fまたは荷物Wと推定されていないものとする。6番のラベルの連続領域は、地表面Fと推定された領域(1番のラベルの連続領域)から4番のラベルの連続領域によって分断されている。4番のラベルと6番のラベルとの最近傍にある地表面Fの領域は、図10Aの斜線部に示している。データ処理部70は、4番のラベルの連続領域における代表点prの標高値の平均値を、1.75mと算出している。データ処理部70は、6番のラベルの連続領域における代表点prの標高値の平均値を、0.3mと算出している。データ処理部70は、4番のラベルの連続領域と6番のラベルの連続領域との最近傍にある地表面Fの領域における代表点prの標高値の平均値を、0.375mと算出している。図10(C)に示すように、データ処理部70は、4番のラベルの連続領域とその最近傍にある地表面Fの領域とにおける、標高値の平均値の差が閾値0.1mより大きいため、4番のラベルの連続領域を地物Eと推定する。データ処理部70は、6番のラベルの連続領域とその最近傍にある地表面Fの領域とにおける、標高値の平均値の差が閾値0.1m以下であるため、6番のラベルの連続領域を地表面Fと推定する。
[0097]
 最後に、データ処理部70は、グリッドgに付与されたラベルに基づいて、荷物W、地表面F、地物E毎に、グリッドgの代表点prの集合を出力する。このように、データ処理部70は、周囲の地表面Fから地物Eによって分断された領域を地表面Fとして認識できる。
[0098]
 データ処理部70はグリッドgの代表点prの集合を用いて、荷物W、地物E毎に大きさと高さをカメラ画像上に可視化する(図13の領域可視化処理(STEP-108))。具体的には、まず、データ処理部70は、第一GNSS受信機64aと第二GNSS受信機64bとの計測データから現在時刻のレーザスキャナ62の位置と向き(方位)とを算出する。次に、データ処理部70は、算出したレーザスキャナ62の位置と向きとに基づいて座標軸を決定し、荷物Wや地物E等の代表点prのカメラ画像上における位置を合わせて表示する。
[0099]
 図11に示すように、データ処理部70は、荷物Wや地物E等の代表点prのカメラ画像I上における位置を用いて、荷物Wや地物Eをカメラ画像I上で内包する外形線を算出し、外形線が成す外形図形をガイド情報GD1としてカメラ画像I上に表示する。最後に、データ処理部70は、ガイド情報GD1の上に荷物Wや地物Eの標高値と地表面Fの標高値の差分値をガイド情報GD2(高さの情報)として表示する。尚、ガイド情報GD1の描画色は、荷物Wや地物Eの高さに応じて濃淡を変更した所定の色で表示する。また、荷物Wや地物Eの高さの有効桁数は、小数第一位とする。
[0100]
 図12に示すように、データ処理部70は、荷物W、地表面F、地物E毎にラベルが付与された計測領域KAの三次元地図を用いて、それぞれの三次元空間における位置関係と大きさを可視化する(図13の三次元地図可視化処理(STEP-109))。具体的には、まず、データ処理部70は、荷物W、地表面F、地物E毎の代表点prの位置と標高値とに基づいて、代表点prを重心とする面Sを生成する。このとき、面Sの幅は代表点prの生成時に用いたグリッドgの幅とする。そして、データ処理部70は、荷物W、地表面F、地物E毎に面Sに色付けを行い、三次元空間における三次元地図Mとしてデータ表示部80に可視化する。
[0101]
 尚、クレーン1や計測領域KAの状況に合わせてグリッドgの幅が変更されて、三次元地図Mの可視性が調整される。例えば、データ処理部70は、ブーム9の先端部分の高さが高くなるに応じてグリッドgの幅を小さくすると、高い位置から計測された広範囲の計測領域KAを、より細かな面Sの三次元地図Mで可視化できる。データ処理部70は、計測領域KAにおいて高さの差が閾値以内である複数の地物Eが互いに近接している場合、グリッドgの幅を大きくすると、複数の地物Eを一つの地物Eとして三次元地図Mに可視化できる。
[0102]
 以下に、計測領域表示システム50の制御態様について具体的に説明する。
[0103]
 図13に示すように、データ処理部70は、計測データが入力され、STEP-101に移行する。
[0104]
 データ処理部70は、STEP-101において、時刻対応処理を行い、STEP-102に移行する。
[0105]
 データ処理部70は、STEP-102において、剛体変換処理を行い、STEP-103に移行する。
[0106]
 データ処理部70は、STEP-103において、グリッド生成処理Aを開始し、STEP-201に移行する(図14参照)。そして、グリッド生成処理Aが終了するとSTEP-104に移行する。
[0107]
 データ処理部70は、STEP-104において、三次元地図更新処理Bを開始し、STEP-301に移行する(図15参照)。そして、三次元地図更新処理Bが終了するとSTEP-105に移行する。尚、データ処理部70は、現在時刻よりも前に三次元地図が生成されていない場合は、新に三次元地図を生成する。
[0108]
 データ処理部70は、STEP-105において、ラベリング処理Cを開始し、STEP-401に移行する(図16参照)。そして、ラベリング処理Cが終了するとSTEP-106に移行する。
[0109]
 データ処理部70は、STEP-106において、同一領域推定処理を行い、STEP-107に移行する。
[0110]
 データ処理部70は、STEP-107において、地物領域推定処理を行い、STEP-108に移行する。
[0111]
 データ処理部70は、STEP-108において、領域可視化処理を行い、STEP-109に移行する。
[0112]
 データ処理部70は、STEP-109において、三次元地図可視化処理を行い、可視化結果を出力する。可視化結果とは、三次元地図Mやカメラ画像情報等である。
[0113]
 図14に示すように、データ処理部70は、STEP-201において、グリッド生成処理Aを開始し、補正された点群データPを重ね合わせて、STEP-202に移行する。
[0114]
 データ処理部70は、STEP-202において、重ね合わせた点群データPを一定の大きさのグリッドgで分割し、STEP-203に移行する。
[0115]
 データ処理部70は、STEP-203において、点群データPが存在するグリッドgを任意の間隔で水平の方向にスライスし、複数の層L1・L2・L3・・・を形成し、STEP-204に移行する。
[0116]
 データ処理部70は、STEP-204において、各層のうち、点データpが存在し、かつ、最も標高が高い位置にある層L1の点データpの平均標高値Hを算出し、STEP-205に移行する。
[0117]
 データ処理部70は、STEP-205において、グリッドgの重心位置を算出し、STEP-206に移行する。
[0118]
 データ処理部70は、STEP-206において、算出した平均標高値Hにおけるグリッドgの重心位置をグリッドgの代表点prの位置として設定し、STEP-207に移行する。
[0119]
 データ処理部70は、STEP-207において、点群データPが存在する全てのグリッドgで代表点prの設定が完了したか否かを判定する。
 その結果、データ処理部70は、点群データPが存在する全てのグリッドgで代表点prの設定が完了した場合、グリッド生成処理Aを終了し、STEP-104に移行する。
 一方、データ処理部70は、点群データPが存在する全てのグリッドgで代表点prの設定が完了していない場合、STEP-203に移行して、代表点prの設定が行われていないグリッドgに対してSTEP-203を行う。
[0120]
 図15に示すように、データ処理部70は、STEP-301において、三次元地図更新処理Bを開始し、グリッドgにおける、設定した代表点prと、現在時刻より前に生成されている三次元地図の代表点prと、を取得する。
[0121]
 データ処理部70は、STEP-302において、同一のグリッドg内に複数の代表点prが存在するか否かを判定する。
 その結果、データ処理部70は、同一のグリッドg内に複数の代表点prが存在する場合、STEP-303に移行する。
 一方、データ処理部70は、同一のグリッドg内に複数の代表点prが存在しない場合、STEP-304に移行する。
[0122]
 データ処理部70は、STEP-303において、現在時刻よりも前に生成されている三次元地図の代表点prを削除し、STEP-304に移行する。
[0123]
 データ処理部70は、STEP-304において、全てのグリッドgでSTEP-301、302が完了したか否かを判定する。
 その結果、データ処理部70は、全てのグリッドgでSTEP-301、302が完了した場合、STEP-305に移行する。
 一方、データ処理部70は、全てのグリッドgでSTEP-301、302が完了していない場合、STEP-301に移行して、STEP-301、302が行われていないグリッドgに対してSTEP-301を行う。
[0124]
 データ処理部70は、STEP-305において、グリッドgと同じ大きさの面を生成し、計測領域KAの三次元地図を出力して、三次元地図更新処理Bを終了し、STEP-105に移行する。
[0125]
 図16に示すように、データ処理部70は、STEP-401において、ラベリング処理Cを開始し、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を算出し、STEP-402に移行する。
[0126]
 データ処理部70は、STEP-402において、算出した標高値の差のいずれかが閾値以下か否かを判定する。尚、データ処理部70は、4近傍のグリッドgがない(注目グリッドgaが三次元地図の左上にある)場合は、STEP-404に移行して注目グリッドgaに1番のラベルを付与する。
 その結果、データ処理部70は、算出した標高値の差のいずれかが閾値以下である場合、STEP-403に移行する。
 一方、データ処理部70は、算出した標高値の差が全て閾値よりも大きい場合、STEP-404に移行する。
[0127]
 データ処理部70は、STEP-403において、標高値の差が閾値以下のグリッドgの中で最も番号が小さいラベルを注目グリッドgaに付与し、STEP-405に移行する。
[0128]
 データ処理部70は、STEP-404において、注目グリッドgaに新たなラベルを付与し、STEP-405に移行する。
[0129]
 データ処理部70は、STEP-405において、全てのグリッドgに対してラベルの付与が完了したか否かを判定する。
 その結果、データ処理部70は、全てのグリッドgに対してラベルの付与が完了した場合、STEP-406に移行する。
 一方、データ処理部70は、全てのグリッドgに対してラベルの付与が完了していない場合、STEP-401に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-401を行う。
[0130]
 データ処理部70は、STEP-406において、注目グリッドgaの代表点prの標高値とその4近傍にある各グリッドgの代表点prの標高値との差を算出し、STEP-407に移行する。
[0131]
 データ処理部70は、STEP-407において、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているか否かを判定する。
 その結果、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されている場合、STEP-408に移行する。
 一方、データ処理部70は、注目グリッドgaの4近傍のグリッドgに、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されていない場合、STEP-409に移行する。
[0132]
 データ処理部70は、STEP-408において、標高値の差が閾値以下で、かつ、注目グリッドgaと異なるラベルが付与されているグリッドgのラベルを注目グリッドgaのラベルで上書きし、STEP-409に移行する。
[0133]
 データ処理部70は、STEP-409において、全てのグリッドgに対してSTEP-406、407の処理が完了したか否かを判定する。
 その結果、データ処理部70は、全てのグリッドgに対してSTEP-406、407の処理が完了した場合、STEP-410に移行する。
 一方、データ処理部70は、全てのグリッドgに対してSTEP-406、407の処理が完了していない場合、STEP-406に移行し、注目グリッドgaの右隣または次の行のグリッドgを次の注目グリッドgaとしてSTEP-406を行う。
[0134]
 データ処理部70は、STEP-410において、グリッドgにラベルが付与された三次元地図を出力して、ラベリング処理C処理を終了し、STEP-106に移行する。
[0135]
 以下に、レーザスキャナ62から各代表点prまでの距離Laに応じて閾値を変更する地表面推定方法について説明する。
[0136]
 データ処理部70は、レーザスキャナ62から各代表点prまでの距離Laとレーザスキャナ62の計測性能とに基づいて、閾値を変更する。距離Laは、点群データPの座標に基づいて算出される。図17A、図17Bに示すように、例えば、データ処理部70は、距離Laが増加して所定の距離Lbを越えた場合、閾値を0.1mから0.2mに増加させている。所定の距離Lbは、閾値を変更する条件となる距離である。これにより、データ処理部70は、距離Laが増加することによって、レーザスキャナ62の計測誤差(計測結果のばらつき)が増加したとしても、増加させた閾値の範囲内で、計測誤差が増加したグリッドgを連続領域と認識できる。
[0137]
 或いは、図18A左図に示すように、データ処理部70は、ブーム長さ、起伏角度、レーザスキャナ62の配置位置から、センサユニット65に配置されたレーザスキャナ62の高さH1を算出する。データ処理部70は、算出したレーザスキャナ62の高さH1に基づいて、水平面である仮想地表面Faを設定する。具体的には、データ処理部70は、仮想地表面Faからのレーザスキャナ62の高さが算出したレーザスキャナ62の高さH1と等しくなるように、仮想地表面Faを設定する。そして、データ処理部70は、レーザスキャナ62から所定の距離Lbとなるような仮想地表面Fa上の位置を、レーザスキャナ62の高さH1と所定の距離Lbとに基づいて算出する。
[0138]
 図18A右図に示すように、データ処理部70は、所定の距離Lbが複数ある場合、算出した仮想地表面Fa上の位置が同一の円の縁Naの位置となるような、Z軸方向視で同心円状の領域Nを設定する。設定される同心円状の領域Nは、同心円の中心がセンサユニット65に配置されたレーザスキャナ62の鉛直下方向の位置となる。データ処理部70は、同心円で区切られる仮想地表面Faの領域毎に閾値を設定する。例えば、データ処理部70は、同心円で区切られる仮想地表面Faの領域毎に0.1m、0.11m、0.12m、0,13mの閾値を設定している。
[0139]
 データ処理部70は、所定の距離Lbが一つの場合、算出した仮想地表面Fa上の位置が円の縁の位置となるような、Z軸方向視で円状の領域を設定する。設定される円状の領域は、円の中心がセンサユニット65に配置されたレーザスキャナ62の鉛直下方向の位置となる。データ処理部70は、円で区切られる仮想地表面の領域毎に閾値を設定する。
[0140]
 或いは、データ処理部70は、ブーム9の先端部分の高さH2に基づいて、全ての代表点prの閾値を一律に変更する。図18Bに示すように、例えば、ブーム9の先端部分の高さが高くなり所定の高さH3を超えた場合に、全ての代表点prの閾値を一律に0.1mから0.2mに増加させている。所定の高さH3は、閾値を変更する条件となる高さである。或いは、荷物Wの重量やブーム長さによっても、ブーム9の揺れが大きくなり計測誤差が大きくなるため、荷物Wの重量やブーム長さに応じて閾値を変更してもよい。
[0141]
 以下に、計測領域表示システム50の制御態様について具体的に説明する。
[0142]
 図19に示すように、データ処理部70は、STEP-411において、レーザスキャナ62から代表点prまでの距離Laを算出し、レーザスキャナ62から代表点prまでの距離Laとレーザスキャナ62の計測性能とに基づいて閾値を変更し、STEP-402に移行する。
[0143]
 このような地表面推定方法は、点群データPの計測誤差を考慮した閾値に変更することによって、より計測結果のばらつきを考慮して連続する領域が認識される。これにより、傾斜や凹凸によって地表面Fの高さが変動していても連続した地表面Fとして認識できる。
[0144]
 以下に、計測領域KAの所定の範囲内における、連続領域の数に応じてグリッドgの幅を変更する地表面推定方法について説明する。
[0145]
 図20Aに示すように、所定の範囲内に所定の数以上の連続領域がある場合、地表面Fの領域が狭くなり、より小さな地表面Fの領域が認識されていない可能性がある。所定の範囲と所定の数とは、任意に設定されている。データ処理部70は、所定の範囲Jaを三次元地図のグリッドg上の全体で移動させながら、所定の範囲Ja内に所定の数以上の連続領域があるか否かを判定していく。
[0146]
 例えば、所定の範囲Jaをグリッドg上で移動させていくと、所定の範囲Jaに1番から4番のラベルの連続領域がある場合があるとする。また、所定の数が4に設定されているとする。このとき、データ処理部70は、所定の範囲Ja内に所定の数である4以上の連続領域があるため、グリッドgの幅を半分に減少させて、再びラベリング処理Cを行う。図20Bに示すように、データ処理部70は、グリッドgの幅を減少させることによって、3番のラベルと4番のラベルとの間の、より小さな地表面F(1番のラベル)の領域を認識している。尚、グリッドgの幅の変化率は、任意に設定可能とする。また、データ処理部70は、グリッドgの幅を小さくしても連続領域の形状が変わらなかった場合、小さくする前のグリッドgの幅に戻してもよい。
[0147]
 以下に、計測領域表示システム50の制御態様について具体的に説明する。
[0148]
 図21に示すように、データ処理部70は、STEP-208において、所定の範囲内にある連続領域の数に応じてグリッドgの幅を変更し、STEP-202に移行する。
[0149]
 このような地表面推定方法は、地表面Fの領域が小さくなる場合でも、グリッドgの幅を小さくすることによって、より小さな地表面Fの領域が認識される。これにより、傾斜や凹凸によって地表面Fの高さが変動していても連続した地表面Fとして認識できる。
[0150]
 上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

産業上の利用可能性

[0151]
 本発明は、地表面推定方法、計測領域表示システムおよびクレーンに利用可能である。

符号の説明

[0152]
 1   クレーン
 61  カメラ
 62  レーザスキャナ
 70  データ処理部
 F   地表面
 g   グリッド
 H   平均標高値
 KA  計測領域
 p   点データ
 P   点群データ
 pr  代表点

請求の範囲

[請求項1]
 レーザスキャナによって、計測領域にレーザを照射して点群データを取得し、前記点群データから照射点の標高値を算出する点群データ取得工程と、
 前記点群データを演算処理するデータ処理手段によって、
 前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定するグリッド生成処理工程と、
 前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識する連続領域認識工程と、
 前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定する地表面推定工程と、
 を備える、ことを特徴とする地表面推定方法。
[請求項2]
 前記グリッド生成処理工程は、
 前記グリッド毎に当該グリッドを水平の方向にスライスして、前記グリッド毎にスライスされて形成される範囲内の前記点群データの平均標高値を算出する、ことを特徴とする請求項1に記載の地表面推定方法。
[請求項3]
 前記連続領域認識工程は、
 前記レーザスキャナから前記代表点までの距離に応じて前記閾値を変更する、ことを特徴とする請求項1または請求項2に記載の地表面推定方法。
[請求項4]
 前記グリッド生成処理工程は、
 前記計測領域の所定の範囲内における、前記連続領域の数に応じて前記グリッドの幅を変更する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の地表面推定方法。
[請求項5]
 計測領域にレーザを照射して点群データを取得するレーザスキャナを備えたデータ取得部と、
 取得した点群データを演算処理するデータ処理部と、
 データ表示部と、を備え、
 前記データ処理部は、
 前記データ取得部から前記点群データを取得し、前記点群データから照射点の標高値を算出し、
 前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
 前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、
 前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、
 前記地表面と推定された連続領域を他の領域と区別して前記データ表示部に表示する、ことを特徴とする計測領域表示システム。
[請求項6]
 旋回台と、
 前記旋回台に設けられるブームと、
 前記ブームに取り付けられ、点群データを取得するレーザスキャナと、
 取得した点群データを演算処理する制御装置と、
 表示装置と、を備えるクレーンにおいて、
 前記旋回台の旋回操作と、前記ブームの伸縮操作と起伏操作と、に伴って前記レーザスキャナを移動させながらレーザを照射させることで、前記レーザスキャナのレーザ照射時の位置毎の点群データを取得し、
 前記制御装置は、
 前記レーザスキャナのレーザ照射時の位置毎の前記点群データを取得し、前記レーザスキャナのレーザ照射時の位置とその姿勢とに基づいてレーザ照射時の位置毎の前記点群データを重ね合わせ、照射点の標高値を算出し、
 前記計測領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドの重心位置と当該グリッド内の前記点群データの平均標高値とを算出し、前記平均標高値における前記重心位置を前記グリッド毎の代表点の位置として設定し、
 前記複数のグリッドのうち、一のグリッドの代表点と隣接する他のグリッドの代表点との標高値の差が閾値以下であれば、前記一のグリッドと前記他のグリッドとが連続する領域である連続領域として認識し、
 前記連続領域のうち、最も前記グリッドの数が多い連続領域を地表面と推定し、
 前記地表面と推定された連続領域を他の領域と区別して前記表示装置に表示する、ことを特徴とするクレーン。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]