Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020116018 - NAVIGATION APPARATUS, NAVIGATION PARAMETER CALCULATION METHOD, AND PROGRAM

Document

明 細 書

発明の名称 航法装置、航法パラメータ計算方法およびプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080  

産業上の利用可能性

0081  

符号の説明

0082  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 航法装置、航法パラメータ計算方法およびプログラム

技術分野

[0001]
 本発明は、移動体の航法パラメータを計算する航法装置、航法パラメータ計算方法およびプログラムに関する。

背景技術

[0002]
 例えば、特許文献1に記載された航法装置は、移動体に搭載されたカメラによって撮影された画像と、移動体に搭載されたレーザ測距装置によって検出されたレーザ光の照射基準点から測距点までの距離データとを用いて、移動体の位置および姿勢の計算を行っている。

先行技術文献

特許文献

[0003]
特許文献1 : 特許第6029794号公報

発明の概要

発明が解決しようとする課題

[0004]
 特許文献1に記載された航法装置は、カメラによって撮影された画像を示す画像データごとに画像特徴に基づく画像マッチングを行い、距離データを用いた移動体の位置および姿勢の調整計算を行う必要がある。これらの処理は演算負荷が高いため、移動体の位置と姿勢を示す航法パラメータの時間分解能を増やす必要がある場合、多大な計算リソースを必要とするという課題があった。
[0005]
 本発明は上記の課題を解決するものであり、移動体の航法パラメータの時間分解能を増やしても、航法パラメータの計算に必要な計算リソースの増加を抑制することができる航法装置、航法パラメータ計算方法およびプログラムを得ることを目的とする。

課題を解決するための手段

[0006]
 本発明に係る航法装置は、移動体の航法パラメータの計算に用いるデータを取得するデータ取得部と、データ取得部によって取得されたデータを記憶装置に記憶させるデータ記憶処理部と、記憶装置に記憶されたデータを検索するデータ検索部と、移動体の航法パラメータの計算に用いるデータを入力として移動体の航法パラメータの計算を行うニューラルネットワークを用いて、データ検索部によって検索されたデータに対応した移動体の航法パラメータを計算するパラメータ計算部を備える。

発明の効果

[0007]
 本発明によれば、移動体の航法パラメータの計算に用いるデータを入力として移動体の航法パラメータの計算を行うニューラルネットワークを用いて、移動体の航法パラメータの計算に用いるデータに対応した航法パラメータを計算する。ニューラルネットワークを用いることにより、移動体の航法パラメータの時間分解能を増やしても、航法パラメータの計算に必要な計算リソースの増加を抑制することができる。

図面の簡単な説明

[0008]
[図1] 実施の形態1に係る航法装置の構成例を示すブロック図である。
[図2] 実施の形態1に係る航法パラメータ計算方法を示すフローチャートである。
[図3] 実施の形態1における画像データの例を示す図である。
[図4] 実施の形態1における画像データの別の例を示す図である。
[図5] 実施の形態1におけるデプスデータの例を示す図である。
[図6] ニューラルネットワークの構成例を示す図である。
[図7] 実施の形態1に係る航法装置の変形例の構成を示すブロック図である。
[図8] 実施の形態1に係る航法装置の別の変形例の構成を示すブロック図である。
[図9] 図9Aは、実施の形態1に係る航法装置の機能を実現するハードウェア構成を示すブロック図である。図9Bは、実施の形態1に係る航法装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
[図10] 実施の形態2に係る航法装置の構成例を示すブロック図である。
[図11] 実施の形態2に係る航法パラメータ計算方法を示すフローチャートである。
[図12] 図12Aは、実施の形態2におけるグラウンド画像データの例を示す図である。図12Bは、実施の形態2におけるグラウンドデプスデータの例を示す図である。図12Cは、実施の形態2における画像データの例を示す図である。図12Dは、図12Aのグラウンド画像データに対して図12Cの画像データを重畳させたグラウンド画像データの例を示す図である。
[図13] 実施の形態2に係る航法装置の変形例の構成を示すブロック図である。

発明を実施するための形態

[0009]
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、実施の形態1に係る航法装置1の構成例を示すブロック図である。航法装置1は、例えば、移動体2に搭載された測量システムが備える航法装置である。測量システムは、航法装置1に加え、撮影装置3と距離センサ4とを備えており、撮影装置3によって撮影された画像を示す画像データと、距離センサ4によって計測された測距点までの距離データとを用いて、地形の測量を行う。
[0010]
 航法装置1は、移動中の移動体2の航法パラメータを計算する。移動体2の航法パラメータは、例えば、移動体2の位置、姿勢またはこれらの変化量を示すパラメータである。
 なお、航法装置1は、図1に示すように移動体2に搭載された装置であってもよいし、移動体2とは別の場所に設けられた装置であってもよい。航法装置1は、移動体2と別の場所に設けられた装置である場合、有線または無線の通信によって移動体2から受信した情報を用いて移動体2の位置および姿勢を推定する。移動体2は、移動しつつ、撮影装置3による撮影および距離センサ4による計測が可能な移動体であり、例えば、航空機、人工衛星または無人飛行体(UAV)である。以下では、移動体2が航空機であるものとして説明を行う。
[0011]
 撮影装置3は、移動体2から測量対象を撮影する装置であり、例えば、航空機に搭載されて上空から地表側を撮影する1つまたは複数の空撮カメラである。撮影装置3によって光学情報が撮影される。例えば、撮影装置3によって地表側の地形または構造物を被写体とした光学情報が得られる。また、撮影装置3は、例えば、予め定められた周期で地表側を撮影し、撮影日時を含む光学情報を生成する。
[0012]
 距離センサ4は、距離センサ4から測距点までの距離を検出するセンサである。測距点は、撮影装置3によって撮影された光学情報の被写体である。例えば、距離センサ4は、航空機に搭載されたレーザスキャナである。レーザスキャナは、レーザ光を被写体側に照射して被写体からの反射光を受光し、受光した反射光の情報に基づいてレーザ光の照射基準点から被写体までの距離を検出する。
[0013]
 航法装置1は、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14を備える。画像取得部10は、移動体2から撮影された画像データを、移動体2の航法パラメータの計算に用いるデータとして取得するデータ取得部である。例えば、画像取得部10は、撮影装置3によって撮影日時を含む光学情報が得られるたびに、光学情報から被写体の画像を示す画像データを生成して取得し、取得した画像データをデータ記憶処理部12に順次出力する。画像データは、撮影日時ごとの静止画像であってもよいし、動画像であってもよい。
[0014]
 デプス取得部11は、撮影装置3によって撮影された画像データの奥行き方向の情報を示すデプスデータを、移動体2の航法パラメータの計算に用いるデータとして取得するデータ取得部である。例えば、デプス取得部11は、画像取得部10によって取得された画像データを入力すると、距離センサ4によって検出された距離データと、画像取得部10によって取得された画像データとを用いて、画像データの奥行き方向の距離を示すデプスデータを生成する。また、デプスデータには、画像データの撮影日時が含まれる。デプス取得部11は、距離センサ4によって距離データが検出されるたびにデプスデータを生成し、生成したデプスデータをデータ記憶処理部12に順次出力する。
[0015]
 データ記憶処理部12は、画像取得部10によって順次取得された画像データの時系列を、図1において不図示の記憶装置に記憶し、デプス取得部11によって取得されたデプスデータを、上記記憶装置に記憶する。データ記憶処理部12によって、画像データは、画像の撮影日時に紐付けられ、デプスデータは、対応する画像データが示す画像の撮影日時に紐付けられて上記記憶装置に記憶される。
[0016]
 データ検索部13は、データ記憶処理部12によって上記記憶装置に記憶された画像データの時系列およびデプスデータを検索する。例えば、データ検索部13は、時刻情報に基づいて、画像データの時系列およびデプスデータを、データ記憶処理部12から検索する。ここで、撮影日時が時刻iである被写体の画像を示す画像データIiが取得された場合、データ検索部13は、この画像データIiと、時刻iよりも1時刻単位前の時刻i-1が撮影日時である同じ被写体の画像を示す画像データIi-1とからなる時系列および時刻iに得られた画像データIiに対応するデプスデータDをデータ記憶処理部12から検索する。
[0017]
 パラメータ計算部14は、ニューラルネットワークを用いて、データ検索部13によって検索された画像データの時系列およびデプスデータから、画像データの時系列に対応した航法パラメータを計算する。上記ニューラルネットワークは、画像データおよびデプスデータを入力として移動体2の航法パラメータの計算を行うように学習されている。ここで、移動体2の航法パラメータは、例えば、移動体2の位置の変化量と姿勢の変化量の両方またはいずれか一方を示すパラメータである。
[0018]
 例えば、パラメータ計算部14は、上記ニューラルネットワークを用いて、データ検索部13によって検索された画像データIi、画像データIi-1およびデプスデータDから、時刻i-1から時刻iまでの間の移動体2の位置および姿勢の各変化量を計算する。パラメータ計算部14によって計算された航法パラメータは、データ記憶処理部12に記憶される。
[0019]
 次に動作について説明する。
 図2は、実施の形態1に係る航法パラメータ計算方法を示すフローチャートである。
 画像取得部10が、撮影装置3から光学情報を取得し、取得した光学情報から、被写体の画像を示す画像データを生成してデータ記憶処理部12に出力する。データ記憶処理部12は、画像取得部10から入力した画像データを記憶装置に記憶する(ステップST1)。このとき、画像取得部10は、画像データをデプス取得部11に出力してもよい。図3は、画像データ10Aを示す図であり、図4は、画像データ10Bを示す図である。例えば、画像データ10Aおよび画像データ10Bには、図3および図4に示すように矩形状の構造物が写っており、これらの構造物は住宅の屋根である。以下では、画像データ10Aが時刻iに得られた画像データIiであり、画像データ10Bが時刻i-1に得られた画像データIi-1であるものとする。
[0020]
 デプス取得部11が、距離センサ4によって検出された距離データおよび画像取得部10によって取得された画像データを用いてデプスデータを生成し、生成したデプスデータをデータ記憶処理部12に出力する。データ記憶処理部12は、デプス取得部11から入力したデプスデータを記憶装置に記憶する(ステップST2)。図5は、デプスデータ20を示す図である。デプスデータ20は、画像データIiに対応したデプスデータDであり、画像データ10Aの奥行き方向の距離を示している。デプスデータ20では、地表面からの高さが濃淡で表現されており、色が濃いほど地表面に近く(低い)、色が薄いほど地表面から遠い(高い)。画像データ10Aとデプスデータ20を参照すると、住宅の屋根に相当する部分は、他の部分に比べて高い位置にあることが分かる。
 ステップST1およびステップST2の処理が、データ取得部(画像取得部10およびデプス取得部11)による、移動体2の航法パラメータの計算に用いるデータの取得処理と、データ記憶処理部12による、データ取得部によって取得されたデータを記憶装置に記憶させる処理に相当する。
[0021]
 データ検索部13が、データ記憶処理部12によって記憶装置に記憶された画像データIi、画像データIi-1およびデプスデータDを検索する(ステップST3)。例えば、データ検索部13は、最新の画像データIiが時刻iに得られると、この画像データIi、時刻i-1に得られた画像データIi-1および画像データIiに対応するデプスデータDを記憶装置から検索して、パラメータ計算部14に出力する。
[0022]
 パラメータ計算部14は、ニューラルネットワークを用いて、データ検索部13により検索された画像データおよびデプスデータから、移動体2の位置および姿勢の各変化量を示す航法パラメータを計算する(ステップST4)。
 例えば、パラメータ計算部14は、画像データIi、画像データIi-1およびデプスデータDをニューラルネットワークの入力層に入力し、このニューラルネットワークによって計算されて出力層から出力された時刻i-1から時刻iまでの間の移動体2の位置の変化量(Δx,Δy,Δz)と姿勢の変化量(Δω,Δφ,Δκ)とを取得する。
 Δωは、移動体2のローリング方向の姿勢角の変化量を示しており、Δφは、移動体2のピッチング方向の姿勢角の変化量を示しており、Δκは、移動体2のヨーイング方向の姿勢角の変化量を示している。なお、パラメータ計算部14は、移動体2の位置の変化量のみを示す航法パラメータを計算してもよいし、移動体2の姿勢の変化量のみを示す航法パラメータを計算してもよい。また、パラメータ計算部14は、移動体2の姿勢角であるω、φおよびκのうちの少なくとも一つの姿勢角の変化量を、移動体2の航法パラメータとして計算してもよい。
[0023]
 この後、パラメータ計算部14は、航法パラメータの計算を終了するか否かを確認する(ステップST5)。例えば、測量システムが地形の測量を終了する場合、航法装置1による移動体2の航法パラメータの計算も終了される。航法パラメータの計算を終了する場合(ステップST5;YES)、図2に示す一連の処理が終了される。一方、航法パラメータの計算を終了しない場合(ステップST5;NO)、ステップST1の処理に戻り、前述した一連の処理が繰り返される。
[0024]
 次に、航法パラメータの計算に用いられるニューラルネットワークについて説明する。
 パラメータ計算部14が用いるニューラルネットワークは、画像データの時系列およびデプスデータと、これに対応する移動体2の位置および姿勢の各変化量とをセットとした教師データを用いて、画像データIi、画像データIi-1およびデプスデータDを入力すると、時刻i-1から時刻iまでの間の移動体2の位置の変化量(Δx,Δy,Δz)と姿勢の変化量(Δω,Δφ,Δκ)との両方または一方を計算して出力するように学習されている。ニューラルネットワークでは、従来の航法装置において移動体の航法パラメータの計算精度を高めるために反復して行われる上記航法パラメータの調整計算が不要である。上記調整計算は多大な計算リソースを必要としたので、ニューラルネットワークを用いることで、計算リソースの増加を抑制することができる。
 航法パラメータの計算に用いるニューラルネットワークは、画像データIiから画像データIi-nまでの(n+1)個の画像データを入力可能な入力層を有したニューラルネットワークであってもよい。パラメータ計算部14は、(n+1)個の画像データおよび時刻iに対応するデプスデータDを入力として移動体2の位置の変化量および姿勢の変化量の両方または一方を計算するニューラルネットワークを用いて、(n+1)個の画像データの時系列に対応する移動体2の位置の変化量および姿勢の変化量の両方または一方を示す航法パラメータを計算する。
[0025]
 例えば、参考文献1には、畳み込みニューラルネットワーク(以下、CNNと記載する)を用いた画像認識によって物体を識別する技術が記載されている。CNNとは、二次元の入力信号、例えば画像データに相当する二次元信号に対して階層ごとにフィルタを適用して次の層に渡すことを特徴するニューラルネットワークである。
(参考文献1)Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, “Imagenet classification with deep convolutional neural networks” ,In Advances in neural information processing systems, pages 1097-1105, 2012.
[0026]
 ニューラルネットワークは、入力信号の重み付き和を計算し、計算結果に活性化関数と呼ばれる非線形関数を適用して出力するパーセプトロンが階層的に配置された計算モデルである。パーセプトロンは、入力信号をX=(x1,x2,・・・,xn)とし、重みをW=(w1,w2,・・・,wn)とし、活性化関数をf( )とし、*をベクトルの要素積とした場合、下記式(1)のように表される。CNNにおいて、パーセプトロンは、二次元信号を入力とし、入力した二次元信号の重み付き和を計算して次の層に渡す。活性化関数としては、シグモイド関数またはReLU関数が用いられる。
 out=f(X*W)    ・・・(1)
[0027]
 図6は、ニューラルネットワークの構成例を示す図である。図6に示すように、ニューラルネットワークでは、パーセプトロンが階層的に配置されており、各階層で入力された信号を処理していくことで、識別結果が計算される。最終層は、識別するタスクの出力に対応しており、回帰タスクであれば、信号に活性化関数が適用された値がそのまま予測値として出力され、分類タスクであれば、最終層において信号にソフトマックス関数が適用された値が出力される。
[0028]
 CNNは、図6に示すように、複数の二次元信号のマップから構成される。複数の二次元信号のそれぞれがパーセプトロンに対応するとみなすことができ、前層の特徴マップに対して重み付き和を計算して活性化関数を適用した結果が次層に出力される。入力信号に対して重み付き和を計算して活性化関数を適用する処理は、CNNにおいて畳み込み演算と呼ばれる。CNNには、プーリング処理を行う層が挿入されることもある。プーリング処理は、特徴マップに平均値演算または最大値演算を行ってダウンサンプリングする処理である。
[0029]
 図6に示すCNNは、第1層、第2層および第3層に畳み込み層を有し、第4層と第5層に全結合層が配置されている。全結合層は、中間層で得られた演算結果を結合して重み付き和を計算してから出力する。また、ニューラルネットワークの学習は、誤差逆伝播によって行われ、確率的勾配降下法を用いて分類誤差が最小化される。誤差逆伝播は、ニューラルネットワークの出力誤差を最終層から順に前の層へ伝播させて重みを更新する処理である。
[0030]
 なお、これまで、レーザスキャナによって検出された距離データを用いたデプスデータの生成を示したが、例えば、デプス取得部11が、画像取得部10によって取得された画像データと、キネクト(登録商標)によって検出されたデプス情報あるいは距離カメラによって距離情報とを用いて、デプスデータを生成してもよい。
[0031]
 次に、実施の形態1に係る航法装置の変形例について説明する。
 図7は、航法装置1の変形例である航法装置1Aの構成を示すブロック図である。図7において、航法装置1Aは、画像取得部10、デプス取得部11A、データ記憶処理部12A、データ検索部13Aおよびパラメータ計算部14Aを備える。
[0032]
 データ記憶処理部12Aは、画像取得部10によって取得された画像データと、パラメータ計算部14Aによって計算された移動体2の航法パラメータとを、図7において不図示の記憶装置に記憶する。データ検索部13Aは、データ記憶処理部12Aによって上記記憶装置に記憶された画像データの時系列を検索して、デプス取得部11Aとパラメータ計算部14Aに出力する。
[0033]
 デプス取得部11Aは、データ検索部13Aによって検索された画像データの時系列を用いて、デプスデータを生成するデータ取得部である。例えば、デプス取得部11Aは、データ検索部13Aによって検索された画像データIiと画像データIi-1に対して、ステレオ写真の原理に基づく画像処理を施して時刻iのデプスデータDを生成する。例えば、この画像処理は、移動体2の移動に応じた画像データIiの被写体の位置と画像データIi-1の被写体の位置とのずれを利用して、画像データIiの奥行き方向の距離を計算する処理である。なお、デプスデータDの生成には、ステレオ写真の原理に基づいた、従来の画像処理を用いてもよい。
[0034]
 パラメータ計算部14Aは、ニューラルネットワークを用いて、データ検索部13Aによって検索された画像データの時系列と、デプス取得部11Aによって計算されたデプスデータから、画像データの時系列に対応した航法パラメータを計算する。
 デプス取得部11Aが、画像取得部10によって取得された画像データを用いてデプスデータを生成するので、航法装置1Aは、移動体2が距離センサ4を備えていなくても、移動体2の航法パラメータを計算することが可能である。
[0035]
 なお、航法パラメータの計算に用いるニューラルネットワークは、画像データIiから画像データIi-nまでの(n+1)個の画像データを入力可能な入力層を有したニューラルネットワークであってもよい。パラメータ計算部14Aは、(n+1)個の画像データおよびデプスデータを入力として移動体2の位置の変化量および姿勢の変化量の両方または一方を計算するニューラルネットワークを用いて、移動体2の位置の変化量および姿勢の変化量の両方または一方を示す航法パラメータを計算する。
[0036]
 図8は、航法装置1の変形例である航法装置1Bの構成を示すブロック図である。図8において、航法装置1Bは、画像取得部10、データ記憶処理部12B、データ検索部13Bおよびパラメータ計算部14Bを備える。データ記憶処理部12Bは、画像取得部10によって取得された画像データと、パラメータ計算部14Bによって計算された移動体2の航法パラメータを、図8において不図示の記憶装置に記憶する。データ検索部13Bは、データ記憶処理部12Bによって上記記憶装置に記憶された画像データの時系列を検索してパラメータ計算部14Bに出力する。
[0037]
 パラメータ計算部14Bは、ニューラルネットワークを用いて、データ検索部13Bによって検索された画像データの時系列から、画像データの時系列に対応した航法パラメータを計算する。上記ニューラルネットワークは、画像データを入力とし、この画像データの奥行き方向の情報を中間層で計算してから移動体2の航法パラメータを計算するように学習されている。上記画像データの奥行き方向の情報が、デプスデータに相当する情報である。
[0038]
 例えば、このニューラルネットワークが、画像データIiおよび画像データIi-1を入力することで、画像データIiの奥行き方向の距離情報が中間層で計算され、計算された上記距離情報を用いて最終層までの各階層で移動体2の航法パラメータが計算される。このようにニューラルネットワークがデプスデータに相当する情報を生成するので、航法装置1Bは、移動体2が距離センサ4を備えていなくても、移動体2の航法パラメータを計算することが可能である。
[0039]
 なお、航法パラメータの計算に用いるニューラルネットワークは、画像データIiから画像データIi-nまでの(n+1)個の画像データを入力可能な入力層を有したニューラルネットワークであってもよい。パラメータ計算部14Bは、(n+1)個の画像データを入力として移動体2の位置の変化量および姿勢の変化量の両方または一方を計算するニューラルネットワークを用いて、移動体2の位置の変化量および姿勢の変化量の両方または一方を示す航法パラメータを計算する。
[0040]
 次に、航法装置1の機能を実現するハードウェア構成について説明する。
 航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14の機能は、処理回路によって実現される。
 すなわち、航法装置1は、図2に示したステップST1からステップST5までの処理を実行するための処理回路を備えている。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
[0041]
 図9Aは、航法装置1の機能を実現するハードウェア構成を示すブロック図である。図9Bは、航法装置1の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図9Aおよび図9Bにおいて、インタフェース100は、航法装置1と撮影装置3および距離センサ4との間における情報のやり取りを中継するインタフェースである。記憶装置101は、データ記憶処理部12によって画像データおよびデプスデータが記憶される記憶装置である。記憶装置101は、例えば、航法装置1が備えるハードディスクであってもよいし、通信ネットワークを介して情報の読み出しが可能な外部記憶装置であってもよい。
[0042]
 処理回路が、図9Aに示す専用のハードウェアの処理回路102である場合、処理回路102は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
 航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14の機能を別々の処理回路で実現してもよく、これらの機能をまとめて1つの処理回路で実現してもよい。
[0043]
 処理回路が、図9Bに示すプロセッサ103である場合、航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ104に記憶される。
[0044]
 プロセッサ103は、メモリ104に記憶されたプログラムを読み出して実行することで、航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14の機能を実現する。すなわち、航法装置1は、プロセッサ103によって実行されるときに、図2に示したフローチャートにおけるステップST1からステップST5までの処理が結果的に実行されるプログラムを記憶するためのメモリ104を備える。これらのプログラムは、航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14の手順または方法を、コンピュータに実行させる。メモリ104は、コンピュータを、航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
[0045]
 メモリ104は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
[0046]
 航法装置1における、画像取得部10、デプス取得部11、データ記憶処理部12、データ検索部13およびパラメータ計算部14の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
 例えば、画像取得部10、デプス取得部11およびデータ記憶処理部12は、専用のハードウェアである処理回路102で機能を実現し、データ検索部13およびパラメータ計算部14は、プロセッサ103がメモリ104に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。
[0047]
 以上のように、実施の形態1に係る航法装置1は、移動体2の航法パラメータの計算に用いるデータを入力として移動体2の航法パラメータの計算を行うニューラルネットワークを用いて、移動体2の航法パラメータの計算に用いるデータに対応した移動体2の航法パラメータを計算する。このニューラルネットワークを用いることにより、特許文献1に記載された従来の航法装置のように、画像データごとに画像特徴に基づく画像マッチングと移動体の位置および姿勢の調整計算とを行う必要がなくなるため、移動体2の航法パラメータの時間分解能を増やしても、航法パラメータの計算に必要な計算リソースの増加を抑制することができる。
[0048]
実施の形態2.
 図10は、実施の形態2に係る航法装置1Cの構成例を示すブロック図である。図10において、図1と同一の構成要素には同一の符号を付して説明を省略する。航法装置1Cは、例えば、移動体2に搭載された測量システムが備える航法装置である。測量システムは、航法装置1Cに加えて、撮影装置3およびGNSS5を備えており、撮影装置3によって撮影された画像データと、GNSS5によって計測された移動体2の位置情報とを用いて、地形の測量を行う。
[0049]
 航法装置1Cは、移動中の移動体2の位置および姿勢を推定する。なお、航法装置1Cは、図10に示すように、移動体2に搭載された装置であってもよいし、移動体2とは別の場所に設けられた装置であってもよい。航法装置1Cは、移動体2と別の場所に設けられた装置である場合、有線または無線の通信によって移動体2から受信した情報を用いて移動体2の位置および姿勢を推定する。
[0050]
 GNSS(Global Navigation Satellite System)5は、GNSS衛星から受信したGNSS信号を解析して、移動体2の現在位置を示す位置情報を計測する。GNSS5によって計測される移動体2の位置情報は、GNSS信号の受信精度に応じた誤差が含まれる移動体2の大まかな位置を示す情報である。
[0051]
 航法装置1Cは、図10に示すように、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15を備える。
 位置情報取得部15は、GNSS5によって計測された移動体2の位置情報を取得するデータ取得部である。データ記憶処理部12Cによって、図10において不図示の記憶装置に、画像取得部10によって取得された画像データが予め記憶され、グラウンド画像データとグラウンドデプスデータとが予め記憶されている。
[0052]
 グラウンド画像データは、移動体2が移動(飛行)している領域を予め上空から撮影した画像データであり、撮影された上記領域の位置情報に紐付けられてデータ記憶処理部12Cに記憶されている。グラウンドデプスデータは、このグラウンド画像データの奥行き方向の情報(距離)を示すデプスデータである。例えば、グラウンドデプスデータは、これに対応するグラウンド画像データに紐付けられてデータ記憶処理部12Cに記憶されている。
[0053]
 データ検索部13Cは、位置情報取得部15によって取得された移動体2の位置情報に基づいて、データ記憶処理部12Cに記憶された画像データ、グラウンド画像データおよびこれに対応するグラウンドデプスデータを検索する。例えば、データ検索部13Cは、画像取得部10によって画像データが取得されてデータ記憶処理部12Cに記憶されると、データ記憶処理部12Cから、この画像データを検索し、この画像データが取得されたときの移動体2の位置情報に対応するグラウンド画像データおよびグラウンドデプスデータを検索する。
[0054]
 パラメータ計算部14Cは、ニューラルネットワークを用いて、データ検索部13Cによって検索された画像データ、グラウンド画像データ、およびグラウンドデプスデータから、画像データが取得されたときの移動体2の航法パラメータを計算する。ニューラルネットワークは、画像データ、グラウンド画像データおよびグラウンドデプスデータを入力として移動体2の航法パラメータの計算を行うように学習されている。また、航法パラメータは、画像データが取得されたときの移動体2の位置と姿勢との両方またはいずれか一方を示すパラメータである。
[0055]
 次に動作について説明する。
 図11は、実施の形態2に係る航法パラメータ計算方法を示すフローチャートである。以下の説明において、移動体2は、航空機であり、撮影装置3は、移動体2の下方を撮影する。図12Aは、グラウンド画像データ30の例を示す図である。図12Bは、グラウンドデプスデータ40の例を示す図である。図12Cは、画像データ10Cの例を示す図である。図12Dは、図12Aのグラウンド画像データ30に対して、図12Cの画像データ10Cを重畳させたグラウンド画像データ50の例を示す図である。
[0056]
 画像取得部10が、撮影装置3から光学情報を取得し、取得した光学情報から、被写体の画像を示す画像データを生成してデータ記憶処理部12Cに出力する。データ記憶処理部12Cは、画像取得部10から入力した画像データを上記記憶装置に記憶する(ステップST1a)。例えば、画像取得部10は、図12Cに示す画像データ10Cを取得すると、取得した画像データ10Cをデータ記憶処理部12Cに出力するとともに、画像データ10Cを取得したことを位置情報取得部15に通知する。なお、撮影装置3によって光学情報が撮影されると直ちに画像取得部10が当該光学情報に対応した画像データを生成することから、撮影装置3による光学情報の撮影と、画像取得部10による画像データの取得は、ほぼ同じ時刻であるものとする。
[0057]
 位置情報取得部15は、GNSS5によって計測された移動体2の位置情報を取得し、取得した位置情報をデータ検索部13Cに出力する(ステップST2a)。例えば、位置情報取得部15は、画像取得部10によって画像データ10Cが取得されたことが通知されると、画像データ10Cが取得されたときの移動体2の位置情報をGNSS5から取得する。ステップST1aおよびステップST2aの処理が、データ取得部(画像取得部10および位置情報取得部15)による、移動体2の航法パラメータの計算に用いるデータの取得処理と、データ記憶処理部12Cによる、データ取得部によって取得されたデータを記憶装置に記憶させる処理に相当する。
[0058]
 データ検索部13Cは、データ記憶処理部12Cによって上記記憶装置に記憶された画像データ10Cを検索し、位置情報取得部15によって取得された移動体2の位置情報に基づいて、当該記憶装置から、グラウンド画像データ30とこれに対応するグラウンドデプスデータ40とを検索する(ステップST3a)。例えば、データ検索部13Cは、データ記憶処理部12Cによって上記記憶装置に記憶された画像データ10Cを検索し、画像データ10Cが取得されたときに移動体2の下方の領域が撮影されたグラウンド画像データ30およびこれに対応するグラウンドデプスデータ40を検索する。
[0059]
 パラメータ計算部14Cは、ニューラルネットワークを用いて、データ検索部13Cにより検索された画像データ10C、グラウンド画像データ30およびグラウンドデプスデータ40から、画像データ10Cが取得されたときの移動体2の位置または姿勢を示す航法パラメータを計算する(ステップST4a)。
[0060]
 例えば、パラメータ計算部14Cは、画像データ10C、グラウンド画像データ30およびグラウンドデプスデータ40をニューラルネットワークの入力層に入力し、このニューラルネットワークによって計算されて出力層から出力された移動体2の位置(x,y,z)を取得する。なお、ステップST4aの処理で計算される移動体2の航法パラメータは、移動体2の姿勢(ω,φ,κ)であってもよいし、移動体2の位置(x,y,z)と姿勢(ω,φ,κ)の両方であってもよい。このようにして計算された移動体2の航法パラメータは、データ記憶処理部12Cに記憶される。また、移動体2の航法パラメータとして計算される姿勢角は、ω、φおよびκのうちの少なくとも一つであってもよい。
[0061]
 この後、パラメータ計算部14Cは、航法パラメータの計算を終了するか否かを確認する(ステップST5a)。例えば、測量システムが地形の測量を終了する場合、移動体2の航法パラメータの計算も終了される。航法パラメータの計算を終了する場合(ステップST5a;YES)、図11に示す一連の処理が終了される。一方、航法パラメータの計算を終了しない場合(ステップST5a;NO)、ステップST1aの処理に戻り、前述した一連の処理が繰り返される。
[0062]
 ステップST4aの処理で移動体2の位置(x,y,z)が得られるので、この位置に基づいて、グラウンド画像データ30における画像データ10Cの位置を求めることが可能である。図12Dに示すグラウンド画像データ50は、移動体2の位置の計算結果を反映させたグラウンド画像データであり、画像中の領域50aは、画像データ10Cが取得された移動体2の位置を示している。
[0063]
 なお、パラメータ計算部14Cが用いる上記ニューラルネットワークは、画像データ、グラウンド画像データおよびグラウンドデプスデータと、これに対応する移動体2の位置および姿勢の両方または一方をセットとした教師データを用いて、上記画像データが取得されたときの移動体2の位置および姿勢の両方または一方を計算して出力するように学習されている。
[0064]
 また、ニューラルネットワークは、画像データ、グラウンド画像データ、グラウンドデプスデータおよび移動体2の位置情報と、これに対応する移動体2の姿勢(ω,φ,κ)をセットとした教師データを用いて、上記画像データが取得されたときの移動体2の姿勢(ω,φ,κ)を計算して出力するように学習されてもよい。この場合、パラメータ計算部14Cは、このニューラルネットワークを用いて、画像データ、グラウンド画像データ、グラウンドデプスデータおよび移動体2の位置情報から、当該画像データが取得されたときの移動体2の姿勢を計算する。このとき、移動体2の航法パラメータとして計算される姿勢角は、ω、φおよびκのうちの少なくとも一つであってもよい。
[0065]
 さらに、ニューラルネットワークは、画像データ、グラウンド画像データおよび移動体2の位置情報と、これに対応する移動体2の姿勢(ω,φ,κ)をセットとした教師データを用いて、上記画像データが取得されたときの移動体2の姿勢(ω,φ,κ)を計算して出力するように学習されてもよい。この場合、パラメータ計算部14Cは、このニューラルネットワークを用いて、画像データ、グラウンド画像データおよび移動体2の位置情報から、当該画像データが取得されたときの移動体2の姿勢を計算する。このとき、移動体2の航法パラメータとして計算される姿勢角は、ω、φおよびκのうちの少なくとも一つであってもよい。
[0066]
 さらに、ニューラルネットワークは、画像データおよびグラウンド画像データと、これに対応する移動体2の位置および姿勢の両方または一方をセットとした教師データを用いて、上記画像データが取得されたときの移動体2の位置(x,y,z)および姿勢(ω,φ,κ)の両方または一方を計算して出力するように学習されてもよい。この場合、パラメータ計算部14Cは、このニューラルネットワークを用いて、画像データおよびグラウンド画像データから、当該画像データが取得されたときの移動体2の位置および姿勢の両方または一方を計算する。移動体2の航法パラメータとして計算される姿勢角は、ω、φおよびκのうちの少なくとも一つであってもよい。
[0067]
 次に、航法装置1Cの機能を実現するハードウェア構成について説明する。
 航法装置1Cにおける、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15の機能は、処理回路によって実現される。すなわち、航法装置1Cは、図11に示したステップST1aからステップST5aまでの処理を実行するための処理回路を備えている。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPUであってもよい。
[0068]
 処理回路が、図9Aに示す専用のハードウェアの処理回路102である場合、処理回路102は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらを組み合わせたものが該当する。
 航法装置1Cにおける、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15の機能を別々の処理回路で実現してもよく、これらの機能をまとめて1つの処理回路で実現してもよい。
[0069]
 処理回路が、図9Bに示すプロセッサ103である場合、航法装置1Cにおける、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ104に記憶される。
[0070]
 プロセッサ103は、メモリ104に記憶されたプログラムを読み出して実行することで、航法装置1Cにおける、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15の機能を実現する。すなわち、航法装置1Cは、プロセッサ103によって実行されるときに、図11に示したフローチャートにおけるステップST1aからステップST5aまでの処理が結果的に実行されるプログラムを記憶するためのメモリ104を備える。これらのプログラムは、航法装置1Cにおける、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15の手順または方法を、コンピュータに実行させる。メモリ104は、コンピュータを、航法装置1における、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
[0071]
 航法装置1Cにおける、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14Cおよび位置情報取得部15の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
 このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。
[0072]
 次に、実施の形態2に係る航法装置の変形例について説明する。
 図13は、航法装置1Cの変形例である航法装置1Dの構成を示すブロック図である。図13において、図1および図11と同一の構成要素には同一の符号を付して説明を省略する。図13に示す移動体2は、航法装置1D、撮影装置3およびGNSS5に加えて、IMU(慣性計測装置)6を備える。IMU6は、移動体2の姿勢データを計測する。姿勢データには、例えば、移動体2の姿勢角である(ω,φ,κ)が含まれる。
 航法装置1Dは、画像取得部10、データ記憶処理部12C、データ検索部13C、パラメータ計算部14D、位置情報取得部15および姿勢データ取得部16を備える。姿勢データ取得部16は、IMU6によって計測された移動体2の姿勢データを取得する。
[0073]
 パラメータ計算部14Dは、ニューラルネットワークを用いて、データ検索部13Cによって検索された画像データ、グラウンド画像データおよびグラウンドデプスデータと、姿勢データ取得部16によって取得された移動体2の姿勢データから、画像データが取得されたときの移動体2の航法パラメータを計算する。ニューラルネットワークは、画像データ、グラウンド画像データ、グラウンドデプスデータおよび移動体2の姿勢データを入力として移動体2の航法パラメータの計算を行うように学習されている。また、航法パラメータは、画像データが取得されたときの移動体2の位置を示すパラメータである。
[0074]
 画像取得部10は、撮影装置3から光学情報を取得し、取得した光学情報から生成した画像データを、データ記憶処理部12Cに出力するとともに、画像データを取得したことを、位置情報取得部15と姿勢データ取得部16とに通知する。位置情報取得部15は、画像取得部10によって画像データが取得されたことが通知されると、画像データが取得されたときの移動体2の位置情報をGNSS5から取得する。姿勢データ取得部16は、画像取得部10によって画像データが取得されたことが通知されると、画像データが取得されたときの移動体2の姿勢データをIMU6から取得する。
[0075]
 データ検索部13Cは、位置情報取得部15によって取得された移動体2の位置情報に基づいて、データ記憶処理部12Cに記憶された画像データ、グラウンド画像データおよびこれに対応するグラウンドデプスデータを検索する。
 パラメータ計算部14Dは、ニューラルネットワークを用いて、データ検索部13Cによって検索された画像データ、グラウンド画像データおよびグラウンドデプスデータと、姿勢データ取得部16によって取得された姿勢データとから、画像データが取得されたときの移動体2の位置を示す航法パラメータを計算する。
[0076]
 なお、パラメータ計算部14Dが用いる上記ニューラルネットワークは、画像データ、グラウンド画像データ、グラウンドデプスデータおよびIMU6によって計測された姿勢データと、これに対応する移動体2の位置(x,y,z)とをセットとした教師データを用いて、上記画像データが取得されたときの移動体2の位置を計算して出力するように学習されている。
[0077]
 また、ニューラルネットワークは、画像データ、グラウンド画像データおよびIMU6によって計測された姿勢データと、これに対応する移動体2の位置をセットとした教師データを用いて、上記画像データが取得されたときの移動体2の位置(x,y,z)を計算して出力するように学習されてもよい。この場合、パラメータ計算部14Dは、このニューラルネットワークを用いて、画像データ、グラウンド画像データおよび姿勢データから、当該画像データが取得されたときの移動体2の位置を計算する。
[0078]
 以上のように、実施の形態2に係る航法装置1Cは、画像データ、グラウンド画像データおよびグラウンドデプスデータを入力として移動体2の航法パラメータの計算を行うニューラルネットワークを用いて、画像データが取得されたときの移動体2の航法パラメータを計算する。このニューラルネットワークを用いることによって、特許文献1に記載された従来の航法装置のように、画像データごとに画像特徴に基づく画像マッチングと移動体の位置および姿勢の調整計算とを行う必要がなくなるため、移動体2の航法パラメータの時間分解能を増やしても、航法パラメータの計算に必要な計算リソースの増加を抑制することができる。
[0079]
 また、実施の形態2に係る航法装置1Dは、画像データ、グラウンド画像データ、グラウンドデプスデータおよびIMU6によって計測された姿勢データを入力として、移動体2の航法パラメータの計算を行うニューラルネットワークを用いて、画像データが取得されたときの移動体2の航法パラメータを計算する。このニューラルネットワークを用いることによって、上記と同様に、移動体2の航法パラメータの計算に必要な計算リソースの増加を抑制することができる。
[0080]
 なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

産業上の利用可能性

[0081]
 この発明に係る航法装置、航法パラメータ計算方法およびプログラムは、移動体の航法パラメータの計算に用いるデータを取得するデータ取得部と、データ取得部によって取得されたデータを記憶装置に記憶させるデータ記憶処理部と、記憶装置に記憶されたデータを検索するデータ検索部と、移動体の航法パラメータの計算に用いるデータを入力として移動体の航法パラメータの計算を行うニューラルネットワークを用いて、データ検索部によって検索されたデータに対応した移動体の航法パラメータを計算するパラメータ計算部とを備え、移動体の航法パラメータの時間分解能を増やしても、航法パラメータの計算に必要な計算リソースの増加を抑制することができ、移動体の航法パラメータを計算するのに適している。

符号の説明

[0082]
 1,1A,1B,1C,1D 航法装置、2 移動体、3 撮影装置、4 距離センサ、10 画像取得部、10A,10B,10C 画像データ、11,11A デプス取得部、12,12A,12B,12C データ記憶処理部、13,13A,13B,13C データ検索部、14,14A,14B,14C,14D パラメータ計算部、15 位置情報取得部、16 姿勢データ取得部、20 デプスデータ、30 グラウンド画像データ、40 グラウンドデプスデータ、50 グラウンド画像データ、50a 領域、100 インタフェース、101 記憶装置、102 処理回路、103 プロセッサ、104 メモリ。

請求の範囲

[請求項1]
 移動体の航法パラメータの計算に用いるデータを取得するデータ取得部と、
 前記データ取得部によって取得されたデータを記憶装置に記憶させるデータ記憶処理部と、
 前記記憶装置に記憶されたデータを検索するデータ検索部と、
 前記移動体の航法パラメータの計算に用いるデータを入力として前記移動体の航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索されたデータに対応した前記移動体の航法パラメータを計算するパラメータ計算部と、
 を備えたことを特徴とする航法装置。
[請求項2]
 前記データ取得部は、前記移動体に搭載された撮影装置によって撮影された画像を示す画像データと、前記画像データの奥行き方向の情報を示すデプスデータとを取得し、
 前記データ記憶処理部は、前記画像データおよび前記デプスデータを前記記憶装置に記憶させ、
 前記データ検索部は、前記記憶装置に記憶された前記画像データの時系列および前記デプスデータを検索し、
 前記パラメータ計算部は、前記画像データおよび前記デプスデータを入力として前記移動体の位置の変化量と姿勢の変化量の両方またはいずれか一方を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索された前記画像データの時系列および前記デプスデータから、前記画像データの時系列に対応した前記移動体の航法パラメータを計算すること
 を特徴とする請求項1記載の航法装置。
[請求項3]
 前記データ取得部は、前記移動体に搭載された距離センサから取得された、当該距離センサから測距点までの距離を示す距離データを用いて、前記デプスデータを生成すること
 を特徴とする請求項2記載の航法装置。
[請求項4]
 前記データ取得部は、前記画像データを用いて前記デプスデータを生成すること
 を特徴とする請求項2記載の航法装置。
[請求項5]
 前記データ取得部は、前記移動体に搭載された撮影装置によって撮影された画像を示す画像データを取得し、
 前記データ記憶処理部は、前記画像データを前記記憶装置に記憶させ、
 前記データ検索部は、前記記憶装置に記憶された前記画像データの時系列を検索し、
 前記パラメータ計算部は、前記画像データを入力として当該画像データの奥行き方向の情報の計算および前記移動体の位置の変化量と姿勢の変化量の両方またはいずれか一方を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索された前記画像データの時系列から、前記画像データの時系列に対応した前記移動体の航法パラメータを計算すること
 を特徴とする請求項1記載の航法装置。
[請求項6]
 前記データ取得部は、前記移動体に搭載された撮影装置によって撮影された画像を示す画像データと、前記移動体の大まかな位置情報とを取得し、
 前記データ記憶処理部は、前記画像データ、前記移動体が移動している領域を予め上空から撮影したグラウンド画像データおよび前記グラウンド画像データの奥行き方向の情報を示すグラウンドデプスデータを前記記憶装置に記憶させ、
 前記データ検索部は、前記データ取得部によって取得された位置情報に基づいて、前記記憶装置に記憶された前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータを検索し、
 前記パラメータ計算部は、前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータを入力として前記移動体の位置および姿勢の両方または一方を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索された前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータから、前記画像データが取得されたときの前記移動体の航法パラメータを計算すること
 を特徴とする請求項1記載の航法装置。
[請求項7]
 前記データ取得部は、前記移動体に搭載された撮影装置によって撮影された画像を示す画像データと、前記移動体の大まかな位置情報とを取得し、
 前記データ記憶処理部は、前記画像データ、および、前記移動体が移動している領域を予め上空から撮影したグラウンド画像データを前記記憶装置に記憶させ、
 前記データ検索部は、前記データ取得部によって取得された位置情報に基づいて、前記記憶装置に記憶された前記画像データ、および前記グラウンド画像データを検索し、
 前記パラメータ計算部は、前記画像データおよび前記グラウンド画像データを入力として前記移動体の位置および姿勢の両方または一方を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索された前記画像データおよび前記グラウンド画像データから、前記画像データが取得されたときの前記移動体の航法パラメータを計算すること
 を特徴とする請求項1記載の航法装置。
[請求項8]
 前記データ取得部は、慣性計測装置によって計測された前記移動体の姿勢データを取得し、
 前記パラメータ計算部は、前記姿勢データ、前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータを入力として前記移動体の位置を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記姿勢データ、前記データ検索部によって検索された前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータから、前記移動体の航法パラメータを計算すること
 を特徴とする請求項6記載の航法装置。
[請求項9]
 前記データ取得部は、慣性計測装置によって計測された前記移動体の姿勢データを取得し、
 前記パラメータ計算部は、前記姿勢データ、前記画像データおよび前記グラウンド画像データを入力として前記移動体の位置を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記姿勢データ、前記データ検索部によって検索された前記画像データおよび前記グラウンド画像データから、前記移動体の航法パラメータを計算すること
 を特徴とする請求項7記載の航法装置。
[請求項10]
 前記データ取得部は、前記移動体に搭載された撮影装置によって撮影された画像を示す画像データと、前記移動体の大まかな位置情報とを取得し、
 前記データ記憶処理部は、前記画像データ、前記移動体が移動している領域を予め上空から撮影したグラウンド画像データおよび前記グラウンド画像データの奥行き方向の情報を示すグラウンドデプスデータを前記記憶装置に記憶させ、
 前記データ検索部は、前記データ取得部によって取得された位置情報に基づいて、前記記憶装置に記憶された前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータを検索し、
 前記パラメータ計算部は、前記画像データ、前記グラウンド画像データ、前記グラウンドデプスデータ、および前記移動体の位置情報を入力として前記移動体の姿勢を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索された前記画像データ、前記グラウンド画像データおよび前記グラウンドデプスデータと、前記データ取得部によって取得された位置情報とから、前記画像データが取得されたときの前記移動体の航法パラメータを計算すること
 を特徴とする請求項1記載の航法装置。
[請求項11]
 前記データ取得部は、前記移動体に搭載された撮影装置によって撮影された画像を示す画像データと、前記移動体の大まかな位置情報とを取得し、
 前記データ記憶処理部は、前記画像データ、および、前記移動体が移動している領域を予め上空から撮影したグラウンド画像データを前記記憶装置に記憶させ、
 前記データ検索部は、前記データ取得部によって取得された位置情報に基づいて、前記記憶装置に記憶された前記画像データおよび前記グラウンド画像データを検索し、
 前記パラメータ計算部は、前記画像データ、前記グラウンド画像データおよび前記移動体の位置情報を入力として前記移動体の姿勢を示す航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索された前記画像データおよび前記グラウンド画像データと、前記データ取得部によって取得された位置情報とから、前記画像データが取得されたときの前記移動体の航法パラメータを計算すること
 を特徴とする請求項1記載の航法装置。
[請求項12]
 データ取得部が、移動体の航法パラメータの計算に用いるデータを取得するステップと、
 データ記憶処理部が、前記データ取得部によって取得されたデータを記憶装置に記憶させるステップと、
 データ検索部が、前記記憶装置に記憶されたデータを検索するステップと、
 パラメータ計算部が、前記移動体の航法パラメータの計算に用いるデータを入力として前記移動体の航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索されたデータに対応した前記移動体の航法パラメータを計算するステップと、
 を備えたことを特徴とする航法パラメータ計算方法。
[請求項13]
 コンピュータを、
 移動体の航法パラメータの計算に用いるデータを取得するデータ取得部、
 前記データ取得部によって取得されたデータを記憶装置に記憶させるデータ記憶処理部、
 前記記憶装置に記憶されたデータを検索するデータ検索部、
 前記移動体の航法パラメータの計算に用いるデータを入力として前記移動体の航法パラメータの計算を行うニューラルネットワークを用いて、前記データ検索部によって検索されたデータに対応した前記移動体の航法パラメータを計算するパラメータ計算部
 として機能させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]