Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020110292 - DISPLAY CONTROL SYSTEM, DISPLAY CONTROL DEVICE, AND DISPLAY CONTROL METHOD

Document

明 細 書

発明の名称 表示制御システム、表示制御装置及び表示制御方法

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008  

課題を解決するための手段

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019  

図面の簡単な説明

0020  

発明を実施するための形態

0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11  

図面

1   2A   2B   3   4   5  

明 細 書

発明の名称 : 表示制御システム、表示制御装置及び表示制御方法

技術分野

[0001]
 本発明は、表示制御システム、表示制御装置及び表示制御方法に関する。

背景技術

[0002]
 無人航空機を飛行させる際には、当該無人航空機やその周囲の安全を確保するため、原則として、当該無人航空機の操縦者が当該無人航空機を目視している必要がある。そして無人航空機の操縦者が当該無人航空機を視認可能でない状況においては、例えば当該無人航空機が備えたカメラが周囲を撮影する画像(以下、航空機撮影画像と呼ぶ。)などによって無人航空機の操縦者が当該無人航空機の周囲の状況を把握できるようにすることが求められる。
[0003]
 航空機撮影画像を当該無人航空機の操縦者に提示する技術の一例として、特許文献1には、無人ヘリコプタに取り付けられた全方位カメラにより撮影された全方位画像から作成された操縦用画像を操縦者に提示する遠隔操縦システムが記載されている。
[0004]
 また特許文献2には、操縦者の頭部に装着されるヘッドマウントディスプレイに、無人飛行体のカメラによって撮影された映像が表示されることが記載されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2003-267295号公報
特許文献2 : 特開2017-119501号公報

発明の概要

発明が解決しようとする課題

[0006]
 無人航空機の操縦者が当該無人航空機を視認可能な状況においては、目視を妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機の操縦者が当該無人航空機を視認可能でない状況になったら当該抑制は解除される必要がある。
[0007]
 この点、特許文献1に記載の技術では、上述の操縦用画像は操縦者に常に提示されてしまう。また特許文献2に記載の技術においても、無人飛行体のカメラによって撮影された映像は、ヘッドマウントディスプレイに表示されたままとなる。
[0008]
 本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、無人航空機が備えたカメラが撮影する画像の表示状態を適切に制御できる表示制御システム、表示制御装置及び表示制御方法を提供することにある。

課題を解決するための手段

[0009]
 上記課題を解決するために、本発明に係る表示制御システムは、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。
[0010]
 本発明の一態様では、前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する。
[0011]
 あるいは、前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する。
[0012]
 また、本発明の一態様では、前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する。
[0013]
 また、本発明の一態様では、前記判定手段は、前記航空機撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する。
[0014]
 また、本発明の一態様では、前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する。
[0015]
 また、本発明の一態様では、前記表示制御手段は、前記判定手段による判定結果に応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。
[0016]
 また、本発明の一態様では、前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定し、前記表示制御手段は、前記判定手段による判定結果に応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。
[0017]
 また、本発明の一態様では、前記操縦者により前記無人航空機が視認可能であって、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む。
[0018]
 また、本発明に係る表示制御装置は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。
[0019]
 また、本発明に係る表示制御方法は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定するステップと、前記判定するステップでの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、を含む。

図面の簡単な説明

[0020]
[図1] 本発明の一実施形態に係る表示制御システムの全体構成の一例を示す図である。
[図2A] 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
[図2B] 本発明の一実施形態に係る無人航空機の構成の一例を示す図である。
[図3] 無人航空機の位置と操縦者の位置との関係の一例を模式的に示す図である。
[図4] 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。
[図5] 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

発明を実施するための形態

[0021]
 以下、本発明の一実施形態について、図面を参照しながら説明する。
[0022]
 図1は、本発明の一実施形態に係る表示制御システム1の全体構成の一例を示す図である。図1に示すように、本実施形態に係る表示制御システム1には、ヘッドマウントディスプレイ(HMD)10、無人航空機12、及び、操縦端末14が含まれる。
[0023]
 図1に示すように、操縦端末14と無人航空機12とは互いに通信可能となっている。またHMD10と操縦端末14とは互いに通信可能となっている。なおHMD10と無人航空機12とは、操縦端末14を介さずに直接互いに通信可能でも構わない。
[0024]
 HMD10は、無人航空機12の操縦者が頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るHMD10は、映像透過型(ビデオシースルー型)であることとする。そのため、無人航空機12の操縦者は、後述するカメラ部30が撮影する画像(以下、操縦者撮影画像と呼ぶ。)を通して、HMD10を装着している状態で実空間の様子を視認可能である。
[0025]
 本実施形態に係るHMD10には、例えば図2Aに示すように、プロセッサ20、記憶部22、通信部24、表示部26、センサ部28、カメラ部30が含まれる。なお、HMD10に、スピーカなどの音声出力部が含まれていてもよい。
[0026]
 プロセッサ20は、例えばHMD10にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
[0027]
 記憶部22は、例えばROM、RAM、フラッシュメモリ等の記憶素子などである。記憶部22には、プロセッサ20によって実行されるプログラムなどが記憶される。
[0028]
 通信部24は、例えば無線LANモジュールやブルートゥース(登録商標)モジュールなどの通信インタフェースである。
[0029]
 表示部26は、HMD10の前側に配置されている、例えば液晶ディスプレイや有機ELディスプレイ等のディスプレイである。本実施形態に係る表示部26は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部26は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
[0030]
 センサ部28は、例えばGPS(Global Positioning System)等のGNSS(Global Navigation Satellite System)受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部28は、HMD10の位置や姿勢を計測可能である。センサ部28は、HMD10の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ20に出力してもよい。
[0031]
 カメラ部30は、HMD10の装着者の視野の範囲の画像である操縦者撮影画像を撮影する1又は複数のカメラを含むデバイスである。カメラ部30は、所定のサンプリングレートで操縦者撮影画像を撮影してもよい。
[0032]
 無人航空機12は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機(いわゆるドローン)である。本実施形態に係る無人航空機12が自律飛行機能を備えていてもよい。
[0033]
 本実施形態に係る無人航空機12には、例えば図2Bに示すように、プロセッサ40、記憶部42、通信部44、センサ部46、カメラ部48が含まれる。なお、無人航空機12には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。
[0034]
 プロセッサ40は、例えば無人航空機12にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
[0035]
 記憶部42は、例えばROM、RAM、フラッシュメモリ等の記憶素子などである。記憶部42には、プロセッサ40によって実行されるプログラムなどが記憶される。
[0036]
 通信部44は、例えば無線LANモジュールやブルートゥースモジュールなどの通信インタフェースである。
[0037]
 センサ部46は、例えばGPS等のGNSS受信機、気圧センサ、LIDAR(Light Detection and Ranging)、音波センサ等の高度センサ、慣性センサ、風速センサなどを含むデバイスである。センサ部46は、無人航空機12の位置や姿勢を計測可能である。センサ部46は、無人航空機12の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ40に出力してもよい。また通信部44が、当該計測結果を所定のサンプリングレートでHMD10に送信してもよい。
[0038]
 カメラ部48は、例えば無人航空機12の周囲を撮影する1又は複数のカメラを含むデバイスである。カメラ部48には、例えば無人航空機12の周囲を全方位にわたって撮影可能な全方位カメラが含まれていてもよい。以下、無人航空機12のカメラ部48が撮影する画像を航空機撮影画像と呼ぶこととする。カメラ部48は、所定のサンプリングレートで航空機撮影画像を撮影してもよい。また通信部44が、所定のサンプリングレートで航空機撮影画像をHMD10に送信してもよい。
[0039]
 本実施形態に係る操縦端末14は、例えば無人航空機12を操縦するための機器である。
[0040]
 本実施形態では例えば、原則として、HMD10のカメラ部30が撮影する操縦者撮影画像がHMD10の表示部26に表示される。例えば、図3に示す位置P1に無人航空機12が存在しており、図3に示す位置P0に無人航空機12の操縦者が存在していることとする。ここで位置P1は、位置P0からの距離が所定の距離より短く、無人航空機12は操縦者撮影画像により視認可能であることとする。この場合は、HMD10のカメラ部30が撮影する操縦者撮影画像がHMD10の表示部26に表示される。そのため無人航空機12の操縦者は、表示部26に表示される操縦者撮影画像を介して無人航空機12を視認可能である。なおこの場合は、無人航空機12のカメラ部48が撮影する航空機撮影画像は表示部26に表示されない。
[0041]
 一方、図3に示す位置P2に無人航空機12が存在しており、図3に示す位置P0に無人航空機12の操縦者が存在していることとする。ここで位置P2は、位置P0からの距離が所定の距離よりも長く、無人航空機12は操縦者撮影画像により視認可能でないこととする。この場合は、無人航空機12のカメラ部48が撮影する航空機撮影画像が表示部26に表示される。そのため無人航空機12の操縦者は、表示部26に表示される航空機撮影画像を介して無人航空機12の周囲を視認可能である。なおこの場合は、HMD10のカメラ部30が撮影する操縦者撮影画像は表示部26に表示されない。
[0042]
 また、図3に示す位置P3に無人航空機12が存在しており、図3に示す位置P0に無人航空機12の操縦者が存在していることとする。ここで位置P3は、位置P0からの距離が所定の距離より短いが、位置P3と位置P0との間に存在する木50などの障害物に阻まれ、位置P0において無人航空機12は操縦者撮影画像により視認可能でないこととする。この場合も、無人航空機12のカメラ部48が撮影する航空機撮影画像が表示部26には表示される。そのため無人航空機12の操縦者は、表示部26に表示される航空機撮影画像を介して無人航空機12の周囲を視認可能である。なおこの場合は、HMD10のカメラ部30が撮影する操縦者撮影画像は表示部26に表示されない。
[0043]
 なお、HMD10の表示部26に操縦者撮影画像と航空機撮影画像の両方が表示されるようにしてもよい。この場合に例えば、図3に示す位置P1に無人航空機12が存在している場合は、操縦者撮影画像が航空機撮影画像よりも大きく表示されるようにしてもよい。あるいは表示部26の全画面に操縦者撮影画像が表示され、表示部26の一部に航空機撮影画像がワイプ表示されるようにしてもよい。
[0044]
 また例えば、図3に示す位置P2あるいは位置P3に無人航空機12が存在している場合は、航空機撮影画像が操縦者撮影画像よりも大きく表示されるようにしてもよい。あるいは表示部26の全画面に航空機撮影画像が表示され、表示部26の一部に操縦者撮影画像がワイプ表示されるようにしてもよい。
[0045]
 無人航空機12を飛行させる際には、無人航空機12やその周囲の安全を確保するため、原則として、無人航空機12の操縦者が無人航空機12を目視している必要がある。そして無人航空機12の操縦者が無人航空機12を視認可能でない状況においては、航空機撮影画像などによって無人航空機12の操縦者が無人航空機12の周囲の状況を把握できるようにすることが求められる。また仮に無人航空機12が自律飛行可能な場合であっても、操縦者が無人航空機12を視認し、状況に応じて自律飛行から切り替えて操縦者が操縦を行うことでより安全を確保できる。
[0046]
 無人航空機12の操縦者が無人航空機12を視認可能な状況においては、目視を妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機12の操縦者が無人航空機12を視認可能でない状況になったら当該抑制は解除される必要がある。
[0047]
 本実施形態では、無人航空機12の操縦者が当該無人航空機12を視認可能な状況であるか否かが随時判定される。そして無人航空機12の操縦者が当該無人航空機12を視認可能な状況であるか否かに応じて、表示部26における航空機撮影画像の表示状態が制御される。このようにして本実施形態によれば、航空機撮影画像の表示状態を適切に制御できる。
[0048]
 なお無人航空機12を操縦者が視認可能な間は目視で操縦し、無人航空機12が視認可能でなくなったら操縦者がHMD10を装着して航空機撮影画像を見ながら操縦を行うという運用も考えられる。しかしこの場合操縦者にとってHMD10を着脱するといった余計な作業が発生し、また、操縦者が操縦できない期間が発生してしまう。本実施形態によればこのような運用を行う必要がない。
[0049]
 以下、本実施形態に係るHMD10の機能並びに本実施形態に係るHMD10で実行される処理についてさらに説明する。
[0050]
 図4は、本実施形態に係るHMD10で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るHMD10で、図4に示す機能のすべてが実装される必要はなく、また、図4に示す機能以外の機能が実装されていても構わない。
[0051]
 図4に示すように、本実施形態に係るHMD10には、機能的には例えば、センシングデータ取得部60、判定部62、表示制御部64、案内部66、が含まれる。センシングデータ取得部60は、プロセッサ20、通信部24、センサ部28、及び、カメラ部30を主として実装される。判定部62は、プロセッサ20を主として実装される。表示制御部64、案内部66は、プロセッサ20及び表示部26を主として実装される。
[0052]
 以上の機能は、コンピュータであるHMD10にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ20で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してHMD10に供給されてもよい。
[0053]
 センシングデータ取得部60は、本実施形態では例えば、無人航空機12及び当該無人航空機12の操縦者のうちの少なくとも一方に関するセンシングデータを取得する。センシングデータ取得部60は、例えば、HMD10のセンサ部28や無人航空機12のセンサ部46による計測結果を示すセンシングデータを取得してもよい。またセンシングデータ取得部60が取得するセンシングデータに、飛行中の無人航空機12が備えるカメラ部48により撮影される航空機撮影画像が含まれてもよい。またセンシングデータ取得部60が取得するセンシングデータに、無人航空機12の操縦者の頭部に配置されたカメラ部30により撮影される操縦者撮影画像が含まれてもよい。
[0054]
 またセンシングデータ取得部60は、所定のサンプリングレートで生成される航空機撮影画像及び操縦者撮影画像を含むセンシングデータを、所定のサンプリングレートで取得してもよい。
[0055]
 判定部62は、本実施形態では例えば、無人航空機12及び無人航空機12の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機12が視認可能であるか否かを判定する。ここでは例えば、センシングデータ取得部60により取得されるセンシングデータに基づいて、操縦者により無人航空機12が視認可能であるか否かが判定される。
[0056]
 また本実施形態において、判定部62が、無人航空機12と操縦者との間の距離に基づいて、操縦者により無人航空機12が視認可能であるか否かを判定してもよい。ここでHMD10の位置を操縦者の位置とみなしてもよい。そして判定部62が、無人航空機12の位置とHMD10の位置との間の距離に基づいて、操縦者により無人航空機12が視認可能であるか否かを判定してもよい。
[0057]
 また、判定部62が、操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、当該操縦者により無人航空機12が視認可能であるか否かを判定してもよい。ここで例えば、センシングデータ取得部60により取得される、HMD10が備えるカメラ部30により撮影される操縦者撮影画像に基づいて、当該操縦者により無人航空機12が視認可能であるか否かが判定されてもよい。また例えば、操縦者撮影画像が白飛びしているか否かに基づいて、操縦者により無人航空機12が視認可能であるか否かが判定されてもよい。
[0058]
 また、判定部62が、航空機撮影画像に基づいて、操縦者により無人航空機12が視認可能であるか否かを判定してもよい。例えば、判定部62が、センシングデータ取得部60により取得される航空機撮影画像からHMD10の像が検出されるか否かに基づいて、操縦者により無人航空機12が視認可能であるか否かを判定してもよい。
[0059]
 また判定部62が、航空機撮影画像から、HMD10の像の代わりに、あるいは、HMD10の像に加えて、HMD10の操縦者の像が検出されるか否かに基づいて、操縦者により無人航空機12が視認可能であるか否かを判定してもよい。例えば操縦者が、無人航空機12が存在する向きとは逆の向きを向いている際には、HMD10はカメラ部48から見た際に操縦者の頭部に隠れた死角にある可能性が高い。このような場合には、判定部62は、操縦者の像の方がHMD10の像よりも航空機撮影画像から検出しやすいものと思われる。
[0060]
 また判定部62は、操縦者により無人航空機12が視認可能であると判定された場合、当該操縦者が無人航空機12を目視しているか否かを、さらに判定してもよい。例えば、判定部62は、カメラ部30の視野(Field of View (FOV))の範囲に基づいて、無人航空機12を操縦者が目視しているか否かを判定してもよい。
[0061]
 表示制御部64は、本実施形態では例えば、判定部62による判定結果に応じて、HMD10が備える表示部26における航空機撮影画像の表示状態を制御する。表示制御部64は、判定部62による判定結果に応じて、表示部26に航空機撮影画像を表示させるか否かを制御してもよい。なお表示制御部64が、無人航空機12の速度、無人航空機12の位置(緯度、経度及び高度など)、操縦者から無人航空機12までの距離、目的地までの距離、バッテリー残量、などといった無人航空機12に関する情報を表示させてもよい。
[0062]
 案内部66は、本実施形態では例えば、操縦者により無人航空機12が視認可能であって、操縦者が無人航空機12を目視していない場合に、無人航空機12を目視できるよう操縦者を案内する案内情報を操縦者に提供する。例えば、判定部62によって、操縦者により無人航空機12が視認可能であり、かつ、当該操縦者が無人航空機12を目視していないと判定される場合に、案内情報が操縦者に提供されてもよい。ここで例えば案内部66が、無人航空機12が存在する向きを示す矢印の画像などといった案内画像が重畳された操縦者撮影画像を生成してもよい。
[0063]
 なお本実施形態における操縦者とは、無人航空機12を操縦可能な状態にある者であればよく、操縦者が無人航空機12を実際に操縦している必要はない。例えば無人航空機12が自律飛行機能を備えており自律飛行している状態と自律飛行していない状態とが切替可能な場合に、無人航空機12が自律飛行をしている際において、操縦端末14を把持している者は、本実施形態における操縦者に相当することとなる。
[0064]
 以下、本実施形態に係るHMD10で実行される処理の流れの一例を、図5に示すフロー図を参照しながら説明する。
[0065]
 また本実施形態では例えば、上述の所定のサンプリングレートに相当する所定のフレームレートで表示部26に画像が表示されることとする。そして当該所定のフレームレートでS101~S108に示す処理が繰り返し実行されることとする。
[0066]
 まず、センシングデータ取得部60が、当該フレームにおけるセンシングデータを取得する(S101)。当該センシングデータには、当該フレームにおける航空機撮影画像、及び、当該フレームにおける操縦者撮影画像が含まれる。
[0067]
 そして、判定部62が、S101に示す処理で取得されたセンシングデータに基づいて、HMD10の位置と無人航空機12の位置との間の距離が所定の距離以下であるか否かを判定する(S102)。ここでHMD10の位置として、センサ部28により計測される位置や、センサ部28による計測結果に基づいて特定されるカメラ部30の位置などが用いられてもよい。また無人航空機12の位置として、センサ部46により計測される位置や、センサ部46による計測結果に基づいて特定されるカメラ部48の位置などが用いられてもよい。
[0068]
 また上述の所定の距離は、表示部26の解像度や画角などの設計値や、カメラ部30の解像度や画角などの設計値などに基づいて予め決定されていてもよい。また、上述の所定の距離は、三次元空間における距離であってもよいし、水平面上における、HMD10を当該水平面に投影した位置と無人航空機12を当該水平面に投影した位置との間の距離であってもよい。
[0069]
 また水平方向と高さ方向とで上述の所定の距離が異なっていてもよい。例えば水平面上における、HMD10を当該水平面に投影した位置と無人航空機12を当該水平面に投影した位置との間の距離が第1の距離として特定されてもよい。また、鉛直線上における、HMD10を当該鉛直線に投影した位置と無人航空機12を当該鉛直線に投影した位置との間の距離が第2の距離として特定されてもよい。そして第1の距離が第1の所定の距離以下であり、かつ、第2の距離を示す値が第2の所定の距離以下である場合に、HMD10の位置と無人航空機12の位置との間の距離が所定の距離以下であると判定されてもよい。そしてそうでない場合に、HMD10の位置と無人航空機12の位置との間の距離が所定の距離以下ではないと判定されてもよい。
[0070]
 S102に示す処理でHMD10の位置と無人航空機12の位置との間の距離が所定の距離以下であると判定されたとする(S102:Y)。この場合、判定部62が、S101に示す処理で取得された航空機撮影画像からHMD10の像が検出されるか否かを判定する(S103)。ここで公知の画像認識技術を用いて当該検出が行われてもよい。
[0071]
 S103に示す処理で、航空機撮影画像からHMD10の像が検出されると判定されたとする(S103:Y)。この場合、判定部62は、S101に示す処理で取得された操縦者撮影画像が白飛びしているか否かを判定する(S104)。ここで公知の画像処理技術を用いて当該判定が行われてもよい。
[0072]
 S104に示す処理で、操縦者撮影画像が白飛びしていると判定されたとする(S104:Y)。この場合、表示制御部64が、S101に示す処理で取得された航空機撮影画像を表示部26に表示させて(S105)、S101に示す処理に戻る。S102に示す処理でHMD10の位置と無人航空機12の位置との間の距離が所定の距離以下でないと判定された場合(S102:N)も同様に、表示制御部64が、当該航空機撮影画像を表示部26に表示させて(S105)、S101に示す処理に戻る。また、S103に示す処理で航空機撮影画像からHMD10の像が検出されないと判定された場合(S103:N)も同様に、表示制御部64が、当該航空機撮影画像を表示部26に表示させて(S105)、S101に示す処理に戻る。
[0073]
 S104に示す処理で、操縦者撮影画像が白飛びしていないと判定されたとする(S104:N)。この場合、判定部62が、無人航空機12がカメラ部30の視野の範囲内であるか否かを判定する(S106)。
[0074]
 ここでカメラ部30の視野の範囲とは、例えば、操縦者の頭部の姿勢、操縦者の位置、及び、カメラ部30の画角等の設計値に基づいて特定される三次元空間内の錐台が占める範囲を指す。なお操縦者の頭部の姿勢、及び、操縦者の位置は、例えば、センサ部28による計測結果に基づいて特定される。
[0075]
 なおS106に示す処理におけるカメラ部30の視野の範囲とは、障害物の影響を考慮しない視野の範囲を意味する。そのため、例えば、図3に示す位置P3に無人航空機12が存在しており、操縦者が位置P0から位置P3を向いている際には、無人航空機12がカメラ部30の視野の範囲内であると判定される。
[0076]
 なお、判定部62は、上述のようにカメラ部30の視野の範囲を特定して上述の判定を行う代わりに、操縦者撮影画像から無人航空機12を検出できるか否かに基づいて、無人航空機12が視野の範囲内であるか否かを判定してもよい。あるいは、判定部62は、上述のようにして特定されるカメラ部30の視野の範囲、及び、操縦者撮影画像から無人航空機12を検出できるか否かに基づいて、無人航空機12が視野の範囲内であるか否かを判定してもよい。ここで、操縦者撮影画像からの無人航空機12の検出は公知の画像認識技術を用いて行われてもよい。
[0077]
 S106に示す処理で無人航空機12がカメラ部30の視野の範囲内であると判定されたとする(S106:Y)。この場合、表示制御部64が、S101に示す処理で取得された操縦者撮影画像を表示部26に表示させて(S107)、S101に示す処理に戻る。
[0078]
 一方、S106に示す処理で無人航空機12がカメラ部30の視野の範囲内でないと判定されたとする(S106:N)。この場合、表示制御部64が、無人航空機12が視認可能となるよう操縦者を案内する案内画像が重畳された操縦者撮影画像を表示部26に表示させて(S108)、S101に示す処理に戻る。
[0079]
 S108に示す処理では、例えば、案内部66が、カメラ部30の視野の範囲と無人航空機12の位置とに基づいて、無人航空機12が存在する向きを特定してもよい。この向きは例えば、無人航空機12がカメラ部30の視野の範囲内となるようにするためにカメラ部30を動かすべき向きに相当する。そして案内部66が、特定される向きを表す矢印の画像である案内画像が重畳された操縦者撮影画像を生成してもよい。例えば、カメラ部30の向きに対して無人航空機12が左上に存在する場合は、左上を向いた矢印の画像である案内画像が重畳された操縦者撮影画像が生成されてもよい。そして表示制御部64が、このようにして生成された案内画像が重畳された操縦者撮影画像を表示部26に表示させてもよい。
[0080]
 上述の処理例では、S102~S104に示す処理において、操縦者により当該無人航空機12が視認可能であるか否かが判定されている。ここでは例えば、HMD10を適切な方向に向けた場合に無人航空機12の像を含む操縦者撮影画像を操縦者が目視できる状況であれば、操縦者により当該無人航空機12が視認可能な状態であると判定される。一方、HMD10をどの方向に向けても無人航空機12の像を含む操縦者撮影画像を操縦者が目視できない状況であれば、操縦者により当該無人航空機12が視認可能な状態でないと判定される。
[0081]
 上述の処理例では一般的に、S102に示す処理よりもS103に示す処理の方が、処理負荷が高い。またS102に示す処理よりもS104に示す処理の方が、処理負荷が高い。そのため、S102に示す処理でHMD10の位置と無人航空機12の位置との間の距離が所定の距離以下でないと判定された場合は、処理負荷が高い処理が実行されることなく航空機撮影画像を表示部26に表示させることが可能となる。
[0082]
 なお、S102~S104に示す処理の順序は図5に示すものに限定されない。S102~S104に示す処理が図5に示すものとは異なる順序で実行されてもよい。またS102~S104に示す処理がすべて実行される必要はない。
[0083]
 またS102~S104に示す処理は、操縦者により当該無人航空機12が視認可能であるか否かを判定する処理の一例にすぎず、操縦者により当該無人航空機12が視認可能であるか否かを判定する処理はS102~S104に示す処理には限定されない。
[0084]
 またS106~S108に示す処理が実行されなくてもよい。この場合に例えば、S104に示す処理で操縦者撮影画像が白飛びしていないと判定された際に、表示制御部64が、操縦者撮影画像を表示部26に表示させて、S101に示す処理に戻ってもよい。
[0085]
 また表示制御部64は、判定部62による判定結果に応じて、表示部26に表示される航空機撮影画像のサイズを制御してもよい。例えばS107及びS108に示す処理において、表示制御部64が、操縦者撮影画像が航空機撮影画像よりも大きく表示されるよう制御してもよい。そしてこの場合にS105に示す処理において、表示制御部64が、航空機撮影画像が操縦者撮影画像よりも大きく表示されるよう制御してもよい。
[0086]
 あるいは例えばS107及びS108に示す処理において、表示制御部64が、表示部26の全画面に航空機撮影画像が表示され、表示部26の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。そしてこの場合にS105に示す処理において、表示制御部64が、表示部26の全画面に航空機撮影画像が表示され、表示部26の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。
[0087]
 また、表示部26に表示される画像が、航空機撮影画像から操縦者撮影画像に切り替わる場合、又は、操縦者撮影画像から航空機撮影画像に切り替わる場合に、HMD10がその旨を表示出力あるいは音声出力などにより操縦者に通知してもよい。またこの場合に例えば、画像を切り替えるか否かにつき操縦者が選択可能であってもよい。例えば操縦者の操作に応じてHMD10は表示部26に表示される画像を切り替えてもよい。
[0088]
 また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機12が視認可能であると判定された場合に、操縦者撮影画像が表示部26に表示されるようにしてもよい。また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機12が視認可能でないと連続して判定された場合に、航空機撮影画像が表示部26に表示されるようにしてもよい。ここで上述の所定回数や所定時間にヒステリシスが設けられていてもよい。例えば操縦者撮影画像が表示される際の所定回数と航空機撮影画像が表示される際の所定回数とは異なっていてもよい。また例えば操縦者撮影画像が表示される際の所定時間と航空機撮影画像が表示される際の所定時間とは異なっていてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。
[0089]
 また、S102に示す処理において、操縦者撮影画像が表示されている際の所定の距離と航空機撮影画像が表示されている際の所定の距離とが異なっていてもよい。例えば、操縦者撮影画像が表示されている際の所定の距離よりも航空機撮影画像が表示されている際の所定の距離の方が長くてもよい。あるいは、航空機撮影画像が表示されている際の所定の距離よりも操縦者撮影画像が表示されている際の所定の距離の方が長くてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。
[0090]
 また案内部66が、矢印の画像に加えて、あるいは、矢印の画像に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する文章を表す文字列の画像が配置された案内画像を生成してもよい。そして案内部66が、当該案内画像が重畳された操縦者撮影画像を生成してもよい。また案内部66が、案内画像の重畳に加えて、あるいは、案内画像の重畳に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する音声を操縦者に出力してもよい。
[0091]
 なお、本発明は上述の実施形態に限定されるものではない。
[0092]
 例えば以上の説明ではHMD10は映像透過型(ビデオシースルー型)のHMD10であることとしたが、本発明は、HMD10が光学透過型(オプティカルシースルー型)のHMD10の場合であっても適用可能である。ここで例えば、表示制御部64が、S105に示す処理では、航空機撮影画像を表示部26に表示させ、S107やS108に示す処理では、航空機撮影画像を表示部26に表示させないよう制御してもよい。航空機撮影画像を表示部26に表示させないよう制御されている場合は、操縦者は、表示部26を透過する実空間の様子を見ることができる。あるいは、S105に示す処理では、航空機撮影画像を大きく表示させ、S107やS108に示す処理では、航空機撮影画像を小さく表示させてもよい。航空機撮影画像の表示が抑制されると、操縦者は無人航空機12を目視しやすくなる。
[0093]
 なおこの場合、S106に示す処理では、カメラ部30の視野の範囲の代わりに、操縦者の視野の範囲が用いられてもよい。ここで操縦者の視野の範囲は、例えば、操縦者の頭部の姿勢と、所与の操縦者の視野角と、に基づいて特定されてよい。またS102に示す処理における所定の距離は、操縦者の視力に応じて設定されてもよい。またこの場合、カメラ部30により撮影される操縦者撮影画像は、S104に示す処理においてのみ用いられてもよい。
[0094]
 またこの場合、表示制御部64は、S108に示す処理において、案内画像を表示部26にAR(Augmented Reality)表示させてもよい。
[0095]
 またS107やS108に示す処理において、表示制御部64が、操縦支援のための情報を表示部26にAR表示させてもよい。この場合、当該情報は無人航空機12の目視の邪魔にならないよう、中央部を避けて配置されたり、透過度が高い状態で配置されたりすることが望ましい。
[0096]
 また本発明の適用範囲はHMD10にも限定されない。例えば、操縦者がHMD10ではないディスプレイを見ながら無人航空機12を操縦する場面についても本発明は適用可能である。この場合に、HMD10のカメラ部30の代わりに、無人航空機12の離陸地点や着陸地点に設けられたカメラが撮影する画像が操縦者撮影画像として用いられてもよい。また当該カメラは、固定カメラである必要はなく、例えば操縦者が姿勢を制御可能なカメラ(パンチルトカメラ等)であってもよい。
[0097]
 また本実施形態において、図4に示す機能の一部又は全部が、無人航空機12、又は、操縦端末14において実装されてもよい。
[0098]
 また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

請求の範囲

[請求項1]
 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
 前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、
 前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
 を含むことを特徴とする表示制御システム。
[請求項2]
 前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する、
 ことを特徴とする請求項1に記載の表示制御システム。
[請求項3]
 前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する、
 ことを特徴とする請求項1に記載の表示制御システム。
[請求項4]
 前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する、
 ことを特徴とする請求項1から3のいずれか一項に記載の表示制御システム。
[請求項5]
 前記判定手段は、前記航空機撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する、
 ことを特徴とする請求項1から4のいずれか一項に記載の表示制御システム。
[請求項6]
 前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する、
 ことを特徴とする請求項1から5のいずれか一項に記載の表示制御システム。
[請求項7]
 前記表示制御手段は、前記判定手段による判定結果に応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
 ことを特徴とする請求項1から6のいずれか一項に記載の表示制御システム。
[請求項8]
 前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定し、
 前記表示制御手段は、前記判定手段による判定結果に応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
 ことを特徴とする請求項1から5のいずれか一項に記載の表示制御システム。
[請求項9]
 前記操縦者により前記無人航空機が視認可能であって、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む、
 ことを特徴とする請求項1から8のいずれか一項に記載の表示制御システム。
[請求項10]
 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
 前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、
 前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
 を含むことを特徴とする表示制御装置。
[請求項11]
 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
 前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定するステップと、
 前記判定するステップでの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
 を含むことを特徴とする表示制御方法。

図面

[ 図 1]

[ 図 2A]

[ 図 2B]

[ 図 3]

[ 図 4]

[ 図 5]