Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018087879) REMOTE OPERATION SYSTEM, TRANSPORTATION SYSTEM, AND REMOTE OPERATION METHOD
Document

明 細 書

発明の名称 遠隔操作システム、交通システム、および遠隔操作方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018  

発明の効果

0019   0020   0021  

図面の簡単な説明

0022  

発明を実施するための形態

0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087  

符号の説明

0088  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

明 細 書

発明の名称 : 遠隔操作システム、交通システム、および遠隔操作方法

技術分野

[0001]
 本発明は、遠隔操作システム、交通システム、および遠隔操作方法に関する。

背景技術

[0002]
 近年、加減速や操舵を自動的に行う自動運転について研究が進められている。自動運転中に判断手段により車両と双方向の通信を行い、自律志向型の自動運転を実行不可であると判断した場合に、車両が外部機器と通信し、遠隔操作による他律志向型の自動運転を実行する技術が研究されている(特許文献1参照)。
[0003]
 また、車両の遠隔操作を行う場合、実際の走行状態を撮像した時点での場面と遠隔操作を行う操作者が操作を行うための画面に表示される映像との間には、通信の遅延等による時間的なずれ(通信ラグ)が生じる。これに関連し、GPS(Global Positioning System)で自車の位置を取得して自動運転を行う自動芝刈り機が記載されている。この自動芝刈り機は、遠隔操作を行うための通信手段と、操舵や駆動系を制御する制御手段と、受信する位置情報に基づいて通信ラグを考慮して補正された制御動作を行う位置を予測する位置予測手段とを備える装置の発明が開示されている(特許文献2参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 国際公開第2016/038931号
特許文献2 : 特開2013-031389号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら、従来の技術では、良好な通信環境で遠隔操作を行うことについて考慮されていなかった。
[0006]
 本発明は、このような事情を考慮してなされたものであり、良好な通信環境で遠隔操作を行うことができる遠隔操作システム、交通システム、および遠隔操作方法を提供することを目的の一つとする。

課題を解決するための手段

[0007]
 請求項1に記載の発明は、車両(M)と通信し、遠隔操作のリクエストを含む情報を受信する通信部(310)と、前記通信部により前記車両から受信された前記車両の状況を遠隔操作者に提示する提示部(321)と、前記遠隔操作者による操作を受け付ける受付部(330)と、前記受付部により受け付けられた操作に基づいて制御情報を生成し、前記通信部を用いて前記車両に送信する制御部(340)と、を備える遠隔操作装置(320)を複数備え、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、車両の遠隔操作システム(1)である。
[0008]
 請求項2記載の発明は、請求項1記載の発明において、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置を選択する選択部(311)を更に備えるものである。
[0009]
 請求項3記載の発明は、請求項2に記載の発明において、前記遠隔操作のリクエストを送信した車両との通信距離が短い、または、通信速度が最も早い、または、通信が最も安定している遠隔操作装置のうちのいずれかを優先して選択するものである。
[0010]
 請求項4記載の発明は、請求項1に記載の発明において、前記通信部が前記車両から受信された前記車両の状況に基づいて、将来の車両の状況を推定し、前記推定した将来の車両の状況を前記遠隔操作者に提示するものである。
[0011]
 請求項5記載の発明は、請求項4に記載の発明において、前記提示部が前記通信部により前記車両から受信された車両の状況に基づく画像を表示し、更に、前記通信部により前記車両から受信された車両の状況が、前記車両の前方に物体が少ない状況である場合、前記通信部により前記車両から受信された車両の状況に基づく画像の一部を拡大した画像を、前記将来の車両の状況を示す画像として表示するものである。
[0012]
 請求項6記載の発明は、請求項4に記載の発明において、前記通信部が前記車両から自動運転の行動計画に関する情報を取得し、前記提示部が前記行動計画に基づいて将来の車両の状況を推定するものである。
[0013]
 請求項7記載の発明は、請求項4項記載の発明において定点観測画像と、前記通信部により前記車両から受信された車両の状況に基づく画像とを合成することで、前記将来の車両の状況を示す画像を生成する遠隔操作システムである。
[0014]
 請求項8記載の発明は、請求項1項記載の発明において前記車両が走行する予定のルートに通信障害発生予想位置が含まれるルートが含まれるか否かを判定する判定部と、前記判定部により通信障害発生予想位置が含まれるルートが含まれると判定された場合に、前記通信障害発生予想位置を回避するように経路を変更する変更部とを備える遠隔操作システムである。
[0015]
 請求項9記載の発明は、請求項1記載の遠隔操作システムと、前記遠隔操作を受ける車両に搭載される車両制御システムと、を備える交通システムである。
[0016]
 請求項10記載の発明は、請求項9に記載の発明において、前記車両の状況に基づいて将来の車両の状況を推定し、前記推定した将来の車両の状況を、前記遠隔操作システムに送信するものである。
[0017]
 請求項11記載の発明は、請求項10に記載の発明において、行動計画に基づいて自動運転を実行し、前記行動計画に基づいて、将来の車両の状況を推定するものである。
[0018]
 請求項12記載の発明は、複数の遠隔操作装置が、車両と通信し、遠隔操作のリクエストを含む情報を受信し、前記車両から受信された前記車両の状況を遠隔操作者に提示し、前記遠隔操作者による操作を受け付け、前記受け付けられた操作に基づいて制御情報を生成し、前記車両に送信する遠隔操作方法であって、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、遠隔操作方法である。

発明の効果

[0019]
 請求項1、2、9、12に記載の発明によれば、複数の遠隔操作装置のうち車両との間の通信ラグが少ない遠隔操作装置が選択されるため、通信ラグを低減することができる。
[0020]
 請求項3-7、9-11に記載の発明によれば、車両と遠隔操作装置との間の通信ラグがあっても撮像された車両の状況を推定した推定状況を示す画像を生成して表示するため、車両の将来的な位置において必要な操作を遠隔操作者から受け付けることができる。
[0021]
 請求項8に記載の発明によれば、予め通信障害が発生すると予測される位置を回避するルートにリルートするため車両の遠隔操作の安全性を向上させることができる。

図面の簡単な説明

[0022]
[図1] 交通システム1の概念図である。
[図2] 車両Mに搭載される構成の一例を示す図である。
[図3] 自車位置認識部122により走行車線L1に対する車両Mの相対位置および姿勢が認識される様子を示す図である。
[図4] 推奨車線に基づいて目標軌道が生成される様子を示す図である。
[図5] 遠隔操作システム300における装置構成を示す図である。
[図6] 遠隔操作装置320の構成を模式的に示す図である。
[図7] 提示部321の構成を示すブロック図である。
[図8] 通信ラグが発生する間の車両Mの移動を示す図である。
[図9] 撮像された画像Vに基づいて生成された推定状況を例示する図である。
[図10] 撮像された画像Vの一部を拡大することにより生成された推定状況Sを例示する図である。
[図11] 遠隔操作システム300の処理の流れを示すフローチャートである。
[図12] 遠隔操作装置320を自動的に選択する処理を示すシーケンス図である。
[図13] 第2実施形態にかかる車両Mに搭載される構成の一例を示す図である。
[図14] 定点カメラKで撮像される車両の状態を示す図である。

発明を実施するための形態

[0023]
 以下、図面を参照し、本発明の遠隔操作システム、交通システム、遠隔操作方法、および遠隔操作プログラムの実施形態について説明する。
[0024]
 <第1実施形態>
 [システム構成]
 図1は、交通システム1の概念図である。交通システム1は、複数の車両M-1~M-n(nは任意の自然数)と、遠隔操作システム300とがネットワークNWを介して通信することで実現される。以下、車両を区別しないときは車両Mと称する。車両Mは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。また、車両Mは、加減速または操舵の少なくとも一方を自動的に制御する自動運転を実行可能な車両である。ネットワークNWは、無線通信のインターフェースである基地局、WAN(Wide Area Network)、LAN(Local Area Network)、インターネット、専用回線、衛星回線などを含む。
[0025]
 交通システム1では、車両Mから遠隔操作システム300に、或いはある車両Mから他の車両Mに対して遠隔操作の依頼(リクエスト)が送信され、それに応じて車両Mの遠隔操作が実行される。
[0026]
 [車両構成]
 まずは、車両Mに搭載される構成について説明する。図2は、車両Mに搭載される構成の一例を示す図である。車両Mには、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、ナビゲーション装置50と、MPU(Micro-Processing Unit)60と、車両センサ70と、運転操作子80と、自動運転制御ユニット100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とが搭載される。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。図2に示す構成のうち、カメラ10、通信装置20、運転操作子80、第1制御部120、第2制御部140、および被遠隔操作制御部160を少なくとも含むものが、「車両制御装置」の一例である。
[0027]
 カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両Mの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
[0028]
 レーダ装置12は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
[0029]
 ファインダ14は、照射光に対する散乱光を測定し、対象までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、車両Mの任意の箇所に一つまたは複数が取り付けられる。
[0030]
 物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御ユニット100に出力する。
[0031]
 通信装置20は、例えば、セルラー網やWi-Fi(登録商標)網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置や遠隔操作システム300と通信する。
[0032]
 HMI30は、車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
[0033]
 ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。車両Mの位置は、車両センサ70の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。また、経路決定部53は、後述の通信障害発生予想位置をなるべく回避するように経路を決定する。経路決定部53により決定された経路は、MPU60に出力される。また、ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。なお、ナビゲーション装置50は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。
[0034]
 MPU60は、例えば、推奨車線決定部61として機能し、HDDやフラッシュメモリなどの記憶装置に第2地図情報63を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報63を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、経路において分岐箇所や合流箇所などが存在する場合、車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
[0035]
 第2地図情報63は、第1地図情報54よりも高精度な地図情報である。第2地図情報63は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報63には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識、通信障害発生予想位置、遠隔操作推奨地点等の情報が含まれる。通信障害発生予想位置は、トンネル、ビルの谷間、地下等の通信環境が悪く、通信障害の発生が予想される位置をいう。遠隔操作推奨地点は、混雑する地点等の自動運転が苦手とするハンドル操作やアクセル操作等で煩雑な操作が必要となる地点をいう。遠隔操作推奨地点は、過去の統計データ等から決定される。第2地図情報63は、通信装置20を用いて他装置にアクセスすることにより、随時、アップデートされてよい。
[0036]
 MPU60は、経路決定部53により決定された経路、第2地図情報63、及び後述の行動計画生成部123が生成する行動計画を参照し、推奨車線に通信障害発生予想位置があるかどうかを判定する。MPU60は、走行する予定のルートに通信障害発生予想位置を検出すると、通信障害発生予想位置が含まれるルートを回避し通信障害が発生しないルートになるように経路をリルートする。上記MPU60の構成は、遠隔操作システム300に搭載されていてもよい。
[0037]
 車両センサ70は、車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等を含む。
[0038]
 運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一方または双方に出力される。
[0039]
 自動運転制御ユニット100は、例えば、第1制御部120と、第2制御部140と、被遠隔操作制御部160とを備える。第1制御部120、第2制御部140、および被遠隔操作制御部160は、それぞれ、CPU(Central Processing Unit)などのプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、以下に説明する第1制御部120、第2制御部140、および被遠隔操作制御部160の機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
[0040]
 第1制御部120は、例えば、外界認識部121と、自車位置認識部122と、行動計画生成部123とを備える。
[0041]
 外界認識部121は、カメラ10、レーダ12、およびファインダ14から直接的に、或いは物体認識装置16を介して入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。また、外界認識部121は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。
[0042]
 自車位置認識部122は、例えば、車両Mが走行している車線(走行車線)、並びに走行車線に対する車両Mの相対位置および姿勢を認識する。自車位置認識部122は、例えば、第2地図情報63から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置50から取得される車両Mの位置やINSによる処理結果が加味されてもよい。
[0043]
 そして、自車位置認識部122は、例えば、走行車線に対する車両Mの位置や姿勢を認識する。図3は、自車位置認識部122により走行車線L1に対する車両Mの相対位置および姿勢が認識される様子を示す図である。自車位置認識部122は、例えば、車両Mの基準点(例えば重心)の走行車線中央CLからの乖離OS、および車両Mの進行方向の走行車線中央CLを連ねた線に対してなす角度θを、走行車線L1に対する車両Mの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部122は、自車線L1のいずれかの側端部に対する車両Mの基準点の位置などを、走行車線に対する車両Mの相対位置として認識してもよい。自車位置認識部122により認識される車両Mの相対位置は、推奨車線決定部61および行動計画生成部123に提供される。
[0044]
 行動計画生成部123は、目的地までの経路における車両Mの行動計画を生成する。行動計画は、自動運転において順次実行されるイベントと、各イベントにおいて車両Mが将来走行する目標軌道に関する情報を含む。行動計画生成部123は、推奨車線決定部61により決定されて推奨車線を走行するように、且つ、車両Mの周辺状況に対応できるように、自動運転において順次実行されるイベントを決定する。イベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、前走車両に追従する追従走行イベント、車線変更イベント、合流イベント、分岐イベント、緊急停止イベント、自動運転から遠隔操作に切り替えるための遠隔操作イベントなどがある。また、これらのイベントの実行中に、車両Mの周辺状況(周辺車両や歩行者の存在、道路工事による車線狭窄など)に基づいて、回避のための行動が計画される場合もある。
[0045]
 行動計画生成部123は、車両Mが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとに将来の基準時刻を複数設定し、それらの基準時刻に到達すべき目標地点(軌道点)の集合として生成される。このため、軌道点同士の間隔が広い場合、その軌道点の間の区間を高速に走行することを示している。
[0046]
 図4は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部123は、推奨車線の切り替わり地点の所定距離手前(イベントの種類に応じて決定されてよい)に差し掛かると、車線変更イベント、分岐イベント、合流イベントなどを起動する。
[0047]
 各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。行動計画生成部123は、例えば、目標軌道の候補を複数生成し、安全性と効率性の観点に基づいて、その時点での最適な目標軌道を選択する。また、行動計画生成部123は、経路において遠隔操作推奨地点が含まれるルートに差し掛かると遠隔操作イベントを起動する。
[0048]
 第2制御部140は、走行制御部141を備える。走行制御部141は、行動計画生成部123によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
[0049]
 被遠隔操作制御部160の機能については後述する。
[0050]
 走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECUとを備える。ECUは、自動運転制御ユニット100から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
[0051]
 ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、自自動運転制御ユニット100から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、走行制御部141から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
[0052]
 ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、自動運転制御ユニット100から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[0053]
 [被遠隔操作制御]
 以下、本実施形態による被遠隔操作制御について説明する。被遠隔操作制御部160は、遠隔操作イベントが起動された場合に、通信装置20を用いて遠隔操作システム300に遠隔操作を依頼し(遠隔操作リクエストを送信し)、遠隔操作システム300から受信した制御情報に基づいて車両Mの加減速または操舵の少なくとも一方を自動的に制御する被遠隔操作を実行する。被遠隔操作制御部160は、例えば、遠隔操作決定部161を備える。遠隔操作決定部161は、遠隔操作イベントが起動された場合、車両Mの自動運転を停止し、車両Mの操作を遠隔操作に切り替える。
[0054]
 [車外設備]
 以下、遠隔操作を行う側の車外設備について説明する。図5は、遠隔操作システム300における装置構成を示す図である。図示するように、遠隔操作システム300には、ネットワークNWを介して車両M(被遠隔操作車両)と通信する通信装置(通信部)310と、選択部311と、複数の遠隔操作装置320-1、320-2、320-3、…とが設けられる。以下、遠隔操作装置を区別しないときは、単に遠隔操作装置320と表記する。それぞれの遠隔操作装置320では、遠隔操作者が遠隔操作リクエストに備えて着座して待機している。通信装置310は、車両Mからの遠隔操作リクエストを受信する。
[0055]
 選択部311は、遠隔操作リクエストを送信した車両との通信環境が良好ないずれかの遠隔操作装置320を選択する。通信環境が良好とは、例えば通信速度が速い、または、通信の切断が起きにくく安定していること、または、通信距離が短いことをいう。通信距離が短いとは、送信側から送信された電波が受信側に到達する距離が短い無線通信の状態を示す。選択部311は、遠隔操作のリクエストを送信した車両Mとの通信距離が短い、または、通信速度が最も早い、または、通信が最も安定している遠隔操作装置320のうちのいずれかを優先して選択する。通信装置310は、選択された遠隔操作装置320に対して、車両Mから受信した情報(前述したように、遠隔操作リクエスト、行動計画、カメラ10により撮像された画像、速度、角速度、車種など)を送信し、遠隔操作を行わせる。
[0056]
 また、遠隔操作システム300は、通信装置310から受信した車両Mの行動計画に基づいて、経路において遠隔操作推奨地点が含まれるルートに差し掛かる場合に車両Mの自動運転から遠隔操作に切り替えるようにしてもよい。その他、遠隔操作システム300は、遠隔操作推奨地点がアップデートなどにより追加されて走行中のルートにおいて追加された遠隔操作推奨地点が含まれるルートに差し掛かる場合に車両Mの自動運転から遠隔操作に切り替えるようにしてもよい。これにより、遠隔操作システム300は、車両Mから遠隔操作リクエストが送信されなくても遠隔操作システム300側の判断によっても遠隔操作の切り替えを行うことができる。
[0057]
 図6は、遠隔操作装置320の構成を模式的に示す図である。遠隔操作装置320は、例えば、提示部321と、スピーカ322と、シート323と、ステアリングホイール324と、アクセルペダルおよびブレーキペダルなどのペダル類325と、遠隔操作受付部(受付部)330と、遠隔操作制御部(制御部)340とを備える。遠隔操作受付部330は、遠隔操作者Oによる操作を受け付ける。遠隔操作制御部340は、遠隔操作受付部330により受け付けられた操作に基づいて制御情報を生成し、通信装置310を用いて車両Mに送信する。
[0058]
 図7は、提示部321の構成を示すブロック図である。提示部321は、車両Mから受信した車両Mの状況を含む情報を遠隔操作者Oに提示する。提示部321は、推定状況生成部321aと、表示部321bとを備える。推定状況生成部321aは、CPUなどのプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、推定状況生成部321aは、LSIやASIC、FPGAなどのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
[0059]
 表示部321bは、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)表示装置であり、画像や情報を表示する。なお、表示部321bは、HMD(Head Mount Display)であってもよい。表示部321bは、例えば車両Mのカメラ10により撮像された車外の風景の画像、車両Mの速度やエンジン回転数などを表示する。
[0060]
 ここで、車両Mと遠隔操作装置320との間の通信には、通信ラグが発生することが想定される。図8は、通信ラグが発生する間の車両Mの移動を示す図である。表示部321bが車両Mの状況をそのまま表示すると、車両Mと遠隔操作装置320との間の通信における時間的な上りの通信ラグが発生する。
[0061]
 上りの通信ラグは、車両Mと遠隔操作システム300との間の通信に要する時間や遠隔操作システム300が車両Mからの情報を受信してから表示部321aに画像を表示するまでに要する処理時間等が含まれる。例えば、位置P1で車両Mの状況を撮像するとその状況が表示部321bに表示される。このとき上りの通信ラグは時間T1を要し、車両MはP1の位置からP2の位置に移動する。
[0062]
 そして遠隔操作者Oが表示部321bを見て操作を行った後、車両Mが操作に応答するまでにも下りの通信ラグが発生する。下りの通信ラグは、遠隔操作者Oが操作を行った時から車両Mが制御情報を受信するまでの時間と車両Mが制御情報に基づく操作を開始するまでの処理時間等が含まれる。下りの通信ラグは、時間T2を要し、車両MはP2の位置からP3の位置に移動する。従って、操作者Oが見るP1の位置の車両Mの状況に必要な操作を行うと、操作が開始される車両MはP3の位置にあり、遠隔操作におけるずれが生じる。
[0063]
 そこで表示部321bは、上り及び下りの通信ラグの影響を低減するように車両Mの状況を先読みした画像を表示する。先読みするとは、撮像された時点での車両Mの状況から所定時間経過した後の将来の車両Mの状況を推定することをいう。例えば推定状況生成部321aは、車両Mから受信した車両Mの状況を先読みし、撮像された時点での車両Mの状況から推定される推定状況を示す画像を生成して表示部321bに表示する。
[0064]
 所定時間は想定される通信ラグを合計することにより決定される。例えば上りの通信ラグに要する時間T1と下りの通信ラグに要する時間T2の和が合計の通信ラグとして演算される。
[0065]
 図9は、カメラ10によって撮像された画像Vに基づいて生成された推定状況に基づく画像を例示する図である。推定状況生成部321aは、P1の位置で撮像された車両Mの状況の画像Vに基づいてP3の位置の車両Mの状況の推定状況を生成する。推定状況生成部321aは、推定状況を示す画像を、例えばカメラ10によって撮像された画像を加工することにより生成する。例えば推定状況生成部321aは、推定状況を撮像された景色や物体の画像を車両Mの速度、移動方向等の情報に基づいて移動させることにより生成する。
[0066]
 推定状況生成部321aは、物体が移動している場合には、連続する画像フレームを比較して物体の移動量や移動方向を推定する。そして、推定状況生成部321aは、車両の速度、移動方向の情報に基づいて所定時間経過後における物体の位置を推定し、推定状況を示す画像Sを生成する。また、推定状況を示す画像Sには、例えば撮像された物体や景色の将来的な位置を示す単純な枠線が示されてもよい。
[0067]
 推定状況生成部321aは、撮像された車両Mの状況に変化が少ないと判断した場合は、撮像された画像Vの一部を拡大して所定時間経過後に相当する推定状況を示す画像Sを生成してもよい。図10は、撮像された画像Vの一部を拡大することにより生成された推定状況Sを例示する図である。例えば他の車両が前方に無く直線的な道路を車両Mが走行している場合、所定時間経過後の状況は、撮像された時点の画像の中央近傍の画像を速度データに基づいて拡大した画像で示される状況と類似していると推定される。そこで、推定状況生成部321aは、この拡大された画像Sを推定状況が示されている画像として生成する。
[0068]
 その他、推定状況生成部321aは、通信装置310により取得された車両Mの行動計画に基づいて車両Mの状況を先読みして推定状況を生成してもよい。行動計画を参照すると、車両Mの右折、左折、レーンチェンジ等の方向制御や停止といった、撮像された車両Mの状況からは推定できない状況が将来的に発生することが予測される。そのため、推定状況生成部321aは、行動計画のイベントのタイミングと通信ラグを考慮して方向制御等の推定状況を生成する。
[0069]
 この場合、推定状況生成部321aは、推定状況を示す画像をCG(Computer Graphics)等で合成された画像として生成してもよい。その他、推定状況生成部321aは、多少の通信ラグが生じていても他の車両と接触しないよう車間距離を十分に広げたり車両Mの速度を落としたりするよう遠隔操作者Oに遠隔操作を行わせ、安全マージンを確保するよう推定状況を示す画像を表示するようにしてもよい。例えば推定状況生成部321aは、推定状況に示す画像において他の車両を実際よりも近くに表示したり景色を実際よりも拡大して表示したりし、遠隔操作者Oに安全側になるような遠隔操作を行わせるようにしてもよい。即ち、推定状況生成部321aは、通信環境に基づいて遠隔操作で行われる操作の安全マージンが確保されるよう推定状況を示す画像を表示する。
[0070]
 スピーカ322は、車両Mの物体認識装置16により認識された障害物の車両Mへの接近に応じて警告音を発する。シート323には、遠隔操作者Oが着座する。提示部321は、推定状況を示す画像を表示し、遠隔操作者Oにステアリングホイール324やペダル類325などの操作を運転操作子に対して行わせる。これらに対する操作量は、図示しないセンサによって検出され、遠隔操作受付部330に出力される。運転操作子は、ジョイスティックなど、他の態様の運転操作子であってもよい。遠隔操作受付部330は、運転操作子から入力された操作量に対応する情報を遠隔操作制御部340に出力する。遠隔操作制御部340は、転操作子から入力された操作量に対応する情報に基づいて、車両Mに送信する制御情報を生成する。制御情報は、通信装置310によって送信される。
[0071]
 通信装置310は、このように生成された制御情報を、車両Mに送信する。なお、運転操作子には、操作量によって生じるべき反力を作用させるための反力出力装置が付設されている。反力を正確に決定するために、車両Mから遠隔操作装置320に対して、速度や角速度などの情報が供給されると好適である。送信される制御情報は、例えばステアリングホイール324やペダル類325に対する操作量である。
[0072]
 次に、遠隔操作システム300の処理の流れについて説明する。図11は、遠隔操作システム300の処理の流れを示すフローチャートである。遠隔操作システム300は、遠隔操作リクエストを受信した後、通信装置310を介して車両Mから車両Mの状況を含む情報を受信する(ステップS100)。選択部311は、複数の遠隔操作装置320の中から車両Mとの通信環境が良好な一つの遠隔操作装置320を選択する(ステップS110)。選択された遠隔操作装置320において、推定状況生成部321aは、車両Mの状況を先読みした車両Mの推定状況を示す画像を生成する。そして推定状況を示す画像は、表示部321bに表示される(ステップS120)。
[0073]
 遠隔操作受付部320は、表示部321bに表示された推定状況に基づいた遠隔操作者Oの各操作を受け付ける(ステップS130)。遠隔操作制御部340は、遠隔操作受付部320で受け付けた遠隔操作者Oの各操作を制御情報として通信装置310を介して車両Mに送信する(ステップS140)。
[0074]
 上記のステップ110において、遠隔操作システム300は、遠隔操作リクエストを受信した後、選択部311によって複数の遠隔操作装置320の中から一つの遠隔操作装置320を選択しているが、選択部311によらずに自動的に一つの遠隔操作装置320を選択してもよい。例えば、遠隔操作リクエストを受信した後、通信装置310は、通信環境を監視して、複数の遠隔操作装置320の中から車両Mとの通信環境が最も良好な一つの遠隔操作装置320を自動的に選択するようにしてもよい。
[0075]
 図12は、遠隔操作装置320を自動的に選択する処理を示すシーケンス図である。図においてm、p、yは正の整数である。自動運転が行なわれている複数の車両Mから遠隔操作リクエストが無作為に送信される。通信装置310は、車両Mとの通信環境が良好な順に複数の遠隔装置320を順位付ける。通信装置310は、まず車両Mとの通信環境が最も良好な遠隔装置320-mを選択する。通信装置310は、車両Mと遠隔装置320-mとの間の通信の接続を確立する。通信装置310は、車両Mと遠隔装置320-mとの間の通信の接続が確立できない場合、まず車両Mとの通信環境が2番目に良好な遠隔装置320-pを選択する。
[0076]
 そして、通信装置310は、車両Mと遠隔装置320-pとの間の通信の接続を確立する。通信装置310は、車両Mと遠隔装置320-pとの間の通信の接続が確立できない場合は、車両Mとの通信環境が3番目に良好な遠隔装置320-yを選択する。通信装置310は、遠隔装置320-yとの間の通信の接続が確立できない場合は、上記と同様に遠隔装置320-yの次に通信環境が良好な通信装置320を選択すればよい。
[0077]
 以上説明した第1実施形態の交通システム1によれば、自動運転が行われている車両Mが自動運転から遠隔操作に切り替えられる際に、複数の遠隔装置320の中から車両Mとの間の通信環境が最も良好な一つの遠隔装置320を選択することができる。
[0078]
 また、交通システム1によれば、車両Mと遠隔操作システム300との間の通信に通信ラグが生じていても、通信ラグの影響を低減して遠隔操作者Oの遠隔操作を受け付けることができる。交通システム1は、車両Mが取得した車両Mの状況を遠隔操作システム300が受信すると、遠隔操作システム300は、車両Mの状況を先読みした推定状況を示す画像を生成して表示するため、遠隔操作者Oは、将来の車外の状況に合わせてステアリングホイール324やペダル類325に対する操作を行うことができる。
[0079]
 <第2実施形態>
 第1実施形態では、車両Mと遠隔操作システム300との間の通信ラグに対して遠隔操作システム300側で推定状況を生成することにより車両が将来的に必要となる操作を遠隔操作者Oから受け付けるものとして説明した。第2実施形態では、車両M側が車両Mの状況を先読みし、先読みした将来の車両Mの状況を遠隔操作システム300に送信する。
[0080]
 図13は、第2実施形態にかかる車両Mに搭載される構成の一例を示す図である。車両Mは、自身で取得した状況よりも先読みした情報を遠隔操作システム300に送信する。第2実施形態では、車両Mの第1制御部120は、推定状況生成部124を備える。
[0081]
 推定状況生成部124は、通信装置20と遠隔操作システム300との間の通信ラグを演算する。そして推定状況生成部124は、通信ラグに基づいてカメラ10が撮像した車両Mの状況から、通信ラグに対応する所定時間の経過後に推定される推定状況を生成する。このとき、推定状況生成部124は、行動計画生成部123が生成する行動計画を参照して車両Mの状況を推定して推定状況を示す画像を生成してもよい。推定状況生成部124で生成された推定状況は、通信装置20を介して遠隔操作システム300に送信される。推定状況を受信した遠隔操作システム300において遠隔操作者Oは、表示される推定状況を示す画像を見ながら遠隔操作を行う。
[0082]
 以上説明した第2実施形態によれば、車両M側で車両Mの状況を先読みすることで、将来の車両Mの状況を遠隔操作システム300に送信することができる。これにより交通システム1は、各車両Mで推定状況に関連する処理を行い、遠隔操作システム300の負荷を分散することができる。
[0083]
 <第3実施形態>
 第1実施形態及び第2実施形態では、カメラ10で撮像した車両Mの状況から推定状況を生成するものとして説明した。第3実施形態では、カメラ10以外の撮像装置により撮像された画像を用いて推定状況を示す画像を生成する。
[0084]
 図14は、定点カメラKで撮像される車両の状態を示す図である。ネットワークNW上には定点カメラKで撮像された景色をリアルタイムで提供するストリートビューがある。定点カメラKは、例えば360度の視野及びズーム機能を持ち、撮像された景色の画像はユーザが自由に視点方向及びズームを設定できる。
[0085]
 車両Mが定点カメラKの視野内に位置している場合、推定状況を示す画像は定点カメラKで撮像された景色の画像を用いて合成された画像として生成されていてもよい。推定状況生成部321aは、定点カメラKの画像から推定状況の景色を車両Mの現在位置から推定される将来的な位置に対応して生成する。推定状況生成部321aは、推定状況の景色を視点方向とズームとを定めて生成する。動いている物体は、所定時間経過後の位置が推定されて生成され、推定された景色に合成される。これにより、推定状況を示す画像が生成される。
[0086]
 以上説明した第3実施形態によれば、ネットワークNWに接続された定点カメラKで撮像された景色の画像データを用いることにより、車両Mと遠隔操作システム300との間で送受信される車両Mの状況の画像データの容量を低減することができ、通信ラグを低減することができる。
[0087]
 以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

符号の説明

[0088]
1 交通システム
10 カメラ
16 物体認識装置
20 通信装置
30 HMI
80 運転操作子
100 自動運転制御ユニット
120 第1制御部
124 推定状況生成部
140 第2制御部
160 被遠隔操作制御部
161 遠隔操作決定部
300 遠隔操作システム
310 通信装置
311 選択部
320 遠隔操作装置
321 提示部
321a 推定状況生成部
330 遠隔操作受付部
340 遠隔操作制御部

請求の範囲

[請求項1]
 車両と通信し、遠隔操作のリクエストを含む情報を受信する通信部と、
 前記通信部により前記車両から受信された前記車両の状況を遠隔操作者に提示する提示部と、
 前記遠隔操作者による操作を受け付ける受付部と、
 前記受付部により受け付けられた操作に基づいて制御情報を生成し、前記通信部を用いて前記車両に送信する制御部と、
 を備える遠隔操作装置を複数備え、
 前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、
 車両の遠隔操作システム。
[請求項2]
 前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置を選択する選択部を更に備える、
 請求項1記載の遠隔操作システム。
[請求項3]
 前記選択部は、前記遠隔操作のリクエストを送信した車両との通信距離が短い、または、通信速度が最も早い、または、通信が最も安定している遠隔操作装置のうちのいずれかを優先して選択する、
 請求項2記載の遠隔操作システム。
[請求項4]
 前記提示部は、前記通信部により前記車両から受信された前記車両の状況に基づいて、将来の車両の状況を推定し、前記推定した将来の車両の状況を前記遠隔操作者に提示する、
 請求項1に記載の遠隔操作システム。
[請求項5]
 前記提示部は、前記通信部により前記車両から受信された車両の状況に基づく画像を表示し、更に、前記通信部により前記車両から受信された車両の状況が、前記車両の前方に物体が少ない状況である場合、前記通信部により前記車両から受信された車両の状況に基づく画像の一部を拡大した画像を、前記将来の車両の状況を示す画像として表示する、
 請求項4に記載の遠隔操作システム。
[請求項6]
 前記通信部は、前記車両から自動運転の行動計画に関する情報を取得し、
 前記提示部は、前記行動計画に基づいて将来の車両の状況を推定する、
 請求項4に記載の遠隔操作システム。
[請求項7]
 前記提示部は、定点観測画像と、前記通信部により前記車両から受信された車両の状況に基づく画像とを合成することで、前記将来の車両の状況を示す画像を生成する、
 請求項4記載の遠隔操作システム。
[請求項8]
 前記車両が走行する予定のルートに通信障害発生予想位置が含まれるルートが含まれるか否かを判定する判定部と、
 前記判定部により通信障害発生予想位置が含まれるルートが含まれると判定された場合に、前記通信障害発生予想位置を回避するように経路を変更する変更部と、
を備える、請求項1記載の遠隔操作システム。
[請求項9]
 請求項1記載の遠隔操作システムと、
 前記遠隔操作を受ける車両に搭載される車両制御システムと、
 を備える交通システム。
[請求項10]
 前記車両制御システムは、前記車両の状況に基づいて将来の車両の状況を推定し、前記推定した将来の車両の状況を、前記遠隔操作システムに送信する、
 請求項9に記載の交通システム。
[請求項11]
 前記車両制御システムは、行動計画に基づいて自動運転を実行し、前記行動計画に基づいて、将来の車両の状況を推定する、
 請求項10に記載の交通システム。
[請求項12]
 複数の遠隔操作装置が、
 車両と通信し、遠隔操作のリクエストを含む情報を受信し、
 前記車両から受信された前記車両の状況を遠隔操作者に提示し、
 前記遠隔操作者による操作を受け付け、
 前記受け付けられた操作に基づいて制御情報を生成し、前記車両に送信する遠隔操作方法であって、
 前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、
 遠隔操作方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]