Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020203657 - INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM

Document

明 細 書

発明の名称 情報処理装置、情報処理方法、及び情報処理プログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143  

符号の説明

0144  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 情報処理装置、情報処理方法、及び情報処理プログラム

技術分野

[0001]
 本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

背景技術

[0002]
 近年、自動運転や運転支援に必要な情報を認識することを目的として、複数の車載センサから取得される情報を組み合わせて利用する運転支援システムの商用化が進められている。
[0003]
 上述の運転支援システムにおいては、複数の車載センサから取得される情報を組み合わせて利用する際、車載センサ間の距離及び方位のずれなどを原因として、利用する情報に検出誤差が含まれる場合がある。この点に鑑み、たとえば地図情報を基準として車載センサのキャリブレーションを行う技術などが提案されている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2018-96715号公報

発明の概要

発明が解決しようとする課題

[0005]
 上述した車載センサのキャリブレーション技術は、地図情報を基準とするので、キャリブレーションを実施できない場合がある。たとえば、地図情報が存在しない領域ではキャリブレーションを実施できない。また、工事などによって環境に変化が生じた場合にも、キャリブレーションを実施できない。
[0006]
 そこで、本開示では、環境の変化に影響されることなく、地図情報が存在しない領域であってもキャリブレーションを実施できる情報処理装置、情報処理方法、及び情報処理プログラムを提案する。

課題を解決するための手段

[0007]
 上記の課題を解決するために、本開示に係る一形態の情報処理装置は、それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサ間のキャリブレーションを実行するキャリブレーション実行部を備える。キャリブレーション実行部は、2以上のセンサの視野が重複する領域において、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得可能な場合に、センサ間のキャリブレーションを実行する。

図面の簡単な説明

[0008]
[図1] 本開示の実施形態に係る情報処理の概要を示す図である。
[図2] 本開示の実施形態に係る管理装置の構成例を示す図である。
[図3] 本開示の実施形態に係る情報処理装置の構成例を示す図である。
[図4] 本開示の実施形態に係る情報処理の流れを示すフローチャートである。
[図5] LiDARによる検出例を示す図である。
[図6] 本開示の実施形態に係る情報処理が適用され得る移動体制御システムの概略的な機能の構成例を示すブロック図である。
[図7] 本開示の情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

発明を実施するための形態

[0009]
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する場合がある。
[0010]
 また、以下に示す項目順序に従って本開示を説明する。
  1.実施形態
   1-1.実施形態に係る情報処理の概要
   1-2.実施形態に係る管理装置の構成
   1-3.実施形態に係る情報処理装置の構成
   1-4.実施形態に係る情報処理の手順
   1-5.実施形態に係る変形例
  2.その他の実施形態
   2-1.他のセンサ
   2-2.移動体の構成
   2-3.その他
  3.本開示に係る情報処理装置による効果
  4.ハードウェア構成
[0011]
(1.実施形態)
[1-1.実施形態に係る情報処理の概要]
 図1は、本開示の実施形態に係る情報処理の概要を示す図である。本開示の実施形態に係る情報処理は、たとえば車両に搭載された車載センサのキャリブレーションに関する。以下に説明する実施形態における車両は、たとえば自動車である。実施形態に係る情報処理は、自動車に搭載される情報処理装置100によって実行される。
[0012]
 一般に、複数の車載センサから取得される情報を利用する運転支援システムにおいては、車載センサ間の距離及び方位のずれなどを原因として、複数の車載センサから取得される情報に検出誤差が含まれる場合がある。
[0013]
 これに対して、たとえば地図情報を基準として車載センサのキャリブレーションを行う技術などが提案されているが、地図情報を基準とするので、地図情報がない場合にはキャリブレーションを実施できない場合がある。たとえば、このキャリブレーション技術は、地図情報を基準とするので、地図情報がない地域を走行中である自動車では、キャリブレーションを実施できない。また、このキャリブレーション技術は、工事等により環境に変化が生じ、実際の環境と地図情報との間に乖離が生じた場合にもキャリブレーションを実施できない。
[0014]
 そこで、実施形態に係る情報処理装置100は、以下に説明する情報処理によって、環境の変化に影響されることなく、地図情報が存在しない領域であってもキャリブレーションを実施する方法を提案する。すなわち、情報処理装置100による情報処理は、車両に搭載された特定の物体を車載センサ間のキャリブレーションに用いる特徴点として機能させることを概要とする。
[0015]
 情報処理装置100は、図1に示す車両1,2にそれぞれ搭載され、同様の情報処理を実行する。以下の説明では、車両1に搭載される情報処理装置100が、車両2に搭載された特定の物体(以下に説明する較正用冶具4)が有する特徴点を用いて、車両1に搭載された車載センサ間のキャリブレーションを実施する場合を説明する。また、以下の説明において、車両1を「自車両」と記載する場合があり、車両1に搭載された車載センサ間のキャリブレーションに利用する特徴点を有する特定の物体が搭載された車両2を「ターゲット車両」と記載する場合がある。
[0016]
 図1に示す車両1は、受信部12と、外部センサとして機能する撮像部13及び測定部14と、情報処理装置100とを備える。
[0017]
 受信部12は、たとえばGPS受信機である。情報処理装置100は、受信部12により受信された信号に基づく位置情報を管理装置3に送信する。
[0018]
 撮像部13及び測定部14は、車両1のそれぞれ異なる位置に取り付けられる。撮像部13の視野領域FV1と、測定部14の視野領域FV2とは、少なくとも一部で重複した領域FV3を形成する。撮像部13は、たとえばカメラであり、測定部14は、たとえばミリ波レーダーである。撮像部13および測定部14は、2以上のセンサの一例である。
[0019]
 情報処理装置100は、たとえば管理装置3との間で行われる路車間通信(V2X通信)により各種情報を送受信する。管理装置3は、車両1,2から受信する位置情報に基づいて、車両1と車両2との位置関係を管理する。
[0020]
 また、情報処理装置100は、管理装置3からターゲット車両に関する情報を取得する。情報処理装置100は、車両2がターゲット車両であるとき、ターゲット車両の位置及び姿勢、ターゲット車両における較正用冶具4の設置位置及び姿勢、並びにチェッカーボード41とコーナーリフレクター42との位置関係の情報などを取得できる。
[0021]
 較正用冶具4は、撮像部13のキャリブレーションを実行可能な特徴点41Pを抽出可能なチェッカーボード41と、測定部14のキャリブレーションを実行可能な特徴点42Pを有するコーナーリフレクター42とで構成される。チェッカーボード41は、少なくとも対向車により撮影可能な位置及び向きで設置される。コーナーリフレクター42は、少なくとも対向車から照射されるレーダー光を反射可能な位置及び向きで設置される。
[0022]
 情報処理装置100は、撮像部13と測定部14との間に応じたキャリブレーションを実行可能な特徴点を有するターゲット車両が自車両周辺の取得可能な範囲に存在するかを管理装置3から取得する。そして、情報処理装置100は、撮像部13及び測定部14の視野領域が重複する領域FV3において、特徴点41P及び特徴点42Pを取得可能な場合、撮像部13と測定部14との間のキャリブレーションを実行する。
[0023]
 具体的には、情報処理装置100は、ターゲット車両の位置およびターゲット車両における較正用冶具4の設置位置に基づいて、ターゲット車両における較正用冶具4の設置位置を座標変換し、較正用冶具4のグローバルな座標系における位置を特定する。続いて、情報処理装置100は、撮像部13及び測定部14の視野領域が重複する領域FV3の情報と、ターゲット車両に搭載された較正用冶具4の位置情報に基づいて、キャリブレーションを実施可能な領域にターゲット車両が存在するかを判定する。たとえば情報処理装置100は、撮像部13及び測定部14の視野領域が重複する領域FV3の中に、ターゲット車両に搭載された較正用冶具4が位置するとき、キャリブレーションを実施可能な領域にターゲット車両が存在するものと判定する。
[0024]
 そして、情報処理装置100は、自車両の位置情報及び姿勢情報と、ターゲット車両の位置情報及び姿勢情報とに基づいて、較正用冶具4から特徴点41Pおよび特徴点42Pを取得可能であるかを判定する。そして、情報処理装置100は、較正用冶具4から特徴点41Pおよび特徴点42Pを取得可能であると判定すると、特徴点41Pおよび特徴点42Pを取得して、撮像部13と測定部14との間の距離や方位を較正するキャリブレーションを実行する。
[0025]
 このようにして、実施形態に係る情報処理装置100は、環境の変化に影響されることなく、地図情報が存在しない領域であってもキャリブレーションを実施できる。
[0026]
[1-2.実施形態に係る管理装置の構成]
 図2を用いて、本開示の実施形態に係る管理装置3の構成について説明する。図2は、本開示の実施形態に係る管理装置の構成例を示す図である。図2に示すように、管理装置3は、通信部31と、記憶部32と、制御部33とを備える。管理装置3は、道路上に設置された無線局等などの路側機から取得した情報に基づいて、車両の位置関係を管理する。
[0027]
 通信部31は、たとえばネットワークインタフェースカード(NIC:Network Interface Card)等によって実現される。通信部31は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。通信部31は、無線LAN方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部31は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、情報処理装置100などの他の装置等との間で情報の送受信を行う。
[0028]
 記憶部32は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部32は、制御部33による情報処理を実現するための機能を提供するプログラムや各種データを記憶する。記憶部32は、制御部33が情報処理を行う際のバッファメモリとして機能してもよい。記憶部32は、情報処理装置100から受信する車両(車両1や車両2など)の位置情報を記憶する。
[0029]
 制御部33は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、情報処理装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部33は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
[0030]
 制御部33は、情報処理装置100から受信する車両(車両1や車両2など)の位置情報に基づいて車両間の位置関係を特定する。そして、制御部33は、キャリブレーションを実施可能な位置関係にある車両に搭載される情報処理装置100に対して、それぞれターゲット車両が存在する旨の通知を送信する。キャリブレーションを実施可能な位置関係として、車両間の距離が所定の距離範囲内である場合が例示される。
[0031]
 また、制御部33は、車両間の位置関係に基づいて、車両間でやり取りされる車両情報を中継する。たとえば制御部33は、車両1と車両2とがキャリブレーションを実施可能な位置関係にある場合、車両1から受信した車両情報を車両2に転送し、車両2から受信した車両情報を車両1に転送する。
[0032]
[1-3.実施形態に係る情報処理装置の構成]
 図3を用いて、本開示の実施形態に係る情報処理装置100の構成について説明する。図3は、本開示の実施形態に係る情報処理装置100の構成例を示す図である。以下の説明において、車両1と車両2がキャリブレーションを実施可能な位置関係にあり、自車両と記載するものが車両1であるとき、車両2がターゲット車両となる。反対に、以下の説明において、車両1と車両2がキャリブレーションを実施可能な位置関係にあり、自車両と記載するものが車両2であるとき、車両1がターゲット車両となる。なお、車両1及び車両2は、同様の構成を備えるので、以下では、車両1の構成の一例を説明する。
[0033]
 図3に示すように、車両1は、受信部12と、撮像部13と、測定部14と、検出部15と、情報処理装置100とを備える。
[0034]
 受信部12は、GPS(Global Positioning System)等の衛星測位システムに用いられる所定の周波数帯の電波信号をGPS衛星から受信する。受信部12は、受信した電波信号の復調処理を行って、処理後の信号を情報処理装置100などに送る。
[0035]
 撮像部13は、自車両の外部の状況を動画又は静止画で撮像可能なカメラである。撮像部13は、たとえばステレオカメラ、単眼カメラ、或いは赤外線カメラにより実現される。撮像部13は、ToF(Time Of Flight)カメラ等、上記以外のカメラであってもよい。撮像部13は、撮像した画像を情報処理装置100などに送る。
[0036]
 測定部14は、自車両の周囲にある物体との距離を測定するためのセンサである。測定部14は、たとえばミリ波レーダーを使った測距システムにより実現される。
[0037]
 検出部15は、自車両の状態を示す情報を検出する。検出部15は、たとえば車速センサや加速度センサ、角速度センサなどを備えたIMU(Inertial Measurement Unit)等の慣性計測システムにより実現される。検出部15は、自車両の状態を示す情報として、自車両の走行速度、自車両に作用する加速度並びに自車両に作用する角速度などの検出値を取得する。検出部15は、自車両の状態を示す情報を情報処理装置100などに送る。
[0038]
 図3に戻り、車両1に搭載される情報処理装置100は、通信部101と、入力部103と、出力部105と、記憶部107と、制御部109とを備える。
[0039]
 通信部101は、たとえばネットワークインタフェースカード(NIC:Network Interface Card)等によって実現される。通信部101は、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインターフェイスであってもよい。また、通信部101は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。通信部101は、無線LAN方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部101は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、管理装置3などの他の装置等との間で情報の送受信を行う。
[0040]
 入力部103は、情報処理装置100を利用するユーザ等から各種操作を受け付けるための処理部である。入力部103は、例えば、キーボードやタッチパネル等を介して、各種情報の入力を受け付ける。
[0041]
 出力部105は、各種情報を出力するための処理部である。出力部105は、例えばディスプレイやスピーカー等である。例えば、出力部105は、撮像部13によって撮像された画像を表示できる。
[0042]
 記憶部107は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部107は、制御部109による情報処理を実現するための機能を提供するプログラムや各種データを記憶する。記憶部107は、制御部109が情報処理を行う際のバッファメモリとして機能してもよい。
[0043]
 記憶部107は、自車両情報を記憶する自車両情報格納部171を有する。自車両情報は、撮像部13及び測定部14の視野領域が重複する領域FV3、自車両における較正用冶具4の設置位置、並びに撮像部13と測定部14の車両搭載時の相対的な位置関係の情報などを含む。
[0044]
 制御部109は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、情報処理装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部109は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
[0045]
 図3に示すように、制御部109は、提供部191と、取得部192と、認識部193と、判定部194と、実行部195とを備え、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。判定部194は、判定部の一例であり、実行部195は、キャリブレーション実行部の一例である。
[0046]
 提供部191は、V2X通信(路車間通信)により、管理装置3と定期的に通信を行い、自車両に関する情報を管理装置3に提供する。自車両に関する情報は、自車両の位置情報や姿勢情報、自車両における較正用冶具4に関する情報(自車両情報)を含む。自車両の位置情報や姿勢情報は、後述する認識部193により取得される。
[0047]
 取得部192は、V2X通信(路車間通信)により、2以上のセンサ間に応じたキャリブレーションを実行可能な特徴点を有する特定の物体が自車両周辺の取得可能な範囲に存在するかを受信する。たとえば取得部192は、管理装置3からターゲット車両が存在する旨の通知を受信する。また、取得部192は、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体の情報を取得する。たとえば取得部192は、ターゲット車両の位置及び姿勢、並びにターゲット車両における較正用冶具4の設置位置及び姿勢、並びに較正用冶具4(チェッカーボード41とコーナーリフレクター42)の位置関係の情報などを取得できる。
[0048]
 認識部193は、受信部12に取得される信号に基づいて、自車両の位置を認識する。また、認識部193は、検出部15により検出される情報に基づいて、自車両の姿勢を認識し、姿勢情報を取得する。姿勢情報は、自車両の走行速度や走行中の向き(姿勢)の情報を含む。
[0049]
 判定部194は、特徴点を有する特定の物体が自車両周辺の取得可能な範囲に存在するとき、管理装置3から受信するターゲット車両情報を用いて、撮像部13と測定部14のキャリブレーションを実施可能な領域にターゲット車両が存在するか否かを判定する。具体的には、判定部194は、ターゲット車両の位置情報およびターゲット車両に搭載された較正用冶具4の位置情報に基づいて、ターゲット車両における較正用冶具4の設置位置を座標変換し、グローバルな座標系の位置を特定する。続いて、情報処理装置100は、撮像部13及び測定部14の視野領域が重複する領域FV3の情報と、ターゲット車両に搭載された較正用冶具4の位置情報に基づいて、キャリブレーションを実施可能な領域にターゲット車両が存在するかを判定する。すなわち、判定部194は、撮像部13及び測定部14の視野領域が重複する領域FV3の中に、ターゲット車両に搭載された較正用冶具4が位置するとき、キャリブレーションを実施可能な領域にターゲット車両が存在すると判定する。
[0050]
 続いて、判定部194は、キャリブレーションを実施可能な領域にターゲット車両が存在すると判定すると、ターゲット車両に搭載された較正用冶具4から特徴点を取得可能であるか否かを判定する。具体的には、判定部194は、自車両の位置情報及び姿勢情報、ターゲット車両の位置情報及び姿勢情報を取得する。そして、判定部194は、自車両の位置情報及び姿勢情報と、ターゲット車両の位置情報及び姿勢情報とに基づいて、ターゲット車両から特徴点を取得可能な状態であるかを判定する。すなわち、判定部194は、ターゲット車両に搭載された較正用冶具4であるチェッカーボード41から特徴点41Pを取得可能であるかを判定するとともに、コーナーリフレクター42から特徴点42Pを取得可能であるかを判定する。
[0051]
 たとえば判定部194は、自車両とターゲット車両の位置関係、自車両とターゲット車両との間の相対速度、自車両及びターゲット車両の走行姿勢などに基づいて、較正用冶具4から特徴点を取得可能であるかを判定できる。たとえば自車両とターゲット車両との間の相対速度が、自車両の撮像部13からターゲット車両に搭載された較正用冶具4を撮像可能な速度であることが特徴点の取得可能条件として例示される。また、自車両及びターゲット車両の走行姿勢は、ターゲット車両に搭載された較正用冶具4から特徴点の抽出が比較的容易な直進姿勢であることが特徴点の取得可能条件として例示される。
[0052]
 また、判定部194は、撮像部13及び測定部14の視野領域が重複する領域FV3の中に、ターゲット車両に搭載された較正用冶具4が位置すれば、ターゲット車両から特徴点を取得可能であると判定してもよい。
[0053]
 なお、判定部194は、自車両の位置情報及び姿勢情報の代わりに、自車両に設置された撮像部13及び測定部14の位置情報及び姿勢情報を利用することもできる。また、判定部194は、ターゲット車両の位置情報及び姿勢情報は、ターゲット車両に搭載された較正用冶具4の位置情報及び姿勢情報を利用することもできる。
[0054]
 実行部195は、判定部194によりターゲット車両に搭載された較正用冶具4から特徴点を取得可能であると判定されると、センサ間のキャリブレーション(自車両に搭載された撮像部13と測定部14との間のキャリブレーション)を実行する。すなわち実行部195は、撮像部13および測定部14の車両搭載時の相対的な位置関係が維持されるように、撮像部13と測定部14との間のキャリブレーションを実行する。
[0055]
 具体的には、実行部195は、撮像部13により撮影された画像を認識し、撮像画像内から撮像部13(カメラ)及び測定部14(ミリ波レーダー)それぞれに応じたキャリブレーションを実行可能な特徴点を取得する。すなわち、実行部195は、ターゲット車両に搭載された較正用冶具4であるチェッカーボード41から特徴点41Pを取得するとともに、コーナーリフレクター42から特徴点42Pを取得する。
[0056]
 続いて、実行部195は、撮影画像から取得した特徴点41Pと特徴点P42との位置関係に基づいて、現在の撮像部13と測定部14との間の相対的な位置関係を認識する。続いて、実行部195は、車両搭載時の撮像部13と測定部14との間の相対的な位置関係の情報を自車両情報格納部171から取得する。続いて、実行部195は、現在の撮像部13と測定部14との間の相対的な位置関係と、車両搭載時の撮像部13と測定部14との間の相対的な位置関係とのずれを演算する。そして、実行部195は、車両搭載時の撮像部13と測定部14との間の相対的な位置関係からのずれを吸収するように、撮像部13の取付け位置および取付け角度を調整するためのアクチュエーターに制御信号を送信する。このようにして、実行部195は、撮像部13と測定部14の相対的な位置関係が車両搭載時の最適な状態に近づくように、撮像部13と測定部14との間のキャリブレーションを実行する。
[0057]
 車両の走行に伴って個々のセンサが出荷時(車両設置時)から位置ずれが生じても、実行部195により実行されるセンサ間のキャリブレーションにより、センサ間の相対的な位置関係が維持されれば、撮像部13と測定部14はセンサとして機能を発揮できる。すなわち、自車両の進行方向(向いている方向)が受信部12により受信されるGPS信号や、検出部15の検出結果から取得でき、自車両中心の座標系へ相対的な位置関係変換できれば、撮像部13と測定部14はセンサとしての機能を発揮できる。なお、他車両の進行方向を知るために、それぞれの車両はデュアルアンテナGPS等から、地理座標系等の同一のリファレンス系から進行方向を求める必要がある。
[0058]
[1-4.実施形態に係る情報処理の手順]
 図4を用いて、本開示の実施形態に係る情報処理の手順を説明する。図4は、本開示の実施形態に係る情報処理の流れを示すフローチャートである。図4に示す処理は、たとえば制御部109が備える各部により実行される。図4に示す処理は、自車両の走行中に繰り返し実行される。
[0059]
 図4に示すように、判定部194は、キャリブレーションを実施可能な領域にターゲット車両が存在するか否かを判定する(ステップS101)。
[0060]
 具体的には、判定部194は、撮像部13及び測定部14の視野領域が重複する領域FV3の中に、ターゲット車両に搭載された較正用冶具4の設置位置が含まれるとき、キャリブレーションを実施可能な領域にターゲット車両が存在すると判定する。
[0061]
 判定部194は、キャリブレーションを実施可能な領域にターゲット車両が存在すると判定した場合(ステップS101;Yes)、ターゲット車両に搭載された較正用冶具4から特徴点を取得可能であるか否かを判定する(ステップS102)。
[0062]
 具体的には、判定部194は、自車両の位置情報及び姿勢情報、ターゲット車両の位置情報及び姿勢情報に基づいて、ターゲット車両に搭載された較正用冶具4から特徴点を取得可能であるかを判定する。自車両(撮像部13)からターゲット車両に搭載された較正用冶具4を撮像可能な相対速度であること、並びに自車両及びターゲット車両の走行姿勢が直進姿勢であることなどが特徴点の取得可能条件として例示される。
[0063]
 判定部により特徴点を取得可能であると判定された場合(ステップS103;Yes)、実行部195は、ターゲット車両に搭載された較正用冶具4から特徴点を取得してキャリブレーションを実行し(ステップS107)、図4に示す処理を終了する。
[0064]
 上記ステップS103において、判定部194により特徴点を取得可能ではないと判定された場合(ステップS103;No)、実行部195は、キャリブレーションを実行することなく、図4に示す処理を終了する。
[0065]
 上記ステップS101において、判定部194は、キャリブレーションを実施可能な領域にターゲット車両が存在しないと判定した場合(ステップS101;No)、図4に示す処理を終了する。
[0066]
[1-5.実施形態に係る変形例]
 上述した実施形態では、情報処理装置100が、管理装置3を介した路車間通信(V2X通信)により、ターゲット車両に関する各種情報を取得する例を説明したが、この例には特に限定される必要はない。情報処理装置100は、ターゲット車両との間の車車間通信により、ターゲット車両に関する各種情報を取得してもよい。
[0067]
 また、上述した実施形態では、情報処理装置100による情報処理として、撮像部13(カメラ)および測定部14(ミリ波レーダー)の異種センサ間のキャリブレーションを実行する例を説明した。しかしながら、この例には特に限定される必要はなく、情報処理装置100による情報処理は、同種センサ間のキャリブレーションを実行する場合についても同様に適用できる。
[0068]
 また、上述した実施形態において、車両1は、キャリブレーションを実行する際、走行車線の中央付近を走行するのが望ましい。
[0069]
 また、上述した実施形態において、センサ間のキャリブレーションに利用する特徴点は、キャリブレーション用にターゲット車両に設置される較正用冶具4ではある必要はなく、キャリブレーションを実行可能な特徴点を抽出できるものであればよい。たとえば、テールランプなど、車両に既存の構造物であってもよい。
[0070]
 また、上述した実施形態では、情報処理装置100が、他の移動体(たとえばターゲット車両)の撮像画像からキャリブレーション(センサ間のキャリブレーション)を実行する例を説明した。かかる情報処理装置100による処理は、他の移動体(たとえばターゲット車両)の撮像画像から1つのセンサのキャリブレーションを実行する場合にも同様に適用することができる。
[0071]
(2.その他の実施形態)
[2-1.他のセンサ]
 上述した実施形態に係る情報処理装置100は、たとえば測定部14としてミリ波レーダーを備える例を説明したが、この例には特に限定される必要はない。情報処理装置100は、自車両の周辺環境の三次元的な構造を読み取るLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)を備えてもよい。LiDARは、赤外線レーザー等のレーザー光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、周囲にある物体までの距離や相対速度を検知する。情報処理装置100は、LiDARにより取得されるターゲット車両の情報を特徴点として、LiDAR間のキャリブレーションを実行できる。
[0072]
 図5は、LiDARによる検出例を示す図である。図5に示すように、たとえば車両1に2つのLiDAR_EX1とLiDAR_EX2が搭載されているとする。このとき、車両1に搭載されるLiDAR_EX1は、ターゲット車両となる車両2の外形を示す検出点群PG1,PG2を検出する。同様に、車両1に搭載されるLiDAR_EX2は、ターゲット車両となる車両2の外形を示す検出点群PG11,PG21を検出する。
[0073]
 そして、情報処理装置100は、2つのLiDAR_EX1とLiDAR_EX2から取得される情報に基づいて、LiDAR間のキャリブレーションを実行する。たとえば、情報処理装置100は、検出点群PG1,PG2により形成され2つの直線L1,L2と、検出点群PG11,PG21により形成され2つの直線L11,L21とを重ねるようにLiDARの取付け位置及び取付け角度を調整する。このようにして、情報処理装置100は、較正用の冶具などの追加の特徴点を必要とすることなく、LiDARにより取得されるターゲット車両の情報からLiDAR間のキャリブレーションを実行できる。
[0074]
[2-2.移動体の構成]
 また、上述した実施形態によれば、情報処理装置100が車両(自動車)に搭載される例を説明したが、情報処理装置100により実現される情報処理が、自動運転を行う車両(自動車)などの移動体そのものにより実行されてもよい。この場合、情報処理装置100は、図2に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図2に示した構成に含まれてもよい。
[0075]
 すなわち、本開示の実施形態に係る情報処理装置100は、以下に示す移動体制御システムとして構成することも可能である。図6は、本開示の実施形態に係る情報処理が適用され得る移動体制御システムの概略的な機能の構成例を示すブロック図である。
[0076]
 移動体制御システムの一例である車両制御システム200の自動運転制御部212は、実施形態の情報処理装置100の制御部109に相当する。また、自動運転制御部212の検出部231及び自己位置推定部232は、実施形態の情報処理装置100の制御部109の認識部193に相当する。また、自動運転制御部212の状況分析部233は、制御部109の認識部193に相当する。また、自動運転制御部212の計画部234は、制御部109の判定部194や実行部195に相当する。また、自動運転制御部212の動作制御部235は、制御部109の判定部194や実行部195に相当する。また、自動運転制御部212は、図6に示すブロックに加えて、制御部130の各処理部に相当するブロックを有していてもよい。
[0077]
 なお、以下、車両制御システム200が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
[0078]
 車両制御システム200は、入力部201、データ取得部202、通信部203、車内機器204、出力制御部205、出力部206、駆動系制御部207、駆動系システム208、ボディ系制御部209、ボディ系システム210、記憶部211、及び、自動運転制御部212を備える。入力部201、データ取得部202、通信部203、出力制御部205、駆動系制御部207、ボディ系制御部209、記憶部211、及び、自動運転制御部212は、通信ネットワーク221を介して、相互に接続されている。通信ネットワーク221は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム200の各部は、通信ネットワーク221を介さずに、直接接続される場合もある。
[0079]
 なお、以下、車両制御システム200の各部が、通信ネットワーク221を介して通信を行う場合、通信ネットワーク221の記載を省略するものとする。例えば、入力部201と自動運転制御部212が、通信ネットワーク221を介して通信を行う場合、単に入力部201と自動運転制御部212が通信を行うと記載する。
[0080]
 入力部201は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部201は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部201は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム200の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部201は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム200の各部に供給する。
[0081]
 データ取得部202は、車両制御システム200の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム200の各部に供給する。
[0082]
 例えば、データ取得部202は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部202は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
[0083]
 また、例えば、データ取得部202は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部202は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部202は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
[0084]
 さらに、例えば、データ取得部202は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部202は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
[0085]
 また、例えば、データ取得部202は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部202は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
[0086]
 通信部203は、車内機器204、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム200の各部から供給されるデータを送信したり、受信したデータを車両制御システム200の各部に供給したりする。なお、通信部203がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部203が、複数の種類の通信プロトコルをサポートすることも可能である。
[0087]
 例えば、通信部203は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器204と無線通信を行う。また、例えば、通信部203は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)(登録商標)、又は、MHL(Mobile High-definition Link)等により、車内機器204と有線通信を行う。
[0088]
 さらに、例えば、通信部203は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部203は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部203は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部203は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
[0089]
 車内機器204は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
[0090]
 出力制御部205は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部205は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部206に供給することにより、出力部206からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部205は、データ取得部202の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部206に供給する。また、例えば、出力制御部205は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部206に供給する。
[0091]
 出力部206は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部206は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部206が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
[0092]
 駆動系制御部207は、各種の制御信号を生成し、駆動系システム208に供給することにより、駆動系システム208の制御を行う。また、駆動系制御部207は、必要に応じて、駆動系システム208以外の各部に制御信号を供給し、駆動系システム208の制御状態の通知等を行う。
[0093]
 駆動系システム208は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム208は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
[0094]
 ボディ系制御部209は、各種の制御信号を生成し、ボディ系システム210に供給することにより、ボディ系システム210の制御を行う。また、ボディ系制御部209は、必要に応じて、ボディ系システム210以外の各部に制御信号を供給し、ボディ系システム210の制御状態の通知等を行う。
[0095]
 ボディ系システム210は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム210は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
[0096]
 記憶部211は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部211は、車両制御システム200の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部211は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
[0097]
 自動運転制御部212は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部212は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部212は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部212は、検出部231、自己位置推定部232、状況分析部233、計画部234、及び、動作制御部235を備える。
[0098]
 検出部231は、自動運転の制御に必要な各種の情報の検出を行う。検出部231は、車外情報検出部241、車内情報検出部242、及び、車両状態検出部243を備える。
[0099]
 車外情報検出部241は、車両制御システム200の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部241は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部241は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部241は、検出処理の結果を示すデータを自己位置推定部232、状況分析部233のマップ解析部251、交通ルール認識部252、及び、状況認識部253、並びに、動作制御部235の緊急事態回避部271等に供給する。
[0100]
 車内情報検出部242は、車両制御システム200の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部242は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部242は、検出処理の結果を示すデータを状況分析部233の状況認識部253、及び、動作制御部235の緊急事態回避部271等に供給する。
[0101]
 車両状態検出部243は、車両制御システム200の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部243は、検出処理の結果を示すデータを状況分析部233の状況認識部253、及び、動作制御部235の緊急事態回避部271等に供給する。
[0102]
 自己位置推定部232は、車外情報検出部241、及び、状況分析部233の状況認識部253等の車両制御システム200の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部232は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部232は、推定処理の結果を示すデータを状況分析部233のマップ解析部251、交通ルール認識部252、及び、状況認識部253等に供給する。また、自己位置推定部232は、自己位置推定用マップを記憶部211に記憶させる。
[0103]
 状況分析部233は、自車及び周囲の状況の分析処理を行う。状況分析部233は、マップ解析部251、交通ルール認識部252、状況認識部253、及び、状況予測部254を備える。
[0104]
 マップ解析部251は、自己位置推定部232及び車外情報検出部241等の車両制御システム200の各部からのデータ又は信号を必要に応じて用いながら、記憶部211に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部251は、構築したマップを、交通ルール認識部252、状況認識部253、状況予測部254、並びに、計画部234のルート計画部261、行動計画部262、及び、動作計画部263等に供給する。
[0105]
 交通ルール認識部252は、自己位置推定部232、車外情報検出部241、及び、マップ解析部251等の車両制御システム200の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部252は、認識処理の結果を示すデータを状況予測部254等に供給する。
[0106]
 状況認識部253は、自己位置推定部232、車外情報検出部241、車内情報検出部242、車両状態検出部243、及び、マップ解析部251等の車両制御システム200の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部253は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部253は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
[0107]
 認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
[0108]
 状況認識部253は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部232及び状況予測部254等に供給する。また、状況認識部253は、状況認識用マップを記憶部211に記憶させる。
[0109]
 状況予測部254は、マップ解析部251、交通ルール認識部252及び状況認識部253等の車両制御システム200の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部254は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
[0110]
 予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
[0111]
 状況予測部254は、予測処理の結果を示すデータを、交通ルール認識部252及び状況認識部253からのデータとともに、計画部234のルート計画部261、行動計画部262、及び、動作計画部263等に供給する。
[0112]
 ルート計画部261は、マップ解析部251及び状況予測部254等の車両制御システム200の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部261は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部261は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部261は、計画したルートを示すデータを行動計画部262等に供給する。
[0113]
 行動計画部262は、マップ解析部251及び状況予測部254等の車両制御システム200の各部からのデータ又は信号に基づいて、ルート計画部261により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部262は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部262は、計画した自車の行動を示すデータを動作計画部263等に供給する。
[0114]
 動作計画部263は、マップ解析部251及び状況予測部254等の車両制御システム200の各部からのデータ又は信号に基づいて、行動計画部262により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部263は、加速、減速、及び、走行軌道等の計画を行う。動作計画部263は、計画した自車の動作を示すデータを、動作制御部235の加減速制御部272及び方向制御部273等に供給する。
[0115]
 動作制御部235は、自車の動作の制御を行う。動作制御部235は、緊急事態回避部271、加減速制御部272、及び、方向制御部273を備える。
[0116]
 緊急事態回避部271は、車外情報検出部241、車内情報検出部242、及び、車両状態検出部243の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部271は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部271は、計画した自車の動作を示すデータを加減速制御部272及び方向制御部273等に供給する。
[0117]
 加減速制御部272は、動作計画部263又は緊急事態回避部271により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部272は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部207に供給する。
[0118]
 方向制御部273は、動作計画部263又は緊急事態回避部271により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部273は、動作計画部263又は緊急事態回避部271により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部207に供給する。
[0119]
[2-3.その他]
 上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[0120]
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、図2に示す判定部194と実行部195とが機能的または物理的に統合されていてもよい。また、図2に示す制御部109が備える各部(提供部191、取得部192、認識部193、判定部194、実行部195)の機能的または物理的に1つに統合されていてもよい。また、本開示の情報処理装置100による情報処理が管理装置3により実行されてもよい。
[0121]
 また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、移動体として自動車を例に挙げたが、本開示の情報処理装置100による情報処理は、自動車以外の移動体にも適用できる。例えば、移動体は、自動二輪車や自動三輪車等の小型車両、バスやトラック等の大型車両、あるいはロボットやドローン等の自律型移動体であってもよい。また、情報処理装置100は、必ずしも移動体と一体ではなく、移動体からネットワークNを介して情報を取得し、取得した情報に基づいて情報処理を実行するクラウドサーバ等であってもよい。
[0122]
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
[0123]
(3.本開示に係る情報処理装置による効果)
 上述のように、本開示に係る情報処理装置(実施形態における情報処理装置100)は、キャリブレーション実行部(実施形態における実行部195)を備える。キャリブレーション実行部は、それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサ(実施形態における撮像部13と測定部14)間のキャリブレーションを実行する。また、キャリブレーション実行部は、2以上のセンサの視野が重複する領域において、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得可能な場合に、センサ間のキャリブレーションを実行する。
[0124]
 このように、本開示に係る情報処理装置は、2以上のセンサの視野が重複する領域において、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得可能な場合に、センサ間のキャリブレーションを実行する。これにより、本開示に係る情報処理装置は、環境の変化に影響されることなく、地図情報が存在しない領域であってもキャリブレーションを実施できる。
[0125]
 また、2以上のセンサは、車両に取り付けられたセンサである。これにより、本開示に係る情報処理装置は、環境の変化に影響されることなく、地図情報が存在しない領域であっても、車両に搭載されたセンサ間のキャリブレーションを実施できる。
[0126]
 また、2以上のセンサの少なくとも1以上はカメラである。そして、キャリブレーション実行部は、カメラによって撮像した画像を認識し、撮像画像内にカメラおよびカメラ以外のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得する。これにより、本開示に係る情報処理装置は、センサ間のキャリブレーションを実行できる。
[0127]
 また、キャリブレーション実行部は、2以上のセンサの視野が重複する領域において、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体が存在する場合に、センサ間のキャリブレーションを実行する。これにより、本開示に係る情報処理装置は、特定の物体からセンサ間のキャリブレーションに必要な特徴点を取得できる。
[0128]
 また、キャリブレーションを実行可能な特徴点を有する特定の物体は他の車両である。これにより、本開示に係る情報処理装置は、他の車両からセンサ間のキャリブレーションに必要な特徴点を取得できる。
[0129]
 また、本開示に係る情報処理装置は、2以上のセンサ間のキャリブレーションを実行可能な特徴点を有する他の車両が、自車両周辺の取得可能な範囲に存在するか否かを車車間通信によって受信する。これにより、本開示に係る情報処理装置は、他の車両の位置を車車間通信により迅速に把握できる。
[0130]
 また、本開示に係る情報処理装置は、2以上のセンサ間のキャリブレーションを実行可能な特徴点を有する他の車両が、自車両周辺の取得可能な範囲に存在するかをV2X通信によって受信する。これにより、他の車両の位置をV2X通信により迅速に把握できる。
[0131]
 また、本開示に係る情報処理装置は、キャリブレーションを実行可能な特徴点を有する他の車両の位置情報を受信する。これにより、本開示に係る情報処理装置は、自車両と他の車両との位置関係を把握できる。
[0132]
 また、本開示に係る情報処理装置は、前記キャリブレーションを実行可能な特徴点を有する他の車両の姿勢情報を受信する。これにより、本開示に係る情報処理装置は、他の車両から特徴点を取得可能な状態か否かを把握できる。
[0133]
 また、本開示に係る情報処理装置は、判定部(実施形態における判定部194)をさらに備える。判定部は、2以上のセンサまたは2以上のセンサの取り付けられた車両の位置情報および姿勢情報と、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体の位置情報および姿勢情報を取得する。そして、判定部は、2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点が取得可能な状態であるかを判定する。これにより、本開示に係る情報処理装置は、特定の物体から特徴点を取得可能であるかを精度よく判定できる。
[0134]
 また、センサはカメラであり、キャリブレーションを実行可能な特徴点を有する特定の物体は、他の車両に設置されたチェッカーボードである。これにより、本開示に係る情報処理装置は、カメラのキャリブレーションに用いる特徴点を容易に取得できる。
[0135]
 また、センサはミリ波レーダーであり、キャリブレーションを実行可能な特徴点を有する特定の物体は、他の車両の設置されたコーナーリフレクターである。これにより、本開示に係る情報処理装置は、ミリ波レーダーのキャリブレーションに用いる特徴点を容易に取得できる。
[0136]
(4.ハードウェア構成)
 上述してきた各実施形態に係る情報処理装置100による情報処理は、例えば図7に示すような構成のコンピュータ1000によって実現される。以下、本開示の実施形態に係る情報処理装置100を例に挙げて説明する。図7は、本開示の情報処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
[0137]
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
[0138]
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
[0139]
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータ1000が読み取り可能な記録媒体である。具体的には、HDD1400は、たとえば図3に示すアンテナ切替処理を実現するためのプログラムを記録する記録媒体である。
[0140]
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
[0141]
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
[0142]
 例えば、コンピュータ1000が第1の実施形態に係る受信装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラム(本開示の情報処理を実現するためのプログラムなど)を実行する。これにより、情報処理装置100の制御部109により実行される各種処理等の機能が実現される。また、HDD1400には、本開示の情報処理を実現するためのプログラムや、記憶部111に記憶されるデータなどが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
[0143]
 なお、本技術は以下のような構成も取ることができる。
(1)
 それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセン間のキャリブレーションを実行するキャリブレーション実行部を備え、
 前記キャリブレーション実行部は、
 前記2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得可能な場合に、センサ間のキャリブレーションを実行する
 情報処理装置。
(2)
 前記2以上のセンサは、車両に取り付けられたセンサである請求項1に記載の情報処理装置。
 前記(1)に記載の情報処理装置。
(3)
 前記2以上のセンサ間に応じたキャリブレーションを実行可能な特徴点を有する特定の物体が前記車両の周辺の取得可能な範囲に存在するかを取得する取得部と、
 前記特定の物体が前記車両の周辺の取得可能な範囲に存在する場合、前記2以上のセンサの視野が重複する領域において、前記特定の物体から前記特徴点を取得可能な状態であるか否かを判定する判定部と
 をさらに備え、
 前記判定部は、
 前記2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体が存在する場合、前記特定の物体から前記特徴点を取得可能な状態であるか否かを判定し、
 前記キャリブレーション実行部は、
 前記判定部により前記特徴点が取得可能な状態であると判定された場合、前記特徴点を取得する
 前記(1)又は(2)に記載の情報処理装置。
(4)
 前記2以上のセンサの少なくとも1以上はカメラであり、
 前記キャリブレーション実行部は、
 前記カメラによって撮像した画像を認識し、撮像画像内に前記カメラおよび前記カメラ以外のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得する
 前記(3)に記載の情報処理装置。
(5)
 前記取得部は、前記特定の物体が前記車両の周辺の取得可能な範囲に存在するかをV2X通信によって受信する
 前記(3)に記載の情報処理装置。
(6)
 前前記取得部は、前記特定の物体が前記車両の周辺の取得可能な範囲に存在するかを車車間通信によって受信する
 前記(3)に記載の情報処理装置。
(7)
 前記取得部は、
 前記特定の物体の位置情報および姿勢情報を受信し、
 前記判定部は、
 前記2以上のセンサまたは前記2以上のセンサの取り付けられた車両の位置情報および姿勢情報と、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体の位置情報および姿勢情報とに基づいて、前記特定の物体から前記特徴点を取得可能な状態であるかを判定する
 前記(3)に記載の情報処理装置。
(8)
 前記2以上のセンサの少なくとも1以上はカメラであり、
 前記特定の物体は他の車両に設置されたチェッカーボードである
 前記(3)に記載の情報処理装置。
(9)
 前記2以上のセンサの少なくとも1以上はミリ波レーダーであり、
 前記特定の物体は他の車両の設置されたコーナーリフレクターである
 前記(3)に記載の情報処理装置。
(10)
 前記特定の物体は他の車両である
 前記(3)に記載の情報処理装置。
(13)
 コンピュータが、
 それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点が取得可能な場合に、センサ間のキャリブレーションを実行する
 情報処理方法。
(14)
 コンピュータに、
 それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点が取得可能な場合に、センサ間のキャリブレーションを実行させる
 情報処理プログラム。

符号の説明

[0144]
 1,2 車両
 3  管理装置
 12 受信部
 13 撮像部
 14 測定部
 15 検出部
 100 情報処理装置
 101 通信部
 103 入力部
 105 出力部
 107 記憶部
 109 制御部
 191 提供部
 192 取得部
 193 認識部
 194 判定部
 195 実行部

請求の範囲

[請求項1]
 それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサ間のキャリブレーションを実行するキャリブレーション実行部を備え、
 前記キャリブレーション実行部は、
 前記2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得可能な場合に、センサ間のキャリブレーションを実行する
 情報処理装置。
[請求項2]
 前記2以上のセンサは、車両に取り付けられたセンサである請求項1に記載の情報処理装置。
[請求項3]
 前記2以上のセンサ間に応じたキャリブレーションを実行可能な特徴点を有する特定の物体が前記車両の周辺の取得可能な範囲に存在するかを取得する取得部と、
 前記特定の物体が前記車両の周辺の取得可能な範囲に存在する場合、前記2以上のセンサの視野が重複する領域において、前記特定の物体から前記特徴点を取得可能な状態であるか否かを判定する判定部と
 をさらに備え、
 前記判定部は、
 前記2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体が存在する場合、前記特定の物体から前記特徴点を取得可能な状態であるか否かを判定し、
 前記キャリブレーション実行部は、
 前記判定部により前記特徴点が取得可能な状態であると判定された場合、前記特徴点を取得する
 請求項2に記載の情報処理装置。
[請求項4]
 前記2以上のセンサの少なくとも1以上はカメラであり、
 前記キャリブレーション実行部は、
 前記カメラによって撮像した画像を認識し、撮像画像内に前記カメラおよび前記カメラ以外のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を取得する請求項3に記載の情報処理装置。
[請求項5]
 前記取得部は、前記特定の物体が前記車両の周辺の取得可能な範囲に存在するかをV2X通信によって受信する請求項3に記載の情報処理装置。
[請求項6]
 前記取得部は、前記特定の物体が前記車両の周辺の取得可能な範囲に存在するかを車車間通信によって受信する請求項3に記載の情報処理装置。
[請求項7]
 前記取得部は、
 前記特定の物体の位置情報および姿勢情報を受信し、
 前記判定部は、
 前記2以上のセンサまたは前記2以上のセンサの取り付けられた車両の位置情報および姿勢情報と、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点を有する特定の物体の位置情報および姿勢情報とに基づいて、前記特定の物体から前記特徴点を取得可能な状態であるかを判定する
 請求項3に記載の情報処理装置。
[請求項8]
 前記2以上のセンサの少なくとも1以上はカメラであり、
 前記特定の物体は他の車両に設置されたチェッカーボードである
 請求項3に記載の情報処理装置。
[請求項9]
 前記2以上のセンサの少なくとも1以上はミリ波レーダーであり、
 前記特定の物体は他の車両の設置されたコーナーリフレクターである
 請求項3に記載の情報処理装置。
[請求項10]
 前記特定の物体は他の車両である
 請求項3に記載の情報処理装置。
[請求項11]
 コンピュータが、
 それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点が取得可能な場合に、センサ間のキャリブレーションを実行する
 情報処理方法。
[請求項12]
 コンピュータに、
 それぞれ異なる位置に取り付けられ、視野領域の少なくとも一部が重複する2以上のセンサの視野が重複する領域において、前記2以上のセンサそれぞれに応じたキャリブレーションを実行可能な特徴点が取得可能な場合に、センサ間のキャリブレーションを実行させる
 情報処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]