処理中

しばらくお待ちください...

設定

設定

1. WO2020003776 - 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

Document

明 細 書

発明の名称 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

技術分野

0001  

背景技術

0002   0003   0004   0005   0006  

先行技術文献

特許文献

0007  

発明の概要

発明が解決しようとする課題

0008  

課題を解決するための手段

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020  

発明の効果

0021   0022   0023  

図面の簡単な説明

0024  

発明を実施するための形態

0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100  

実施例 1

0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120  

実施例 2

0121   0122   0123   0124   0125   0126   0127   0128   0129  

実施例 3

0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141  

実施例 4

0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154  

産業上の利用可能性

0155   0156   0157   0158  

符号の説明

0159  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

明 細 書

発明の名称 : 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

技術分野

[0001]
 本明細書で開示する技術は、主に外界を認識するための複数のセンサの検出情報を処理する情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置に関する。

背景技術

[0002]
 自動運転やADAS(Advanced Driver Assistance System)の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天ときや夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。
[0003]
 各センサには得手不得手があり、認識対象物の種類や大きさ、対象物までの距離、あるいは、検出時の天候などに応じて、センサの認識性能が劣化することがある。例えば、車載用のレーダーは距離精度、相対速度精度は高いが、角度精度が低く、物体の種別を識別する識別機能は無いか、若しくは精度が低い。一方、カメラは距離精度、相対速度精度が比較的低いが、角度精度、識別精度はよい。そこで、個々のセンサを単独での使用に限らず、2以上のセンサを組み合わせて、各センサの特徴を生かすことによって、より高精度な外界認識に寄与している。2以上のセンサを組み合わせることを、以下では「センサフュージョン」又は「フュージョン」と呼ぶことにする。
[0004]
 例えば、ミリ波レーダーと画像センサがそれぞれ検出したデータについてエリア分けを行い、所定のエリア内に存在する物体(ターゲット)については、両センサが取得した情報に基づいて、物体に関する情報を作成する周辺監視センサについて提案がなされている(特許文献1を参照のこと)。
[0005]
 また、撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報に基づいて、撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際にその物体の物体領域を認識するための予測領域情報を作成して、撮像手段が検出対象の撮像を開始した時から車載装置が作動するまでの時間を短縮する画像処理装置について提案がなされている(特許文献2を参照のこと)。
[0006]
 また、同一軸で車両に搭載された車載カメラ及び障害物検知用センサの軸方向と、車両の進行方向とのズレ角を補正する車両用外界センシング装置について提案がなされている(特許文献3を参照のこと)。

先行技術文献

特許文献

[0007]
特許文献1 : 特開2001-99930号公報
特許文献2 : 特開2015-195018号公報
特許文献3 : 特開2014-228943号公報

発明の概要

発明が解決しようとする課題

[0008]
 本明細書で開示する技術の目的は、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置を提供することにある。

課題を解決するための手段

[0009]
 本明細書で開示する技術の第1の側面は、第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を、第2のセンサでセンシングした第2の情報に基づいて制御する制御部を備える、情報処理装置である。
[0010]
 前記第1のセンサはカメラで、前記第2のセンサはレーダーである。そして、前記制御部は、前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも1つの情報に基づいて、前記撮影画像の中から物体検出に使用する対象領域を決定する。
[0011]
 第1の側面に係る情報処理装置は、前記カメラの撮影条件を判定する条件判定部をさらに備えていてもよい。そして、前記制御部は、前記条件判定部の判定結果に基づいて閾値を設定し、その閾値を用いて前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定するようにしてもよい。
[0012]
 また、第1の側面に係る情報処理装置は、前記レーダーが検出する反射波の強度に基づいて、前記対象領域のサイズを判定するサイズ判定部をさらに備えていてもよい。そして、前記制御部は、前記サイズ判定部が判定したサイズに基づいて、前記撮影画像の中から前記対象領域を決定するようにしてもよい。
[0013]
 また、第1の側面に係る情報処理装置は、前記レーダーにより検出された各物体の優先度を判定する優先度判定部をさらに備えていてもよい。そして、前記制御部は、前記優先度に基づいて、前記撮影画像の中から前記対象領域を決定するようにしてもよい。
[0014]
 また、本明細書で開示する技術の第2の側面は、第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を、第2のセンサでセンシングした第2の情報に基づいて制御する制御ステップを有する、情報処理方法である。
[0015]
 また、本明細書で開示する技術の第3の側面は、第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を第2のセンサでセンシングした第2の情報に基づいて制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムである。
[0016]
 第3の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第3の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第1の側面に係る情報処理装置と同様の作用効果を得ることができる。
[0017]
 また、本明細書で開示する技術の第4の側面は、
 撮像部と、
 他のセンサでセンシングした情報に基づいて、前記撮像部の撮影画像のうち物体検出に使用する対象領域を決定する制御部と、
を具備する撮像装置である。
[0018]
 また、本明細書で開示する技術の第5の側面は、
 第1のセンサでセンシングした第1の情報のうち、第2のセンサでセンシングした第2の情報に基づいて決定した情報量に基づいて物体を検出する第1の物体検出部と、
 前記第1の物体検出部による物体検出結果と前記第2のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
を具備する情報処理システムである。
[0019]
 但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
[0020]
 また、本明細書で開示する技術の第6の側面は、
 移動手段と、
 第1のセンサと、
 第2のセンサと、
 第1のセンサでセンシングした第1の情報のうち、第2のセンサでセンシングした第2の情報に基づいて決定した情報量に基づいて物体を検出する第1の物体検出部と、
 前記第1の物体検出部による物体検出結果と前記第2のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
 前記判定部による判定結果に基づいて前記移動手段の駆動を制御する駆動制御部と、
を具備する移動体装置である。

発明の効果

[0021]
 本明細書で開示する技術によれば、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置を提供することができる。
[0022]
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
[0023]
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

[0024]
[図1] 図1は、車両制御システム100の概略的な機能の構成例を示すブロック図である。
[図2] 図2は、物体検出システム200の機能的構成を模式的に示した図である。
[図3] 図3は、同一の車両にカメラ201とミリ波レーダー202を搭載した様子を示した図である。
[図4] 図4は、カメラ201とミリ波レーダー202(ロングレンジモード)の捕捉範囲の比較を示した図である。
[図5] 図5は、カメラ201とミリ波レーダー202(ミドルレンジモード)の捕捉範囲の比較を示した図である。
[図6] 図6は、カメラ201とミリ波レーダー202のセンサユニットの各々からECUへのデータ転送量の相違を示した図である。
[図7] 図7は、物体検出システム700の機能的構成を模式的に示した図である。
[図8] 図8は、物体検出システム800の機能的構成を模式的に示した図である。
[図9] 図9は、ミリ波レーダー202の検出結果に基づいてカメラ201の撮影画像の転送を制御する仕組みを説明するための図である。
[図10] 図10は、物体検出システム1000の機能的構成を示した図である。
[図11] 図11は、ROIのサイズを決定する機構を備えた物体検出システム1100の機能的構成を示した図である。
[図12] 図12は、サイズ判定部1102において、レーダーの反射強度に基づいてROIのサイズを決定するための処理手順を示したフローチャートである。
[図13] 図13は、優先度の高いROIを優先処理する機構を備えた物体検出システム1300の機能的構成を示した図である。
[図14] 図14は、優先度判定部1302において、物体検出部205が検出した各物体の優先度を判定するための処理手順を示したフローチャートである。

発明を実施するための形態

[0025]
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
[0026]
 図1は、本技術が適用され得る移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
[0027]
 なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
[0028]
 車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
[0029]
 なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
[0030]
 入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
[0031]
 データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
[0032]
 例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
[0033]
 また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
[0034]
 さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
[0035]
 また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
[0036]
 通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
[0037]
 例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
[0038]
 さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
[0039]
 車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
[0040]
 出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
[0041]
 出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
[0042]
 駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
[0043]
 駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
[0044]
 ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
[0045]
 ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
[0046]
 記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
[0047]
 自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
[0048]
 検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
[0049]
 車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
[0050]
 車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
[0051]
 車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
[0052]
 自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
[0053]
 状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
[0054]
 マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
[0055]
 交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
[0056]
 状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
[0057]
 認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
[0058]
 状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
[0059]
 状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
[0060]
 予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
[0061]
 状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
[0062]
 ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
[0063]
 行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
[0064]
 動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
[0065]
 動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
[0066]
 緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
[0067]
 加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[0068]
 方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[0069]
 自動運転やADASの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。ところが、各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。レーダー(ミリ波レーダー)、カメラ、及びレーザーレーダー(LiDAR)の得手不得手を以下の表1にまとめておく。同表中で、◎は大得意(高い精度を持つ)、○は得意(良好な精度を持つ)、△は苦手(精度が十分でない)を意味する。
[0070]
[表1]


[0071]
 そこで、2以上のセンサを組み合わせて、各センサの特徴を生かすことによって、より高精度な外界認識を実現するフュージョン技術が開発されている(例えば、特許文献1~3を参照のこと)。
[0072]
 図2には、カメラ201とミリ波レーダー202をフュージョンして物体検出を行う物体検出システム200の機能的構成を模式的に示している。カメラ201とミリ波レーダー202は、ともに同じ車両に、互いの捕捉範囲が重複するように搭載されているものとする。
[0073]
 カメラ201による撮影画像は、現像処理された後、物体検出部203に供給される。物体検出部203は、所定の画像認識アルゴリズムに基づいて、撮像画像から、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0074]
 また、レーダー信号処理部204は、ミリ波レーダー202による送信レーダーの原波形データと、ミリ波レーダー202がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。そして、物体検出部205は、レーダー信号処理部204による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0075]
 フュージョン処理部206は、物体検出部203がカメラ201の撮影画像から検出した物体の位置などの情報と、物体検出部205がミリ波レーダー202の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ(図示しない)が搭載されている場合には、フュージョン処理部206はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部206は、フュージョン処理して得られた物体判別結果を、車両制御システム207に出力する。
[0076]
 車両制御システム207は、フュージョン処理部207における物体判別結果に基づいて、例えば自動車間制御(ACC)、車線逸脱警報(LDW)、レーンキープアシスト(LKA)、自動緊急ブレーキ(AEB)、死角検知(BSD)といった、自動運転又は運転支援のための車両制御を実施する。さらに車両制御システム207は、ACC、LDW、LKA、AEB、BSDの実施のために、ACL、ブレーキアクチュエータ(BRK)、操舵装置(STR)など車両内の各駆動部の駆動を制御する。例えば、フュージョン処理部206によって道路のレーンが認識された場合には、車両制御システムは、当該車両がレーンを逸脱しないように、車線逸脱警報(LDW)やレーンキープアシスト(LKA)といった当該車両の走行を制御する。また、フュージョン処理部206によって他の車両や歩行者、道路脇の塀や看板といった障害物が認識された場合には、車両制御システムは、当該車両が障害物との衝突を回避するように、レーンキープアシスト(LKA)や自動緊急ブレーキ(AEB)といった当該車両の走行を制御する。
[0077]
 なお、カメラ201用の物体検出部203は、フュージョン処理部206とともに、車両のECU(Electronic Control Unit)内に搭載されることが一般的である。他方、ミリ波レーダー用の信号処理部204及び物体検出部204は、ミリ波レーダー302のセンサユニット内に装備されることが一般的である。
[0078]
 ここで、カメラ201とミリ波レーダー202の捕捉範囲と解像度の相違について考察してみる。
[0079]
 図3には、同一の車両にカメラ201とミリ波レーダー202を搭載した様子を、カメラ201及びミリ波レーダー202の各々の視野角(FOV:Field Of View)301、302とともに示している。カメラ201は、ルームミラー又はルーフ付近に、光軸が前方を向くように設置されている。また、ミリ波レーダー202は、例えばフロントバンパー付近に、レーダーの照射方向が前方を向くように設置されている。また、カメラ201の視野角301に比べて、ミリ波レーダー202の視野角302は狭い。但し、図3では、カメラ201の視野角を40度としている。
[0080]
 図4及び図5には、カメラ201の撮像画像にミリ波レーダー202の捕捉範囲を重ね合わせて示している。但し、カメラ201の解像度は1920×1080画素とする。また、図4には、ミリ波レーダー202のロングレンジモードにおける捕捉範囲401を示し、図5には、ミリ波レーダー202のミドルレンジモードにおける捕捉範囲501を示している。各モードにおいて図示したミリ波レーダー202の捕捉範囲401、501はいずれも垂直方向1サンプル×水平方向100サンプルとする。
[0081]
 図4及び図5からも分かるように、ミリ波レーダー202は、カメラ201と比べて解像度が低い、したがって、ミリ波レーダー202を利用した物体検出部205の検出精度も低く、誤判定を招くことが懸念される。このため、車両制御システム200は、より解像度の高いカメラ201による物体検出結果とフュージョンすることが望ましい。なお、誤判定を防ぐために、物体検出部205が物体を検出する判定閾値を高く設定する必要がある。判定閾値を高く設定すれば、物体検出部205の判定結果が物体である尤度は高くなるが、検出数が少なくなる。
[0082]
 一方で、上記の表1にも示したように、カメラ201は夜間など暗所や悪天候時には性能が劣化するケースがあるのに対し、ミリ波レーダー202は輝度や天候などの条件に依らず性能を保つことができる。したがって、車両制御システム200は、カメラ201とミリ波レーダー202の検出結果をフュージョンして、互いの欠点を補い合いながら安定した性能を保つことが望ましい。
[0083]
 ところが、カメラ201を使用した物体検出において、物体検出部203がカメラ201で撮影した画像を毎フレーム全画面スキャンして物体検出しようとすると、毎フレーム全画面分の画像データをカメラ201から物体検出部203に転送しなければならない。カメラ201用の物体検出部203を車両側のECU内に搭載するという設計では、カメラ201とECU間のデータ転送量が厖大になってしまう。例えば、カメラ201の解像度が1920×1080画素で、RGBの色毎の階調が8ビットとすると、フレームレートが30fps(frame per second)の場合における転送レートは、以下に示す通り、14,929,920,000bps(bit per second)と厖大であり、ECU(物体検出部203)の処理量も膨大になる。
[0084]
[数1]


[0085]
 また、物体検出部203は、カメラ201の撮影画像を全画面スキャンする場合、物体が存在しない部分も検出処理を行うため、ECUの処理量が厖大になる。例えば、図4に示したような撮影画像の場合、自車両の前方を走行する先行車両のみを物体検出すれば十分であるとしても、背景や道路の両脇を含むすべての領域を処理してしまうので、処理量が厖大である。
[0086]
 これに対し、ミリ波レーダー202のセンサユニット(図2を参照のこと)からECUへは、物体検出部205が検出した物体毎の、物体の識別情報(物体ID)と、その物体の相対方向、奥行き、相対速度の情報が毎フレーム転送される。したがって、フレームレートが30fpsの場合におけるミリ波レーダー202のセンサユニットとECU間の転送レートは、以下に示す通り、n×1,920bpsであり(但し、nは検出した物体の個数)、カメラ201とECU間のデータ転送量と比べてはるかに少ない。
[0087]
[数2]


[0088]
 カメラ201とミリ波レーダー202のセンサユニットの各々からECUへのデータ転送量の相違について、図6を参照しながら説明する。
[0089]
 参照番号600は、カメラ201の撮影画像であり、物体検出部203が全画面スキャンする場合には画像600全体がECUに転送される。この撮影画像600中で必要なのは、障害物となり得る、自車両の前方を走行する先行車両601を含む領域のみであり、それ以外の領域は無駄である。
[0090]
 また、参照番号610は、ミリ波レーダー202の捕捉範囲である。カメラ201の撮像画像600とミリ波レーダー202の捕捉範囲610は、図3に示したように、対応がとれているものとする。参照番号611で示す、グレーの領域は、物体検出部205が検出した先行車両に相当する。したがって、物体検出部205(若しくは、ミリ波レーダー202のセンサユニット)からECUへ、検出領域611に関する物体IDと、その相対方向、奥行き、相対速度の情報が所定のフレームレートで転送されることになる。
[0091]
 要するに、カメラ201からECUに転送される情報量は多いが、無駄な情報を多く含む。カメラ201の撮影画像中で必要な情報は車両や障害物などであり、大半は無駄な情報である。これに対し、ミリ波レーダー202のセンサユニットに転送される情報量は少なく、物体の奥行や位置の検出精度は高いが、解像度が低いため物体のサイズに関しては検出精度が低い。
[0092]
 そこで、本明細書では、カメラ201からECUに転送される情報量を制限して、検出精度を保ちつつ、ECU(若しくは、物体検出部203)の処理負荷を軽減する物体検出システムについて、以下で提案する。
[0093]
 図7には、その提案に係る、カメラ201からECUに転送される情報量を制限するように構成された、物体検出システム700の機能的構成を模式的に示している。但し、図2に示した物体検出システム200と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。
[0094]
 カメラ201を含むカメラユニットは、転送制御部701を備えている。転送制御部701は、カメラ201と物体検出部203の間に介在し、カメラ201から物体検出部203へ転送する情報を制御する。具体的には、転送制御部701は、カメラ201の撮影画像のうち、物体検出部203で物体を検出すべき対象領域(ROI:Region Of Interest)を決定して、現像処理後の撮影画像からROIの画像データのみを切り出して、物体検出部203に出力する。カメラ201の撮影画像は、物体検出を主目的として使用され、ビューイング(ドライバーなどによる風景の観察)目的には使用されない。したがって、障害物などの物体が検出される可能性が極めて低い、ROI以外の画像データは不要である。
[0095]
 転送制御部701が撮影画像の中からROIを決定する方法はいくつか考えられる。例えば、物体検出部204がミリ波レーダー202を利用して検出した物体の位置に基づいて、ROIの位置及び大きさを決定することができる。あるいは、ミリ波レーダー202以外の外界認識用センサ(図示しない)が同じ車両に搭載されている場合には、そのセンサ出力に基づく物体検出結果を利用して、ROIの位置及び大きさを決定することができる。
[0096]
 また、転送制御部701は、地図情報や物体検出部203における最近の物体検出結果に基づいて、経験則や学習した結果などを利用してROIを決定するようにしてもよい。もちろん、車両のドライバーなどのユーザが音声入力などに基づいてROIの位置及び大きさに関する情報を指示するようにしてもよい。
[0097]
 転送制御部701が、後段の物体検出部203へ転送する画像をROIに制限することによって、カメラ201の撮影画像全体を転送する場合(上述)と比較して、カメラ201とECU間のデータ転送量を削減することができる。また、データ転送量が減少する分だけ、物体検出部203若しくはECUの処理量も削減することができる。
[0098]
 物体検出部203は、転送制御部701から受信した、ROIの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0099]
 また、レーダー信号処理部204は、ミリ波レーダー202による送信レーダーの原波形データと、ミリ波レーダー202がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ(角度)、速度を測定する。そして、物体検出部205は、レーダー信号処理部204による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0100]
 フュージョン処理部206は、物体検出部203がカメラ201の撮影画像から検出した物体の位置などの情報と、物体検出部205がミリ波レーダー202の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ(図示しない)が搭載されている場合には、フュージョン処理部206はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部206は、フュージョン処理して得られた物体判別結果を、車両制御システム207に出力する。
実施例 1
[0101]
 図8には、カメラ201以外の外界認識用センサの検出結果を利用してROIの位置及び大きさを決定して、カメラ201からECUに転送される情報量を制限するように構成された、物体検出システム800の機能的構成を模式的に示している。但し、図2に示した物体検出システム200と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。
[0102]
 レーダー信号処理部204は、ミリ波レーダー202による送信レーダーの原波形データと、ミリ波レーダー202がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。次いで、物体検出部205は、レーダー信号処理部204による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。そして、ミリ波レーダー202のセンサユニットからECUへ、物体検出部205が検出した物体毎の、物体IDと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。
[0103]
 転送制御部801は、ECUから、ミリ波レーダー202のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報を受信して、ROIの位置及び大きさを決定する。そして、転送制御部801は、現像処理後の撮影画像からROIの画像データのみを切り出して、ECU内の物体検出部203に出力する。
[0104]
 物体検出部203は、転送制御部801から受信した、ROIの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0105]
 フュージョン処理部206は、物体検出部203がカメラ201の撮影画像から検出した物体の位置などの情報と、物体検出部205がミリ波レーダー202の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ(図示しない)が搭載されている場合には、フュージョン処理部206はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部206は、フュージョン処理して得られた物体判別結果を、車両制御システム207に出力する。
[0106]
 図8に示すように、転送制御部801が、後段の物体検出部203へ転送する画像データをROIに制限することによって、カメラ201の撮影画像全体を転送する場合(上述)と比較して、カメラ201とECU間のデータ転送量を削減することができる。また、データ転送量が減少する分だけ、物体検出部203若しくはECUの処理量も削減することができる。
[0107]
 なお、図8に示した物体検出システム800の構成例では、転送制御部801は、ミリ波レーダー202の検出結果(物体の位置、速度、サイズなどの情報)をECU経由で受信する構成となっている。これは、ECUに対してカメラ201側のカメラユニットとミリ波レーダー202側にミリ波レーダーセンサユニットがそれぞれ個別にECUに接続され、カメラユニットとミリ波レーダーセンサユニット間の通信手段がないという設計の都合などにも依拠する。例えば、転送制御部801が物体検出部205から直接情報を受信するように、物体検出システム800を構成することも可能である。
[0108]
 図8に示した物体検出システム800において、転送制御部801が、ミリ波レーダー202の検出結果に基づいて、物体検出部203へ転送する画像をROIに制限する仕組みについて、図9を参照しながら説明する。
[0109]
 参照番号900は、カメラ201の撮影画像である。この撮影画像900中で必要なのは、参照番号901で示す、自車両の前方を走行する先行車両を含むROIのみであり、それ以外の領域は無駄である。
[0110]
 また、参照番号910は、ミリ波レーダー202の捕捉範囲である。カメラ201の撮像画像900とミリ波レーダー202の捕捉範囲910は、図3に示したように、対応がとれているものとする。参照番号911で示す、グレーの領域は、物体検出部205が検出した先行車両に相当する。
[0111]
 物体検出部205からECUへ、検出領域611に関する物体IDと、その相対方向、奥行き、相対速度の情報が所定のフレームレートで転送される。また、物体検出システム800では、ECU経由で転送制御部801へ、物体IDと、その物体の位置、速度、並びにサイズの情報が送信されることになる。
[0112]
 図9に示す例では、参照番号911で示した物体(物体ID:1)すなわち先行車両の位置、速度、サイズなどの情報が、ECUから転送制御部801へ送信される。そして、転送制御部801は、受信した位置、速度、サイズなどの情報に基づいて、ROIの位置及び大きさを決定する。転送制御部801は、現像処理後の撮影画像900からROI901の画像データのみを切り出して、物体検出部203に出力する。ここで、転送制御部801が決定したROI901のサイズが水平300画素×垂直200画素で、RGBの色毎の階調を8ビットとすると、フレームレートが30fpsの場合における転送レートは、以下に示す通り、4,320,000bpsとなり、撮像画像全体を転送する場合の14,929,920,000bpsと比較してはるかに少ない転送量で済む。
[0113]
[数3]


[0114]
 このように、転送制御部801が、後段の物体検出部203へ転送する画像をROIに制限することによって、カメラ201の撮影画像全体を転送する場合(上述)と比較して、カメラ201とECU間のデータ転送量を削減することができる。また、データ転送量が減少する分だけ、物体検出部203若しくはECUの処理量も削減することができる。
[0115]
 図2に示した物体検出システム200では、カメラ201から物体検出部203すなわちECUへ、毎フレーム全画面の画像データを転送するので、転送量が大きく、これに伴い物体検出部203での処理量も大きくなる。また、ミリ波レーダー202のセンサユニットにおいては、物体検出部205の判定閾値を高くして、ECUへは尤度の高い検出結果に限定して出力する必要があり、物体の検出数が少ない。これに対し、図8に示す物体検出システム800では、カメラ201の撮影画像のうちROIに限定してECUに画像データを転送するので、転送量が小さくなり、これに伴い物体検出部203での処理量が削減される。また、ミリ波レーダー202のセンサユニットにおいては、物体検出部205の判定閾値を低く設定して、ECUに出力する物体検出数を多くすることができる。これによって、尤度の低い物体もECUに通知されることになるが、フュージョン処理部206において、カメラ201の撮影画像を利用した尤度の高い検出結果とフュージョンすることにより、物体の検出数を増やし、且つ、検出した物体の尤度を上げることができる。
[0116]
 カメラ201並びにミリ波レーダー202をそれぞれ単体で使用して物体検出を行う場合、及び、物体検出システム800においてカメラ201及びミリ波レーダー202の検出結果をフュージョン処理して物体検出を行う場合の性能を比較した結果を表2にまとめておく。同表中で、○は高性能(良好な精度を持つ)、△は性能が低い(精度が十分でない)、×は検出不能であることを、それぞれ示している。
[0117]
[表2]


[0118]
 上記の表2から、物体検出システム800によれば、すべての項目にわたって高い物体検出性能を安定して得られることが分かる。
[0119]
 また、カメラ201とミリ波レーダー202を比較すると、ミリ波レーダー202は、解像度の点で劣るものの、悪天候や暗所などの悪条件下でも安定して検出性能を得ることができる。一方、カメラ201は、解像度の点では優れているが、データ量が大きく、且つ悪天候や暗所などの悪条件下では性能の低下が著しいという問題がある。
[0120]
 したがって、カメラ201の撮影条件に応じてミリ波レーダー202の物体検出部205における判定閾値を調整して、撮影条件の変動に拘わらずフュージョン処理部206において安定した物体判別性能を得られるようにしてもよい。
実施例 2
[0121]
 カメラ201の撮影条件が良好な場合には、物体検出部205の判定閾値を低くする。判定閾値を低くすると、物体検出部205は、尤度の低いものも物体として検出するので、検出数は多くなる。これによって、ミリ波レーダー202の検出結果に基づいてより多くの物体を検出するようになり、誤検出を含むが、物体検出部203はカメラ201の撮影画像に基づいてより多くの物体を検出し、且つ誤検出を取り除くことができる。
[0122]
 他方、カメラ201の撮影条件が良好でない場合には、物体検出部203で検出精度を補うことが難しくなるので、物体検出部205の判定閾値を高くする。判定閾値を高くすると、物体検出部205は、尤度の高いものしか物体として検出しなくなるので、検出数は少なくなる。これによって、ミリ波レーダー202の検出結果に基づく物体の誤検出を防いで、高い検出性能を保つようにする。また、カメラ201の撮影画像に基づく物体検出部203の物体検出結果を使用しないようにする。
[0123]
 図10には、カメラ201の撮影条件に応じてミリ波レーダー202の検出結果に基づく物体検出の判定閾値を調整する機構を備えた物体検出システム1000の機能的構成を模式的に示している。但し、物体検出システム1000は、図8に示した物体検出システム800と同様に、ミリ波レーダー202の検出結果を利用して撮影画像中のROIを決定してECUへの画像データの転送を制御する機構を備えているものとする。また、図10において、図2に示した物体検出システム200と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。
[0124]
 カメラ201による撮影画像は、現像処理された後、転送制御部1001並びに条件判定部1002に供給される。条件判定部1002は、撮影画像を解析して、例えば輝度コントラストなどに基づいて、撮影条件が良好であるかどうかを判定する。あるいは、条件判定部1002は、撮影画像には依らず、(データ取得部102内の)環境センサの検出結果などに基づいて撮影条件が良好であるかどうかを判定するようにしてもよい。あるいは、条件判定部1002は、インターネットなどを経由して外部から取得した天気予報などに基づいて、撮影条件が良好であるかどうかを判定するようにしてもよい。
[0125]
 レーダー信号処理部204は、ミリ波レーダー202による送信レーダーの原波形データと、ミリ波レーダー202がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。
[0126]
 物体検出部205は、レーダー信号処理部204による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。ここで、物体検出部205は、物体を判定する際に判定閾値を、条件判定部1002で判定された撮影条件に基づいて調整する。カメラ201の撮影条件が良好な場合には、物体検出部205の判定閾値を低くする。これによって、ミリ波レーダー202の検出結果に基づいてより多くの物体を検出するようになり、誤検出を含むが、物体検出部203はカメラ201の撮影画像に基づいてより多くの物体を検出し、且つ誤検出を取り除くことができる。他方、カメラ201の撮影条件が良好でない場合には、物体検出部205の判定閾値を高くする。これによって、ミリ波レーダー202の検出結果に基づく物体の誤検出を防いで、高い検出性能を保つようにする。そして、ミリ波レーダー202のセンサユニットからECUへ、物体検出部205が検出した物体毎の、物体IDと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。
[0127]
 また、転送制御部1001は、ECUを経由して、ミリ波レーダー202のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報を受信して、ROIの位置及び大きさを決定する。そして、転送制御部1001は、現像処理後の撮影画像からROIの画像データのみを切り出して、ECU内の物体検出部203に出力する。物体検出部203は、転送制御部1001から受信した、ROIの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0128]
 フュージョン処理部206は、物体検出部203がカメラ201の撮影画像から検出した物体の位置などの情報と、物体検出部205がミリ波レーダー202の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ(図示しない)が搭載されている場合には、フュージョン処理部206はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部206は、フュージョン処理して得られた物体判別結果を、車両制御システム207に出力する。
[0129]
 図2に示した物体検出システム200では、カメラ201から物体検出部203すなわちECUへ、毎フレーム全画面の画像データを転送するので、転送量が大きく、これに伴い物体検出部203での処理量も大きくなる。また、ミリ波レーダー202のセンサユニットにおいては、物体検出部205の判定閾値を高くして、ECUへは尤度の高い検出結果に限定して出力する必要があり、物体の検出数が少ない。これに対し、図10に示す物体検出システム1000では、カメラ201の撮影画像のうちROIに限定してECUに画像データを転送するので、転送量が小さくなり、これに伴い物体検出部203での処理量が削減される。また、カメラ201の撮影条件が良好なときには、ミリ波レーダー202のセンサユニットにおいては、物体検出部205の判定閾値を低く設定して、ECUに出力する物体検出数を多くすることができる。これによって、尤度の低い物体もECUに通知されることになるが、フュージョン処理部206において、カメラ201の撮影画像を利用した尤度の高い検出結果とフュージョンすることにより、尤度を上げることができる。また、カメラ201の撮影条件が良好でないときには、誤検出を防ぐために、ミリ波レーダー202のセンサユニットにおいては、物体検出部205の判定閾値を高くして、ECUへは尤度の高い検出結果に限定して出力する必要があり、物体の検出数が少なくなる。また、カメラ201の撮影条件が良好でないときには、フュージョン処理部206はカメラ201の撮影画像に基づく物体検出部203の物体検出結果を使用しないようにする。
実施例 3
[0130]
 ミリ波レーダー202は、照射した電波の反射波に基づいて物体を検出することを原理とする。したがって、金属製の大型のボディからなる車両からの反射波の強度は強いが、バイクなどの小型車両からの反射波の強度はやや弱くなり、人や動物など金属以外の物体からの反射波はさらに弱くなるという傾向がある。そこで、ミリ波レーダー202における検出信号の強度に基づいて、カメラ201の撮影画像から切り出すROIのサイズを決定するようにしてもよい。適切なROIサイズを決定することにより、物体の一部を欠損することなく撮影画像から物体の画像を欠損することなく切り出して転送することができ、且つ、無駄な画像部分まで切り出してデータ転送量や処理量が無駄に増加しないようにすることができる。
[0131]
 図11には、ROIのサイズを決定する機構を備えた物体検出システム1100の機能的構成を模式的に示している。但し、物体検出システム1100は、図8に示した物体検出システム800と同様に、ミリ波レーダー202の検出結果を利用して撮影画像中のROIを決定してECUへの画像データの転送を制御する機構を備えているものとする。また、図11において、図2に示した物体検出システム200と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。
[0132]
 レーダー信号処理部204は、ミリ波レーダー202による送信レーダーの原波形データと、ミリ波レーダー202がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。次いで、物体検出部205は、レーダー信号処理部204による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。そして、ミリ波レーダー202のセンサユニットからECUへ、物体検出部205が検出した物体毎の、物体IDと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。
[0133]
 ECU内では、サイズ判定部1102が、ミリ波レーダー202で検出した反射波の強度に基づいて、ROIのサイズを決定する。なお、サイズ判定部1102は、物体検出部205の出力を、そのまま後段のフュージョン処理部206に出力するものとする。転送制御部1101は、ECUから、ミリ波レーダー202のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報と、サイズ判定部1102で判定したROIのサイズの情報を受信する。そして、転送制御部1101は、現像処理後の撮影画像から、サイズ判定部1102で指定されたサイズからなるROIの画像データのみを切り出して、ECU内の物体検出部203に出力する。
[0134]
 物体検出部203は、転送制御部1101から受信した、ROIの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0135]
 フュージョン処理部206は、物体検出部203がカメラ201の撮影画像から検出した物体の位置などの情報と、物体検出部205がミリ波レーダー202の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ(図示しない)が搭載されている場合には、フュージョン処理部206はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部206は、フュージョン処理して得られた物体判別結果を、車両制御システム207に出力する。
[0136]
 図12には、サイズ判定部1102において、レーダーの反射強度に基づいてROIのサイズを決定するための処理手順をフローチャートの形式で示している。但し、ここでは説明の便宜上、レーダーの反射強度を0~9の10段階の強度レベルで扱うものとする。
[0137]
 サイズ判定部1102は、レーダーの反射強度のレベルをチェックする。そして、レーダーの反射強度のレベルが7以上であれば(ステップS1201のYes)、サイズ判定部1102は、物体検出部205で検出した物体は車両であると推定して、車両サイズのROIに決定し(ステップS1202)、車両サイズのROIを出力して、本処理を終了する。
[0138]
 また、サイズ判定部1102は、レーダーの反射強度のレベルが4~6の範囲であれば(ステップS1203のYes)、物体検出部205で検出した物体はバイクであると推定して、バイクサイズのROIに決定し(ステップS1204)、バイクサイズのROIを出力して、本処理を終了する。
[0139]
 また、サイズ判定部1102は、レーダーの反射強度のレベルが2~3の範囲であれば(ステップS1205のYes)、物体検出部205で検出した物体は歩行者であると推定して、歩行者サイズのROIに決定し(ステップS1206)、歩行者サイズのROIを出力して、本処理を終了する。
[0140]
 また、サイズ判定部1102は、レーダーの反射強度のレベルが1以下であれば(ステップS1207のYes)、その反射波はノイズであると判断して、ROIはないと決定して(ステップS1208)、本処理を終了する。
[0141]
 なお、ミリ波レーダー202ではなく、LiDARをカメラ201と併用する物体検出システムの場合には、例えば照射レーザーに対する反射光の強度に基づいてROIのサイズを決定するようにシステムを構築することもできる。
実施例 4
[0142]
 図8に示した物体検出システム800においては、物体検出部205がミリ波レーダー202の検出結果から多数の物体を検出した場合に、転送制御部801がすべての検出物体をROIとして抽出すると、物体検出部203すなわちECUへの転送量が大きくなるとともに、ECUでの処理量も増大してしまう。そこで、転送制御部801は、カメラ201の撮影画像から切り出して転送するROIの数に上限を設定して、ECUへの転送量やECUの処理量が所定以上に増大しないようにしてもよい。
[0143]
 また、重要なROIの画像データを優先的に転送し、重要でないROIの画像データの転送を抑制するようにすることが好ましい。車両に搭載して用いられる物体検出システムの場合、衝突回避の観点から、衝突する可能性がある障害物を含むROIは重要であるということができる。具体的には、正面に存在する物体は、車両が前方に進行すると衝突する可能性があるから、そのような物体を含むROIは重要である。また、相対速度が正の物体は自車両から遠ざかっていて衝突する可能性が低いが、相対速度が負の物体は自車両に接近していて衝突する可能性が高いので、後者の物体を含むROIは重要である。
[0144]
 図13には、ROIの優先度を判定して、優先度の高いROIを優先処理する機構を備えた物体検出システム1300の機能的構成を模式的に示している。物体検出システム1300は、さらにROIの上限数を設定する機能を備えていてもよい。但し、物体検出システム1300は、図8に示した物体検出システム800と同様に、ミリ波レーダー202の検出結果を利用して撮影画像中のROIを決定してECUへの画像データの転送を制御する機構を備えているものとする。また、図13において、図2に示した物体検出システム200と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。
[0145]
 レーダー信号処理部204は、ミリ波レーダー202による送信レーダーの原波形データと、ミリ波レーダー202がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。次いで、物体検出部205は、レーダー信号処理部204による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。そして、ミリ波レーダー202のセンサユニットからECUへ、物体検出部205が検出した物体毎の、物体IDと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。
[0146]
 ECU内では、優先度判定部1302が、物体検出部205が検出した各物体の優先度を判定する。ここでは、優先度判定部1302は、物体の位置と相対速度に基づいて、その優先度を判定する。正面に存在する物体は、車両が前方に進行すると衝突する可能性があるから、そのような物体の優先度は高い。また、相対速度が負の物体は自車両に接近していて衝突する可能性が高いので、そのような物体の優先度は高い。他方、正面以外で自車両の進路から外れた場所)に存在する物体や、相対速度が正で自車両から遠ざかっている物体は、衝突する可能性が低いので、そのような物体の優先度は低い。なお、優先度判定部1302は、物体検出部205の出力を、そのまま後段のフュージョン処理部206に出力するものとする。
[0147]
 そして、転送制御部1301は、ECUから、ミリ波レーダー202のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報と、優先度判定部1302で判定した物体毎の優先度の情報を受信する。そして、転送制御部1301は、現像処理後の撮影画像から、優先度の高い物体から選択してROIの画像データを切り出して、ECU内の物体検出部203に出力する。また、転送制御部1301は、転送可能なROIの上限数を設定しており、上限に到達すると画像データの転送を停止する。物体検出部203は、転送制御部1301から受信した、ROIの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部206に出力する。
[0148]
 なお、転送可能なROIの上限は全画面分の画像データに相当する。全画面分の画像データを送信してしまうと、カメラユニットからECUへの転送量やECUにおける物体検出の処理量は、画像データの転送制御を行わない場合と同じになってしまう。
[0149]
 フュージョン処理部206は、物体検出部203がカメラ201の撮影画像から検出した物体の位置などの情報と、物体検出部205がミリ波レーダー202の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ(図示しない)が搭載されている場合には、フュージョン処理部206はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部206は、フュージョン処理して得られた物体判別結果を、車両制御システム207に出力する。
[0150]
 図14には、優先度判定部1302において、物体検出部205が検出した各物体の優先度を判定するための処理手順をフローチャートの形式で示している。
[0151]
 優先度判定部1302は、まず、物体検出部205で検出した物体の位置をチェックする(ステップS1401)。そして、物体が正面に存在する場合には(ステップS1401のYes)、車両が前方に進行すると衝突する可能性がある。そこで、優先度判定部1302は、さらにその物体の相対速度をチェックする(ステップS1402)。そして、相対速度が負の場合には(ステップS1402のYes)、その物体は自車両に接近していて衝突する可能性が高いので、その物体に対して高い優先度を割り当てて(ステップS1403)、その優先度を出力して、本処理を終了する。他方、相対速度が正の場合には(ステップS1402のNo)、その物体は自車両から遠ざかっていて衝突する可能性がやや低いので、その物体に対して中程度の優先度を割り当て(ステップS1404)、その優先度を出力して、本処理を終了する。
[0152]
 物体検出部205で検出した物体が正面以外に存在する場合には(ステップS1405のYes)、正面に存在する場合よりも衝突する可能性が低い。優先度判定部1302は、さらにその物体の相対速度をチェックする(ステップS1406)。そして、相対速度が負の場合には(ステップS1406のYes)、その物体は自車両に接近していて衝突する可能性があるので、その物体に対して中程度優先度を割り当て(ステップS1407)、その優先度を出力して、本処理を終了する。他方、相対速度が正の場合には(ステップS1406のNo)、その物体は自車両から遠ざかっていて衝突する可能性がきわめて低いので、その物体に対して最も低い優先度を割り当て(ステップS1408)、その優先度を出力して、本処理を終了する。
[0153]
 なお、ECU側の物体検出部203内に複数の物体検出器を配置すれば、複数のROIを並列処理できるようになり、フレーム毎に処理可能なROIの数を上げることができるが、回路規模が増加する。したがって、上記のように、ミリ波レーダー202から検出された各物体に優先度を割り振って、物体検出部203では限られたハードウェア資源で優先度の高いROIから順に物体検出を実施することが好ましい。
[0154]
 また、ECU側の物体検出部203のハードウェアを拡張せず、カメラ201の撮像画像から抽出された各ROIの画像データを、ソフトウェアにより時分割処理するようにしてもよいが、フレーム内で処理可能な上限数以上のROIを処理することができない。したがって、上記のように、ミリ波レーダー202から検出された各物体に優先度を割り振って、物体検出部203では、フレーム毎の処理の上限数以内で、優先度の高いROIから順に物体検出を実施することが好ましい。

産業上の利用可能性

[0155]
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
[0156]
 本明細書では、車載センサのフュージョンに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間(家庭、オフィス、工場など)を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
[0157]
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
[0158]
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を、第2のセンサでセンシングした第2の情報に基づいて制御する制御部を備える、
情報処理装置。
(2)前記第1のセンサはカメラであり、
 前記制御部は、前記カメラによる撮像画像のうち物体検出に使用する対象領域を前記第2の情報に基づいて決定する、
上記(1)に記載の情報処理装置。
(3)前記制御部は、第2のセンサでセンシングした物体に関する前記第2の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(2)に記載の情報処理装置。
(4)前記第2のセンサはレーダーであり、
 前記制御部は、前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも1つの情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(2)又は(3)のいずれかに記載の情報処理装置。
(5)前記カメラの撮影条件を判定する条件判定部をさらに備え、
 前記制御部は、前記条件判定部の判定結果に基づいて設定された閾値を用いて前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(4)に記載の情報処理装置。
(6)前記制御部は、前記カメラの撮影条件が良好な場合に高く設定された閾値、又は前記カメラの撮影条件が良くない場合に低く設定された閾値のいずれかで前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(5)に記載の情報処理装置。
(7)前記レーダーが検出する反射波の強度に基づいて、前記対象領域のサイズを判定するサイズ判定部をさらに備え、
 前記制御部は、前記サイズ判定部が判定したサイズに基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(4)乃至(6)のいずれかに記載の情報処理装置。
(8)前記制御部は、前記対象領域の上限数を設定する、
上記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)前記レーダーにより検出された各物体の優先度を判定する優先度判定部をさらに備え、
 前記制御部は、前記優先度に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(4)乃至(8)のいずれかに記載の情報処理装置。
(1)前記優先度判定部は、前記レーダーにより検出された物体の位置及び相対速度に基づいて優先度を判定する、
上記(9)に記載の情報処理装置。
(11)前記優先度判定部は、前記情報処理装置の正面で検出された物体、又は、前記情報処理装置に対する相対速度が負となる物体に対して高い優先度を判定する、
上記(10)に記載の情報処理装置。
(12)第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を、第2のセンサでセンシングした第2の情報に基づいて制御する制御ステップを有する、
情報処理方法。
(13)第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を第2のセンサでセンシングした第2の情報に基づいて制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラム。
(14)撮像部と、
 他のセンサでセンシングした情報に基づいて、前記撮像部の撮影画像のうち物体検出に使用する対象領域を決定する制御部と、
を具備する撮像装置。
(14-1)前記他のセンサはレーダーであり、
 前記制御部は、前記レーダー前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも1つの情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記(14)に記載の撮像装置。
(15)第1のセンサでセンシングした第1の情報のうち、第2のセンサでセンシングした第2の情報に基づいて決定した情報量に基づいて物体を検出する第1の物体検出部と、
 前記第1の物体検出部による物体検出結果と前記第2のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
を具備する情報処理システム。
(16)移動手段と、
 第1のセンサと、
 第2のセンサと、
 第1のセンサでセンシングした第1の情報のうち、第2のセンサでセンシングした第2の情報に基づいて決定した情報量に基づいて物体を検出する第1の物体検出部と、
 前記第1の物体検出部による物体検出結果と前記第2のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
 前記判定部による判定結果に基づいて前記移動手段の駆動を制御する駆動制御部と、
を具備する移動体装置。

符号の説明

[0159]
 100…車両制御システム
 101…入力部、102…データ取得部、103…通信部
 104…車内機器、105…出力制御部、106…出力部
 107…駆動系制御部、108…駆動系システム
 109…ボディ系制御部、110…ボディ系システム、111記憶部
 112…自動運転制御部、121…通信ネットワーク
 131…検出部、132…自己位置推定部、133…状況分析部
 134…計画部、135…動作制御部
 141…車外情報検出部、142…車内情報検出部
 143…車両状態検出部
 151…マップ解析部、152…交通ルール認識部
 153…状況認識部、154…状況予測部
 161…ルート計画部、162…行動計画部、163…動作計画部
 171…緊急事態回避部、172…加減速制御部、173…方向制御部
 200…物体検出システム、201…カメラ、202…ミリ波レーダー
 203…物体検出部、204…ミリ波レーダー信号処理部
 205…物体検出部、206…フュージョン処理部
 207…車両制御システム
 700…物体検出システム、701…転送制御部
 800…物体検出システム、801…転送制御部
 1000…物体検出システム、1001…転送制御部
 1002…条件判定部
 1100…物体検出システム、1101…転送制御部
 1102…サイズ判定部
 1300…物体検出システム、1301…転送制御部
 1302…優先度判定部

請求の範囲

[請求項1]
 第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を、第2のセンサでセンシングした第2の情報に基づいて制御する制御部を備える、
情報処理装置。
[請求項2]
 前記第1のセンサはカメラであり、
 前記制御部は、前記カメラによる撮像画像のうち物体検出に使用する対象領域を前記第2の情報に基づいて決定する、
請求項1に記載の情報処理装置。
[請求項3]
 前記制御部は、第2のセンサでセンシングした物体に関する前記第2の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
請求項2に記載の情報処理装置。
[請求項4]
 前記第2のセンサはレーダーであり、
 前記制御部は、前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも1つの情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
請求項2に記載の情報処理装置。
[請求項5]
 前記カメラの撮影条件を判定する条件判定部をさらに備え、
 前記制御部は、前記条件判定部の判定結果に基づいて設定された閾値を用いて前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
請求項4に記載の情報処理装置。
[請求項6]
 前記制御部は、前記カメラの撮影条件が良好な場合に高く設定された閾値、又は前記カメラの撮影条件が良くない場合に低く設定された閾値のいずれかで前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
請求項5に記載の情報処理装置。
[請求項7]
 前記レーダーが検出する反射波の強度に基づいて、前記対象領域のサイズを判定するサイズ判定部をさらに備え、
 前記制御部は、前記サイズ判定部が判定したサイズに基づいて、前記撮影画像の中から前記対象領域を決定する、
請求項4に記載の情報処理装置。
[請求項8]
 前記制御部は、前記対象領域の上限数を設定する、
請求項1に記載の情報処理装置。
[請求項9]
 前記レーダーにより検出された各物体の優先度を判定する優先度判定部をさらに備え、
 前記制御部は、前記優先度に基づいて、前記撮影画像の中から前記対象領域を決定する、
請求項4に記載の情報処理装置。
[請求項10]
 前記優先度判定部は、前記レーダーにより検出された物体の位置及び相対速度に基づいて優先度を判定する、
請求項9に記載の情報処理装置。
[請求項11]
 前記優先度判定部は、前記情報処理装置の正面で検出された物体、又は、前記情報処理装置に対する相対速度が負となる物体に対して高い優先度を判定する、
請求項10に記載の情報処理装置。
[請求項12]
 第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を、第2のセンサでセンシングした第2の情報に基づいて制御する制御ステップを有する、
情報処理方法。
[請求項13]
 第1のセンサでセンシングした第1の情報のうち物体検出に使用する情報量を第2のセンサでセンシングした第2の情報に基づいて制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラム。
[請求項14]
 撮像部と、
 他のセンサでセンシングした情報に基づいて、前記撮像部の撮影画像のうち物体検出に使用する対象領域を決定する制御部と、
を具備する撮像装置。
[請求項15]
 第1のセンサでセンシングした第1の情報のうち、第2のセンサでセンシングした第2の情報に基づいて決定した情報量に基づいて物体を検出する第1の物体検出部と、
 前記第1の物体検出部による物体検出結果と前記第2のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
を具備する情報処理システム。
[請求項16]
 移動手段と、
 第1のセンサと、
 第2のセンサと、
 第1のセンサでセンシングした第1の情報のうち、第2のセンサでセンシングした第2の情報に基づいて決定した情報量に基づいて物体を検出する第1の物体検出部と、
 前記第1の物体検出部による物体検出結果と前記第2のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
 前記判定部による判定結果に基づいて前記移動手段の駆動を制御する駆動制御部と、
を具備する移動体装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]