処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020115896 - 情報処理装置および情報処理方法

Document

明 細 書

発明の名称 情報処理装置および情報処理方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005   0006  

課題を解決するための手段

0007  

発明の効果

0008   0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079  

符号の説明

0080  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 情報処理装置および情報処理方法

技術分野

[0001]
 本発明は、車両の情報を乗員に提示する情報処理装置および情報処理方法に関する。

背景技術

[0002]
 車両の情報を直接またはクラウドと連携して乗員に提示する技術が実現されている。乗員に提示する車両の情報は、連続データであるストリームデータと、離散データである非ストリームデータとに大別される。車両に設けられた装置またはクラウドは、ストリームデータおよび非ストリームデータのうちの少なくとも1つを用いて必要な情報を生成して乗員に提示している。従来、ストリームデータをデータ処理する技術が開示されている(例えば、特許文献1参照)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2013-63737号公報

発明の概要

発明が解決しようとする課題

[0004]
 有用な情報を乗員に提示するために、ストリームデータと非ストリームデータとを連携させる場合がある。一般的に、ストリームデータと非ストリームデータとでは特性が異なるため、ストリームデータおよび非ストリームデータを別々にデータ処理することがある。別々にデータ処理されたストリームデータと非ストリームデータとを車両に設けられた装置が連携させる際、ストリームデータと非ストリームデータとを同期させる必要があるなど、連携させるための処理が煩雑になるという問題がある。一方、別々にデータ処理されたストリームデータおよび非ストリームデータをクラウドが連携させる場合も同様に、連携させるための処理が煩雑になるという問題がある。特許文献1では、ストリームデータと非ストリームデータとを連携させる処理について言及していないため、上記のように連携させるための処理が煩雑になるという問題がある。
[0005]
 このように、従来では、ストリームデータと非ストリームデータとを連携させるための処理が煩雑となり、データ処理の負荷が大きくなるという問題があった。
[0006]
 本発明は、このような問題を解決するためになされたものであり、データ処理の負荷を軽減することが可能な情報処理装置および情報処理方法を提供することを目的とする。

課題を解決するための手段

[0007]
 上記の課題を解決するために、本発明による情報処理装置は、連続データであるストリームデータと、離散データである非ストリームデータとを取得するデータ取得部と、予め定められた変換定義に基づいて、データ取得部が取得した非ストリームデータのうちのストリームデータと連携させるべき非ストリームデータを、ストリームデータを模擬した模擬ストリームデータに変換するデータ変換部と、データ取得部が取得したストリームデータと、データ変換部が変換した模擬ストリームデータとに対して予め定められたストリーム処理を行うストリーム処理部と、データ取得部が取得した非ストリームデータのうちのストリームデータと連携させない非ストリームデータに対して予め定められた非ストリーム処理を行う非ストリーム処理部とを備える。

発明の効果

[0008]
 本発明によると、情報処理装置は、予め定められた変換定義に基づいて、データ取得部が取得した非ストリームデータのうちのストリームデータと連携させるべき非ストリームデータを、ストリームデータを模擬した模擬ストリームデータに変換するデータ変換部を備えるため、データ処理の負荷を軽減することが可能となる。
[0009]
 本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

図面の簡単な説明

[0010]
[図1] 本発明の実施の形態による情報処理装置の構成の一例を示すブロック図である。
[図2] 本発明の実施の形態による情報処理装置の構成の一例を示すブロック図である。
[図3] 本発明の実施の形態による変換定義の一例を示す図である。
[図4] 本発明の実施の形態による振分定義の一例を示す図である。
[図5] 本発明の実施の形態による処理フロー定義の一例を示す図である。
[図6] 本発明の実施の形態による情報処理装置のハードウェア構成の一例を示すブロック図である。
[図7] 本発明の実施の形態による情報処理装置の動作の一例を示すフローチャートである。
[図8] 本発明の実施の形態によるデータ変換部の動作の一例を示すフローチャートである。
[図9] 本発明の実施の形態によるデータ変換部の動作を説明するための図である。
[図10] 本発明の実施の形態によるデータ変換部の動作を説明するための図である。
[図11] 本発明の実施の形態によるデータ変換部の動作を説明するための図である。
[図12] 本発明の実施の形態によるデータ変換部の動作を説明するための図である。
[図13] 本発明の実施の形態によるデータ振分部の動作の一例を示すフローチャートである。

発明を実施するための形態

[0011]
 本発明の実施の形態について、図面に基づいて以下に説明する。
[0012]
 <実施の形態>
 <構成>
 図1は、本実施の形態による情報処理装置1の構成の一例を示すブロック図である。なお、図1では、本実施の形態による情報処理装置を構成する必要最小限の構成を示している。
[0013]
 図1に示すように、情報処理装置1は、データ取得部2と、データ変換部3と、ストリーム処理部4と、非ストリーム処理部5とを備えている。データ取得部2は、連続データであるストリームデータと、離散データである非ストリームデータとを取得する。
[0014]
 データ変換部3は、予め定められた変換定義に基づいて、データ取得部2が取得した非ストリームデータのうちのストリームデータと連携させるべき非ストリームデータを、ストリームデータを模擬した模擬ストリームデータに変換する。また、データ変換部3は、ストリームデータ、およびストリームデータと連携させない非ストリームデータについては変換処理を行わない。
[0015]
 ストリーム処理部4は、データ取得部2がストリームデータと、データ変換部3が変換した模擬ストリームデータとに対して予め定められたストリーム処理を行う。非ストリーム処理部5は、データ取得部2が取得した非ストリームデータのうちのストリームデータと連携させない非ストリームデータに対して予め定められた非ストリーム処理を行う。
[0016]
 次に、図1に示す情報処理装置1を含む情報処理装置の他の構成について説明する。
[0017]
 図2は、他の構成に係る情報処理装置6の構成の一例を示すブロック図である。
[0018]
 図2に示すように、情報処理装置6は、データ取得部2と、データ変換部3と、データ振分部7と、ストリーム処理部4と、非ストリーム処理部5と、データ利用部8と、変換定義9と、振分定義10とを備えている。なお、情報処理装置6は、車両に搭載されているものとする。例えば、情報処理装置6は、車両に搭載されたナビゲーション装置に含まれてもよく、情報処理装置6が単体で車両に搭載されてもよい。
[0019]
 データ取得部2は、カメラ11、センサ12、マイク13、タッチパネル14、およびECU(Electronic Control Unit)15から、ストリームデータと非ストリームデータとを取得する。ストリームデータとしては、例えば、カメラ11が撮影した映像データ、マイク13などから取得した音声データ、楽曲データ、LIDAR(Light Detection and Ranging)またはレーダなどから取得したリモートセンシングデータ、車両の状態を示す車両状態データ、および車両の乗員の身体的な状態を示す乗員状態データなどが挙げられる。リモートセンシングデータは、車両の周辺に存在する物体の有無を示すデータであり、車両と物体との距離、および車両に対して物体が存在している方向を含む。車両状態データは、車両の速度、加速度、および舵角などを含む。乗員状態データは、車両の乗員の脈拍値などを含む。ECU15は、車両の状態を検出するセンサからデータを取得する。
[0020]
 また、非ストリームデータとしては、車両の乗員の視線の動きを示す視線データ、乗員の操作状態を示す操作状態データ、時刻データ、GPS(Global Positioning System)などから取得した車両の現在位置を示す位置データなどが挙げられる。非ストリームデータは、一定周期で取得するデータでもよく、不定期に取得するデータでもよい。不定期に取得するデータとしては、例えば、車両の急ブレーキ時に検出した加速度データなどが挙げられる。ECU15は、時刻データを検出し、GPSなどから位置データを取得する。
[0021]
 カメラ11は、車両に設けられたカメラであり、例えば、車両の前方を撮影するカメラ、および車内を撮影するカメラなどが挙げられる。カメラ11が車内を撮影するカメラである場合、乗員の視線の動きを検出することができる。センサ12は、車両に設けられたセンサであり、例えばLIDARおよびレーダを含む。また、センサ12は、例えば、乗員の身体的な状態、および乗員の視線の動きなどを検出することができる。なお、乗員の視線の動きを検出するときは、カメラ11とセンサ12とを組み合わせてもよい。
[0022]
 マイク13は、乗員の音声による操作状態を検出することができる。タッチパネル14は、乗員のタッチ操作による操作状態を検出することができる。ECU15は、車両状態データ、時刻データ、および位置データを収集することができる。なお、ECU15は、センサ12が検出した情報を収集してもよい。
[0023]
 データ変換部3は、予め定められた変換定義9に基づいて、データ取得部2が取得した非ストリームデータのうちのストリームデータと連携させるべき非ストリームデータを、ストリームデータを模擬した模擬ストリームデータに変換する。また、データ変換部3は、ストリームデータ、およびストリームデータと連携させない非ストリームデータについては変換処理を行わない。ストリームデータと連携させるべき非ストリームデータとしては、例えば、ストリームデータである映像データに連携させる非ストリームデータである加速度データなどが挙げられる。
[0024]
 ここで、変換定義9について説明する。図3は、変換定義9の一例を示す図である。なお、変換定義9は、図示しない記憶部に記憶されているものとする。
[0025]
 図3に示すように、変換定義9は、「データ名」、「種別」、および「変換定義」で構成されている。「データ名」は、データ取得部2が取得した各種データの名称を示している。「種別」は、ストリーム処理または非ストリーム処理のいずれに用いるデータであるのかを示している。「変換定義」は、非ストリームデータをストリームデータに変換するときの変換方法を示している。
[0026]
 例えば、非ストリームデータである視線データは、非ストリーム処理に用いるデータである。従って、視線データは、データ変換部3によって模擬ストリームデータに変換されない。
[0027]
 非ストリームデータである操作状態データは、ストリーム処理に用いるデータである。従って、操作状態データは、データ変換部3によって模擬ストリームデータに変換される。例えば、データ変換部3は、操作状態データに対して「0で補完」することによって模擬ストリームデータに変換する。
[0028]
 ストリームデータである映像データは、ストリーム処理に用いるデータである。従って、映像データは、データ変換部3によって模擬ストリームデータに変換されない。
[0029]
 非ストリームデータである加速度データは、ストリーム処理に用いるデータである。従って、加速度データは、データ変換部3によって模擬ストリームデータに変換される。例えば、データ変換部3は、加速度データに対して「0で補完」することによって模擬ストリームデータに変換する。
[0030]
 なお、上記では、データ変換部3が、非ストリームデータに対して「0で補完」する場合について説明したが、これに限るものではない。例えば、データ変換部3は、データ取得部2が取得した非ストリームデータの近似値を補完してもよく、他の任意の値を補完してもよい。
[0031]
 データ変換部3は、連携させるストリームデータと時間的に同期するように、非ストリームを模擬ストリームに変換する。変換時のサンプリングレートは、変換定義9に含まれているものとする。
[0032]
 変換定義9は、例えばデータ利用部8およびHMI17を介して任意に変更可能である。
[0033]
 図2の説明に戻り、データ振分部7は、予め定められた振分定義10に基づいて、ストリームデータおよび模擬ストリームデータをストリーム処理部4に、非ストリームデータを非ストリーム処理部5にそれぞれ振り分ける。
[0034]
 ここで、振分定義10について説明する。図4は、振分定義10の一例を示す図である。なお、振分定義10は、図示しない記憶部に記憶されているものとする。
[0035]
 図4に示すように、振分定義10は、「データ名」および「種別」で構成されている。「データ名」は、データ取得部2が取得した各種データの名称を示している。「種別」は、ストリーム処理または非ストリーム処理のいずれに用いるデータであるのかを示している。
[0036]
 例えば、視線データは、非ストリーム処理に用いるデータである。従って、データ振分部7は、視線データを非ストリーム処理部5に振り分ける。
[0037]
 操作状態データ、映像データ、および加速度データは、ストリーム処理に用いるデータである。従って、データ振分部7は、操作状態データ、映像データ、および加速度データをストリーム処理部4に振り分ける。
[0038]
 なお、図4における「操作状態データ+映像データ+加速度データ」は、操作状態データ、映像データ、および加速度データが連携してストリーム処理部4でストリーム処理されることを示している。操作状態データおよび加速度データは、データ変換部3で模擬ストリームデータに変換されたデータである。すなわち、操作状態データおよび加速度データは、映像データと連携させるべきデータである。
[0039]
 振分定義10は、例えばデータ利用部8およびHMI17を介して任意に変更可能である。
[0040]
 図2の説明に戻り、ストリーム処理部4は、データ振分部7によって振り分けられたストリームデータおよび模擬ストリームデータに対して予め定められたストリーム処理を行う。具体的には、ストリーム処理部4は、予め定められた処理フロー定義に基づいて、ストリームデータおよび模擬ストリームデータに対してストリーム処理を行う。なお、ストリーム処理部4は、処理フロー定義を保持しているものとする。
[0041]
 ここで、処理フロー定義について説明する。図5は、処理フロー定義の一例を示す図であり、ドライブレコーダーサービスを実現するサービスアプリケーションを実行する処理フロー定義の一例を示している。サービスアプリケーションとは、車両の情報を直接またはクラウドと連携して乗員に提示するサービスを実現するソフトウェアのことをいう。ドライブレコーダーサービスは、乗員に提示するサービスの1つである。
[0042]
 図5に示すように、処理フロー定義は、「前方カメラ」、「加速度」、「同期」、「急ブレーキ」、「動画抽出」、および「送信」の各処理機能が順序付けられて構成されている。各処理機能は、ソフトウェアで構成されている。
[0043]
 「前方カメラ」は、車両前方を撮影したカメラから映像を取得する処理機能である。「加速度」は、車両に設けられた加速度センサから加速度データを取得する処理機能である。すなわち、「前方カメラ」および「加速度」は、映像および加速度データなどのデータソースを収集する処理機能である。なお、データソースを収集する処理機能としては、「前方カメラ」および「加速度」以外に、例えば、車内を撮影したカメラから映像を取得する処理機能である「車内カメラ」、運転者などの視線を検出する処理機能である「視線座標」、レーザ光を用いて車両の周辺に存在する歩行者および物体を検出する処理機能である「LIDAR」、およびミリ波を用いて車両の周辺に存在する歩行者および物体を検出する処理機能である「ミリ波」などが挙げられる。
[0044]
 「同期」は、複数のデータソースの同期を取る処理機能である。図5の例では、前方カメラから取得した映像と、加速度センサから取得した加速度データとの同期を取る。
[0045]
 「急ブレーキ」は、加速データに基づいて車両の急ブレーキを検出する処理機能であり、処理フロー定義に基づくデータ処理の結果を送信するトリガとなる。なお、当該トリガとなる処理機能としては、「急ブレーキ」以外に、例えば、運転者などの視線が予め定められた方向であることを検出する処理機能である「視線注目」、車両の急加速を検出する処理機能である「急加速」、および定周期でデータソースを送信する処理機能である「定周期」などが挙げられる。
[0046]
 「動画抽出」は、カメラが撮影した映像から一定時間内の動画を抽出する処理機能であり、処理フロー定義に基づくデータ処理の結果として送信すべき情報を生成する。データ処理の結果として送信すべき情報を生成する処理機能としては、「動画抽出」以外に、例えば、複数の画像から少なくとも1つの画像を抽出する「画像抽出」、地図を生成する「地図生成」、および運転のリスクに関する情報を生成する「リスク情報」などが挙げられる。
[0047]
 このように、ストリーム処理部4は、処理フロー定義に従って、予め定められたイベントが生じたときにストリームデータおよび模擬ストリームデータの一部を切り出す処理を行う。そして、ストリーム処理部4は、切り出したデータをデータ利用部8に送り、その他のデータを破棄する。具体的には、ストリーム処理部4は、予め定められた時点または予め定められた時間範囲におけるストリームデータおよび模擬ストリームデータの一部を切り出す。予め定められた時点としては、例えば、イベントが発生した時点、およびイベントが発生した時点よりも前または後の時点を含む。予め定められた時間範囲としては、例えば、イベントが発生した時点の前後数秒間、イベントが発生した時点までの数秒間、およびイベントが発生した時点から数秒間などを含む。
[0048]
 なお、ストリームデータが映像データである場合、ストリーム処理部4は、映像データの予め定められた領域を切り出す処理を行ってもよい。例えば、ストリーム処理部4は、センサ12が検出した運転者の視線データに基づいて、当該運転者の視線を基準とする予め定められた範囲に相当する映像の領域を切り出す処理を行ってもよい。この場合、非ストリームデータである視線データは、データ変換部3で模擬ストリームデータに変換され、ストリームデータである映像データに同期されているものとする。
[0049]
 処理フロー定義は、例えばデータ利用部8およびHMI17を介して任意に変更可能である。
[0050]
 図2の説明に戻り、非ストリーム処理部5は、データ振分部7によって振り分けられた非ストリームデータに対して予め定められた非ストリーム処理を行う。
[0051]
 データ利用部8は、ストリーム処理部4でストリーム処理された第1データと、非ストリーム処理部5で非ストリーム処理された第2データとを利用する。
[0052]
 具体的には、データ利用部8は、ストリーム処理部4でストリーム処理された第1データと、非ストリーム処理部5で非ストリーム処理された第2データとを、そのままクラウド16に送信する。クラウド16では、データ利用部8から取得した第1データおよび第2データを用いて車両の乗員に提示する情報を生成し、当該車両の乗員に提示する。この場合、クラウド16が生成した情報は、HMI17を介して乗員に提示してもよい。
[0053]
 また、データ利用部8は、ストリーム処理部4でストリーム処理された第1データと、非ストリーム処理部5で非ストリーム処理された第2データとを用いて車両の乗員に提示する情報を生成し、当該情報をHMI(Human Machine Interface)17を介して乗員に提示する。
[0054]
 なお、情報処理装置6は、クラウド16と連携してAI(Artificial Intelligence)アシスタントを実現することができる。この場合、データ利用部8は、AIアシスタントの実行に必要なデータをクラウド16に送信する。データ利用部8がクラウド16に送信するデータとしては、例えば、音声データと位置データとを組み合わせたデータ、すなわちストリーム処理部4でストリーム処理が行われた第1データが挙げられる。この場合、非ストリームデータである位置データは、データ変換部3で模擬ストリームデータに変換され、ストリームデータである音声データに同期しているものとする。クラウド16は、データ利用部8から取得したデータを用いてAIアシスタントの実行に必要な処理を行い、当該処理の結果を情報処理装置6に送信する。
[0055]
 図6は、情報処理装置6のハードウェア構成の一例を示すブロック図である。
[0056]
 情報処理装置6におけるデータ取得部2、データ変換部3、データ振分部7、ストリーム処理部4、非ストリーム処理部5、およびデータ利用部8の各機能は、処理回路により実現される。すなわち、情報処理装置6は、ストリームデータおよび非ストリームデータを取得し、ストリームデータと連携させるべき非ストリームデータを模擬ストリームデータに変換し、ストリームデータおよび模擬ストリームデータをストリーム処理部に、非ストリームデータを非ストリーム処理部5にそれぞれ振り分け、ストリームデータおよび模擬ストリームデータに対してストリーム処理を行い、非ストリームデータに対して非ストリーム処理を行い、ストリーム処理された第1データと非ストリーム処理された第2データとを利用するための処理回路を備える。処理回路は、メモリ19に格納されたプログラムを実行するプロセッサ18(中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)である。
[0057]
 情報処理装置6におけるデータ取得部2、データ変換部3、データ振分部7、ストリーム処理部4、非ストリーム処理部5、およびデータ利用部8の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ19に格納される。処理回路は、メモリ19に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、情報処理装置6は、ストリームデータおよび非ストリームデータを取得するステップ、ストリームデータと連携させるべき非ストリームデータを模擬ストリームデータに変換するステップ、ストリームデータおよび模擬ストリームデータをストリーム処理部に、非ストリームデータを非ストリーム処理部5にそれぞれ振り分けるステップ、ストリームデータおよび模擬ストリームデータに対してストリーム処理を行うステップ、非ストリームデータに対して非ストリーム処理を行うステップ、ストリーム処理された第1データと非ストリーム処理された第2データとを利用するステップが結果的に実行されることになるプログラムを格納するためのメモリ19を備える。また、これらのプログラムは、データ取得部2、データ変換部3、データ振分部7、ストリーム処理部4、非ストリーム処理部5、およびデータ利用部8の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、DVD等、または、今後使用されるあらゆる記憶媒体であってもよい。
[0058]
 <動作>
 図7は、情報処理装置6の動作の一例を示すフローチャートである。
[0059]
 ステップS11において、データ取得部2は、カメラ11、センサ12、マイク13、タッチパネル14、およびECU15から、ストリームデータおよび非ストリームデータを取得する。
[0060]
 ステップS12において、データ変換部3は、変換定義9に基づいて、データ取得部2が取得した非ストリームデータのうち、ストリームデータと連携させるべき非ストリームデータがあるか否かを判断する。ストリームデータと連携させるべき非ストリームデータがある場合は、ステップS13に移行する。ストリームデータと連携させるべき非ストリームデータがない場合は、ステップS14に移行する。
[0061]
 ステップS13において、データ変換部3は、変換定義9に基づいて、非ストリームデータを模擬ストリームデータに変換する。
[0062]
 ステップS14において、データ振分部7は、振分定義10に基づいて、ストリームデータおよび模擬ストリームデータをストリーム処理部4に、非ストリームデータを非ストリーム処理部5にそれぞれ振り分ける。
[0063]
 ステップS15において、ストリーム処理部4は、データ振分部7によって振り分けられたストリームデータおよび模擬ストリームデータに対して予め定められたストリーム処理を行う。
[0064]
 ステップS16において、非ストリーム処理部5は、データ振分部7によって振り分けられた非ストリームデータに対して予め定められた非ストリーム処理を行う。
[0065]
 なお、図7では、ストリーム処理を行った後に非ストリーム処理を行う場合を示しているが、これに限るものではなく、非ストリーム処理を行った後にストリーム処理を行ってもよい。
[0066]
 図8は、データ変換部3の動作の一例を示すフローチャートであり、図7のステップS13の詳細を示している。以下、データ変換部3は、データ取得部2が取得した図9に示す非ストリームデータである位置データを模擬ストリームデータに変換する場合について説明する。図9において、「時刻」は位置データを取得した年月日を示しており、例えば「20180622151933」は「2018年6月22日15時19分33秒」を表している。
[0067]
 ステップS21において、データ変換部3は、変換定義9に含まれるサンプリングレートに基づいた周期のデータ列を準備する。具体的には、図10に示すようなデータ列を準備する。サンプリングレートは、位置データと連携するストリームデータと時間的に同期するように設定されている。
[0068]
 ステップS22において、データ変換部3は、時刻情報に基づいて非ストリームデータをデータ列に書き込む。具体的には、図11に示すように、データ変換部3は、時刻情報に基づいて位置データをデータ列に書き込む。
[0069]
 ステップS23において、データ変換部3は、データ列に書き込まれていない箇所にデータを補完する。具体的には、図12に示すように、データ変換部3は、ステップS22で書き込んだ各位置データの近似値を補完する。なお、図12において、データ変換部3は、データ列に書き込まれていない箇所に0を補完してもよい。
[0070]
 ステップS24において、データ変換部3は、ステップS23で補完したデータ列を模擬ストリームデータとし、当該模擬ストリームデータを連携するストリームデータと同期させる。
[0071]
 図13は、データ振分部7の動作の一例を示すフローチャートであり、図7のステップS14の詳細を示している。
[0072]
 ステップS31において、データ振分部7は、振分定義10に基づいて、ストリームデータ、非ストリームデータ、および模擬ストリームデータのそれぞれをストリーム処理部4または非ストリーム処理部5のいずれに振り分けるのかを判断する。
[0073]
 ステップS32において、データ振分部7は、ストリームデータおよび模擬ストリームデータをストリーム処理部4に、非ストリームデータを非ストリーム処理部5にそれぞれ振り分ける。
[0074]
 <効果>
 従来、ストリームデータと非ストリームデータとを車両に設けられた装置またはクラウドで連携させる際、連携させるための処理が煩雑になってデータ処理の負荷がかかるという問題があった。一方、本実施の形態によれば、データ変換部3はデータ取得部2からリアルタイムにストリームデータおよび非ストリームデータを取得しており、取得する両データの時間的なずれはほぼない。従って、データ変換部3は、変換定義9に基づいて、非ストリームデータを模擬ストリームデータに変換し、ストリームデータと模擬ストリームデータとの同期処理を容易に行うことができる。その結果、従来よりもデータ処理の負荷を軽減することが可能となる。
[0075]
 本実施の形態によれば、データ変換部3は、全ての非ストリームデータを模擬ストリームに変換するのではなく、変換定義9に基づいて必要な非ストリームデータを模擬ストリームデータに変換している。従って、全ての非ストリームデータを模擬ストリームに変換する場合よりもデータ処理の負荷を軽減することができる。
[0076]
 本実施の形態によれば、データ振分部7は、振分定義10に基づいて、ストリームデータおよび模擬ストリームデータをストリーム処理部4に、非ストリームデータを非ストリーム処理部5にそれぞれ振り分ける。従って、ストリームデータ処理を行う必要がない非ストリームデータについては、当該非ストリームデータが必要な時に非ストリームデータ処理を行うことが可能となり、全体的なデータ処理の負荷を軽減することができる。
[0077]
 一般的に、車種によって車両に搭載されるハードウェア構成が異なり、当該ハードウェアから取得可能なデータも異なるため、サービスアプリケーションの開発者は車両ごとに搭載されるハードウェア構成を考慮してサービスアプリケーションを開発する必要があった。一方、本実施の形態によれば、ハードウェア構成の変更に合わせて変換定義9を変更すればよいため、サービスアプリケーションの開発者の負担を軽減することができる。
[0078]
 なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
[0079]
 本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

符号の説明

[0080]
 1 情報処理装置、2 データ取得部、3 データ変換部、4 ストリーム処理部、5 非ストリーム処理部、6 情報処理装置、7 データ振分部、8 データ利用部、9 変換定義、10 振分定義、11 カメラ、12 センサ、13 マイク、14 タッチパネル、15 ECU、16 クラウド、17 HMI、18 プロセッサ、19 メモリ。

請求の範囲

[請求項1]
 連続データであるストリームデータと、離散データである非ストリームデータとを取得するデータ取得部と、
 予め定められた変換定義に基づいて、前記データ取得部が取得した前記非ストリームデータのうちの前記ストリームデータと連携させるべき前記非ストリームデータを、ストリームデータを模擬した模擬ストリームデータに変換するデータ変換部と、
 前記データ取得部が取得した前記ストリームデータと、前記データ変換部が変換した前記模擬ストリームデータとに対して予め定められたストリーム処理を行うストリーム処理部と、
 前記データ取得部が取得した前記非ストリームデータのうちの前記ストリームデータと連携させない前記非ストリームデータに対して予め定められた非ストリーム処理を行う非ストリーム処理部と、
を備える、情報処理装置。
[請求項2]
 予め定められた振分定義に基づいて、前記ストリームデータおよび前記模擬ストリームデータを前記ストリーム処理部に、前記ストリームデータと連携させない前記非ストリームデータを前記非ストリーム処理部にそれぞれ振り分けるデータ振分部をさらに備える、請求項1に記載の情報処理装置。
[請求項3]
 前記データ変換部は、連携させるべき前記ストリームデータと時間的に同期するように、前記非ストリームデータを前記模擬ストリームデータに変換することを特徴とする、請求項1に記載の情報処理装置。
[請求項4]
 前記ストリーム処理部は、予め定められたイベントが生じたとき、前記ストリームデータおよび前記模擬ストリームデータの一部を切り出すことを特徴とする、請求項1に記載の情報処理装置。
[請求項5]
 前記ストリーム処理部は、予め定められた時点または予め定められた時間範囲における前記ストリームデータおよび前記模擬ストリームデータの一部を切り出すことを特徴とする、請求項4に記載の情報処理装置。
[請求項6]
 前記ストリームデータは、映像データを含み、
 前記ストリーム処理部は、前記映像データの予め定められた領域を切り出すことを特徴とする、請求項4に記載の情報処理装置。
[請求項7]
 前記ストリームデータは、映像データ、音声データ、楽曲データ、車両の周辺に存在する物体の有無を示すリモートセンシングデータ、前記車両の状態を示す車両状態データ、および前記車両の乗員の身体的な状態を示す乗員状態データのうちの少なくとも1つを含むことを特徴とする、請求項1に記載の情報処理装置。
[請求項8]
 前記非ストリームデータは、車両の乗員の視線の動きを示す視線データ、前記乗員の操作状態を示す操作状態データ、および現在の時刻を示す時刻データのうちの少なくも1つを含むことを特徴とする、請求項1に記載の情報処理装置。
[請求項9]
 前記ストリーム処理部は、予め定められた処理フロー定義に従って前記ストリーム処理を実行することを特徴とする、請求項1に記載の情報処理装置。
[請求項10]
 前記変換定義は、変更可能であることを特徴とする、請求項1に記載の情報処理装置。
[請求項11]
 前記振分定義は、変更可能であることを特徴とする、請求項2に記載の情報処理装置。
[請求項12]
 前記処理フロー定義は、変更可能であることを特徴とする、請求項9に記載の情報処理装置。
[請求項13]
 前記ストリーム処理部が前記ストリーム処理を行った第1データと、前記非ストリーム処理部が前記非ストリーム処理を行った第2データとを利用するデータ利用部をさらに備え、
 前記データ利用部は、前記第1データおよび前記第2データを外部のクラウドに送信することを特徴とする、請求項1に記載の情報処理装置。
[請求項14]
 連続データであるストリームデータと、離散データである非ストリームデータとを取得し、
 予め定められた変換定義に基づいて、取得した前記非ストリームデータのうちの前記ストリームデータと連携させるべき前記非ストリームデータを、ストリームデータを模擬した模擬ストリームデータに変換し、
 取得した前記ストリームデータと、変換した前記模擬ストリームデータとに対して予め定められたストリーム処理を行い、
 取得した前記非ストリームデータのうちの前記ストリームデータと連携させない前記非ストリームデータに対して予め定められた非ストリーム処理を行う、情報処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]