Algum conteúdo deste aplicativo está indisponível no momento.
Se esta situação persistir, por favor entre em contato conoscoFale conosco & Contato
1. (WO2018225449) VIDEO TRANSMISSION DEVICE AND VIDEO RECEPTION DEVICE
Document

明 細 書

発明の名称 映像送信装置および映像受信装置

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

0005   0006   0007   0008   0009   0010   0011   0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

明 細 書

発明の名称 : 映像送信装置および映像受信装置

技術分野

[0001]
 本開示は、映像送信装置および映像受信装置に関する。

背景技術

[0002]
 近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
[0003]
 従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。なお、撮影した画像から一部の画像を切り出すことについては、例えば、下記の特許文献に記載されている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2016-201756号公報
特許文献2 : 特開2014-39219号公報
特許文献3 : 特開2013-164834号公報
特許文献4 : 特開2012-209831号公報

発明の概要

[0005]
 ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2、MIPI CSI-3などが用いられることがある。また、アプリケーションプロセッサからディスプレイへの伝送に用いられる方式として、MIPI DSI(Display Serial Interface)などが用いられることがある。これらの方式を用いて、撮像画像から切り出した一部の領域(ROI(Region Of Interest))を伝送しようとした場合、様々な制約により、ROIの伝送が容易ではないことがある。従って、様々な制約の下でも、ROIの伝送を行うことの可能な映像送信装置および映像受信装置を提供することが望ましい。
[0006]
 本開示の一実施形態に係る第1の映像送信装置は、画像におけるROIの画像データをLongPacketのPayloadDataで送出するとともに、ROIについての情報をEmbeddedDataで送出する送信部を備えている。LongPacketのPayloadDataとは、装置間で伝送される主要なデータ(アプリケーションデータ)を指している。EmbeddedDataとは、画像データフレームのヘッダもしくはフッタに埋め込むことの可能な追加情報を指している。
[0007]
 本開示の一実施形態に係る第1の映像送信装置では、画像におけるROIの画像データがLongPacketのPayloadDataで送出されるとともに、ROIについての情報がEmbeddedDataで送出される。これにより、映像送信装置から送出された伝送信号を受信した装置において、伝送信号から、ROIの画像データを容易に抽出することができる。
[0008]
 本開示の一実施形態に係る第2の映像送信装置は、画像における各ROIについての情報に基づいて、2以上のROI同士が重なり合う重なり領域を検出する検出部を備えている。第2の映像送信装置は、さらに、画像における複数のROIの第1画像データにおいて重なり領域の第2画像データが重複して含まれないように、複数の第1画像データから第2画像データを割愛したものである複数の第3画像データをLongPacketのPayloadDataで送出する送信部を備えている。この送信部は、さらに、画像における各ROIについての情報をEmbeddedDataで送出する。
[0009]
 本開示の一実施形態に係る第2の映像送信装置では、複数の第3画像データがLongPacketのPayloadDataで送出されるとともに、画像における各ROIについての情報がEmbeddedDataで送出される。これにより、映像送信装置から送出された伝送信号を受信した装置において、伝送信号から、ROIの画像データを容易に抽出することができる。
[0010]
 本開示の一実施形態に係る映像受信装置は、画像におけるROIの画像データをLongPacketのPayloadDataに含むとともに、ROIについての情報をEmbeddedDataに含む伝送信号を受信する受信部を備えている。この映像受信装置は、さらに、受信部で受信した伝送信号に含まれるEmbeddedDataから、ROIについての情報を抽出するとともに、抽出した情報に基づいて、受信部で受信した伝送信号に含まれるLongPacketのPayloadDataから、ROIの画像データを抽出する情報処理部を備えている。
[0011]
 本開示の一実施形態に係る映像受信装置では、受信部で受信した伝送信号に含まれるEmbeddedDataから、ROIについての情報が抽出されるとともに、抽出したROIについての情報に基づいて、受信部で受信した伝送信号に含まれるLongPacketのPayloadDataから、ROIの画像データが抽出される。これにより、伝送信号から、ROIの画像データを容易に抽出することができる。
[0012]
 本開示の一実施形態に係る第1および第2の映像送信装置ならびに映像受信装置によれば、映像送信装置から送出された伝送信号を受信した装置において、伝送信号から、ROIの画像データを容易に抽出することができるようにしたので、様々な制約の下でも、ROIの伝送を行うことができる。なお、本開示の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。

図面の簡単な説明

[0013]
[図1] 映像伝送システムの概略構成例を表す図である。
[図2] 図1の映像送信装置の概略構成例を表す図である。
[図3] 撮像画像に2つのROIが含まれているときの、伝送データの生成手順の一例を表す図である。
[図4] パケットヘッダの構成例を表す図である。
[図5] 伝送データの構成例を表す図である。
[図6] 伝送データの構成例を表す図である。
[図7] LongPacketのPayloadDataの構成例を表す図である。
[図8] 図1の映像受信装置の概略構成例を表す図である。
[図9] 伝送データに2つの画像が含まれているときの、撮像画像に含まれる2つのROI画像の生成手順の一例を表す図である。
[図10] 図1の映像受信装置の概略構成の一変形例を表す図である。
[図11] 1ラインの構成の一変形例を表す図である。
[図12] 1ラインの構成の一変形例を表す図である。
[図13] 図1の映像送信装置の概略構成の一変形例を表す図である。
[図14] 伝送データの構成例を表す図である。

発明を実施するための形態

[0014]
 以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
[0015]
<実施の形態>
[構成]
 近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内または異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、MIPIアライアンスが策定したC-PHY規格やD-PHY規格といった高速インタフェース規格の標準化が進められている。C-PHY規格やD-PHY規格は、通信プロトコルの物理層(physical layer:PHY)のインタフェース規格である。また、C-PHY規格やD-PHY規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのDSIや、カメラデバイス向けのCSIが存在する。
[0016]
 本開示の一実施形態に係る映像伝送システム1は、MIPI CSI-2規格、MIPI CSI-3規格、もしくは、MIPI DSI規格で信号を送受信するシステムである。図1は、本実施の形態に係る映像伝送システム1の概要を表したものである。映像伝送システム1は、データ信号、クロック信号および制御信号の伝送に適用されるものであり、映像送信装置100および映像受信装置200を備えている。映像伝送システム1は、映像送信装置100と映像受信装置200とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンDLと、クロック信号を伝送するクロックレーンCLと、制御信号を伝送するカメラ制御インタフェースCCIとを備えている。図1には、1つのデータレーンDLが設けられている例が示されているが、複数のデータレーンDLが設けられていてもよい。カメラ制御インタフェースCCIは、I 2C(Inter-Integrated Circuit)規格と互換性を有する双方向制御インタフェースである。
[0017]
 映像送信装置100は、MIPI CSI-2規格、MIPI CSI-3規格、もしくは、MIPI DSI規格で信号を送出する装置である。CSIトランスミッタ100Aと、CCIスレーブ100Bとを有している。映像受信装置200は、CSIレシーバ200Aと、CCIマスター200Bとを有している。クロックレーンCLにおいて、CSIトランスミッタ100AとCSIレシーバ200Aとの間は、クロック信号線で接続されている。データレーンDLにおいて、CSIトランスミッタ100AとCSIレシーバ200Aとの間は、クロック信号線で接続されている。カメラ制御インタフェースCCIにおいて、CCIスレーブ100BとCCIマスター200Bとの間は、制御信号線で接続されている。
[0018]
 CSIトランスミッタ100Aは、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。CSIトランスミッタ100Aは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。CSIレシーバ200Aは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。CSIレシーバ200Aは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。
[0019]
(映像送信装置100)
 図2は、映像送信装置100の構成の一例を表したものである。映像送信装置100は、CSIトランスミッタ100Aの一具体例に相当する。映像送信装置100は、例えば、撮像部110、画像処理部120,130および送信部140を備えている。映像送信装置100は、撮像部110で得られた撮像画像111に対して所定の処理を行うことにより生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送信する。図3は、伝送データ147Aの生成手順の一例したものである。
[0020]
 撮像部110は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部110は、例えば、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含んで構成されている。撮像部110は、アナログ-デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Yおよび色差成分Cb,Crで表現するYCbCr形式であってもよいし、RGB形式などであってもよい。撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。
[0021]
 画像処理部120は、撮像部110から入力された撮像画像111に対して所定の処理を行う回路である。画像処理部120は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う。これにより、画像処理部120は、種々のデータ(120A,120B,120C)を生成し、送信部140に出力する。画像処理部130は、撮像部110から入力された撮像画像111に対して所定の処理を行う回路である。画像処理部130は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う。これにより、画像処理部130は、画像データ130Aを生成し、送信部140に出力する。
[0022]
 画像処理部130は、例えば、エンコード部131を有している。エンコード部131は、撮像画像111をエンコードして圧縮像データ130Aを生成する。画像処理部130は、例えば、圧縮像データ130Aの形式として、JPEG(Joint Photographic Experts Group)規格に準拠した圧縮形式等により撮像画像111を圧縮する。
[0023]
 画像処理部120は、例えば、ROI切り出し部121、ROI解析部122、重なり検出部123、優先度設定部124、エンコード部125および画像処理制御部126を有している。
[0024]
 ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる撮影対象の1または複数の物体を特定し、特定した物体ごとに注目領域ROIを設定する。注目領域ROIは、例えば、特定した物体を含む方形状の領域である。ROI切り出し部121は、撮像画像111から、各注目領域ROIの画像(例えば図3中のROI画像112)を切り出す。ROI切り出し部121は、さらに、設定した注目領域ROIごとに、識別子として領域番号を付与する。ROI切り出し部121は、例えば、撮像画像111において、2つの注目領域ROIを設定した場合には、一方の注目領域ROI(例えば図3中の注目領域ROI1)に対して、領域番号1を付与し、他方の注目領域ROI(例えば図3中の注目領域ROI2)に対して、領域番号2を付与する。ROI切り出し部121は、例えば、付与した識別子(領域番号)を記憶部に格納する。ROI切り出し部121は、例えば、撮像画像111から切り出した各ROI画像112を記憶部に格納する。ROI切り出し部121は、さらに、例えば、各注目領域ROIに付与した識別子(領域番号)を、ROI画像112と関連づけて、記憶部に格納する。
[0025]
 ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。位置情報113は、例えば、注目領域ROIの左上端座標(Xa,Ya)と、注目領域ROIのX軸方向の長さと、注目領域ROIのY軸方向の長さとによって構成されている。注目領域ROIのX軸方向の長さは、例えば、注目領域ROIのX軸方向の物理領域長さXLaである。注目領域ROIのY軸方向の長さは、例えば、注目領域ROIのY軸方向の物理領域長さYLaである。物理領域長さとは、注目領域ROIの物理的な長さ(データ長)を指している。位置情報113において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。ROI解析部122は、例えば、導出した位置情報113を記憶部に格納する。ROI解析部122は、例えば、注目領域ROIに対して付与された識別子(領域番号)と関連づけて、記憶部に格納する。
[0026]
 ROI解析部122は、注目領域ROIごとに、位置情報113として、さらに、例えば、注目領域ROIのX軸方向の出力領域長さXLcや、注目領域ROIのY軸方向の出力領域長さYLcを導出してもよい。出力領域長さとは、例えば、注目領域ROIに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ROIの物理的な長さ(データ長)である。ROI解析部122は、例えば、注目領域ROIごとに、位置情報113の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、AD(Analog-Digital)語長、画像フォーマットなどを導出し、記憶部に格納してもよい。
[0027]
 センシングインフォメーションとは、注目領域ROIに含まれる物体についての演算内容や、ROI画像112に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ROIの露光時間を指している。ゲイン情報とは、注目領域ROIのゲイン情報を指している。AD語長とは、注目領域ROI内でAD変換された1画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ROIの画像のフォーマットを指している。ROI解析部122は、例えば、撮像画像111に含まれる注目領域ROIの数(ROI数)を導出し、記憶部に格納してもよい。
[0028]
 重なり検出部123は、撮像画像111において、撮影対象の複数の物体が特定されたときには、撮像画像111における複数の注目領域ROIの位置情報113に基づいて、2以上の注目領域ROI同士が重なり合う重なり領域(ROO(Region Of Overlap))を検出する。つまり、重なり検出部123は、重なり領域ROOごとに、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、例えば、導出した位置情報114を記憶部に格納する。重なり検出部123は、例えば、導出した位置情報114を重なり領域ROOと対応付けて、記憶部に格納する。重なり領域ROOは、例えば、互いに重なり合う2以上の注目領域ROIにおいて最も小さな注目領域ROIと同じ大きさか、それよりも小さな方形状の領域である。位置情報114は、例えば、重なり領域ROOの左上端座標(Xb,Yb)と、重なり領域ROOのX軸方向の長さと、重なり領域ROOのY軸方向の長さとによって構成されている。重なり領域ROOのX軸方向の長さは、例えば、物理領域長さXLbである。重なり領域ROOのY軸方向の長さは、例えば、物理領域長さYLbである。位置情報114において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。
[0029]
 優先度設定部124は、撮像画像111において、注目領域ROIごとに優先度115を付与する。優先度設定部124は、例えば、付与した優先度115を記憶部に格納する。優先度設定部124は、例えば、付与した優先度115を注目領域ROIと対応付けて、記憶部に格納する。優先度設定部124は、注目領域ROIごとに付与されている領域番号とは別に、優先度115を注目領域ROIごとに付与してもよいし、注目領域ROIごとに付与されている領域番号を、優先度115の代わりとしてもよい。優先度設定部124は、例えば、優先度115を注目領域ROIと関連付けて、記憶部に格納してもよいし、注目領域ROIごとに付与されている領域番号を注目領域ROIと関連付けて、記憶部に格納してもよい。
[0030]
 優先度115は、各注目領域ROIの識別子であり、撮像画像111における複数の注目領域ROIのいずれに対して重なり領域ROOの割愛が行われたかを判別することの可能な判別情報である。優先度設定部124は、例えば、それぞれが重なり領域ROOを含む2つの注目領域ROIにおいて、一方の注目領域ROIに対して優先度115として1を付与し、他方の注目領域ROIに対して優先度115として2を付与する。この場合には、後述の伝送画像116の作成に際して、優先度115の数値が大きい方の注目領域ROIに対して、重なり領域ROOの割愛が行われる。なお、優先度設定部124は、注目領域ROIごとに付与されている領域番号と同じ番号を、注目領域ROIに対して優先度115として付与してもよい。優先度設定部124は、例えば、各注目領域ROIに付与した優先度115を、ROI画像112と関連づけて、記憶部に格納する。
[0031]
 エンコード部125は、各伝送画像116を、エンコードして圧縮像データ120Aを生成する。エンコード部125は、例えば、圧縮像データ120Aの形式として、JPEG規格に準拠した圧縮形式等により各伝送画像116を圧縮する。エンコード部125は、上記の圧縮処理を行う前に、各伝送画像116を生成する。エンコード部125は、撮像画像111から得られた複数のROI画像112において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた複数のROI画像112から画像118を割愛したものである複数の伝送画像116を生成する。
[0032]
 エンコード部125は、例えば、注目領域ROIごとに付与されている優先度115に基づいて、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定する。なお、エンコード部125は、例えば、注目領域ROIごとに付与されている領域番号を優先度115として用いることにより、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定してもよい。エンコード部125は、上記のようにして特定されたROI画像112において画像118を割愛したものを、伝送画像116(例えば図3の伝送画像116a2)とする。エンコード部125は、重なり領域ROOを含まないROI画像112や、上記の決定により画像118が割愛されないこととなったROI画像112については、ROI画像112そのものを伝送画像116(例えば図3の伝送画像116a1)とする。
[0033]
 画像処理制御部126は、ROI情報120Bおよびフレーム情報120Cを生成し、送信部140に送信する。ROI情報120Bは、例えば、各位置情報113を含んでいる。ROI情報120Bは、さらに、例えば、各注目領域ROIのデータタイプ、撮像画像111に含まれる注目領域ROIの数、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットのうち少なくとも1つを含んでいる。フレーム情報120Cは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ROIのデータタイプ、ラインごとのPayload長などを含んでいる。データタイプには、例えば、YUVデータ、RGBデータまたはRAWデータなどが含まれている。データタイプには、さらに、例えば、ROI形式のデータまたは通常形式のデータなどが含まれている。Payload長は、例えば、LongPacketのPayloadに含まれるピクセル数であり、例えば、注目領域ROIごとのピクセル数である。ここで、Payloadとは、情報送信装置100および情報受信装置200の間で伝送される主要なデータ(アプリケーションデータ)を指している。LongPacketとは、パケットヘッドPHとパケットフッタPFとの間に配置されるパケットを指している。
[0034]
 送信部140は、画像処理部120,130から入力された種々のデータ(120A,120B,120C,130A)に基づいて伝送データ147Aを生成し、送出する回路である。送信部140は、撮像画像111における各注目領域ROIについてのROI情報120BをEmbeddedDataで送出する。送信部140は、さらに、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、各注目領域ROIの画像データ(圧縮像データ120A)をLongPacketのPayloadDataで送出する。このとき、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する。また、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を画像データフレームによって送出するとともに、各注目領域ROIについてのROI情報120Bを画像データフレームのヘッダで送出する。送信部140は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、通常の画像データ(圧縮像データ130A)をLongPacketのPayloadDataで送出する。
[0035]
 送信部140は、例えば、LINK制御部141、ECC生成部142、PH生成部143、EBDバッファ144、ROIデータバッファ145、通常画像データバッファ146および合成部147を有している。LINK制御部141、ECC生成部142、PH生成部143、EBDバッファ144およびROIデータバッファ145は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、合成部147への出力を行う。通常画像データバッファ146は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、合成部147への出力を行う。
[0036]
 なお、ROIデータバッファ145が、通常画像データバッファ146を兼ねていてもよい。この場合、送信部140は、ROIデータバッファ145およびROIデータバッファ145のそれぞれの出力端と、合成部147の入力端との間に、ROIデータバッファ145およびROIデータバッファ145のいずれかの出力を選択するセレクタを有していてもよい。
[0037]
 LINK制御部141は、例えば、フレーム情報120CをラインごとにECC生成部142およびPH生成部143に出力する。ECC生成部142は、例えば、フレーム情報120Cにおける1ラインのデータ(例えば、バーチャルチャネルの番号、各注目領域ROIのデータタイプ、ラインごとのPayload長など)に基づいて、そのラインの誤り訂正符号を生成する。ECC生成部142は、例えば、生成した誤り訂正符号をPH生成部143に出力する。PH生成部143は、例えば、フレーム情報120Cと、ECC生成部142で生成された誤り訂正符号とを用いて、1ラインごとにパケットヘッダPHを生成する。このとき、パケットヘッダPHは、例えば、図4に示したように、LongPacketのPayloadDataのパケットヘッダである。このパケットヘッダPHには、例えば、DI、WCおよびECCが含まれている。WCは、情報受信装置200に対してパケットの終わりをワード数で示すための領域である。WCには、例えば、Payload長が含まれており、例えば、注目領域ROIごとのピクセル数が含まれている。ECCは、ビットエラーを修正するための値を格納する領域である。ECCには、誤り訂正符号が含まれている。DIは、データ識別子を格納する領域である。DIには、VC(バーチャルチャネル)の番号およびDataType(各注目領域ROIのデータタイプ)が含まれている。VC(バーチャルチャネル)は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。PH生成部143は、生成したパケットヘッダPHを合成部147に出力する。
[0038]
 EBDバッファ144は、ROI情報120Bを一次的に格納し、所定のタイミングでROI情報120BをEmbeddedDataとして合成部147に出力する。EmbeddedDataとは、画像データフレーム(後述の図5参照)のヘッダもしくはフッタに埋め込むことの可能な追加情報を指している。EmbeddedDataには、例えば、ROI情報120Bが含まれている。
[0039]
 ROIデータバッファ145は、圧縮像データ120Aを一次的に格納し、所定のタイミングで圧縮像データ120AをLongPacketのPayloadDataとして合成部147に出力する。ROIデータバッファ145は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ120AをLongPacketのPayloadDataとして合成部147に出力する。通常画像データバッファ146は、圧縮像データ130Aを一次的に格納し、所定のタイミングで圧縮像データ130AをLongPacketのPayloadDataとして合成部147に出力する。通常画像データバッファ146は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ130AをLongPacketのPayloadDataとして合成部147に出力する。
[0040]
 合成部147は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力されたデータ(圧縮像データ130A)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。一方、合成部147は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力された各種データ(パケットヘッダPH、ROI情報120B、および圧縮像データ120A)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。つまり、合成部147は、DataType(各注目領域ROIのデータタイプ)をLongPacketのPayloadDataのパケットヘッダPHに含めて送出する。また、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する。
[0041]
 伝送データ147Aは、例えば、図5に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、およびフッタ領域を有している。図5では、便宜的に、フッタ領域の記載が省略されている。伝送データ147Aのフレームヘッダ領域R1には、EmbeddedDataが含まれている。このとき、EmbeddedDataには、ROI情報120Bが含まれている。図5において、伝送データ147Aのパケット領域R2には、1ラインごとに、LongPacketのPayloadDataが含まれており、さらに、LongPacketのPayloadDataを挟み込む位置にパケットヘッダPHおよびパケットフッタPFが含まれている。さらに、パケットヘッダPHとパケットフッタPFを挟み込む位置にローパワーモードLPが含まれている。
[0042]
 このとき、パケットヘッダPHには、例えば、DI、WCおよびECCが含まれている。WCには、例えば、Payload長が含まれており、例えば、注目領域ROIごとのピクセル数が含まれている。ECCには、誤り訂正符号が含まれている。DIには、VC(バーチャルチャネルの番号)およびDataType(各注目領域ROIのデータタイプ)が含まれている。本実施の形態では、各ラインのVCには、互いに共通のバーチャルチャネルの番号が付与されている。また、図5において、伝送データ147Aのパケット領域R2には、圧縮像データ147Bが含まれている。圧縮像データ147Bは、1つの圧縮像データ120A、もしくは複数の圧縮像データ120Aによって構成されている。ここで、図5において、パケットヘッダPH寄りのパケット群には、例えば、図3中の伝送画像116a1の圧縮像データ120A(120A1)が含まれており、パケットヘッダPHから離れたパケット群には、例えば、図3中の伝送画像116a2の圧縮像データ120A(120A2)が含まれている。これら2つの圧縮像データ120A1,120A2によって圧縮像データ147Bが構成されている。各ラインのLongPacketのPayloadDataには、圧縮像データ147Bにおける1ライン分のピクセルデータが含まれている。
[0043]
 図6は、伝送データ147Aの構成例を表したものである。伝送データ147Aは、例えば、フレームヘッダ領域R1およびパケット領域R2を含んでいる。なお、図6には、フレームヘッダ領域R1の中身が詳細に例示されている。また、図6では、ローパワーモードLPが省略されている。
[0044]
 フレームヘッダ領域R1には、例えば、伝送データ147Aの識別子としてのフレーム番号F1が含まれている。フレームヘッダ領域R1は、パケット領域R2に含まれる圧縮像データ147Bについての情報を含んでいる。フレームヘッダ領域R1は、例えば、圧縮像データ147Bに含まれる圧縮像データ120Aの数(ROI数)と、圧縮像データ147Bに含まれる各圧縮像データ120Aに対応するROI画像112についての情報(ROI情報120B)とを含んでいる。
[0045]
 合成部147は、例えば、伝送データ147Aのパケット領域R2において、圧縮像データ147Bを、圧縮像データ120Aの画素行ごとに分けて配置する。従って、伝送データ147Aのパケット領域R2には、重なり領域ROOの画像118に対応する圧縮像データが重複して含まれていない。また、合成部147は、例えば、伝送データ147Aのパケット領域R2において、撮像画像111のうち各伝送画像116と対応しない画素行を割愛している。従って、伝送データ147Aのパケット領域R2には、撮像画像111のうち各伝送画像116に対応しない画素行は含まれていない。なお、図6のパケット領域R2において、破線で囲んだ箇所が、重なり領域ROOの画像118の圧縮像データに相当する。
[0046]
 パケットヘッダPH寄りのパケット群(例えば図6中の1(n))と、パケットヘッダPHから離れたパケット群(例えば図6中の2(1))との境界は、パケットヘッダPH寄りのパケット群(例えば図6中の1(n))の圧縮像データに対応するROI画像112の物理領域長さXLa1によって特定される。パケットヘッダPH寄りのパケット群(例えば図6中の1(n))に含まれる重なり領域ROOの画像118に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダPHから離れたパケット群(例えば図6中の2(1))に対応するROI画像112の物理領域長さXLa2によって特定される。
[0047]
 合成部147は、例えば、伝送データ147Aのパケット領域R2において、1ラインごとに、LongPacketのPayloadDataを生成する際に、LongPacketのPayloadDataに、例えば、圧縮像データ147Bにおける1ライン分のピクセルデータの他に、例えば、図7に示したように、ROI情報120Bを含めてもよい。つまり、合成部147は、ROI情報120BをLongPacketのPayloadDataに含めて送出してもよい。このとき、ROI情報120Bは、例えば、図7(A)~図7(K)に示したように、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットのうち少なくとも1つを含んでいる。ROI情報120Bは、LongPacketのPayloadDataにおいて、パケットヘッダPH側の端部(つまり、LongPacketのPayloadDataの先頭)に配置されることが好ましい。
[0048]
(映像受信装置200)
 次に、映像受信装置200について説明する。図8は、映像受信装置200の構成の一例を表したものである。図9は、映像受信装置200におけるROI画像223Aの生成手順の一例を表したものである。映像受信装置200は、映像送信装置100と共通の規格(例えば、MIPI CSI-2規格、MIPI CSI-3規格、もしくは、MIPIDSI規格)で信号を受信する装置である。映像受信装置200は、例えば、受信部210および情報処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
[0049]
 受信部210は、例えば、ヘッダ分離部211、ヘッダ解釈部212、Payload分離部213、EBD解釈部214およびROIデータ分離部215を有している。
[0050]
 ヘッダ分離部211は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における各注目領域ROIについてのROI情報120BをEmbeddedDataに含むとともに、各注目領域ROIの画像データ(圧縮像データ120A)をLongPacketのPayloadDataに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。ヘッダ解釈部212は、フレームヘッダ領域R1に含まれるデータ(具体的にはEmbeddedData)に基づいて、パケット領域R2に含まれるLongPacketのPayloadDataの位置を特定する。Payload分離部213は、ヘッダ解釈部212によって特定されたLongPacketのPayloadDataの位置に基づいて、パケット領域R2に含まれるLongPacketのPayloadDataを、パケット領域R2から分離する。
[0051]
 EBD解釈部214は、EmbeddedDataをEBDデータ214Aとして、情報処理部220に出力する。EBD解釈部214は、さらに、EmbeddedDataに含まれるデータタイプから、LongPacketのPayloadDataに含まれる画像データがROIの画像データ116の圧縮像データ120Aであるか、または、通常画像データの圧縮像データ130Aであるか判別する。EBD解釈部214は、判別結果をROIデータ分離部215に出力する。
[0052]
 LongPacketのPayloadDataに含まれる画像データがROIの画像データ116の圧縮像データ120Aである場合、ROIデータ分離部215は、LongPacketのPayloadDataをPayloadData215Aとして、情報処理部220(具体的にはROIデコード部222)に出力する。PayloadDataに含まれる画像データが通常画像データの圧縮像データ130Aである場合、ROIデータ分離部215は、LongPacketのPayloadDataをPayloadData215Bとして、情報処理部220(具体的には通常画像デコード部224)に出力する。LongPacketのPayloadDataにRIO情報120Bが含まれている場合には、PayloadData215Aは、RIO情報120Bと、圧縮像データ147Bのうち1ライン分のピクセルデータとを含んでいる。
[0053]
 情報処理部220は、EBDデータ214Aに含まれるEmbeddedDataから、ROI情報120Bを抽出する。情報処理部220は、情報抽出部221で抽出したROI情報120Bに基づいて、受信部210で受信した伝送データ147Aに含まれるLongPacketのPayloadDataから、撮像画像111における各注目領域ROIの画像(ROI画像112)を抽出する。情報処理部220は、例えば、情報抽出部221、ROIデコード部222、ROI画像生成部223および通常画像デコード部224を有している。
[0054]
 通常画像デコード部224は、PayloadData215Bをデコードし、通常画像224Aを生成する。ROIデコード部222は、PayloadData215Aに含まれる圧縮像データ147Bをデコードし、画像データ222Aを生成する。この画像データ222Aは、1または複数の伝送画像116によって構成されている。
[0055]
 情報抽出部221は、EBDデータ214Aに含まれるEmbeddedDataから、ROI情報120Bを抽出する。情報抽出部221は、例えば、EBDデータ214Aに含まれるEmbeddedDataから、例えば、撮像画像111に含まれる注目領域ROIの数、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットを抽出する。つまり、伝送データ147Aは、当該伝送データ147Aから得られる複数の伝送画像116のいずれに対して重なり領域ROOの画像118の割愛が行われたかを判別することの可能な判別情報として、各伝送画像116に対応する注目領域ROIの領域番号(もしくは優先度115)を含んでいる。
[0056]
 ROI画像生成部223は、情報抽出部221で得られたROI情報120Bに基づいて、2以上の注目領域ROI同士が重なり合う重なり領域ROOを検出する。
[0057]
 情報抽出部221が、例えば、EBDデータ214Aに含まれるEmbeddedDataから、ROI画像112a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)および領域番号1(もしくは優先度115(=1))を抽出する。情報抽出部221が、さらに、例えば、EBDデータ214Aに含まれるEmbeddedDataから、ROI画像112a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)および領域番号2(もしくは優先度115(=2))を抽出する。
[0058]
 このとき、ROI画像生成部223は、抽出したこれらの情報(以下、「抽出情報221A」と称する。)に基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))および長さ(例えば物理領域長さXLb1,YLb1)を導出する。
[0059]
 なお、ROI画像生成部223は、EBDデータ214Aに含まれるEmbeddedDataからRIO情報120Bを取得する代わりに、PayloadData215AからRIO情報120Bを取得してもよい。この場合、ROI画像生成部223は、PayloadData215Aに含まれるRIO情報120Bに基づいて、2以上の注目領域ROI同士が重なり合う重なり領域ROOを検出してもよい。また、ROI画像生成部223は、PayloadData215Aに含まれるRIO情報120Bから、抽出情報221Aを抽出してもよく、そのようにして抽出した抽出情報221Aに基づいて、重なり領域ROOの位置情報114を導出してもよい。
[0060]
 ROI画像生成部223は、さらに、画像データ222Aと、抽出情報221Aと、重なり領域ROOの位置情報114とに基づいて、撮像画像111における各注目領域ROIの画像(ROI画像112a1,112a2)を生成する。ROI画像生成部223は、生成した画像をROI画像223Aとして出力する。
[0061]
[手順]
 次に、図3、図9を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
[0062]
 まず、撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる2つの注目領域ROI1,ROI2を特定する。ROI切り出し部121は、撮像画像111から、各注目領域ROI1,ROI2の画像(ROI画像112a1,112a2)を切り出す。ROI切り出し部121は、注目領域ROI1に対して識別子として領域番号1を付与し、注目領域ROI2に対して識別子として領域番号2を付与する。
[0063]
 ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。ROI解析部122は、注目領域ROI1に基づいて、注目領域ROI1の左上端座標(Xa1,Ya1)と、注目領域ROI1のX軸方向の長さ(XLa1)と、注目領域ROI1のY軸方向の長さ(YLa1)とを導出する。ROI解析部122は、注目領域ROI2に基づいて、注目領域ROI2の左上端座標(Xa2,Ya2)と、注目領域ROI2のX軸方向の長さ(XLa2)と、注目領域ROI2のY軸方向の長さ(YLa2)とを導出する。
[0064]
 重なり検出部123は、撮像画像111における2つの注目領域ROI1,ROI2の位置情報113に基づいて、2つの注目領域ROI1,ROI2同士が重なり合う重なり領域ROOを検出する。つまり、重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114として、重なり領域ROOの左上端座標(Xb1,Yb1)と、重なり領域ROOのX軸方向の長さ(XLb1)と、重なり領域ROOのY軸方向の長さ(YLb1)とを導出する。
[0065]
 優先度設定部124は、2つの注目領域ROI1,ROI2において、一方の注目領域ROI1に対して優先度115として1を付与し、他方の注目領域ROI2に対して優先度115として2を付与する。
[0066]
 エンコード部125は、2つの注目領域ROI1,ROI2において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた2つのROI画像112a1,112a2から画像118を割愛したものである2つの伝送画像116a1,116a2を生成する。
[0067]
 エンコード部125は、2つの注目領域ROI1,ROI2の領域番号(もしくは優先度115)に基づいて、2つのROI画像112a1,112a2のいずれに対して画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(もしくは優先度115)の大きい方である注目領域ROI2に対応するROI画像112a2に対して画像118の割愛を行い、これにより、伝送画像116a2を生成する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(もしくは優先度115)の小さな方である注目領域ROI1に対応するROI画像112a1については、ROI画像112a1そのものを伝送画像116a1とする。
[0068]
 画像処理制御部126は、ROI情報120Bおよびフレーム情報120Cを生成し、送信部140に送信する。送信部140は、画像処理部120,130から入力された種々のデータ(120A,120B,120C,130A)に基づいて伝送データ147Aを生成する。送信部140は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送出する。
[0069]
 受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信する。受信部210は、受信した伝送データ147Aに対して所定の処理を行うことにより、EBDデータ214AおよびPayloadData215Aを生成し、情報処理部220に出力する。
[0070]
 情報抽出部221は、EBDデータ214Aに含まれるEmbeddedDataから、ROI情報120Bを抽出する。情報抽出部221は、EBDデータ214Aに含まれるEmbeddedDataから、ROI画像112a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)および領域番号1(もしくは優先度115(=1))を抽出する。情報抽出部221は、さらに、ROI画像112a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)および領域番号2(もしくは優先度115(=2))を抽出する。ROIデコード部222は、PayloadData215Aに含まれる圧縮像データ147Bをデコードし、画像データ222Aを生成する。
[0071]
 ROI画像生成部223は、抽出したこれらの情報(抽出情報221A)に基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))および長さ(例えば物理領域長さXLb1,YLb1)を導出する。ROI画像生成部223は、さらに、画像データ222Aと、抽出情報221Aと、重なり領域ROOの位置情報114とに基づいて、撮像画像111における各注目領域ROIの画像(ROI画像112a1,112a2)を生成する。
[0072]
[効果]
 次に、本実施の形態に係る映像伝送システム1の効果について説明する。
[0073]
 近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
[0074]
 従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。
[0075]
 ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、MIPI CSI-2が用いられることがある。この方式を用いてROIを伝送しようとした場合、様々な制約により、ROIの伝送が容易ではないことがある。
[0076]
 一方、本実施の形態では、撮像画像111における各注目領域ROIについてのROI情報120BがEmbeddedDataで送出されるとともに、各注目領域ROIの画像データがLongPacketのPayloadDataで送出される。これにより、映像送信装置100から送出された伝送データ147Aを受信した装置(映像受信装置200)において、伝送データ147Aから、各注目領域ROIの画像データ(ROI画像211)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
[0077]
 また、本実施の形態では、各注目領域ROIの画像データ(圧縮像データ120A)が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のROI画像211を送ることができるので、複数のROI画像211を送る間に、LPモードに入る必要がなく、高い伝送効率を得ることができる。
[0078]
 また、本実施の形態では、各注目領域ROIのデータタイプがLongPacketのPayloadDataのパケットヘッダPHに含めて送出される。これにより、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataのパケットヘッダPHにアクセスするだけで、各注目領域ROIのデータタイプが得られる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0079]
 また、本実施の形態において、ROI情報120BがLongPacketのPayloadDataに含めて送出される場合には、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataにアクセスするだけで、ROI情報120Bが得られる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0080]
 また、本実施の形態では、伝送データ147Aに含まれるEmbeddedDataから、各注目領域ROIについてのROI情報120Bが抽出されるとともに、抽出されたROI情報120Bに基づいて、伝送データ147Aに含まれるLongPacketのPayloadDataから、各注目領域ROIの画像(ROI画像112)が抽出される。これにより、伝送データ147Aから、各注目領域ROIの画像(ROI画像112)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
[0081]
<2.変形例>
[変形例A]
 図10は、上記実施の形態の通信システム1に搭載された情報送信装置100の構成の一変形例を表したものである。本変形例に係る情報送信装置100では、ROIデータ分離部215が省略されており、Payload分離部213がPayloadData215AまたはPayloadData215Bを出力する。
[0082]
 本変形例において、Payload分離部213は、Payload分離部213は、LongPacketのPayloadDataのパケットヘッダPHに含まれるDataType(各注目領域ROIのデータタイプ)から、LongPacketのPayloadDataに含まれる画像データがROIの画像データ116の圧縮像データ120Aであるか、または、通常画像データの圧縮像データ130Aであるか判別する。その結果、LongPacketのPayloadDataに含まれる画像データがROIの画像データ116の圧縮像データ120Aである場合には、Payload分離部213は、LongPacketのPayloadDataをPayloadData215Aとして、情報処理部220(具体的にはROIデコード部222)に出力する。LongPacketのPayloadDataに含まれる画像データが通常画像データの圧縮像データ130Aである場合、Payload分離部213は、LongPacketのPayloadDataをPayloadData215Bとして、情報処理部220(具体的には通常画像デコード部224)に出力する。
[0083]
 本変形例では、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataのパケットヘッダPHにアクセスするだけで、各注目領域ROIのデータタイプを判別することができる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0084]
[変形例B]
 上記実施の形態の通信システム1において、LongPacketのPayloadDataのパケットヘッダPHに、DataType(各注目領域ROIのデータタイプ)が含まれていなくてもよい。このようにした場合であっても、EmbeddedDataに含まれるデータタイプから、LongPacketのPayloadDataに含まれる画像データが注目領域ROIの画像データ116の圧縮像データ120Aであるか、または、通常画像データの圧縮像データ130Aであるか判別することができる。これにより、パケットヘッダPHのデータサイズが小さくなるので、伝送容量を少なくすることができる。
[0085]
[変形例C]
 上記実施の形態の通信システム1では、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出していた。しかし、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに異なるバーチャルチャネルで送出してもよい。ただし、その場合には、例えば、図11に示したように、対応する注目領域ROIが互いに異なる2つのLongPacketのPayloadData同士の間に、ローパワーモードLPが含まれることになる。
[0086]
 ところで、対応する注目領域ROIが互いに異なる2つのLongPacketのPayloadData同士の間に、ローパワーモードLPが含まれるということは、対応する注目領域ROIが互いに異なる2つのLongPacketのPayloadData同士を分離する処理が不要であることを意味する。従って、本変形例では、その分離処理に要する処理時間をなくすことができる。
[0087]
[変形例D]
 上記実施の形態の通信システム1では、合成部147は、LongPacketのPayloadDataに、圧縮像データ147Bにおける1ライン分のピクセルデータの他に、ROI情報120Bを含めている場合があった。しかし、上記実施の形態の通信システム1において、合成部147は、例えば、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールド(ShortPacktのDataField)SPに、ROI情報120Bを含めて送出してもよい。合成部147は、例えば、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPに、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットのうち少なくとも1つを含めて送出してもよい。合成部147は、例えば、図12に示したように、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPに、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットを含めて送出してもよい。
[0088]
 本変形例では、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPにアクセスするだけで、ROI情報120Bを取得することができる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0089]
[変形例E]
 上記実施の形態の通信システム1およびその変形例(変形例A~D)では、複数のROI画像112から画像118が割愛された複数の伝送画像116に対応する圧縮像データ147Bを用いて伝送データ120Aが生成されていた。しかし、上記実施の形態の通信システム1およびその変形例(変形例A~D)において、複数の注目領域ROIの画像(ROI画像112)において重なり領域ROOの画像118が存在するか否かに拘わらず、伝送データ120Aに、各ROI画像112に対応する圧縮像データ120Aを用いて伝送データ120Aが生成されていてもよい。つまり、上記実施の形態の通信システム1およびその変形例(変形例A~D)において、圧縮像データ147Bが、各ROI画像112に対応する圧縮像データ120Aによって構成されている。
[0090]
 このようにした場合、例えば、図13に示したように、画像処理部120において、ROI解析部122、重なり検出部123および優先度設定部124を省略することが可能である。このように、画像処理部120において、ROI解析部122、重なり検出部123および優先度設定部124を省略した場合であっても、上記実施の形態の通信システム1およびその変形例(変形例A~D)と同様、送信部140は、撮像画像111における各注目領域ROIについてのROI情報120BをEmbeddedDataで送出する。送信部140は、さらに、各注目領域ROIの画像データ(圧縮像データ120A)をLongPacketのPayloadDataで送出する。また、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を画像データフレームによって送出するとともに、各注目領域ROIについてのROI情報120Bを画像データフレームのヘッダで送出する。これにより、映像送信装置100から送出された伝送データ147Aを受信した装置(映像受信装置200)において、伝送データ147Aから、各注目領域ROIの画像データ(ROI画像211)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
[0091]
 また、本変形例において、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する場合には、同一パケットの中で複数のROI画像211を送ることができる。これにより、複数のROI画像211を送る間に、LPモードに入る必要がないので、高い伝送効率を得ることができる。
[0092]
 また、本変形例において、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに異なるバーチャルチャネルで送出する場合には、対応する注目領域ROIが互いに異なる2つのLongPacketのPayloadData同士を分離する処理が不要となる。従って、本変形例では、その分離処理に要する処理時間をなくすことができる。
[0093]
 また、本変形例において、送信部140は、各注目領域ROIのデータタイプをLongPacketのPayloadDataのパケットヘッダPHに含めて送出する場合には、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataのパケットヘッダPHにアクセスするだけで、各注目領域ROIのデータタイプが得られる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0094]
 また、本変形例において、送信部140は、ROI情報120BをLongPacketのPayloadDataに含めて送出する場合には、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataにアクセスするだけで、ROI情報120Bが得られる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0095]
 また、本変形例において、送信部140は、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPに、ROI情報120Bを含めて送出する場合には、EmbeddedDataにアクセスしなくても、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPにアクセスするだけで、ROI情報120Bを取得することができる。これにより、情報受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
[0096]
 また、本変形例において、送信部140は、伝送データ147Aに含まれるEmbeddedDataから、各注目領域ROIについてのROI情報120Bを抽出するとともに、抽出したROI情報120Bに基づいて、伝送データ147Aに含まれるLongPacketのPayloadDataから、各注目領域ROIの画像(ROI画像112)を抽出する場合には、伝送データ147Aから、各注目領域ROIの画像(ROI画像112)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
[0097]
[変形例F]
 上記実施の形態の通信システム1およびその変形例(変形例A~E)では、送信部140が、各注目領域ROIについてのROI情報120Bを画像データフレームのヘッダ(フレームヘッダ領域R1)で送出していた。しかし、上記実施の形態の通信システム1およびその変形例(変形例A~E)において、送信部140は、各注目領域ROIについてのROI情報120Bを画像データフレームのフッタ(フレームフッタ領域R3)で送出してもよい。例えば、図14に示したように、送信部140は、撮像画像111における各注目領域ROIについてのROI情報120BをEmbeddedDataで送出する際に、ROI情報120Bをフレームフッタ領域R3で送出してもよい。なお、図14では、便宜的に、ヘッダ領域R1の記載が省略されている。本変形例のようにした場合であっても、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
[0098]
[変形例G]
 上記実施の形態の通信システム1およびその変形例(変形例A~F)では、画像データフレームは、フレームヘッダ領域R1、パケット領域R2およびフレームフッタR3を含んでいた。しかし、上記実施の形態の通信システム1およびその変形例(変形例A~E)において、画像データフレームは、フレームフッタR3を含んでいなくてもよい。また、上記変形例Fにおいて、画像データフレームは、フレームヘッダ領域R1を含んでいなくてもよい。
[0099]
 以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
[0100]
 また、例えば、本開示は以下のような構成を取ることができる。
(1)
 画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataで送出するとともに、前記ROIについての情報をEmbeddedDataで送出する送信部を備えた
 映像送信装置。
(2)
 前記送信部は、各前記ROIの前記画像データを互いに異なるバーチャルチャネルで送出する
 (1)に記載の映像送信装置。
(3)
 前記送信部は、各前記ROIの前記画像データを互いに共通のバーチャルチャネルで送出する
 (1)に記載の映像送信装置。
(4)
 前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
 (3)に記載の映像送信装置。
(5)
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
 (3)に記載の映像送信装置。
(6)
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketに含めて送出する
 (3)に記載の映像送信装置。
(7)
 前記送信部は、前記ROIの前記画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
 (1)ないし(6)のいずれか1つに記載の映像送信装置。
(8)
 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
 (1)ないし(7)のいずれか1つに記載の映像送信装置。
(9)
 画像における各ROI(Region Of Interest)についての情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出する検出部と、
 前記画像における複数の前記ROIの第1画像データにおいて前記重なり領域の第2画像データが重複して含まれないように、複数の前記第1画像データから前記第2画像データを割愛したものである複数の第3画像データをLongPacketのPayloadDataで送出するとともに、前記画像における各前記ROIについての情報をEmbeddedDataで送出する送信部と
 を備えた 映像送信装置。
(10)
 前記送信部は、各前記ROIの前記画像データを互いに異なるバーチャルチャネルで送出する
 (9)に記載の映像送信装置。
(11)
 前記送信部は、各前記ROIの前記画像データを互いに共通のバーチャルチャネルで送出する
 (9)に記載の映像送信装置。
(12)
 前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
 (11)に記載の映像送信装置。
(13)
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
 (11)に記載の映像送信装置。
(14)
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketのDataFieldに含めて送出する
 (9)に記載の映像送信装置。
(15)
 前記送信部は、前記ROIの前記画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
 (9)ないし(14)のいずれか1つに記載の映像送信装置。
(16)
 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
 (9)ないし(15)のいずれか1つに記載の映像送信装置。
(17)
 画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataに含むとともに、前記ROIについての情報をEmbeddedDataに含む伝送信号を受信する受信部と、
 前記受信部で受信した前記伝送信号に含まれる前記EmbeddedDataから、前記ROIについての情報を抽出するとともに、抽出した前記情報に基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、前記ROIの画像データを抽出する情報処理部と
 を備えた
 映像受信装置。
(18)
 前記情報処理部は、抽出した前記情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出し、抽出した前記情報と、検出した前記重なり領域の情報とに基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、各前記ROIの画像データを抽出する
 (17)に記載の映像受信装置。
(19)
 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を受信する
 (17)または(18)に記載の映像受信装置。
[0101]
 本出願は、日本国特許庁において2017年6月9日に出願された日本特許出願番号第2017-114690号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
[0102]
 当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

請求の範囲

[請求項1]
 画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataで送出するとともに、前記ROIについての情報をEmbeddedDataで送出する送信部を備えた
 映像送信装置。
[請求項2]
 前記送信部は、各前記ROIの前記画像データを互いに異なるバーチャルチャネルで送出する
 請求項1に記載の映像送信装置。
[請求項3]
 前記送信部は、各前記ROIの前記画像データを互いに共通のバーチャルチャネルで送出する
 請求項1に記載の映像送信装置。
[請求項4]
 前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
 請求項3に記載の映像送信装置。
[請求項5]
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
 請求項3に記載の映像送信装置。
[請求項6]
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketに含めて送出する
 請求項3に記載の映像送信装置。
[請求項7]
 前記送信部は、前記ROIの前記画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
 請求項1に記載の映像送信装置。
[請求項8]
 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Ser ial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
 請求項1に記載の映像送信装置。
[請求項9]
 画像における各ROI(Region Of Interest)についての情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出する検出部と、
 前記画像における複数の前記ROIの第1画像データにおいて前記重なり領域の第2画像データが重複して含まれないように、複数の前記第1画像データから前記第2画像データを割愛したものである複数の第3画像データをLongPacketのPayloadDataで送出するとともに、前記画像における各前記ROIについての情報をEmbeddedDataで送出する送信部と
 を備えた
 映像送信装置。
[請求項10]
 前記送信部は、各前記ROIを互いに異なるバーチャルチャネルで送出する
 請求項9に記載の映像送信装置。
[請求項11]
 前記送信部は、各前記ROIを互いに共通のバーチャルチャネルで送出する
 請求項9に記載の映像送信装置。
[請求項12]
 前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
 請求項11に記載の映像送信装置。
[請求項13]
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
 請求項11に記載の映像送信装置。
[請求項14]
 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketのDataFieldに含めて送出する
 請求項11に記載の映像送信装置。
[請求項15]
 前記送信部は、前記ROIの前記画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
 請求項9に記載の映像送信装置。
[請求項16]
 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Ser ial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
 請求項9に記載の映像送信装置。
[請求項17]
 画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataに含むとともに、前記ROIについての情報をEmbeddedDataに含む伝送信号を受信する受信部と、
 前記受信部で受信した前記伝送信号に含まれる前記EmbeddedDataから、前記ROIについての情報を抽出するとともに、抽出した前記情報に基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、前記ROIの画像データを抽出する情報処理部と
 を備えた
 映像受信装置。
[請求項18]
 前記情報処理部は、抽出した前記情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出し、抽出した前記情報と、検出した前記重なり領域の情報とに基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、各前記ROIの画像データを抽出する
 請求項17に記載の映像受信装置。
[請求項19]
 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Ser ial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を受信する
 請求項17に記載の映像受信装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]