このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018194040) 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法
Document

明 細 書

発明の名称 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022  

発明の効果

0023  

図面の簡単な説明

0024  

発明を実施するための形態

0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126  

符号の説明

0127  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22  

明 細 書

発明の名称 : 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法

技術分野

[0001]
 本技術は、送信装置、送信方法、受信装置、受信方法、記録装置および記録方法に関し、詳しくは、ハイフレームレートの動画像データを送信する送信装置等に関する。

背景技術

[0002]
 近年、高速フレームシャッターでハイフレームレート撮影を行って、ハイフレームレートの動画像データを出力するカメラが知られている(例えば、特許文献1参照)。例えば、ノーマルフレームレートが60Hzであるのに対して、ハイフレームレートは120Hz、240Hz、480Hzなどである。
[0003]
 そして、近年、このハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを生成し、このコンテナを放送波あるいはネットのパケットに載せて送信することが考えられている。例えば、コンテナとしては、MPEG-2 TS(MPEG-2 Transport Stream)あるいはMMT(MPEG Media Transport)などが知られている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2010-178124号公報

発明の概要

発明が解決しようとする課題

[0005]
 ハイフレームレートの動画像データを受信する受信機において、表示部がハイフレームレートに対応していなければ、例えばハイフレームレートの動画像データに間引き処理あるは加算処理を行ってノーマルフレームレートの動画像データを得て、画像表示を行うことになる。しかし、単に間引き処理あるは加算処理を行って得られたノーマルフレームレートの動画像データによる表示画像は観察者にとって満足のいくものとはならないことが想定される。
[0006]
 本技術の目的は、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示可能とすることにある。

課題を解決するための手段

[0007]
 本技術の概念は、
 ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
 上記ビデオストリームを含むコンテナを送信する送信部と、
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
 送信装置にある。
[0008]
 本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。例えば、ハイフレームレートの動画像データは、120Hz、240Hzあるいは480Hzのフレームレートの動画像データである、ようにされてもよい。送信部により、ビデオストリームを含むコンテナが送信される。
[0009]
 情報挿入部により、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。例えば、周辺フレームの重み付け係数には負の係数が含まれる、ようにされてもよい。
[0010]
 また、例えば、ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える、ようにされてもよい。この場合、例えば、周辺フレームには、過去および未来のフレームが含まれる、ようにされてもよい。また、この場合、例えば、周辺フレームには、過去のフレームだけが含まれる、ようにされてもよい。
[0011]
 また、例えば、情報挿入部は、ブラーコントロール情報を含むSEIメッセージをビデオストリームのレイヤに挿入する、ようにされてもよい。また、例えば、情報挿入部は、ビデオストリームのレイヤにブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報をコンテナのレイヤにさらに挿入する、ようにされてもよい。このようにコンテナのレイヤに識別情報が挿入されることで、受信側では、ビデオストリームをデコードしなくても、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを容易に認識可能となる。
[0012]
 また、例えば、情報挿入部は、ブラーコントロール情報を含むデスクリプタをコンテナのレイヤに挿入する、ようにされてもよい。この場合、例えば、コンテナは、MPEG2トランスポートストリームであり、デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される、ようにされてもよい。
[0013]
 また、例えば、情報挿入部は、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報を挿入する、ようにされてもよい。このように複数種類のブラーコントロール情報が挿入されることで、受信側では、例えば、表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いることができる。
[0014]
 このように本技術においては、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入するものである。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
[0015]
 また、本技術の他の概念は、
 ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
 上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
 上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
 受信装置にある。
[0016]
 本技術において、受信部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナが受信される。復号化部により、ビデオストリームが復号化されてハイフレームレートの動画像データが得られる。そして、処理部により、このハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理が行われる。
[0017]
 例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーコントロール情報が挿入されており、処理部は、挿入されているブラーコントロール情報を用いるか、あるいはこのブラーコントロール情報を修正して用いる、ようにされてもよい。また、例えば、ブラ―コントロール情報を保持する保持部をさらに備え、処理部は、保持部からブラーコントロール情報を取得して用いる、ようにされてもよい。
[0018]
 また、例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報が挿入されており、処理部は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる、ようにされてもよい。また、例えば、処理部は、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う、ようにされてもよい。
[0019]
 このように本技術においては、受信されたハイフレームレートの動画像データにブラーコントロール情報に基づいてブラー付与処理を行うものである。そのため、適切な画質の画像を容易に提示できる。
[0020]
 また、本技術の他の概念は、
 ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
 上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
 上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
 記録装置にある。
[0021]
 本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。生成部により、ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報が生成される。そして、記録部により、ビデオストリームのレイヤおよび/またはビデオストリームを含むコンテナのレイヤに挿入されたブラーコントロール情報およびビデオストリームが記録される。
[0022]
 このように本技術においては、ビデオストリームを含むコンテナのレイヤおよび/またはビデオストリームのレイヤにブラーをコントロールするためのブラーコントロール情報が挿入されて記録されるものである。そのため、再生時おいて、ハイフレームレートの動画像データのブラーをブラーコントロール情報に基づいてコントロールでき、適切な画質の画像を容易に提示できる。

発明の効果

[0023]
 本技術によれば、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

図面の簡単な説明

[0024]
[図1] 実施の形態としての送受信システムの構成例を示すブロック図である。
[図2] ハイフレームレートの動画像データに対する間引き処理を説明するための図である。
[図3] 光刺激(左)と視覚反応(右)の対応関係を説明するための図である。
[図4] 光刺激(左)と視覚反応(右)の対応関係から、見かけの明るさは以前の光刺激の影響を受けることを説明するための図である。
[図5] ブラーコントロール情報を与える関数のタイプを説明するための図である。
[図6] ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示す図である。
[図7] 送信装置の構成例を示すブロック図である。
[図8] 符号化方式がHEVCである場合におけるGOPの先頭のアクセスユニットを示す図である。
[図9] 符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示す図である。
[図10] HFR・ブラーコントロール・SEIメッセージの構造例を示す図である。
[図11] HFR・ブラーコントロール・SEIメッセージの構造例における主要な情報の内容を示す図である。
[図12] HFR・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
[図13] HFR・ブラーコントロール・デスクリプタの構造例を示す図である。
[図14] トランスポートストリームTSの構成例を示す図である。
[図15] 受信装置の構成例を示すブロック図である。
[図16] 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。
[図17] 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。
[図18] 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。
[図19] 表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示す図である。
[図20] 送受信システムの他の構成例を示すブロック図である。
[図21] 送受信システムの他の構成例を示すブロック図である。
[図22] HMD装置の構成例を示すブロック図である。

発明を実施するための形態

[0025]
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
 1.実施の形態
 2.変形例
[0026]
 <1.実施の形態>
 [送受信システム]
 図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
[0027]
 送信装置100は、コンテナとしてのトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波、あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、例えば120Hz,240Hzあるいは480Hz等のハイフレームレートの動画像データを符号化して得られたビデオストリームが含まれる。この場合、例えば、H.264/AVC、H.265/HEVCなどの符号化が施される。
[0028]
 トランスポートストリームTSのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が1つまたは複数の種類挿入される。受信側においては、コンテナのレイヤあるいはビデオストリームのレイヤから、ブラーコントロール情報を容易に取得可能となる。
[0029]
 この実施の形態において、送信装置100は、ブラーコントロール情報を含むデスクリプタをトランスポートストリームTSのレイヤに挿入する。また、この実施の形態において、送信装置100は、ブラーコントロール情報を含むSEIメッセージをビデオストリームのレイヤに挿入する。また、この実施の形態において、送信装置100は、ブラーコントロール情報を含むSEIメッセージがビデオストリームのレイヤに挿入されていることを示す識別情報を含むスクリプタをトランスポートストリームTSのレイヤに挿入する。
[0030]
 受信装置200は、送信装置100から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、ハイフレームレートの動画像データが符号化されて得られたデオストリームが含まれている。トランスポートストリームTSのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されている。
[0031]
 受信装置200は、ビデオストリームを復号化してハイフレームレートの動画像データを得、この動画像データにブラーコントロール情報を用いたブラ―付与処理をする。この場合、受信装置200は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる。
[0032]
 例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合に、ユーザの選択操作に応じて、所望画質に応じた種類のブラーコントロール情報が選択されて用いられる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、適切な画質を得るために、それに対応した種類のブラーコントロール情報が選択されて用いられる。
[0033]
 [ブラーコントロール情報]
 ブラーコントロール情報の詳細について説明する。ブラーコントロール情報は、上述したように、ハイフレームレートの動画像データが送られてくる受信側において、所望画質を得るための、あるいはフレームレートを落とした場合に適切な画質を得るためのブラー付与処理において用いられる。
[0034]
 図2(a)は、ハイフレームレート、例えば120Hzのフレームレートの動画像データにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。横軸はフレームであり、「0」は現在フレームを示し、「-n」はnフレーム前のフレームを示し、「n」はnフレーム後のフレームを示している。なお、信号レベルは、最大値を1として示している。
[0035]
 従来、表示フレームレートが60Hzである場合、例えば、図2(b)に示すように、間引き処理が行われて、60Hzのフレームレートの動画像データとされる。この場合、60Hzのフレームレートの動画像データにおいて、現在フレーム「0」の信号は、図2(c)に示すように、120Hzのフレームレートの動画像データにおける現在フレーム「0」の信号そのものであり、周辺のフレームの信号成分を含んではいない。そのため、このように単なる間引き処理で生成された60Hzのフレームレートの動画像データで提示される画像は滑らかさに欠けるものとなる。
[0036]
 図3(a)~(d)は、それぞれ、光刺激(左)と視覚反応(右)の対応関係を示している。図3(a)に示すように、光刺激が一定時間呈示されると、見かけの明るさは数10msの時間遅れを伴う。また、図3(b)に示すように、光刺激が一定間隔で呈示されると、見かけの明るさは同一の周期で変化する。
[0037]
 また、図3(c)に示すように、連続する光刺激が呈示されると、見かけの明るさも連続する。また、図3(d)に示すように、図3(b)と同じ周期でも、連続する光刺激が呈示されると、見かけの明るさは連続する。
[0038]
 図4(a),(b)も、それぞれ、光刺激(左)と視覚反応(右)の対応関係を示している。図4(a)において、ハッチングを付して示すように、見かけの明るさは、以前の光刺激の影響を受ける。また、図4(b)において、ハッチングを付して示すように、光刺激の呈示時間が長くなると、見かけの明るさの刺激の影響も長くなる。
[0039]
 この光刺激の影響は画像(映像)の重なり(ブラー)として見える。この重なり量をコントロールすることで、画像観察者が知覚する画質を積極的に変化させることが可能となる。この実施の形態においては、ブラーコントロール情報は、フレームをパラメータとする関数情報とされ、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える。
[0040]
 図5(a)~(d)は、関数のタイプを示している。図5(a)は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図5(b)は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。図5(c)は、過去のフレームだけを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図5(d)は、過去のフレームだけを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。
[0041]
 関数のタイプを変化させ、あるいは関数の係数を変化させることで、複数種類のブラーコントロール情報(各フレームの重み付け係数)を得ることが可能となる。例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合、あるいはそのフレームレートを落とした表示用動画像データを得る場合に、画像観察者に所定の画質を知覚させるためのブラーコントロール情報を得ることができる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示用動画像データを得る際に、画像観察者に適切な画質を知覚させるための、ブラーコントロール情報を得ることができる。
[0042]
 なお、送信装置100から受信装置200にブラーコントロール情報を送信する場合、関数情報そのものを送ることも考えられるが、この実施の形態においては、その関数情報で与えられる、受信側のブラー付与処理で使用される各フレームの重み付け係数が送られる。
[0043]
 図6(a)~(d)は、ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示している。図6(a)の例は、図5(a)に示す関数タイプに対応しており、「-3」~「3」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(3)がブラーコントロール情報として送信される。なお、「-3」~「3」のフレーム範囲は一例であってこれに限定されない。過去と未来の使用フレームが3でなくてもよく、また過去と未来の使用フレームが同数でなくてもよい。これらの点については、図6(b)~(d)の例においても同様である。
[0044]
 図6(b)の例は、図5(b)に示す関数タイプに対応しており、「-3」~「3」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(3)がブラーコントロール情報として送信される。図6(c)の例は、図5(c)に示す関数タイプに対応しており、「-3」~「0」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(0)がブラーコントロール情報として送信される。図6(d)の例は、図5(d)に示す関数タイプに対応しており、「-3」~「0」のフレームにおける関数f(x)の値である重み付け係数f(-3)~f(0)がブラーコントロール情報として送信される。
[0045]
 「送信装置の構成」
 図7は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、マルチプレクサ103と、送信部104を有している。CPU101は、制御部を構成し、送信装置100の各部の動作を制御する。
[0046]
 エンコーダ102は、例えば120Hz,240Hzあるいは480Hz等のハイフレームレートの動画像データVDを入力する。このハイフレームレートの動画像データVDは、例えば、図示しない撮像装置(カメラ)で撮像されて得られたものであり、ブラ―が付与されていない状態にある。エンコーダ102は、この動画像データVDに、例えば、H.264/AVC、H.265/HEVCなどの符号化処理を施し、ビデオストリームを生成する。
[0047]
 この際、エンコーダ102は、ビデオストリームのレイヤに、上述のブラーコントロール情報を挿入する。例えば、ピクチャ単位、GOP(Group Of Pictures)単位、あるいはシーン単位などの単位で挿入される。
[0048]
 エンコーダ102は、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、HFR・ブラーコントロール・SEIメッセージ(HFR_blur_control SEI message)を挿入する。
[0049]
 図8は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、図9は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。
[0050]
 HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。図8、図9に示すように、HFR・ブラーコントロール・SEIメッセージは、例えば、SEIメッセージ群「Suffix_SEIs」として配置される。
[0051]
 図10は、HFR・ブラーコントロール・SEIメッセージの構造例(Syntax)を示している。図11は、その構造例における主要な情報の内容(Semantics)を示している。「source_frame_rate」のフィールドは、送信するハイフレームレートの動画像データのフレームレートを示す。例えば、“0x01”は120Hzを示し、“0x02”は240Hzを示し、“0x03”は480Hzを示す。
[0052]
 「number_of_blur_control_info」のフィールドは、送信するブラーコントロール情報の数(種類数)を示す。この数の分だけ、以下の情報が繰り返し存在する。「display_frame_rate」のフィールドは、表示画像データのフレームレートを示す。例えば、“0x01”は60Hzを示し、“0x02”は120Hzを示し、“0x03”は240Hzを示し、“0x04”は480Hzを示す。
[0053]
 「function_type」のフィールドは、関数タイプを示す。例えば、“0x01”は現在とその前のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ(図5(a)、図6(a)参照)であることを示す。また、“0x02”は現在とその前のフレームを使用し、かつ重み付け係数に負の係数がないタイプ(図5(b)、図6(b)参照)であることを示す。
[0054]
 また、“0x03”は現在とその前後のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ(図5(c)、図6(c)参照)であることを示す。さらに、“0x04”は現在とその前後のフレームを使用し、かつ重み付け係数に負の係数がないタイプ(図5(d)、図6(d)参照)であることを示す。
[0055]
 「start_frame」のフィールドは、使用する最初のフレームを示す。「end_frame」のフィールドは、使用する最後のフレームを示す。例えば、図6(a),(b)の例の場合、最初のフレームは「-3」で、最後のフレームは「3」である。また、例えば、図6(c),(d)の例の場合、最初のフレームは「-3」で、最後のフレームは「0」となる。
[0056]
 「number_of_frame」のフィールドは、使用フレームの数を示す。例えば、図6(a),(b)の例の場合、「7」となる。また、例えば、図6(c),(d)の例の場合、「4」となる。この数の分だけ、以下の情報が繰り返し存在する。「frame_coef(i)」のフィールドは、各フレームで用いる重み付け係数(関数値)を示す。
[0057]
 図7に戻って、マルチプレクサ103は、エンコーダ102で生成されたビデオストリームを、PES(Packetized Elementary Stream)パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
[0058]
 この際、マルチプレクサ103は、コンテナとしてのトランスポートストリームTSのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報を挿入する。この実施の形態において、マルチプレクサ103は、新規定義するHFR・インフォメーション・デスクリプタ(HFR_information descriptor)を、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入する。
[0059]
 図12(a)は、HFR・インフォメーション・デスクリプタの構造例(Syntax)を示している。また、図12(b)は、その構造例における主要な情報の内容(Semantics)を示している。
[0060]
 「HFR_information descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HFR・インフォメーション・デスクリプタであることを示す。「HFR_ information descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
[0061]
 「HFR_blur_control_SEI_existed」の1ビットフィールドは、ビデオレイヤ(ビデオストリームのレイヤ)に、HFR・ブラーコントロール・SEIメッセージが存在するか否かを示すフラグ情報である。例えば、“1”は存在することを示し、“0”は存在しないことを示す。
[0062]
 図7に戻って、送信部104は、マルチプレクサ103で得られたトランスポートストリームTSを、放送波、あるいはネットのパケットに載せて、受信装置200に送信する。
[0063]
 図7に示す送信装置100の動作を簡単に説明する。エンコーダ102には、例えば120Hz、240Hzあるいは480Hz等のハイフレームレートの動画像データVDが入力される。エンコーダ102では、この動画像データVDに、例えば、H.264/AVC、H.265/HEVCなどの符号化処理が施され、ビデオストリームが生成される。
[0064]
 また、エンコーダ102では、ビデオストリームのレイヤに、ブラーコントロール情報が挿入される。すなわち、エンコーダ102では、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、HFR・ブラーコントロール・SEIメッセージ(図10参照)が挿入される。
[0065]
 エンコーダ102で生成されたビデオストリームは、マルチプレクサ103に供給される。マルチプレクサ103では、ビデオストリームのPESパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
[0066]
 また、マルチプレクサ103では、コンテナとしてのトランスポートストリームTSのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報が挿入される。すなわち、マルチプレクサ103では、HFR・インフォメーション・デスクリプタ(図12(a)参照)が、プログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。
[0067]
 マルチプレクサ103で生成されたトランスポートストリームTSは、送信部104に送られる。送信部104では、このトランスポートストリームTSが、放送波、あるいはネットのパケットに載せられて受信装置200に送信される。
[0068]
 なお、上述では、ブラーコントロール情報をビデオストリームのレイヤに挿入する例を示した。HFR・ブラーコントロール・SEIメッセージは最も頻繁にはピクチャ毎に送ることができるので、ブラーコントロール情報をピクチャ毎に変更することも可能となる。あるいは、HFR・ブラーコントロール・SEIメッセージを例えばGOPあるいはシーンに1回とか、あるいはもっと粗い単位で送ることもできる。あるいは、HFR・ブラーコントロール・SEIメッセージをピクチャ毎に送っても、メタ情報の値が変わらなければスタティックな運用も可能となる。
[0069]
 ブラーコントロール情報をビデオストリームのレイヤに挿入する代わりに、あるいはビデオストリームのレイヤに挿入すると共に、コンテナのレイヤに挿入することも考えられる。例えば、マルチプレクサ103は、プログラム・マップ・テーブル(PMT)の配下に、新規定義する、HFR・ブラーコントロール・デスクリプタ(HFR_blur_control descriptor)を挿入する。静的な運用で十分な場合には、これで充分である。
[0070]
 あるいは、番組単位でブラーコントロール情報がわかれば充分な場合、HFR・ブラーコントロール・デスクリプタを、イベント・インフォメーション・テーブル(EIT)の配下に挿入することも考えられる。
[0071]
 図13は、HFR・ブラーコントロール・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、HFR・ブラーコントロール・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。なお、詳細説明は省略するが、このHFR・ブラーコントロール・デスクリプタの内容は、上述のHFR・ブラーコントロール・SEIメッセージ(図10参照)の内容と同じである。
[0072]
 [トランスポートストリームTSの構成]
 図14は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES1」が存在する。アクセスユニットに、HFR・ブラーコントロール・SEIメッセージ(HFR_blur_control SEI message)が挿入されている。
[0073]
 また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
[0074]
 PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、上述の1つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
[0075]
 デスクリプタの一つとして、HFR・インフォメーション・デスクリプタ(HFR_information descriptor)が配置される。このデスクリプタは、上述したように、ビデオストリームに、HFR・ブラーコントロール・SEIメッセージの挿入があることを示すものである。
[0076]
 また、デスクリプタの一つとして、HFR・ブラーコントロール・デスクリプタ(HFR_blur_control_ descriptor)が挿入されることもある。このデスクリプタは、HFR・ブラーコントロール・SEIメッセージの代わりに、あるいはHFR・ブラーコントロール・SEIメッセージと共に、挿入される。
[0077]
 また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。このEITに、HFR・ブラーコントロール・デスクリプタ(HFR_blur_control_ descriptor)が挿入されることもある。このデスクリプタは、HFR・ブラーコントロール・SEIメッセージの代わりに、あるいはHFR・ブラーコントロール・SEIメッセージと共に、挿入される。
[0078]
 「受信装置の構成」
 図15は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、ユーザ操作部201aと、受信部202と、デマルチプレクサ203と、デコーダ204と、表示処理部205と、表示部206を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
[0079]
 受信部202は、送信装置100から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、例えば120Hz、240Hzあるいは480Hz等のハイフレームレートの動画像データVDに符号化処理が施されて得られたビデオストリームが含まれている。
[0080]
 デマルチプレクサ203は、トランスポートストリームTSから、PIDのフィルタリングによってビデオストリームを取り出し、デコーダ204に供給する。また、デマルチプレクサ203は、トランスポートストリームTSのレイヤに含まれるセクション情報を抽出し、CPU201に送る。この場合、HFR・インフォメーション・デスクリプタ(図12(a)参照)、HFR・ブラーコントロール・デスクリプタ(図13参照)も抽出される。
[0081]
 デコーダ204は、デマルチプレクサ203から供給されるビデオストリームに復号化処理を施して、ハイフレームレートの動画像データVDを出力する。また、デコーダ204は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、CPU201に送る。この場合、HFR・ブラーコントロール・SEIメッセージ(図10参照)も抽出される。
[0082]
 表示処理部205は、表示部206の表示能力に応じて、デコーダ204で得られた動画像データに対して適宜フレームレートの変換などの処理を行って表示画像データVDdを得る。例えば、動画像データDVのフレームレートが120Hzであって、表示部206で120Hz表示を行う場合には、フレームレート変換をしない。また、例えば、動画像データDVのフレームレートが120Hzであって、表示部206で60Hz表示を行う場合には、フレームレート変換をする。
[0083]
 表示処理部205は、表示画像データVDdの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データを使用し、HFR・ブラーコントロール・SEIメッセージやHFR・ブラーコントロール・デスクリプタに含まれるブラーコントロール情報(各フレームの重み付け係数)に基づいて、ブラー付与処理をする。
[0084]
 ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データDVのフレームレートや表示フレームレート等に基づいてCPU201が自動的に選択し、あるいはユーザが任意に選択する。なお、CPU201は、ユーザの選択の便宜のために、複数のブラーコントロール情報に係る情報を示すUI画面を表示部206に表示してもよい。複数のブラーコントロール情報に係る情報としては、動画像データDVのフレームレートや表示フレームレートがどのような場合に適するものであるとか。観察者にどのような画質を知覚させるものであるか等の選択に参考となる情報が考えられる。
[0085]
 表示画像データVDdのあるフレームの信号(画像データ)は、動画像データDVの当該フレームおよびその周辺のフレームの信号を用いて算出され、ブラーが付与されたものとなる。この場合、動画像データDVのあるフレームおよびその周辺のフレームの信号にそれぞれ対応する重み付け係数が掛け算されて積算され、その積算結果が重み付け係数の積算結果で除算されて表示画像データVDdのあるフレームの信号が得られる。
[0086]
 図16は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図16(a)は、ハイフレームレート、例えば120Hzのフレームレートの動画像データDVにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。なお、信号レベルは、最大値を1として示している。
[0087]
 図16(b)は、上述の図6(a)に示した、「-3」~「3」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。図16(c)は、動画像データDVの「-3」~「3」の各フレームの信号S(-3)~S(3)にそれぞれ対応する重み付け係数f(-3)~f(3)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図16(d)に示すように、「-3」~「3」の各フレームの掛け算結果の積算値が「-3」~「3」の各フレームの重み付け係数の積算値で割ったものとなる。
[0088]
 図17は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図17(a)は、図16(a)で示したものと同じである。図17(b)は、上述の図6(b)に示した、「-3」~「3」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。
[0089]
 図17(c)は、動画像データDVの「-3」~「3」の各フレームの信号S(-3)~S(3)にそれぞれ対応する重み付け係数f(-3)~f(3)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図17(d)に示すように、「-3」~「3」の各フレームの掛け算結果の積算値が「-3」~「3」の各フレームの重み付け係数の積算値で割ったものとなる。
[0090]
 図18は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図18(a)は、図16(a)で示したものと同じである。図18(b)は、上述の図6(c)に示した、「-3」~「0」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。
[0091]
 図18(c)は、動画像データDVの「-3」~「0」の各フレームの信号S(-3)~S(0)にそれぞれ対応する重み付け係数f(-3)~f(0)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図18(d)に示すように、「-3」~「0」の各フレームの掛け算結果の積算値が「-3」~「0」の各フレームの重み付け係数の積算値で割ったものとなる。
[0092]
 図19は、表示画像データVDdのあるフレームとしてのフレーム「0」の信号を得るための処理の一例を示している。図19(a)は、図16(a)で示したものと同じである。図19(b)は、上述の図6(d)に示した、「-3」~「0」の各フレームを使用するブラーコントロール情報(各フレームの重み付け係数)を示している。
[0093]
 図19(c)は、動画像データDVの「-3」~「0」の各フレームの信号S(-3)~S(0)にそれぞれ対応する重み付け係数f(-3)~f(0)を掛け算した結果を示している。表示画像データVDdの「0」のフレームの信号は、図19(d)に示すように、「-3」~「0」の各フレームの掛け算結果の積算値が「-3」~「0」の各フレームの重み付け係数の積算値で割ったものとなる。
[0094]
 図15に戻って、表示部206は、表示処理部205で得られた表示画像データによる動画像を表示する。この表示部206は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部206は、受信装置200に接続される外部機器であってもよい。
[0095]
 図15に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、PIDのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。
[0096]
 また、デマルチプレクサ203では、トランスポートストリームTSのレイヤに含まれるセクション情報が抽出されて、CPU201に送られる。この場合、HFR・インフォメーション・デスクリプタ(図12(a)参照)、さらには、存在する場合には、HFR・ブラーコントロール・デスクリプタ(図13参照)も抽出される。
[0097]
 CPU201では、HFR・インフォメーション・デスクリプタから、ビデオストリーム
にブラーコントロール情報の挿入があることが認識される。また、CPU201では、HFR・ブラーコントロール・デスクリプタからブラーコントロール情報が取得される。
[0098]
 デマルチプレクサ203で取り出されたビデオストリームは、デコーダ204に供給される。デコーダ204では、ビデオストリームに復号化処理が施されて、ハイフレームレートの動画像データVDが得られる。
[0099]
 また、デコーダ204では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、CPU201に送られる。この場合、HFR・ブラーコントロール・SEIメッセージ(図10参照)も抽出される。CPU201では、HFR・ブラーコントロール・SEIメッセージからブラーコントロール情報が取得される。
[0100]
 デコーダ204で得られたハイフレームレートの動画像データDVは、表示処理部205に供給される。表示処理部205では、表示部206の表示能力に応じて、デコーダ204で得られた動画像データDVに対して適宜フレームレート変換などの処理が行われて、表示画像データVDdが得られる。
[0101]
 そして、表示処理部205では、表示画像データVDdの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報(各フレームの重み付け係数)に基づいて、ブラー付与処理がされる(図16~図19参照)。
[0102]
 ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データDVのフレームレートや表示フレームレート等に基づいてCPU201により自動的に選択される、あるいはユーザ操作により選択される。このユーザ操作のために、例えば、複数のブラーコントロール情報を示すUI画面が表示部206に表示される。
[0103]
 表示処理部205から出力された表示画像データDVdは、表示部206に供給される。そして、表示部206に、表示画像データDVdによる動画像が表示される。
[0104]
 以上説明したように、図1に示す送受信システム10において、送信装置100では、コンテナ(トランスポートストリームTS)のレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
[0105]
 図1に示す送受信システム10において、受信装置100では、コンテナ(トランスポートストリームTS)のレイヤおよび/またはビデオストリームのレイヤに挿入されているブラーコントロール情報に基づいてブラー付与処理が行われる。そのため、適切な画質の画像を容易に提示できる。
[0106]
 <2.変形例>
 なお、上述実施の形態においては、ハイフレームレートの動画像データからフレームレートを下げた(落とした)表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得る例を示したが、ハイフレームレートの動画像データからフレームレートを上げた表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得ることも同様に考えられる。
[0107]
 また、上述実施の形態においては、送信側でブラ―コントロール情報の付加がある例を示したが、送信側でブラ―コントロール情報の付加がない場合に、受信側において予めメモリ等で構成される保持部に保持されているブラ―コントロール情報を用いることも考えられる。この場合、例えば、ネットからブラ―コントロール情報を取得して保持部に保持しておくか、あるいはリムーバブルな記録媒体から取得して保持部に保持しておくことが考えられる。そして、この場合、このリムーバブルな記録媒体が直接保持部を構成することも考えられる。
[0108]
 また、送信側でブラ―コントロール情報の付加がある場合に、受信側においてそのブラ―コントロール情報のアップデート(修正)を可能とすることも考えられる。この場合に、アップデートするブラ―コントロール情報をネットから取得すること、あるいはリムーバブルな記録媒体から取得することも考えられる。
[0109]
 また、上述実施の形態においては、受信装置200が、ブラーコントロール情報が付加されたハイフレームレートの動画像データを放送あるいはネットから得る例を示した。しかし、受信装置200の部分では、ブラーコントロール情報が付加されたハイフレームレートの動画像データをUSBメモリなどのリムーバブルな記録媒体から得るようにすることも考えられる。
[0110]
 また、上述実施例においては、送信側から送られてくるハイフレームレートの動画像データに対して、それに付加されて送信側から送られてくるブラ―コントロール情報を用いてブラ―付与処理を行う例を示した。しかし、送信側から送られてくるハイフレームレートの動画像データをコンテンツとして半導体メモリ等で構成される記録部に記録して、適宜なタイミングで再生して利用する記録装置も考えられる。例えば、受信装置200が、当該記録部を備えていてもよい。
[0111]
 その場合、送信側からブラ―コントロール情報が送られてくる場合には、ハイフレームレートの動画像データと共にそれに関連付けされてブラ―コントロール情報も記録される。そして、このブラ―コントロール情報については、適宜修正も可能とされる。また、送信側からブラ―コントロール情報が送られてこない場合、コンテンツ編集時に、ブラ―コントロール情報を生成し、あるいはネットから取得して、ハイフレームレートの動画像データと共にそれに関連付けされて記録部に記録することも考えられる。
[0112]
 また、上述実施の形態においては、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを送信する際に、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する例を示した。しかし、ハイフレームレートの動画像データを符号化して得られたビデオストリームを半導体メモリ等の所定の記録媒体にコンテンツとして記録して利用することも考えられる。その際には、ハイフレームレートの動画像データのブラーをコントロールするブラーコントロール情報を生成し、当該ブラーコントロール情報を、ビデオストリームのレイヤに挿入するか、あるいはこのビデオストリームを含むコンテナの状態で記録媒体に記録しておく場合にはコンテナのレイヤに挿入して記録することも考えられる。
[0113]
 また、上述では、送信装置100および受信装置200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図20に示す送受信システム10Aのように、受信装置200の部分がデジタルインタフェース、例えば、HDMI(High-Definition Multimedia Interface)のデジタルインタフェースで接続されたセットトップボックス(STB)200Aおよびモニタ200Bからなる構成であってもよい。なお、「HDMI」は、登録商標である。
[0114]
 この場合、セットトップボックス200Aには、表示処理部205まで含まれる場合、あるいはデコーダ204まで含まれる場合などが考えられる。表示処理部205以降がモニタ200Bに含まれる場合、セットトップボックス200Aからモニタ200Bには、非圧縮の動画像データDVと共にブラーコントロール情報が送信される。セットトップボックス200Aは、例えば、ブラーコントロール情報を、動画像データDVのブランキング期間に挿入することで送信する。例えば、“Video displaying InfoFrame”のパケットを用いて、ブラーコントロール情報を、モニタ200Bに送る。
[0115]
 また、図21に示すように、図20におけるモニタ200Bの部分をHMD(ヘッドマウントディスプレイ)装置200Cに置き換えた送受信システム10Bも考えられる。図22は、HMD装置200Cの構成例を示している。
[0116]
 HMD装置200Cは、CPU251と、ユーザ操作部252と、HDMI受信部253と、画像処理部254と、表示処理部255と、左眼用表示部256と、右眼用表示部257を有している。CPU251は、制御部を構成し、HMD装置200Cの各部の動作を制御する。ユーザ操作部252は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。
[0117]
 HDMI受信部253は、HDMI規格に準拠したHDMI受信部の構成とされており、セットトップボックス200Aから表示画像データDVdを受信する。画像処理部254は、HDMI受信部253から入力された表示画像データDVdに対し、スケーリング、ノイズ・リダクションなどの信号処理をする。
[0118]
 表示制御部255は、画像処理部254で得られた画像データを左眼用表示部256および右眼用表示部257に表示出力する。左眼用表示部256および右眼用表示部257には、それぞれ映像を拡大するレンズ・ブロック(図22には図示しない)が装備されている。左右のレンズ・ブロックは、それぞれ複数の光学レンズの組み合わせからなり、表示パネルに表示された画像を光学処理する。
[0119]
 左眼用表示部256および右眼用表示部257の表示パネルに表示された画像は、レンズ・ブロックを通過する際に拡大され、ユーザの網膜に大きな虚像を結像する。そして、観察するユーザの脳内では左眼用画像と右眼用画像が融像される。左眼用表示部256および右眼用表示部257は、例えば液晶ディスプレイや、有機EL素子で構成されている。
[0120]
 なお、上述では、HDMI受信部253でセットトップボックス200Aから表示画像データDVdを受信するように説明したが、このHDMI受信部253でセットトップボックス200Aからハイフレームレートの動画像データDVとブラーコントロール情報を受信することも考えられる。
[0121]
 この場合には、画像処理部254において、左眼用表示部256および右眼用表示部257の表示パネルの表示能力に応じて、動画像データDVに対して適宜フレームレート変換などの処理が行われて、表示画像データVDdが得られる。
[0122]
 また、この画像処理部254において、図15に示す受信装置200の表示処理部205と同様に、表示画像データVDdの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報(各フレームの重み付け係数)に基づいて、ブラー付与処理がされる(図16~図19参照)。
[0123]
 このように、HMD装置200Cにおいても、ブラーコントロール情報に基づいてブラー付与処理が施された表示画像データVDdによる画像表示がなされるので、適切な画質の画像を容易に提示できる。
[0124]
 なお、セットトップボックス200Aからモニタ200BやHMD装置200Cへのブラーコントロール情報の送信を、“Video displaying InfoFrame”のパケットを用いる代わりに、その他の”InfoFrame”のパケット、例えば“Vender Specific InfoFrame”のパケットなどを用いることも考えられる。また、ブラーコントロール情報の送信を、CECラインやHECの通信ラインを介して送信することも考えられる。
[0125]
 また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)あるいはMMT(MPEG Media Transport)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
[0126]
 また、本技術は、以下のような構成を取ることもできる。
 (1)ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
 上記ビデオストリームを含むコンテナを送信する送信部と、
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
 送信装置。
 (2)上記ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える
 前記(1)に記載の送信装置。
 (3)上記周辺フレームには、過去および未来のフレームが含まれる
 前記(2)に記載の送信装置。
 (4)上記周辺フレームには、過去のフレームだけが含まれる
 前記(2)に記載の送信装置。
 (5)上記周辺フレームの重み付け係数には負の係数が含まれる
 前記(2)から(4)のいずれかに記載の送信装置。
 (6)上記ハイフレームレートの動画像データは、120Hz、240Hzあるいは480Hzのフレームレートの動画像データである
 前記(1)から(5)のいずれかに記載の送信装置。
 (7)上記情報挿入部は、上記ブラーコントロール情報を含むSEIメッセージを上記ビデオストリームのレイヤに挿入する
 前記(1)から(6)のいずれかに記載の送信装置。
 (8)上記情報挿入部は、上記ビデオストリームのレイヤに上記ブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報を上記コンテナのレイヤにさらに挿入する
 前記(1)から(7)のいずれかに記載の送信装置。
 (9)上記情報挿入部は、上記ブラーコントロール情報を含むデスクリプタを上記コンテナのレイヤに挿入する
 前記(1)から(8)のいずれかに記載の送信装置。
 (10)上記コンテナは、MPEG2トランスポートストリームであり、
 上記デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される
 前記(9)に記載の送信装置。
 (11)上記情報挿入部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報を挿入する
 前記(1)から(10)のいずれかに記載の送信装置。
 (12)画像符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する画像符号化ステップと、
 送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
 情報挿入部が、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入ステップを有する
 送信方法。
 (13)ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
 上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
 上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
 受信装置。
 (14)上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ブラーコントロール情報が挿入されており、
 上記処理部は、上記挿入されているブラーコントロール情報を用いるか、あるいは該ブラーコントロール情報を修正して用いる
 前記(13)に記載の受信装置。
 (15)上記ブラ―コントロール情報を保持する保持部をさらに備え、
 上記処理部は、上記保持部から上記ブラーコントロール情報を取得して用いる
 前記(13)に記載の受信装置。
 (16)上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報が挿入されており、
 上記処理部は、上記複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる
 前記(13)に記載の受信装置。
 (17)上記処理部は、上記ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う
 前記(13)から(16)のいずれかに記載の受信装置。
 (18)受信部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されており、
 復号化部が、上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化ステップと、
 処理部が、上記得られたハイフレームレートの動画像データに上記ブラーコントロール情報を用いたブラー付与処理を行う処理ステップをさらに有する
 受信方法。
 (19)ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
 上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
  上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
 記録装置。
 (20)符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化ステップと、
 生成部が、上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成ステップと、
 記録部が、上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録ステップを有する
 記録方法。

符号の説明

[0127]
 10,10A,10B・・・送受信システム
 100・・・送信装置
 101・・・CPU
 102・・・エンコーダ
 103・・・マルチプレクサ
 104・・・送信部
 200・・・受信装置
 200A・・・セットトップボックス
 200B・・・モニタ
 200C・・・HMD装置
 201・・・CPU
 201a・・・ユーザ操作部
 202・・・受信部
 203・・・デマルチプレクサ
 204・・・デコーダ
 205・・・表示処理部
 206・・・表示部
 251・・・CPU
 252・・・ユーザ操作部
 253・・・HDMI受信部
 254・・・画像処理部
 255・・・表示処理部
 256・・・左眼用表示部
 257・・・右眼用表示部

請求の範囲

[請求項1]
 ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
 上記ビデオストリームを含むコンテナを送信する送信部と、
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
 送信装置。
[請求項2]
 上記ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える
 請求項1に記載の送信装置。
[請求項3]
 上記周辺フレームには、過去および未来のフレームが含まれる
 請求項2に記載の送信装置。
[請求項4]
 上記周辺フレームには、過去のフレームだけが含まれる
 請求項2に記載の送信装置。
[請求項5]
 上記周辺フレームの重み付け係数には負の係数が含まれる
 請求項2に記載の送信装置。
[請求項6]
 上記ハイフレームレートの動画像データは、120Hz、240Hzあるいは480Hzのフレームレートの動画像データである
 請求項1に記載の送信装置。
[請求項7]
 上記情報挿入部は、上記ブラーコントロール情報を含むSEIメッセージを上記ビデオストリームのレイヤに挿入する
 請求項1に記載の送信装置。
[請求項8]
 上記情報挿入部は、上記ビデオストリームのレイヤに上記ブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報を上記コンテナのレイヤにさらに挿入する
 請求項1に記載の送信装置。
[請求項9]
 上記情報挿入部は、上記ブラーコントロール情報を含むデスクリプタを上記コンテナのレイヤに挿入する
 請求項1に記載の送信装置。
[請求項10]
 上記コンテナは、MPEG2トランスポートストリームであり、
 上記デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される
 請求項9に記載の送信装置。
[請求項11]
 上記情報挿入部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報を挿入する
 請求項1に記載の送信装置。
[請求項12]
 画像符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する画像符号化ステップと、
 送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
 情報挿入部が、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入ステップを有する
 送信方法。
[請求項13]
 ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
 上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
 上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
 受信装置。
[請求項14]
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ブラーコントロール情報が挿入されており、
 上記処理部は、上記挿入されているブラーコントロール情報を用いるか、あるいは該ブラーコントロール情報を修正して用いる
 請求項13に記載の受信装置。
[請求項15]
 上記ブラ―コントロール情報を保持する保持部をさらに備え、
 上記処理部は、上記保持部から上記ブラーコントロール情報を取得して用いる
 請求項13に記載の受信装置。
[請求項16]
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報が挿入されており、
 上記処理部は、上記複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる
 請求項13に記載の受信装置。
[請求項17]
 上記処理部は、上記ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う
 請求項13に記載の受信装置。
[請求項18]
 受信部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
 上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されており、
 復号化部が、上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化ステップと、
 処理部が、上記得られたハイフレームレートの動画像データに上記ブラーコントロール情報を用いたブラー付与処理を行う処理ステップをさらに有する
 受信方法。
[請求項19]
 ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
 上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
 上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
 記録装置。
[請求項20]
 符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化ステップと、
 生成部が、上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成ステップと、
 記録部が、上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録ステップを有する
 記録方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]