此应用程序的某些内容目前无法使用。
如果这种情况持续存在,请联系我们反馈与联系
1. (WO2019044435) MOVING IMAGE DISTRIBUTION DEVICE, METHOD, AND PROGRAM AND MOVING IMAGE DISTRIBUTION SYSTEM
Document

明 細 書

発明の名称 動画配信装置、方法、プログラム、動画配信システム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008   0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015   0016   0017   0018  

発明の効果

0019   0020   0021  

図面の簡単な説明

0022  

発明を実施するための形態

0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064  

符号の説明

0065  

請求の範囲

1   2   3   4   5   6   7   8  

図面

1   2   3   4   5   6   7   8  

明 細 書

発明の名称 : 動画配信装置、方法、プログラム、動画配信システム

技術分野

[0001]
 本発明は、リアルタイムでの映像配信を低品質なネットワークを介した場合であっても遅延なく受信端末で再生可能とする動画配信装置及び動画配信システムに関する。

背景技術

[0002]
 インターネット回線網の発達、コンピュータの高速処理化により、以前では難しかった大きなデータ量の動画配信も可能となり、リアルタイムでの動画配信が誰でも行えるようになってきている。
[0003]
 従来から筐体内部にある景品を、クレーンを用いて獲得するゲーム装置が知られている。このゲーム装置は、ユーザがクレーンを前後左右に動かすことで景品を獲得するものであり、ゲームセンターなどに設置されていることが多い。しかし近年は、ゲーム装置の筐体内の動画像や音声をリアルタイムでネットワークを介して送信し、携帯端末やスマートフォン、パーソナルコンピュータ等のユーザ端末で、その動画像や音声を再生しながら機械の操作信号を送信して、ゲーム装置の機械を制御するサービスが行われており、例えば、特許文献1に開示されている。
[0004]
 また、このようなゲーム装置に限らず、監視カメラなどで撮影し、必要な操作を遠隔からユーザ端末等で操作信号を送信するということが行われている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2014-4192号公報

発明の概要

発明が解決しようとする課題

[0006]
 しかし、例えば、景品を獲得するには、ゲーム装置の機械を正確に駆動させなければならないが、それには、リアルタイムで高画質の動画がユーザ端末に配信される必要がある。ただし、配信されるデータサイズによっては、ユーザ端末までのネットワークの通信速度やユーザ端末の処理速度が原因となり、ユーザ端末で遅延やエラーが生じることなくスムーズに動画が再生されないことがある。
[0007]
 このため、動画配信の事業者によっては、どのような通信環境、端末であっても、スムーズに動画が再生されるよう、動画像の符号化を行って配信する動画のデータサイズを圧縮している。しかし、例えば、動画のフレーム画像をMPEG(Moving Picture Experts Group)やH.264/AVC(Advanced Video Coding)などの動画像符号化方式により圧縮符号化し、生成された動画ストリームをIP(Internet Protocol)パケットに格納してインターネット上に送信して、ユーザ端末に受信させた場合であっても、インターネット環境が輻輳していた場合、パケットデータの遅延や欠損などのエラーが生じることがあり、リアルタイムで画像が正しくユーザ端末で再生できないことがある。
[0008]
 画像の圧縮符号化を行った場合、符号化を行う前の画像データのデータ量から比較すれば、全体のデータ量は減少しているものの、基準フレームであるI(Intra)フレームのデータ量は、他の差分フレームであるP(Predictive)フレーム又はB(Bi-predictive prediction)フレームと比較して大きく、Iフレーム受信時にエラーが生じやすい。
[0009]
 動画配信によって遠隔の機械操作を行う場合、動画のリアルタイム性が重要となる。このため、バッファリングを行うなどして単位時間当たりのデータ量を平均化して、端末の処理負担を減らすということもできない。
[0010]
 本発明はこのような問題を解決するために、通信環境、ユーザ端末の処理能力を問わず、確実に鮮明な動画ストリームを受信端末で再生可能な、動画配信装置または動画配信システムを提供する。

課題を解決するための手段

[0011]
 上記目的に鑑み、本発明の動画配信装置は、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。受信端末から受信する基準フレーム生成信号または基準フレーム生成再開信号によって、基準フレームの生成を制御するため、受信端末側の都合によって基準フレームの生成を抑制するため、データサイズの大きい基準フレームを受信することによる動画再生の遅延やエラーを防止することができる。
[0012]
 また、本発明の動画配信装置は、基準フレーム生成停止信号は、機械制御信号であり、基準フレーム生成再開信号は、機械制御停止信号であり、さらに、接続された機械の駆動を制御する機械制御部を有し、機械制御部は、機械制御信号を受信すると、機械制御信号に応じて接続された機械を駆動させ、機械制御停止信号を受信すると、機械の駆動を停止することを特徴とする。機械制御信号を受信端末から受信したときに基準フレームの生成を停止することで、ユーザが機械を駆動制御している間、動画再生の遅延やエラーを防止できるため、ユーザは動画を見ながら正確に機械を制御することができる。
[0013]
 また、機械制御部が制御する機械は、プレイフィールド内にある景品を獲得するゲーム装置において、景品を獲得するためのクレーンであり、符号化部は、撮像部が撮像したゲーム装置内の動画を符号化してもよい。
[0014]
 さらに、符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、他の受信端末から動画配信要求を受信すると、基準フレーム生成管理部は動画ストリーム記憶部に記憶された基準フレーム以降の符号化した動画ストリームを最初に送信することを特徴とする。動画ストリーム記憶部に基準フレーム以降の符号化した動画ストリームを記憶しておくことで、差分フレームが生成されているタイミングで他の受信端末から同じ装置の動画の配信要求を受信した場合であっても、当該他の受信端末でスムーズに動画再生することができる。
[0015]
 本発明の動画配信方法は、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化ステップと、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成再開信号受信ステップと、を有し、符号化ステップは、基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。
[0016]
 本発明のコンピュータプログラムは、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う。
[0017]
 本発明の動画配信システムは、撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、符号化部は、基準フレーム生成管理部が基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置と、動画配信装置から符号化した動画ストリームを受信し、符号化した動画ストリームを復号して再生する復号部を有する受信端末と、を有する。
[0018]
 さらに、本発明の動画配信システムは、動画配信装置は、さらに、符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、他の受信端末から動画配信要求を受信すると、基準フレーム生成管理部は動画ストリーム記憶部に記憶された基準フレーム以降の符号化した動画ストリームを最初に送信し、受信端末は、復号部は、基準フレーム以降の符号化した動画ストリームを受信した場合、受信した動画ストリームをすべて復号して一枚のフレーム画像を生成して再生することを特徴とする。

発明の効果

[0019]
 本発明によれば、受信端末から基準フレーム生成停止信号を受信すると基準フレームの生成を停止し、基準フレーム再開信号を受信すると基準フレームの生成を再開するため、受信端末が予期しないタイミングでデータ量の大きい基準フレームを受信しないようにすることで、画像の欠損や遅延を生じないようにすることができる。
[0020]
 また、受信端末から受信する基準フレーム生成停止信号は、動画配信装置が配信している動画に撮像されている装置の機械を動かすための機械制御信号であるから、装置の機械を受信端末が制御している間は、基準フレーム生成が停止される。従って、受信端末が装置の機械を制御している間は、データ量の少ない差分フレームのみが生成されるため、画像の欠損や遅延を生じることがなく、ユーザは動画を見ながら受信端末から正確に機械制御を行うことができる。また、機械を制御している間は、機械は動いているものの、動画像には大きな変化が生じないため差分フレームのみが生成されていても、表示に支障のない画像を受信端末に提供することができる。
[0021]
 さらに、他の受信端末が、基準フレーム生成を停止している間にその動画の配信を要求してきた場合であっても、動画ストリーム記憶部に記憶されている最新の基準フレーム以降の生成フレームを送信し、すべて合成してから受信端末で動画再生を開始するため、基準フレームが生成できないタイミングに他の受信端末から受信要求があっても、スムーズに動画配信を行うことができる。

図面の簡単な説明

[0022]
[図1] 本発明に係る動画配信システムの全体図の一例である。
[図2] 装置20がゲーム装置200であった場合のゲーム装置200と動画配信装置10とのシステム構成の一例を示す図である。
[図3] 動画配信装置10の構成の一例を示す機能ブロック図である。
[図4] 符号化部120の構成の一例を示すブロック図である。
[図5] 基準フレーム生成管理部130における符号化処理に関するフローチャートの一例である。
[図6] 動画配信装置10が基準フレーム生成停止信号や基準フレーム生成再開信号を受信した場合の符号化処理の仕組みを説明する図である。
[図7] ユーザ端末50の構成の一例を示す機能ブロック図である。
[図8] 動画配信装置10のハードウェア構成図の一例である。

発明を実施するための形態

[0023]
 以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明に係る動画配信システムの全体図の一例である。動画配信システム1は、装置20(20a~20b)と撮像部30(30a~30b)が接続され、さらにインターネット40を介してユーザ端末50(50a~50c)と接続されることで構成される。
[0024]
 動画配信装置10は、装置20に対して設置された撮像部30の撮影した動画像をユーザ端末50に配信するための装置である。動画配信装置10は、撮像部が装置20を撮像した動画像を受信してフレーム間符号化し、符号化した動画ストリームを生成して、ユーザ端末50へ送信する。ユーザ端末50は、受信した動画ストリームを復号、再生することで、装置20の状態をリアルタイムで知ることができ、再生された動画ストリームを見ながら、装置20の機械を駆動するための機械制御信号を送信する。また、動画配信装置10は、動画を配信するための機能だけでなく、接続された装置20を制御するための機械制御や管理を行うための機能を有していてもよい。具体的には、ユーザ端末50から受信した機械制御信号を装置20の機械駆動部に送信することで、装置20の機械の制御を行う。その他、装置20とユーザ端末50との間でユーザ管理等を行ってもよい。動画配信装置10は、撮像部30が撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する。例えば、MPEG4やH.264/AVCなどの動画像符号化技術を用いて動画ストリームを生成する。
[0025]
 動画配信装置10は、ユーザ端末50から基準フレーム生成停止信号または基準フレーム生成再開信号を受信する。基準フレーム生成停止信号を受信すると動画配信装置10は、基準フレーム、つまりIフレームの生成を停止し、差分フレーム、例えばPフレーム又はBフレームのみを生成する。そして、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開する。基準フレーム生成停止信号は、例えば、機械制御開始を指示する機械制御信号、基準フレーム生成再開信号は、例えば、機械制御停止を指示する機械制御停止信号であってもよい。
[0026]
 装置20は、撮像部30によって撮影されている装置であって、ユーザ端末50からの信号により遠隔から機械的に制御できる装置であり、例えば、ゲーム装置、ミニカー、ドローン、パーソナルコンピュータなどである。ユーザ端末50は、撮像部30により撮影されている動画を受信して表示させて、装置20の機械を制御する信号を送信する。装置20は、ユーザ端末から受信した機械制御信号をもとに制御される。
[0027]
 撮像部30(30a、30b)は、装置20を撮像するものであり、具体的には、ビデオカメラである。撮像部30は、ユーザ端末50が装置20の機械制御をするために必要な動画像を撮影し、動画配信装置10にユーザ端末50へ配信するための動画ストリームを生成するための動画像を供給する。ここでは、撮像部30は、装置20一つに対し、一台で図示されているが、これに限らず、複数台配置されていてもよい。ユーザ端末50は、撮像部30が撮像した動画像により装置の様子を確認しながら、機械制御信号を送ることができる。
[0028]
 インターネット40は、装置20と、装置20を遠隔地から制御したいユーザ端末50とを接続する回線網である。
[0029]
 ユーザ端末50は、インターネット40と接続されたコンピュータであり、動画配信装置10から動画像を受信する受信端末である。ユーザは、受信した動画像で装置20の動きを確認しながら、例えば、Webコンテンツとして提供されたコントローラをユーザ端末50の表示部に表示させ、入力することで、機械制御信号や機械制御停止信号を動画配信装置10へ送信し、装置20の機械を制御する。ユーザ端末50は、動画配信装置10から受信した動画ストリームを復号して再生、表示する。また、動画受信開始時に動画配信装置10から現在の配信フレーム画像の前に、基準フレームとその差分フレームとを含んだ複数のフレーム画像を受信した場合、複数のフレーム画像をすべて復号したうえで、現在の配信フレーム画像を生成して再生する。
[0030]
 図2は、装置20がゲーム装置200であった場合のゲーム装置200と動画配信装置10とのシステム構成の一例を示す図である。
[0031]
 動画配信装置10は、図1の動画配信装置10と同じ装置であり、ゲーム装置200の筐体内部に対して設置された撮像部30の撮影した動画像をユーザ端末50に配信するための装置である。動画配信装置10は、ユーザ端末50へ動画ストリームを配信するとともに、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する。動画配信装置10は、基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、差分フレームのみを生成して動画ストリームを生成する。また、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開し、通常の符号化処理を行って動画ストリームを生成する。基準フレーム生成停止信号が、機械制御信号である場合、基準フレームの生成を停止するとともに、機械駆動部210が受信した機械制御信号に従って、クレーン220が動くよう駆動する。また、基準フレーム生成再開信号が、機械制御停止信号でもある場合、動いていたクレーン220が停止するよう、機械駆動部210へ信号を送り、クレーン220が停止するよう駆動させる。なお、動画配信装置10の構成の詳細については、後述する。
[0032]
 ゲーム装置200は、機械駆動部210、クレーン220、景品払出口230、景品240を有するゲーム装置である。ゲーム装置200は、装置筐体内部のプレイフィールドにある標的物を獲得するクレーンゲームを提供するゲーム装置であって、インターネットを介して接続されたユーザ端末50から送信される制御信号によってクレーン220が操作されるようになっている。1回のプレイは、ゲーム装置内のクレーンを動かし、クレーン220に付加されたアームを開閉、または吸引することで、標的物を獲得または失敗することで終了する。ゲーム装置200のクレーン220を操作するためのコントローラはwebコンテンツとしてユーザ端末50へ提供され、ユーザ端末50からの機械制御命令を受信することで、クレーン等の機械が動作し、機械制御停止命令を受信することで動作が停止する。
[0033]
 機械駆動部210は、クレーン220を動かすための駆動部で、例えば、モーターである。機械駆動部210は、動画配信装置10を介して受信する機械制御信号または機械制御停止信号に従って、クレーン220を動かす。また、機械駆動部210は、ユーザ端末50から受信する機械制御信号のほか、ユーザ端末50による機械制御が行われた後は、クレーンの下降、アームを閉じる動作、クレーンを上昇させ、景品払出口230へ移動し、アームを開く動作、所定位置に戻る動作は、動画配信装置10が生成する制御信号により駆動する。
[0034]
 クレーン220は、機械駆動部210によって動かされ、ユーザ端末50から受信する機械制御信号または機械制御停止信号により前後移動(x方向)や左右移動(y方向)し、位置が決まると下降し上昇する(z方向)。下降時に、クレーン220の2本のアームを閉じる動作を行うことで、ゲーム装置の筐体内に置かれた景品の獲得を行おうとする。アームを閉じる動作を行うと、クレーン220は、上昇し、景品払出口230へと移動し、アームを開く動作を行う。また、クレーン220は、所定の位置へ戻る。アームは、開閉動作を行うことで、景品を把持し、獲得できるように動作する。
[0035]
 景品払出口230は、クレーン220で獲得した景品が投げ落とされるところであり、景品払出口230より、景品がゲーム装置200の筐体外部へ排出される。景品払出口230には例えば、センサが設置されており、景品排出を検知できるようになっている。排出された景品は、ユーザ端末50を利用しているユーザの元へ配送される。
[0036]
 景品240は、クレーン220を操作することで獲得される景品であって、ゲーム装置200の内部のプレイフィールドに置かれている。景品240は、一又は複数置かれており、ユーザは、ユーザ端末50から機械制御信号や機械制御停止信号を送信することでクレーン220を操作し、景品240を獲得しようとする。
[0037]
 撮像部30は、図1の撮像部30と同じであり、ビデオカメラである。撮像部30は、ゲーム装置200の内部を撮像しており、ユーザ端末がクレーン220と景品240との位置関係が確認できるように撮影している。ここでは、一つのみが図示されているが、複数の角度から位置関係が確認できるように複数台設置されていてもよい。撮像部300で撮像された動画は、動画配信装置10へ送信され、動画配信装置10は、フレーム間符号化し、符号化した動画ストリームがユーザ端末50へ配信される。
[0038]
 図3は、動画配信装置10の構成の一例を示す機能ブロック図である。通信部110は、インターネット40を介して、動画配信装置10が生成した動画ストリームをIPパケットに格納してユーザ端末50へ送信し、ユーザ端末50から基準フレーム生成停止信号または基準フレーム生成再開信号、機械制御信号または機械制御停止信号を受信する。受信した信号は、基準フレーム生成管理部130や機械制御部140へ供給する。また、符号化部120で生成された動画ストリームは、通信部110を介してユーザ端末50へ配信される。
[0039]
 符号化部120は、いわゆるビデオエンコーダであり、撮像部30で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する。符号化した動画ストリームは、通信部110によってパケット化され、インターネット40を介してユーザ端末50へ送信される。符号化部120は、フレーム間符号化して基準フレーム又は差分フレームを生成する。
[0040]
 基準フレーム生成管理部130は、符号化部120の基準フレーム、つまりIフレームの生成を管理する。また、通信部110が、ユーザ端末50から受信する基準フレーム生成停止信号または基準フレーム生成再開信号を管理する。基準フレーム生成管理部130は基準フレーム生成停止信号を受信すると、符号化部120に動画の符号化におけるフレームの種類を差分フレームに設定する信号を与える。また、基準フレーム生成再開信号を受信すると、符号化部120に、基準フレームの生成を再開し、動画の符号化におけるフレームの種類を任意のフレームに設定する信号を与える。基準フレーム生成管理部130は、符号化部120が、基準フレーム生成再開信号受信以降は、通常の符号化処理に戻り、GOP(Group of Picture)の最初のフレームに基準フレームを生成する処理に戻り、基準フレームまたは差分フレームを生成するよう制御する。基準フレーム生成管理部130は、符号化部120が生成した動画ストリームが供給されると、直近の基準フレーム以降のフレーム画像が動画ストリーム記憶部132に記憶されるよう制御する。
[0041]
 また、基準フレーム生成管理部130の動画ストリーム記憶部132は、符号化部120が生成した最新の基準フレーム以降の基準フレーム及び差分フレームを記憶する。基準フレーム生成管理部130は、動画配信中に新たな動画配信要求を他のユーザ端末50からも受信したとき、動画ストリーム記憶部132から最新の基準フレーム以降のフレームを読みだして、動画配信要求を行ったユーザ端末へ送信する。
[0042]
 機械制御部140は、動画配信装置10に接続されている、装置20、例えばゲーム装置200の機械駆動部210と接続されており、ユーザ端末50から受信した機械制御信号に基づいて機械駆動部210の制御を行って、ユーザが所望するようにクレーン220が前後左右に動くように制御する。また、ユーザ端末50から機械制御信号を受信しない場合であっても、クレーン220の上下動作や、クレーンのアーム開閉動作、景品払出口230への移動、所定の初期位置への移動などの制御を行う。
[0043]
 ゲーム結果管理部150は、ゲーム装置200でのユーザのプレイに関する情報を管理する。例えば、ユーザ情報、プレイ毎の課金情報を管理するとともに、プレイの結果、景品が獲得されたかどうか、獲得された場合の配送情報などを管理している。ゲーム結果管理部150は、ユーザ端末50よりゲーム装置200でのゲーム開始を受信すると、決済を行い、機械制御信号が受信されたかどうか、待機する。機械制御信号の受信及び機械制御停止信号の受信を検出すると、ゲーム結果として景品が景品払出口230で検出できたかどうか、景品払出口230に設けられたセンサからの情報の受信を待つ。ユーザが景品を獲得でき、景品払出口230から排出された場合、通信部110を介してユーザ端末50へ景品の獲得を通知し、景品の配送情報等の入力を求める。
[0044]
 図4は、符号化部120の構成の一例を示すブロック図である。符号化部120は、撮像部30から動画を受け取り、一例としてH.264/AVC規格に従ってフレーム画像を符号化し、符号化した動画ストリームを生成する。また、符号化部120は、基準フレーム生成管理部130からのフレーム生成信号に応じて、基準フレーム又は差分フレームを生成する。符号化部120は、差分フレームを設定する信号を受信すると、PまたはBフレームのみを生成し、基準フレーム生成管理部130から任意のフレームに設定する信号を受信すると、IまたはP、Bフレームを生成する。符号化部120は、入力バッファ1202、減算器1204、DCT部1206、量子化部1208、逆量子化部1210、逆DCT部1212、加算器1214、フレームメモリ1216、動き検出部1218、動き補償部1220、エントロピー符号化部1222、出力バッファ1224、符号量制御部1226を有する。
[0045]
 入力バッファ1202は、撮像部30から入力された動画をフレーム間符号化するために必要な参照されるフレーム画像を並べ替えて保持するバッファである。例えば、前方予測、後方予測、双方向予測に対応して必要な参照フレームを保持し、動き検出部1218に参照画像を供給する。
[0046]
 減算器1204は、Iフレーム生成の場合は、入力バッファ1202から供給される画像フレームをそのままDCT部1206に供給し、PまたはBフレームの場合は、動き補償部1220から供給される予測画像との差分を計算してDCT部1206に供給する。
[0047]
 DCT部1206は、供給されたI、PまたはBフレームの画像を離散コサイン変換(Discrete Cosine Transform:DCT)処理を行い、得られたDCT係数を量子化部1208に供給する。
[0048]
 量子化部1208は、DCT係数を量子化し、エントロピー符号化部1222に供給する。また、量子化部1208は、動き補償を行うために量子化されたDCT係数を逆量子化部1210に供給する。
[0049]
 逆量子化部1210は供給された量子化されたDCT係数を逆量子化し、逆DCT部1212へ供給する。逆DCT部1212は、逆量子化されたデータを逆DCT処理する。これにより符号化された画像フレームが復元される。フレームメモリ1216は、動き補償の参照画像として用いるために復元されたフレーム画像を記憶する。動き検出部1218は、フレームメモリ1216に記憶されているフレーム画像を参照し、現在処理対象のフレーム画像について動き探索を行って、動き検出を行う。動き補償部1220は、参照画像に対して、動きベクトルと動き補償された予測画像を生成し、予測画像を減算器1204に供給する。また、生成した動きベクトルと予測画像は、加算器1214を介して、フレームメモリ1216へ記憶される。また、動きベクトルをエントロピー符号化部222へ供給する。
[0050]
 エントロピー符号化部1222は、量子化部1208により量子化されたDCT係数のエントロピー符号化(可変長符号化)を行い、エントロピー符号化された圧縮画像データを出力バッファ1224に格納する。エントロピー符号化部1222は、P又はBフレーム、つまり差分フレームの場合は、動き検出部1218から供給された動きベクトルとともに差分画像の量子化されたDCT係数をエントロピー符号化する。
[0051]
 出力バッファ1224は、符号化した動画ストリームが格納され、ヘッダ情報などが付された後、動画ストリームとして出力される。出力された動画ストリームは、通信部110を介してユーザ端末50へ配信されるとともに、動画ストリーム記憶部132へ供給され、記憶される。
[0052]
 符号量制御部1226は、出力バッファ1224に記憶された記憶量に基づき、量子化部1208の量子化処理をフィードバック制御する。
[0053]
 図5は、基準フレーム生成管理部130における符号化処理に関するフローチャートの一例である。基準フレーム生成管理部130は、撮像部30から符号化部120に入力され、処理するフレーム画像があるかどうか判定を行い(ステップS501)、処理するフレーム画像がある場合(Yes)は、通常のエンコード処理を行うよう符号化部120へ信号を送る(ステップS502)。例えばGOPが60枚のフレーム画像で構成され、1GOPが2秒で再生されるとする。この場合、通常のエンコード処理とは、GOPの最初に基準フレームを必ず生成し、それ以降の59枚の画像フレームは、差分フレーム(P又はBフレーム)を生成する処理である。処理するフレーム画像がない場合(No)は、処理を終了する。
[0054]
 基準フレーム生成管理部130は、通信部110から基準フレーム生成停止信号を受信したかどうか判定する(ステップS503)。基準フレーム生成停止信号を受信したとき(yes)、基準フレーム生成管理部130は、基準フレームの生成を停止する信号を符号化部120へ送る。つまり、生成フレームを差分フレームであるP又はBフレームを設定する信号を符号化部120へ送る。なお、ユーザ端末50から送信される基準フレーム生成停止信号は、機械制御信号であってもよい。この場合、ユーザがゲームを開始し、ゲーム装置200のクレーン220を移動させようと、ユーザ端末50に表示されたwebコントローラから機械制御信号を入力、送信すると、動画配信装置10の通信部110は、機械制御信号を受信すると、機械制御信号を機械制御部140と基準フレーム生成管理部130へ供給する。基準フレーム生成管理部130は、機械制御信号を受信すると基準フレーム生成停止を設定する信号を符号化部120へ送信する。基準フレーム生成停止信号を受信していない場合(no)、通常のエンコード処理を続行するよう符号化部120へ信号を送る(ステップS502)。
[0055]
 基準フレームの生成停止信号を符号化部120へ送信後、基準フレーム生成管理部130は、基準フレーム生成再開信号を受信したか判定する(ステップS505)。基準フレーム生成再開信号を受信したと判定したとき(yes)、基準フレーム生成管理部130は通常のエンコード処理を続行するよう、符号化部120へ信号を送る(ステップS502)。また、基準フレーム生成再開信号を受信していないと判定したとき(no)、引き続き基準フレームの生成を停止するよう信号を送信する(ステップS504)。
[0056]
 図6は、動画配信装置10が基準フレーム生成停止信号や基準フレーム生成再開信号を受信した場合の符号化処理の仕組みを説明する図である。図6(a)は、基準フレーム生成停止信号や基準フレーム生成再開信号を受信しない場合の符号化処理を示す図面である。基準フレーム生成停止信号や基準フレーム生成再開信号を受信しない場合、GOPの最初のフレームに基準フレーム、つまりIフレームを生成し、残りの59枚のフレームは、差分フレームを生成する。ここでは、差分フレームは、すべてPフレームとしているが、差分フレームとしてPフレームだけでなくBフレームも生成されてもよい。GOPの最初のフレームにIフレームが生成されるため、1番目、61番目、121番目のフレーム画像にIフレームが生成される。その他のフレームには、Pフレームが生成されている。
[0057]
 図6(b)は、基準フレーム生成停止信号や基準フレーム生成再開信号、また、動画配信要求を受信した場合の符号化処理を示す図面である。ここでは、ユーザ端末50から動画配信装置10が3番目のフレーム生成時に基準フレーム生成停止信号を受信し、118番目のフレーム生成時に基準フレーム生成再開信号を受信する。なお、この信号は、機械制御信号を兼ねていてもよい。動画配信装置10の通信部110が基準フレーム生成停止信号を受信し、基準フレーム生成管理部130に供給されると、基準フレーム生成管理部130は、基準フレームの生成を停止するよう、つまり符号化するフレームの種類を差分フレームに設定する信号を符号化部120へ与える。すると、符号化部120は、基準フレーム生成再開信号を受信するまで、基準フレームの生成を停止するため、61番目、GOPの最初のフレームであっても基準フレームであるIフレームを生成しない。そして、118番目のフレーム生成時に、動画配信装置10の通信部110が基準フレーム生成再開信号を受信すると、基準フレーム生成管理部130は、符号化部120へ生成するフレームの種類を任意のフレームに設定する信号を与える。このため、符号化部120は、通常の符号化処理に戻り、121番目、GOPの最初のフレームにおいてIフレームを生成する。この基準フレーム生成再開信号は、機械制御停止信号を兼ねていてもよい。このように構成することで、ユーザがユーザ端末50からネットワークを介してゲーム装置等の機械を制御している間、データサイズの大きい基準フレームの生成が停止されるため、どのようなネットワーク、ユーザ端末を使用していたとしても動画配信が遅延することなく、スムーズに動画が配信されるため、動画を見ながらユーザは正確に機械を制御することができる。また、機械動作中は、機械の動作によって背景が変化するのみであるため、差分フレームのみが生成されたとしても、生成される画像の質に問題は生じない。
[0058]
 また、ここで、ユーザ端末が機械制御中に別のユーザ端末がその機械の動画配信の要求を送信したとする。図6(b)では、7番目のフレーム生成時に機械を制御しているユーザ端末とは別のユーザ端末から動画配信要求を受信した例を示している。この場合、動画配信要求を送信したユーザ端末に、7番目のフレームから動画ストリームを送信するとともに、基準フレーム生成管理部130は、1~6番目のフレーム画像を動画ストリーム記憶部132から読み出して、送信する。このため、他のユーザ端末が最初に受信するフレームが差分フレームであっても、その差分フレームが属する基準フレーム以降のすべてのフレームも併せて受信するため、これらをすべて復号することで7番目の画像のフレームを復号、再生することができる。
[0059]
 図7は、ユーザ端末50の構成の一例を示す機能ブロック図である。ユーザ端末50は、例えば、パーソナルコンピュータ、スマートフォン、携帯電話などネットワークに接続することができ、動画を表示、再生することができる通信端末であれば、どのような端末であってもよい。ユーザ端末50は、通信部52、復号部54、制御部56、スピーカ58、ディスプレイ60、入力部62を有する。
[0060]
 通信部52は、動画配信装置10から配信されるゲーム装置などの機械の様子を撮影した動画ストリームや機械を制御するためのwebコントローラなどのインターネットページなどを受信するとともに、ユーザが入力する基準フレーム生成停止信号、基準フレーム生成再開信号、機械制御信号、機械制御停止信号などを動画配信装置10へ送信する。
[0061]
 復号部54は、通信部52が受信した動画ストリームは符号化されているため、復号してビデオを再生する。音声も含まれている場合は、音声も復号化してオーディオを再生し、それぞれスピーカ58とディスプレイ60に出力する。
[0062]
 制御部56は、復号部54の復号処理の制御、通信部52の通信制御、入力部62から入力された機械制御、機械制御停止等の信号を通信部52へ供給する等、ユーザ端末の全般的な制御を行う。
[0063]
 スピーカ58は、動画配信装置10から受信し復号部54が復号した音声を出力し、ディスプレイ60は、復号部54が復号したビデオを出力する。また、入力部62は、ユーザからの機械制御のための信号などを受け付け、例えばキーボード、マウス、タッチパネルなどである。
[0064]
 図8は、動画配信装置10のハードウェア構成図の一例である。図8に示されているようにコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。コンピュータは、CPU(中央演算装置)801と、CPU801にバスを介して接続されているRAM(Random Access Memory)803、ROM(Read Only Memory)805、ハードディスクドライブなどの外部記憶装置807、I/Oインターフェース809、通信ネットワーク回線に接続するための通信インターフェース811などとを備え、I/Oインターフェース809には、カメラ813、マイク815、ディスプレイ817が接続されている。この場合、例えば、動画配信装置10の符号化部120、基準フレーム生成管理部130、機械制御部140、ゲーム結果管理部150の機能が、コンピュータ上で実行されるプログラムによって実現され、動画ストリーム記憶部132の機能が外部記憶装置807によって実現され、撮像部30の機能がカメラによって実現される。また、ゲーム装置の音楽や音も動画と合わせて配信する際には、音声入力部の機能がマイクによって実現される。各種機能を実現するプログラムは、外部記憶装置807に記憶され、RAM803に読みだされた後に、CPU801によって実行される。

符号の説明

[0065]
 10  動画配信装置
 30  撮像部
 40  インターネット
 110 通信部
 120 符号化部
 130 基準フレーム生成管理部
 132 動画ストリーム記憶部
 140 機械制御部
 150 ゲーム結果管理部
 200 ゲーム装置

請求の範囲

[請求項1]
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、
前記符号化部は、前記基準フレーム生成管理部が前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置。
[請求項2]
前記基準フレーム生成停止信号は、機械制御信号であり、前記基準フレーム生成再開信号は、機械制御停止信号であり、
さらに、接続された機械の駆動を制御する機械制御部を有し、
前記機械制御部は、前記機械制御信号を受信すると、前記機械制御信号に応じて接続された機械を駆動させ、前記機械制御停止信号を受信すると、前記機械の駆動を停止する、請求項1記載の動画配信装置。
[請求項3]
前記機械制御部が制御する機械は、プレイフィールド内にある景品を獲得するゲーム装置において、景品を獲得するためのクレーンであり、
前記符号化部は、前記撮像部が撮像した前記ゲーム装置内の動画を符号化する、
請求項2記載の動画配信装置。
[請求項4]
さらに、前記符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、
他の受信端末から動画配信要求を受信すると、前記基準フレーム生成管理部は前記動画ストリーム記憶部に記憶された前記基準フレーム以降の符号化した動画ストリームを最初に送信する、
請求項2又は3記載の動画配信装置。
[請求項5]
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化ステップと、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成再開信号受信ステップと、を有し、
前記符号化ステップは、前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信方法。
[請求項6]
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、
前記符号化部は、前記基準フレーム生成管理部が前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置としてコンピュータを機能させることを特徴とするコンピュータプログラム。
[請求項7]
撮像部で撮像した動画をフレーム間符号化し、符号化した動画ストリームを生成する符号化部と、
符号化した動画ストリームを受信する受信端末から、基準フレーム生成停止信号または基準フレーム生成再開信号を受信する基準フレーム生成管理部と、を有し、
前記符号化部は、前記基準フレーム生成管理部が前記基準フレーム生成停止信号を受信すると、基準フレームの生成を停止し、基準フレーム生成再開信号を受信すると、基準フレームの生成を再開して、フレーム間符号化を行う、動画配信装置と、
前記動画配信装置から前記符号化した動画ストリームを受信し、前記符号化した動画ストリームを復号して再生する復号部を有する受信端末と、を有する動画配信システム。
[請求項8]
前記動画配信装置は、
さらに、前記符号化部で直近に生成された基準フレーム以降の符号化した動画ストリームを記憶する動画ストリーム記憶部を有し、
他の受信端末から動画配信要求を受信すると、前記基準フレーム生成管理部は前記動画ストリーム記憶部に記憶された前記基準フレーム以降の符号化した動画ストリームを最初に送信し、
前記受信端末は、
前記復号部は、前記基準フレーム以降の符号化した動画ストリームを受信した場合、受信した動画ストリームをすべて復号してフレーム画像を生成して再生する、
請求項7記載の動画配信システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]