処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2007129591 - 遮蔽物映像識別装置及び方法

注意: このテキストは、OCR 処理によってテキスト化されたものです。法的な用途には PDF 版をご利用ください。

[ JA ]
明 細書

遮蔽物映像識別装置及び方法

技術分野

[0001] 本発明は、映像中の遮蔽物を識別する遮蔽物映像識別装置及び方法に関する。

背景技術

[0002] ビデオカメラは一般ユーザに広く浸透しており、様々な行事や旅行などで多くの人 が撮影を楽しんでいる。ところで、その撮影されたコンテンツをその後どうするかという と、せ、ぜぃ 1回見るか見な、かでそのまましま、込んでしまう例が多く見受けられる 。その主な理由の 1つとして、撮影しただけではまだあくまでも「素材」であり、そのま までは観賞に適さないとういうことがある。観賞に適さない理由としては、撮影中にビ デォカメラの直前を人が横切ったり、画面下部に人の頭が入り込んだりして見苦しい シーンが多く含まれて、ることが挙げられる。観賞に適する魅力あるコンテンツにする には、どうしても編集作業が必要になる。し力しながら、それには時間も手間もかかる ため編集を諦め、結局撮りっぱなしになってしまうのである。

[0003] 編集を行う場合には、先ず、最初に撮影した映像を全てチェックし、残すシーンと削 除する不要シーンとを選別することが必要である。その後、必要であれば補正や加工 を行い、最終的にテロップを入れたり繋ぎ目にトランジッシヨン効果をカ卩えたりすること が行われる。最後のテロップの挿入、及びトランジッシヨン効果の追加の作業はクリエ ィティブで楽しい面も多いのだ力最初のシーン選別は、編集対象の撮影した映像 全てを見る必要があり、大変時間も力かり面白みもない。そのため、この段階で嫌に なって編集することを諦めてしまう場合も多、。

[0004] 編集作業のうちの映像力もの不要シーンの映像の選別を容易に行うためには、映 像中における遮蔽物、すなわち被写体の手前を遮る物体を識別することが必要であ る。そのような遮蔽物として移動体を識別する従来方法としては、カメラで撮像されて 得られた画像信号を記憶する画像メモリを設け、画像フレーム間での画像の動きの ベクトル量 (動きベクトル)を計測して動きのある移動領域を検出し、検出した移動領 域のカメラ画像上の座標を実空間座標に変換し、該実空間座標に変換された物体

の大きさ、縦横比または移動速度の少なくとも 1つを予め複数の物体の特徴を登録し たテーブルと照合し、該当する移動物体の種類を識別する方法がある (特許文献 1)

[0005] また、映像中の動きのある物体についての動きベクトルを抽出し、動き指標に基づ き物体ブロックを抽出し、その統計量を求め、基準値と比較して目標移動体を判別す る方法が公知である (特許文献 2参照)。

[0006] 更に、撮像された画像のぼけ領域を識別する方法としては、コントラスト比に応じて 合焦状態が所定のレベル以下の領域についてその面積を検出し、検出した面積が 所定の面積以上であればぼけ領域と判定する方法が公知である (特許文献 3参照)

特許文献 1:特開 2002— 027449号公報

特許文献 2:特開平 09— 252467号公報

特許文献 3 :特開 2005— 136727号公報

発明の開示

発明が解決しょうとする課題

[0007] し力しながら、力かる従来の移動物体やぼけ部分の識別方法にぉ、ては、カメラの 情報が必要であったり特徴点の抽出 '追跡が必要であり、一般的な映像信号力十 分な精度で遮蔽物を識別することができな、と、う欠点があった。

[0008] 本発明が解決しょうとする課題には、上記の欠点が一例として挙げられ、映像信号 力 映像中の遮蔽物を正確に識別することができる遮蔽物映像識別装置及び方法、 並びに遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムを提供す ることが本発明の目的である。

課題を解決するための手段

[0009] 請求項 1に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽 物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動 きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を 2値ィ匕する 2 値ィ匕手段と、フレーム毎に前記 2値ィ匕手段の出力値が同一値をとつた画素又はプロ ック間で隣接した連続的な領域を検出する 2次元連続領域検出手段と、前記 2次元 連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領 域として抽出する大領域抽出手段と、前記大領域抽出手段によって検出された大領 域における面積比、形状及び位置の少なくとも 1に基づいてその大領域を遮蔽物部 分として判定する判定手段と、を備えたことを特徴として、る。

[0010] 請求項 8に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽 物映像識別装置であって、

映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出す るぼけレベル算出手段と、前記ぼけレベルの算出値を 2値ィ匕する 2値ィ匕手段と、フレ ーム毎に前記 2値ィ匕手段の出力値が同一値をとつた画素又はブロック間で隣接した 連続的な領域を検出する 2次元連続領域検出手段と、前記 2次元連続領域検出手 段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する 大領域抽出手段と、前記大領域抽出手段によって検出された大領域における面積 比、形状及び位置の少なくとも 1に基づいてその大領域を遮蔽物部分として判定する 判定手段と、を備えたことを特徴としている。

[0011] 請求項 15に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽 物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動 きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を 2値ィ匕する 第 1の 2値化手段と、フレーム毎に前記第 1の 2値化手段の出力値が同一値をとつた 画素又はブロック間で隣接した連続的な領域を検出する第 1の 2次元連続領域検出 手段と、前記第 1の 2次元連続領域検出手段によって検出された領域のうちで所定 の面積以上の領域を大領域として抽出する第 1の大領域抽出手段と、前記第 1の大 領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくと も 1に基づいてその大領域を遮蔽物部分として判定する第 1の判定手段と、画素単 位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、前記ぼ けレベルの算出値を 2値ィ匕する第 2の 2値ィ匕手段と、フレーム毎に前記第 2の 2値ィ匕 手段の出力値が同一値をとつた画素又はブロック間で隣接した連続的な領域を検出 する第 2の 2次元連続領域検出手段と、前記第 2の 2次元連続領域検出手段によつ て検出された領域のうちで所定の面積以上の領域を大領域として抽出する第 2の大

領域抽出手段と、前記第 2の大領域抽出手段によって検出された大領域における面 積比、形状及び位置の少なくとも 1に基づいてその大領域を遮蔽物部分として判定 する第 2の判定手段と、を備えたことを特徴としている。

[0012] 請求項 20に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽 物映像識別方法であって、映像信号をフレーム毎に画素単位又はブロック単位で動 きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を 2値ィ匕す る 2値化ステップと、フレーム毎に前記 2値化ステップにおいて 2値ィ匕された値が同一 値をとつた画素又はブロック間で隣接した連続的な領域を検出する 2次元連続領域 検出ステップと、前記 2次元連続領域検出ステップにおいて検出された領域のうちで 所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域 抽出ステップにお、て検出された大領域における面積比、形状及び位置の少なくと も 1に基づ!/、てその大領域を遮蔽物部分として判定する判定ステップと、を備えたこ とを特徴としている。

[0013] 請求項 21に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽 物映像識別方法であって、映像信号をフレーム毎に画素単位又はブロック単位で映 像のぼけレベルを算出するぼけレベル算出ステップと、前記ぼけレベルの算出値を 2 値ィ匕する 2値化ステップと、フレーム毎に前記 2値化ステップにお、て 2値化された値 が同一値をとつた画素又はブロック間で隣接した連続的な領域を検出する 2次元連 続領域検出ステップと、前記 2次元連続領域検出ステップにおヽて検出された領域 のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前 記大領域抽出ステップにお、て検出された大領域における面積比、形状及び位置 の少なくとも 1に基づ、てその大領域を遮蔽物部分として判定する判定ステップと、を 備えたことを特徴としている。

[0014] 請求項 22に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識 別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム 毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、 前記動きレベルの算出値を 2値ィ匕する 2値化ステップと、フレーム毎に前記 2値化ス テツプにお、て 2値ィ匕された値が同一値をとつた画素又はブロック間で隣接した連続 的な領域を検出する 2次元連続領域検出ステップと、前記 2次元連続領域検出ステ ップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出す る大領域抽出ステップと、前記大領域抽出ステップにお、て検出された大領域にお ける面積比、形状及び位置の少なくとも 1に基づいてその大領域を遮蔽物部分として 判定する判定ステップと、を備えたことを特徴として、る。

[0015] 請求項 23に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識 別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム 毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出ステ ップと、前記ぼけレベルの算出値を 2値ィ匕する 2値化ステップと、フレーム毎に前記 2 値化ステップにお、て 2値ィ匕された値が同一値をとつた画素又はブロック間で隣接し た連続的な領域を検出する 2次元連続領域検出ステップと、前記 2次元連続領域検 出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として 抽出する大領域抽出ステップと、前記大領域抽出ステップにお、て検出された大領 域における面積比、形状及び位置の少なくとも 1に基づいてその大領域を遮蔽物部 分として判定する判定ステップと、を備えたことを特徴として、る。

図面の簡単な説明

[0016] [図 1]本発明の実施例を示すブロック図である。

[図 2]動きレベルの算出を説明するための図である。

[図 3]ぼけレベルの算出を説明するための図である。

[図 4]動き遮蔽物が存在する映像についての判定動作の際の装置各部の状態を示 す図である。

[図 5]カメラパン時の映像についての判定動作の際の装置各部の状態を示す図であ る。

[図 6]ぼけ遮蔽物が存在する映像についての判定動作の際の装置各部の状態を示 す図である。

[図 7]本発明の他の実施例を示すブロック図である。

[図 8]本発明の実施例として動き遮蔽物判定系の構成だけを備えた遮蔽物映像識別 装置を示すブロック図である。

[図 9]本発明の実施例としてぼけ遮蔽物判定系の構成だけを備えた遮蔽物映像識別 装置を示すブロック図である。

[図 10]本発明の他の実施例を示すブロック図である。

符号の説明

[0017] 1 2D— DCT回路

2 動き遮蔽物判定系

3 ぼけ遮蔽物判定系

4 判定結果統合部

5 検出枠拡大部

発明を実施するための最良の形態

[0018] 請求項 1に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位 で動きレベルを動きレベル算出手段によって算出し、動きレベルの算出値を 2値化し た後、 2次元連続領域検出手段によって 2次元連続領域を検出し、更にその領域の うちの大領域を抽出して判定手段によって大領域における面積比、形状及び位置の 少なくとも 1に基づ、てその大領域を遮蔽物部分として判定することが行われる。また 、請求項 20に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単 位で動きレベルを算出し、動きレベルの算出値を 2値ィ匕した後、 2次元連続領域を検 出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位 置の少なくとも 1におけるその大領域を遮蔽物部分として判定することが行われる。更 に、請求項 22に係る発明によれば請求項 20に係る発明の遮蔽物映像識別方法と同 様の方法がコンピュータによって実行される。

[0019] よって、請求項 1、 20及び 21に係る発明によれば、映像信号から映像中の動きが ある遮蔽物を正確に識別することができる。

[0020] 請求項 1の動きレベル算出手段は、周波数解析手段と、周波数解析結果に応じて 垂直方向の最高周波数成分のパワー比を動きレベルの値とする。周波数解析手段 は、複数の画素力なるブロック単位で DCT (2次元離散コサイン変換)又は DFT( 離散フーリエ変換)を行う。請求項 1の 2次元連続領域検出手段は、フレーム毎に 2値 化手段の出力値に対するラベリング処理を行う。

[0021] 請求項 1の判定手段は、大領域の外接矩形面積と領域面積との比が第 1所定の範 囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、大領域の 横幅と縦幅との比が第 2所定の範囲の値であるとき形状判定条件を満たすと判定す る形状判定部と、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあ るとき位置判定条件を満足すると判定する位置判定部と、を備えて、る。

[0022] 所定の条件は、 2次元連続領域検出手段によって検出された 1フレーム内の領域 の数が所定数以下である条件を含む。

[0023] 請求項 8に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位 でぼけレベルをぼけレベル算出手段によって算出し、ぼけレベルの算出値を 2値ィ匕 した後、 2次元連続領域検出手段によって 2次元連続領域を検出し、更にその領域 のうちの大領域を抽出して判定手段によって大領域における面積比、形状及び位置 の少なくとも 1に基づ、てその大領域を遮蔽物部分として判定することが行われる。ま た、請求項 21に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック 単位でぼけレベルを算出し、ぼけレベルの算出値を 2値ィ匕した後、 2次元連続領域を 検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び 位置の少なくとも 1に基づ!/、てその大領域を遮蔽物部分として判定することが行われ る。更に、請求項 23に係る発明によれば請求項 21に係る発明の遮蔽物映像識別方 法と同様の方法がコンピュータによって実行される。

[0024] よって、請求項 8、 21及び 23に係る発明によれば、映像信号から映像中の非合焦 の遮蔽物を正確に識別することができる。

[0025] 請求項 8のぼけレベル算出手段は、周波数解析手段と、周波数解析結果に応じて 低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比をぼけレベル の値とする。周波数解析手段は、複数の画素力もなるブロック単位で DCT又は DFT を行う。請求項 8の 2次元連続領域検出手段は、フレーム毎に 2値化手段の出力値 に対するラベリング処理を行う。

[0026] 請求項 8の判定手段は、大領域の外接矩形面積と領域面積との比が第 1所定の範 囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、大領域の 横幅と縦幅との比が第 2所定の範囲の値であるとき形状判定条件を満たすと判定す る形状判定部と、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあ るとき位置判定条件を満足すると判定する位置判定部と、を備えて、る。

[0027] 所定の条件は、前記 2次元連続領域検出手段によって検出された 1フレーム内の 領域の数が所定数以下である条件を含む。

[0028] 請求項 15に係る発明によれば、映像信号をフレーム毎に画素単位又は複数の画 素からなるブロック単位で周波数解析し、その周波数解析結果に応じて画素単位又 はブロック単位で動きレベルを算出し、動きレベルの算出値を 2値ィ匕した後、 2次元 連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比 、形状及び位置の少なくとも 1に基づいてその大領域を遮蔽物部分として判定し、周 波数解析結果に応じて画素単位又はブロック単位でぼけレベルを算出し、ぼけレべ ルの算出値を 2値化した後、 2次元連続領域を検出し、更にその領域のうちの大領域 を抽出して大領域における面積比、形状及び位置の少なくとも 1に基づいてその大 領域を遮蔽物部分として判定することが行われる。よって、映像信号から映像中の動 きがある遮蔽物及び非合焦の遮蔽物を共に正確に識別することができる。

実施例

[0029] 以下、本発明の実施例を図面を参照しつつ詳細に説明する。

[0030] 図 1は本発明による遮蔽物映像識別装置を示している。この遮蔽物映像識別装置 は、 2D— DCT(2次元離散コサイン変換)回路動き遮蔽物判定系 2、ぼけ遮蔽物 判定系 3、判定結果統合部 4及び検出枠拡大部 5を備えている。

[0031] 2D— DCT回路 1には入力映像信号が供給される。入力映像信号は 720 X 480ピ クセルの解像度の映像を示すとする。 2D - DCT回路 1は入力映像信号の 1フレー ムを 16 X 16ピクセルのブロックで DCT変換を行う。入力映像信号がインタレース方 式の映像信号の場合には 2フィールドを 1フレームとする。また、プログレッシブ映像 信号の場合には、 1フレームの奇数フィールドとその次のフレームの偶数フィールドと を合わせて 1フレームとする。奇数'偶数フィールドの組合わせは逆でも良いし、連続 するフレーム力ではなぐ数フレーム飛越して組合わせても良い。組合わせるフィー ルド同士の時間差が大きくなると、遅い動き物体にも反応するようになる力その時間 内の移動距離が処理ブロックの大きさを超えると逆に検出できなくなるので、通常数 フレーム以内が望ましい。また、入力信号のプログレッシブ 'インタレースにかかわら ず、隣接フレームの奇数'偶数フィールドを組合わせるようにしても良い。こうすること により、入力信号がプログレッシブであろうとインタレースであろうと検出できるようにな る。さらに、奇数フィールド同士、偶数フィールド同士を組合わせても良い。

[0032] 2D DCT回路 1の出力に動き遮蔽物判定系 2及びぼけ遮蔽物判定系 3が接続さ れている。動き遮蔽物判定系 2は、動きレベル算出部 21、 2値ィ匕部 22、ラベリング部 23、大領域抽出部 24、面積比判定部 25、形状判定部 26、位置判定部 27、ラベル 数判定部 28、及び総合属性判定部 29を備えてヽる。

[0033] 動きレベル算出部 21は、 DCT結果の DCT係数に応じて動き映像のブロックを検 出するために動きの大きさを示す動きレベルを算出する。図 3(a)に示すように、水平 方向の画素数が m、垂直方向の画素数力のブロックを DCTすると、図 3(b)に示すよ うに、水平方向 uの空間周波数と垂直方向 Vの空間周波数力なる変換空間座標に おいて動きレベルは、次式によって算出される。なお、 DCT係数は X 0, 0〜X N- l, N- 1 であり、 N= 16である。

[0034] [数 1]

八 0, Ν-ί

a v

[0035] 2値化部 22は、動きレベル算出部 21の出力に接続され、動きレベル算出部 21によ つて算出された動きレベルを所定の閾値で 2値ィ匕する。

[0036] ラベリング部 23は、 2値ィ匕部 22の出力に接続され、 2値ィ匕した動きレベルをラベリン グ処理する。ラベリング処理とは、 2値ィ匕した動きレベルが同一値の上下左右の 4方 向及び斜めの 4方向のいずれかにおいて隣接するブロックを 1つの領域(又はグルー プ)とし、同一領域のブロックに同一のラベルを付カロして分類することである。例えば 、 2値ィ匕した動きレベルが明るいブロックが隣接しているならば、その塊が 1つの領域 (グループ)となり、その領域内の各ブロックに同一のラベルが付加される。ラベリング 部 23は領域の情報を大領域抽出部 24に出力すると共にラベルを付加した数、すな

わちラベル数をラベル数判定部 28に出力する。

[0037] 大領域抽出部 24はラベリング処理の結果、作成された領域のうちのその面積が所 定の面積以上の大領域を抽出する。所定の面積は、例えば、 1フレームの面積の 1 Z30の大きさである。大領域抽出部 24は最大面積の領域を大領域として抽出しても 良い。大領域抽出部 24の出力に面積比判定部 25、形状判定部 26、及び位置判定 部 27が接続されている。

[0038] 面積比判定部 25は、フレーム毎に 1フレームにおける所定の面積以上の面積の大 領域の外接矩形面積と領域面積との比 =外接矩形面積 Z領域面積を検出し、その 比が第 1所定の範囲の値 (例えば、 0. 5以上 1. 0未満)であるときそのフレームの面 積比判定条件を満足すると判定する。形状判定部 26は、 1フレームにおける所定の 面積以上の面積の大領域の形状に応じてフレームの形状判定条件を満足する力否 かを判定する。大領域の横幅 Z縦幅が第 2所定の範囲の値 (例えば、 0. 7以上 7以 下)であるとき形状判定条件を満たすと判定する。位置判定部 27は、 1フレームにお ける大領域の位置に応じてフレームの位置判定条件を満足する力否かを判定する。 大領域の重心の垂直方向座標が画面全体の下方 2Z3の部分にあるとき位置判定 条件を満足すると判定する。

[0039] ラベル数判定部 28は、ラベリング部 23で付加されたラベルの数に応じてフレーム が遮蔽物検出対象である否かを判定する。ラベル数が所定数(10)以下のときフレー ムが遮蔽物検出対象であると判定する。

[0040] 総合属性判定部 29は、面積比判定部 25、形状判定部 26、位置判定部 27、及び ラベル数判定部 28各々の出力に接続され、フレーム毎に面積比判定部 25による面 積比判定結果、形状判定部 26による形状判定結果、位置判定部 27による位置判定 結果、及びラベル数判定部 28によるラベル数判定結果に応じて遮蔽物の存在を判 定する。すなわち、ラベル数判定部 28によって遮蔽物検出対象と判定され、かつ面 積比判定条件、形状判定条件及び位置判定条件の各々が満足されているならば、 総合属性判定部 29では遮蔽物が存在すると判定される。

[0041] ぼけ遮蔽物判定系 3は、ぼけレベル算出部 31、 2値化部 32、ラベリング部 33、大 領域抽出部 34、面積比判定部 35、形状判定部 36、位置判定部 37、ラベル数判定 部 38、及び総合属性判定部 39を備えている。

[0042] ぼけレベル算出部 31は、 DCT変換結果の DCT係数に応じて非合焦のブロックを 検出するために非合焦の程度を示すぼけレベルを算出する。

[0043] 図 3(a)に示すように、水平方向の画素数が m、垂直方向の画素数力 ¾のフレームを

DCT変換すると、図 3(b)に示すように、水平方向 uの空間周波数と垂直方向 Vの空間 周波数力もなる変換空間座標において低域の DCT係数パワーを

[0044] [数 2]


し' v

[0045] とすると、ぼけレベルは、次式によって算出される。

[0046] [数 3]

u=Qv=0 '


v

[0047] かかる算出式から分かるように、ぼけレベルは低域の DCT係数パワーとそれを除く 高域の DCT係数パワーとの比で表されて、るので、ブロックが非合焦であるほど大き な値となる。

[0048] 2値化部 32、ラベリング部 33、大領域抽出部 34、面積比判定部 35、形状判定部 3 6、位置判定部 37、ラベル数判定部 38、及び総合属性判定部 39は、上記の動き遮 蔽物判定系 2の 2値化部 22、ラベリング部 23、大領域抽出部 24、面積比判定部 25、 形状判定部 26、位置判定部 27、ラベル数判定部 28、及び総合属性判定部 29と同 一である。

[0049] 2値ィ匕部 32は、ぼけレベル算出部 31の出力に接続され、ぼけレベル算出部 31に よって算出されたぼけレベルを所定の閾値で 2値ィ匕する。ラベリング部 33は、 2値ィ匕 部 32の出力に接続され、 2値ィ匕したぼけレベルをラベリング処理する。大領域抽出 部 34はラベリング処理の結果、作成された領域のうちのその面積が所定の面積以上 の大領域を抽出する。面積比判定部 35は、フレーム毎に面積比判定条件を満足す る力否力と判定する。形状判定部 36は、フレーム毎に形状判定条件を満足するか否 力と判定する。位置判定部 37は、 1フレーム毎に位置判定条件を満足するか否かを 判定する。ラベル数判定部 38は、ラベリング部 33で付加されたラベルの数に応じて フレームが遮蔽物検出対象である否かを判定する。総合属性判定部 39は面積比判 定部 25、形状判定部 26、位置判定部 27、及びラベル数判定部 28各々の判別結果 に応じて遮蔽物の存在を判定する。

[0050] 総合属性判定部 29及び 39の出力に判定結果統合部 4が接続されて、る。判定結 果統合部 4は総合属性判定部 29及び 39のいずれか一方によって 1つのフレームに ついて遮蔽物の存在が判別されたときそのフレームには遮蔽物が存在すると判定す る。

[0051] 検出枠拡大部 5は、遮蔽物が存在すると判定されたフレームの前後のフレームを遮 蔽物存在フレームと判定する。

[0052] 力かる構成の遮蔽物映像識別装置においては、先ず、入力映像信号の 1フレーム のソース映像に図 4(a)に示すよう、被写体の前を遮るように右側から人が入り込んで きた場合について説明する。このような 1フレームの映像に対して動きレベル算出部 2 1ではブロック毎に動きレベルが算出される。図 4(b)は 2値化器 22によって 2値ィ匕され た動きレベルの算出値を示している。黒の部分が動き部分である。この 2値ィ匕後の映 像はラベリング部 23によってラベリング処理される。ラベリング処理では、図 4(b)の黒 の部分のブロックのうちの上下左右の 4方向及び斜めの 4方向のいずれかにおいて 隣接するブロックが 1つの領域とされる。図 4(c)はラベリング処理の結果を示している 。この例ではラベル数は 5(Label #1〜#5)である。ラベリング部 23では複数の領域が 検出された場合にはその複数の領域のうちから大領域が大領域抽出部 24によって 抽出される。図 4(c)のラベリング処理の結果に対して図 4(d)に示すように、図 4(a)の右 側の動きのある人物に対応した領域が大領域として抽出される。その抽出領域は、 面積比判定部 25、形状判定部 26、位置判定部 27、及びラベル数判定部 28各々の 判定条件を満足すれば、総合属性判定部 29によって図 4(e)に示すように、動きのあ

る遮蔽物として検出される。すなわち、現フレームは動きのある遮蔽物が含まれたフ レームと判定される。よって、被写体の前を横切る人が含まれるような映像を識別する ことができる。

[0053] この例のようにカメラ前を人が横切った場合、突然入ってくるのであるから比較的速 いスピードで移動しており、動きのある 2次元連続領域として検出される。また、被写 体とカメラの間を横切るのであるから当然その 2次元連続領域面積は大きい。従って 、上記の処理によって「カメラ前を横切った人」が検出される。被写体の後方を通った 場合は、動き領域が被写体によって分断されるため、大きな連続領域とはならない。 遠くを動く物体も同様である。また誤検出を防ぐため「領域属性判定」で、画面上部 に重心がある領域、極端に横長な領域(=人間らしくない)、重心が画面中央にある( =被写体の可能性が高い)場合は検出しないなどの条件を設定することにより、「カメ ラ前を人が横切った場合」を精度良く検出することができる。「領域属性判定」は、そ の領域の支配色や明度なども条件に加えることもできる。

[0054] カメラが動、た場合、画面全体に渡って動き領域が存在してしまうことがある力こ れも「領域属性判定」で、ほぼ画面全体が一つの領域として検出された場合、領域数 がある閾値以上ある(=小さな領域が画面全体に散らばつている)場合は検出しない などの条件を設定することにより、カメラワークによる動きと遮蔽物による動きを区別す ることもできる。カメラワークとの区別は、カメラワーク検出を別に行って、その結果を 参照するようにしても良い。

[0055] ビデオカメラがパンしたことにより、図 5(a)に示すように、動きのある人物や物体が多 数存在するソース映像となった場合には、動きレベルの算出値は画面全体で大きく なり、 2値化器 22によって 2値ィ匕された動きレベルは図 5(b)のようになる。更に、図 5(c )はラベリング処理の結果を示しており、検出された領域数(=ラベル数、 Label #1〜# 50)が多いことが分かる。この多数の領域力最大面積の領域が図 5(d)に示すように 抽出されても、ラベル数が所定数より多いので、ラベル数判定部 28がその大領域を 遮蔽物検出対象とは判定しない。よって、ビデオカメラがパンしたときの映像では、図 5(e)に示すように動きのある遮蔽物が含まれたフレームとしては判定されない。

[0056] 一方、入力映像信号の 1フレームのソース映像に図 6(a)に示すよう、左下部に非合

焦の人の頭が存在する場合には、ぼけレベル算出部 31ではブロック毎にぼけレベル が算出される。図 6(b)は 2値化器 32によって 2値ィ匕されたぼけレベルの算出値を示し ている。黒の部分がぼけ部分である。この 2値ィ匕後の映像はラベリング部 33によって ラベリング処理される。ラベリング処理では、図 6(b)の黒の部分のブロックのうちの上 下左右の 4方向及び斜めの 4方向のいずれかにおいて隣接するブロックが 1つの領 域とされる。図 6(c)はラベリング処理の結果を示している。この例ではラベル数は 8(La bel #1〜#8)である。その複数の領域のうちから大領域が大領域抽出部 24によって図 6(d)に示すように抽出される。その抽出領域は、面積比判定部 35、形状判定部 36、 位置判定部 37、及びラベル数判定部 38各々の判定条件を満足すれば、総合属性 判定部 29によって図 6(e)に示すように、ぼけ遮蔽物として検出される。すなわち、現 フレームはぼけ遮蔽物が含まれたフレームと判定される。よって、被写体の前を人の 頭が遮るような映像を識別することができる。

[0057] この例のように画面下部に頭が入り込んだ場合、その場合の「頭」はピントの合って な!、ボケた比較的大き!/、2次元連続領域であるので、上記の処理によって「頭」が検 出される。ボケレベル検出を周波数解析によって行った場合は、例えば空などの平 坦部もボケ領域として誤検出されてしまうことがあるが、「領域属性判定」で画面上部 に重心がある領域、極端に横長な領域(=人間らしくない)は検出しないなどの条件 を設定することにより、「頭が入り込んだ場合」を精度良く検出することができる。「領 域属性判定」は、その領域の支配色や明度なども条件に加えることもできる。

[0058] また、カメラが動いた場合に画面全体がボケたりすることがある力これも「領域属性 判定」で、ほぼ画面全体が一つの領域として検出された場合、領域数がある閾値以 上ある(=小さな領域が画面全体に散らばつている)場合は検出しないなどの条件を 設定することにより、カメラワークによるボケと遮蔽物によるボケを区別することもできる 。カメラワークとの区別は、カメラワーク検出を別に行って、その結果を参照するように しても良い。

[0059] このように遮蔽物が存在するフレームが判定されると、その判定されたフレームとそ の前後のフレームとが遮蔽物存在フレームとして検出枠拡大部 5によって判定される [0060] なお、上記した実施例においては、 2D— DCT回路 1によって映像信号を周波数 解析し、その周波数解析した結果を用いて動きレベル及びぼけレベルを算出してヽ る力図 7に示すように、映像信号を動きレベル算出部 21及びぼけレベル算出部 31 に直接供給して映像信号に応じて動きレベル及びぼけレベルを別々の方法で算出 しても良い。すなわち、動きレベル算出部 21による動きレベル算出方法及びぼけレ ベル算出部 31によるぼけレベル算出方法は上記した実施例に限定されない。

[0061] また、上記した実施例においては、動き遮蔽物判定系 2とぼけ遮蔽物判定系 3とが 備えられ、判定結果統合部 4においてその判定結果の論理和をとっている力動き 遮蔽物判定系 2及びぼけ遮蔽物判定系 3のうちの、ずれか一方だけを備えても良!、 。すなわち、図 8に示すように上記の動き遮蔽物判定系 2の構成だけを備えた遮蔽物 映像識別装置としても良いし、図 9に示すように上記のぼけ遮蔽物判定系 3の構成だ けを備えた遮蔽物映像識別装置としても良い。

[0062] また、ぼけ遮蔽物判定系は、例えば、図 10に示すように、検出枠拡大部 5の出力信 号を総合属性判定部 39に入力する構成にすることにより、動き遮蔽物判定系で遮蔽 物が検出された周辺ブロックのみや、動き遮蔽物判定系で遮蔽物が検出された後一 定時間内に検出された場合だけぼけ遮蔽物判定し続けるようにしても良、。こうする ことで、被写体の前を横切りそのままその場に留まってしまった遮蔽物を精度良く認 識し、他のぼけ領域を遮蔽物として誤認識するのを避けることができる。

[0063] 上記した実施例にお!、ては、面積比判定部 25 (35)、形状判定部 26 (36)及び位 置判定部 27 (37)の各々の判定条件を全て満足しなければ、遮蔽物としての判定が 決定されないが、その全ての判定条件のうちの少なくとも 1の判定条件を満足すれば 、大領域が遮蔽物部分と判定しても良い。また、ラベル数判定部 28 (38)のラベル数 の判定はなくても良い。

[0064] また、上記した実施例においては、 20— 001回路1にょって映像信号を001して いるが、変換方式としては DCTではなぐ DFT (離散フーリエ変換)を用いても良い。

[0065] 更に、上記した実施例においては、遮蔽物の判定のために映像信号を 1フレーム 毎にブロック単位で処理した力映像信号を 1フレーム毎に画素単位で処理しても良 い。また、ブロックとしては 16画素 X 16画素に限らず、 8画素 X 8画素等の画素数で も良い。

[0066] また、動きレベルの算出方法及びぼけレベルの算出方法について上記した実施例 に限定されない。動きレベルとしては MPEG符号ィ匕で用いられるような、ブロックマツ チングによる動きベクトル力も算出しても良いし、オプティカルフローから求めても良 い。ぼけレベルは、ブロック単位のコントラストから求めても良い。

[0067] 上記した動き遮蔽物判定系 2及びぼけ遮蔽物判定系 3を個別の又は単一のコンビ ユータによって構成しても良い。すなわち、動き遮蔽物判定系 2の各部の行程を実行 するコンピュータ読取可能なプログラム及びぼけ遮蔽物判定系 3の各部の行程を実 行するコンピュータ読取可能なプログラムをメモリに保存しておき、そのプログラムをコ ンピュータが実行することにより動き遮蔽物判定系 2及びぼけ遮蔽物判定系 3の各部 の機能を達成させるのである。

[0068] 以上の如ぐ本発明によれば、映像信号から映像中の動きがある遮蔽物及び非合 焦の遮蔽物を共に正確に識別することができ、編集作業の際に映像からの不要シー ンの映像の選別を容易に行うことができる。