処理中

しばらくお待ちください...

設定

設定

出願の表示

1. JPWO2007129591 - 遮蔽物映像識別装置及び方法

Document

Description

Title of Invention 遮蔽物映像識別装置及び方法 JP 2006130184 20060509 20120411 G06T 7/20 特開平07−065173(JP,A) 特開平11−316843(JP,A) 特開2004−110542(JP,A) JP2007059029 20070426 WO2007129591 20071115 20081106 新井 則和

Technical Field

0001  

Background Art

0002   0003   0004   0005   0006  

Disclosure of Invention

Technical Problem

0007   0008  

Technical Solution

0009   0010   0011   0012   0013   0014   0015  

Brief Description of Drawings

0016   0017  

Best Mode for Carrying out the Invention

0018   0019   0020   0023   0024   0025   0026   0028  

Mode for the Invention

0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068  

Claims

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

Drawings

1   2   3   4   5   6   7   8   9   10    

Description

遮蔽物映像識別装置及び方法

JP 2006130184 20060509 20120411 G06T 7/20 patcit 1 : 特開平07−065173(JP,A)
patcit 2 : 特開平11−316843(JP,A)
patcit 3 : 特開2004−110542(JP,A)
JP2007059029 20070426 WO2007129591 20071115 20081106 新井 則和

Technical Field

[0001]
本発明は、映像中の遮蔽物を識別する遮蔽物映像識別装置及び方法に関する。

Background Art

[0002]
ビデオカメラは一般ユーザに広く浸透しており、様々な行事や旅行などで多くの人が撮影を楽しんでいる。ところで、その撮影されたコンテンツをその後どうするかというと、せいぜい1回見るか見ないかでそのまましまい込んでしまう例が多く見受けられる。その主な理由の1つとして、撮影しただけではまだあくまでも「素材」であり、そのままでは観賞に適さないとういうことがある。観賞に適さない理由としては、撮影中にビデオカメラの直前を人が横切ったり、画面下部に人の頭が入り込んだりして見苦しいシーンが多く含まれていることが挙げられる。観賞に適する魅力あるコンテンツにするには、どうしても編集作業が必要になる。しかしながら、それには時間も手間もかかるため編集を諦め、結局撮りっぱなしになってしまうのである。
[0003]
編集を行う場合には、先ず、最初に撮影した映像を全てチェックし、残すシーンと削除する不要シーンとを選別することが必要である。その後、必要であれば補正や加工を行い、最終的にテロップを入れたり繋ぎ目にトランジッション効果を加えたりすることが行われる。最後のテロップの挿入、及びトランジッション効果の追加の作業はクリエイティブで楽しい面も多いのだが、最初のシーン選別は、編集対象の撮影した映像全てを見る必要があり、大変時間もかかり面白みもない。そのため、この段階で嫌になって編集することを諦めてしまう場合も多い。
[0004]
編集作業のうちの映像からの不要シーンの映像の選別を容易に行うためには、映像中における遮蔽物、すなわち被写体の手前を遮る物体を識別することが必要である。そのような遮蔽物として移動体を識別する従来方法としては、カメラで撮像されて得られた画像信号を記憶する画像メモリを設け、画像フレーム間での画像の動きのベクトル量(動きベクトル)を計測して動きのある移動領域を検出し、検出した移動領域のカメラ画像上の座標を実空間座標に変換し、該実空間座標に変換された物体の大きさ、縦横比または移動速度の少なくとも1つを予め複数の物体の特徴を登録したテーブルと照合し、該当する移動物体の種類を識別する方法がある(特許文献1)。
[0005]
また、映像中の動きのある物体についての動きベクトルを抽出し、動き指標に基づき物体ブロックを抽出し、その統計量を求め、基準値と比較して目標移動体を判別する方法が公知である(特許文献2参照)。
[0006]
更に、撮像された画像のぼけ領域を識別する方法としては、コントラスト比に応じて合焦状態が所定のレベル以下の領域についてその面積を検出し、検出した面積が所定の面積以上であればぼけ領域と判定する方法が公知である(特許文献3参照)。
patcit 1 : 特開2002−027449号公報
patcit 2 : 特開平09−252467号公報
patcit 3 : 特開2005−136727号公報

Disclosure of Invention

Technical Problem

[0007]
しかしながら、かかる従来の移動物体やぼけ部分の識別方法においては、カメラの情報が必要であったり特徴点の抽出・追跡が必要であり、一般的な映像信号から十分な精度で遮蔽物を識別することができないという欠点があった。
[0008]
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、映像信号から映像中の遮蔽物を正確に識別することができる遮蔽物映像識別装置及び方法、並びに遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムを提供することが本発明の目的である。

Technical Solution

[0009]
請求項1に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を2値化する2値化手段と、フレーム毎に前記2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出手段と、前記2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、 前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも1が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定手段と、を備えたことを特徴としている。
[0010]
請求項 に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、 映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段と、前記周波数解析手段による周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出手段と、前記ぼけレベルの算出値を2値化する2値化手段と、フレーム毎に前記2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出手段と、前記2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、前記大領域抽出手段によって 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴としている。
[0011]
請求項 13に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を2値化する第1の2値化手段と、フレーム毎に前記第1の2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第1の2次元連続領域検出手段と、前記第1の2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第1の大領域抽出手段と、前記第1の大領域抽出手段によって 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する第1の判定手段と、画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、前記ぼけレベルの算出値を2値化する第2の2値化手段と、フレーム毎に前記第2の2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第2の2次元連続領域検出手段と、前記第2の2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第2の大領域抽出手段と、前記第2の大領域抽出手段によって 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する第2の判定手段と、を備え 、前記ぼけレベル算出手段は、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段を有し、前記周波数解析手段による周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を前記ぼけレベルの算出値とすることを特徴としている。
[0012]
請求項 18に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽物映像識別方法であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を2値化する2値化ステップと、フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、 前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定ステップと、前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定ステップと、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定ステップと、前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも1が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定ステップと、を備えたことを特徴としている。
[0013]
請求項 19に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽物映像識別方法であって、 映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析ステップと、前記周波数解析ステップによる周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出ステップと、前記ぼけレベルの算出値を2値化する2値化ステップと、フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。
[0014]
請求項 20に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を2値化する2値化ステップと、フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、 前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定ステップと、前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定ステップと、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定ステップと、前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも1が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定ステップと、を備えたことを特徴としている。
[0015]
請求項 21に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、 映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析ステップと、前記周波数解析ステップによる周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出ステップと、前記ぼけレベルの算出値を2値化する2値化ステップと、フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

Brief Description of Drawings

[0016]
[fig. 1] 本発明の実施例を示すブロック図である。
[fig. 2] 動きレベルの算出を説明するための図である。
[fig. 3] ぼけレベルの算出を説明するための図である。
[fig. 4] 動き遮蔽物が存在する映像についての判定動作の際の装置各部の状態を示す図である。
[fig. 5] カメラパン時の映像についての判定動作の際の装置各部の状態を示す図である。
[fig. 6] ぼけ遮蔽物が存在する映像についての判定動作の際の装置各部の状態を示す図である。
[fig. 7] 本発明の他の実施例を示すブロック図である。
[fig. 8] 本発明の実施例として動き遮蔽物判定系の構成だけを備えた遮蔽物映像識別装置を示すブロック図である。
[fig. 9] 本発明の実施例としてぼけ遮蔽物判定系の構成だけを備えた遮蔽物映像識別装置を示すブロック図である。
[fig. 10] 本発明の他の実施例を示すブロック図である。

符号の説明

[0017]
1 2D−DCT回路
2 動き遮蔽物判定系
3 ぼけ遮蔽物判定系
4 判定結果統合部
5 検出枠拡大部

Best Mode for Carrying out the Invention

[0018]
請求項1に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを動きレベル算出手段によって算出し、動きレベルの算出値を2値化した後、2次元連続領域検出手段によって2次元連続領域を検出し、更にその領域のうちの大領域を抽出して 面積比判定部によってその大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定し、形状判定部によって大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定し、位置判定部によって大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定し、遮蔽物判定手段によって面積比判定条件、形状判定条件及び位置判定条件のうちの少なくとも1が満足されたときその大領域を遮蔽物部分として判定することが行われる。また、請求項 18に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出し、動きレベルの算出値を2値化した後、2次元連続領域を検出し、更にその領域のうちの大領域を抽出して その大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定し、大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定し、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定し、面積比判定条件、形状判定条件及び位置判定条件のうちの少なくとも1が満足されたときその大領域を遮蔽物部分として判定することが行われる。更に、請求項 20に係る発明によれば請求項 18に係る発明の遮蔽物映像識別方法と同様の方法がコンピュータによって実行される。
[0019]
よって、請求項1、 18及び20に係る発明によれば、映像信号から映像中の動きがある遮蔽物を正確に識別することができる。
[0020]
請求項1の動きレベル算出手段は、周波数解析手段 周波数解析結果に応じて垂直方向の最高周波数成分のパワー と、直流成分を除いた全成分のパワーの和との比を動きレベルの値とする。周波数解析手段は、複数の画素からなるブロック単位でDCT(2次元離散コサイン変換)又はDFT(離散フーリエ変換)を行う。請求項1の2次元連続領域検出手段は、フレーム毎に2値化手段の出力値に対するラベリング処理を行う。
[0023]
請求項 に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位でぼけレベルをぼけレベル算出手段によって算出し、ぼけレベルの算出値を2値化した後、2次元連続領域検出手段によって2次元連続領域を検出し、更にその領域のうちの大領域を抽出して判定手段によって大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定することが行われる。また、請求項 19に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位でぼけレベルを算出し、ぼけレベルの算出値を2値化した後、2次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定することが行われる。更に、請求項 21に係る発明によれば請求項 19に係る発明の遮蔽物映像識別方法と同様の方法がコンピュータによって実行される。
[0024]
よって、請求項 7、19及び21に係る発明によれば、映像信号から映像中の非合焦の遮蔽物を正確に識別することができる。
[0025]
請求項 のぼけレベル算出手段は、周波数解析手段と、周波数解析結果に応じて低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比をぼけレベルの値とする。周波数解析手段は、複数の画素からなるブロック単位でDCT又はDFTを行う。請求項 の2次元連続領域検出手段は、フレーム毎に2値化手段の出力値に対するラベリング処理を行う。
[0026]
請求項 の判定手段は、大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えている。
[0028]
請求項 13に係る発明によれば、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析し、その周波数解析結果に応じて画素単位又はブロック単位で動きレベルを算出し、動きレベルの算出値を2値化した後、2次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定し、周波数解析結果に応じて画素単位又はブロック単位でぼけレベルを算出し、ぼけレベルの算出値を2値化した後、2次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定することが行われる。よって、映像信号から映像中の動きがある遮蔽物及び非合焦の遮蔽物を共に正確に識別することができる。

Mode for the Invention

[0029]
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
[0030]
図1は本発明による遮蔽物映像識別装置を示している。この遮蔽物映像識別装置は、2D−DCT(2次元離散コサイン変換)回路1、動き遮蔽物判定系2、ぼけ遮蔽物判定系3、判定結果統合部4及び検出枠拡大部5を備えている。
[0031]
2D−DCT回路1には入力映像信号が供給される。入力映像信号は720×480ピクセルの解像度の映像を示すとする。2D−DCT回路1は入力映像信号の1フレームを16×16ピクセルのブロックでDCT変換を行う。入力映像信号がインタレース方式の映像信号の場合には2フィールドを1フレームとする。また、プログレッシブ映像信号の場合には、1フレームの奇数フィールドとその次のフレームの偶数フィールドとを合わせて1フレームとする。奇数・偶数フィールドの組合わせは逆でも良いし、連続するフレームからではなく、数フレーム飛越して組合わせても良い。組合わせるフィールド同士の時間差が大きくなると、遅い動き物体にも反応するようになるが、その時間内の移動距離が処理ブロックの大きさを超えると逆に検出できなくなるので、通常数フレーム以内が望ましい。また、入力信号のプログレッシブ・インタレースにかかわらず、隣接フレームの奇数・偶数フィールドを組合わせるようにしても良い。こうすることにより、入力信号がプログレッシブであろうとインタレースであろうと検出できるようになる。さらに、奇数フィールド同士、偶数フィールド同士を組合わせても良い。
[0032]
2D−DCT回路1の出力に動き遮蔽物判定系2及びぼけ遮蔽物判定系3が接続されている。動き遮蔽物判定系2は、動きレベル算出部21、2値化部22、ラベリング部23、大領域抽出部24、面積比判定部25、形状判定部26、位置判定部27、ラベル数判定部28、及び総合属性判定部29を備えている。
[0033]
動きレベル算出部21は、DCT結果のDCT係数に応じて動き映像のブロックを検出するために動きの大きさを示す動きレベルを算出する。 図2(a)に示すように、水平方向の画素数がm、垂直方向の画素数がnのブロックをDCTすると、 図2(b)に示すように、水平方向uの空間周波数と垂直方向vの空間周波数からなる変換空間座標において動きレベルは、次式によって算出される。なお、DCT係数はX 0,0〜X N−1,N−1であり、N=16である。
[0034]
[Math. 1]


[0035]
2値化部22は、動きレベル算出部21の出力に接続され、動きレベル算出部21によって算出された動きレベルを所定の閾値で2値化する。
[0036]
ラベリング部23は、2値化部22の出力に接続され、2値化した動きレベルをラベリング処理する。ラベリング処理とは、2値化した動きレベルが同一値の上下左右の4方向及び斜めの4方向のいずれかにおいて隣接するブロックを1つの領域(又はグループ)とし、同一領域のブロックに同一のラベルを付加して分類することである。例えば、2値化した動きレベルが明るいブロックが隣接しているならば、その塊が1つの領域(グループ)となり、その領域内の各ブロックに同一のラベルが付加される。ラベリング部23は領域の情報を大領域抽出部24に出力すると共にラベルを付加した数、すなわちラベル数をラベル数判定部28に出力する。
[0037]
大領域抽出部24はラベリング処理の結果、作成された領域のうちのその面積が所定の面積以上の大領域を抽出する。所定の面積は、例えば、1フレームの面積の1/30の大きさである。大領域抽出部24は最大面積の領域を大領域として抽出しても良い。大領域抽出部24の出力に面積比判定部25、形状判定部26、及び位置判定部27が接続されている。
[0038]
面積比判定部25は、フレーム毎に1フレームにおける所定の面積以上の面積の大領域の外接矩形面積と領域面積との比=外接矩形面積/領域面積を検出し、その比が第1所定の範囲の値(例えば、0.5以上1.0未満)であるときそのフレームの面積比判定条件を満足すると判定する。形状判定部26は、1フレームにおける所定の面積以上の面積の大領域の形状に応じてフレームの形状判定条件を満足するか否かを判定する。大領域の横幅/縦幅が第2所定の範囲の値(例えば、0.7以上7以下)であるとき形状判定条件を満たすと判定する。位置判定部27は、1フレームにおける大領域の位置に応じてフレームの位置判定条件を満足するか否かを判定する。大領域の重心の垂直方向座標が画面全体の下方2/3の部分にあるとき位置判定条件を満足すると判定する。
[0039]
ラベル数判定部28は、ラベリング部23で付加されたラベルの数に応じてフレームが遮蔽物検出対象である否かを判定する。ラベル数が所定数(10)以下のときフレームが遮蔽物検出対象であると判定する。
[0040]
総合属性判定部29は、面積比判定部25、形状判定部26、位置判定部27、及びラベル数判定部28各々の出力に接続され、フレーム毎に面積比判定部25による面積比判定結果、形状判定部26による形状判定結果、位置判定部27による位置判定結果、及びラベル数判定部28によるラベル数判定結果に応じて遮蔽物の存在を判定する。すなわち、ラベル数判定部28によって遮蔽物検出対象と判定され、かつ面積比判定条件、形状判定条件及び位置判定条件の各々が満足されているならば、総合属性判定部29では遮蔽物が存在すると判定される。
[0041]
ぼけ遮蔽物判定系3は、ぼけレベル算出部31、2値化部32、ラベリング部33、大領域抽出部34、面積比判定部35、形状判定部36、位置判定部37、ラベル数判定部38、及び総合属性判定部39を備えている。
[0042]
ぼけレベル算出部31は、DCT変換結果のDCT係数に応じて非合焦のブロックを検出するために非合焦の程度を示すぼけレベルを算出する。
[0043]
図3(a)に示すように、水平方向の画素数がm、垂直方向の画素数がnのフレームをDCT変換すると、図3(b)に示すように、水平方向uの空間周波数と垂直方向vの空間周波数からなる変換空間座標において低域のDCT係数パワーを
[0044]
[Math. 2]


[0045]
とすると、ぼけレベルは、次式によって算出される。
[0046]
[Math. 3]


[0047]
かかる算出式から分かるように、ぼけレベルは低域のDCT係数パワーとそれを除く高域のDCT係数パワーとの比で表されているので、ブロックが非合焦であるほど大きな値となる。
[0048]
2値化部32、ラベリング部33、大領域抽出部34、面積比判定部35、形状判定部36、位置判定部37、ラベル数判定部38、及び総合属性判定部39は、上記の動き遮蔽物判定系2の2値化部22、ラベリング部23、大領域抽出部24、面積比判定部25、形状判定部26、位置判定部27、ラベル数判定部28、及び総合属性判定部29と同一である。
[0049]
2値化部32は、ぼけレベル算出部31の出力に接続され、ぼけレベル算出部31によって算出されたぼけレベルを所定の閾値で2値化する。ラベリング部33は、2値化部32の出力に接続され、2値化したぼけレベルをラベリング処理する。大領域抽出部34はラベリング処理の結果、作成された領域のうちのその面積が所定の面積以上の大領域を抽出する。面積比判定部35は、フレーム毎に面積比判定条件を満足するか否かと判定する。形状判定部36は、フレーム毎に形状判定条件を満足するか否かと判定する。位置判定部37は、1フレーム毎に位置判定条件を満足するか否かを判定する。ラベル数判定部38は、ラベリング部33で付加されたラベルの数に応じてフレームが遮蔽物検出対象である否かを判定する。総合属性判定部39は面積比判定部 35、形状判定部 36、位置判定部 37、及びラベル数判定部 38各々の判別結果に応じて遮蔽物の存在を判定する。
[0050]
総合属性判定部29及び39の出力に判定結果統合部4が接続されている。判定結果統合部4は総合属性判定部29及び39のいずれか一方によって1つのフレームについて遮蔽物の存在が判別されたときそのフレームには遮蔽物が存在すると判定する。
[0051]
検出枠拡大部5は、遮蔽物が存在すると判定されたフレームの前後のフレームを遮蔽物存在フレームと判定する。
[0052]
かかる構成の遮蔽物映像識別装置においては、先ず、入力映像信号の1フレームのソース映像に図4(a)に示すよう、被写体の前を遮るように右側から人が入り込んできた場合について説明する。このような1フレームの映像に対して動きレベル算出部21ではブロック毎に動きレベルが算出される。図4(b)は2値化器22によって2値化された動きレベルの算出値を示している。黒の部分が動き部分である。この2値化後の映像はラベリング部23によってラベリング処理される。ラベリング処理では、図4(b)の黒の部分のブロックのうちの上下左右の4方向及び斜めの4方向のいずれかにおいて隣接するブロックが1つの領域とされる。図4(c)はラベリング処理の結果を示している。この例ではラベル数は5(Label #1〜#5)である。ラベリング部23では複数の領域が検出された場合にはその複数の領域のうちから大領域が大領域抽出部24によって抽出される。図4(c)のラベリング処理の結果に対して図4(d)に示すように、図4(a)の右側の動きのある人物に対応した領域が大領域として抽出される。その抽出領域は、面積比判定部25、形状判定部26、位置判定部27、及びラベル数判定部28各々の判定条件を満足すれば、総合属性判定部29によって図4(e)に示すように、動きのある遮蔽物として検出される。すなわち、現フレームは動きのある遮蔽物が含まれたフレームと判定される。よって、被写体の前を横切る人が含まれるような映像を識別することができる。
[0053]
この例のようにカメラ前を人が横切った場合、突然入ってくるのであるから比較的速いスピードで移動しており、動きのある2次元連続領域として検出される。また、被写体とカメラの間を横切るのであるから当然その2次元連続領域面積は大きい。従って、上記の処理によって「カメラ前を横切った人」が検出される。被写体の後方を通った場合は、動き領域が被写体によって分断されるため、大きな連続領域とはならない。遠くを動く物体も同様である。また誤検出を防ぐため「領域属性判定」で、画面上部に重心がある領域、極端に横長な領域(=人間らしくない)、重心が画面中央にある(=被写体の可能性が高い)場合は検出しないなどの条件を設定することにより、「カメラ前を人が横切った場合」を精度良く検出することができる。「領域属性判定」は、その領域の支配色や明度なども条件に加えることもできる。
[0054]
カメラが動いた場合、画面全体に渡って動き領域が存在してしまうことがあるが、これも「領域属性判定」で、ほぼ画面全体が一つの領域として検出された場合、領域数がある閾値以上ある(=小さな領域が画面全体に散らばっている)場合は検出しないなどの条件を設定することにより、カメラワークによる動きと遮蔽物による動きを区別することもできる。カメラワークとの区別は、カメラワーク検出を別に行って、その結果を参照するようにしても良い。
[0055]
ビデオカメラがパンしたことにより、図5(a)に示すように、動きのある人物や物体が多数存在するソース映像となった場合には、動きレベルの算出値は画面全体で大きくなり、2値化器22によって2値化された動きレベルは図5(b)のようになる。更に、図5(c)はラベリング処理の結果を示しており、検出された領域数(=ラベル数、Label #1〜#50)が多いことが分かる。この多数の領域から最大面積の領域が図5(d)に示すように抽出されても、ラベル数が所定数より多いので、ラベル数判定部28がその大領域を遮蔽物検出対象とは判定しない。よって、ビデオカメラがパンしたときの映像では、図5(e)に示すように動きのある遮蔽物が含まれたフレームとしては判定されない。
[0056]
一方、入力映像信号の1フレームのソース映像に図6(a)に示すよう、左下部に非合焦の人の頭が存在する場合には、ぼけレベル算出部31ではブロック毎にぼけレベルが算出される。図6(b)は2値化器32によって2値化されたぼけレベルの算出値を示している。黒の部分がぼけ部分である。この2値化後の映像はラベリング部33によってラベリング処理される。ラベリング処理では、図6(b)の黒の部分のブロックのうちの上下左右の4方向及び斜めの4方向のいずれかにおいて隣接するブロックが1つの領域とされる。図6(c)はラベリング処理の結果を示している。この例ではラベル数は8(Label #1〜#8)である。その複数の領域のうちから大領域が大領域抽出部24によって図6(d)に示すように抽出される。その抽出領域は、面積比判定部35、形状判定部36、位置判定部37、及びラベル数判定部38各々の判定条件を満足すれば、総合属性判定部29によって図6(e)に示すように、ぼけ遮蔽物として検出される。すなわち、現フレームはぼけ遮蔽物が含まれたフレームと判定される。よって、被写体の前を人の頭が遮るような映像を識別することができる。
[0057]
この例のように画面下部に頭が入り込んだ場合、その場合の「頭」はピントの合ってないボケた比較的大きい2次元連続領域であるので、上記の処理によって「頭」が検出される。ボケレベル検出を周波数解析によって行った場合は、例えば空などの平坦部もボケ領域として誤検出されてしまうことがあるが、「領域属性判定」で画面上部に重心がある領域、極端に横長な領域(=人間らしくない)は検出しないなどの条件を設定することにより、「頭が入り込んだ場合」を精度良く検出することができる。「領域属性判定」は、その領域の支配色や明度なども条件に加えることもできる。
[0058]
また、カメラが動いた場合に画面全体がボケたりすることがあるが、これも「領域属性判定」で、ほぼ画面全体が一つの領域として検出された場合、領域数がある閾値以上ある(=小さな領域が画面全体に散らばっている)場合は検出しないなどの条件を設定することにより、カメラワークによるボケと遮蔽物によるボケを区別することもできる。カメラワークとの区別は、カメラワーク検出を別に行って、その結果を参照するようにしても良い。
[0059]
このように遮蔽物が存在するフレームが判定されると、その判定されたフレームとその前後のフレームとが遮蔽物存在フレームとして検出枠拡大部5によって判定される。
[0060]
なお、上記した実施例においては、2D−DCT回路1によって映像信号を周波数解析し、その周波数解析した結果を用いて動きレベル及びぼけレベルを算出しているが、図7に示すように、映像信号を動きレベル算出部21及びぼけレベル算出部31に直接供給して映像信号に応じて動きレベル及びぼけレベルを別々の方法で算出しても良い。すなわち、動きレベル算出部21による動きレベル算出方法及びぼけレベル算出部31によるぼけレベル算出方法は上記した実施例に限定されない。
[0061]
また、上記した実施例においては、動き遮蔽物判定系2とぼけ遮蔽物判定系3とが備えられ、判定結果統合部4においてその判定結果の論理和をとっているが、動き遮蔽物判定系2及びぼけ遮蔽物判定系3のうちのいずれか一方だけを備えても良い。すなわち、図8に示すように上記の動き遮蔽物判定系2の構成だけを備えた遮蔽物映像識別装置としても良いし、図9に示すように上記のぼけ遮蔽物判定系3の構成だけを備えた遮蔽物映像識別装置としても良い。
[0062]
また、ぼけ遮蔽物判定系は、例えば、図10に示すように、検出枠拡大部5の出力信号を総合属性判定部39に入力する構成にすることにより、動き遮蔽物判定系で遮蔽物が検出された周辺ブロックのみや、動き遮蔽物判定系で遮蔽物が検出された後一定時間内に検出された場合だけぼけ遮蔽物判定し続けるようにしても良い。こうすることで、被写体の前を横切りそのままその場に留まってしまった遮蔽物を精度良く認識し、他のぼけ領域を遮蔽物として誤認識するのを避けることができる。
[0063]
上記した実施例においては、面積比判定部25(35)、形状判定部26(36)及び位置判定部27(37)の各々の判定条件を全て満足しなければ、遮蔽物としての判定が決定されないが、その全ての判定条件のうちの少なくとも1の判定条件を満足すれば、大領域が遮蔽物部分と判定しても良い。また、ラベル数判定部28(38)のラベル数の判定はなくても良い。
[0064]
また、上記した実施例においては、2D−DCT回路1によって映像信号をDCTしているが、変換方式としてはDCTではなく、DFT(離散フーリエ変換)を用いても良い。
[0065]
更に、上記した実施例においては、遮蔽物の判定のために映像信号を1フレーム毎にブロック単位で処理したが、映像信号を1フレーム毎に画素単位で処理しても良い。また、ブロックとしては16画素×16画素に限らず、8画素×8画素等の画素数でも良い。
[0066]
また、動きレベルの算出方法及びぼけレベルの算出方法について上記した実施例に限定されない。動きレベルとしてはMPEG符号化で用いられるような、ブロックマッチングによる動きベクトルから算出しても良いし、オプティカルフローから求めても良い。ぼけレベルは、ブロック単位のコントラストから求めても良い。
[0067]
上記した動き遮蔽物判定系2及びぼけ遮蔽物判定系3を個別の又は単一のコンピュータによって構成しても良い。すなわち、動き遮蔽物判定系2の各部の行程を実行するコンピュータ読取可能なプログラム及びぼけ遮蔽物判定系3の各部の行程を実行するコンピュータ読取可能なプログラムをメモリに保存しておき、そのプログラムをコンピュータが実行することにより動き遮蔽物判定系2及びぼけ遮蔽物判定系3の各部の機能を達成させるのである。
[0068]
以上の如く、本発明によれば、映像信号から映像中の動きがある遮蔽物及び非合焦の遮蔽物を共に正確に識別することができ、編集作業の際に映像からの不要シーンの映像の選別を容易に行うことができる。

Claims

[1]
映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、
前記動きレベルの算出値を2値化する2値化手段と、
フレーム毎に前記2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出手段と、
前記2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、
前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、
前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、
前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、
前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも1が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定手段と、を備えたことを特徴とする遮蔽物映像識別装置。
[2]
前記動きレベル算出手段は、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析してする周波数解析手段を有し、前記周波数解析手段による周波数解析結果に応じて 垂直方向の最高周波数成分のパワーと、直流成分を除いた全成分のパワーの和との比を前記動きレベルの値とすることを特徴とする請求項1記載の遮蔽物映像識別装置。
[3]
前記周波数解析手段は、複数の画素からなるブロック単位でDCT(2次元離散コサイン変換)又はDFT(離散フーリエ変換)を行うことを特徴とする請求項 記載の遮蔽物映像識別装置。
[4]
前記2次元連続領域検出手段は、フレーム毎に前記2値化手段の出力値に対するラベリング処理を行うことを特徴とする請求項1記載の遮蔽物映像識別装置。
[5]
記2次元連続領域検出手段によって検出された1フレーム内の領域の数が所定数以下である か否かを判定する数判定部を備え、
前記遮蔽物判定手段は、前記数判定部によって1フレーム内の領域の数が所定数以下であることが判定されたときに前記大領域を遮蔽物部分として判定することを特徴とする請求項1記載の遮蔽物映像識別装置。
[6]
前記判定手段によって前記大領域が遮蔽物部分であると判定されたフレームと、その前後の所定フレーム区間とを、遮蔽物部分が存在する区間であると判定する検出枠拡大手段を有することを特徴とする請求項1記載の遮蔽物映像識別装置。
[7]
映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段と、
前記周波数解析手段による周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出手段と、
前記ぼけレベルの算出値を2値化する2値化手段と、
フレーム毎に前記2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出手段と、
前記2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、
前記大領域抽出手段によって 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴とする遮蔽物映像識別装置。
[8]
前記周波数解析手段は、複数の画素からなるブロック単位でDCT又はDFTを行うことを特徴とする請求項 記載の遮蔽物映像識別装置。
[9]
前記2次元連続領域検出手段は、フレーム毎に前記2値化手段の出力値に対するラベリング処理を行うことを特徴とする請求項 記載の遮蔽物映像識別装置。
[10]
前記判定手段は、前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えたことを特徴とする請求項 記載の遮蔽物映像識別装置。
[11]
記2次元連続領域検出手段によって検出された1フレーム内の領域の数が所定数以下である か否かを判定する数判定部を備え、
前記判定手段は、前記数判定部によって1フレーム内の領域の数が所定数以下であることが判定されたときに前記大領域を遮蔽物部分として判定することを特徴とする請求項 記載の遮蔽物映像識別装置。
[12]
前記判定手段によって前記大領域が遮蔽物部分であると判定されたフレームと、その前後の所定フレーム区間とを、遮蔽物部分が存在する区間であると判定する検出枠拡大手段を有することを特徴とする請求項 記載の遮蔽物映像識別装置。
[13]
映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、
前記動きレベルの算出値を2値化する第1の2値化手段と、
フレーム毎に前記第1の2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第1の2次元連続領域検出手段と、
前記第1の2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第1の大領域抽出手段と、
前記第1の大領域抽出手段によって 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する第1の判定手段と、
画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、
前記ぼけレベルの算出値を2値化する第2の2値化手段と、
フレーム毎に前記第2の2値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第2の2次元連続領域検出手段と、
前記第2の2次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第2の大領域抽出手段と、
前記第2の大領域抽出手段によって抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する第2の判定手段と、を備え
前記ぼけレベル算出手段は、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段を有し、前記周波数解析手段による周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を前記ぼけレベルの算出値とすることを特徴とする遮蔽物映像識別装置。
[14]
前記第1の判定手段の判定結果と前記第2の判定手段の判定結果 とに基づいて最終判定結果 を得る判定結果統合手段を有することを特徴とする請求項 13記載の遮蔽物映像識別装置。
[15]
前記判定結果統合手段は、前記第1の判定手段の判定結果と、前記第2の判定手段の判定結果との論理和をとることを特徴とする請求項 14記載の遮蔽物映像識別装置。
[16]
前記判定結果統合手段によって遮蔽物部分であると判定されたフレームと、その前後の所定フレーム区間とを、遮蔽物部分が存在する区間であると判定する検出枠拡大手段を有することを特徴とする請求項 14記載の遮蔽物映像識別装置
[17]
前記第2の判定手段は、 前記検出枠拡大手段で拡大された検出枠区間のみ、遮蔽物部分として判定することを特徴とする請求項 16記載の遮蔽物映像識別装置。
[18]
映像中の遮蔽物を識別する遮蔽物映像識別方法であって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、
前記動きレベルの算出値を2値化する2値化ステップと、
フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、
前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定ステップと、
前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定ステップと、
前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定ステップと、
前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも1が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定ステップと、 を備えたことを特徴とする遮蔽物映像識別方法。
[19]
映像中の遮蔽物を識別する遮蔽物映像識別方法であって、
映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析ステップと、
前記周波数解析ステップによる周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出ステップと、
前記ぼけレベルの算出値を2値化する2値化ステップと、
フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、
前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域抽出ステップにおいて 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴とする遮蔽物映像識別方法。
[20]
映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、
前記動きレベルの算出値を2値化する2値化ステップと、
フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、
前記2次元連続領域検出ステップにおいて 抽出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域の外接矩形面積と領域面積との比が第1所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定ステップと、
前記大領域の横幅と縦幅との比が第2所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定ステップと、
前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定ステップと、
前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも1が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定ステップと、を備えたことを特徴とするプログラム。
[21]
映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、
映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析ステップと、
前記周波数解析ステップによる周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出ステップと、
前記ぼけレベルの算出値を2値化する2値化ステップと、
フレーム毎に前記2値化ステップにおいて2値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する2次元連続領域検出ステップと、
前記2次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域抽出ステップにおいて 抽出された大領域における面積比、形状及び位置の少なくとも1に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴とするプログラム。

Drawings

[ Fig. 1]

[ Fig. 2]

[ Fig. 3]

[ Fig. 4]

[ Fig. 5]

[ Fig. 6]

[ Fig. 7]

[ Fig. 8]

[ Fig. 9]

[ Fig. 10]