国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現在ご利用になれません。
この状況が続く場合は、次のお問い合わせ先までご連絡ください。フィードバック & お問い合わせ
1. (WO2015136828) 人物検出装置および人物検出方法
Document

明 細 書

発明の名称 人物検出装置および人物検出方法

技術分野

0001  

背景技術

0002   0003   0004   0005   0006  

先行技術文献

特許文献

0007  

発明の概要

発明が解決しようとする課題

0008  

課題を解決するための手段

0009  

発明の効果

0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070  

産業上の利用可能性

0071  

符号の説明

0072  

請求の範囲

1   2   3   4   5   6  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 人物検出装置および人物検出方法

技術分野

[0001]
 本発明は、画像を用いて人物を検出する装置に関するものである。

背景技術

[0002]
 従来から、省エネを目的に人の有無によって機器を制御したいという要求がある。人の有無の判定には、例えば赤外線を利用した人感センサを利用することが多い。しかし、赤外線を利用した人感センサでは、静止した人には反応しない。また、動いている人でも、センサ範囲のどの位置に人が居るのかはわからない。そこで、カメラで撮影した画像を用いて人を検出し、人の位置も検出することが行われている。例えば、(1)画像の特徴量(画像特徴量)の統計的学習による特定オブジェクト検出法、(2)背景画像との差分を利用する背景差分法、(3)前の画像との差分を利用するフレーム間差分法がある。
[0003]
 (1)の特定オブジェクト検出法の代表的な方式には、Haar-Like特徴やHOG(Histograms of Oriented Gradients)特徴によるAdaBoostアルゴリズムがあり、主に顔や人の検出に利用されている。しかし、本方式では、画像特徴量の多いオブジェクトには有効であるが、特徴量が少ないオブジェクトの場合は検出が困難である。例えば、天井のカメラで真上から撮影した頭と肩しか映らない画像の場合、顔や人の形状のようなユニークな特徴量を持つ画像とならないため、人を検出できなかったり誤検出が多くなったりする。
[0004]
 また、(2)の背景差分法では、人が映っていない画像を背景画像にすれば、人が映っている画像との差分をとることで、人の位置を的確に抽出することができる。しかし、本方式は周辺の照度変化に弱いことが知られている。そのため、背景画像を外部環境に合わせて適度に更新する方法も考えられているが、オフィスや工場など頻繁に人が出入りするような環境、または照明が点灯または消灯するような環境では、最適な背景画像を選択することが困難である。
[0005]
 また、(3)のフレーム間差分法では、時系列で前の画像と現画像との差分をとるため、動いている物体を検出することができ、また比較的に周辺の照度変化にも強い。しかし、動かない物体は検出することができないため、静止している人も検出できない。
 フレーム間差分法で静止物体を検出する従来手法としては、画像中の動いている物体を追尾して、動きがなくなった位置で物体が静止したと認識するトラッキング法などがある。
[0006]
 しかし、このトラッキング法にも課題があり、複数の動く物体(動体)が存在する場合、画像中で動体を追尾できなくなり、静止した位置にまだ物体が存在しているのか分からなくなる。また、動体は人だけではない場合もあり(例えば、キャスター付きの椅子が動いたなど)、静止している人だけを検出することが困難である。
 そこで、画像を用いたトラッキング法により静止している人を検出する方法として、予め記憶した静止している物体の画像領域の画像特徴量と、特定の物体の画像特徴量とを比較することで、静止した物体を特定する方法がある。(例えば、特許文献1。)

先行技術文献

特許文献

[0007]
 特開2012-212238号公報

発明の概要

発明が解決しようとする課題

[0008]
 しかし、従来のような画像を用いたトラッキング法により静止している人を検出する方法では、人以外の物体の画像特徴量を事前に登録しておき、静止した画像領域の画像特徴量が類似していない場合に人と認識するため、事前に膨大な画像特徴量の収集及び登録が必要であるという問題がある。
 また、事前に人の画像特徴量を登録しておき、登録した画像特徴量と類似したときに人と認識する方法も考えられるが、服装や髪形によって特徴量は異なるため、結局は事前に膨大な画像特徴量の収集及び登録が必要となる。

課題を解決するための手段

[0009]
 この発明に係る人物検出装置は、撮影された画像を取得する画像取得部と、該画像取得部で取得した画像から抽出した第1の動体領域の位置と、該第1の動体領域の画像より前の画像から抽出した第2の動体領域の位置との距離に基づいて、前記第2の動体領域の動体が静止状態である静止領域と判定する静止領域判定部と、前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定部とを備えたことを特徴とする。

発明の効果

[0010]
 この発明は、画像から抽出した第1の動体領域の位置と、第1の動体領域の画像より前の画像から抽出した第2の動体領域の位置との距離に基づいて、静止領域を判定し、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で機器を制御することができる。

図面の簡単な説明

[0011]
[図1] この発明の実施の形態における、人物検出装置1の構成図である。
[図2] この発明の実施の形態における、人物検出装置1の画像取得部3と動体抽出部4の処理を示すフローチャートである。
[図3] この発明の実施の形態における、人物検出装置1の動体追跡部5の処理を示すフローチャートである。
[図4] この発明の実施の形態における、人物検出装置1の静止領域画像保存部7の処理を示すフローチャートである。
[図5] この発明の実施の形態における、人物検出装置1の特徴変化量抽出部9の処理を示すフローチャートである。
[図6] この発明の実施の形態における、人物検出装置1の特徴変化量抽出部10の処理を示すフローチャートである。
[図7] この発明の実施の形態における、動体抽出部4の処理を説明する画面の図である。
[図8] この発明の実施の形態における、動体追跡部5の処理を説明する画面の図である。
[図9] この発明の実施の形態における、動体追跡部5の静止領域判定部13の処理を説明する画面の図である。
[図10] この発明の実施の形態における、動体履歴記憶部6に記憶されている動体データの例である。この発明の実施の形態における、
[図11] この発明の実施の形態における、静止領域画像記憶部8に記憶されている静止領域の画像データの例である。
[図12] この発明の実施の形態における、特徴変化量抽出部9の動作を説明する画像の図である。
[図13] 図13は、この発明の実施の形態における、静止人物判定部10が静止人物を判定する特徴変化量を示す図である。

発明を実施するための形態

[0012]
 以下に、本発明にかかる人物検出装置および人物検出方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
[0013]
実施の形態.
 図1は、この発明の実施の形態における、人物検出装置1の構成図である。
 図1において、人物検出装置1は、特定のエリアを撮影するカメラ2から画像データを取得して、特定エリアの人の数や位置を検出し、人物情報として出力する。
 本実施の形態では、カメラ2は、天井に設置されているとして説明するが、カメラはどこに設置されていてもよい。また、人物検出装置1とカメラ2は、別構成でも一体化した構成でもよい。例えば、カメラ2を天井に設置して、人物検出装置1をフロア、またはビルの制御室に設置し、カメラ2と人物検出装置1をLAN(Local Area Network)ケーブル、または同軸ケーブルで接続する。そして、人物検出装置1が、複数のカメラ2から画像データを取得して、人物検出を行ってもよい。
[0014]
 人物検出装置1は、画像取得部3、動体抽出部4、動体追跡部5、動体履歴記憶部6、静止領域画像保存部7、静止領域画像記憶部8、特徴変化量抽出部9、静止人物判定部10、人物情報出力部11から構成される。また、動体抽出部4は動体領域抽出部12を含み、動体追跡部5は静止領域判定部13を含む。
[0015]
 人物検出装置1には、CPU(Central Processing Unit)等の演算装置を搭載し、各処理部(3~13)は演算装置上のプログラムとして起動する。また、人物検出装置1にはROM((Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ、またはハードディスクなどの記録装置を搭載し、各記憶部(6と8)は、これら記録装置を利用してもよい。
[0016]
 以下、人物検出装置1の各構成について説明する。
 画像取得部3は、カメラ2からカメラ2で撮影された画像データを取得する。そして、取得した画像データから最新の1フレームの画像を抽出する。そして、抽出した最新の1フレームの画像データを一次記憶装置(図示せず)に記憶する。
[0017]
 動体抽出部4の動体領域抽出部13は、一次記憶装置に最新の画像データが入力されると、一次記憶装置に入力された最新の画像データと、一次記憶装置に記憶されている1フレーム前の画像データとの差分を算出する。そして、その差分が、設定された閾値以上の画像ブロックをグループ化して動体領域として抽出する。そして、抽出した動体領域の動体データ(例えば、動体領域の位置と領域の座標)を動体追跡部5に出力する。
[0018]
 動体追跡部5は、動体抽出部4の動体領域抽出部12から動体データが入力されると、動体履歴記録部6に記録されている動体データの履歴を参照して、1フレーム前のすべての動体領域の位置を前位置として取得する。そして、1フレーム前のすべての動体領域の位置と、動体抽出部4の動体領域抽出部12から入力された動体領域の位置との距離に基づいて、動体領域の動体を追跡する。そして、動体追跡部5の静止領域判定部13は、1フレーム前のすべての動体領域の位置と、動体抽出部4の動体領域抽出部12から入力された動体領域の位置との距離に基づいて、動体領域の動体が静止している静止状態であるとして、この動体領域を静止領域と判定する。そして、動体抽出部4から入力された動体領域の位置(例えば動体領域の中心位置)、動体領域の座標、動体領域の状態(移動状態または静止状態)、および動体を識別する動体ID(indentification)の情報を最新の動体データとして動体履歴記憶部6に出力して記憶させる。
[0019]
 動体履歴記憶部6には、動体領域の動体データが動体追跡部5から入力され記憶されている。そして、動体履歴記憶部6に記憶された動体データの動体履歴の情報は、動体追跡部5と静止領域画像保存部7と特徴変化量8、および人物情報出力部11から参照される。また、静止人物判定部10により、静止領域に人は居ないと判定されると、動体履歴記憶部6の静止領域のデータが削除される。
[0020]
 静止領域画像保存部7は、動体履歴記憶部6に静止領域の情報が入力されると、動体履歴記憶部6に記憶されているすべての静止領域の情報を取得する。そして、一次記憶装置に記憶された最新の画像データを取得し、取得した画像データから静止領域を切り出して、静止領域画像記憶部8に出力して記憶する。
[0021]
 静止領域画像記憶部8には、最新の画像データの静止領域の画像データが静止領域画像保存部7から入力され記憶されている。そして、静止領域画像記憶部8に記憶された静止領域の情報は、特徴変化量抽出部9から参照される。また、静止人物判定部10により、静止領域に人が居ないと判定されると、静止領域画像記憶部8の静止領域のデータが削除される。
[0022]
 特徴変化量抽出部9は、静止領域画像記憶部8に静止領域の画像データが入力されると、一次記憶装置に記憶された最新の静止領域の画像の特徴量と、静止領域画像記憶部8に記憶された1フレーム前の静止領域の画像の特徴量との変化量(特徴変化量)を抽出する。そして、抽出した画像の特徴変化量を静止人物判定部10に出力する。
[0023]
 静止人物判定部10は、特徴変化量抽出部9から画像の特徴変換量が入力されると、入力された画像の特徴変化量が設定された時間後に、設定された範囲内にある場合、静止領域中に人が居ると判定する。また、設定された範囲外である場合、静止領域中に人は居ないと判定する。そして、判定した静止領域に対して静止した人が居るという静止人物データを動体履歴記憶部6に出力して記憶する。また、人が居ないと判定した静止領域については、動体履歴記憶部6から削除する。
 尚、静止人物判定部10に、静止領域画像保存部7または特徴変化量抽出部9の処理を含めてもよい。
[0024]
 人物情報出力部11は、人として検出した数、位置を含む情報を外部装置に出力する通信部である。人物情報出力部11は、例えば、所定の時間毎または外部装置からの指示により、動体履歴記録部6のデータを参照して、人として検出した動体領域と静止領域から、人の数と位置を含む人物情報を算出し、人物情報を外部装置に出力する。外部装置は、例えば照明制御装置、空調制御装置、立ち入り警報装置といった人の数や位置に応じてエネルギーを制御する、または警報を上げる装置、またはシステムである。
 以上が人物検出装置1の各構成の説明である。
[0025]
 次に、人物検出装置1の動作について説明する。
 図2~6は、この発明の実施の形態における、人物検出装置1の処理を示すフローチャートである。
 まず、図2を用いて、画像取得部3と動体抽出部4の処理について説明する。
 画像取得部3は、カメラ2で撮影された画像データをカメラ2から取得し、取得した画像データから最新の1フレームの画像を取得する(S1)。
[0026]
 取得した画像データがアナログ信号であった場合は、アナログ信号から1フレームのデジタル画像に変換する。また、取得した画像データがMotion JPEG(Joint Photographic Experts Group)またはMPEG(Moving Picture Experts Group)といった圧縮符号化された画像データの場合は、複合化して1フレームのデジタル画像に変換する。また、デジタル画像は、RGB形式またはYUV形式のカラー画像でもよいし、輝度画像(グレースケール画像)でもよい。
[0027]
 そして、取得した最新の1フレームの画像を動体抽出部4に出力する。また、取得した最新の1フレームの画像を一次記憶装置に記憶する(S2)。
 次に、動体抽出部4は、一次記憶装置に記憶されている最新の1フレームの画像から動体領域を抽出する。
 図7は、この発明の実施の形態における、動体抽出部4の処理を説明する画像の図である。
 図7の画像701と画像702は、一次記憶装置に記憶されている画像であり、画像701は、画像取得部3で取得された最新の画像702の1フレーム前の画像である。そして、画像701には物体703、画像702には物体704が撮影されている様子を示している。
[0028]
 図2のフローチャートに戻り、動体抽出部4は、最新の画像702が一次記憶装置に入力されると、最新の画像702と一次記憶装置に記憶された1フレーム前の画像701とのフレーム間の差分を算出する(S3)。
 そして、フレーム間の差分が、予め設定された閾値以上の画像ブロック705を動きブロック706として抽出する(S4)。
 画像ブロック705は、画像を均等に分割した領域であり、分割数は画像サイズに応じて予め決めた数である。また、前記閾値は、事前に決めた規定値でもよいし、動的に変更してもよい。
[0029]
 そして、抽出した動きブロック706のラベリングにより動きブロック706をグループ化する(S5)。
 そして、グループ化した動きブロックを包含する矩形を動体領域707とする。このとき、グループ化した動きブロックの数が、予め決められた規定範囲内の場合のみ動体領域としてもよい。そして、動体領域707の位置、例えば動体領域の中心位置または重心位置を算出し(S6)、算出した位置と領域の座標の情報を、動体領域707の動体データとして動体追跡部5に出力し記憶する。
[0030]
 次に、図3を用いて、動体追跡部5の処理について説明する。
 動体追跡部5は、動体履歴記憶部6に記憶されている過去の動体領域の動体データを用いて、動体抽出部4から入力された最新の動体領域の追跡を行う。
 まず、動体追跡部5は、1フレーム前の動体領域の位置と最新の動体領域の位置との最短距離Dminに閾値M、最短距離Dminである過去の動体領域の識別番号Minに-1、動体抽出部4から入力される最新の動体領域の識別番号iに1、および動体履歴記憶部6に記憶されている過去の動体領域の識別番号jに1を設定し初期化する(S7)。
[0031]
 そして、動体追跡部5は、動体抽出部4から動体データが入力されると、動体履歴記憶部6から動体データの履歴データを取得して以下の処理を行う。
 動体履歴記憶部6から取得した1フレーム前の動体領域B(j)の位置PB(j)を前位置として取得する(S8)。
 次に、動体抽出部4から入力された最新の動体データである動体領域Aの動体の位置PAとPB(j)の距離D(j)を算出する(S9)。
[0032]
 そして、算出した距離D(j)が予め設定したDminよりも小さいか否かを判定する(S10)。
 算出した距離D(j)が予め設定したDminよりも小さければ、算出した距離D(j)をDminに設定し、Minに距離を算出した動体領域の識別番号jを設定する(S11)。
 算出した距離D(j)が予め設定したDmin以上であれば、S12の処理を行う。
 j+1が、動体履歴記憶部6から取得した過去のすべての動体領域の数よりも大きいか否かを判定する(S12)。
 j+1が、過去のすべての動体領域の数よりも大きければS13の処理を行う。
 j+1が、過去のすべての動体領域の数以下であれば、jにj+1を設定してS8の処理に戻り、次の過去の動体の動体領域に対して、最新の動体領域との距離を算出する。
 j+1が、過去のすべての動体領域の数よりも大きければ、Dminが閾値Mよりも小さいか否かを判定する(S13)。
[0033]
 Dminが閾値M以上であれば、動体領域A(i)の位置PA(i)を新規の動体として、動体履歴記憶部6に出力して記憶させる(S14)。
 Dminが閾値Aよりも小さければ、PB(Min)をPA(i)とし動体履歴記憶部6の動体データの位置を更新する(S15)。
 そして、i+1が動体抽出部4から入力された最新の動体領域の数よりも大きいか否かを判定し(S16)、i=i+1としてS8の処理に戻る。
[0034]
 次に、j=1、k=1(kは静止領域の識別番号)として初期化する(S17)。
 そして、1フレーム前の動体領域の位置PB(j)が更新されていないかを判定する(S18)。
 1フレーム前の動体領域の位置PB(j)が、動体抽出部4から入力された動体領域PA(i)の位置に更新されていなければ、動体領域B(j)の動体が静止している状態である静止領域B(k)として動体履歴記憶部6に記憶する(S19)。
 1フレーム前の動体領域の位置PB(j)が、動体抽出部4から入力された動体領域PA(i)の位置に更新されていれば、S21の処理を行う。
[0035]
 このように、動体追跡部5は、動体抽出部4で抽出された動体領域に対して、1フレーム前のすべての動体領域の情報を動体履歴記憶部から取得し、動体抽出部4で抽出された動体領域の位置と1フレーム前の動体領域の位置との距離を算出し、その距離が閾値より小さく、その距離が一番短い1フレーム前の動体領域の動体と、動体抽出部4で抽出された動体領域の動体が同じ動体であるとして追跡する。
[0036]
 更に、動体追跡部5の静止領域判定部13は、1フレーム前の動体領域の位置が、動体抽出部4の動体領域抽出部12で抽出された動体領域の位置に更新されていなければ静止領域と判定する。
[0037]
 尚、閾値Mは、予め設定されるとして説明したが、規定値でもよく、動的に変更してもよい。また、動体抽出部4で抽出した最新の動体領域が複数存在する場合は、各動体領域に対して、1フレーム前の動体領域の位置との距離を判定して同一の動体であるか否かを判定する。
 また、静止領域判定部13は、動体抽出部4で抽出された動体領域の動体と、1フレーム前の動体領域の動体が同じかどうかを判定した後の処理として説明したが、この動体追跡部5の処理(1フレーム前の動体領域の動体と同じか否かを判定する処理)を行ってもよい。
[0038]
 図8は、この発明の実施の形態における、動体追跡部5の動作を説明する画像の図である。
 図8の画像801は、一次記憶装置に記憶されている最新の画像の1フレーム前の画像に、動体追跡部5が動体履歴記憶部6から取得した1フレーム前の動体データを示している。また、画像802は、一次記憶装置に記憶されている最新の画像に、動体抽出部4から入力された動体データを示している。
[0039]
 また、画像801には、動体803と動体804が撮影されている。また、画像802には、動体803と動体804が撮影されていて、動体抽出部4によって抽出された動体803の動体領域805と、動体804の動体領域806を示している。
 また、画像801には、動体履歴記憶部6に記憶されている動体データから、動体804の位置の履歴807、808、809、810と、動体803の位置811を示している。
 また、画像802には、動体抽出部4から入力された動体803の位置812と、動体804の位置813、および動体履歴記憶部6から取得した動体データの動体の位置の履歴807、808、809と1フレーム前の動体の位置810、811を示している。
[0040]
 そして、動体追跡部5は、動体抽出部4から動体データが入力されると、動体履歴記憶部6から1フレーム前の動体データである、動体804の位置810と、動体803の位置811を前位置として取得する。
 そして、動体抽出部4から入力された最新の動体データである動体領域806の動体804の位置813と動体履歴記憶部6から取得した動体領域の位置810との距離、および動体抽出部4から入力された最新の動体データである動体領域806の動体804の位置813と、動体履歴記憶部6から取得した動体領域の位置811との距離を算出する。
[0041]
 ここでは、動体抽出部4から入力された動体領域806の位置813と、動体履歴記憶部6から取得した動体領域の位置811との距離が閾値より小さかったとする。また、動体抽出部4から入力された動体領域806の位置813と、動体履歴記憶部6から取得した動体領域の位置810との距離が閾値よりも小さかったとする。その時、動体抽出部4から入力された動体領域806の位置813と、動体履歴記憶部6から取得した動体領域の位置811との距離よりも、動体抽出部4から入力された動体領域806の位置813と、動体履歴記憶部6から取得した動体領域の位置810との距離のほうが短いため、動体領域の位置810の動体データと、動体抽出部4から入力された動体領域806の動体が同じ動体であると判定する。そして、動体抽出部4から入力された動体領域806の位置を動体履歴記憶部6に記憶されている同じ動体の位置として記憶する。
[0042]
 次に、動体追跡部5の静止領域判定部13が、追跡した動体領域の動体が静止した状態であり、静止領域であると判定する処理について説明する。
 図9は、この発明の実施の形態における、動体追跡部5の静止領域判定部13の動作を説明する画像の図である。
 図9の画像901は、一次記憶装置に記憶された最新の画像の1フレーム前の画像に、動体追跡部5が動体履歴記憶部6から取得した動体データの追跡位置を示している。また、画像902は、一次記憶装置に記憶された最新の画像に、動体抽出部4から入力された動体領域を示している。
[0043]
 また、画像901は、最新の画像の1フレーム前の画像に撮影された動体903aを示し、画像902は、最新の画像に撮影された動体903bと動体904を示している。
 また、画像901は、動体履歴記憶部6から取得した動体903aを追跡した位置(905、906、907、908a)と動体903aの動体領域909を示している。画像902は、動体903bを追跡した位置(905、906、907、908b)と、動体抽出部4から入力された動体領域910の位置911を示している。
[0044]
 そして、動体追跡部5は、動体抽出部4から動体データが入力されると、動体抽出部4によって抽出された動体領域の位置と動体履歴記憶部6から取得した1フレーム前の動体領域の位置との距離から動体を判定する。そして、1フレーム前の動体と同じ動体と判定すれば、その動体の位置を動体抽出部4によって抽出された動体領域の位置に更新する。
[0045]
 そして、動体追跡部5の静止領域判定部13は、動体履歴記憶部6から取得した動体903bの位置908bが、動体抽出部4で抽出された動体領域の位置に更新されていなければ、動体903bが静止状態であると判定する。静止状態と判定すると、その動体903bについて、1フレーム前の画像で動体抽出部4の動体領域抽出部12によって抽出された動体903aの動体領域909を静止領域として、動体履歴記憶部6の動体903bの状態情報を静止状態にする。
[0046]
 また、動体追跡部5が、動体抽出部4から動体領域910の位置911を取得すると、位置911と1フレーム前の画像901の動体領域の位置との距離を算出する。図9では、位置911と位置908a(=位置908b)との距離を算出する。この距離が閾値M以上であったとすると、動体追跡部5は、動体領域910の位置911を、新規の動体904の動体データの位置として動体履歴記憶部6に出力して記憶する。
[0047]
 図10は、この発明の実施の形態における、動体履歴記憶部6に記憶されている動体データの例である。
 図10に示すように、動体履歴記憶部6には、例えば、動体を識別する動体ID、動体領域の位置(中心位置または重心位置)、動体領域の座標、および動体の状態情報(移動状態または静止状態)が記憶されている。
[0048]
 この動体履歴記憶部6には動体追跡部5から動体データが入力されて、入力された動体データを記憶している。そして、動体追跡部5は、動体抽出部4から抽出された動体領域が入力されると、抽出された動体領域の位置と、動体履歴記憶部6に記憶されている動体領域の位置との距離に基づいて、抽出された動体領域の動体が移動状態か静止状態か、または新規の動体であるかを判定する。そして、判定した結果を動体履歴記憶部6に出力して記憶させる。
[0049]
 次に、図4を用いて、静止領域画像保存部7の処理について説明する。
 静止領域画像保存手段7は、動体履歴記憶部6に静止領域のデータが入力されると(動体データに静止状態のデータが入力されると)、一次記憶装置に記憶された最新の画像から、静止領域B(k)の画像を切り出し、静止領域画像記憶部8に出力して、静止領域B(k)の最新の画像を記憶する(S20)。
[0050]
 図11は、この発明の実施の形態における、静止領域画像記憶部8に記憶されている静止領域の画像データの例である。
 静止領域画像記憶部8には、例えば、動体ID1101、画像1102、更新回数1103が記憶されている。
 動体ID1101は、動体履歴記憶部6に記憶された動体IDと同じIDが記憶されている。また、画像1102は、静止領域だけを切り出した最新の画像である。静止領域画像記憶部8には、同じ動体IDに対する画像は何度更新してもよいため、更新回数1103は、同じ動体IDに対する画像を更新した回数を示している。
[0051]
 次に、図5を用いて、特徴変化量抽出部9の処理について説明する。
 特徴変化量抽出部9は、静止領域画像記憶部8に静止画像の最新の画像が記憶されると、以下の処理を行う。まず、画像の特徴変化量の初期化(FV(k)=0)を行い、静止領域の識別番号を次の識別番号にする(k=k+1)(S21)。
 そして、動体履歴記憶部6に記憶された過去の動体領域の数まで静止領域の画像を取得したか否かを判定する(S22)。
 過去の動体領域の数まで取得していなければ、S18の処理に戻る。
 過去の動体領域の数まで取得していれば、以下の処理を行う。
[0052]
 まず、静止領域の識別番号を初期化(k=1)する(S23)。
 そして、特徴変化量抽出部9は、動体履歴記憶部6に静止領域の情報が記憶されると(動体データに静止状態の情報が記憶されると)、静止領域画像記憶部8に記憶された静止領域B(k)の画像と、一次記憶装置に記憶された最新の画像の静止領域の画像との画像の特徴量の差分FD(k)を算出して(S24)、画像の特徴変化量を抽出する。
 そして、特徴変化量FV(k)=FV(k)+FD(k)として、FV(k)に特徴変化量を加算して特徴変化量の総和を算出する(S25)。
[0053]
 そして、静止領域の識別番号k+1が、静止領域の数よりも大きいか否かを判定し(S26)、すべての静止領域について特徴変化量を抽出するまで特徴量変化量の抽出を行う。
 静止領域の数以下であれば、次の静止領域の識別子を設定してS24に戻る。
 静止領域の数より大きければ、算出した特徴変化量を静止人物判定部10に出力し、S27以降の静止人物判定手段10の処理を行う。
[0054]
 ここで、特徴変化量抽出部9の動作を画像例で説明する。
 図12は、この発明の実施の形態における、特徴変化量抽出部9の動作を説明する画像の図である。
 図12では、静止領域画像記憶部8に記憶されている静止領域画像データ1201と、画像取得部3が取得して一次記憶装置に記憶されている最新の画像1202を示している。そして、静止領域画像データ1201には、動体ID3に対応した静止領域の画像1203と、動体ID4に対応した静止領域の画像1204が記憶されていることを示している。
[0055]
 また、特徴変化量抽出部9は、動体ID3に対応した静止領域の情報(位置と領域座標)を動体履歴記憶部6から取得する。この取得した静止領域に対応した最新の画像1202の静止領域1205を、最新の画像1202に示している。そして、この静止領域1205に動体1206の画像がある。また、動体ID4に対応した静止領域の情報を動体履歴記憶部6から取得する。この取得した静止領域に対応した最新の画像1202の静止領域1207を、最新の画像1204に示している。そして、この静止領域1207に動体1208の画像がある。
[0056]
 そして、特徴変化量抽出部9は、静止領域画像記憶部8に記憶されている静止領域1203の画像特徴量と、一次記憶装置から取得した最新の画像から切り出した静止領域1205の画像特徴量との差分を算出する。
 特徴量の差分の算出は、画像間のテンプレートマッチングによる差分、またはHOG特徴量の差分、または輝度ヒストグラムの差分などを利用する。この差分を画像特徴量の変化量としてもよいし、上記の処理を規定の時間あるいは規定の回数だけ繰り返し特徴量差分の総和を画像特徴量の変化量としてもよい。また、このような処理を繰り返すとき、静止領域画像記録部8の静止領域の画像を最新の画像の静止領域に更新するタイミングは、毎回実施してもよいし、ある条件が成立したときに実施してもよい。例えば、特徴量差分が規定値以上になった場合に最新の画像に更新する。
 以上が、特徴変化量抽出部9の動作についての画像例での説明である。
[0057]
 次に、図6を用いて、静止人物判定部10と人物情報出力部11の処理について説明する。
 静止人物判定部10は、特徴変化量抽出部9から画像の特徴変化量が入力されると、静止領域中の人の有無を判定し、その結果を動体履歴記憶部6に反映する。
 まず、静止人物判定部10は、規定時間経過したか否かを判定する(S27)。
 規定時間経過していなければ、S30の処理を行う。
 規定時間経過していれば、特徴変化量抽出部9で抽出した特徴変化量FV(k)が、規定の範囲内か否かを判定する(S28)。
[0058]
 規定の範囲内でなければ、静止領域B(k)の動体データを動体履歴記憶部6から削除し、また、静止領域B(k)の画像を静止領域画像記憶部8から削除し(S29)、S30の人物情報出力部11の処理に移行する。
 規定の範囲内であれば、静止領域B(k)に人が居ると判定し、S30の処理を行う。
 このように、静止人物判定部10は、特徴変化量抽出部9から入力された静止領域に人が居ないと判定すると、動体履歴記憶部6から静止領域のデータを削除することで、判定した静止している人物のデータを動体履歴記憶部6に反映する。
[0059]
 ここで、静止人物判定部10によって、特徴変化量によって静止人物を判定する処理について図を用いて説明する。
 図13は、この発明の実施の形態における、静止人物判定部10が静止人物を判定する特徴変化量を示す図である。
 図13には、特徴変化量1301、1302、1303が示されている。
 例えば、特徴変化量1302は、規定の時間後に、規定の範囲内にある。この場合、静止人物判定部10は、特徴変化量1302の静止領域に人が居ると判定する。
 また、特徴変化量1301は、規定の時間前に規定の範囲外になる。この場合、静止人物判定部10は、特徴変化量1301の静止領域に人は居ないと判定する。
[0060]
 また、特徴変化量1303は、規定の時間となった時に規定の範囲外である。この場合も、静止人物判定部10は、特徴変化量1303の静止領域に人は居ないと判定する。
 以上で説明した処理を繰り返すとき、静止領域画像記憶部8の同じ静止領域の画像を最新の画像の同じ静止領域に更新するタイミングは、毎回実施してもよいし、ある条件が成立したときに実施してもよい。例えば、特徴量差分が規定値以上になった場合に最新の画像に更新してもよい。
 尚、図13では、規定範囲は、特徴変化量がある値以上の範囲であるとして示しているが、規定範囲は、変化量なしの状態を含む変化量ゼロからの範囲を規定範囲としてもよい。
[0061]
 ここで、特徴変化量による人物の判定について説明する。
 人が移動する際に、キャスター付きの椅子または机など人以外の物体も移動するケースが多い。このとき、動体抽出部4と動体追跡部5では、人以外の移動した物体も動体として認識してしまう。しかし、動体追跡部5では、移動状態として認識できる程の動きではなくても、人は日常生活の中では静止状態で微細な動きをするものであり、長時間全く動かない人は滅多にいない。
[0062]
 一方、椅子または机などの物体は移動した後は長時間動かない。その差が特徴変化量抽出部9で抽出した画像の特徴変化量に反映される。椅子または机などの物体は、変化量が非常に小さい値になる(例えば、図13の特徴変化量1303)。したがって、変化量が規定値より小さい場合、その静止領域は、人以外の物体であると判定する。
[0063]
 また、人がTVまたはパソコンモニタ付近を移動あるいは停止すると、人ではなく、TVやパソコンモニタが静止領域として生成されることがある。このような静止領域では、TVまたはパソコンモニタの画面表示によって、画像の特徴変化量が大きくなる(例えば、図13の特徴変化量1301)。したがって、変化量が規定範囲より大きい場合に、TVまたはパソコンモニタなどの物体であると判定することで、人と誤判定することを防ぐことができる。
[0064]
 尚、ここでは、静止人物判定部10で人が居ないと判定すると、動体履歴記憶部6と静止領域画像記憶部8から静止領域を削除するとして説明しているが、特徴変化量抽出部9と静止人物判定部10で特定時間および特定回数、人の有無の判定を繰り返して、人が居ないと判定し続けた場合に、その判定した静止領域を動体履歴記憶部6と静止領域画像記憶部8から削除してもよい。
[0065]
 また、静止人物判定部10で人が居ないと判定し続けたときに、静止領域画像記憶部8に記憶された静止領域の画像を、改めて最新の画像から切り出した静止領域の画像に更新してもよい。そうすることによって、静止画像で判定された人の近くに、他の人が通りかかり、静止画像に他の人の動体領域の画像が重なって、静止領域に静止した人が居るにもかかわらず、画像特徴量が閾値の範囲外になってしまっても、最新の画像から切り出した静止領域の画像から静止した人を検出することができる。
 また、静止人物判定部10で人が居ないと判定し続けたときに、改めて最新の画像から切り出した複数の静止領域の画像を静止領域画像記憶部8に記憶しておいてもよい。
 また、本実施の形態では、人が居ないと判定した静止領域を動体履歴記憶部6から削除するとして説明したが、例えば、静止領域と判定した位置と、動体抽出部4で抽出された次の画像の動体領域の位置との距離が設定された閾値よりも小さい場合、静止領域の動体が動体領域に遷移したと判定し、動体履歴記憶部6の静止領域を動体領域に変更してもよい。
[0066]
 次に、人物情報出力部11の動作を説明する。
 人物情報出力部11は、所定の時間毎または外部装置からの指示により、動体履歴記憶部6に記憶されている動体領域と静止領域の動体データを取得し、例えばこの動体データの数と位置を人物情報として外部装置に出力する(S30)。
 そして、人物の検出が終了しているか否かを判定する(S31)。
 人物の検出が終了していれば、人物の検出処理を終了する。
 人物の検出が終了していなければ、S1の処理に戻る。
[0067]
 人物情報出力部11が出力する先は、外部装置の制御装置、または外部システムであってもよい。
 静止人物判定部10は、人が居ないと判定した静止領域を動体履歴記憶部6から削除するため、動体履歴記憶部6に記憶されている動体領域と静止領域が人の居る領域となる。人物情報とする人の位置は、例えば動体領域または静止領域の中心位置、あるいは動体領域または静止領域の重心位置とする。
[0068]
 このように生成した人物情報を、例えば照明または空調の制御装置、あるいは機器の管理システムに提供することにより、人の有無、位置、人数に応じて最適な省エネ制御が可能になる。
 照明機器の制御では、赤外線を利用した人感センサでは、静止した人には反応しないため、人がいるのに照明機器が消灯してしまうことがある。また、動いている人でも、センサ範囲のどの位置に人が居るのか分からないため、オフィスや工場など多くの照明機器が設置されている場合には、どの照明機器を調光すれば最適な明るさになるのかが分からない。
[0069]
 しかし、画像を用いて抽出した動体領域と1つ前のフレームの動体領域との距離に基づいて静止領域を判定し、この静止領域について画像の特徴量の変化量を用いて、人が静止しているか否かを判定するため、静止している人を含めた人の有無、位置、人数を検出することができる。そのため、静止した人を含めて、照明機器を点灯または消灯することができる。また、オフィス、または工場のような多くの照明機器が設置されている場合でも、人の有無、位置、人数に応じて、適切な照明機器の調光の制御を行うことができる。
[0070]
 また、赤外線を利用した人感センサでは、センサ範囲を絞り、多くのセンサを設置する必要がありコストが高くなってしまうが、画像であれば広範囲の人を検出することができるため、コストを抑えることができる。
 また、省エネ以外では、待ち時間を短縮するエレベータを最適に運行、または混雑度や立ち入り禁止検知による防犯・安全管理など、様々な制御システムに適用することができる。

産業上の利用可能性

[0071]
 以上のように、本発明にかかる人物検出装置および人物検出方法は、画像から抽出した第1の動体領域の位置と、第1の動体領域の画像より前の画像から抽出した第2の動体領域の位置との距離に基づいて、静止領域を判定する。そして、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で、例えば照明または空調の制御装置を制御することができる。あるいは、エレベータの待ち時間を短縮する運行、または混雑度や立ち入り禁止検知による防犯・安全管理などの様々な機器の管理システムに適用することができる。

符号の説明

[0072]
1 人物検出装置、2 カメラ、3 画像取得部、4 動体抽出部、5 動体追跡部、6 動体履歴記憶部、7 静止領域保存部、8 静止領域画像記憶部、9 特徴変化量抽出部、10 静止人物判定部、11 人物情報出力部、12 動体領域抽出部、13 静止領域判定部。

請求の範囲

[請求項1]
  撮影された画像を取得する画像取得部と、
 該画像取得部で取得した画像から抽出した第1の動体領域の位置と、該第1の動体領域の画像より前の画像から抽出した第2の動体領域の位置との距離に基づいて、前記第2の動体領域の動体が静止状態である静止領域と判定する静止領域判定部と、
 前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定部とを備えたことを特徴とする人物検出装置。
[請求項2]
 前記静止領域判定部は、前記第1の動体領域の位置と、前記第2の動体領域の位置との距離が予め設定された閾値よりも大きく、且つ前記第1の動体領域の画像から抽出された他のすべての動体領域の位置と、前記第2の動体領域の位置との距離が予め設定された閾値よりも大きい場合、前記第2の動体領域を静止領域と判定することを特徴とする請求項1記載の人物検出装置。
[請求項3]
 前記静止人物判定部は、前記静止領域の特徴量の変化量が設定した範囲の場合、静止領域に人が居ると判定することを特徴とする請求項1または請求項2の何れか1項に記載の人物検出装置。
[請求項4]
 前記動体領域の情報を動体の情報として記憶する動体履歴記憶部と、
 前記動体履歴記憶に記憶された動体の情報から人物の情報を外部に出力する人物情報出力手段を更に備え、
 前記静止人物判定手段は、人物有りと判定した静止領域の情報を動体の情報として前記動体履歴記憶部に記憶し、
 前記人物情報出力手段は、前記動体履歴記憶部に記憶された動体の情報から、人の位置と人の数を人物の情報として出力することを特徴とする請求項1~3の何れか1項に記載の人物検出装置。
[請求項5]
 前記静止人物判定は、人物無しと判定した前記静止領域に対して、前記第1の動体領域を抽出した画像より後の画像から新たに抽出した当該静止領域の情報を用いて人物有りと判定すると、当該静止領域の情報を動体の情報として前記動体履歴記憶部に記憶することを特徴とする請求項4に記載の人物検出装置。
[請求項6]
 撮影された画像を用いて人物を検出する人物検出装置の人物検出方法において、
 撮影された画像を取得する画像取得ステップと、
 該画像取得ステップで取得した画像から抽出した第1の動体領域の位置と、該第1の動体領域の画像より前の画像から抽出した第2の動体領域の位置との距離に基づいて、前記第2の動体領域の動体が静止状態である静止領域と判定する静止領域判定ステップと、
 前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定ステップとを備えたことを特徴とする人物検出方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]