国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現在ご利用になれません。
この状況が続く場合は、次のお問い合わせ先までご連絡ください。ご意見・お問い合わせ
1. (WO2011122333) 画像処理装置および方法、並びにプログラム
Document

明 細 書

発明の名称 画像処理装置および方法、並びにプログラム

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

非特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008   0009  

課題を解決するための手段

0010   0011   0012   0013   0014   0015   0016   0017  

発明の効果

0018  

図面の簡単な説明

0019  

発明を実施するための形態

0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163  

符号の説明

0164  

請求の範囲

1   2   3   4   5   6   7  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18  

明 細 書

発明の名称 : 画像処理装置および方法、並びにプログラム

技術分野

[0001]
 本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単に且つより正確に、入力画像から物体を抽出することができるようにする画像処理装置および方法、並びにプログラムに関する。

背景技術

[0002]
 従来、背景差分を用いて物体を抽出する技術がある。
[0003]
 背景差分においては、予め用意した背景画像と、抽出対象の物体を含む観測画像(入力画像)との差分を計算することにより、物体に関する事前知識を必要とせずに、物体領域を前景画像として抽出することができる。
[0004]
 しかしながら、静的な背景画像と入力画像との差分を単純に計算するだけでは、入力画像の背景に含まれる、木々の揺らめきや抽出対象以外の物体の微動、天候の変化や室内の照明の変化による明るさの変化などのノイズが、前景画像として抽出されてしまう。
[0005]
 そこで、このような背景における変化に柔軟に対応するために、混合ガウス分布(GMM(Gaussian Mixture Model))を用いた背景モデルの推定手法など、様々な背景のモデル化手法が提案されている(例えば、非特許文献1,2参照)。混合ガウス分布を用いた背景モデルの推定手法によれば、一時的な背景変動や急激な背景変動に対してロバストに対応することができる。

先行技術文献

非特許文献

[0006]
非特許文献1 : 島田敬士、有田大作、谷口倫一郎「混合ガウス分布による動的背景モデルの分布数増減法」、画像の認識・理解シンポジウム(MIRU2006)、2006年7月
非特許文献2 : 浮田宗伯、加藤丈和「背景差分と色検出の統合によるターゲット色の自動学習と背景変動に頑健な実時間対象検出」、画像の認識・理解シンポジウム(MIRU2004), Vol.2 pp.24-29、2004年

発明の概要

発明が解決しようとする課題

[0007]
 しかしながら、上述した手法においては、予め背景画像を学習するプロセスが必要であり、その際、背景画像には、前景画像となる情報が含まれないようにしなければならず、ユーザにとって、その設定は面倒なものとなる。また、上述した手法を複雑な背景画像に適用した場合、実時間動作の実現や背景モデルの設定が困難であった。
[0008]
 また、上述した手法では、抽出された物体が、前景画像として抽出され続けるか、背景画像として抽出されないようになるかは、物体抽出の用途によって多様であり、これに柔軟に対応した背景のモデル化手法は提案されていなかった。
[0009]
 本発明は、このような状況に鑑みてなされたものであり、より簡単に且つより正確に、入力画像から物体を抽出することができるようにするものである。

課題を解決するための手段

[0010]
 本発明の一側面の画像処理装置は、入力画像から動体を検出する検出手段と、前記検出手段により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定手段と、前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新手段と、前記更新手段により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離手段とを備える。
[0011]
 前記検出手段には、前記入力画像のフレーム毎に前記動体を検出させ、前記設定手段には、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合、前記マスク領域を設定させ、前記更新手段には、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習させることで、前記背景画像を更新させることができる。
[0012]
 前記設定手段には、前記入力画像の所定のフレームにおいて検出された前記動体をマスクする初期マスク領域を設定させ、前記更新手段には、前記入力画像において前記初期マスク領域に対応する対応領域が全て、前記背景画像として学習されるまで、前記所定のフレーム以降のフレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習させることができる。
[0013]
 前記情報処理装置には、前記更新手段により更新された前記背景画像を記憶する記憶手段をさらに設け、前記更新手段には、フレーム間での前記動体の位置の変化が所定の閾値より小さい場合、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新させることができる。
[0014]
 前記更新手段には、前記対応領域が全て前記背景画像として学習された場合、所定数フレーム毎に、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新させることができる。
[0015]
 本発明の一側面の画像処理方法は、入力画像から動体を検出する検出ステップと、前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップと含む。
[0016]
 本発明の一側面のプログラムは、入力画像から動体を検出する検出ステップと、前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップを含む処理をコンピュータに実行させる。
[0017]
 本発明の一側面においては、入力画像から動体が検出され、検出された動体の位置に基づいて、入力画像における動体をマスクするマスク領域が設定され、入力画像におけるマスク領域以外の領域が背景画像として学習されることで、背景画像が更新され、更新された背景画像および入力画像に基づいて、入力画像が、背景画像と、入力画像における動体の領域である前景画像とに分離される。

発明の効果

[0018]
 本発明の一側面によれば、より簡単に且つより正確に、入力画像から物体を抽出することが可能となる。

図面の簡単な説明

[0019]
[図1] 本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
[図2] 画像処理装置の動作モードの例を示すモード遷移図である。
[図3] 初期モードにおける初期処理について説明するフローチャートである。
[図4] 人物領域の設定について説明する図である。
[図5] 初期マスク領域の設定について説明する図である。
[図6] 過渡モードにおける過渡処理について説明するフローチャートである。
[図7] 定常モードにおける定常処理について説明するフローチャートである。
[図8] 初期モードにおける初期処理の他の例について説明するフローチャートである。
[図9] 画像処理装置の動作モードの他の例を示すモード遷移図である。
[図10] 図9の動作モードの過渡モードにおける過渡処理について説明するフローチャートである。
[図11] 画像処理装置の他の機能構成例を示すブロック図である。
[図12] 図11の画像処理装置の初期モードにおける初期処理について説明するフローチャートである。
[図13] 図11の画像処理装置の過渡モードにおける過渡処理について説明するフローチャートである。
[図14] 物体検出部の機能構成例を示すブロック図である。
[図15] 物体検出処理について説明するフローチャートである。
[図16] 物体検出部の他の機能構成例を示すブロック図である。
[図17] 物体検出処理の他の例について説明するフローチャートである。
[図18] コンピュータのハードウェアの構成例を示すブロック図である。

発明を実施するための形態

[0020]
 以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
 1.第1の実施の形態(人物を抽出する例)
 2.第2の実施の形態(人物を抽出する他の例)
 3.第3の実施の形態(物体を抽出する例)
[0021]
 <1.第1の実施の形態>
 [画像処理装置の機能構成例について]
 図1は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
[0022]
 図1の画像処理装置11は、入力される動画像において、フレーム単位で、注目すべき動体(人物)の領域以外の領域を背景画像として学習することで、人物の領域としての前景画像と、背景画像とを区別することを繰り返す、いわゆる背景差分を用いた人物の抽出処理を実現する。
[0023]
 画像処理装置11は、顔検出部31、位置情報取得部32、マスク領域設定部33、背景差分算出部34、モード設定部35、および入力部36から構成される。
[0024]
 画像処理装置11に入力された入力画像である動画像は、フレーム単位で、顔検出部31、マスク領域設定部33、および背景差分算出部34に供給される。
[0025]
 顔検出部31は、入力画像から顔を検出し、検出された顔の領域(顔領域)を表す領域情報を、位置情報取得部32に供給する。
[0026]
 位置情報取得部32は、顔検出部31からの領域情報に基づいて、顔検出部31によって検出された顔の位置を示す位置情報を取得(算出)する。位置情報取得部32は、算出した位置情報を、必要に応じて、マスク領域設定部33に供給する。
[0027]
 また、位置情報取得部32は、位置情報保持部32aおよび位置情報比較部32bを備えている。位置情報保持部32aは、取得された位置情報を1フレーム毎に記憶(保持)する。位置情報比較部32bは、位置情報保持部32aに保持されている1フレーム前の位置情報と、新たに取得(算出)された位置情報とを比較する。位置情報比較部32bによる比較の結果に応じて、算出された位置情報がマスク領域設定部33に供給されたり、比較の結果が背景差分算出部34に供給される。
[0028]
 マスク領域設定部33は、位置情報取得部32からの位置情報に基づいて、入力画像における人物をマスクするマスク領域を設定し、マスク領域を表す情報を、背景差分算出部34に供給する。具体的には、マスク領域設定部33は、人物領域推定部33aを備え、人物領域推定部33aは、位置情報取得部32からの位置情報で示される顔の位置から、入力画像における人物の領域である人物領域を推定する。マスク領域設定部33は、人物領域推定部33aにより推定された人物領域をマスク領域として設定する。
[0029]
 背景差分算出部34は、フレーム単位で入力される入力画像に対して、背景差分を用いて、前景画像と背景画像とを区別し、図示せぬ外部の表示装置等に出力する。
[0030]
 背景差分算出部34は、背景モデル更新部51、初期マスク領域保持部52、背景画像保持部53、分離部54、前景画像更新部55、カウント部56、および初期マスク領域判定部57を備えている。
[0031]
 背景モデル更新部51は、マスク領域設定部33からのマスク領域を表す情報に基づいて、入力画像において、マスク領域以外の領域を背景画像として学習し、背景画像保持部53に保持されている背景画像を更新する。更新された背景画像は、適宜、図示せぬ外部の表示装置等に出力される。
[0032]
 初期マスク領域保持部52は、例えば、画像処理装置11が、背景差分を用いた人物の抽出処理を開始して、マスク領域設定部33によって最初に設定されたマスク領域(初期マスク領域)を表す情報を記憶(保持)する。保持されている情報は、必要に応じて、初期マスク領域判定部57に読み出される。
[0033]
 背景画像保持部53は、背景モデル更新部51による学習によって更新された背景画像を記憶(保持)する。保持されている背景画像は、必要に応じて、背景モデル更新部51または分離部54に読み出される。
[0034]
 分離部54は、背景モデル更新部51またはカウント部56からの情報に基づいて、フレーム単位で入力される入力画像を、背景画像保持部53から読み出した背景画像と、背景画像以外の画像である前景画像とに分離し、その前景画像を、前景画像更新部55に供給する。
[0035]
 前景画像更新部55は、分離部54からの前景画像を1フレーム毎に記憶(保持)し、分離部54から供給される毎に更新して、外部の表示装置等に出力する。
[0036]
 カウント部56は、入力された入力画像のフレーム数をカウントし、そのカウント値に応じた指示を背景モデル更新部51または分離部54に供給する。
[0037]
 初期マスク領域判定部57は、初期マスク領域保持部52に保持されている初期マスク領域を表す情報に基づいて、背景モデル更新部51によって更新される背景画像において、初期マスク領域が残っているか否かを判定する。
[0038]
 モード設定部35は、背景差分算出部34から供給される動作モードについての情報に基づいて、画像処理装置11の動作モードを設定し、設定された動作モードを表す情報を、画像処理装置11を構成する各部に供給する。画像処理装置11の動作モードについては、図2を参照して後述する。
[0039]
 入力部36は、画像処理装置11に対する指示を入力するためにユーザに操作される。入力部36は、例えば、各種の操作ボタン、キー、タッチパネルなどから構成され、ユーザからの操作を受け付け、その操作内容を表す情報をマスク領域設定部33に供給する。
[0040]
 [画像処理装置の動作モードについて]
 次に、図2のモード遷移図を参照して、画像処理装置11の動作モードのモード遷移について説明する。
[0041]
 図2のモード遷移図において、各動作モードは、1つの楕円により表されている。すなわち、図2のモード遷移図においては、モードA,B,Cの3つの動作モードが示されている。
[0042]
 モードAは、画像処理装置11の動作モードが初期モード、すなわち、入力画像から人物を抽出する抽出処理において、最初のフレームに対する初期処理を行うモードである。画像処理装置11が初期処理を終えると、動作モードは、モードAからモードBへと遷移する。
[0043]
 モードBは、画像処理装置11の動作モードが過渡モード、すなわち、入力画像から人物を抽出する抽出処理において、人物の位置に応じて、入力画像からフレーム毎に背景画像を学習し、背景画像の更新を繰り返す過渡処理を行うモードである。画像処理装置11においては、このような過渡処理が行われるので、予め背景画像を学習する必要がない。画像処理装置11が背景画像の学習を所定の段階まで終えると、動作モードは、モードBからモードCへと遷移する。
[0044]
 モードCは、画像処理装置11の動作モードが定常モード、すなわち、入力画像から人物を抽出する抽出処理において、従来の背景のモデル化(更新)手法と同様の定常処理を行うモードである。但し、画像処理装置11の定常処理においては、所定数フレーム毎に背景のモデル化が行われるようになされる。
[0045]
 次に、図2で説明した、画像処理装置11の各動作モードにおける処理の詳細について説明する。
[0046]
 [画像処理装置の初期処理について]
 まず、図3のフローチャートを参照して、画像処理装置11の初期モードにおける初期処理について説明する。画像処理装置11は、例えば、電源投入後や、動画像の入力が終了した後などにおいて、初期モードになり、その状態で所定の動画像が入力画像として入力されると初期処理を開始する。
[0047]
 ステップS11において、顔検出部31は、入力された入力画像の1フレーム目から、人物の顔を検出する。例えば、顔検出部31は、様々な方向を向いている顔の顔画像を学習しておくことで、入力画像から人物の顔を検出し、矩形領域として検出された顔領域を表す領域情報を、位置情報取得部32に供給する。ここで、領域情報は、顔領域である矩形領域の、例えば左上および右下の頂点の座標などとされる。
[0048]
 ステップS12において、位置情報取得部32は、顔検出部31からの領域情報に基づいて、顔検出部31によって検出された顔の位置を示す位置情報を取得(算出)し、マスク領域設定部33に供給する。また、位置情報取得部32は、位置情報保持部32aに、取得した1フレーム目における顔の位置情報を記憶させる。ここで、位置情報は、位置情報取得部32からの領域情報と、その領域情報で表わされる矩形領域の重心位置の座標とを含む情報などとされる。なお、位置情報は、入力画像における顔領域の位置を、入力画像のフレーム間で特定できるものであればよく、例えば、位置情報取得部32からの領域情報そのものであってもよい。
[0049]
 ステップS13において、マスク領域設定部33は、位置情報取得部32からの位置情報に基づいて、入力画像の1フレーム目において、人物をマスクする初期マスク領域を設定し、初期マスク領域を表す情報を、背景差分算出部34に供給する。
[0050]
 具体的には、マスク領域設定部33の人物領域推定部33aは、図4に示されるような、入力画像における人物Hの顔について求められた顔領域Rfに基づいて、入力画像における人物Hの上半身領域Rhを推定する。
[0051]
 ここで、図4に示されるように、顔領域Rfの幅をRf_wとすると、人物領域推定部33aは、以下の式(1)で与えられる幅Rh_wの上半身領域Rhを推定する。
[0052]
  Rh_w = Rf_w × N               ・・・(1)
[0053]
 なお、式(1)において、値Nは、一般的な人間の顔の幅と肩幅との比を表す値であり、例えば、2.5などの値として、予め決められている。
[0054]
 図5は、入力画像に対して設定された初期マスク領域の例を示している。
[0055]
 図5に示されるように、マスク領域設定部33は、上述した顔領域Rfおよび上半身領域Rhを人物領域として、1フレーム目の入力画像Lにおいて、室内を背景にして略中心に位置する人物を囲う破線の内側の領域(網掛けされている領域)を、初期マスク領域Rmaskとして設定される。
[0056]
 このようにして、マスク領域設定部33は、人物領域推定部33aにより推定された人物領域を初期マスク領域として設定し、初期マスク領域を表す情報を、背景差分算出部34の背景モデル更新部51および初期マスク領域保持部52に供給する。
[0057]
 ステップS14において、背景モデル更新部51は、マスク領域設定部33からの初期マスク領域を表す情報に基づいて、入力画像の1フレーム目において、初期マスク領域以外の領域を背景画像として学習し、背景画像保持部53に保持させる。このとき、背景モデル更新部51は、初期モードにおける初期処理が終了した旨の情報をモード設定部35に供給する。
[0058]
 モード設定部35は、背景モデル更新部51からの、初期モードにおける初期処理が終了した旨の情報に基づいて、画像処理装置11の動作モードを過渡モードに設定し、過渡モードを表す情報を、画像処理装置11を構成する各部に供給する。
[0059]
 これにより、画像処理装置11は、過渡モードで動作するようになる。
[0060]
 [画像処理装置の過渡処理について]
 続いて、図6のフローチャートを参照して、画像処理装置11の過渡モードにおける過渡処理について説明する。
[0061]
 ステップS31において、顔検出部31は、図3のステップS11の処理と同様にして、入力された入力画像の2フレーム目から、人物の顔を検出し、矩形領域として検出された顔領域を表す領域情報を、位置情報取得部32に供給する。
[0062]
 ステップS32において、位置情報取得部32は、図3のステップS12の処理と同様にして、顔検出部31からの領域情報に基づいて、顔検出部31によって検出された顔の位置を示す位置情報を取得(算出)し、マスク領域設定部33に供給する。また、位置情報取得部32は、位置情報保持部32aに、算出した2フレーム目における顔の位置情報を記憶させる。
[0063]
 ステップS33において、位置情報取得部32の位置情報比較部32bは、位置情報保持部32aに記憶されている1フレーム前の位置情報と、ステップS32において新たに取得された位置情報とを比較する。具体的には、例えば、位置情報比較部32bは、1フレーム目の位置情報に含まれる顔領域の重心位置の座標と、2フレーム目の位置情報に含まれる顔領域の重心位置とを比較することで、フレーム間での顔の位置の変化を求める。
[0064]
 ステップS34において、位置情報比較部32bは、ステップS32で算出したフレーム間での顔の位置の変化、すなわち、1フレーム目と2フレーム目との間での顔の移動量が、例えばユーザによって予め決められた所定の閾値Tdより大きいか否かを判定する。
[0065]
 ステップS34において、顔の移動量が所定の閾値Tdより大きいと判定された場合、位置情報取得部32は、ステップS32で取得した2フレーム目の位置情報を、マスク領域設定部33に供給し、処理はステップS35に進む。
[0066]
 ステップS35において、マスク領域設定部33は、図3のステップS13の処理と同様にして、位置情報取得部32からの位置情報に基づいて、入力画像の2フレーム目においてマスク領域を設定し、マスク領域を表す情報を、背景差分算出部34に供給する。
[0067]
 ステップS36において、背景モデル更新部51は、マスク領域設定部33からのマスク領域を表す情報に基づいて、入力画像の2フレーム目において、マスク領域以外の領域を背景画像として学習し、例えば、GMM(Gaussian Mixture Model)を用いた背景モデル更新処理を行うことで、背景画像保持部53に保持されている1フレーム目についての背景画像を更新する。背景モデル更新部51は、背景画像を更新した旨の情報を、分離部54に供給する。
[0068]
 なお、背景モデル更新部51は、GMMを用いた背景モデル更新処理を行うようにしたが、他の背景モデル推定手法を用いるようにしてももちろんよい。
[0069]
 背景画像保持部53に保持されていた1フレーム目についての背景画像においては、初期マスク領域に対応する領域、すなわち、1フレーム目において人物のいた部分の情報は存在しない。
[0070]
 そこで、1フレーム目と2フレーム目との間で、人物(顔)が大きく移動した場合、2フレーム目においては、初期マスク領域と異なるマスク領域が設定され、そのマスク領域に基づいて背景画像が得られる。この2フレーム目についての背景画像(マスク領域)と、1フレーム目についての背景画像(初期マスク領域)とを比較すると、人物が移動した分だけ、1フレーム目には存在しなかった領域の情報が得られるようになる。
[0071]
 すなわち、ステップS36の処理によれば、前のフレームについての背景画像において存在しなかった領域(部分)の情報を得ることができる。
[0072]
 一方、ステップS34において、顔の移動量が所定の閾値Tdより大きくないと判定された場合、位置情報取得部32は、顔の移動量が所定の閾値Tdより大きくない旨の情報を背景モデル更新部51に供給し、処理はステップS37に進む。
[0073]
 ステップS37において、背景モデル更新部51は、位置情報取得部32からの情報に基づいて、入力画像の2フレーム目と、背景画像保持部53に保持されている1フレーム目についての背景画像とに基づいて、例えば、GMMを用いた背景モデル更新処理を行うことで、背景画像保持部53に保持されている1フレーム目についての背景画像を更新する。背景モデル更新部51は、背景画像を更新した旨の情報を、分離部54に供給する。
[0074]
 ステップS36の後、または、ステップS37の後、ステップS38において、分離部54は、背景モデル更新部51からの情報に基づいて、2フレーム目の入力画像を、背景画像保持部53から読み出した2フレーム目について背景画像と、前景画像とに分離し、分離した前景画像を、前景画像更新部55に供給する。
[0075]
 ステップS39において、前景画像更新部55は、分離部54からの前景画像を1フレーム毎に記憶(保持)し、分離部54から供給される毎に更新する。なお、分離部54から2フレーム目についての前景画像が供給された場合、1フレーム目についての前景画像は記憶されていないので、前景画像更新部55は何もしない。
[0076]
 ステップS40において、前景画像更新部55は、更新した前景画像を、図示せぬ外部の表示装置等に出力する。また、同一のタイミングで、背景モデル更新部51は、ステップS36またはステップS37において更新された背景画像を、図示せぬ外部の表示装置等に出力する。
[0077]
 ステップS41において、初期マスク領域判定部57は、初期マスク領域保持部52に保持されている初期マスク領域を表す情報に基づいて、背景モデル更新部51において更新された背景画像と初期マスク領域とを比較し、更新された背景画像において、初期マスク領域が残っているか否かを判定する。すなわち、初期マスク領域判定部57は、ステップS36の処理によって、前のフレームについての背景画像において存在しなかった領域の情報が得られることで、初期マスク領域に対応する領域が全て背景画像として学習されたか否かを判定する。
[0078]
 ステップS42において、ステップS41における判定の結果、背景モデル更新部51において更新された背景画像において、初期マスク領域が残っていると判定された場合、すなわち、初期マスク領域に対応する領域が全て背景画像として学習されていない場合、処理はステップS31に戻り、3フレーム目、4フレーム目、・・・と、ステップS31乃至S42の処理が繰り返される。
[0079]
 一方、ステップS42において、ステップS41における判定の結果、背景モデル更新部51において更新された背景画像において、初期マスク領域が残っていないと判定された場合、すなわち、初期マスク領域に対応する領域が全て背景画像として学習された場合、初期マスク領域判定部57は、過渡モードにおける過渡処理が終了した旨の情報をモード設定部35に供給する。
[0080]
 モード設定部35は、背景モデル更新部51からの、過渡モードにおける過渡処理が終了した旨の情報に基づいて、画像処理装置11の動作モードを定常モードに設定し、定常モードを表す情報を、画像処理装置11を構成する各部に供給する。
[0081]
 これにより、画像処理装置11は、定常モードで動作するようになる。
[0082]
 以上の処理によれば、入力画像における人物の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、人物の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から人物を抽出することが可能となる。また、前景画像となる人物領域の移動量が大きい場合であっても、移動後の人物領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から人物を抽出することが可能となる。
[0083]
 [画像処理装置の定常処理について]
 次に、図7を参照して、画像処理装置11の定常モードにおける定常処理について説明する。定常処理においては、入力画像は、背景差分算出部34のみに供給されるようになる。
[0084]
 ステップS71において、背景差分算出部34のカウント部56は、モード設定部35から定常モードを表す情報が背景差分算出部34に供給されたことに応じて、内部で保持しているカウント値iを0に初期化する。
[0085]
 ステップS72において、カウント部56は、入力画像が1フレーム入力される毎に、カウント値iを1インクリメントする。
[0086]
 ステップS73において、カウント部56は、カウント値iが、例えばユーザにより予め設定された所定の閾値Tiより大きいか否かを判定する。
[0087]
 ステップS73において、カウント値iが所定の閾値Tiより大きくないと判定された場合、カウント部56は、カウント値iが所定の閾値Tiを超えていない旨の情報を、分離部54に供給し、処理はステップS74に進む。
[0088]
 ステップS74において、分離部54は、カウント部56からの情報に基づいて、入力画像を、背景画像保持部53から読み出した背景画像と、前景画像とに分離し、分離した前景画像を、前景画像更新部55に供給する。
[0089]
 ステップS75において、前景画像更新部55は、分離部54からの前景画像を1フレーム毎に記憶(保持)し、分離部54から供給される毎に更新する。
[0090]
 ステップS76において、前景画像更新部55は、更新した前景画像を、図示せぬ外部の表示装置等に出力する。また、同一のタイミングで、背景モデル更新部51は、最後に更新された背景画像を、図示せぬ外部の表示装置等に出力する。その後、処理はステップS72に戻り、ステップS72乃至S76の処理が繰り返される。
[0091]
 一方、ステップS73において、カウント値iが所定の閾値Tiより大きいと判定された場合、カウント部56は、カウント値iが所定の閾値Tiを超えた旨の情報を、背景モデル更新部51に供給し、処理はステップS77に進む。
[0092]
 ステップS77において、カウント部56は、内部で保持しているカウント値iを0に初期化する。
[0093]
 ステップS78において、背景モデル更新部51は、カウント部56からの情報に基づいて、入力画像と、背景画像保持部53に保持されている背景画像とに基づいて、例えば、GMMを用いた背景モデル更新処理を行うことで、背景画像保持部53に保持されている背景画像を更新する。背景モデル更新部51は、背景画像を更新した旨の情報を、分離部54に供給する。ステップS78の後、処理はステップS74に進む。
[0094]
 ステップS78の後のステップS74においては、分離部54は、背景モデル更新部51からの情報に基づいて、入力画像を、背景画像保持部53から読み出した背景画像と、前景画像とに分離し、分離した前景画像を、前景画像更新部55に供給する。以降、上述した処理が繰り返される。
[0095]
 以上の処理によれば、入力画像のフレーム数が所定の閾値を超えたときのみ、すなわち、所定数フレーム毎に、背景モデル更新処理を行うようにできる。これにより、入力画像のフレーム数が所定の閾値を超えない間は、背景モデル更新処理を行わずに前景画像と背景画像とを分離するようになるので、フレーム毎に背景モデル更新処理を行う従来の手法と比較して、より少ない負荷で、入力画像から人物を抽出することが可能となる。
[0096]
 なお、以上においては、画像処理装置11の初期モードにおける初期処理において、顔の位置情報に基づいて人物領域を推定して、初期マスク領域を設定するようにしたが、ユーザの入力部36に対する操作によって設定された領域を、初期マスク領域として設定するようにしてもよい。
[0097]
 [画像処理装置の初期処理の他の例について]
 そこで、図8のフローチャートを参照して、ユーザによって設定された領域を、初期マスク領域として設定するようにした画像処理装置11の初期モードにおける初期処理について説明する。
[0098]
 なお、図8のフローチャートのステップS111,S112,S115における処理は、図3のフローチャートのステップS11,S12,S14における処理と同様であるので、その説明は省略する。
[0099]
 すなわち、ステップS113において、マスク領域設定部33は、入力部36からの、ユーザに設定された領域を表す情報と、位置情報取得部32からの位置情報とに基づいて、入力画像の1フレーム目において、ユーザにより設定された領域に人物がいるか否かを判定する。
[0100]
 具体的には、マスク領域設定部33は、人物領域推定部33aによって推定された人物領域が、ユーザにより設定された領域に略一致するか否かを判定する。
[0101]
 ステップS113において、ユーザにより設定された領域に人物がいないと判定された場合、ユーザにより設定された領域と、推定された人物領域とが略一致するまで、ステップS111乃至S113の処理が繰り返される。
[0102]
 一方、ステップS113において、ユーザにより設定された領域に人物がいると判定された場合、処理はステップS114に進み、マスク領域設定部33は、ユーザにより設定された領域を初期マスク領域として設定し、初期マスク領域を表す情報を、背景差分算出部34に供給する。
[0103]
 以上の処理によれば、ユーザに設定された領域を初期マスク領域とすることができる。特に、ユーザに設定された領域と、推定された人物領域とが略一致するまで、初期マスク領域が設定されないので、ユーザは、予め内容のわかっている入力画像に対して、所望のタイミングで人物の抽出処理を開始させたり、人物が複数存在する場合でも、特定の人物の抽出処理を行わせることができる。
[0104]
 以上においては、画像処理装置11は、初期モード、過渡モード、および定常モードの3種類の動作モードを有するものとして説明してきたが、図9のモード遷移図に示されるように、初期モードおよび過渡モードの2種類の動作モードを有するようにすることもできる。
[0105]
 <2.第2の実施の形態>
 [画像処理装置の動作モードの他の例について]
 図9のモード遷移図においては、モードAおよびBの2つの動作モードが示されている。
[0106]
 モードAは、画像処理装置11の動作モードが初期モード、すなわち、入力画像から人物を抽出する抽出処理において、最初のフレームに対する初期処理を行うモードである。画像処理装置11が初期処理を終えると、動作モードは、モードAからモードBへと遷移する。
[0107]
 モードBは、画像処理装置11の動作モードが過渡モード、すなわち、入力画像から人物を抽出する抽出処理において、人物の位置に応じて、フレーム毎の入力画像から背景画像を学習し、背景画像の更新を繰り返す過渡処理を行うモードである。
[0108]
 このように、図9に示されるモード遷移図の動作モードを有する画像処理装置11においては、初期モードの後、過渡モードに遷移して過渡処理を繰り返す。
[0109]
 次に、図9で説明したモード遷移図の動作モードを有する画像処理装置11の各動作モードにおける処理の詳細について説明するが、初期モードにおける初期処理は、図3(または図8)のフローチャートを参照して説明した初期処理と同様であるので、その説明は省略する。
[0110]
 [画像処理装置の過渡処理について]
 次に、図10のフローチャートを参照して、図9で説明したモード遷移図の過渡モードにおける過渡処理について説明する。
[0111]
 なお、図10のフローチャートにおけるステップS131乃至S140の処理は、図6のフローチャートにおけるステップS31乃至S40の処理と同様であるので、その説明は省略する。
[0112]
 但し、図10においては、ステップS140の後、処理はステップS131に戻る。すなわち、図10のフローチャートで示される過渡処理においては、更新された背景画像において、初期マスク領域が残っているか否か、すなわち、初期マスク領域に対応する領域が全て背景画像として学習されたか否かに関わらず、処理が繰り返される。したがって、初期マスク領域に対応する領域が全て背景画像として学習された後でも、入力画像における人物の位置の変化に応じて、背景モデル更新処理が行われる。
[0113]
 以上の処理によれば、入力画像における人物の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、人物の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から人物を抽出することが可能となる。また、前景画像となる人物領域の移動量が大きい場合であっても、移動後の人物領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から人物を抽出することが可能となる。
[0114]
 以上においては、入力画像から、動体としての人物を抽出する画像処理装置について説明してきたが、入力画像における動体は人物に限られない。そこで、以下では、入力画像から、人物以外の動体を抽出する画像処理装置について説明する。
[0115]
 <3.第3の実施の形態>
 [画像処理装置の他の機能構成例について]
 図11は、本発明を適用した画像処理装置の他の実施の形態の機能構成例を示している。
[0116]
 図11の画像処理装置211は、入力される動画像において、フレーム単位で、注目すべき動体(人物以外の物体)の領域以外の領域を背景画像として学習することで、動体の領域としての前景画像と、背景画像とを区別することを繰り返す、いわゆる背景差分を用いた動体の抽出処理を実現する。
[0117]
 なお、図11の画像処理装置211において、図1の画像処理装置11に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
[0118]
 すなわち、図11の画像処理装置211において、図1の画像処理装置11と異なるのは、顔検出部31およびマスク領域設定部33のそれぞれに代わり、物体検出部231およびマスク領域設定部232を設けた点である。
[0119]
 物体検出部231は、入力画像から動体としての物体を検出し、検出された物体の領域(物体領域)を表す領域情報を、位置情報取得部32に供給する。なお、物体検出部231の詳細については後述する。
[0120]
 マスク領域設定部232は、位置情報取得部32からの位置情報に基づいて、入力画像における物体をマスクするマスク領域を設定し、マスク領域を表す情報を、背景差分算出部34に供給する。
[0121]
 ここで、図11の画像処理装置211は、図2で説明したモード遷移図に従って動作するものとする。
[0122]
 [画像処理装置の初期処理について]
 まず、図12のフローチャートを参照して、画像処理装置211の初期モードにおける初期処理について説明する。画像処理装置211は、例えば、電源投入後や、動画像の入力が終了した後などにおいて、初期モードになり、その状態で所定の動画像が入力画像として入力されると初期処理を開始する。
[0123]
 ステップS211において、物体検出部231は、物体検出処理を実行し、入力された入力画像の1フレーム目から、物体を検出し、矩形領域として検出された物体領域を表す領域情報を、位置情報取得部32に供給する。なお、物体検出処理の詳細については後述する。
[0124]
 ステップS212において、位置情報取得部32は、物体検出部231からの領域情報に基づいて、物体検出部231によって検出された物体の位置を示す位置情報を取得(算出)し、マスク領域設定部232に供給する。また、位置情報取得部32は、位置情報保持部32aに、取得した1フレーム目における物体の位置情報を記憶させる。
[0125]
 ステップS213において、マスク領域設定部232は、位置情報取得部32からの位置情報に基づいて、入力画像の1フレーム目において、物体をマスクする初期マスク領域を設定し、初期マスク領域を表す情報を、背景差分算出部34に供給する。
[0126]
 ステップS214において、背景モデル更新部51は、マスク領域設定部232からの初期マスク領域を表す情報に基づいて、入力画像の1フレーム目において、初期マスク領域以外の領域を背景画像として学習し、背景画像保持部53に保持させる。このとき、背景モデル更新部51は、初期モードにおける初期処理が終了した旨の情報をモード設定部35に供給する。
[0127]
 モード設定部35は、背景モデル更新部51からの、初期モードにおける初期処理が終了した旨の情報に基づいて、画像処理装置211の動作モードを過渡モードに設定し、過渡モードを表す情報を、画像処理装置211を構成する各部に供給する。
[0128]
 これにより、画像処理装置211は、過渡モードで動作するようになる。
[0129]
 [画像処理装置の過渡処理について]
 続いて、図13のフローチャートを参照して、画像処理装置211の過渡モードにおける過渡処理について説明する。
[0130]
 なお、図13のフローチャートにおけるステップS236乃至S242の処理は、図6のフローチャートを参照して説明したステップS36乃至242の処理と同様であるので、その説明は省略するものとする。
[0131]
 ステップS231において、物体検出部231は、図12のステップS211の処理と同様にして、物体検出処理を実行し、入力された入力画像の2フレーム目から、物体を検出し、矩形領域として検出された物体領域を表す領域情報を、位置情報取得部32に供給する。
[0132]
 ステップS232において、位置情報取得部32は、図12のステップS212の処理と同様にして、物体検出部231からの領域情報に基づいて、物体検出部231によって検出された物体の位置を示す位置情報を取得(算出)し、マスク領域設定部232に供給する。また、位置情報取得部32は、位置情報保持部32aに、算出した2フレーム目における物体の位置情報を記憶させる。
[0133]
 ステップS233において、位置情報取得部32の位置情報比較部32bは、位置情報保持部32aに記憶されている1フレーム前の位置情報と、ステップS232において新たに取得された位置情報とを比較する。具体的には、例えば、位置情報比較部32bは、1フレーム目の位置情報に含まれる物体領域の重心位置の座標と、2フレーム目の位置情報に含まれる物体領域の重心位置とを比較することで、フレーム間での物体の位置の変化を求める。
[0134]
 ステップS234において、位置情報比較部32bは、ステップS232で算出したフレーム間での物体の位置の変化、すなわち、1フレーム目と2フレーム目との間での物体の移動量が、例えばユーザによって予め決められた所定の閾値Tdより大きいか否かを判定する。
[0135]
 ステップS234において、物体の移動量が所定の閾値Tdより大きいと判定された場合、位置情報取得部32は、ステップS232で取得した2フレーム目の位置情報を、マスク領域設定部33に供給し、処理はステップS235に進む。
[0136]
 ステップS235において、マスク領域設定部33は、図12のステップS213の処理と同様にして、位置情報取得部32からの位置情報に基づいて、入力画像の2フレーム目においてマスク領域を設定し、マスク領域を表す情報を、背景差分算出部34に供給する。
[0137]
 そして、ステップS236以降の処理は、上述したように、図6のフローチャートのステップS36以降の処理と同様にして行われる。
[0138]
 [物体検出部の機能構成例について]
 ここで、図14を参照して、図11の物体検出部231の詳細な機能構成例について説明する。
[0139]
 図14の物体検出部231は、車両検出部271を備えている。
[0140]
 車両検出部271は、入力画像から車両(自動車)を検出し、検出された車両の領域を表す領域情報を、位置情報取得部32に供給する。
[0141]
 [物体検出部の物体検出処理について]
 次に、図15のフローチャートを参照して、図14の物体検出部231により実行される、図12のステップS211および図13のステップS231における物体検出処理について説明する。
[0142]
 ステップS271において、車両検出部271は、入力された入力画像の所定フレームから、車両を検出する。例えば、車両検出部271は、様々な方向を向いている車両の画像を学習しておくことで、入力画像から車両を検出し、矩形領域として検出された車両の領域を表す領域情報を、位置情報取得部32に供給する。
[0143]
 このようにして、入力画像における車両の位置の変化に応じて、背景モデル更新処理が行われる。
[0144]
 以上の処理によれば、入力画像における車両の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、車両の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から車両を抽出することが可能となる。また、前景画像となる車両の領域の移動量が大きい場合であっても、移動後の車両の領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から車両を抽出することが可能となる。
[0145]
 以上においては、物体検出部231によって検出される物体が車両である場合の構成および処理について説明したが、例えば、物体検出部231によって検出される物体を動物とするようにしてもよい。
[0146]
 [物体検出部の他の機能構成例について]
 ここで、図16を参照して、図11の物体検出部231の他の機能構成例について説明する。
[0147]
 図16の物体検出部231は、動物検出部281を備えている。
[0148]
 動物検出部281は、入力画像から動物を検出し、検出された動物の領域を表す領域情報を、位置情報取得部32に供給する。
[0149]
 [物体検出処理の他の例について]
 次に、図17のフローチャートを参照して、図16の物体検出部231により実行される、図12のステップS211および図13のステップS231における物体検出処理の他の例について説明する。
[0150]
 ステップS281において、動物検出部281は、入力された入力画像の1フレーム目から、動物を検出する。例えば、動物検出部281は、様々な方向を向いている、犬、猫、馬、牛などの4足の動物の画像を学習しておくことで、入力画像から動物を検出し、矩形領域として検出された動物の領域を表す領域情報を、位置情報取得部32に供給する。
[0151]
 このようにして、入力画像における動物の位置の変化に応じて、背景モデル更新処理が行われる。
[0152]
 以上の処理によれば、入力画像における動物の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、動物の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から動物を抽出することが可能となる。また、前景画像となる動物の領域の移動量が大きい場合であっても、移動後の動物の領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から動物を抽出することが可能となる。
[0153]
 なお、以上においては、物体検出部231によって検出される物体が車両や動物である場合の構成および処理について説明したが、入力画像において検出可能な動体であれば、本発明を適用することが可能である。
[0154]
 また、図11の画像処理装置211においては、図1の画像処理装置11と同様に、ユーザの入力部36に対する操作によって設定された領域を、初期マスク領域として設定したり、図9のモード遷移図に示されるように、初期モードおよび過渡モードの2種類の動作モードを有するようにしてもよい。
[0155]
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
[0156]
 図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
[0157]
 コンピュータにおいて、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
[0158]
 バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、キーボード、マウス、マイクロホン等よりなる入力部906、ディスプレイ、スピーカ等よりなる出力部907、ハードディスクや不揮発性のメモリ等よりなる記憶部908、ネットワークインタフェース等よりなる通信部909、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア911を駆動するドライブ910が接続されている。
[0159]
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
[0160]
 コンピュータ(CPU901)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア911に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
[0161]
 そして、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
[0162]
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
[0163]
 また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

符号の説明

[0164]
 11 画像処理装置, 31 顔検出部, 32 位置情報取得部, 32a 位置情報保持部, 32b 位置情報比較部, 33 マスク領域設定部, 33a 人物領域推定部, 34 背景差分算出部, 35 モード設定部, 36 入力部, 51 背景モデル更新部, 52 初期マスク領域保持部, 53 背景画像保持部, 54 分離部, 55 前景画像更新部, 56 カウント部, 57 初期マスク領域判定部, 211 画像処理装置, 231 物体検出部, 232 マスク領域設定部, 271 車両検出部, 281 動物検出部

請求の範囲

[請求項1]
 入力画像から動体を検出する検出手段と、
 前記検出手段により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定手段と、
 前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新手段と、
 前記更新手段により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離手段と
 を備える画像処理装置。
[請求項2]
 前記検出手段は、前記入力画像のフレーム毎に前記動体を検出し、
 前記設定手段は、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合、前記マスク領域を設定し、
 前記更新手段は、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習することで、前記背景画像を更新する
 請求項1に記載の画像処理装置。
[請求項3]
 前記設定手段は、前記入力画像の所定のフレームにおいて検出された前記動体をマスクする初期マスク領域を設定し、
 前記更新手段は、前記入力画像において前記初期マスク領域に対応する対応領域が全て、前記背景画像として学習されるまで、前記所定のフレーム以降のフレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習する
 請求項2に記載の画像処理装置。
[請求項4]
 前記更新手段により更新された前記背景画像を記憶する記憶手段をさらに備え、
 前記更新手段は、フレーム間での前記動体の位置の変化が所定の閾値より小さい場合、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新する
 請求項3に記載の画像処理装置。
[請求項5]
 前記更新手段は、前記対応領域が全て前記背景画像として学習された場合、所定数フレーム毎に、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新する
 請求項4に記載の画像処理装置。
[請求項6]
 入力画像から動体を検出する検出ステップと、
 前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、
 前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、
 前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップと
 を含む画像処理方法。
[請求項7]
 入力画像から動体を検出する検出ステップと、
 前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、
 前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、
 前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップと
 を含む処理をコンピュータに実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]