処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020115873 - 顔検出装置、顔検出方法、および、顔検出システム

Document

明 細 書

発明の名称 顔検出装置、顔検出方法、および、顔検出システム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084  

産業上の利用可能性

0085  

符号の説明

0086  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 顔検出装置、顔検出方法、および、顔検出システム

技術分野

[0001]
 この発明は、画像中の人物の顔を検出する顔検出装置、顔検出方法、および、顔検出システムに関する。

背景技術

[0002]
 従来、画像に基づき、画像中の人物の顔を検出する技術が知られている。
 例えば、特許文献1には、第1のフレーム画像と当該第1のフレーム画像に後行する第2のフレーム画像との差分に基づき被写体のまばたき位置を検出し、検出されたまばたき位置に基づいて被写体の顔位置を検出する顔位置検出回路に関する技術が開示されている。特許文献1に開示されている技術では、上述のとおり、被写体のまばたき位置を検出することによって、絵またはポスター等における人物像の顔位置を人物の顔位置と誤検出することを防止している。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2008-236649号公報

発明の概要

発明が解決しようとする課題

[0004]
 特許文献1に開示されている技術に代表される従来技術では、人物の顔を検出するために被写体のまばたき位置を検出する際、フレーム画像全体での差分を取るようにしている。そのため、膨大な画像処理量が発生するという課題があった。
[0005]
 この発明は上記のような課題を解決するためになされたもので、画像全体での差分を取る場合と比べて、画像処理量を抑えた、画像に基づく、人物の顔の検出を行うことができる顔検出装置を提供することを目的とする。

課題を解決するための手段

[0006]
 この発明に係る顔検出装置は、撮像装置が撮影した撮影画像を取得する画像取得部と、画像取得部が取得した撮影画像から、顔領域を検出し、当該顔領域を含む顔画像を生成する顔検出処理部と、顔検出処理部が生成した顔画像から、目画像を抽出する目抽出部と、目抽出部が過去に抽出した複数の目画像を比較し、まばたきの有無を検出する比較部と、顔検出処理部が生成した顔画像と、比較部が検出したまばたきの有無の検出結果とに基づき、顔画像にうつっている被写体が人物であるか否かを判定する出力制御部とを備えたものである。

発明の効果

[0007]
 この発明によれば、画像全体での差分を取る場合と比べて、画像処理量を抑えた、画像に基づく、人物の顔の検出を行うことができる。

図面の簡単な説明

[0008]
[図1] 実施の形態1に係る顔検出装置が適用されるシステム例を説明するための図であって、図1Aは、実施の形態1に係る顔検出装置が防犯カメラシステムに適用された場合のシステム例を説明するための図であり、図1Bは、実施の形態1に係る顔検出装置が顔照合システムに適用された場合のシステム例を説明するための図である。
[図2] 実施の形態1に係る顔検出装置の構成例を示す図である。
[図3] 実施の形態1において、比較制御部の比較部が行うまばたき検出のイメージの一例を説明するための図であって、図3Aは、まばたき無を検出する場合のイメージの一例を示す図であり、図3Bは、まばたき有を検出する場合のイメージの一例を示す図である。
[図4] 実施の形態1において、比較制御部の比較部が行うまばたき検出のイメージの一例を説明するための図であって、図4Aは、人物像が描かれたポスターのイメージの一例を示す図であり、図4Bは、人物が撮影された撮影画像のイメージの一例を示す図である。
[図5] 実施の形態1に係る顔検出装置の動作を説明するためのフローチャートである。
[図6] 実施の形態1において、比較部におけるまばたきの有無の検出処理を停止した場合と、停止しない場合の、比較部の動作のイメージの一例を説明するための図である。図6Aは、比較部におけるまばたきの有無の検出処理を停止しない場合の、比較部の動作のイメージの一例を説明するための図であり、図6Bは、比較部によるまばたきの有無の検出処理を停止した場合の、比較部の動作のイメージの一例を説明するための図である。
[図7] 実施の形態2に係る顔検出装置の構成例を示す図である。
[図8] 実施の形態2に係る顔検出装置の動作を説明するためのフローチャートである。
[図9] 実施の形態2に係る顔検出装置において、拡大処理部による、顔検出処理部が生成した顔画像を予め設定された大きさとなるよう拡大する動作のイメージを説明するための図である。
[図10] 実施の形態1および実施の形態2において、顔検出装置の比較制御部が対象画像数設定部をさらに備えた場合の、比較制御部の構成例を示す図である。
[図11] 実施の形態1および実施の形態2において、比較制御部の対象画像数設定部が、撮像装置のフレームレートと、まばたきに要する時間とに基づき、まばたき検出用画像数を設定する動作の一例のイメージを説明するための図であって、図11Aは、撮像装置のフレームレートが30fpsである場合の、対象画像数設定部によるまばたき検出用画像数の設定動作の一例のイメージを説明するための図であり、図11Bは、撮像装置のフレームレートが10fpsである場合の、対象画像数設定部によるまばたき検出用画像数の設定動作の一例のイメージを説明するための図である。
[図12] 実施の形態1および実施の形態2において、目抽出部が、撮像装置のフレームレートの逆数の整数倍となる時間間隔毎の顔画像のフレームに対して、目画像を抽出する動作の一例のイメージを説明するための図である。図12Aは、撮像装置のフレームレートが15fpsである場合の、目画像を抽出する動作の一例のイメージを説明するための図であり、図12Bは、撮像装置のフレームレートが30fpsである場合の、目画像を抽出する動作の一例のイメージを説明するための図である。
[図13] 図13A,図13Bは、実施の形態1および実施の形態2に係る顔検出装置のハードウェア構成の一例を示す図である。

発明を実施するための形態

[0009]
 以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
 まず、実施の形態1に係る顔検出装置1が適用されるシステム例について説明する。
 図1は、実施の形態1に係る顔検出装置1が適用されるシステム例を説明するための図であって、図1Aは、実施の形態1に係る顔検出装置1が防犯カメラシステムに適用された場合のシステム例を説明するための図であり、図1Bは、実施の形態1に係る顔検出装置1が顔照合システムに適用された場合のシステム例を説明するための図である。
[0010]
 図1Aに示す防犯カメラシステムは、撮像装置2と映像レコーダ3を備え、撮像装置2と映像レコーダ3がネットワークを介して接続されている。撮像装置2は、例えば、防犯カメラである。
 実施の形態1に係る顔検出装置1は、例えば、図1Aに示すような防犯カメラシステムにおいて、撮像装置2に備えられ、撮像装置2が撮影した撮影画像に基づいて人物の顔を検出し、検出した顔がうつっている画像を、映像レコーダ3に出力する。映像レコーダ3は、当該映像レコーダ3が備える表示部3aに、顔検出装置1が出力した画像を表示する。
 例えば、図1Aに示すような防犯カメラシステムが店舗に備えられる場合、店舗において、店員は、表示部3aに表示された、人物の顔がうつっている画像を視認することで、来店者の人数または性別の確認等を行うことができる。
 実施の形態1において、人物とは、生体としての人物をいう。
[0011]
 図1Bに示す顔照合システムは、撮像装置2と顔照合装置4を備え、撮像装置2と顔照合装置4がネットワークを介して接続されている。
 実施の形態1に係る顔検出装置1は、例えば、図1Bに示すような顔照合システムにおいて、撮像装置2に備えられ、撮像装置2が撮影した撮影画像に基づいて人物の顔を検出し、検出した顔がうつっている画像を、顔照合装置4に出力する。顔照合装置4は、蓄積されている過去の、顔がうつっている画像と、顔検出装置1が出力した画像とを比較し、比較結果を、当該顔照合装置4が備える表示部4aに表示する。
 例えば、図1Bに示すような顔照合システムが店舗に備えられる場合、店舗において、店員は、表示部4aに表示された比較結果を視認することで、来店者の訪問回数の確認等を行うことができる。
[0012]
 このように、顔検出装置1は、撮影画像に基づき、当該撮影画像にうつっている人物の顔を検出し、検出した顔がうつっている画像を出力する。
 なお、図1を用いた説明では、顔検出装置1は、撮像装置2に搭載されるものとしたが、これは一例に過ぎず、顔検出装置1は、映像レコーダ3等のその他の装置に搭載されるものとしてもよいし、単独の装置であってもよい。顔検出装置1は、何らかの方法で、撮像装置2が撮影した撮影画像を取得できるようになっていればよい。
[0013]
 図2は、実施の形態1に係る顔検出装置1の構成例を示す図である。
 以下の実施の形態1では、一例として、顔検出装置1は、撮像装置2に搭載されるものとする。
 また、顔検出装置1は、外部機器5と、ネットワークを介して接続される。外部機器5は、映像レコーダ3または顔照合装置4(図1参照)等を含む。
 撮像装置2は、レンズ21および撮像処理部22を備える。撮像装置2において、撮像処理部22は、イメージセンサ等の受光素子の集合で構成され、撮像装置2が備えるレンズ21を介して取得した光像に基づき、被写体の照度レベルを電気信号に変換し、照度レベルが電気信号に変換された光像を、撮影画像とする。撮像処理部22は、撮影画像を、顔検出装置1に出力する。
 撮像処理部22は、例えば、フルHD、4K、または、8Kの撮影画像を出力可能なイメージセンサで構成されるようにすることもできる。この場合、後段の、顔検出装置1が行う処理において、当該顔検出装置1が、高精細画像を用いて顔検出または目検出を行うことができるため、顔検出装置1における顔検出精度および目検出精度が向上する。
[0014]
 顔検出装置1は、画像取得部11、顔検出処理部12、目抽出部13、比較制御部14、出力制御部15、および、記憶部16を備える。
 比較制御部14は、目画像記憶制御部141、過去画像取得部142、および、比較部143を備える。
[0015]
 画像取得部11は、撮像処理部22から出力された撮影画像を取得する。なお、実施の形態1では、撮像装置2は、撮影画像をフレーム毎に出力し、画像取得部11は、撮像画像が出力される都度、撮影画像を取得するものとする。画像取得部11は、取得した撮影画像を、顔検出処理部12に出力する。
[0016]
 顔検出処理部12は、画像取得部11から出力された撮影画像から、顔領域を検出する。顔検出処理部12は、既存の技術を用いて、撮影画像における顔領域を検出するようにすればよい。具体的には、例えば、顔検出処理部12は、撮影画像から、目、鼻または口等、顔を特徴付ける特徴点を抽出し、各々の相対位置関係を解析して顔らしさを判定し、顔と判定できる顔領域を検出すればよい。また、例えば、顔検出処理部12は、画像解析によって撮影画像のエッジ検出を行うことで顔の輪郭を判定し、顔と判定できる顔領域を検出すればよい。
 顔検出処理部12は、検出した顔領域を含む顔画像を生成して、目抽出部13および出力制御部15に出力する。
 なお、実施の形態1において、「顔画像」とは、撮影画像において検出された顔領域(詳細は後述する)を含む矩形の画像である。当該「顔画像」の大きさは、検出された顔領域の大きさに応じて決定される。
[0017]
 目抽出部13は、顔検出処理部12から出力された顔画像から、目画像を抽出する。実施の形態1において、目画像とは、顔画像のうちの目の領域を切り取った画像とする。目抽出部13は、既存の技術を用いて、目画像を抽出すればよい。具体的には、例えば、予め、顔検出装置1が参照可能な場所に、一般的な目の形状、一般的な顔の形状、および、一般的な目と目の間の距離情報を含む目検出用情報が記憶されており、目抽出部13は、目検出用情報を用いて、目らしさを判定し、目画像を抽出すればよい。
 目抽出部13は、抽出した目画像を、比較制御部14に出力する。
[0018]
 比較制御部14は、目抽出部13から出力された目画像を、記憶部16に記憶させる。また、比較制御部14は、目抽出部13から出力された目画像と、記憶部16に記憶されている目画像とを比較し、まばたきの有無を検出する。
[0019]
 比較制御部14の目画像記憶制御部141は、目抽出部13から出力された目画像を、時系列で、記憶部16に記憶させる。目画像記憶制御部141は、目抽出部13から目画像を取得する都度、取得した目画像に、当該目画像の取得日時の情報を付与して、記憶部16に記憶させる。例えば、目画像に、撮像装置2によって当該目画像の撮影日時の情報が付与されている場合、目抽出部13は、目画像の取得日時を付与せず、撮影日時の時系列で目画像を記憶させるようにしてもよい。撮像装置2から出力される撮影画像に、撮影日時の情報が付与されている場合、前段の処理で、顔検出処理部12および目抽出部13は、それぞれ、顔画像、または、目画像に、当該撮影日時の情報を引き継いで付与する。
[0020]
 比較制御部14の過去画像取得部142は、記憶部16を参照し、当該記憶部16に記憶されている目画像を取得する。このとき、過去画像取得部142は、予め設定されたフレーム数だけ過去に遡った目画像を取得するようにする。
 過去画像取得部142は、取得した目画像を、比較制御部14の比較部143に出力する。
[0021]
 比較制御部14の比較部143は、過去画像取得部142から取得した目画像を比較し、まばたきの有無を検出する。
 比較部143は、例えば、目の状態を時系列で比較し、目の状態が開状態から閉状態になり、その後、再び、閉状態から開状態になったかどうかによって、まばたきの有無を検出する。具体的には、比較部143は、目の状態が、開状態→閉状態→開状態となった場合、まばたき有を検出する。一方、比較部143は、目の状態が、開状態→閉状態→開状態となっていない場合、まばたき無を検出する。
[0022]
 すなわち、実施の形態1において、比較部143は、目の状態について、時系列で、開状態→閉状態→開状態の3つの状態を検出する必要がある。言い換えれば、比較部143は、まばたきの有無を検出するにあたり、少なくとも、3フレームの目画像を必要とする。よって、過去画像取得部142は、予め3フレーム以上の目画像を取得するように設定される。ここでは、一例として、過去画像取得部142は、3フレームの目画像を取得し、比較部143は、3フレームの目画像を時系列で比較して、まばたきの有無を検出するものとする。
 なお、ここでは、一例として、過去画像取得部142は、3フレームの目画像を取得するものとするが、これは一例に過ぎない。ユーザ等は、撮像装置2のフレームレートと、推定される、まばたきに要する時間とに基づき、まばたきが有る場合に当該まばたきを検出できるだけのフレーム数を、まばたきの有無の検出のためのフレーム数として設定しておく。なお、推定される、まばたきに要する時間とは、例えば、一般的に人間が行うとされているまばたき時間の平均値に基づく時間とすればよい。以下、推定される、まばたきに要する時間を、単に「まばたきに要する時間」ともいうものとする。
 また、実施の形態1において、まばたきに要する時間とは、まばたきをした場合に、目が閉状態となっている間の時間のことをいうものとする。
[0023]
 比較部143は、目の状態を、既存の画像処理技術を用いて判定すればよい。例えば、画像マッチングによって、目が開状態か閉状態かを判定すればよい。例えば、目検出用情報には、開状態と閉状態の目の画像が含まれており、比較部143は、目が開状態か閉状態かを、上述の目検出用情報に基づいて判定すればよい。
 また、例えば、比較部143は、時系列に並べた前後の目画像の差分を取ることで、目の状態を判定するようにしてもよい。
[0024]
 ここで、図3および図4は、実施の形態1において、比較制御部14の比較部143が行うまばたき検出のイメージの一例を説明するための図である。
 図3および図4を用いて、比較部143が行うまばたき検出について具体的に説明する。
 例えば、比較部143は、図3Aに示すような、時系列の3フレームの目画像から、まばたきの有無を検出するとする。
 図3Aの場合、目の状態は、開状態→開状態→開状態である。そこで、比較部143は、まばたき無を検出する。
 今、例えば、図4Aに示すような、顔Aを有する人物像が描かれたポスターを撮像装置2が撮影し、撮像装置2から顔検出装置1に撮影画像が出力されたとする。
 この場合、顔検出処理部12は、顔Aの顔領域を含む顔画像を生成し、目抽出部13に出力する。そして、目抽出部13は、目画像を抽出し、目画像を比較制御部14に出力する。
 顔Aは、ポスターに描かれた人物像の顔なので、まばたきはしない。よって、比較部143は、図3Aを用いて説明したように、まばたき無を検出する。
[0025]
 一方、例えば、比較部143は、図3Bに示すような、時系列の3フレームの目画像から、まばたきの有無を検出するとする。
 図3Bの場合、目の状態は、開状態→閉状態→開状態である。そこで、比較部143は、まばたき有を検出することになる。
 今、例えば、図4Bに示すような、顔Bを有する人物を撮像装置2が撮影し、撮像装置2から顔検出装置1に撮影画像が出力されたとする。
 この場合、顔検出処理部12は、顔Bの顔領域を含む顔画像を生成し、目抽出部13に出力する。そして、目抽出部13は、目画像を抽出し、目画像を比較制御部14に出力する。
 顔Bは、人物の顔なので、まばたきをする。よって、比較部143は、図3Bを用いて説明したように、まばたき有を検出することになる。
[0026]
 比較部143は、まばたき有無の検出結果に基づき顔検出有無情報を、出力制御部15に出力する。
 具体的には、比較部143は、まばたき有を検出した場合、目画像にうつっている目は人物のものであると判定し、人物の顔を検出した旨の顔検出有無情報を、出力制御部15に出力する。例えば、比較部143は、人物の顔を検出した旨のフラグ「1」を、出力制御部15に出力する。
[0027]
 一方、比較部143は、まばたき無を検出した場合、目画像にうつっている目は人物のものではないと判定し、人物の顔を検出しなかった旨の顔検出有無情報を、出力制御部15に出力する。例えば、比較部143は、人物の顔を検出しなかった旨のフラグとして、「0」を出力制御部15に出力する。
[0028]
 なお、顔検出有無情報の内容については、上述のフラグは一例に過ぎない。比較部143は、人物の顔を検出したか否かがわかる情報を、顔検出有無情報として出力制御部15に出力するようになっていればよい。
 例えば、比較部143は、目画像にうつっている目は人物のものではないと判定した場合には、出力制御部15に何も出力しないようにしてもよい。
[0029]
 図2の説明に戻る。
 出力制御部15は、顔検出処理部12から出力された顔画像と、比較制御部14から出力された顔検出有無情報とに基づき、顔画像の出力制御を行う。
 具体的には、出力制御部15は、比較制御部14から出力された顔検出有無情報が、「1:人物の顔の検出あり」であった場合、顔画像を外部機器5に出力する。
[0030]
 一方、比較制御部14から出力された顔検出有無情報が、「0:人物の顔の検出なし」であった場合、出力制御部15は、外部機器5に顔画像を出力しないようにする。
 なお、ここでは、比較制御部14は、比較制御部14から出力された顔検出有無情報が「0」であった場合、出力制御部15は、顔画像を出力しないものとするが、これに限らず、出力制御部15は、顔検出有無情報が「0」の場合も顔画像を出力するようにしてもよい。後段の外部機器5が、顔画像に付与された顔検出有無情報に基づき、人物の顔画像であるか否かを判定するようにしてもよい。
[0031]
 記憶部16は、目画像を時系列で記憶する。
 実施の形態1では、図2に示すように、記憶部16は、顔検出装置1に備えられるものとするが、これは一例に過ぎず、記憶部16は、顔検出装置1の外部の、比較制御部14が参照可能な場所に備えられるようにしてもよい。
[0032]
 次に、実施の形態1に係る顔検出装置1の動作について説明する。
 図5は、実施の形態1に係る顔検出装置1の動作を説明するためのフローチャートである。
 画像取得部11は、撮像処理部22から出力された撮影画像を取得する(ステップST501)。
 画像取得部11は、取得した撮影画像を、顔検出処理部12に出力する。
[0033]
 顔検出処理部12は、ステップST501にて画像取得部11から出力された撮影画像から、顔領域を検出する(ステップST502)。
 顔検出処理部12は、検出した顔領域を含む顔画像を生成して、目抽出部13および出力制御部15に出力する。
[0034]
 目抽出部13は、ステップST502にて顔検出処理部12から出力された顔画像から、目画像を抽出する(ステップST503)。
 目抽出部13は、抽出した目画像を、比較制御部14に出力する。
[0035]
 比較制御部14の目画像記憶制御部141は、ステップST503にて目抽出部13から出力された目画像を、時系列で、記憶部16に記憶させる(ステップST504)。
[0036]
 比較制御部14の過去画像取得部142は、記憶部16を参照し、当該記憶部16に記憶されている目画像を取得する(ステップST505)。このとき、過去画像取得部142は、予め設定されたフレーム数だけ過去に遡った目画像を取得するようにする。
 過去画像取得部142は、取得した目画像を、比較制御部14の比較部143に出力する。
[0037]
 比較部143は、ステップST505にて過去画像取得部142から取得した目画像を比較し、まばたきの有無を検出する(ステップST506)。
[0038]
 ステップST506において、まばたき有を検出した場合(ステップST506の“YES”の場合)、比較部143は、目画像にうつっている目は人物のものであると判定し、人物の顔を検出した旨の顔検出有無情報を、出力制御部15に出力する(ステップST507)。
[0039]
 一方、ステップST506において、まばたき無を検出した場合(ステップST506の“NO”の場合)、比較部143は、目画像にうつっている目は人物のものではないと判定し、人物の顔を検出していない旨の顔検出有無情報を、出力制御部15に出力する(ステップST508)。
[0040]
 出力制御部15は、ステップST502にて顔検出処理部12から出力された顔画像と、ステップST507またはステップST508にて比較制御部14から出力された顔検出有無情報とに基づき、外部機器5に顔画像を出力する(ステップST509)。具体的には、顔検出有無情報が、人物の顔を検出した旨の顔検出有無情報であった場合、出力制御部15は、顔画像を、外部機器5に出力する。
 顔画像を取得した外部機器5は、例えば、ディスプレイ等の表示部(図示省略)に、顔画像を表示する。
 ユーザ等は、表示部を視認することで、撮像装置2で撮影された人物の顔を確認することができる。このとき、人物の顔がうつっていない顔画像については排除され、表示されないようになっているため、ユーザ等は、より確実に、かつ、より容易に、人物の顔を確認することができる。言い換えれば、顔検出装置1は、撮像装置2で撮影された撮影画像から、人物の顔をうつした撮影画像を絞り込み、人物の顔を含む画像を出力するため、ユーザ等が人物の顔をより確実に、かつ、より容易に確認することができる画像を提供することができる。
 そして、ステップST501に戻り、以降の処理を繰り返す。
[0041]
 上述の、図5を用いて説明した顔検出装置1の動作は、撮影画像の取得がなされる都度行われる。そして、上述のとおり、ここでは、撮影画像を取得する都度ステップST505の処理を行い、過去画像取得部142は、記憶部16から、予め設定されたフレーム数分の目画像を取得するものとした。
 しかしこれは一例に過ぎず、過去画像取得部142は、一度、予め設定されたフレーム数分の目画像を取得すると、以降、記憶部16からの目画像の取得処理を行わないようにしてもよい。この場合、比較部143は、ステップST506において目画像の比較処理を行う際、これ以前の同処理にて使用した目画像と、ステップST503にて目抽出部13から出力された目画像とをあわせ、時系列で、予め設定されたフレーム分だけ遡った目画像に基づき、目画像の比較処理を行うようにする。
[0042]
 また、以上の説明では、撮像装置2から出力される撮影画像にうつっている顔は1つ以下であることを前提としていた。
 しかし、撮影画像にうつっている顔は複数である場合も想定される。この場合も顔検出装置1は、撮影画像にうつっている顔それぞれについて、人物の顔であるか否かの判定を行い、人物の顔であると判定した場合に、人物の顔を検出したと判定した顔画像を、外部機器5に出力することができる。
 具体的には、顔検出処理部12は、画像取得部11から出力された撮影画像から、顔領域を検出する際、複数の顔領域を検出した場合は、当該複数の顔領域を全て検出する。そして、顔検出処理部12は、複数の顔領域毎に、顔画像を生成する。このとき、顔検出処理部12は、各顔画像に、顔が特定できるよう、顔識別情報を付与するようにする。顔識別情報は、例えば、撮影画像における、顔領域の中心位置の座標とすればよい。顔識別情報は、撮影画像から検出された顔領域を特定できる情報になっていればよい。
[0043]
 目抽出部13は、顔検出処理部12から出力された顔画像から、目画像を抽出し、抽出した目画像を比較制御部14に出力する際、目画像に、顔画像に付与されていた顔識別情報を付与するようにする。
[0044]
 比較制御部14は、目抽出部13から出力された目画像と、記憶部16に記憶されている目画像とを比較し、まばたきの有無を検出する動作を、顔単位で行うようにする。具体的には、比較制御部14は、顔識別情報によって顔を判別し、判別された顔単位で、まばたきの有無を検出する動作を行うようにする。
 そして、比較制御部14は、顔検出有無情報を出力制御部15に出力する際、当該顔検出有無情報に、顔識別情報を付与するようにする。
[0045]
 このように、顔検出装置1は、撮影画像に複数の顔がうつっている場合であっても、当該撮影画像にうつっている顔それぞれについて、人物の顔であるか否かの判定を行い、人物の顔であると判定した場合に、人物の顔であると判定した顔画像を、外部機器5に出力することができる。
[0046]
 従来、顔検出技術としては、全景映像から、目、鼻または口等の特徴点を抽出し、相対位置関係を解析することで顔らしさを判定する方法が一般的である。しかし、当該一般的な顔検出技術では、銀行または店舗等、撮像装置2が設置される設置環境によっては、撮像装置2の画角内に、例えば、顔写真を含むポスター、または、マネキンが存在することも多く、撮影画像から、人物の顔をうつしたものではない顔画像が検出され得る。特に、防犯またはセキュリティ向上を目的とした顔検出技術においては、人物の顔をうつしたものではない顔画像は、ノイズ因子となるため、人物ではない、人物像の顔と、人物の顔とを区別する必要があるという問題が生じる。当該問題を解決するための技術として、従来、例えば、撮影画像に含まれる顔の特徴点を抽出し、当該特徴点の継時的な変化を検出することで、撮影画像に含まれる顔が人物のものか否かを判定する技術が知られている。
 しかしながら、当該従来の技術では、顔の特徴点の継時的な変化を検出して人物が否かを判定するため、静止している人物の顔を、人物の顔ではないと誤判定してしまうおそれがある。
[0047]
 これに対し、実施の形態1に係る顔検出装置1では、撮像装置2で撮影された撮影画像に基づき、撮影画像にうつっている被写体のまばたきの有無を検出することで、撮影画像に含まれる顔が人物のものか否かを判定する。そのため、静止している人物の顔を、人物の顔ではないと誤判定しないようにすることができる。例えば、撮像装置2が、ショッピングモール、鉄道車内または空港待合所のように、顔写真のポスター等と静止人物が混在しやすい環境を撮影する場合であっても、顔検出装置1は、撮像装置2で撮影された撮影画像に基づき、人物と非人物とを区別し、人物の顔を検出することができる。
 さらに、実施の形態1に係る顔検出装置1では、まばたきの有無の検出を、目画像によって行う。そのため、まばたきの有無の検出を、撮影画像全体での比較等を行うことを必要とせず、撮影画像全体での比較等を行う場合と比べて、画像処理量を大幅に削減することができる。一般に、高解像度または高フレームレートであるほど高速な画像処理が必要となるため、撮影画像が高解像度または高フレームレートである場合、より画像処理量を削減することができる。
[0048]
 なお、製品出荷時等、記憶部16には、予め設定されたフレーム数分の目画像が記憶されていない場合もあり得る。この場合、比較制御部14では、例えば、目画像記憶制御部141が、目画像を記憶させる動作のみを行い、過去画像取得部142および比較部143は、予め設定されたフレーム数分の目画像が記憶されるまで待機するようにすればよい。また、例えば、予め設定されたフレーム数分の目画像が記憶されていない間は、過去画像取得部142は、記憶されている分だけ目画像を取得し、比較部143は、過去画像取得部142によって取得された目画像に基づいて、まばたきの有無を検出するようにしてもよい。
[0049]
 また、以上の説明では、比較部143は、目抽出部13から取得した目画像を含む、予め設定されたフレーム数の目画像を、過去画像取得部142経由で記憶部16から取得し、目画像の比較を行うものとした。しかし、これは一例に過ぎず、比較部143は、例えば、最新の目画像は目抽出部13から受け取り、当該最新の目画像よりも前に取得した目画像を、過去画像取得部142経由で記憶部16から取得して、目画像の比較を行うようにしてもよい。この場合、目画像記憶制御部141は、比較部143が目画像の比較を行った後、目抽出部13から取得した最新の目画像を記憶部16に記憶するようにしてもよい。
 比較部143は、まばたきの有無を検出する際、目抽出部13から出力された目画像を直接取得して使用するか、記憶部16経由で取得して使用するかに関わらず、目抽出部13が過去に抽出した、予め設定されたフレーム数分の目画像を比較し、まばたきの有無を検出するようになっていればよい。目抽出部13が過去に抽出した、予め設定されたフレーム数分の目画像とは、目抽出部13から出力された最新の目画像を含み、当該最新の目画像から、時系列で予め設定されたフレーム数だけ遡った、1つ以上の目画像である。
[0050]
 また、以上の説明では、撮影画像の取得がなされる都度、比較部143がまばたきの有無を検出して、撮影画像に含まれる顔が人物のものが否かを判定するものとした(図5のステップST506参照)。
 しかし、これは一例に過ぎず、例えば、一度、比較部143がまばたき有を検出し、目画像にうつっている目が人物のものであり、人物の顔を検出したと判定すると、以降、比較部143は、まばたきの有無の検出を停止し、出力制御部15に対して、人物の顔を検出した旨の顔検出有無情報を出力するようにすることもできる。
 以下、比較部143が、まばたきの有無の検出処理を停止した場合の動作について、具体例を挙げて説明する。
[0051]
 例えば、図4Bで示したように、顔Bを有する人物を、撮像装置2が撮影し、撮像装置2から顔検出装置1に撮影画像が出力されたとする。
 この場合、比較制御部14は、まばたき有を検出し(図5のステップST506の“YES”の場合参照)、人物の顔を検出した旨の顔検出有無情報を出力制御部15に出力し、出力制御部15は、顔画像を出力する(図5のステップST509)。その後、画像取得部11が再び撮像装置2から撮影画像を取得し、顔検出処理部12が顔画像を検出し、目抽出部13が目画像を抽出すると(図5のステップST501~ステップST503参照)、比較部143は、まばたきの有無の検出処理を行うことなく、人物の顔を検出した旨の顔検出有無情報を、出力制御部15に出力するようにする。
 このように、一度、比較制御部14において、比較部143がまばたき有を検出し、目画像にうつっている目は人物のものであり、人物の顔を検出したと判定すると、以降、比較部143は、まばたきの有無の検出処理を停止するようにしてもよい。
 なお、撮影画像にうつっている顔が複数ある場合は、一度、比較制御部14において、比較部143が、人物の顔を検出したと判定すると、以降、比較部143は、人物の顔を検出したと判定した目画像に付与されている顔識別情報と同じ顔識別情報が付与されている目画像について、まばたきの有無の検出処理を停止する。
[0052]
 比較制御部14が、一度もまばたき有を検出しない間(図5のステップST506の“NO”の場合参照)は、顔検出処理部12が撮像装置2から取得した撮影画像から顔領域を検出して顔画像を生成し、目抽出部13が目画像を抽出し、比較部143がまばたきの有無の検出を行う一連の処理を繰り返す(図5のステップST502~ステップST508参照)。
[0053]
 図6は、比較部143におけるまばたきの有無の検出処理を停止した場合と、停止しない場合の、比較部143の動作のイメージの一例を説明するための図である。図6Aは、比較部143におけるまばたきの有無の検出処理を停止しない場合の、比較部143の動作のイメージの一例を説明するための図であり、図6Bは、比較部143によるまばたきの有無の検出処理を停止した場合の、比較部143の動作のイメージの一例を説明するための図である。
[0054]
 例えば、図4Aで示したように、顔Aを有する人物像が描かれたポスターを、撮像装置2が撮影し、撮像装置2から顔検出装置1に撮影画像が出力されたとする。
 この場合は、比較部143では、まばたき有を検出しないので、比較部143によるまばたきの有無の検出処理が、引き続き行われる(図6A参照)。
[0055]
 一方、例えば、図4Bで示したように、顔Bを有する人物を、撮像装置2が撮影し、撮像装置2から顔検出装置1に撮影画像が出力されたとする。
 この場合は、比較制御部14では、まばたき有を検出することになる。そして、一度、比較部143において、まばたき有が検出されると、以降、比較部143におけるまばたきの有無の検出処理が停止される(図6B参照)。
[0056]
 このように、顔検出装置1において、一度、まばたき有が検出され、顔画像が出力されると、以降、まばたきの有無の検出処理を行うことなく、顔画像を出力するようにすることもできる。これにより、顔検出装置1において、不要なまばたきの有無の検出処理を省略することができ、処理量の削減を図ることができる。
[0057]
 以上のように、実施の形態1によれば、顔検出装置1は、撮像装置2が撮影した撮影画像を取得する画像取得部11と、画像取得部11が取得した撮影画像から、顔領域を検出し、当該顔領域を含む顔画像を生成する顔検出処理部12と、顔検出処理部12が生成した顔画像から、目画像を抽出する目抽出部13と、目抽出部13が過去に抽出した複数の目画像を比較し、まばたきの有無を検出することで、人物の顔を検出したか否かを判定する比較部143とを備えるように構成した。そのため、画像処理量を抑えた、画像に基づく人物の顔の検出を行うことができる。
 また、顔検出装置1において、比較部143が人物の顔を検出した場合に、顔画像を、外部機器5に出力する出力制御部15を備えるようにしたので、顔検出装置1は、撮像装置2で撮影された撮影画像から、人物の顔をうつした撮影画像を絞り込み、人物の顔を含む画像を出力するため、ユーザ等が人物の顔をより確実に、かつ、より容易に確認することができる画像を提供することができる。
 また、顔検出装置1において、比較部143は、目抽出部13が抽出した目画像について、一度、まばたき有を検出し、人物の顔を検出したと判定すると、以降、まばたきの有無の検出を停止し、出力制御部15に対して、人物の顔を検出した旨の検出結果(顔検出有無情報)を出力するようにすることができる。これにより、顔検出装置1において、不要なまばたきの有無の検出処理を省略することができ、処理量の削減を図ることができる。
[0058]
実施の形態2.
 実施の形態1では、顔検出装置1において、顔検出処理部12は、撮影画像から顔領域を検出し、検出した顔領域を含む顔画像を生成するようにした。
 実施の形態2では、顔検出処理部12aは、さらに、顔画像が、予め設定された大きさになるよう、拡大処理を行う実施の形態について説明する。
[0059]
 図7は、実施の形態2に係る顔検出装置1aの構成例を示す図である。
 顔検出装置1aにおいて、実施の形態1にて図2を用いて説明した構成と同様の構成については、同じ符号を付して重複した説明を省略する。
 実施の形態2に係る顔検出装置1aは、顔検出処理部12aが、拡大処理部121を備えた点が、実施の形態1に係る顔検出装置1とは異なる。
 なお、実施の形態2に係る顔検出装置1aも、実施の形態1に係る顔検出装置1同様、図1で例示したような、防犯カメラシステムまたは顔照合システム等に適用される。
[0060]
 顔検出処理部12aの拡大処理部121は、顔検出処理部12aが生成した顔画像を、予め設定された大きさとなるよう、拡大する。
 具体的には、拡大処理部121は、顔検出処理部12aが生成した顔画像の画素を、予め設定された補間アルゴリズムによって補間して、顔画像を拡大する。
 補間アルゴリズムとして、例えば、線形補間、キュービック補間、または、ランチョス法が挙げられる。なお、これは一例に過ぎず、拡大処理部121は、既存の適宜の方法で、顔画像を拡大すればよい。
 ここでは、拡大処理部121が拡大した後の顔画像を、「拡大顔画像」ともいうものとする。
 なお、拡大処理部121は、顔検出処理部12aが生成した顔画像が、既に予め設定された大きさであれば、顔画像をそのまま拡大顔画像とすればよい。
 拡大処理部121は、拡大顔画像を、目抽出部13に出力する。
 実施の形態2では、目抽出部13は、拡大処理部121から出力された拡大顔画像から、目画像を抽出する。
[0061]
 実施の形態2に係る顔検出装置1aの動作について説明する。
 図8は、実施の形態2に係る顔検出装置1aの動作を説明するためのフローチャートである。
 図8のステップST501~ステップST502、ステップST503~ステップST509の具体的な動作は、それぞれ、実施の形態1において図5を用いて説明した、ステップST501~ステップST509の具体的な動作と同様であるため、重複した説明を省略する。
 実施の形態2に係る顔検出装置1aでは、実施の形態1において図5を用いて説明した、顔検出装置1の動作に、ステップST5021の動作が追加になっている。
[0062]
 ステップST502において、顔検出処理部12aが、顔領域を検出し、検出した顔領域を含む顔画像を生成すると、拡大処理部121は、顔検出処理部12aが生成した顔画像を、予め設定された大きさとなるよう拡大し、拡大顔画像とする(ステップST5021)。
 拡大処理部121は、顔拡大画像を、目抽出部13に出力する。
[0063]
 目抽出部13は、ステップST503において、ステップST5021にて拡大処理部121から出力された顔拡大画像から、目画像を抽出する。
[0064]
 図9は、実施の形態2に係る顔検出装置1aにおいて、拡大処理部121による、顔検出処理部12aが生成した顔画像を予め設定された大きさとなるよう拡大する動作のイメージを説明するための図である。
 図9に示すように、拡大処理部121は、顔画像を拡大することができる。これにより、後段の処理において、目抽出部13が拡大顔画像から目画像を抽出する際の、目の検出精度が向上する。そして、比較制御部14は、より精度よく、まばたきの有無の検出を行うことができる。その結果、顔検出装置1aにおいて、撮影画像に基づく人物の顔の検出精度を向上することができる。
[0065]
 以上のように、実施の形態2によれば、顔検出装置1aは、顔検出処理部12が生成した顔画像を拡大する拡大処理部121を備え、目抽出部13は、拡大処理部121が拡大した後の顔画像(拡大顔画像)から、目画像を抽出するようにした。これにより、検出した顔領域に基づく顔画像が小さい場合に、当該顔画像が拡大され、目画像を抽出する際の目の検出精度を、顔画像を拡大しない場合と比べ、より高くすることができる。その結果、まばたきの有無の検出精度もより高くなり、撮影画像に基づく人物の顔の検出精度を向上することができる。
[0066]
 以上の実施の形態1および実施の形態2では、例えば3フレームというように、顔検出装置1,1aにおいて、まばたきの有無を検出する際に必要なフレーム数(以下、「まばたき検出用画像数」という。)は、撮像装置2のフレームレートと、まばたきに要する時間とに基づき、ユーザ等が予め設定しているものとした。
 しかし、これに限らず、顔検出装置1,1aは、まばたき検出用画像数を、撮像装置2のフレームレートにあわせて、適宜変更するようにすることもできる。
 具体的には、顔検出装置1,1aの比較制御部14は、対象画像数設定部144(図10参照)をさらに備えるようにし、当該対象画像数設定部144が、撮像装置2からフレームレートに関する情報を取得し、当該フレームレートと、まばたきに要する時間とに基づき、まばたき検出用画像数を設定する。そして、過去画像取得部142は、記憶部16から、対象画像数設定部144が設定したフレーム数の目画像を取得するようにする。比較部143は、対象画像数設定部144が設定したフレーム数の目画像に基づき、まばたきの有無を検出する。
 なお、図10では、説明の簡単のため、対象画像数設定部144を備えるものとした場合の、比較制御部14のみ図示している。
[0067]
 図11は、実施の形態1または実施の形態2において、比較制御部14の対象画像数設定部144が、撮像装置2のフレームレートと、まばたきに要する時間とに基づき、まばたき検出用画像数を設定する動作の一例のイメージを説明するための図である。
 図11Aは、撮像装置2のフレームレートが30fps(frames per second)である場合の、対象画像数設定部144によるまばたき検出用画像数の設定動作の一例のイメージを説明するための図であり、図11Bは、撮像装置2のフレームレートが10fpsである場合の、対象画像数設定部144によるまばたき検出用画像数の設定動作の一例のイメージを説明するための図である。
 なお、ここでは、まばたきに要する時間を、300ミリ秒とする。
[0068]
 例えば、撮像装置2のフレームレートが30fpsである場合、まばたきを検出するためには、少なくとも11フレーム分の目画像を必要とする(図11A参照)。
 そこで、対象画像数設定部144は、11フレームを、まばたき検出用画像数に設定する。
[0069]
 また、例えば、撮像装置2のフレームレートが10fpsである場合、まばたきを検出するためには、少なくとも5フレーム分の目画像を必要とする(図11B参照)。
 そこで、対象画像数設定部144は、5フレームを、まばたき検出用画像数に設定する。
[0070]
 上記に限らず、対象画像数設定部144は、撮像装置2のフレームレートの高さに応じて、当該フレームレートが高いほど、まばたき検出用画像数が多くなるように、当該まばたき検出用画像数を設定することができる。
 この場合、例えば、撮像装置2のフレームレートが可変であっても、まばたき検出用画像数を適応的に最適化することができる。
[0071]
 このように、顔検出装置1,1aにおいて、比較制御部14は対象画像数設定部144を備え、対象画像数設定部144が、撮像装置2のフレームレートと、まばたきに要する時間にあわせて、まばたき検出用画像数を適宜設定するようにすることもできる。これにより、比較部143は、必要最低限のフレーム数の目画像に基づいてまばたきの有無を検出することができるようになる。その結果、顔検出装置1,1aにおいて、撮影画像に基づく人物の顔の検出を行う際の画像処理量を最小化することができる。
 さらに、対象画像数設定部144は、撮像装置2のフレームレートが高いほど、まばたき検出用画像数が多くなるよう、当該まばたき検出用画像数を設定することもできる。これにより、撮像装置2のフレームレートが可変であっても、まばたき検出用画像数を適応的に最適化することができる。
[0072]
 また、以上の実施の形態1および実施の形態2では、顔検出装置1,1aにおいて、目抽出部13は、顔検出処理部12から出力された顔画像から、目画像を抽出するものとした。その際、目抽出部13は、撮像装置2のフレームレートと、まばたきに要する時間とに基づき、出力される顔画像に対して、目画像を抽出する時間間隔を設定することもできる。より具体的には、目抽出部13は、撮像装置2のフレームレートと、まばたきに要する時間とに基づき、撮像装置のフレームレートの逆数に乗ずる整数を決定する。そして、目抽出部13は、撮像装置2のフレームレートの逆数を整数倍した時間を、目画像を抽出する時間間隔とし、当該時間間隔毎の顔画像のフレームに対して、目画像を抽出することができる。以下、具体的に説明する。
[0073]
 図12は、実施の形態1または実施の形態2において、目抽出部13が、撮像装置2のフレームレートの逆数の整数倍となる時間間隔毎の顔画像のフレームに対して、目画像を抽出する動作の一例のイメージを説明するための図である。なお、図12において、便宜上、目抽出部13が顔画像から目画像を抽出しないタイミングを、空白の四角で表現している。
 図12Aは、撮像装置2のフレームレートが15fpsである場合の、目抽出部13による目画像抽出動作の一例のイメージを説明するための図であり、図12Bは、撮像装置2のフレームレートが30fpsである場合の、目抽出部13による目画像抽出動作の一例のイメージを説明するための図である。
 なお、ここでは、まばたきに要する時間を、300ミリ秒とする。
 図12Aでは、目抽出部13は、フレームレートの逆数の整数倍とする整数を「2」、図12Bでは、目抽出部13は、フレームレートの逆数の整数倍とする整数を「4」としたものとしている。
 例えば、撮像装置2のフレームレートが15fpsの場合、当該フレームレートの逆数は、1/15秒である。従って、目抽出部13は、1/15秒の2倍の時間間隔毎の顔画像のフレームに対して、目画像を抽出する。すなわち、目抽出部13は、2/15秒毎の顔画像のフレームに対して、目画像を抽出する(図12A参照)。
[0074]
 また、例えば、撮像装置2のフレームレートが30fpsの場合、当該フレームレートの逆数は、1/30秒である。従って、目抽出部13は、1/30秒の4倍の時間間隔毎の顔画像のフレームに対して、目画像を抽出する。すなわち、目抽出部13は、4/30秒(=2/15秒)毎の顔画像のフレームに対して、目画像を抽出する(図12B参照)。
[0075]
 図12Aおよび図12Bでは、目画像の抽出は間欠的に行われているが、後段の処理として比較制御部14がまばたきの有無の検出に必要な目画像が、不足なく抽出されていることが分かる。言い換えれば、開状態→閉状態→開状態の目画像が抽出されていることが分かる。
 また、図12Aの場合と、図12Bの場合とで、目抽出部13は、目画像を抽出する時間間隔を同じ間隔とすることができている。目抽出部13は、撮像装置2のフレームレートと、まばたきに要する時間とに基づき、撮像装置2のフレームレートが大きいほど、撮像装置のフレームレートの逆数に乗ずる整数が大きくなるよう、当該整数を決定することで、撮像装置2のフレームレートが可変であっても、目画像を抽出する時間間隔を一定にすることができる。ここでいう「一定」とは、目画像を抽出する時間間隔が厳密に同じであることに限定されず、略一定を含む。
[0076]
 このように、目抽出部13は、撮像装置2のフレームレートと、まばたきに要する時間とに基づき、出力される顔画像に対して、目画像を抽出する時間間隔を設定することができる。
 これにより、撮像装置2のフレームレートが可変であっても、顔検出装置1,1aにおいて、まばたきの有無を検出する際に用いられる目画像が抽出される時間間隔を一定に維持することができる。その結果、顔検出装置1,1aにおいて、まばたきの有無の検出の精度を安定させることができる。
[0077]
 また、以上の実施の形態1および実施の形態2では、顔検出装置1,1aにおいて、比較部143は、まばたきの有無を判定する際、少なくとも3フレームの目画像を必要とし、比較部143は、目の状態が、開状態→閉状態→開状態となったかどうかによってまばたきの有無を検出するものとしたが、これは一例に過ぎない。例えば、比較部143は、目の状態が閉状態→開状態→閉状態となったかどうかで、まばたきの有無を検出してもよい。
 また、比較部143は、目の状態が、開状態→閉状態、または、閉状態→開状態となったかどうかによって、まばたきの有無を検出するようにしてもよい。この場合、比較部143は、少なくとも2フレームの目画像によって、まばたきの有無を検出することができる。
[0078]
 また、以上の実施の形態1および実施の形態2において、比較部143は、予め設定されたフレーム数分の目画像を用いて、まばたきの有無を判定するものとしたが、これは一例に過ぎない。例えば、比較部143は、過去0.5秒間等、予め設定された期間に抽出された目画像を用いて、まばたきの有無を検出するようにしてもよい。具体的には、例えば、比較部143は、過去画像取得部142が記憶部16から取得した、過去0.5秒の間に抽出された目画像を用いて、まばたきの有無を検出するようにしてもよい。
 この場合、比較部143は、さらに、まばたきの有無を検出する都度、当該判定に用いる目画像が抽出された期間を、適宜変更可能としてもよい。
 例えば、人物のまばたきを検出する対象とする目画像の中に、ロボット等の人工的なまばたきが含まれ得る場合、比較部143は、当該人工的なまばたきを含み得る目画像からまばたきの有無を判定する際には、当該判定に用いる目画像が抽出された期間を、当該人工的なまばたきを含まない目画像からまばたきの有無を判定する際よりも、短く設定する。一般的に、人物のまばたき速度(msecオーダー)は、ロボット等による、人工的に作られたまばたきの速度(秒オーダー)よりも早い。よって、上述の例のように、人工的なまばたきを含み得る目画像からまばたきの有無を判定する際に、当該判定に用いる目画像が抽出された期間を短く設定することで、比較制御部14は、人物のまばたきのみを精度よく検出でき、ロボット等の人工的なまばたきを、まばたき有と誤判定してしまうことを防ぐことができる。
[0079]
 また、以上の実施の形態1および実施の形態2では、顔検出装置1,1aは、撮像装置2に搭載されているものとしたが、これは一例に過ぎない。
 顔検出装置1,1aは、例えば、サーバ(図示省略)に備えられ、撮像装置2または外部機器5とサーバとが通信によって接続されるようにしてもよい。
 また、顔検出装置1,1aを構成する画像取得部11、顔検出処理部12、目抽出部13、比較制御部14、および、出力制御部15のうちの一部のみがサーバに備えられるようにしてもよい。
[0080]
 図13A,図13Bは、実施の形態1および実施の形態2に係る顔検出装置1,1aのハードウェア構成の一例を示す図である。
 実施の形態1において、画像取得部11と、顔検出処理部12と、目抽出部13と、比較制御部14と、出力制御部15の機能は、処理回路1301により実現される。すなわち、顔検出装置1,1aは、撮影画像にうつっている人物の顔を検出する制御を行うための処理回路1301を備える。
 処理回路1301は、図13Aに示すように専用のハードウェアであっても、図13Bに示すようにメモリ1306に格納されるプログラムを実行するCPU(Central Processing Unit)1305であってもよい。
[0081]
 処理回路1301が専用のハードウェアである場合、処理回路1301は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
[0082]
 処理回路1301がCPU1305の場合、画像取得部11と、顔検出処理部12と、目抽出部13と、比較制御部14と、出力制御部15の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像取得部11と、顔検出処理部12と、目抽出部13と、比較制御部14と、出力制御部15は、HDD(Hard Disk Drive)1302、メモリ1306等に記憶されたプログラムを実行するCPU1305、システムLSI(Large-Scale Integration)等の処理回路により実現される。また、HDD1302、メモリ1306等に記憶されたプログラムは、画像取得部11と、顔検出処理部12と、目抽出部13と、比較制御部14と、出力制御部15の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ1306とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
[0083]
 なお、画像取得部11と、顔検出処理部12と、目抽出部13と、比較制御部14と、出力制御部15の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部11と、出力制御部15については専用のハードウェアとしての処理回路1301でその機能を実現し、顔検出処理部12と、目抽出部13と、比較制御部14については処理回路1301がメモリ1306に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 また、記憶部16は、メモリ1306を使用する。なお、これは一例であって、記憶部16は、HDD1302、SSD(Solid State Drive)、または、DVD等によって構成されるものであってもよい。
 また、顔検出装置1,1aは、撮像装置2または外部機器5等の装置と、有線通信または無線通信を行う入力インタフェース装置1303および出力インタフェース装置1304を備える。
[0084]
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

産業上の利用可能性

[0085]
 この発明に係る顔検出装置は、画像全体での差分を取る場合と比べて、画像処理量を抑えた、画像に基づく人物の顔の検出を行うことができるように構成したため、画像中の人物の顔を検出する顔検出装置に適用することができる。

符号の説明

[0086]
1,1a 顔検出装置、11 画像取得部、12,12a 顔検出処理部、121 拡大処理部、13 目抽出部、14 比較制御部、141 目画像記憶制御部、142 過去画像取得部、143 比較部、144 対象画像数設定部、15 出力制御部、16 記憶部、2 撮像装置、21 レンズ、22 撮像処理部、3 映像レコーダ、4 顔照合装置、5 外部機器、1301 処理回路、1302 HDD、1303 入力インタフェース装置、1304 出力インタフェース装置、1305 CPU、1306 メモリ。

請求の範囲

[請求項1]
 撮像装置が撮影した撮影画像を取得する画像取得部と、
 前記画像取得部が取得した撮影画像から、顔領域を検出し、当該顔領域を含む顔画像を生成する顔検出処理部と、
 前記顔検出処理部が生成した顔画像から、目画像を抽出する目抽出部と、
 前記目抽出部が過去に抽出した複数の目画像を比較し、まばたきの有無を検出することで、人物の顔を検出したか否かを判定する比較部
 とを備えた顔検出装置。
[請求項2]
 前記比較部が前記人物の顔を検出した場合に、前記顔画像を出力する出力制御部を備えた
 ことを特徴とする請求項1記載の顔検出装置。
[請求項3]
 前記比較部は、
 前記目抽出部が過去に抽出した、少なくとも3フレームの前記目画像を時系列で比較し、当該目画像にうつっている目が開状態から閉状態となり、その後、当該閉状態から開状態になった場合に、まばたき有を検出する
 ことを特徴とする請求項1記載の顔検出装置。
[請求項4]
 前記撮像装置のフレームレートと、まばたきに要する時間に基づき、前記まばたきの有無の検出に用いるフレーム数を設定する対象画像数設定部を備え、
 前記比較部は、前記対象画像数設定部が設定したフレーム数の前記目画像を比較し、前記まばたきの有無を検出する
 ことを特徴とする請求項1記載の顔検出装置。
[請求項5]
 前記対象画像数設定部は、
 前記撮像装置のフレームレートが高いほど、前記まばたきの有無の検出に用いるフレーム数が多くなるよう、前記まばたきの有無の検出に用いるフレーム数を設定する
 ことを特徴とする請求項4記載の顔検出装置。
[請求項6]
 前記目抽出部は、
 前記撮像装置のフレームレートと、まばたきに要する時間とに基づき、前記顔画像に対して、前記目画像を抽出する時間間隔を設定する
 ことを特徴とする請求項1記載の顔検出装置。
[請求項7]
 前記目抽出部は、
 前記撮像装置のフレームレートの逆数を整数倍した時間を、前記時間間隔に設定する
 ことを特徴とする請求項6記載の顔検出装置。
[請求項8]
 前記目抽出部は、
 前記撮像装置のフレームレートが高いほど、前記整数を大きくする
 ことを特徴とする請求項7記載の顔検出装置。
[請求項9]
 前記比較部は、
 前記目抽出部が抽出した目画像について、一度、まばたき有を検出し、前記人物の顔を検出したと判定すると、以降、前記まばたきの有無の検出を停止する
 ことを特徴とする請求項1記載の顔検出装置。
[請求項10]
 前記顔検出処理部が生成した顔画像を拡大する拡大処理部を備え、
 前記目抽出部は、前記拡大処理部が拡大した後の顔画像から、前記目画像を抽出する
 ことを特徴とする請求項1記載の顔検出装置。
[請求項11]
 画像取得部が、撮像装置が撮影した撮影画像を取得するステップと、
 顔検出処理部が、前記画像取得部が取得した撮影画像から、顔領域を検出し、当該顔領域を含む顔画像を生成するステップと、
 目抽出部が、前記顔検出処理部が生成した顔画像から、目画像を抽出するステップと、
 比較部が、前記目抽出部が過去に抽出した複数の目画像を比較し、まばたきの有無を検出することで、人物の顔を検出したか否かを判定するステップ
 とを備えた顔検出方法。
[請求項12]
 撮像装置が撮影した撮影画像を取得する画像取得部と、
 前記画像取得部が取得した撮影画像から、顔領域を検出し、当該顔領域を含む顔画像を生成する顔検出処理部と、
 前記顔検出処理部が生成した顔画像から、目画像を抽出する目抽出部と、
 前記目抽出部が過去に抽出した複数の目画像を比較し、まばたきの有無を検出することで、人物の顔を検出したか否かを判定する比較部
 とを備えた顔検出システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]