このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018180588) 顔画像照合システムおよび顔画像検索システム
Document

明 細 書

発明の名称 顔画像照合システムおよび顔画像検索システム

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008  

先行技術文献

特許文献

0009  

発明の概要

発明が解決しようとする課題

0010   0011  

課題を解決するための手段

0012   0013   0014   0015   0016   0017   0018   0019  

発明の効果

0020  

図面の簡単な説明

0021  

発明を実施するための形態

0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073  

産業上の利用可能性

0074  

符号の説明

0075  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 顔画像照合システムおよび顔画像検索システム

技術分野

[0001]
 本発明は、入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システム、および指定された検索条件に基づいて顔画像を検索する顔画像検索システムに関する。

背景技術

[0002]
 従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪防止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、あるいは映像を記録するものである。
[0003]
 映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ハードディスクドライブ(HDD)に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
 記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。
[0004]
 このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象(イベント)の発生を画像認識技術を用いてリアルタイムに自動検知して映像とともに記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
 人物検索機能とは、映像中への人物の登場を自動検知の対象とし、リアルタイムに記録し、事後に録画画像中から人物登場画像を探し出せる機能である。機能面から人物検索機能は、以下の2種類に大別される。
[0005]
 一つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場(イベント)の有無を、単純に探し出す機能である。検索結果としては、イベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像(人物登場画像)等が提示される。なお、この検索条件(検索クエリ)には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞り込むための情報として与える場合が多い。この検索対象範囲を絞り込むための情報は、絞り込みパラメータと称される。
[0006]
 二つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、録画画像中から探し出す機能である。検索結果としては、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像(人物登場画像)、類似度等が提示される。
[0007]
 特定人物の指定は、探したい人物が映った画像(以降、検索キー画像)をユーザが1つ指定することで実施される。検索キー画像は、録画画像や外部装置にある任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、録画画像中の人物の画像特徴量と照合し、その類似性(類似度)を求め、同一人物判定を実施することにより実現される。録画画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索条件においても、絞り込みパラメータを与えることが可能である場合が多い。
[0008]
 このような映像監視システムに関し、従来より種々の発明が提案されている。
 特許文献1には、時刻と類似度のような2元の情報について、その大小関係や前後関係を視覚的に同時に把握できるようにする発明が開示されている。
 特許文献2には、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくし、対象検索人物の映った画像をより多く得ることができるようにする発明が開示されている。
 特許文献3には、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与できるようにする発明が開示されている。

先行技術文献

特許文献

[0009]
特許文献1 : 特開2009-301501号公報
特許文献2 : 特開2011-048668号公報
特許文献3 : 特開2012-242878号公報

発明の概要

発明が解決しようとする課題

[0010]
 従来、ショッピングセンターやアミューズメントパークなどの各種の施設に訪れた来場者が施設内をどのように行動しているかを分析して、マーケティングに活かす試みが行われている。これまでは、施設の各所に配した人員が来場者をカウントするような、人力に頼った手法が主に用いられており、その改善が求められていた。
 本発明は、上記のような従来の事情に鑑みて為されたものであり、施設内での来場者の行動の分析に適した顔画像照合システムを提供することを第1の目的とする。
[0011]
 また、絞り込みパラメータによって、一人で映っているのか、複数人で映っているのかを指定して検索したい場合がある。例えば、ほとんどの人が複数人で利用する遊園地などの施設では、一人で施設を利用しようとする人の手荷物検査を入念に行う運用をして、園内での犯罪の抑止に努めている。これは園内で発生する置き引き等の犯罪が主に一人で実行されるためである。一方で、空港や重要施設で引き起こされる組織的なテロ等は複数人によって実行されることが多いため、複数人で行動する人物に注意を払う必要がある。従来の顔画像検索システムでは撮影映像を目視で判断するしかなかく、監視者の負担となっていた。
 本発明は、上記のような従来の事情に鑑みて為されたものであり、一人で映っているのか、複数人で映っているのかを指定して検索することが可能な顔画像検索システムを提供することを第2の目的とする。

課題を解決するための手段

[0012]
 本発明では、上記第1の目的を達成するために、顔画像照合システムを以下のように構成した。
 すなわち、入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システムにおいて、前記入場口に設置された第1の撮像装置と、前記施設内及び前記出場口に設置された第2の撮像装置と、前記第1の撮像装置による撮影画像に基づく同一人物判定処理によって同一の人物であると判定された複数の顔画像の中から、前記人物を代表する顔画像である代表顔画像を選定する選定手段と、前記選定手段により選定された代表顔画像をデータベースに登録する登録手段と、前記第2の撮像装置による撮影画像に含まれる顔画像を前記データベースに登録された代表顔画像と照合する照合手段と、を備える。
[0013]
 このような構成によれば、施設の入場口に設置された撮像装置で得られた代表顔画像を用いて、施設内及び出場口に設置された撮像装置で得られた顔画像を照合できるので、施設内での来場者の行動を分析するのに有効である。
[0014]
 ここで、一構成例として、前記選定手段は、前記複数の顔画像を予め登録された基準顔と比較し、前記基準顔との類似度に基づいて前記人物の代表顔画像を選定し、前記基準顔として、正面を向いて目を開いた顔画像を用いる構成としてもよい。
[0015]
 また、一構成例として、前記登録手段は、前記同一人物判定処理に使用された撮影画像に前記人物とは別の人物の顔画像が含まれる場合に、前記別の人物の顔画像を含むグループ属性推定用データを前記人物の代表顔画像に対応付けて前記データベースに登録し、前記顔画像照合システムは、前記第2の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、前記データベースに登録されたグループ属性推定用データに基づいて、前記複数の人物はグループで行動しているか否かを示すグループ属性を推定するグループ属性推定手段を更に備える構成としてもよい。
[0016]
 また、前記グループ属性推定手段は、前記複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、前記複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、前記複数の人物の関係性を推定する構成としてもよい。
[0017]
 また、前記グループ属性推定手段で得られたデータを、各人物の年齢又は性別、前記施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計する集計手段を更に備える構成としてもよい。
[0018]
 本発明では、上記第2の目的を達成するために、顔画像検索システムを以下のように構成した。
 すなわち、撮像装置による撮影画像に含まれる顔画像を記憶するデータベースから、指定された検索条件に基づいて顔画像を検索する顔画像検索システムにおいて、前記撮影画像に含まれる顔画像の人物が一人で行動しているか否かを判定し、判定結果の情報を該人物の顔画像に対応付けて前記データベースに記憶させる判定手段と、前記検索条件として、一人で行動している人物の検索または複数人で行動している人物の検索が指定された場合に、該指定に合致する判定結果の情報が対応付けられた顔画像を前記データベースから検索する検索手段と、を備えたことを特徴とする。
[0019]
 ここで、一構成例として、前記判定手段は、異なる撮像装置による複数の撮像画像に同一の人物が含まれる場合に、前記複数の撮影画像に含まれる他の人物の共通性に基づいて、前記同一の人物が一人で行動しているか否かを判定する構成としてもよい。

発明の効果

[0020]
 本発明によれば、施設内での来場者の行動の分析に適した顔画像照合システムを提供することができる。また、一人で映っているのか、複数人で映っているのかを指定して検索することが可能な顔画像検索システムを提供することができる。

図面の簡単な説明

[0021]
[図1] 本発明の一実施形態に係る顔画像照合システムの概略構成の例を示す図である。
[図2] 図1の顔画像照合システムが適用される施設の概要を示す図である。
[図3] 図1の顔画像照合システムにおける照合サーバの機能ブロックの例を示す図である。
[図4] 図1の顔画像照合システムの運用例を示す図である。
[図5] 図1の顔画像照合システムによる処理結果のデータ例を示す図である。
[図6] 本発明の別の実施形態に係る顔画像検索システムにおける近接人物数判定の処理フローを示す図である。
[図7] 本発明の別の実施形態に係る顔画像検索システムにおける常時近接者数判定の処理フローを示す図である。

発明を実施するための形態

[0022]
 本発明の一実施形態に係る顔画像照合システムについて、図面を参照して説明する。
 図1には、本発明の一実施形態に係る顔画像照合システムの概略構成の例を示してある。また、図2には、図1の顔画像照合システムが適用される施設の概要を示してある。図2の例では、施設内に店A~店Gの各店舗があり、施設内に入場した人物が店A、店F、店C、店G、店Eを経由して施設から出場する様子を示してある。
[0023]
 本例の顔画像照合システムは、複数であるN台の撮像装置100(1)~100(N)と、照合サーバ200と、保守PC300と、ネットワークスイッチ400と、集計サーバ500とを備えている。
 撮像装置100(1)~100(N)は、入場口、施設内の各店舗、出場口の各所に設置されている。入場口に設置される撮像装置100(1)は、顔検知用の撮像装置である。また、施設内の各店舗に設置される撮像装置100(2)~100(N-1)、及び、出場口に設置される撮像装置100(N)は、顔照合用の撮像装置である。各々の撮像装置100は、IPカメラ(ネットワークカメラ)等で構成され、撮像により得られた撮影画像をデジタル変換し、ネットワークスイッチ400を介して照合サーバ200へ送信する。
[0024]
 照合サーバ200は、撮像装置100からネットワークスイッチ400を介して受信した撮影画像を蓄積し、顔検知、代表顔選定、人物属性判定、顔照合、グループ属性照合等の各種の処理を行う。
 保守PC300は、ネットワークスイッチ400を介して照合サーバ200に接続され、照合サーバ200の保守に用いられる。
 集計サーバ500は、ネットワークスイッチ400及びWAN回線を介して照合サーバ200に接続され、照合サーバ200から送信される出力データを受信して集計処理を行う。
[0025]
 図3には、照合サーバ200の機能ブロックの例を示してある。
 照合サーバ200は、顔検知部201、同一人物判定部202、代表顔選定部203、フォーマット変換部204、属性判定部205、ID付与人物情報生成部206、登録処理部207、顔データベース208、顔照合部210、グループ属性照合部211、照合履歴データベース212、転送処理部214の各機能部を備えている。
[0026]
 顔検知部201は、入場口にある撮像装置100(1)により得られた撮影画像(以下、「検知用画像」という)から顔画像を検知する。具体的には、例えば、検知用画像を解析して顔が映った領域を検知し、該領域の画像データを顔画像として抽出する。顔画像の検知は、時系列的に連続した画像フレーム毎(又は所定数の画像フレーム毎)に行われる。したがって、入場口を通過する人物毎に複数枚の顔画像が得られることになる。
[0027]
 同一人物判定部202は、顔検知部201で検知された顔画像について、同一人物判定処理を行う。具体的には、例えば、画像フレームにおける顔画像の位置を画像フレーム間で比較しながら撮像エリア内における人物の動きを追跡し、同一であると判定された人物毎に顔画像をグループ化する。
[0028]
 代表顔選定部203は、同一人物判定部202で同一の人物であると判定された複数の顔画像の中から、当該人物を代表する顔画像である代表顔画像を選定する。本例では、従来のように顔検知サイズの大きいものを代表顔画像として選定するのではなく、予め登録された基準顔との類似度に基づいて代表顔画像を選定する。具体的には、同一の人物であると判定された複数の顔画像を基準顔と比較して、顔画像毎に基準顔との類似度を算出し、類似度が最も高いものを代表顔画像として選定する。なお、類似度が高い順に所定数を代表顔画像として選定してもよい。
[0029]
 基準顔としては、正面を向いて目を開いた顔画像が用いられる。これにより、後続の顔照合における照合類似度が高い傾向となるような顔画像を代表顔画像に選定することができる。言い換えれば、目を閉じている顔画像や、俯きや横を向いている顔画像など、照合類似度が低くなることを事前に予想できる顔画像が代表顔画像に選定されることを防ぐことができる。本例では、男性(眼鏡着用)、男性(眼鏡非着用)、女性(眼鏡着用)、女性(眼鏡非着用)の4パターンの基準顔を用いているが、年齢層や髪型等を考慮して基準顔のパターン数を増やしてもよい。
[0030]
 フォーマット変換部204は、顔検知部201で検知された顔画像を、属性判定部205における人物属性判定処理に適したフォーマットに変換する。
[0031]
 属性判定部205は、フォーマット変換部204で変換された顔画像に基づいて、代表顔選定部203で選定された代表顔画像に代表される人物について人物属性を判定する人物属性判定処理を行う。人物属性としては、例えば、人物の年齢や性別が挙げられる。
[0032]
 ID付与人物情報生成部206は、代表顔選定部203で選定された代表顔画像や属性判定部205で判定された人物属性に対応付ける人物IDを発行する。人物IDは、施設に来場した各人物を一意に識別する情報である。
[0033]
 登録処理部207は、ID付与人物情報生成部206で発行された人物IDを対応付けて、当該人物について得られた代表顔画像や人物属性を顔データベース208に登録する。登録処理部207は更に、グループ属性推定に使用されるグループ属性推定用データを生成し、グループIDを対応付けて顔データベース208に登録する。グループIDは、一緒に行動する複数の人物をまとめた各グループを一意に識別する情報であり、人物IDと紐付けられる。
[0034]
 グループ属性推定用データには、登録対象の人物(顔データベース208に代表顔画像等を登録する人物)についての同一人物判定処理に使用された検知用画像に含まれる別の人物の顔画像が含まれる。また、登録対象の人物と前記別の人物とについて検出頻度、近接度、親密度を判定するための情報も、グループ属性推定用データに含まれる。
[0035]
 顔データベース208は、人物IDにより識別される人物毎に、代表顔画像、人物属性(年齢や性別)、グループIDを保持する。また、顔データベース208は、グループIDにより識別されるグループ毎に、グループ属性推定用データを保持する。
[0036]
 顔照合部210は、施設内の各店舗及び出場口にある撮像装置100(2)~100(N)により得られた撮影画像(以下、「照合用画像」という)について、顔データベース208に登録されている代表顔画像と照合する。顔照合は、例えば、LFM(Live Face Matching)等の技術を用いて行うことができる。顔照合部210は、照合用画像に代表顔画像と同じ人物が映っていると判定した場合には、その結果を照合履歴データベース212に登録する。これにより、代表顔画像の人物が、施設内をどのように行動したか(どの店舗に訪れたか)を特定できる。また、照合用画像が撮影された時刻情報も併せて照合履歴データベース212に登録することで、代表顔画像の人物が施設内の各店舗に入店した時刻も特定できるようになる。なお、店舗の入口と出口に撮像装置を設ければ、店舗から出店した時刻や店舗内の滞在時間も特定できるようになる。
[0037]
 グループ属性照合部211は、施設内の各店舗及び出場口にある撮像装置100(2)~100(N)により得られた照合用画像について、顔データベース208に登録されているグループ属性推定用データを用いてグループ属性推定を行う。すなわち、照合用画像に複数の人物が映っている場合(複数の顔画像が含まれる場合)に、これらの人物がグループで行動しているか否かを示すグループ属性を推定し、その結果を照合履歴データベース212に登録する。グループ属性推定には、Enra-Enra等の類似判定技術が使用される。
[0038]
 グループ属性を推定する手法としては、一例として、以下のような手法が挙げられる。(1)各人物の顔画像が同じ元画像から検出される頻度が基準値より高い場合に、グループ属性=“有”(グループで行動している)と判断し、そうでない場合に、グループ属性=“無”(単独で行動している)と判断する。(2)元画像における各人物の顔画像間の距離を示す近接度が基準値より高い場合に、グループ属性=“有”と判断し、そうでない場合に、グループ属性=“無”と判断する。(3)元画像における各人物の視線の関係(どの人物を見ているか)を示す親密度が基準値より高い場合に、グループ属性=“有”と判断し、そうでない場合に、グループ属性=“無”と判断する。
 なお、「元画像」は、照合用画像でもよく、検知用画像でもよく、両方でもよい。また、これら(1)~(3)の手法の組み合わせによりグループ属性の推定を行うこともできる。
[0039]
 グループ属性照合部211は更に、グループで行動していると判定された複数の人物について、各々の人物の顔画像の分析結果に基づいて、これら人物の関係性を推定する。すなわち、各人物の人物属性(年齢や性別)に基づいて、例えば、年齢差が20歳以上であれば親子の関係、年齢差が50歳以上であれば祖父母と孫の関係、年齢差が10歳未満の男女であれば恋人又は夫婦の関係であると推定し、その結果を照合履歴データベース212に登録する。
[0040]
 転送処理部214は、照合履歴データベース212に登録されているデータ(顔照合部210及びグループ属性照合部211による処理結果)を集計し、集計結果のデータを集計サーバ500や保守PC300へ転送する。集計は、例えば、各人物の年齢又は性別毎、施設に対する入場日時又は出場日時毎、グループ属性毎、これらの幾つかの組み合わせ毎など、種々の条件に基づいて行うことができる。
[0041]
 図4には、本例の顔画像照合システムの運用例を示してある。
 照合サーバ200における処理は、店舗開店期間(本例では、9:00~21:00)に行われるリアルタイム(オンライン)処理と、店舗閉店期間(本例では、21:00~9:00)に行われるオフライン処理とに大別される。
[0042]
 リアルタイム処理では、主に、以下のようなデータ収集処理が行われる。
 施設に人物が入場した際に、入場口にあるカメラで撮影された検知用画像に基づいて、施設に人物が入場したことを検知する。すなわち、検知用画像から得られた複数の顔画像の中から代表顔画像を選定して、顔データベース208に登録する。このとき、検知日時(検知用画像の撮影日時)、人物ID、入場場所(カメラの設置場所の情報)、人物属性1(年齢)、人物属性2(性別)などの情報も併せて登録する。また、検知用画像に基づいて、グループ属性推定用の前処理を行う。この前処理により、検知日時(検知用画像の撮影日時)、グループID(検知用画像に含まれる複数の人物に共通)、入場場所(カメラの設置場所の情報)、グループ属性推定用データなどの情報が顔データベース208に登録される。
[0043]
 その後、人物が店舗に訪れる毎に、その店舗にあるカメラで撮影された照合用画像に基づいて、店舗に人物が訪れたことを検知する。また、人物が施設から出場すると、出場口にあるカメラで撮影された照合用画像に基づいて、施設から人物が出場したことを検知する。これらのタイミングで、照合用画像に含まれる顔画像に基づいて、顔データベース208に登録された代表顔画像との照合や、検知頻度・近接度・親密度等に基づくグループ属性推定などを行い、その結果を照合履歴データベース212に記録する。
[0044]
 オフライン処理では、主に、以下のような集計・転送処理及びデータベース更新処理が行われる。これらの処理は、事前にスケジュールされた時刻が到来したことを契機に、自動的に起動される。
 集計処理は、照合履歴データベース212に登録されているデータを集計して出力ファイル(例えば、CSV形式のデータ)を生成する。
 転送処理は、集計処理で作成した出力ファイルを集計サーバ500へ転送する。
 データベース更新処理は、各データベース(顔データベース208や照合履歴データベース212)の内容を更新する。
[0045]
 図5には、本例の顔画像照合システムによる処理結果のデータ例を示してある。
 このデータ例では、人物1(女性)と人物2(男性)がグループである(グループ属性=“有”)と判断されており、互いの年齢差より親子関係にあると判断されている。また、人物3(女性)と人物4(男性)がグループである(グループ属性=“有”)と判断されており、互いの年齢差より友人又は恋人関係にあると判断されている。一方、人物5(女性)は単独で行動している(グループ属性=“無”)と判断されておいる。更に、このデータ例には、各人物(或いはグループ)が、施設に入場した時刻、訪れた店舗及びその時刻、施設から出場した時刻も記録されている。
 このように、本例の顔画像照合システムによって、各人物が施設内をどのように行動しているかを分析できるだけでなく、グループで行動しているか否かを判定することができ、グループで行動している場合には、グループとしての行動も分析することができる等の他の観点についても分析できることが分かる。
[0046]
 以上のように、本例の顔画像照合システムは、入場口に設置された顔検知用の撮像装置100(1)と、施設内の各店舗及び出場口に設置された顔照合用の撮像装置100(2)~100(N)と、顔検知用の撮像装置による撮影画像に基づく同一人物判定処理によって同一の人物であると判定された複数の顔画像の中から、当該人物を代表する顔画像である代表顔画像を選定する代表顔選定部203と、代表顔選定部203により選定された代表顔画像を顔データベース208に登録する登録処理部207と、顔照合用の撮像装置による撮影画像に含まれる顔画像を顔データベース208に登録された代表顔画像と照合する顔照合部210とを備えた構成となっている。
 これにより、従来のように施設の各所に配置された人員が来場者をカウントすることを要せずに、来場者が施設内をどのように行動しているかを分析することができ、その結果を活かしたマーケティングを行えるようになる。しかも、来場者の人物属性(年齢や性別)を顔画像から自動的に判別して代表顔画像に対応付けて登録できるので、施設各所の人員が来場者の人物属性を区別しながらカウントする必要がない。
[0047]
 また、本例の顔画像照合システムは、代表顔選定部203が、複数の顔画像を予め登録された基準顔と比較し、基準顔との類似度に基づいて人物の代表顔画像を選定し、このとき、基準顔として、正面を向いて目を開いた顔画像を用いる構成となっている。
 これにより、顔照合部210による照合類似度が高い傾向にある顔画像を代表顔画像に選定できるので、顔照合を精度よく行えるようになる。
[0048]
 また、本例の顔画像照合システムは、登録処理部207が、同一人物判定処理に使用された撮影画像に登録対象の人物とは別の人物の顔画像が含まれる場合に、別の人物の顔画像を含むグループ属性推定用データを登録対象の人物の代表顔画像に対応付けて顔データベース208に登録する構成となっており、更に、顔照合用の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、顔データベース208に登録されたグループ属性推定用データに基づいて、これら複数の人物はグループで行動しているか否かを示すグループ属性を推定するグループ属性照合部211を更に備えている。
 これにより、施設内に一緒に入場した来場者達をグループの可能性があるとして予め登録しておくことができ、また、その後の行動の共通性に基づいて実際にグループでどのように行動しているかを把握できるようになる。その結果、来場者達のグループが施設内をどのように行動しているかを分析することができ、その結果を活かしたマーケティングを行えるようになる。
[0049]
 また、本例の顔画像照合システムは、グループ属性照合部211が、複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、これら複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、これら複数の人物の関係性を推定する構成となっている。
 これにより、施設内を複数人で行動する来場者達のグループを精度よく特定できるようになる。また、各来場者の人物属性から互いの関係性を推定するので、グループの種類(例えば、親子、祖父母と孫、友人、恋人又は夫婦等)に応じた行動の違いも分析できるようになる。
[0050]
 また、本例の顔画像照合システムは、グループ属性照合部211で得られたデータを、各人物の年齢又は性別、施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計し、その結果のデータを転送する転送処理部214を更に備えている。
 これにより、来場者達の各人物についての分析のみならず、各グループについて得られた各種の情報を、種々の観点から分析できるようになり、どのような人物で構成されたグループが、いつ、どこで、何をしたのかを分析することにより、各人物だけなく、特定の属性グループへ向けたマーケティングに活用することができる。
[0051]
 ここで、例えば、来場者の入場日時と出場日時から施設の滞在時間を算出し、来場者(或いはグループ)の滞在時間を加味した行動分析を行って、マーケティングに活用するようにしてもよい。
 また、施設内の店舗だけでなく通路や広場にも撮像装置を設置して来場者の顔照合を行うことで、来場者(或いはグループ)の動線を加味した行動分析を行って、マーケティングに活用するようにしてもよい。
[0052]
 これまでの説明では、施設の入場口及び出場口が1つの場合を例にしているが、入場口及び出場口はそれぞれ複数であってもよいことは言うまでもない。また、入場口と出場口は別々である必要は無く、これらを兼用した入出場口があってもよい。この場合には、施設の外側に向けた撮像装置と、施設の内側に向けた撮像装置とを入出場口に設置しておけばよい。
[0053]
 次に、本発明の別の実施形態に係る顔画像検索システムについて説明する。本実施形態に係る顔画像検索システムは、上述した顔画像照合システムを拡張または変形したものであり、図3に破線で示すように、検索サーバ600および操作端末700を更に備えている。検索サーバ600は、操作端末700の操作者により指定された検索条件に基づいて照合サーバ200内の顔データベース208(または照合履歴データベース212)から顔画像を検索し、検索結果を操作端末700に送信して表示出力させる処理を行う。
[0054]
 本実施形態に係る顔画像検索システムでは、グループ属性照合部211に、グループ行動判定機能を持たせている。グループ行動判定機能は、撮像装置100による撮像画像に含まれる顔画像の人物が、グループで行動しているのか、それとも一人で行動しているのかを判定し、判定結果の情報を該人物の顔画像に対応付けて顔データベース208(または照合履歴データベース212)に記憶させるものである。本例では、グループ行動判定機能を、近接人物数判定処理と、常時近接者数判定処理とを行うことで実現している。
[0055]
 近接人物数判定処理は、一つの撮像装置の撮影範囲において、歩行中である人物の顔画像が複数の画像フレーム(撮影画像)にわたって検出された場合に、それぞれの画像フレームについて、同じ画像フレーム中における当該人物の顔画像の検出位置に近接する領域で検出された他の人物の顔画像の数(近接人物数)を算出し、画像フレーム毎に算出した近接人物数の最大値を保存する処理である。近接人物数の最大値を求める理由は、画像処理において顔画像を検出する場合、遮蔽物の影響や光の加減等の撮影条件の変化により、一時的に顔画像の検出ができない場合があるためである。
[0056]
 近接人物数判定処理について、図6の処理フローを参照して説明する。
 最初に、メモリの確保や最大近接人物数の初期化を行う(ステップS101)。その後、判定対象人物が最初に検出された画像フレームから順に、以下の処理を行う。
 まず、画像フレームに含まれる顔画像の検出数や検出位置などを取得する(ステップS102)。
 次に、画像フレームにおいて判定対象人物の顔画像の近辺に存在する他の人物の顔画像の数をカウントする(ステップS103)。本例では、画像フレームにおける判定対象人物の顔画像との距離が所定値以下の位置に存在する他の顔画像を特定し、その数を近接人物数としてカウントしているが、他の手法により近接人物数のカウントを行っても構わない。
[0057]
 次に、ステップS103でカウントした当該画像フレームでの近接人物数と最大近接人物数とを比較する(ステップS104)。その結果、当該画像フレームでの近接人物数の方が多いと判定された場合は、最大近接人物数更新処理(ステップS105)に遷移し、そうでない場合は、人物領域追跡処理(ステップS106)に遷移する。
 最大近接人物数更新処理(ステップS105)では、最大近接人物数の値を当該画像フレームでの近接人物数の値に置き換えて保存し、その後、人物領域追跡処理(ステップS106)に遷移する。
[0058]
 人物領域追跡処理(ステップS106)では、直前あるいは直近数フレームの検出結果と、現在の画像フレームの検出結果とに基づいて、人物の動きを追跡する。例えば、顔画像の位置や特徴量を画像フレーム間で比較することで、人物の動きの追跡を行う。
 その後、追跡が終了しているか否かを判定する(ステップS107)。ここでは、追跡が終了した人物(例えば、撮像エリアから外れた人物)が存在する場合に、追跡が終了していると判定し、追跡が終了した人物が存在しない場合に、追跡が終了していないと判定する。
[0059]
 ステップS107の人物追跡判定で、追跡が終了していないと判定された場合は、ステップS102に戻り、次の画像フレームについての処理を行う。一方、追跡が終了したと判定された場合は、判定対象人物に関する最大近接人物数を確定し、その値を記録する(ステップS108)。その後、確保したメモリの解放等の処理を行う。
[0060]
 常時近接者数判定処理は、ある人物が複数の撮像装置によって撮影された場合において、近接人物数判定処理(図6)に追加して実施される処理である。常時近接者数判定処理では、判定対象人物とともに撮影された人物が、たまたま判定対象人物の近くにいた人物か、判定対象人物と常に行動を共にしている人物かを判定し、常に行動を共にしている人物の数を常時近接者数として保存する。
 以降では、たまたま判定対象人物の近くにいた人物を単に「近接人物」と記載し、判定対象人物と常に行動を共にしている人物を「常時近接人物」と記載する。
[0061]
 常時近接者数判定処理について、図7の処理フローを参照して説明する。
 最初に、メモリの確保などを行う(ステップS201)。
 次に、近接人物数判定処理で記録された近接人物数(すなわち、最大近接人物数)を取得する(ステップS202)。
 次に、近接人物数が0か1以上かを判定し(ステップS203)、近接人物数が0の場合には、常時近接者数に0を記録する(ステップS209)。
[0062]
 一方、近接人物数が1以上の場合には、他の撮像装置による撮影状況の検索を行う(ステップS204)。すなわち、判定対象人物の顔画像の特徴量を用いて、判定対象人物が映っている他の撮像装置による撮像画像を検索する。
 その後、他の撮像装置による撮像画像に、判定対象人物が存在し且つ近接人物数が1以上である場合があるかを判定する(ステップS205)。すなわち、他の撮像装置による撮像画像の中に、判定対象人物が他の人物とともに映った撮像画像があるかを判定する。
[0063]
 その結果、判定対象人物が他の人物とともに映った撮像画像が見つからなかった場合には、常時近接者数に0を記録する(ステップS209)。
 一方、判定対象人物が他の人物とともに映った撮像画像が見つかった場合には、その撮像画像に含まれる他の人物の顔画像の特徴量を取得する(ステップS206)。
 その後、取得した他の人物の顔画像の特徴量を、近接人物数判定処理で検出された近接人物の顔画像の特徴量と比較し、特徴量の類似度が所定値以上の近接人物が存在するか否かを判定する(ステップS207)。
[0064]
 ステップS207で類似度の高い近接人物が存在すると判定された場合には、類似度の高い近接人物の組み合わせの数、すなわち、異なる撮像装置による複数の撮像画像に共通して出現した近接人物の数を算出し、常時近接者数として記録する(ステップS208)。ここで、判定対象人物が存在し且つ近接人物数が1以上の撮影画像を撮影した他の撮像装置が、複数ある場合には、それら他の撮像装置のそれぞれについて算出した常時近接者数の合計を記録すればよい。ただし、同じ近接人物が2重にカウントされないように重複を排除する必要があることは言うまでもない。
 一方、ステップS207で類似度の高い近接人物が存在しないと判定された場合には、常時近接者数に0を記録する(ステップS209)。
 ステップS208,S209における常時近接者数の記録後は、確保したメモリの解放等の処理を行う。
[0065]
 上記のグループ行動判定機能によって算出された常時近接者数は、判定対象人物の顔画像に対応付けて顔データベース208(または照合履歴データベース212)に記憶される。そして、操作端末700の操作者により単独行動または複数人行動を指定した検索条件が設定された場合に、その指定に合致する常時近接者数が対応付けられた顔画像の検索が検索サーバ600によって行われ、検索結果が操作端末700に表示出力される。すなわち、単独行動が指定された場合には、常時近接者数=0の人物の顔画像が検索され、複数人行動が指定された場合には常時近接者数≧1の人物の顔画像が検索される。
[0066]
 以上のように、本例の顔画像検索システムは、撮像装置による撮影画像に含まれる顔画像を記憶する顔データベース208(または照合履歴データベース212)から、指定された検索条件に基づいて顔画像を検索する顔画像検索システムであり、撮影画像に含まれる顔画像の人物が一人で行動しているか否かを判定し、判定結果の情報を該人物の顔画像に対応付けて上記のデータベースに記憶させるグループ属性照合部211と、検索条件として、一人で行動している人物の検索または複数人で行動している人物の検索が指定された場合に、該指定に合致する判定結果の情報が対応付けられた顔画像を上記データベースから検索する検索サーバ600とを備えた構成となっている。
[0067]
 これにより、一人で映っているのか、複数人で映っているのかを指定して検索することが可能となり、ユーザにとって利便性の高いものとなる。具体例を挙げれば、一人で行われる犯罪や複数で行われる犯罪に絞った調査を行う場合に有効である。すなわち、従来の顔画像検索システムでは撮影映像を目視で判断するしかなかったが、本例の顔画像検索システムでは行動人数を絞り込んで検索できるので、調査の効率を大幅に高めることができる。
[0068]
 また、本例の顔画像検索システムは、マーケティングの用途でデジタルサイネージに表示する内容を切り替えるような目的にも利用可能である。例えば、複数人で行動する人物がデジタルサイネージの近くに来た場合に、居酒屋の宴会コースをデジタルサイネージに表示させ、一人で行動する人物がデジタルサイネージの近くに来た場合に、カウンターのみのバーをデジタルサイネージに表示させるようなことも行える。
[0069]
 ここで、本例の顔画像検索システムは、異なる撮像装置による複数の撮像画像に同一の人物が含まれる場合に、これら複数の撮影画像に含まれる他の人物の共通性に基づいて、同一の人物が一人で行動しているか否かを判定する構成となっているので、個々の撮像装置による撮影映像だけで行動人数を判定する場合に比べ、精度良く行動人数を判定することができる。
[0070]
 なお、本例の顔画像検索システムでは、撮影画像に含まれる顔画像の人物が一人で行動しているか否かの判定結果の情報として、常時近接者数を用いているので、行動人数を指定した検索にも対応することができる。すなわち、行動人数を指定した検索の場合には、常時近接者数=(行動人数-1)の人物の顔画像を検索すればよい。また、行動人数を指定した検索を更に拡張し、行動人数を範囲指定できるようにしてもよい。
[0071]
 また、本例の顔画像検索システムでは、複数人で行動する人達は一緒に入場する傾向が高いことに鑑みて、入場口にある撮像装置100(1)の撮影画像を用いて近接人物数判定処理を行い、施設内及び出場口にある他の撮像装置100(2)~100(N)を更に用いて常時近接者数判定処理を行っているが、このような構成に限定されない。すなわち、近接人物数判定処理および常時近接者数判定処理は、任意の撮像装置を用いて行うことができる。
[0072]
 また、本例の顔画像検索システムは、入場口や出場口がある施設以外にも適用できることは言うまでもない。また、画像フレーム間での人物追跡や、異なる撮像装置間での人物の共通性の判定などを行う際に、顔画像の特徴量だけでなく、服装、持ち物、髪型等の他の特徴量を加味するようにしてもよい。また、顔データベース208や照合履歴データベース212に代えて(又はこれらとともに)、撮像装置による撮像画像を記録する画像データベースを備え、画像データベースに蓄積されている撮影画像を用いてグループ行動判定を行ってもよい。
[0073]
 なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば、上記の各実施形態で説明した構成を組み合わせて用いてもよい。
 また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

産業上の利用可能性

[0074]
 本発明は、入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システムに利用することができる。

符号の説明

[0075]
 100(1)~100(N):撮像装置、 200:照合サーバ、 300:保守PC、 400:ネットワークスイッチ、 500:集計サーバ、 600:検索サーバ、 700:操作端末、
 201:顔検知部、 202:同一人物判定部、 203:代表顔選定部、 204:フォーマット変換部、 205:属性判定部、206:ID付与人物情報生成部、 207:登録処理部、 208:顔データベース、 210:顔照合部、 211:グループ属性照合部、 212:照合履歴データベース、 214:転送処理部

請求の範囲

[請求項1]
 入場口及び出場口を有する施設で撮影された顔画像を照合する顔画像照合システムにおいて、
 前記入場口に設置された第1の撮像装置と、
 前記施設内及び前記出場口に設置された第2の撮像装置と、
 前記第1の撮像装置による撮影画像に基づく同一人物判定処理によって同一の人物であると判定された複数の顔画像の中から、前記人物を代表する顔画像である代表顔画像を選定する選定手段と、
 前記選定手段により選定された代表顔画像をデータベースに登録する登録手段と、
 前記第2の撮像装置による撮影画像に含まれる顔画像を前記データベースに登録された代表顔画像と照合する照合手段と、
 を備えたことを特徴とする顔画像照合システム。
[請求項2]
 請求項1に記載の顔画像照合システムにおいて、
 前記選定手段は、前記複数の顔画像を予め登録された基準顔と比較し、前記基準顔との類似度に基づいて前記人物の代表顔画像を選定し、
 前記基準顔として、正面を向いて目を開いた顔画像を用いることを特徴とする顔画像照合システム。
[請求項3]
 請求項1に記載の顔画像照合システムにおいて、
 前記登録手段は、前記同一人物判定処理に使用された撮影画像に前記人物とは別の人物の顔画像が含まれる場合に、前記別の人物の顔画像を含むグループ属性推定用データを前記人物の代表顔画像に対応付けて前記データベースに登録し、
 前記顔画像照合システムは、前記第2の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、前記データベースに登録されたグループ属性推定用データに基づいて、前記複数の人物はグループで行動しているか否かを示すグループ属性を推定するグループ属性推定手段を更に備えたことを特徴とする顔画像照合システム。
[請求項4]
 請求項3に記載の顔画像照合システムにおいて、
 前記グループ属性推定手段は、前記複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、前記複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、前記複数の人物の関係性を推定することを特徴とする顔画像照合システム。
[請求項5]
 請求項4に記載の顔画像照合システムにおいて、
 前記グループ属性推定手段で得られたデータを、各人物の年齢又は性別、前記施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計する集計手段を更に備えたことを特徴とする顔画像照合システム。
[請求項6]
 請求項2に記載の顔画像照合システムにおいて、
 前記登録手段は、前記同一人物判定処理に使用された撮影画像に前記人物とは別の人物の顔画像が含まれる場合に、前記別の人物の顔画像を含むグループ属性推定用データを前記人物の代表顔画像に対応付けて前記データベースに登録し、
 前記顔画像照合システムは、前記第2の撮像装置による撮影画像に複数の人物の顔画像が含まれる場合に、前記データベースに登録されたグループ属性推定用データに基づいて、前記複数の人物はグループで行動しているか否かを示すグループ属性を推定するグループ属性推定手段を更に備えたことを特徴とする顔画像照合システム。
[請求項7]
 請求項6に記載の顔画像照合システムにおいて、
 前記グループ属性推定手段は、前記複数の人物についてのグループ属性を、各人物の顔画像が同じ撮影画像から検出される頻度、撮影画像における各人物の顔画像間の距離を示す近接度、撮影画像における各人物の視線の関係を示す親密度の少なくともいずれかに基づいて推定し、更に、前記複数の人物の顔画像から推定される各人物の年齢又は性別の少なくともいずれかに基づいて、前記複数の人物の関係性を推定することを特徴とする顔画像照合システム。
[請求項8]
 請求項7に記載の顔画像照合システムにおいて、
 前記グループ属性推定手段で得られたデータを、各人物の年齢又は性別、前記施設に対する入場日時又は出場日時、グループ属性の少なくともいずれかに基づいて集計する集計手段を更に備えたことを特徴とする顔画像照合システム。
[請求項9]
 撮像装置による撮影画像に含まれる顔画像を記憶するデータベースから、指定された検索条件に基づいて顔画像を検索する顔画像検索システムにおいて、
 前記撮影画像に含まれる顔画像の人物が一人で行動しているか否かを判定し、判定結果の情報を該人物の顔画像に対応付けて前記データベースに記憶させる判定手段と、
 前記検索条件として、一人で行動している人物の検索または複数人で行動している人物の検索が指定された場合に、該指定に合致する判定結果の情報が対応付けられた顔画像を前記データベースから検索する検索手段と、
 を備えたことを特徴とする顔画像検索システム。
[請求項10]
 請求項9に記載の顔画像検索システムにおいて、
 前記判定手段は、異なる撮像装置による複数の撮像画像に同一の人物が含まれる場合に、前記複数の撮影画像に含まれる他の人物の共通性に基づいて、前記同一の人物が一人で行動しているか否かを判定することを特徴とする顔画像検索システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]