Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020136794 - INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Document

明 細 書

発明の名称 情報処理システム、情報処理装置、情報処理方法、およびプログラム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014  

発明の効果

0015  

図面の簡単な説明

0016   0017  

発明を実施するための形態

0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26  

明 細 書

発明の名称 : 情報処理システム、情報処理装置、情報処理方法、およびプログラム

技術分野

[0001]
 本発明は、画像認識処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。

背景技術

[0002]
 近年、画像を用いて所望する条件に合致する人物を検知する技術が開発されている。例えば特許文献1には、街中等で撮影された動画像中に尋ね人や指名手配の犯人等の所定人物が含まれているか否かを判断するシステムが記載されている。このシステムは、撮像画像の各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが1つのグループになるように、特徴データを人物ごとに分類する。そして上記システムは、分類された特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データおよび当該特徴データに対応する顔画像の少なくとも1つを代表顔データとして顔認証装置に送信する。顔認証装置は、送信されたデータを顔データ辞書に登録さたれ所定人物の顔データと照合する。
[0003]
 特許文献2には、異なるカメラによって撮像された画像から同一人物を同定することで人物を自動的に追跡する画像処理装置が記載されている。異なるカメラは、人物を異なる方向から撮像している。
[0004]
 特許文献3には、離れたフレームや異なるカメラにより得られる人物画像シーケンスから、人物の歩行状態を検出し、歩行状態に基づいて、異なる画像シーケンスに含まれる人物が同一であるか否かを判定することが記載されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2017-182210号公報
特許文献2 : 特開2015-2547号公報
特許文献3 : 国際公開第2006/013765号

発明の概要

発明が解決しようとする課題

[0006]
 本発明者は、元画像では特定できない人物を他の画像に対する画像処理を用いて特定するための新たな手法を検討した。すなわち本発明が目的とするところは、元画像では特定できない人物を他の画像に対する画像処理を用いて特定するための新たな手法を提供することにある。

課題を解決するための手段

[0007]
 本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
[0008]
 第一の側面は、情報処理装置に関する。
 第一の側面に係る情報処理装置は、
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する照合手段と、
 前記照合手段による照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する抽出手段と、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶手段に記憶させる登録手段と、
を有する。
[0009]
 第二の側面は、少なくとも1つのコンピュータにより実行される情報処理方法に関する。
 第二の側面に係る第1の情報処理方法は、
 情報処理装置が、
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合し、
 照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出し、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶部に記憶させる、
ことを含む。
[0010]
 なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
 このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。
[0011]
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
[0012]
 また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
[0013]
 また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
[0014]
 さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

発明の効果

[0015]
 上記各側面によれば、元画像では特定できない人物を他の画像に対する画像処理を用いて特定するための新たな手法を提供できる。

図面の簡単な説明

[0016]
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
[0017]
[図1] 本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。
[図2] 映像データおよび画像データのデータ構造の例を示す図である。
[図3] 第1の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。
[図4] 第1画像と第2画像を説明するための図である。
[図5] 情報処理装置が第1特徴情報を生成する処理の手順の一例を示すフローチャートである。
[図6] 第1特徴情報記憶部と第2特徴情報記憶部のデータ構造の例を示す図である。
[図7] 情報処理装置の動作の一例を示すフローチャートである。
[図8] 図7のステップS110の検索処理の詳細を示すフローチャートである。
[図9] 第2の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。
[図10] 認証情報データベースのデータ構造の一例を示す図である。
[図11] 情報処理装置の認証処理の手順の一例を示すフローチャートである。
[図12] 情報処理装置の動作の他の例を示すフローチャートである。
[図13] 第2特徴情報記憶部のデータ構造の一例を示す図である。
[図14] 第3の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。
[図15] 情報処理装置により表示される結果一覧画面の一例を示す図である。
[図16] 認証結果記憶部のデータ構造の一例を示す図である。
[図17] 情報処理装置の動作の一例を示すフローチャートである。
[図18] 図17のステップS130の表示処理の詳細な手順の一例を示すフローチャートである。
[図19] 図15の候補者表示部の表示例の詳細を示す図である。
[図20] 図15の候補者表示部の表示例の詳細を示す図である。
[図21] 詳細情報ウインドウの例を示す図である。
[図22] 情報処理装置の表示処理の手順の例を示す図である。
[図23] 情報処理装置の表示処理の手順の例を示す図である。
[図24] 情報処理装置の表示処理の手順の例を示す図である。
[図25] 表示画面の推移を説明するための図である。
[図26] 各実施形態の情報処理装置を実現するコンピュータの構成の一例を示す図である。

発明を実施するための形態

[0018]
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
 また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
[0019]
(第1の実施の形態)
 図1は、本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。
画像処理システム1は、情報処理装置100を備える。情報処理装置100は、複数のカメラ5a,5b,カメラ5c・・・(特に区別する必要がない場合は「カメラ5」と呼ぶ。)で撮像された画像から、ある人物を検索する。
[0020]
 検索対象となる人物が、例えば、元となる画像(第2画像22)に後ろ姿で写っており、そのため顔認証が行えない場合がある。このような場合、情報処理装置100は、体型等の情報(以下、第1特徴情報と記載)を用いてカメラ5で撮像された別の画像(第1画像10)から当該人物に似ている候補者を探し出し、その中で顔が写っている画像を用いて顔認証により人物を特定する。
[0021]
 なお、実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
[0022]
 カメラ5は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備えている。例えばIP(Internet Protocol)カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線LAN(Local Area Network)通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置(不図示)を介して情報処理装置100に接続される。これらのカメラ5は、街中や建物内外に設置されている、所謂、監視カメラであってもよい。そして、カメラ5は、特定の人物の動きに合わせて追従してカメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
[0023]
 カメラ5と情報処理装置100は接続されていなくてもよいし、直接接続されてもよいし、通信ネットワーク3などを介して間接的に接続されてもよい。カメラ5と情報処理装置100が接続されていない場合は、例えば、カメラ5aおよびカメラ5bで撮像された画像を各々記録したメディア7aおよびメディア7b(以後、特に区別する必要がない場合は「メディア7」と呼ぶ。)から画像データを読み出して取得する。
[0024]
 通信ネットワーク3などを介して情報処理装置100と接続されている例のカメラ5cは、たとえば、無線LAN(Local Area Network)通信機能を有し、通信ネットワーク3、すなわちルータなどの中継装置(不図示)を介して情報処理装置100に接続される。カメラ5cは、IP(Internet Protocol)カメラ等のネットワークカメラであるのが好ましい。
[0025]
 また、カメラ5から情報処理装置100への画像の送信のタイミングは、リアルタイム配信、例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。この送信タイミングは、カメラ5や情報処理装置100のメモリ容量、通信容量、画像処理能力、及び、カメラ5と情報処理装置100間の通信状況等に基づいて、適宜選択されてもよいし、又は、状況変化に応じて変更されてもよい。
[0026]
 たとえば、カメラ5で撮像された画像データは、情報処理装置100に直接送信され、情報処理装置100がこの画像データを逐次受信してもよい。また、カメラ5及び情報処理装置100の双方がアクセス可能な記憶装置(不図示)を設けてもよい。この場合、カメラ5により撮像された画像データは、記憶装置に記憶される。そして、情報処理装置100は、この記憶装置から画像データを読み出す。
[0027]
 ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラ5および情報処理装置100の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、後述する第1画像10及び第2画像22の少なくとも一方としてもよい。
[0028]
 図2(a)は、映像データ40のデータ構造の一例を示す図である。映像データ40は、あるカメラ5で撮影されたものであり、カメラ5から受信またはメディア7に記録される。映像データ40は、映像データ40を識別する映像ID、映像データ40が記録されたメディア7を識別するメディアID又は映像データ40が撮像されたカメラ5を識別するカメラID、及び、カメラ5の撮影条件(例えば、撮影場所、撮影時間等)とを示す情報、及び映像データの本体を含む。
[0029]
 図2(b)は、第1画像10のデータ構造の一例を示す図である。第1画像10は、あるカメラ5で撮影された映像データ40の一部であり、映像データ40のあるフレームであってもよい。第1画像10は、当該画像を識別する画像ID、当該画像の元となる映像データ40を識別する映像IDを示す情報、及び画像データの本体を含む。第1画像10は、画像データの本体がフレームである場合、そのフレームを特定可能なフレーム番号を示す情報をさらに含む。また、画像IDは、ファイル名でもよい。なお、第1画像10は、第2画像22とは異なり、検索対象人物を検索する対象となる画像である。また、第1画像10は、第2画像22とは異なるカメラ5により撮像されていてもよい。
[0030]
 図3は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。情報処理装置100は、照合部102と、抽出部104と、登録部106と、を備える。本図に示す例において、情報処理装置100は、さらに第2特徴情報記憶部110を含む。第2特徴情報記憶部110は、情報処理装置100の本体と一体であってもよいし、別体であってもよい。第2特徴情報記憶部110は、データベース構造を有してもよいし、他のデータ構造であってもよい。
[0031]
 照合部102は、検索対象人物の特徴を示す第1特徴情報と、第1画像10に含まれる人物から抽出される人領域の特徴情報とを照合する照合処理を行う。ここで、第2画像22から抽出される第1特徴情報は、検索対象人物の人領域の特徴を示す特徴情報であり、以後、第1特徴情報14aとも呼ぶ。また、検索対象の第1画像10に含まれる人物から抽出される人領域の特徴情報を第1特徴情報14bとも呼ぶ。抽出部104は、照合部102による照合結果が一致となった場合、第1画像10に含まれる人物から第2特徴情報を抽出する。登録部106は、第1画像10に含まれる人物から抽出される第2特徴情報を第2特徴情報記憶部110に記憶させる。言い換えると、登録部106は、第1画像10に含まれる人物から抽出される第2特徴情報を第2特徴情報記憶部110に登録する。
[0032]
 詳細には、照合部102は、第1画像10を、メディア7から読み込むことにより、又はカメラ5から受信することにより、取得する。そして照合部102は、取得した第1画像10からまず人領域を特定し、特定した人領域について第1特徴情報14aとの照合処理を行う。ここで、第1特徴情報14aは複数あってもよい。
[0033]
 図4(a)は第2画像22の一例を示している。第2画像22は、人物は写っているが顔認証等により人物の特定ができない画像である。第2画像22は、例えば、人物が後ろ向きなど顔が写っていない画像、顔認証において基準値以上のマッチング精度が得られる程度に顔が写っていない画像、又は、顔認証ができない程度の低画質の画像である。なお、人物の特定ができない画像とは、顔認証ができない場合に限定されない。他の認証方法により人物の特定ができない画像であってもよい。他の認証方法は、例えば、生体認証であり、虹彩、耳介、静脈、および指紋の少なくともいずれか一つである。また、第2画像22に写っている人物について、顔認証処理又は他の認証処理による人物の特定を行なわずに、人物の人領域から第1特徴情報14aを抽出してもよい。つまり、第2画像22に対して必ずしも顔認証処理又は他の認証処理を行う必要はない。言い換えれば、第2画像22は、そこに写っている人物の特定を行っていない画像であってもよい。
[0034]
 照合部102は、照合処理において、第1特徴情報14aとの一致度が基準以上である人領域を、第1特徴情報14aに対応する領域であると判定する。抽出部104は、第1画像10から第1特徴情報14aとの一致度が基準以上の領域を含む人領域を特定し、さらに当該人領域の顔領域を特定する。
[0035]
 なお、一致度とは、マッチングの程度を示す値であり、本実施形態では、一致度は0~1の数値であり、完全一致が1、完全不一致が0である。
[0036]
 抽出部104は特定した顔領域の特徴情報を抽出して第2特徴情報を生成し、登録部106は第2特徴情報記憶部110に記憶させる。図4(b)および図4(c)に示すように、第1画像10から人領域16と顔領域20とが特定される。これらの領域を含む人物が検索対象候補となる。
[0037]
 なお、抽出部104は、異なる複数の第2画像22に含まれる人物の人領域から複数の検出対象者の第1特徴情報14aを抽出し、登録部106は複数の第1特徴情報14aを同一人物の情報として互いに関連付けて第1特徴情報記憶部112に記憶させてもよい。照合部102は、複数の第1特徴情報14aを用いて照合処理を行ってもよい。
[0038]
 また、情報処理装置100は、第1特徴情報記憶部112を必ずしも備える必要はない。照合部102は、第1特徴情報14aを第1特徴情報記憶部112から読み出して取得してもよい、外部装置からの入力により取得してもよい。また、第1特徴情報記憶部112が第2特徴情報記憶部110を兼ねていてもよい。この場合、情報処理装置100は、生成した第2特徴情報を、第1特徴情報として使用する。
[0039]
 本実施形態では、人領域は、第1部分と第2部分に相当する領域を含む。第2部分は、例えば、顔、虹彩、耳介、静脈、および指紋の少なくともいずれか1つの領域である。あるいは、第2部分は領域ではなく、人の歩容であってもよい。第1部分は、第2部分を含んでもよいが、含まなくてもよい。本実施形態では、第1部分は、人物全体の領域であり、第2部分は顔領域である。第1部分の第1特徴情報(第1特徴情報14aおよび第1特徴情報14b)は、人物の背格好又は服装等の見た目の特徴を示す特徴情報である。本明細書において、第1特徴情報は「人領域特徴情報」、第2特徴情報は「顔情報」とも呼ぶ。
[0040]
 第1特徴情報(第1特徴情報14aおよび第1特徴情報14b)は、背丈、肩幅、身体パーツの比率、衣服(形、色、素材等)、髪型(髪色も含む)、装飾品(帽子、眼鏡、アクセサリ等)、所持品(バッグ、傘、杖等)等の特徴を示す情報を含む。また、人領域特徴情報は、その特徴情報の尤度等の情報を含んでもよい。
[0041]
 本実施形態では、検索対象人物の第1特徴情報14aは、検索対象人物が写っている第2画像22を用いて生成される。第2画像22は、カメラ5で撮像された画像であってもよいし、他の撮像手段により撮像された画像やスキャナで読み取った画像であってもよい。
[0042]
 情報処理装置100は、第1特徴情報抽出部(不図示)をさらに有する。この第1特徴情報生成部は、検索対象人物が写っている第2画像22を用いて第1特徴情報14aを生成し、第1特徴情報記憶部112に記憶させる。
[0043]
 図5は、情報処理装置100が第1特徴情報14aを生成する処理の手順の一例を示すフローチャートである。第1特徴情報生成部は、検索対象者の画像(第2画像22)を取得し(ステップS10)、取得した画像から第2特徴情報(顔情報)を生成して第1特徴情報記憶部112に記憶する(ステップS20)。
[0044]
 図6(a)は、第1特徴情報記憶部112のデータ構造の一例を示す図である。第1特徴情報記憶部112は、検索対象人物を識別する検索対象IDと、当該人物の第1特徴情報14aと、第1特徴情報14aを取得した元画像の画像データとを関連付けて記憶している。第1特徴情報記憶部112は、画像データの本体を記憶していてもよいし、画像データが保存されている場所とファイル名を示すパスを記憶していていてもよい。
[0045]
 図6(b)は、第2特徴情報記憶部110のデータ構造の一例を示す図である。第2特徴情報記憶部110は、検索対象人物の候補を識別する候補IDと、当該候補の第2特徴情報とを対応付けて記憶している。第2特徴情報記憶部110は、少なくとも1人の検索対象人物の候補の情報を記憶している。検索対象者が複数の場合は、図6(c)のように、第2特徴情報記憶部110は、当該候補の元となる検索対象IDに、候補IDと、当該候補の第2特徴情報とを対応付けていてもよい。
[0046]
 図7は、情報処理装置100の動作の一例を示すフローチャートである。図8は、図7のステップS110の検索処理の詳細を示すフローチャートである。
[0047]
 まず、照合部102は、検索対象人物の第1特徴情報14a(人領域特徴情報)を取得する(ステップS101)。さらに、照合部102は、第1画像10を取得する(ステップS103)。そして、図8のステップS110の検索処理に進む。
[0048]
 図8に示すように、照合部102は、ステップS110の検索処理において、まず、検索対象人物の第1特徴情報14aと、第1画像10に含まれる人物から抽出した人領域の第1特徴情報14bとの照合処理を行う(ステップS111)。第1特徴情報14aと第1特徴情報14bとの照合結果が一致した場合、言い換えると、第1特徴情報14aとの一致度が基準以上の領域が見つかった場合(ステップS113のYES)、抽出部104は、第1画像10に含まれる人物から第2特徴情報(顔情報)を生成する(ステップS115)。例えば、抽出部104は、当該領域を含む人領域を特定し、特定された人領域のうち、顔領域を特定し、特定した顔領域の特徴情報を抽出して第2特徴情報(顔情報)を生成してもよい。そして、登録部106は、生成した顔情報を第2特徴情報記憶部110に記憶させる(ステップS117)。
[0049]
 本実施形態において、照合部102が第1画像10から検索対象人物の人領域特徴情報(第1特徴情報14a)と一致する人物を見つけると、抽出部104は、当該人物の顔領域の特徴情報を生成し、登録部106が第2特徴情報記憶部110に記憶する。そして、第2特徴情報記憶部110に記憶された顔領域の特徴情報は、画像処理における人の特定処理に使用される。このように本実施形態によれば、検索対象人物の顔が写っていない画像から得られた人領域特徴情報(第1特徴情報14a)を用いてカメラ5により撮像された第1画像10の中から検索対象人物を探し出し、見つかった人物の顔の特徴情報を抽出して記憶することができる。
[0050]
(第2の実施の形態)
 図9は、第2の実施の形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、第2特徴情報記憶部110に記憶された第2特徴情報を、予め登録されている顔認証情報と照合して検索対象人物の候補情報を取得する点以外は上記実施形態と同じである。
[0051]
 図9の情報処理装置100は、図3に示す構成に加え、さらに、認証部120と、取得部122と、を備える。認証部120は、第2特徴情報記憶部110に記憶されている第2特徴情報に対して、認証情報データベース114を用いて照合処理を実行する。認証情報データベース114には、特定の人物の第2特徴情報が人物の情報に対応付けられて登録されている。取得部122は、照合処理により基準以上の一致度を有すると判断された第2特徴情報に対応付けられている人物の情報を認証情報データベース114から取得する。
[0052]
 図10は、認証情報データベース114のデータ構造の一例を示す図である。認証情報データベース114には、認証情報が登録されている特定の人物(以下、登録者と呼ぶ)を識別する認証IDと、登録者の顔の特徴を示す顔特徴情報(第2特徴情報)と、登録者の顔画像データと、登録者の氏名と、登録者の属性情報とが関連付けて登録されている。
[0053]
 認証情報データベース114には顔画像データの実体が登録されてもよいし、顔画像データが保存されている場所とファイル名を示すパスが登録されていてもよい。この顔画像データは、後述するように画面表示に用いられ、オペレータは画面に表示された顔写真を氏名、および属性情報とともに閲覧することができる。
[0054]
 図9の例では、認証情報データベース114は、情報処理装置100の一部である。認証情報データベース114は、情報処理装置100の本体と一体であってもよいし、別体であってもよい。認証情報データベース114は、第2特徴情報記憶部110と同一の装置に含まれてもよいし、互いに異なる装置に含まれていてもよい。認証情報データベース114は、データベース構造を有しているが、他のデータ構造を有していてもよい。
[0055]
 本実施形態の認証部120の機能は、照合部104が有してもよい。
 また、情報処理装置100は、認証部120による認証結果が一致となった場合、認証情報データベース114に記憶されている顔特徴情報に対応する識別情報(認証IDや氏名)を読み出して出力部に出力処理を行う出力処理部(不図示)を備えてもよい。出力処理については詳細に後述する。
[0056]
 図11は、本実施形態の情報処理装置100の認証処理の手順の一例を示すフローチャートである。
 まず、認証部120は、第2特徴情報記憶部110に記憶されている第2特徴情報に対して、認証情報データベース114を用いて照合処理を実行する(ステップS121)。そして、照合処理により基準以上の一致度を有すると判断される人物がいた場合(ステップS123のYES)、認証部120は、認証情報データベース114から当該人物の情報(氏名等)を取得する(ステップS125)。
[0057]
 また、本実施形態において、情報処理装置100の登録部106は、第1画像10のうち少なくとも第1特徴情報14aに対応する領域を第2特徴情報に関連付けて第2特徴情報記憶部110に記憶させる。
[0058]
 例えば、図12に示すように、図8のフローチャートのステップS117の後、登録部106は、第1画像10の人領域の画像データを第2特徴情報(顔情報)に関連付けて第2特徴情報記憶部110に記憶させてもよい(ステップS119)。
[0059]
 図13は、本実施形態の第2特徴情報記憶部110のデータ構造の一例を示す図である。本実施形態において、第2特徴情報記憶部110は、図6(b)で説明した情報に追加して、図11のステップS121の照合処理において算出した一致度の情報、当該人領域の画像データ、および、当該人領域を取得した第1画像10を識別する画像ID(図中、元画像IDと示す)を関連付けて記憶してもよい。
[0060]
 情報処理装置100は、元画像IDを対応付けることで、図4(b)に例示した第1画像10から映像IDを取得し、さらに、図4(a)に例示した第2画像22から撮影場所等の情報を第2特徴情報と関連付けて取得することができる。また、情報処理装置100は、第2特徴情報記憶部110に、第2特徴情報に、カメラ5の撮影場所、撮影方向、撮影時刻等の撮影条件を対応付けて記憶してもよい。
[0061]
 以上説明したように、本実施形態において、認証部120により、第2特徴情報記憶部110に記憶されている顔情報について認証情報データベース114に登録されている顔情報との照合処理を行うことで、取得部122により似ている人物の情報を取得することができる。このように本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、カメラ5で撮像された第1画像10から人領域特徴情報を用いて検索対象人物に似た候補について顔認証処理を行い、似ている人物の情報を取得することができる。
[0062]
(第3の実施の形態)
 図14は、第3の実施の形態に係る情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、検出された候補者の情報を表示する構成を有する点以外は第2実施形態と同じである。情報処理装置100は、図9の構成に加え、さらに表示処理部130を有している。表示処理部130は、情報処理装置100に接続された液晶ディスプレイ、有機EL(ElectroLuminescence)ディスプレイ等の表示装置132に各種情報を表示させる。
[0063]
 本実施形態において、取得部122は、複数の候補者人領域画像および情報(氏名や属性)を認証情報データベース114から取得する。そして、表示処理部130は、各候補者人領域画像を画像表示部214に表示させるとともに、各候補者別に、顔認証処理の結果として候補者として検出された少なくとも1人の人物の情報を候補者表示部222に表示させる。詳細には、表示処理部130は、検索対象表示部202、検索結果表示部210、および認証結果表示部220のうち少なくとも2つを同じ画面に表示させる。
[0064]
 図15は、本実施形態の情報処理装置100により表示される結果一覧画面200の一例を示す図である。この図の例では、同一の結果一覧画面200に、検索対象表示部202と、検索結果表示部210と、認証結果表示部220とが表示されている。なお、検索対象表示部202、検索結果表示部210、および認証結果表示部220のうち少なくとも2つを同じ画面に表示させる例については後述する。
[0065]
 本実施形態において、取得部122は、表示処理部130に表示させる各情報の少なくとも一部を取得する。これらの情報の一部は、例えば、検索対象人物の顔以外の領域に関する特徴を示す第1特徴情報14a(人領域特徴情報)を抽出した第2画像22、第1特徴情報14a(人領域特徴情報)との照合結果が一致となり、かつ、顔領域が検知された第1画像10(以後、候補者人領域画像とも呼ぶ)、および、結果情報を含む。結果情報は、認証情報データベース114に記憶されている顔情報と、顔領域から抽出された第2特徴情報を照合した結果を示しており、認証部120によって生成されている。具体的には、結果情報は、認証結果記憶部116に記憶されたデータである。
 第1特徴情報14a(人領域特徴情報)との照合結果が一致となるとは、例えば、第1特徴情報14a(人領域特徴情報)に対する一致度が基準以上である領域を含むことである。
[0066]
 検索対象表示部202には、検索対象者が写っている第2画像22が表示される。検索対象表示部202に表示される第2画像22は、検索対象者の人領域を少なくとも含む第2画像22の一部であり、例えば、検索対象者の人領域を含む矩形で切り出して生成された画像であってもよい。検索結果表示部210は、少なくとも一つの候補者表示部212を含む。各候補者表示部212には画像表示部214が含まれる。画像表示部214には、当該候補者の候補者人領域画像が、当該画像の撮像条件(例えば撮像場所)、及び、検索対象表示部202に表示された第2画像22に対する一致度とともに表示される。候補者人領域画像は、第1画像10の少なくとも一部であり、例えば、照合で一致した人領域を含む矩形で切り出して生成された画像であってもよい。認証結果表示部220には、顔認証の結果が表示されるとともに、候補者表示部222が、候補者表示部212の候補者毎に表示される。候補者表示部222には画像表示部224が含まれる。画像表示部224には、少なくとも、その候補者人領域画像に対する一致度が高い人の顔画像が表示される。画像表示部224に表示される情報は、上記した結果情報に含まれている。
[0067]
 図15の例では、複数の候補者の情報は、第1特徴情報14aとの一致度が高い順に表示されている。ここで、候補者表示部222において、複数の候補者の情報は、第2特徴情報との一致度が高い順に表示されてもよい。また、検索結果表示部210および認証結果表示部220に表示される候補者数は、それぞれ設定メニュー(不図示)等で設定可能になっていてもよい。さらに、一致度が所定の基準値以上の候補者が、一覧画面又はスクロールにより、全て表示させてもよい。この場合、所定の基準値は設定メニューで設定できてもよい。
[0068]
 また、図14に示すように、情報処理装置100は、認証結果記憶部116をさらに含む。認証結果記憶部116は、情報処理装置100の本体と一体であってもよいし、別体であってもよい。認証結果記憶部116は、第2特徴情報記憶部110、および認証情報データベース114と同一の装置に含まれてもよいし、互いに異なる装置に含まれていてもよい。認証結果記憶部116は、データベース構造を有していてもよい。
[0069]
 図16は、本実施形態の認証結果記憶部116のデータ構造の一例を示す図である。認証結果記憶部116は、候補毎に、候補IDと、結果情報を識別する認証結果IDと、顔認証の一致度と、当該結果情報が得られた元の認証情報を示す認証情報IDと、が関連付けて登録される。
[0070]
 図17は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。まず、図11を用いて説明した認証処理(ステップS120)を実行した後、取得部122は認証処理により取得された人物に関する情報を結果情報として認証結果記憶部116に記憶する(ステップS127)。そして、表示処理部130は、取得した情報(図15の結果一覧画面200)を表示装置132に表示させる(ステップS130)。
[0071]
 図18は、図17のステップS130の表示処理の詳細な手順の一例を示すフローチャートである。まず、取得部122は、検索対象者の画像(第2画像22)を第1特徴情報記憶部112から取得する(ステップS131)。さらに、取得部122は、一致度が基準以上の領域と顔領域を含む候補画像(第1画像10)を第2特徴情報記憶部110から取得する(ステップS133)。そして、取得部122は、結果情報を認証結果記憶部116から取得する(ステップS135)。
[0072]
 そして、表示処理部130は、ステップS131で取得した第2画像22を結果一覧画面200の検索対象表示部202に表示し、ステップS133で取得した候補画像を検索結果表示部210の画像表示部214に表示し、ステップS135で取得した結果情報を認証結果表示部220に表示する(ステップS137)。
[0073]
 図19は、図15の候補者表示部212の表示例の詳細を示す図である。候補者表示部212は、画像表示部214と、候補者順位表示部215と、一致度表示部216と、撮影場所表示部218とを含む。画像表示部214には候補者の人領域16を含む画像が表示され、人領域16を囲む枠と、顔領域20を囲む枠がそれぞれ表示されてもよい。
[0074]
 図20は、図15の候補者表示部222の表示例の詳細を示す図である。候補者表示部222は、画像表示部224と、候補者順位表示部225と、一致度表示部226と、氏名表示部228と、候補者属性情報表示部229と、詳細表示ボタン230とを含む。画像表示部224は、顔認証処理により検出された人物の顔画像が表示される。氏名表示部228には、当該人物の氏名が表示される。候補者表示部222には、顔認証処理により検出された人物の顔画像および識別情報の少なくともいずれか一つが表示される。なお、人物の識別情報は、認証情報データベース114の識別情報(図10の認証ID)であってもよいし、氏名、および属性の少なくともいずれか一つであってもよい。
[0075]
 候補者属性情報表示部229には、顔認証処理により検出された人物の属性情報、例えば性別と年齢が表示される。詳細表示ボタン230は、当該人物のさらなる属性情報を表示させる操作ボタンである。詳細表示ボタン230の押下を受け付けると、図21の詳細情報ウインドウ240が表示される。詳細情報ウインドウ240に表示される詳細情報は、認証情報データベース114に登録されていてもよいし、他の記憶装置に認証IDに対応付けられて記憶されていてもよい。認証結果記憶部116には、結果情報の一部として、この詳細情報にたどり着くための情報が記憶されている。
[0076]
 以上説明したように、本実施形態において、表示処理部130により、検索対象者の画像(第2画像22)と、カメラ5により撮像された第1画像10から第1特徴情報14a(人領域特徴情報)との照合処理により検出された候補者の人領域の画像と、当該人領域に含まれる顔領域について認証情報データベース114を用いた照合処理により検出された候補者の画像および情報が同じ結果一覧画面200に表示される。
[0077]
 このように、本実施形態によれば、顔が写っていない検出対象者の画像(第2画像22)を元として、カメラ5により撮像された第1画像10の中から候補者の画像を検出して表示するとともに、さらに、当該候補者の画像の中から顔領域について認証情報データベース114に登録されている人物の顔画像と属性情報を同じ結果一覧画面200で閲覧することができる。
[0078]
(第4の実施の形態)
 上記実施形態では、結果一覧画面200に同時に検索対象表示部202と、検索結果表示部210と、認証結果表示部220とが表示される構成について説明した。本実施形態の情報処理装置100は、検索対象表示部202と、候補者表示部212に少なくとも1人の候補者の画像を表示させ、または、順位順に順次候補者を切り替えて表示させることができ、さらに、選択された候補者について顔認証結果を示す候補者表示部222を表示する。
[0079]
 図22~図24は、本実施形態の情報処理装置100の表示処理の手順の例を示す図である。また、図25は、表示画面の推移を説明するための図である。以下、これらの図を用いて情報処理装置100の表示処理について説明する。
[0080]
 まず、表示処理部130は、第2画像22から検索対象者の指定を受け付けて図25(a)の画面300の検索対象表示部202に表示する(ステップS201)。例えば、第2画像22に複数の人物が含まれている場合は、対象者の人領域16を指定する枠を第2画像22上でオペレータが操作して表示させてもよい。画面300は、検索ボタン302と、キャンセルボタン304と、さらに含む。
[0081]
 また、この図の例では、検索対象者は1人であるが、複数の第2画像22に写っている複数の検索対象者の第1特徴情報14aを用いて照合処理が行われる場合、複数の検索対象者の画像を検索対象表示部202に複数表示してもよい。検索候補者別に少なくとも1つの候補者表示部212を表示してもよいし、複数の検索対象者の第1特徴情報14aを用いた照合処理の結果、得られた複数の候補者の情報を候補者表示部212に複数表示してもよい。
[0082]
 検索ボタン302の押下を受け付けると(ステップS203のYES)、情報処理装置100は、図8で説明した検索処理を実行する(ステップS110)。検索処理中は、検索中であることを示すメッセージ306が表示される(ステップS205)。情報処理装置100は、検索処理中にキャンセルボタン304の押下を受け付けると、検出処理を中止してステップS201に戻る(不図示)。
[0083]
 検索処理を行った結果、候補者が見つからなかった場合(ステップS207のNO)、図25(e)の画面310が表示される。この画面310には、候補が見つからなかったことを示すメッセージ312が含まれている。さらに、画面310は、再検索ボタン314を含んでもよい。再検索ボタン314の押下を受け付けると、ステップS201に戻り、検索対象者の第2画像22の再選択を促すメッセージを表示し、再選択を受け付けてもよい(不図示)。
[0084]
 本実施形態では、候補者の表示方法を設定メニュー(不図示)等により予め設定できるものとする。設定メニューでは、検出された候補者を1人ずつ表示するか、検出された候補者を全部(所定人数分ずつ(例えば、上位3人分ずつ))表示するかを選択できる。情報処理装置100は、少なくとも1人の候補者が見つかった場合(ステップS207のYES)、設定に従い候補者の表示方法を切り替える(ステップS211)。例えば、全部(この例では、上位3人)が選択されている場合、ステップS120の認証処理に進み、各候補者の顔領域に対して顔認証処理が行われる。そして、顔認証処理の結果を示す結果一覧画面200(図15)が表示される(ステップS213)。
[0085]
 候補を1人ずつ順次表示する設定が選択されている場合(ステップS211の順次)、情報処理装置100は、ステップS221(図23)に進む。まず、カウンタiに1が設定される(ステップS221)。そして、iが1以下の場合、図25(b)に示すように、画面330には次の候補者を表示させるための次ボタン332が表示され、前の候補者を表示させるための前ボタンは表示されない(ステップS225)。画面330には、検索対象表示部202と、第1候補者の候補者表示部212とが表示される(ステップS233)。画面330には、さらに、当該候補者の顔認証処理を受け付ける検索ボタン334が表示される。
[0086]
 画面330で押下される操作ボタンの種類に応じて処理が切り替えられる(ステップS235)。次ボタン332の押下が受け付けられると、iがインクリメントされ、2となり(ステップS243)、ステップS223に戻る。iは2になっているので、ステップS223のNOとなり、画面340に前ボタン342がさらに表示される(ステップS227)。ここで、表示候補者数の最大値は3人と設定されているものとすると、i>最大値imax-1(2)ではないので(ステップS229のNO)、ステップS233に進み、図25(c)の画面340に第2候補者の候補者表示部212が表示される(ステップS233)。
[0087]
 前ボタン342が押下されると(ステップS235の前)、iがデクリメントされ、1となり(ステップS241)、ステップS223に戻る。そして、i≦1なので、ステップS225に進み、次ボタン332は表示され、前ボタン342は非表示になる。そして、第1候補者の候補者表示部212が画面330(図25(b))に表示される(ステップS235)。
[0088]
 図25(b)の画面330で検索ボタン334が押下されると(ステップS235の検索)、第1候補者の顔領域について顔認証処理が行われる(ステップS120)。そして、結果情報が取得されると、図25(d)の結果画面350が表示される(ステップS237)。結果画面350には、検索対象表示部202と、候補者表示部212と、候補者表示部222とが表示され、さらに、別の候補者の顔認証処理を実行させるための変更ボタン352が表示されてもよい。
[0089]
 変更ボタン352が押下されると(ステップS239のYES)、ステップS223に戻る。ここではiが1なので、図25(b)の画面330が表示される。そして、次ボタン332が選択されると第2候補者が表示され(ステップS233)、検索ボタン334が選択されると(ステップS235の検索)、第2候補者について顔認証処理が行われる(ステップS120)。
[0090]
 また、他の例として、候補者を1人ずつではなく、所定人数分(例えば、上位3人分)を表示させ、候補者の中から顔認証処理を行う人物を選択してもよい。図24のフローチャートにその表示処理の手順の一例を示す。図22のステップS207で候補者が検出された場合(ステップS207のYES)、図25(f)の画面360が表示される(ステップS251)。画面360は、認証結果表示部220と、複数(この図の例では3人)の候補者の候補者表示部212を含む検索結果表示部210が表示される。候補者表示部212には、顔認証処理を行う候補者の選択を受け付ける検索ボタン362が表示される。
[0091]
 検索ボタン362が押下されると(ステップS253のYES)、選択された候補者について認証部120により顔認証処理が実行される(ステップS120)。そして、顔認証処理の結果が、図25(d)の画面350に表示される。画面350では、顔認証処理の対象として選択された候補者の画像が候補者表示部212に表示される。
[0092]
 以上説明したように、本実施形態において、表示処理部130により、検索対象表示部202と、検索結果表示部210と、を含む画面320または画面360を表示することができる。そして、画面320または画面360において、顔認証処理を行う候補者をオペレータが選択して顔認証処理を行うことができるので、明らかに異なる人物については顔認証処理を省略することができるので、効率が向上する。また、ディスプレイのサイズ等に応じて表示内容を変更することができるので、見やすい画面表示が可能になる。
[0093]
 図26は、上述した各実施形態の情報処理装置100を実現するコンピュータ80の構成の一例を示す図である。
 コンピュータ80は、CPU(Central Processing Unit)82、メモリ84、メモリ84にロードされた図2、図9および図11の各情報処理装置100の構成要素を実現するプログラム90、そのプログラム90を格納するストレージ85、I/O(Input/Output)86、およびネットワーク接続用インタフェース(通信I/F87)を備える。
[0094]
 CPU82、メモリ84、ストレージ85、I/O86、通信I/F87は、バス89を介して互いに接続され、CPU82により情報処理装置全体が制御される。ただし、CPU82などを互いに接続する方法は、バス接続に限定されない。
[0095]
 メモリ84は、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。ストレージ85は、ハードディスク、SSD(Solid State Drive)、またはメモリカードなどの記憶装置である。
[0096]
 ストレージ85は、RAMやROMなどのメモリであってもよい。ストレージ85は、コンピュータ80の内部に設けられてもよいし、コンピュータ80がアクセス可能であれば、コンピュータ80の外部に設けられ、コンピュータ80と有線または無線で接続されてもよい。あるいは、コンピュータ80に着脱可能に設けられてもよい。
[0097]
 CPU82が、ストレージ85に記憶されるプログラム90をメモリ84に読み出して実行することにより、各実施形態の情報処理装置100の各ユニットの各機能を実現することができる。
[0098]
 I/O86は、コンピュータ80と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ80に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置(不図示)と、ディスプレイ、プリンタ、およびスピーカ等の出力装置(不図示)と、これらの入出力装置とコンピュータ80のインタフェースとを含む。さらに、I/O86は、他の記録媒体の読み取りまたは書き込み装置(不図示)とのデータの入出力制御を行ってもよい。
[0099]
 通信I/F87は、コンピュータ80と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信I/F87は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、情報処理装置100を実現するコンピュータ80は、通信I/F87によりネットワークを介して少なくとも1台のカメラ5と接続される。
[0100]
 各実施形態の情報処理装置100の各構成要素は、本図のコンピュータ80のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。上述した各実施形態の情報処理装置100を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
[0101]
 情報処理装置100は、複数のコンピュータ80により構成されてもよいし、仮想サーバにより実現されてもよい。
[0102]
 複数のコンピュータ80により構成される例として、以下に例示される情報処理システムとして本発明は実現できるが、これらに限定されない。
(1)抽出部104と照合部102は別の装置(コンピュータ80)で実施する。例えば、情報処理システムは、抽出部104を有する端末装置と、照合部102を有するサーバ装置と備えてもよい。
(2)第2特徴情報記憶部110と第1特徴情報記憶部112を実現する記憶手段は、複数の装置によって実現されてもよい。例えば、第1の画像に含まれる人物から抽出された第2特徴情報を記憶する記憶装置と、特定の人物の識別情報および第2特徴情報が記憶されている記憶装置が別に存在してもよい。
(3)抽出部104の抽出処理のうち、第1画像10からの特徴情報の抽出処理と、第2画像20からの特徴情報の抽出処理を別の装置(コンピュータ80)で実施する。例えば、情報処理システムは、抽出部104とを有する映像を解析する複数の端末装置と、それらからの情報を統合して照合処理を行うサーバ装置とを含んでもよい。複数の端末装置はエリア毎に分かれて配備され、抽出部102は、複数の物理的装置によって実現されてもよい。
(4)映像の解析(抽出部102と照合部104)の対象となる特徴情報の種別(顔特徴情報と人領域特徴情報)で別々の装置(コンピュータ80)に分けてもよい。
[0103]
 以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 例えば、上記実施形態では、第1画像10に含まれる人物の人領域から抽出された特徴情報と、検索対象者の第1特徴情報14aとの第1の照合処理、および当該照合処理で一致となった第1画像10の人物の顔領域から抽出された第2特徴情報と登録者の顔特徴情報との第2の照合処理を行っていた。他の実施形態では、第1特徴情報14aと、第2特徴情報とを用いて、照合部102は、第1画像10および第2画像22とは別の第3画像に対して、第1の照合処理および第2の照合処理の少なくともいずれか一方を行わせてもよい。
[0104]
 この構成において、第3画像から顔領域を検出できた場合は、第1特徴情報14aとの第1の照合処理ではなく、第2特徴情報との第2の照合処理を行うことができる。また、第3画像から顔領域が検出できなかった場合は、第1特徴情報14aとの第1の照合処理を行ってもよい。そして、第1の照合処理によって生成された新たな第2特徴情報を第2特徴情報記憶部110に記憶してもよい。
[0105]
 この構成によれば、例えば、第1画像10とは異なる日時や場所で撮像された第3画像に対して、既に取得できている第1特徴情報14a又は第2特徴情報を用いた照合処理を行うことで、第3画像についても検索対象人物の検索を行うことができる。
[0106]
 また、上記実施形態では、第1特徴情報は人領域の第1部分から抽出される特徴情報であり、第2特徴情報は人領域の第2部分、特に顔領域から抽出された特徴情報を例として説明したが、第1特徴情報と第2特徴情報の組み合わせは他にも考えられる。
[0107]
 第1の例として、第1特徴情報は、人物の衣服の色、年齢層、性別、および身長のうち少なくともいずれか一つを示す情報であり、第2の特徴情報は、人物の顔特徴情報であってもよい。
[0108]
 この例では、例えば、第2画像22に検索対象者の顔が写っていないために顔認証ができない場合に、第2画像22の人領域から第1特徴情報14aを抽出する処理を行う代わりに、検索対象者の衣服の色、年齢層、性別、および身長のうち少なくともいずれか一つをオペレータ操作により指定を受け付け、第1特徴情報14aとして第1特徴情報記憶部112に記憶してもよい。この例において、第2画像22を表示する検索対象表示部202とともに、検索対象者の第1特徴情報の入力を受け付ける操作受付部(不図示)を画面に設けてもよい。オペレータは検索対象表示部202に表示される検索対象者の画像を見ながら当該人物の第1特徴情報の入力を行うことができる。
[0109]
 第2の例として、第1の特徴情報は、人領域全体の特徴情報であり、第2の特徴情報は、複数の生体情報を組み合わせたマルチモーダル生体認証処理を行うための複数の生体認証情報であってもよい。
[0110]
 この例では、例えば、第2画像22に検索対象者の顔が写っていないため顔認証が難しく、下半身も写っていないために歩容認証等も難しいといった場合に適用できる。第2画像22に写っている人物の人領域から第1特徴情報14aを抽出し、第1画像10に対して第1特徴情報14aを用いて候補者を検出し、検出された候補者について、第2特徴情報として複数の生体情報を用いてマルチモーダル生体認証処理により人物の特定を行ってもよい。
[0111]
 以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
[0112]
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する照合手段と、
 前記照合手段による照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する抽出手段と、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶手段に記憶させる登録手段と、
を備える情報処理装置。
2. 1.に記載の情報処理装置において、
 前記照合手段は、
 特定の人物の識別情報に対応付けられて前記記憶手段に記憶されている前記第2特徴情報と、前記第1の画像に含まれる人物から抽出された第2特徴情報とを照合し、
 照合結果が一致となった場合、前記記憶手段に記憶されている前記識別情報を出力手段に出力させる出力処理手段を備える、情報処理装置。
3. 1.又は2.に記載の情報処理装置において、
 前記第1特徴情報は、前記第1の画像とは異なる第2の画像を用いて生成されている情報処理装置。
4. 3.に記載の情報処理装置において、
 前記抽出手段は、異なる複数の前記第2の画像に含まれる人物の人領域から複数の前記第1特徴情報を抽出し、
 前記登録手段は、当該複数の第1特徴情報を同一人物の情報として互い関連付けて記憶手段に記憶させ、
 前記照合手段は、前記記憶手段に記憶されている前記複数の第1特徴情報を用いて前記照合処理を行う、情報処理装置。
5. 3.又は4.に記載の情報処理装置において、
 前記第2の画像は、前記第1の画像とは異なる撮像部により生成される情報処理装置。
6. 1.から5.のいずれか一つに記載の情報処理装置において、
 前記照合手段は、第3の画像に対して、前記第1特徴情報との照合処理、および、前記第2特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理装置。
7. 1.から6.のいずれか一つに記載の情報処理装置において、
 前記登録手段は、前記第1の画像のうち少なくとも前記第1特徴情報に対応する領域を前記第2特徴情報に関連付けて前記記憶手段に記憶させる、情報処理装置。
8. 1.から7.のいずれか一つに記載の情報処理装置において、
 前記登録手段は、前記第2特徴情報に、前記第1の画像の撮像条件を対応付けて記憶させる、情報処理装置。
9. 1.から8.のいずれか一つに記載の情報処理装置において、
 前記第1の特徴情報は人物の顔の特徴情報であり、前記第2の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理装置。
[0113]
10. 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する照合手段と、
 前記照合手段による照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する抽出手段と、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶手段に記憶させる登録手段と、
を備える情報処理システム。
11. 10.に記載の情報処理システムにおいて、
 前記照合手段は、
 特定の人物の識別情報に対応付けられて前記記憶手段に記憶されている前記第2特徴情報と、前記第1の画像に含まれる人物から抽出された第2特徴情報とを照合し、
 照合結果が一致となった場合、前記記憶手段に記憶されている前記識別情報を出力手段に出力させる出力処理手段を備える、情報処理システム。
12. 10.又は11.に記載の情報処理システムにおいて、
 前記第1特徴情報は、前記第1の画像とは異なる第2の画像を用いて生成されている情報処理システム。
13. 12.に記載の情報処理システムにおいて、
 前記抽出手段は、異なる複数の前記第2の画像に含まれる人物の人領域から複数の前記第1特徴情報を抽出し、
 前記登録手段は、当該複数の第1特徴情報を同一人物の情報として互い関連付けて記憶手段に記憶させ、
 前記照合手段は、前記記憶手段に記憶されている前記複数の第1特徴情報を用いて前記照合処理を行う、情報処理システム。
14. 12.又は13.に記載の情報処理システムにおいて、
 前記第2の画像は、前記第1の画像とは異なる撮像部により生成される情報処理システム。
15. 10.から14.のいずれか一つに記載の情報処理システムにおいて、
 前記照合手段は、第3の画像に対して、前記第1特徴情報との照合処理、および、前記第2特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理システム。
16. 10.から15.のいずれか一つに記載の情報処理システムにおいて、
 前記登録手段は、前記第1の画像のうち少なくとも前記第1特徴情報に対応する領域を前記第2特徴情報に関連付けて前記記憶手段に記憶させる、情報処理システム。
17. 10.から16.のいずれか一つに記載の情報処理システムにおいて、
 前記登録手段は、前記第2特徴情報に、前記第1の画像の撮像条件を対応付けて記憶させる、情報処理システム。
18. 10.から17.のいずれか一つに記載の情報処理システムにおいて、
 前記第1の特徴情報は人物の顔の特徴情報であり、前記第2の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理システム。
[0114]
19. 情報処理装置が、
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合し、
 照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出し、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶部に記憶させる、
情報処理方法。
20. 19.に記載の情報処理方法において、
 前記情報処理装置が、
 特定の人物の識別情報に対応付けられて前記記憶部に記憶されている前記第2特徴情報と、前記第1の画像に含まれる人物から抽出された第2特徴情報とを照合し、
 照合結果が一致となった場合、前記記憶部に記憶されている前記識別情報を出力部に出力させる、情報処理方法。
21. 19.又は20.に記載の情報処理方法において、
 前記第1特徴情報は、前記第1の画像とは異なる第2の画像を用いて生成されている情報処理方法。
22. 21.に記載の情報処理方法において、
 前記情報処理装置が、
 異なる複数の前記第2の画像に含まれる人物の人領域から複数の前記第1特徴情報を抽出し、
 当該複数の第1特徴情報を同一人物の情報として互い関連付けて記憶部に記憶させ、
 前記記憶部に記憶されている前記複数の第1特徴情報を用いて前記照合処理を行う、情報処理方法。
23. 21.又は22.に記載の情報処理方法において、
 前記第2の画像は、前記第1の画像とは異なる撮像部により生成される情報処理方法。
24. 19.から23.のいずれか一つに記載の情報処理方法において、
 前記情報処理装置が、
 第3の画像に対して、前記第1特徴情報との照合処理、および、前記第2特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理方法。
25. 19.から24.のいずれか一つに記載の情報処理方法において、
 前記情報処理装置が、
 前記第1の画像のうち少なくとも前記第1特徴情報に対応する領域を前記第2特徴情報に関連付けて前記記憶部に記憶させる、情報処理方法。
26. 19.から25.のいずれか一つに記載の情報処理方法において、
 前記情報処理装置が、
 前記第2特徴情報に、前記第1の画像の撮像条件を対応付けて記憶させる、情報処理方法。
27. 19.から26.のいずれか一つに記載の情報処理方法において、
 前記第1の特徴情報は人物の顔の特徴情報であり、前記第2の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理方法。
[0115]
28. コンピュータに、
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する手順、
 照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する手順、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶部に記憶させる手順、を実行させるためのプログラム。
29. 28.に記載のプログラムにおいて、
 特定の人物の識別情報に対応付けられて前記記憶部に記憶されている前記第2特徴情報と、前記第1の画像に含まれる人物から抽出された第2特徴情報とを照合する手順、
 照合結果が一致となった場合、前記記憶部に記憶されている前記識別情報を出力部に出力させる手順、をコンピュータに実行させるためのプログラム。
30. 28.又は29.に記載のプログラムにおいて、
 前記第1特徴情報は、前記第1の画像とは異なる第2の画像を用いて生成されているプログラム。
31. 30.に記載のプログラムにおいて、
 異なる複数の前記第2の画像に含まれる人物の人領域から複数の前記第1特徴情報を抽出する手順、
 当該複数の第1特徴情報を同一人物の情報として互い関連付けて記憶部に記憶させる手順、
 前記記憶部に記憶されている前記複数の第1特徴情報を用いて前記照合処理を行う手順、をコンピュータに実行させるためのプログラム。
32. 30.又は31.に記載のプログラムにおいて、
 前記第2の画像は、前記第1の画像とは異なる撮像部により生成されるプログラム。
33. 28.から32.のいずれか一つに記載のプログラムにおいて、
 第3の画像に対して、前記第1特徴情報との照合処理、および、前記第2特徴情報との照合処理の少なくともいずれか一方を行なわせる手順、をコンピュータに実行させるためのプログラム。
34. 28.から33.のいずれか一つに記載のプログラムにおいて、
 前記第1の画像のうち少なくとも前記第1特徴情報に対応する領域を前記第2特徴情報に関連付けて前記記憶部に記憶させる手順、をコンピュータに実行させるためのプログラム。
35. 28.から34.のいずれか一つに記載のプログラムにおいて、
 前記第2特徴情報に、前記第1の画像の撮像条件を対応付けて記憶させる手順、をコンピュータに実行させるためのプログラム。
36. 28.から35.のいずれか一つに記載のプログラムにおいて、
 前記第1の特徴情報は人物の顔の特徴情報であり、前記第2の特徴情報は前記人物の顔以外の領域を含む特徴情報であるプログラム。

請求の範囲

[請求項1]
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する照合手段と、
 前記照合手段による照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する抽出手段と、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶手段に記憶させる登録手段と、
を備える情報処理装置。
[請求項2]
 請求項1に記載の情報処理装置において、
 前記照合手段は、
 特定の人物の識別情報に対応付けられて前記記憶手段に記憶されている前記第2特徴情報と、前記第1の画像に含まれる人物から抽出された第2特徴情報とを照合し、
 照合結果が一致となった場合、前記記憶手段に記憶されている前記識別情報を出力手段に出力させる出力処理手段を備える、情報処理装置。
[請求項3]
 請求項1又は2に記載の情報処理装置において、
 前記第1特徴情報は、前記第1の画像とは異なる第2の画像を用いて生成されている情報処理装置。
[請求項4]
 請求項3に記載の情報処理装置において、
 前記抽出手段は、異なる複数の前記第2の画像に含まれる人物の人領域から複数の前記第1特徴情報を抽出し、
 前記登録手段は、当該複数の第1特徴情報を同一人物の情報として互い関連付けて記憶手段に記憶させ、
 前記照合手段は、前記記憶手段に記憶されている前記複数の第1特徴情報を用いて前記照合処理を行う、情報処理装置。
[請求項5]
 請求項3又は4に記載の情報処理装置において、
 前記第2の画像は、前記第1の画像とは異なる撮像部により生成される情報処理装置。
[請求項6]
 請求項1から5のいずれか一項に記載の情報処理装置において、
 前記照合手段は、第3の画像に対して、前記第1特徴情報との照合処理、および、前記第2特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理装置。
[請求項7]
 請求項1から6のいずれか一項に記載の情報処理装置において、
 前記登録手段は、前記第1の画像のうち少なくとも前記第1特徴情報に対応する領域を前記第2特徴情報に関連付けて前記記憶手段に記憶させる、情報処理装置。
[請求項8]
 請求項1から7のいずれか一項に記載の情報処理装置において、
 前記登録手段は、前記第2特徴情報に、前記第1の画像の撮像条件を対応付けて記憶させる、情報処理装置。
[請求項9]
 請求項1から8のいずれか一項に記載の情報処理装置において、
 前記第1の特徴情報は人物の顔の特徴情報であり、前記第2の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理装置。
[請求項10]
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する照合手段と、
 前記照合手段による照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する抽出手段と、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶手段に記憶させる登録手段と、
を備える情報処理システム。
[請求項11]
 情報処理装置が、
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合し、
 照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出し、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶部に記憶させる、
情報処理方法。
[請求項12]
 コンピュータに、
 検索対象人物の特徴を示す第1特徴情報と、第1の画像に含まれる人物から抽出される第1特徴情報とを照合する手順、
 照合結果が一致となった場合、前記第1の画像に含まれる人物から第2特徴情報を抽出する手順、
 前記第1の画像に含まれる人物から抽出される第2特徴情報を記憶部に記憶させる手順、を実行させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]