国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現在ご利用になれません。
この状況が続く場合は、次のお問い合わせ先までご連絡ください。フィードバック & お問い合わせ
1. (WO2015146102) 画像認識装置、画像認識方法、画像認識プログラムが記録された記録媒体、及び、画像認識システム
Document

明 細 書

発明の名称 画像認識装置、画像認識方法、画像認識プログラムが記録された記録媒体、及び、画像認識システム

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

特許文献

0006  

非特許文献

0007  

発明の概要

発明が解決しようとする課題

0008   0009   0010  

課題を解決するための手段

0011   0012   0013  

発明の効果

0014  

図面の簡単な説明

0015  

発明を実施するための形態

0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135  

符号の説明

0136  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

明 細 書

発明の名称 : 画像認識装置、画像認識方法、画像認識プログラムが記録された記録媒体、及び、画像認識システム

技術分野

[0001]
 本発明は、たとえば、カメラパラメタを算出可能な画像認識装置等に関する。

背景技術

[0002]
 非特許文献1や、特許文献1に開示されるように、カメラが受信する画像に基づき、該カメラの向き等を表すカメラパラメタを推定する技術が知られている。
[0003]
 非特許文献1は、カメラパラメタを推定する画像認識システムを開示する。該画像認識システムは、受信した複数の画像について、それぞれ、人物と推定される人物領域を検出し、検出した人物領域に関して、頭頂の位置及び足元の位置を算出する。次に、該画像認識システムは、図14に示すように、画像311に基づき、直線を用いて、頭頂の位置(及び、足元の位置)の軌跡を近似する。図14は、非特許文献1に開示される画像認識システムが算出する軌跡の一例を表す図である。
[0004]
 該画像認識システムは、人物312に関して、頭頂の軌跡313を表す直線と、足元の軌跡314を表す直線とを算出する。次に、該画像認識システムは、頭頂の軌跡313を表す直線と、足元の軌跡314を表す直線との交点の座標に基づき、カメラパラメタ315を算出する。
[0005]
 特許文献1は、ランドマークの位置を固定することなく、カメラパラメタを推定することが可能なカメラパラメタ推定装置を開示する。該推定装置は、第1カメラを用いて撮像される第1画像に含まれるランドマークと、第2カメラを用いて撮像される第2画像に含まれるランドマークとの類似度を算出する。次に、該推定装置は、算出した類似度が高い場合に、第1カメラに関するカメラパラメタに基づき、該ランドマークの3次元座標を推定する。次に、該推定装置は、推定した3次元座標と、第2画像における該ランドマークの座標とに基づき、第2カメラに関するカメラパラメタを推定する。

先行技術文献

特許文献

[0006]
特許文献1 : 特開2009-124204号公報

非特許文献

[0007]
非特許文献1 : Fengjun Lv, Tao Zhao and Nevatia R, “Self-calibration_of_a_camera_from_video_of_a_walking_human”, IEEE Proc. ICPR 2002, Vol.1, pp. 562-567, 2002.

発明の概要

発明が解決しようとする課題

[0008]
 しかし、非特許文献1に開示される画像認識システムによれば、算出されるカメラパラメタに関する精度が低い可能性が高い。
[0009]
 この理由は、該画像認識システムが、複数の画像において、それぞれ検出される人物が、同一であるか否かを判定していないからである。この結果、該画像認識システムは、たとえば、直線を用いて、ある人物の頭頂の軌跡を近似する場合に、該人物と異なる人物の頭頂が混入する可能性がある。追跡する対象である人物の頭頂の高さが、該人物と異なる人物の頭頂の高さと異なることが多いので、別の人物が混入するデータの場合には、直線を用いて軌跡を近似することができない。したがって、この場合、該画像認識システムが算出するパラメタに関する精度は低い。
[0010]
 そこで、本発明の主たる目的は、高精度にパラメタを算出可能な画像認識装置等を提供することである。

課題を解決するための手段

[0011]
 前述の目的を達成するために、本発明の一態様において、画像認識装置は、
 カメラを用いて撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡する追跡手段と、
 追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する算出手段と
 を備える。
[0012]
 また、本発明の他の見地として、画像認識方法は、
 カメラにより撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡し、追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する。
[0013]
 さらに、同目的は、係る画像認識プログラム、および、そのプログラムを記録するコンピュータ読み取り可能な記録媒体によっても実現される。

発明の効果

[0014]
 本発明に係る画像認識装置等によれば、高精度にパラメタを算出することができる。

図面の簡単な説明

[0015]
[図1] 本発明の第1の実施形態に係る画像認識装置が有する構成を示すブロック図である。
[図2] 第1の実施形態に係る画像認識装置における処理の流れを示すフローチャートである。
[図3] 追跡対象を人物の顔における目とする例を、2次元座標系の平面空間に表した図である。
[図4] 追跡対象を人物の顔における目とする例を、2次元座標系の平面空間に表した図である。
[図5] 第1の実施形態に係る画像認識システムが有する構成を表すブロック図である。
[図6] 本発明の第2の実施形態に係る画像認識装置が有する構成を示すブロック図である。
[図7] 第2の実施形態に係る画像認識装置における処理の流れを示すフローチャートである。
[図8] 本発明の第3の実施形態に係る画像認識装置が有する構成を示すブロック図である。
[図9] 第3の実施形態に係る画像認識装置における処理の流れを示すフローチャートである。
[図10] 本発明の第4の実施形態に係る画像認識装置が有する構成を示すブロック図である。
[図11] 第4の実施形態に係る画像認識装置における処理の流れを示すフローチャートである。
[図12] 第4の実施形態に係る画像認識装置における処理の流れの一例を示すフローチャートである。
[図13] 本発明の各実施形態に係る画像認識方法を実現可能な計算処理装置のハードウェア構成を、概略的に示すブロック図である。
[図14] 非特許文献1に開示される画像認識システムが算出する軌跡の一例を表す図である。

発明を実施するための形態

[0016]
 次に、本発明を実施する実施形態について図面を参照しながら詳細に説明する。
[0017]
 <第1の実施形態>
 本発明の第1の実施形態に係る画像認識装置101が有する構成と、画像認識装置101が行う処理とについて、図1と図2とを参照しながら詳細に説明する。図1は、本発明の第1の実施形態に係る画像認識装置101が有する構成を示すブロック図である。図2は、第1の実施形態に係る画像認識装置101における処理の流れを示すフローチャートである。
[0018]
 第1の実施形態に係る画像認識装置101は、追跡部102と、算出部103とを有する。画像認識装置101は、さらに、検出部106を有してもよい。
[0019]
 画像認識装置101は、画像201を受信する。画像認識装置101が受信する画像201は、フィルタや幾何変換等を行うことにより算出される画像であってもよい。
[0020]
 追跡部102は、所定の追跡手順に従い、複数の画像に像(部分画像)として含まれる物体(以下、単に、「画像中の物体」と表す。)を、複数の画像に関して追跡する(ステップS101)。
[0021]
 以降、ステップS101における算出結果(複数の画像)を「物体系列」と表す。
[0022]
 所定の追跡手順は、たとえば、Kalmanフィルタやパーティクルフィルタ等のフィルタリング手法、Mean_Shift法やテンプレートマッチング等の画像領域の追跡手法、物体中の特徴点群を追跡する手法、オプティカルフロー等の画像における時間変化を利用する手法等である。また、所定の追跡手順は、統計的識別器やテンプレートマッチング等の識別器を用いて、複数の画像に像として含まれる物体が同一であるか否かを識別することにより、追跡する手法であってもよい。さらに、所定の追跡手順は、上述した手法を組み合わせた手法であってもよい。
[0023]
 上述した手法は、一般に知られた手法であるので、本実施形態においては、詳細な説明を省略する。
[0024]
 次に、算出部103は、追跡部102が追跡した物体系列に基づき、式1に従い、パラメタθ(すなわち、パラメタ202)を算出する(ステップS102)。


   ただし、fは、カメラ(不図示)に関する焦点距離を表す。t 及びt は、あるタイミングを表す。y は、タイミングtにおける画像において、追跡対象である物体の位置を表す座標値である。ω は、タイミングtにおける画像において、追跡対象である物体のサイズを表す。tanは、正接関数を表し、tan -1は、正接関数の逆関数を表す。「/」は、割り算を表す(以下、本願明細書において同様)。
[0025]
 この場合、パラメタθは、カメラ(不図示)が画像を撮像する仰角(画角)を表す。
[0026]
 物体の位置、及び、物体のサイズは、追跡部102が、画像から物体を検出することにより算出する値であってもよい。また、物体の位置、及び、物体のサイズは、検出部106が、画像201から物体を検出することにより算出する値であってもよい。尚、検出部106は、画像認識装置101の外部であってもよく、この場合に、追跡部102は、外部から画像201における物体の位置、及び、物体のサイズの値を受信する。
[0027]
 また、物体のサイズは、たとえば、該物体の横幅、あるいは、該物体に含まれる複数の部位間の距離等である。尚、複数の部位間の距離を用いてサイズを定義する場合に、該部位と地面との間の距離は、一定または略一定であるとする。
[0028]
 ここで、追跡対象を、画像301における人物の顔とする例(図3及び図4)を用いながら、第1の実施形態に係る画像認識装置101における処理について詳細に説明する。図3及び図4は、追跡対象を人物の顔における目とする例を、2次元座標(X-Y座標)系の平面空間に表した図である。
[0029]
 この例においては、画像認識装置101が、検出部106を有するとする。また、この例において、物体のサイズは、人物の顔における両目の間の距離であるとする。
[0030]
 検出部106は、あるタイミングにおいて撮像された複数の画像(図3及び図4における画像301)に関して、たとえば、サポートベクトルマシン(以降、「SVM」と表す。)を用いることにより、人物の顔の領域(以降、「顔領域」と表す。図3及び図4における顔領域302)を検出する。
[0031]
 次に、検出部106は、たとえば、SVM等を用いて、検出した顔領域302の一部の領域(たとえば、頭頂から鼻までの領域)を探索することにより、目の位置を算出する。次に、検出部106は、算出した目の位置に基づき、両目の間における距離(図3におけるω 、及び、図4におけるω )を算出することにより、画像における物体のサイズを算出する。さらに、検出部106は、画像において、検出した目の位置を表す座標値(図3におけるy 、及び、図4におけるy )を算出する。
[0032]
 次に、追跡部102は、所定の追跡手順(たとえば、Kalmanフィルタ)に従い、複数の画像(図3及び図4)に関して顔領域302を追跡する(ステップS101)。追跡部102は、ステップS101における処理に従い、物体系列を算出する。
[0033]
 説明の便宜上、追跡部102は、図3及び図4に例示する画像における顔領域302が同一の人物を表す画像であると判定するとする。すなわち、追跡部102は、物体系列が図3及び図4における顔領域302を含むことを算出する。
[0034]
 尚、画像が複数の顔領域を含む場合に、追跡部102は、各顔領域を追跡することにより、複数の物体系列を算出してもよい。
[0035]
 次に、算出部103は、追跡部102が算出する物体系列に基づき、式1に従いパラメタθを算出する(ステップS102)。たとえば、追跡部102は、図3に例示するω 及びy と、図4に例示するω 及びy とに基づき、式1に従いパラメタθを算出する。
[0036]
 たとえば、図5に示すように、画像認識システム104に画像認識装置101を設置する場合に、画像認識システム104は、画像認識装置101と、カメラ制御部105とを有する。図5は、第1の実施形態に係る画像認識システム104が有する構成を表すブロック図である。画像認識システム104は、カメラ107を制御することが可能である。
[0037]
 画像認識装置101は、上述したようにパラメタ202を算出する。
[0038]
 カメラ制御部105は、画像認識装置101が算出したパラメタ202に基づき、カメラ107が画像を撮像する向きを制御する。さらに、画像認識装置101が、該カメラ107が撮像した画像に基づきパラメタ202を算出し、その後、さらに、算出したパラメタ202に基づき、カメラ制御部105が該向きを制御してもよい。画像認識システム104は、パラメタ202を算出する処理と、パラメタ202に基づき向きを制御する処理とを繰り返し実行してもよい。
[0039]
 次に、本実施形態に係る画像認識装置101に関する効果について説明する。
[0040]
 第1の実施形態に係る画像認識装置101によれば、高精度にパラメタ202を算出することができる。
[0041]
 この理由は、追跡部102が追跡した物体系列に基づいて、算出部103がパラメタ202を算出するからである。
[0042]
 非特許文献1に開示された画像認識システムは、本実施形態に係る画像認識装置101とは異なり、複数の画像に像として含まれる物体が同一であるか否かに関わらず、頭頂等の位置の軌跡に基づきパラメタを算出する。このため、該画像認識システムを用いた場合に、複数の画像において検出される頭頂が同一人物の頭頂である確率は、画像認識装置101に比べ低い。頭頂の軌跡が誤差を含む場合に、該画像認識システムは、誤ったカメラパラメタを算出する。
[0043]
 一方、画像認識装置101は、物体系列において同一であると推定される物体に基づきパラメタ202を算出する。このため、本実施形態に係る画像認識装置101に関しては、誤差が含まれる可能性は低い。したがって、画像認識装置101は、誤差の低い情報(すなわち、サイズと座標値)に基づきパラメタ202を算出する。この結果、本実施形態に係る画像認識装置101によれば、高精度にパラメタ202を算出することができる。
[0044]
 また、画像における人物の顔を検出する精度は、向上している。さらに、画像における顔を検出した後に、該検出した顔に基づき目を検出し、検出した両目の間の距離を算出する処理については、近年の画像処理技術によれば、高精度に実施することができる。したがって、画像認識装置101が、該サイズに基づきパラメタ202を算出するので、画像認識装置101が算出するパラメタ202は、より正確な値となる。すなわち、本実施形態に係る画像認識装置101において、両目の間の距離という比較的計算が容易な部位のサイズを利用することにより、さらに、頑健にパラメタ202を算出することが可能である。
[0045]
 一方、画像において、頭頂や足元を検出する精度は、顔を検出する精度に比べ低い。したがって、算出される頭頂等の軌跡が誤差を含む可能性が高いので、非特許文献1に開示された画像認識システムは、誤差を含んだパラメタを算出する可能性が高い。
[0046]
 さらに、本実施形態に係る画像認識システム104によれば、正確に物体を追跡することができる。
[0047]
 この理由は、画像認識装置101が算出する正確なパラメタ202に基づき、カメラ107が撮像する向きを制御するからである。
[0048]
 <第2の実施形態>
 次に、上述した第1の実施形態を基本とする本発明の第2の実施形態について説明する。
[0049]
 以降の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第1の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明を省略する。
[0050]
 図6と図7とを参照しながら、第2の実施形態に係る画像認識装置111が有する構成と、画像認識装置111が行う処理とについて説明する。図6は、本発明の第2の実施形態に係る画像認識装置111が有する構成を示すブロック図である。図7は、第2の実施形態に係る画像認識装置111における処理の流れを示すフローチャートである。
[0051]
 第2の実施形態に係る画像認識装置111は、追跡部112と、算出部113と、集計部114とを有する。
[0052]
 まず、追跡部112は、画像201(すなわち、複数の画像)に含まれる複数の物体のうち、特定の物体に関して、それぞれ、追跡する(ステップS111)。追跡部112が各特定の物体に関して追跡する処理は、ステップS101に示す処理と同様である。
[0053]
 次に、算出部113は、追跡された各特定の物体に関して、それぞれ、パラメタを算出する(ステップS112)。算出部113が各特定の物体に関してパラメタを算出する処理は、ステップS102に示す処理と同様である。
[0054]
 次に、集計部114は、所定の集計手順に従い、各特定の物体に関して算出されるパラメタに基づき、新たにパラメタ202を算出する(ステップS113)。
[0055]
 所定の集計手順は、該パラメタの平均値を算出する手順であってもよい。また、後述する実施形態に示すように、所定の集計手順は、各特定の物体に関するパラメタに重みづけした後に、平均値を算出する手順であってもよい。
[0056]
 次に、第2の実施形態に係る画像認識装置111に関する効果について説明する。
[0057]
 第2の実施形態に係る画像認識装置111によれば、第1の実施形態に係る画像認識装置101が有する効果に加え、より一層、高精度にパラメタ202を算出することができる。
[0058]
 この理由は、理由1及び理由2である。すなわち、
 (理由1)第2の実施形態に係る画像認識装置111が有する構成は、第1の実施形態に係る画像認識装置101が有する構成を含むからである、
 (理由2)所定の集計手順に従い各特定の物体に関して算出されるパラメタを集計することにより、各パラメタが含む誤差を低減することができるからである。
[0059]
 一般に、追跡手順に従い算出される結果には、誤差が含まれる。追跡した結果に誤差が含まれる場合に、算出部113が算出するパラメタも誤差を含む可能性がある。誤差を含むパラメタを平均することにより、正確または略正確に該パラメタを推定可能な場合に、集計部114は、パラメタの平均を算出する等により、パラメタに関する誤差を低減することができる。
[0060]
 <第3の実施形態>
 次に、上述した第2の実施形態を基本とする本発明の第3の実施形態について説明する。
[0061]
 以降の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第2の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明を省略する。
[0062]
 図8と図9とを参照しながら、第3の実施形態に係る画像認識装置121が有する構成と、画像認識装置121が行う処理とについて説明する。図8は、本発明の第3の実施形態に係る画像認識装置121が有する構成を示すブロック図である。図9は、第3の実施形態に係る画像認識装置121における処理の流れを示すフローチャートである。
[0063]
 第3の実施形態に係る画像認識装置121は、追跡部122と、算出部123と、集計部124とを有する。
[0064]
 まず、追跡部122は、所定の追跡手順に従い、画像201(すなわち複数の画像)における物体を、該複数の画像に関して追跡する(ステップS101)。
[0065]
 次に、算出部123は、特定の追跡された物体に関して、少なくとも2つの画像に基づいて、パラメタを算出する(ステップS122)。
[0066]
 ステップS122において、算出部123は、入力される複数の画像のうち、任意の2つの画像の組み合わせに関して、パラメタを算出してもよいし、該2つの画像の組み合わせのうち、所定の条件を満たしている組み合わせに関して、パラメタを算出してもよい。
[0067]
 所定の条件は、たとえば、2つの画像において、ともに、サイズが特定の値以上であるか否かである。たとえば、サイズとして、両目の間の距離を用いる場合に、所定の条件は、両目の間の距離が5ピクセル以上であるか否か等、特定の値以上であるか否かである。
[0068]
 この場合に、算出部123は、両目の間の距離が5ピクセル以上である画像のうち、任意の2つの画像の組み合わせに関してパラメタを算出する。
[0069]
 上述したように、任意の2枚の画像の組み合わせのうち、サイズが特定の値以上である画像の組み合わせに関してパラメタを算出することにより、サイズに対する誤差が小さくなるので、相対的な誤差を減らすことができる。この理由は、画像におけるサイズが小さいほど、誤差の影響を受けやすいからである。すなわち、算出部123によれば、サイズが比較的大きな画像の組み合わせに限定することにより、誤差の影響を低減することができる。
[0070]
 次に、集計部124は、所定の集計手順に従い、各特定の物体に関して算出されるパラメタに基づき、新たにパラメタ202を算出する(ステップS123)。
[0071]
 次に、第3の実施形態に係る画像認識装置121に関する効果について説明する。
[0072]
 第3の実施形態に係る画像認識装置121によれば、第2の実施形態に係る画像認識装置111が有する効果に加え、一層、高精度にパラメタ202を算出することができる。
[0073]
 この理由は、理由1及び理由2である。すなわち、
 (理由1)第3の実施形態に係る画像認識装置121が有する構成は、第2の実施形態に係る画像認識装置111が有する構成を含むからである、
 (理由2)算出部123が、画像201のうち、サイズに関する誤差が小さい画像に関してパラメタを算出するからである。算出部123が、サイズに関する誤差が小さい画像について、式1に従いパラメタ202を算出するので、パラメタの誤差は小さい。
[0074]
 <第4の実施形態>
 次に、上述した第2の実施形態を基本とする本発明の第4の実施形態について説明する。
[0075]
 以降の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第2の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明を省略する。
[0076]
 図10と図11とを参照しながら、第4の実施形態に係る画像認識装置135が有する構成と、画像認識装置135が行う処理とについて説明する。図10は、本発明の第4の実施形態に係る画像認識装置135が有する構成を示すブロック図である。図11は、第4の実施形態に係る画像認識装置135における処理の流れを示すフローチャートである。
[0077]
 第4の実施形態に係る画像認識装置135は、検出部131と、追跡部132と、算出部133と、集計部134とを有する。
[0078]
 まず、検出部131は、入力された画像201(複数の画像)から、物体を検出する所定の検出手順に従い、物体を検出する(ステップS131)。この場合に、検出部131は、たとえば、検索する対象である物体に適合する度合を表す物体らしさに基づき、物体を検出する。
[0079]
 尚、物体らしさは、たとえば、大きな値であるほど、物体を表す確率が高いと推定されることを表す。
[0080]
 所定の検出手順は、たとえば、ニューラルネットワークやSVM等の統計的識別器を用いる手法、モデル当てはめを用いる手法、画像から算出される3次元情報を用いる手法等である。所定の検出手順は、既に多くの方法が知られている。このため、本実施形態においては、所定の検出手順に関する詳細な説明を省略する。
[0081]
 次に、検出部131は、画像201における検出した物体の位置と、画像201における物体のサイズとを算出する。
[0082]
 次に、追跡部132は、所定の追跡手順に従い、入力された複数の画像に関して、検出部131が検出した物体を追跡する(ステップS132)。
[0083]
 次に、算出部133は、追跡部132が算出した物体系列における画像201、及び、検出部131が算出したサイズ等を用いて、式1に従いパラメタを算出する(ステップS133)。
[0084]
 次に、集計部134は、所定の集計手順に従い、算出部133が算出するパラメタを集計することにより、新たにパラメタ202を算出する(ステップS134)。
[0085]
 図12を参照しながら、物体として人物の顔を検出し、物体のサイズとして両目の間の距離を用いる例における、本実施形態に係る画像認識装置135における処理の流れについて説明する。図12は、第4の実施形態に係る画像認識装置135における処理の流れの一例を示すフローチャートである。この場合に、式1におけるω は、図3及び図4に例示すような、タイミングtにおける両目の間の距離を表す。
[0086]
 検出部131は、カメラを用いて撮像された画像201を受信する。
[0087]
 検出部131は、たとえば、SVMを用いて、受信した画像201から顔を表す領域を探索することにより、顔を表す領域を検出する(ステップS141)。検出部131は、1枚の画像において、顔を表す複数の領域を検出してもよい。
[0088]
 次に、検出部131は、検出した顔に関する画像201における位置、及び、両目の間の距離を算出する(ステップS142)。検出した顔の領域から目を検出する場合に、検出部131は、たとえば、SVMを用いて、顔を表す領域(部分領域)であるか否かを判定する。検出部131は、顔を表す領域であると物体系列において判定した各顔の領域について、顔の領域のうち座標が大きな3分の2の領域(すなわち、顔の上部)において、目を探索する。これにより、検出部131は、目を効率よく検出でき、さらに、検出した両目の間の距離を算出する。
[0089]
 この場合に、検出部131は、SVMにより算出された識別境界(すなわち、顔を表す領域であるか否かを識別する境界)と、該顔を表す領域との距離等に応じて、顔らしさを算出してもよい。また、検出部131は、検出した顔を表す複数の画像について、それぞれ、顔らしさを算出してもよい。
[0090]
 尚、顔らしさは、たとえば、大きな値であるほど、顔を表す確率が高いと推定されることを表す。
[0091]
 検出部131は、検出した顔を表す領域における顔の向きに応じて、両目の間の距離を変換してもよい。たとえば、検出部131は、顔の向きが撮像する方向に平行または略平行になるように、両目の間の距離を変換してもよい。
[0092]
 あるいは、検出部131は、顔の向きが撮像する方向に平行または略平行な画像のみを検出してもよい。顔の向きが撮像する方向に平行または略平行でない場合に、サイズは、誤差を含む。したがって、上述した処理により、サイズに関する誤差を低減することができる。
[0093]
 次に、追跡部132は、たとえば、Kalmanフィルタを用いて、検出部131が検出した顔の領域を、複数の画像に関して追跡する(ステップS143)。この場合に、追跡部132は、複数の画像に関して、同一人物と推定される顔の領域を追跡する。追跡部132は、追跡した顔の領域を物体系列として算出する。以降においては、物体系列に含まれる顔の領域を「顔系列」と表す。
[0094]
 次に、算出部133は、追跡部132が算出した顔系列のうち、パラメタを算出していない顔系列があるか否かを判定する(ステップS144)。
[0095]
 以降、説明の便宜上、パラメタを算出していない顔系列を、「未処理顔系列」と表す。
[0096]
 算出部133は、未処理顔系列があると判定する場合(ステップS144にてYES)に、未処理顔系列において、まだ処理されていない顔を表す画像の組み合わせがあるか否かを判定する(ステップS145)。
[0097]
 以降、説明の便宜上、未処理顔系列において、まだ処理されていない顔を表す画像の組み合わせを、「未処理組み合わせ」と表す。
[0098]
 次に、算出部133は、未処理組み合わせがあると判定する場合に(ステップS145にてYES)、該未処理組み合わせを用いて、式1に従い、パラメタを算出する(ステップS146)。この場合に、算出部133は、所定の条件を満たす画像のみに関して、パラメタを算出してもよい。
[0099]
 また、所定の条件として、両目の間の距離が、たとえば、5ピクセル以上等、特定の値以上となる画像の組み合わせについて、パラメタを算出してもよい。
[0100]
 次に、集計部134は、未処理組み合わせがないと判定する場合に(ステップS145にてNO)、所定の集計手順に従い(たとえば、算出部133が算出するパラメタを平均する)、新たにパラメタを算出する(ステップS147)。ステップS147により、1つの未処理顔系列に関する処理が完了する。
[0101]
 算出部133がステップS144にてNOの場合に、集計部134は、所定の集計手順に従い、新たにパラメタ202を算出する(ステップS148)。
[0102]
 たとえば、所定の集計手順は、重みづけ平均を算出する手順であってもよい。
[0103]
 たとえば、検出部131が顔らしさを算出する場合に、所定の集計手順は、式2に従い値を算出する手順であってもよい。



   ただし、θ は、ステップS147において顔系列k(すなわち、第k顔系列)から算出されるパラメタを表す。S は、顔系列kのおける、任意の顔を表す画像の組み合わせを表す。(i,j)∈S は、S のうち、特定の組み合わせを表す。θ (i,j)は、ステップS146において組み合わせ(i,j)に関して算出されるパラメタを表す。w は、顔の画像iに関する顔らしさを表す。g(w ,w )は、顔らしさw 及びw に関する重み関数を表す。
[0104]
 たとえば、h(w)が、wに関する単調増加関数を表す場合に、g(w ,w )=h(w ・w )(ただし、「・」は、w が数値である場合には掛け算を表し、w がベクトルである場合には内積を表す。)としてもよい。たとえば、h(w)は、多項式関数、対数関数、指数関数等の関数や、該関数を組み合わせることにより算出される関数を表してもよい。
[0105]
 たとえば、所定の集計手順は、式3に従い、値を算出する手順であってもよい。


   ただし、d は、顔の画像iにおける両目の間の距離を表す。l(d ,d )は、d 、d に基づき算出される重みを表す。
[0106]
 m(d)がdに関する単調増加関数を表す場合に、l(d ,d )は、たとえば、l(d ,d )=m(d -d )である。
[0107]
 また、所定の集計手順は、式4あるいは式5に従い値を算出する手順であってもよい。





   ただし、p、qは、それぞれ、重み関数を表す。
[0108]
 また、集計部134は、ステップS148における処理において、式6に従い、パラメタを算出してもよい。


   ただし、n は、顔系列k(すなわち、第k顔系列)に含まれる顔を表す画像の組み合わせの数を表す。θ allは、集計部134がステップS148において算出するパラメタを表す。r(n)はnに対する重み関数を表す。
[0109]
 r(n)は、nに関する単調増加関数を表す。たとえば、r(n)は、多項式関数や対数関数、指数関数等の関数、または、該関数を組み合わせることにより算出される関数を表してもよい。
[0110]
 さらに、画像認識システム104(図5)は、上述した画像認識装置135が算出するパラメタに基づき、撮像する向きを制御してもよい。
[0111]
 次に、第4の実施形態に係る画像認識装置135に関する効果について説明する。
[0112]
 第4の実施形態に係る画像認識装置135によれば、第2の実施形態に係る画像認識装置111が有する効果に加え、一層、高精度にパラメタ202を算出することができる。
[0113]
 この理由は、理由1及び理由2である。すなわち、
 (理由1)第4の実施形態に係る画像認識装置135が有する構成は、第2の実施形態に係る画像認識装置111が有する構成を含むからである、
 (理由2)集計部134が、パラメタに関して推定される誤差に応じて重みづけすることにより、新たにパラメタ202を算出するからである。
[0114]
 たとえば、所定の集計手順が、式2に従い値を算出する手順である場合に、顔らしさが大きな場合に算出されるパラメタに、大きな重みをつける。顔らしさが大きな値であるほど、顔を表す確率が高いと推定できる。従って、所定の集計手順は、顔を表す確率が低い画像から算出されるパラメタの重みを少なくすることを表す。言い換えれば、集計部134が、誤差を含む確率が低い画像を重視しながらパラメタを算出するので、パラメタの誤差は小さい。
[0115]
 たとえば、所定の集計手順が、式3に従い値を算出する手順である場合に、両目の間の距離が長い場合に算出されるパラメタに、大きな重みをつける。上述したように、両目の間の距離が短いほど、誤差の影響を受けやすい。このため、所定の集計手順は、誤差の影響を受けやすいと推定される場合に算出されるパラメタの重みを少なくすることを表す。したがって、集計部134が算出するパラメタの誤差は小さい。
[0116]
 式4または式5は、式2及び式3を組み合わせた式である。このため、所定の集計手順が、式4または式5に従い値を算出する場合における効果は、上述した効果と同様である。
[0117]
 たとえば、所定の集計手順が、式6に従い値を算出する手順である場合に、顔系列に含まれる顔を表す画像の組み合わせ数が多いパラメタに、大きな重みをつける。
[0118]
 ある期間においてカメラが撮像する複数の画像を、画像認識装置135が受信する場合に、検出部131が検出する顔を表す画像数が多いほど、カメラは、確実に顔を表す画像を撮像していると推定できる。すなわち、顔系列k(すなわち、第k顔系列)に含まれる顔を表す画像の組み合わせの数が多いほど、カメラは、確実に顔の画像を撮像していると推定できる。したがって、集計部134が、誤差を含む確率が低い画像を重視しながらパラメタを算出するため、パラメタの誤差は小さい。
[0119]
 尚、顔らしさの例を参照しながら、本実施形態に係る画像認識装置135が有する効果について説明したが、本実施形態に係る画像認識装置135は、物体らしさであっても同様の効果を有する。
[0120]
 (ハードウェア構成例)
 上述した本発明の各実施形態における画像認識装置を、1つの計算処理装置(情報処理装置、コンピュータ)を用いて実現するハードウェア資源の構成例について説明する。但し、係る画像認識装置は、物理的または機能的に少なくとも2つの計算処理装置を用いて実現してもよい。また、係る画像認識装置は、専用の装置として実現してもよい。
[0121]
 図13は、第1の実施形態乃至第4の実施形態に係る画像認識装置を実現可能な計算処理装置のハードウェア構成を概略的に示す図である。計算処理装置20は、中央処理演算装置(Central Processing Unit、以降「CPU」と表す)21、メモリ22、ディスク23、不揮発性記録媒体24、入力装置25、出力装置26、および、通信インターフェース(以降、「通信IF」と表す。)27を有する。計算処理装置20は、通信IF27を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
[0122]
 不揮発性記録媒体24は、コンピュータが読み取り可能な、たとえば、コンパクトディスク(Compact Disc)、デジタルバーサタイルディスク(Digital_Versatile_Disc)、ブルーレイディスク(Blu-ray Disc。登録商標)、ユニバーサルシリアルバスメモリ(USBメモリ)、ソリッドステートドライブ(Solid State Drive)等である。不揮発性記録媒体24は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記録媒体24は、上述した媒体に限定されない。また、不揮発性記録媒体24の代わりに、通信IF27を介して、通信ネットワークを介して係るプログラムを持ち運びしてもよい。
[0123]
 すなわち、CPU21は、ディスク23が記憶するソフトウェア・プログラム(コンピュータ・プログラム:以下、単に「プログラム」と称する)を、実行する際にメモリ22にコピーし、演算処理を実行する。CPU21は、プログラム実行に必要なデータをメモリ22から読み取る。表示が必要な場合には、CPU21は、出力装置26に出力結果を表示する。外部からプログラムを入力する場合に、CPU21は、入力装置25からプログラムを読み取る。CPU21は、上述した図1、図5、図6、図8、あるいは、図10に示した各部が表す機能(処理)に対応するところのメモリ22にある画像認識プログラム(図2、図7、図9、あるいは、図11)を解釈し実行する。CPU21は、上述した本発明の各実施形態において説明した処理を順次行う。
[0124]
 すなわち、このような場合に、本発明は、係る画像認識プログラムによっても成し得ると捉えることができる。更に、係る画像認識プログラムが記録されたコンピュータ読み取り可能な不揮発性の記録媒体によっても、本発明は成し得ると捉えることができる。
[0125]
 尚、上述した各実施形態の一部又は全部は、以下の付記のようにも記載されうる。しかし、上述した各実施形態により例示的に説明した本発明は、以下には限られない。すなわち、
 (付記1)
 カメラを用いて撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡する追跡手段と、
 追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する算出手段と
 を備える画像認識装置。
[0126]
 (付記2)
 前記算出手段が算出する複数の前記仰角に基づき、新たに仰角を算出する集計手段
 をさらに備える付記1に記載の画像認識装置。
[0127]
 (付記3)
 前記物体は、複数であり、
 前記追跡手段は、前記複数の画像に像として物体のうち、複数の特定物体を追跡し、
 前記算出手段は、追跡された前記特定物体に関して、前記仰角を算出する
 付記1または付記2に記載の画像認識装置。
[0128]
 (付記4)
 前記複数の特定画像は、前記複数の画像に含まれる2つの画像であり、
 前記算出手段は、前記2つの画像に関して前記仰角を算出する
 付記1乃至付記3のいずれかに記載の画像認識装置。
[0129]
 (付記5)
 前記複数の画像に含まれる一部の画像から、対象とする物体に適合する度合を表す物体らしさに基づき、前記物体を検出する検出手段
 をさらに備え、
 前記追跡手段は、前記検出手段が検出する前記物体のうち、前記複数の特定物体を追跡し、
 前記集計手段は、前記複数の前記仰角を平均、または、前記物体らしさに基づき定義される重みを用いて、重み付き平均を算出することにより、前記仰角を算出する
 付記2乃至付記4のいずれかに記載の画像認識装置。
[0130]
 (付記6)
 前記集計手段は、前記複数の特定画像に関して、前記複数の仰角の平均値を算出する、あるいは、前記複数の特定画像を選ぶ場合における組み合わせ数に基づき定義される重みを用いて、重み付き平均を算出することにより、前記仰角を算出する
 付記2乃至付記5のいずれかに記載の画像認識装置。
[0131]
 (付記7)
 前記物体は顔であり、
 前記サイズは、前記顔における両目の間の距離である
 付記1乃至付記6のいずれかに記載の画像認識装置。
[0132]
 (付記8)
 前記顔の向きに応じて前記距離を算出し、算出した前記距離を前記サイズとするサイズ算出手段
 をさらに備え、
 前記算出手段は、前記サイズ算出手段が算出する前記サイズに基づき、前記仰角を算出する
 付記1乃至付記7のいずれかに記載の画像認識装置。
[0133]
 (付記9)
 付記1乃至付記8のいずれかに記載の画像認識装置と、
 前記画像認識装置が算出する前記仰角に応じて、前記カメラが前記画像を撮像する向きを制御するカメラ制御手段と
 を備える画像認識システム。
[0134]
 (付記10)
 情報処理装置を用いて、カメラにより撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡し、追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する画像認識方法。
[0135]
 (付記11)
 カメラを用いて撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡する追跡機能と、
 追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する算出機能と
 をコンピュータに実現させる画像認識プログラムが記録されたコンピュータが読み取り可能な記録媒体。
 以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
 この出願は、2014年3月28日に出願された日本出願特願2014-067651を基礎とする優先権を主張し、その開示の全てをここに取り込む。

符号の説明

[0136]
 101  画像認識装置
 102  追跡部
 103  算出部
 106  検出部
 107  カメラ
 201  画像
 202  パラメタ
 301  画像
 302  顔領域
 104  画像認識システム
 105  カメラ制御部
 111  画像認識装置
 112  追跡部
 113  算出部
 114  集計部
 121  画像認識装置
 122  追跡部
 123  算出部
 124  集計部
 131  検出部
 132  追跡部
 133  算出部
 134  集計部
 135  画像認識装置
 20  計算処理装置
 21  CPU
 22  メモリ
 23  ディスク
 24  不揮発性記録媒体
 25  入力装置
 26  出力装置
 27  通信IF
 311  画像
 312  人物
 313  頭頂の軌跡
 314  足元の軌跡
 315  カメラパラメタ

請求の範囲

[請求項1]
 カメラを用いて撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡する追跡手段と、
 追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する算出手段と
 を備える画像認識装置。
[請求項2]
 前記算出手段が算出する複数の前記仰角に基づき、新たに仰角を算出する集計手段
 をさらに備える請求項1に記載の画像認識装置。
[請求項3]
 前記物体は、複数であり、
 前記追跡手段は、前記複数の画像に像として物体のうち、複数の特定物体を追跡し、
 前記算出手段は、追跡された前記特定物体に関して、前記仰角を算出する
 請求項1に記載の画像認識装置。
[請求項4]
 前記複数の特定画像は、前記複数の画像に含まれる2つの画像であり、
 前記算出手段は、前記2つの画像に関して前記仰角を算出する
 請求項1または請求項2に記載の画像認識装置。
[請求項5]
 前記複数の画像に含まれる一部の画像から、対象とする物体に適合する度合を表す物体らしさに基づき、前記物体を検出する検出手段
 をさらに備え、
 前記追跡手段は、前記検出手段が検出する前記物体のうち、前記複数の特定物体を追跡し、
 前記集計手段は、前記複数の前記仰角を平均、または、前記物体らしさに基づき定義される重みを用いて、重み付き平均を算出することにより、前記仰角を算出する
 請求項2乃至請求項4のいずれかに記載の画像認識装置。
[請求項6]
 前記集計手段は、前記複数の特定画像に関して、前記複数の仰角の平均値を算出する、あるいは、前記複数の特定画像を選ぶ場合における組み合わせ数に基づき定義される重みを用いて、重み付き平均を算出することにより、前記仰角を算出する
 請求項2乃至請求項5のいずれかに記載の画像認識装置。
[請求項7]
 前記物体は顔であり、
 前記サイズは、前記顔における両目の間の距離である
 請求項1乃至請求項6のいずれかに記載の画像認識装置。
[請求項8]
 請求項1乃至請求項7のいずれかに記載の画像認識装置と、
 前記画像認識装置が算出する前記仰角に応じて、前記カメラが撮像する向きを制御するカメラ制御手段と
 を備える画像認識システム。
[請求項9]
 カメラにより撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡し、追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する画像認識方法。
[請求項10]
 カメラを用いて撮像された複数の画像に像として含まれる地面からの距離が一定または略一定である物体を追跡する追跡機能と、
 追跡された前記物体に関して、前記複数の画像のうち、複数の特定画像の位置及びサイズに基づき、前記カメラが前記画像を撮像する仰角を算出する算出機能と
 をコンピュータに実現させる画像認識プログラムが記録されたコンピュータが読み取り可能な記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]