処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020121450 - 情報処理装置、情報処理方法、記録媒体

Document

明 細 書

発明の名称 情報処理装置、情報処理方法、記録媒体

技術分野

0001  

背景技術

0002   0003  

先行技術文献

非特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009  

発明の効果

0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080  

符号の説明

0081  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 情報処理装置、情報処理方法、記録媒体

技術分野

[0001]
 本発明は、情報処理装置、情報処理方法、記録媒体に関する。

背景技術

[0002]
 深層学習によって学習されたモデルには、脆弱性が存在する。例えば、学習済みモデルを欺くように精巧に作られた人工的なサンプルである敵対的サンプル(Adversarial Example (以降、AX))を用いれば、訓練時に設計者が想定していない誤動作が誘引されるという問題が知られている。
[0003]
 AXの生成方法を記載した文献としては、例えば、非特許文献1がある。非特許文献1には、ターゲットデータx tとの間の類似度に基づいて、ターゲットデータx tとAXとの間の類似度が最大となるようなAXを生成する方法が記載されている。

先行技術文献

非特許文献

[0004]
非特許文献1 : Sara Sabour, Yanshuai Cao, Fartash Faghri, David J. Fleet1, “ADVERSARIAL MANIPULATION OF DEEP REPRESENTATIONS”, International Conference on Learning Representations (ICLR) 2016

発明の概要

発明が解決しようとする課題

[0005]
 非特許文献1に記載の技術の場合、ターゲットデータx tとの間の類似度に基づいてAXを生成しており、ターゲットデータが属するクラス以外のクラスを考慮していない。そのため、非特許文献1に記載された方法では、生成されたAXより計算されるターゲットデータが属するクラス(ターゲットクラス)に対する類似度が、事前に登録されたデータであるテンプレート内の各クラスに対する類似度の中で最大値となっているとは限らなかった。その結果、非特許文献1に記載の方法で生成されたAXの場合、ターゲットクラス以外のクラスであると認証されるおそれがあった。
[0006]
 このように、非特許文献1に記載の技術の場合、ターゲットデータが属するクラス以外のクラスに属するデータとの間の類似度を考慮していないため、適切なAXを生成することが出来ないおそれがある、という課題があった。そこで、本発明の目的は、適切なAXを生成することが出来ないおそれがある、という課題を解決する情報処理装置、情報処理方法、記録媒体を提供することにある。

課題を解決するための手段

[0007]
 かかる目的を達成するため本発明の一形態である情報処理装置は、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
 という構成をとる。
[0008]
 また、本発明の他の形態である情報処理方法は、
 情報処理装置が、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
 という構成をとる。
[0009]
 また、本発明の他の形態である記録媒体は、
 情報処理装置に、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。

発明の効果

[0010]
 本発明は、以上のように構成されることにより、適切なAXを生成することが出来ないおそれがある、という課題を解決可能な情報処理装置、情報処理方法、記録媒体を提供することが可能となる。

図面の簡単な説明

[0011]
[図1] 深層学習モデルにより計算された特徴量空間の一例である。
[図2] 本発明の第1の実施形態におけるAX生成装置の構成の一例を示すブロック図である。
[図3] 本発明の第1の実施形態において説明するAX生成装置の動作の一例を示すブローチャートである。
[図4] 本発明の第2の実施形態におけるリスク評価装置の構成の一例を示すブロック図である。
[図5] 本発明の第2の実施形態において説明するリスク評価装置の動作の一例を示すフローチャートである。
[図6] 本発明の第1の実施形態、第2の実施形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。
[図7] 本発明の第3の実施形態における情報処理装置の構成の一例を示すブロック図である。

発明を実施するための形態

[0012]
 以下、本発明の実施形態を、図面を参照して説明する。
 なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は各図面の記載に限られるわけではない。また、各図面の同様の構成には同じ番号を付し、その繰り返しの説明を省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成の記載を省略し、図示しない場合もある。
[0013]
[第1の実施形態]
 本発明の第1の実施形態を図2、図3を参照して説明する。図2は、AX生成装置100の構成の一例を示すブロック図である。図3は、AX生成装置100の動作の一例を示すブローチャートである。
[0014]
 本発明の第1の実施形態においては、学習済みモデルを欺くように作られたサンプルである敵対的サンプル(Adversarial Example:AX)を生成するAX生成装置100について説明する。後述するように、本実施形態において説明するAX生成装置100は、テンプレート内のターゲットクラスに属するデータとの類似度と、ターゲットクラスに属さないデータとの類似度と、に基づいて、複数のAX候補を生成する。換言すると、AX生成装置100は、ターゲットクラスに属するデータのみならずターゲットクラスに属さないデータも考慮して、AX候補を生成する。このような構成により、AX生成装置100は、ターゲットクラスに属さないデータも考慮した適切なAXを生成することが可能となる。
[0015]
 例えば、非特許文献1では、下記数1のような最適化問題を解くことにより、ソースデータx sとAX x advの差異がδより小さな値で、深層学習モデルfにより計算されるターゲットデータx tとAX x advの特徴量間の類似度が最大であるAX x advを生成している。
[数1]


 ここで、x sはソースデータ、x tはターゲットデータ、fは特徴量を出力する深層学習モデルである。また、δはソースデータx sとAX x advの差異をどの程度許容するのかを決定するパラメータであり、δ>0を満たす。また、sim()はターゲットデータx tとAX x advの類似度を計算する関数、diff()はソースデータx sとAX x advの差異の大きさを計算する関数である。
[0016]
 このような非特許文献1に記載の技術では、図1で示すような状況が生じるおそれがあった。図1は、非特許文献1に記載された技術により適切なAXを生成することが出来ない場合の一例を示している。図1の例では、類似度の指標としてL2距離に-1をかけたものを用いる。つまり、数2であり、2つの点のL2距離が近いほど、類似度が高くなる。
[数2]


[0017]
 なお、図1では、深層学習モデルfにより計算された特徴量空間を表している。バツ印はAX生成元となるソースデータ、丸印はテンプレートデータの特徴量の位置をそれぞれ表している。また、図1のうち直線は認証の決定境界を表している。
[0018]
 また、図1の例では、ターゲットデータをテンプレートデータCとして指定しAXを生成することを考えている。換言すると、テンプレートデータAのクラスとして認証されるソースデータを元にして、テンプレートデータCに誤認証が成功するAXを生成することを考えている。このとき、図1の曲線は、非特許文献1の最適化問題におけるAXの探索範囲を表している。この曲線で表される探索範囲は、制約式diff(x s,x adv)<δにより制限されている。つまり、非特許文献1の最適化問題は、図1の曲線内でテンプレートデータCと最も距離の近くなる点を見つける問題と等価である。
[0019]
 非特許文献1の最適化問題を解くことにより得られる解(最も距離の近くなる点)は、図1で示す三角印となる。しかしながら、三角印はd 2<d 1の関係が成り立つためテンプレートデータBのクラスへと認証される。そのため、非特許文献1の最適化問題を解くことにより得られる解である三角印は、目的のターゲットクラスCへ誤認証を誘引するAXではない。一方、図1で示す四角印は、テンプレートデータCに対して誤認証が成功するAXであるが、d 1<d 3であるため、非特許文献1に記載されている技術では見つけることが出来ない。このように、非特許文献1に記載されている技術の場合、テンプレートデータCに対して誤認証が成功するAXが存在するにも関わらず、d 1<d 3の関係が成り立つために、正しくAXを見つけることが出来ない。
[0020]
 例えば、以上のように、非特許文献1に記載の技術の場合、ターゲットクラスへ誤認証を成功できるAXが存在するにも関わらず、誤認証を成功できるAXを生成することが出来ないおそれがあった。本実施形態において説明するAX生成装置100は、上述したように、ターゲットクラスに属さないデータも考慮してAXを生成する。そのため、非特許文献1が有する課題を解決したAXの生成方法を実現することが出来る。つまり、本実施形態で説明するAX生成装置100によると、ターゲットクラスに属さないデータも考慮するため、例えば、図1の三角印ではなく四角印のAXを生成することが可能となる。以下、AX生成装置100の具体的な構成の一例について説明する。
[0021]
 AX生成装置100は、深層学習モデルf、テンプレートX、閾値τ、ソースデータx s、ターゲットクラスtなどを入力として受け付けて、所定の処理を行うことによりソースデータx sからAXを生成する情報処理装置である。例えば、AX生成装置100は、外部の装置やネットワークから、深層学習モデルf、テンプレートX、閾値τ、ソースデータx s、ターゲットクラスtなどを入力として受け付ける。すると、AX生成装置100は、受け付けた入力に応じた処理を行ってAXを生成する。
[0022]
 ここで、深層学習モデルfは、深層学習を用いて予め学習され、入力された画像に対して特徴量を出力するモデルである。また、特徴量とは、例えば、実数値を要素として持つd次元のベクトルである。なお、dは任意の値で構わない。テンプレートXは、深層学習モデルf運用の際に、認証のため登録されたn個のデータを要素として持つ集合X={x 1,…,x n}である。ここでn個のデータx 1,…,x nは、例えばそれぞれ異なるクラスを持ったものであり、x iはクラスiに属したデータを表す。例えば認証のタスクが顔認証の場合、テンプレートXはn人の顔画像それぞれ一枚ずつで構成される。なお、nは任意の値で構わない。例えば、以上のように、テンプレートXには、事前に登録された1つ以上のデータが含まれている。しきい値τは、認証の際に特徴量類似度との比較が行われる値である。しきい値τは、後述するように、生成したAX候補の中からターゲットクラスtへの誤認証が成功しているAXの同定を行う際に用いる。つまり、しきい値τは、生成したAX候補の中からターゲットクラスtへの誤認証が成功するAXを選別する際に用いる。ソースデータx sはAXを作成する元となるデータである。ソースデータx sは、テンプレートXに含まれるデータが属するクラスのうちのいずれかのクラスに属している。ターゲットクラスtはAXを生成するにあたっての誤認証先クラスである。ターゲットクラスtにはソースデータx sが所属するクラスと異なるクラスを選択する(つまり、ソースデータx sはターゲットクラスt以外のクラスに属しているといえる)。また、ターゲットクラスtはテンプレートX内のデータx 1,…,x nのうちのいずれかが所属するクラスと同じものを指定する。以上のように、ターゲットクラスtは、テンプレートに含まれるデータが属するクラスのうち、誤認証を起こさせる対象となるクラスである。
[0023]
 なお、AX生成装置100は、上記例示した情報のいくつかを予め記憶しておいても構わない。つまり、AX生成装置100は、深層学習モデルf、テンプレートX、閾値τ、ソースデータx s、ターゲットクラスt、のうちの少なくとも一部を入力として受け付けるよう構成することが出来る。
[0024]
 図2は、AX生成装置100の構成の一例を示している。図2を参照すると、AX生成装置100は、例えば、AX候補生成部102(サンプル候補生成部)と、目的関数値算出部104と、差異度算出部106と、誤認証度算出部108と、AX同定部110(サンプル同定部)と、を備えている。
[0025]
 例えば、AX生成装置100は、CPU(Central Processing Unit)などの演算装置と、記憶装置とを有している。例えば、AX生成装置100は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
[0026]
 AX候補生成部102は、入力された、深層学習モデルfと、テンプレートXと、ソースデータx sと、ターゲットクラスtと、を用いてターゲットクラスtとして誤認証が誘引されるAX候補(サンプル候補)を下記の数3が示す最適化問題を解く過程で生成していく。
[数3]


 ここで、x sはソースデータ、tはターゲットクラス、fは特徴量を出力する深層学習モデルである。また、δはソースデータx sとAXx advの差異をどの程度許容するのかを決定するパラメータである。また、simは、認証時に抽出された2つの特徴量に対して類似度を計算するために用いる関数であり、Diffは差異の大きさを計算する関数である。
[0027]
 数3で示す最適化問題の解は、テンプレート内のターゲットクラスに属したデータとの類似度を大きく、かつターゲットクラスに属さないデータとの類似度が小さな点となる。そのため、換言すると、AX候補生成部102は、テンプレート内のターゲットクラスに属したデータとの類似度を大きく、かつターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解く過程でAX候補を生成していく、ということも出来る。また、数3の場合、ターゲットクラスtに誤認証が誘引されるAXが存在する場合は、必ずAXが数3で示す最適化問題の解となることが保証される。
[0028]
 数3で示すような制約付き最適化問題は、例えば、ラグランジュ未定乗数法を用いて、目的関数の最小化問題へと変換して解を探索する。例えば、AX候補生成部102では、数3で示す最適化問題を解くために目的関数値算出部104より計算される数4で示す目的関数を用いて解を探索する。
[数4]


 ここで、差異度Diff(x s,x adv )は、ソースデータx sとAX候補x advの差異の大きさを表す値であり、小さな値であるほどAX候補x advはソース画像との差異が小さいことを意味する。また、誤認証度Error(f,X,t,x adv )は、数3で示す最適化問題で最小化する関数の値である。
AX候補生成部102では差異度Diff(x s,x adv )と誤認証度Error(f,X,t,x adv )両方を小さくする、つまり目的関数値J(f,X,x_s,x adv,t)を小さくするように最適化手法を用いてAX候補を生成していく。なお、数4のうちcは数3で示す最適化問題におけるδに対応したパラメータである。数3で示す最適化問題は、δによってAXの探索範囲が決定される。ターゲットクラスへと誤認証を誘引させた上で、ソースデータと差異がより小さなAXを生成するためには、δの値を変動させ複数回、数3で示す最適化問題を解く必要がある。換言すると、AX候補生成部102は、cの値が異なる複数の目的関数を用いて解を探索する必要がある。
[0029]
 AX候補生成部102は、複数のcに対する目的関数を用いて解を探索する。具体的には、例えば、AX候補生成部102は、それぞれのcに対して、数5で示す初期点を決定する(本実施形態においては、初期点の決定方法については特に限定しない)。そして、AX候補生成部102は、目的関数の値が小さくなるように初期点に逐次的に変動を加えていきAX候補を生成していく。なお、パラメータcは、AX生成装置100固有のものであっても構わないし、外部から入力として受け付けても良い。また、パラメータcは、バイナリーサーチなどの手法を用いて効率的に決定していくものであっても構わない。
[数5]


[0030]
 以上説明したように、AX候補生成部102では、勾配ベースの最適化手法を用いることで、AX候補を探索していく。勾配ベースの最適化手法は、入力の初期点を決定し、目的関数の勾配情報を元にして目的関数の値を小さくするよう入力を徐々に変化させていき、目的関数の値を十分小さくする入力を探索していく手法である。AX候補生成部102では、複数のパラメータcによって決定される目的関数に対してそれぞれの初期点(数5)から最大m回変化させることで、逐次的に数6を算出していき、それぞれをAX候補としていく。ここでmはAX生成装置100特有の変数としてもよいし、外部から入力として受け付けてもよい。なお、勾配ベースの最適化手法の例としてはAdagrad、Adamなどの手法が挙げられる。AX候補生成部102では、最適化手法は勾配ベースの手法であれば、いずれのものを用いても構わない。
[数6]


[0031]
 なお、|c|をAX候補生成部102で用いられるパラメータcの個数であるとすると、AX候補生成部102は、最終的に|c|×m個のAX候補を生成する。後述するように、本実施形態の場合、AX同定部110により、最終的にAX候補生成部102が生成したAX候補の中から出力となるAX集合が決定される。
[0032]
 目的関数値算出部104では、数3で示す最適化問題を解くために、差異度算出部106により得られる数7でしめす差異度と、誤認証度算出部108より算出される数8で示す誤認証度を用いて、数9で示すようなAX候補における、数10で示す目的関数値の計算を行う。
[数7]


[数8]


[数9]


[数10]


[0033]
 差異度算出部106はソースデータx sと数9で示すAX候補の差異度(数7参照)の算出を行う。上述の通り、差異度とはソースデータx sと数9で示すAX候補の差異の大きさを表す値である。例えば、差異度は、値が小さいほど差異が小さいことを表している。差異度算出部106で用いる差異度の例としては、L2距離がある。差異としてL2距離を用いた場合、差異度算出部106は、例えば、以下の数11で示す式を解くことで、数7で示す差異度を計算する。
[数11]


[0034]
 なお、差異度算出部106は、上記方法以外を用いて差異度を算出するよう構成しても構わない。例えば、差異度算出部106は、cos類似度に-1をかけたものなどを算出するよう構成しても構わない。
[0035]
 誤認証度算出部108は、数9で示すAX候補における数8で示す誤認証度の算出を行う。上述の通り数8で示す誤認証度とは、数3で示す最適化問題で最小化する関数である。例えば、誤認証度算出部108は、以下の数12示す式を解くことで、数8で示す誤認証度を計算する。
[数12]


 ここで,Simは、認証時に抽出された2つの特徴量に対して類似度を算出するために用いる関数を表す。Simには、cos類似度や、L2距離に-1をかけたものなどを用いることができる。
[0036]
 AX同定部110は、AX候補生成部102で作成されたAX候補の中から、ターゲットクラスtへの誤認証が成功しているAXの同定を行う。上述したように、AX候補生成部102は、パラメータcに応じた数のAX候補を生成している。AX候補生成部102は、生成したAX候補の中からターゲットクラスtへの誤認証が成功しているAXの選別を行う。つまり、AX同定部110は、生成したAX候補の中からターゲットクラスtに属すると認証されるAXを選別する。
[0037]
 例えば、AX同定部110は、しきい値τを用いて下記数13で示す式の値がSim(f(x adv),f(x t))であるかどうか確認することで、AX候補x advがターゲットtへの誤認証に成功しているか否か確認する。例えば、AX同定部110は、数13で示す式の値がSim(f(x adv),f(x t))である場合に、AX候補x advがターゲットtへの誤認証に成功していると判断する。そして、AX同定部110は、ターゲットtへの誤認証に成功していると判断したAX候補x advを、誤認証が成功しているAXとして選別する。
[数13]


[0038]
 例えば、AX同定部110は、上記のような処理を行うことで、1つ以上のAXを含むAX集合を、AX候補の中から選別する。その後、AX同定部110は、選別したAX集合を外部に送信することが出来る。
[0039]
 以上が、AX生成装置100の構成の一例である。このように、AX生成装置100は、深層学習モデルf、テンプレートX、閾値τ、ソースデータx s、ターゲットクラスtなどを入力として受け付ける。そして、AX生成装置100は、上記入力に応じて算出した、テンプレート内のターゲットクラスに属するデータとの類似度と、ターゲットクラスに属さないデータとの類似度と、に基づいて、複数のAX候補を生成する。続いて、図3を参照して、AX生成装置100の動作の一例について説明する。
[0040]
 図3は、AX生成装置100の動作の一例を示すブローチャートである。図3を参照すると、AX候補生成部102は、深層学習モデルfと、テンプレートXと、しきい値τと、ソースデータx sと、ターゲットクラスtと、を入力として受け付ける(ステップS101)。
[0041]
 AX候補生成部102は、目的関数を決定するためにパラメータcの値を決定する。そして、AX候補生成部102は、決定したパラメータcを目的関数値算出部104に入力し、AX候補の探索を行う。すなわち、AX候補生成部102は、探索のループに入る(ステップS102)。なお、パラメータcは予め定められたものであっても構わない。
[0042]
 AX候補生成部102はパラメータcに関して、数14で示す初期点を決定する。そして、AX候補生成部102は、決定した初期点を目的関数値算出部104に入力して、最適化手法によりAXの探索を行う。すなわち、AX候補生成部102は、パラメータcにおける最適化のループに入る(ステップS103)。
[数14]


[0043]
 目的関数値算出部104は、iステップ目での入力(数15参照)を用いて、差異度算出部106に差異度、誤認証度算出部108に誤認証度を算出する指示をする。指示を受けた差異度算出部106と誤認証度算出部108は、数15で示す入力を用いて差異度と誤認証度を算出(ステップS104)する。そして、差異度算出部106と誤認証度算出部108は、算出した値を目的関数値算出部104にそれぞれ入力する。
[数15]


[0044]
 目的関数値算出部104は、差異度算出部106から差異度を受け取るとともに、誤認証度算出部108から誤認証度を受け取る。そして、目的関数値算出部104は、差異度と誤認証度とパラメータcを用いて目的関数値を算出する(ステップS105)。その後、目的関数値算出部104は、算出した値をAX候補生成部102に入力する。
[0045]
 AX候補生成部102は、受け取った目的関数の値を元に数15の変化を決定して、数16で示すAX候補を算出する。その後、AX候補生成部102は、数16で示すAX候補をAX同定部110に入力する(ステップS106)。
[数16]


[0046]
 AX生成装置100は、ステップS104からステップS106までのループ処理を予め定められたm回繰り返す。そして、AX生成装置100は、初期点から総計m回の変動が加えられたら、パラメータcに対する最適化ループを抜ける(ステップS107)。
[0047]
 AX生成装置100は、例えば、上述したようなパラメータcに対する最適化ループを、パラメータcの数分繰り返す。そして、与えられた全てのパラメータcに関する最適化ループが終了すると、AX生成装置100は、AX候補の探索ループを終了する(ステップS108)。
[0048]
 AX同定部110は、AX候補生成部102で生成されたAX候補から、誤認証成功しているAXの同定を行う(ステップS109)。つまり、AX同定部110は、1つ以上のAXを含むAX集合を、AX候補の中から選別する。その後、AX同定部110は、選別したAX集合を表示装置に出力したり外部装置や外部ネットワークに出力したりすることが出来る。(ステップS110)。
[0049]
 以上が、AX生成装置100の動作の一例である。
[0050]
 このように、AX生成装置100は、AX候補生成部102を有している。このような構成により、AX候補生成部102は、テンプレートX内のターゲットクラスtの属したデータとの類似度と、ターゲットクラスtに属さないデータとの類似度と、に基づいて、複数のAX候補を生成することが出来る。その結果、AX候補生成部102は、ターゲットクラスtの属するデータのみならずターゲットクラスtに属さないデータも考慮して、AX候補を生成することが可能になる。つまり、誤認証を成功できるより適切なAX候補を生成することが可能となる。
[0051]
 なお、このようにして生成したAXは、例えば、敵対的訓練を行う際や攻撃への耐性を獲得するための追加の学習を行う際などに利用可能である。また、AXは、後述する第2の実施形態で説明するリスク評価を行う際に利用可能である。生成したAXは、上記例示した以外に利用しても構わない。
[0052]
 また、本実施形態で説明したAX生成装置100は、例えば、深層学習によって学習されたモデルを用いて顔や指紋などの情報を元に個人の認証を行う生体認証を行う際などに活用可能である。なお、AX生成装置100は、上記例示した以外の場面で活用しても構わない。
[0053]
[第2の実施形態]
 次に、本発明の第2の実施形態を図4、図5を参照して説明する。図4は、リスク評価装置200の構成の一例を示すブロック図である。図5は、リスク評価装置200の動作の一例を示すフローチャートである。
[0054]
 本発明の第2の実施形態では、学習済みモデルの評価を行うリスク評価装置200について説明する。本実施形態においては、学習済みモデルのAXに対するリスクを評価する尺度として、AXの生成元となった入力(ソースデータ)とAXとの差異の大きさである差異度を用いる。これは、差異の小さなAXは、差異の大きなAXと比較して運用時に入力されることがより気づかれにくいため、より差異の小さなAXが存在するほど、その学習済みモデルを運用することのリスクが高くなるからである。
[0055]
 後述するように、本実施形態において説明するリスク評価装置200は、第1の実施形態において説明したAX生成装置100が有する機能と概ね同等の機能を有している。また、リスク評価装置200は、選別したAX集合のうち、差異度に基づいてAXを選択する。そして、リスク評価装置200は、選択したAXとリスクを評価する尺度となる差異度とを出力する。
[0056]
 上述したように、リスク評価装置200は、学習済みモデルのリスク評価を行う情報処理装置である。図4は、リスク評価装置200の構成の一例を示している。図4を参照すると、リスク評価装置200は、例えば、AX候補生成部102と、目的関数値算出部104と、差異度算出部106と、誤認証度算出部108と、差異最小AX同定部210(サンプル同定部)と、を備えている。このように、リスク評価装置200は、第1の実施形態で説明したAX生成装置100と同様に、AX候補生成部102と、目的関数値算出部104と、差異度算出部106と、誤認証度算出部108と、を有している。AX候補生成部102と、目的関数値算出部104と、差異度算出部106と、誤認証度算出部108と、の構成は、AX生成装置100と同様のため、説明は省略する。
[0057]
 なお、例えば、リスク評価装置200は、CPUなどの演算装置と、記憶装置とを有している。例えば、リスク評価装置200は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
[0058]
 差異最小AX同定部210は、第1の実施形態で説明したAX生成装置100が有するAX同定部110と同様に、AX候補生成部102で作成されたAX候補の中から、ターゲットクラスtへの誤認証が成功しているAXの同定を行う。つまり、差異最小AX同定部210は、1つ以上のAXを含むAX集合を、AX候補の中から選別する。
[0059]
 また、差異最小AX同定部210は、同定したAX集合内の各AXの差異度Diff(x s,x adv )を比較する。そして、差異最小AX同定部210は、同定したAX集合の中から差異度Diff(x s,x adv )が最小となるAXを選択する。そして、差異最小AX同定部210は、選別したAXと、最小となる差異度と、を表示装置に出力したり外部装置や外部ネットワークに出力したりすることが出来る。
[0060]
 以上のように、差異最小AX同定部210は、AX同定部110が行うAX集合の同定処理に加えて、差異度が最小となるAXの選択を行うよう構成されている。また、差異最小AX同定部210は、選択したAXと、当該AXの差異度とを出力するよう構成されている。なお、差異最小AX同定部210は、例えば、上記情報とともに、選択前のAX集合を出力するよう構成しても構わない。
[0061]
 続いて、図5を参照して、リスク評価装置200の動作の一例について説明する。
[0062]
 図5は、リスク評価装置200の動作の一例を示すブローチャートである。図5で示すように、リスク評価装置200の動作のうち、ステップS109までは、第1の実施形態で説明したAX生成装置100と同様である。そのため、説明は省略する。
[0063]
 AX候補生成部102で生成されたAX候補から誤認証成功しているAXの同定(ステップS109)を行った後、差異最小AX同定部210は、同定したAX集合の中から差異度Diff(x s,x adv )が最小となるAXを選択する(ステップS201)。そして、差異最小AX同定部210は、選別したAXと、最小となる差異度と、を外部に出力することが出来る(ステップS110)。
[0064]
 このように、本実施形態において説明したリスク評価装置200は、AX候補生成部102と、差異最小AX同定部210と、を有している。このような構成により、AX候補生成部102は、誤認証を成功できるより適切なAX候補を生成することができる。また、差異最小AX同定部210は、AX候補生成部102が生成したAX候補を選定したAX集合の中から差異度Diff(x s,x adv )が最小となるAXを選別することで、リスク評価により適切なAXを選択することが可能となる。これにより、より適切なリスク評価を行うことが可能となる。換言すると、本実施形態において説明したリスク評価装置200は、適切なAXを生成する機能を有している。そのため、より適切にモデルのリスク評価を行うことが可能となる。これにより、例えば、学習済みモデルに対しても、ソフトウェアにおけるファジングのような、脆弱性を発見しリスク評価を行うための仕組みをより適切に実現することが可能となる。
[0065]
 なお、本実施形態においては、リスク評価装置200は、学習済みモデルのリスクを評価する尺度として、AXの生成元となった入力(ソースデータ)とAXとの差異の大きさである差異度を用いるとした。しかしながら、リスク評価装置200は、例えば、差異度と、予め定められた複数の閾値との比較結果を、リスクを示す情報として算出し、算出した結果を出力するよう構成しても構わない。このように、リスク評価装置200は、差異度に基づく値を出力するよう構成しても構わない。
[0066]
 <ハードウェア構成について>
 上述した第1、第2の実施形態において説明した、AX生成装置100やリスク評価装置200が有する各構成要素は、機能単位のブロックを示している。AX生成装置100やリスク評価装置200が有する各構成要素の一部又は全部は、例えば図6に示すような情報処理装置300とプログラムとの任意の組み合わせにより実現することが出来る。図6は、AX生成装置100やリスク評価装置200の各構成要素を実現する情報処理装置300のハードウェア構成の一例を示すブロック図である。情報処理装置300は、一例として、以下のような構成を含むことが出来る。
  ・CPU301
  ・ROM ( Read Only Memory )302
  ・RAM ( Random Access Memory )303
  ・RAM303にロードされるプログラム群304
  ・プログラム群304を格納する記憶装置305
  ・情報処理装置300外部の記録媒体310の読み書きを行うドライブ装置306
  ・情報処理装置300外部の通信ネットワーク311と接続する通信インタフェース307
  ・データの入出力を行う入出力インタフェース308
  ・各構成要素を接続するバス309
[0067]
 上述した各実施形態におけるAX生成装置100、リスク評価装置200が有する各構成要素は、これらの機能を実現するプログラム群304をCPU301が取得して実行することで実現することが出来る。AX生成装置100、リスク評価装置200が有する各構成要素の機能を実現するプログラム群304は、例えば、予め記憶装置305やROM302に格納されており、必要に応じてCPU301がRAM303にロードして実行する。なお、プログラム群304は、通信ネットワーク311を介してCPU301に供給されてもよいし、予め記録媒体310に格納されており、ドライブ装置306がプログラム群304を読み出してCPU301に供給してもよい。
[0068]
 なお、図6は、情報処理装置300の構成の一例を示しており、情報処理装置300の構成は上述した場合に例示されない。例えば、情報処理装置300は、ドライブ装置306を有さないなど、上述した構成の一部から構成されても構わない。また、AX生成装置100、リスク評価装置200が有する各構成要素は、1台の情報処理装置から構成されても構わないし、複数台の情報処理装置から構成されても構わない。
[0069]
[第3の実施形態]
 次に、図7を参照して、本発明の第3の実施形態について説明する。第3の実施形態では、情報処理装置40の構成の概要について説明する。
[0070]
 図7は、情報処理装置40の構成の一例を示している。図7を参照すると、情報処理装置40は、例えば、サンプル候補生成部41を有している。
[0071]
 例えば、情報処理装置40は、CPUなどの演算装置と、記憶装置とを有している。例えば、情報処理装置40は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
[0072]
 サンプル候補生成部41は、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、ターゲットクラスとしての誤認証を誘引するサンプル候補を生成する。
[0073]
 このように、情報処理装置40は、サンプル候補生成部41を有している。このような構成により、サンプル候補生成部41は、このような構成により、サンプル候補生成部41は、ターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、複数のサンプル候補を生成することが出来る。その結果、サンプル候補生成部41は、ターゲットクラスの属するデータのみならずターゲットクラスに属さないデータも考慮して、サンプル候補を生成することが可能になる。つまり、誤認証を成功できるより適切なサンプル候補を生成することが可能となる。
[0074]
 また、上述した情報処理装置40は、当該情報処理装置40に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムを記録した記録媒体は、情報処理装置に、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、ターゲットクラスとしての誤認証を誘引するサンプル候補を生成するサンプル候補生成部41を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
[0075]
 また、上述した情報処理装置40により実行される情報処理方法は、情報処理装置が、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、ターゲットクラスとしての誤認証を誘引するサンプル候補を生成する、という方法である。
[0076]
 上述した構成を有する、記録媒体、又は、情報処理方法、の発明であっても、上記通情報処理装置40と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
[0077]
 <付記>
 上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
[0078]
(付記1)
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
 情報処理装置。
(付記2)
 付記1に記載の情報処理装置であって、
 前記サンプル候補生成部は、前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
 情報処理装置。
(付記3)
 付記2に記載の情報処理装置であって、
 前記サンプル候補生成部は、前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
 情報処理装置。
(付記4)
 付記3に記載の情報処理装置であって、
 前記サンプル候補を生成する元となるデータであるソースデータと前記サンプル候補との間の差異の大きさを示す差異度を算出する差異度算出部と、
 前記最適化問題で最小化する関数である誤認証度を算出する誤認証度算出部と、
 を有し、
 前記サンプル候補生成部は、前記差異度算出部による算出結果と、前記誤認証度算出部による算出結果と、所定のパラメータと、を用いて表される前記目的関数を解くことで、前記サンプル候補を生成する
 情報処理装置。
(付記5)
 付記4に記載の情報処理装置であって、
 複数の前記パラメータを有しており、
 前記サンプル候補生成部は、それぞれのパラメータに対応する前記サンプル候補を生成する
 情報処理装置。
(付記6)
 付記4または付記5に記載の情報処理装置であって、
 前記サンプル候補生成部は、初期点を決定するとともに、初期点に変動を加えながら複数の前記サンプル候補を生成する
 情報処理装置。
(付記7)
 付記1から付記6までのいずれか1項に記載の情報処理装置であって、
 前記サンプル候補生成部が生成した前記サンプル候補のうち前記ターゲットクラスへの誤認証が成功するサンプルの同定を行うサンプル同定部を有する
 情報処理装置。
(付記8)
 付記7に記載の情報処理装置であって、
 前記サンプル同定部は、同定した前記サンプルの中から、前記サンプルを生成する元となるデータであるソースデータとの間の差異である差異度が最小となる前記サンプルを選択する
 情報処理装置。
(付記9)
 付記8に記載の情報処理装置であって、
 前記サンプル同定部は、選択した前記サンプルと、選択した前記サンプルと前記ソースデータとの間の前記差異度と、を出力する
 情報処理装置。
(付記10)
 情報処理装置が、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
 情報処理方法。
(付記11)
 付記10に記載の情報処理方法であって、
 前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
 情報処理方法。
(付記12)
 付記11に記載の情報処理方法であって、
 前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
 情報処理方法。
(付記13)
 情報処理装置に、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
[0079]
 なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
[0080]
 以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

符号の説明

[0081]
100 AX生成装置
102 AX候補生成部
104 目的関数値算出部
106 差異度算出部
108 誤認証度算出部
110 AX同定部
200 リスク評価装置
210 差異最小AX同定部
300 情報処理装置
301 CPU
302 ROM
303 RAM
304 プログラム群
305 記憶装置
306 ドライブ装置
307 通信インタフェース
308 入出力インタフェース
309 バス
310 記録媒体
311 通信ネットワーク
40 情報処理装置
41 サンプル候補生成部

請求の範囲

[請求項1]
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
 情報処理装置。
[請求項2]
 請求項1に記載の情報処理装置であって、
 前記サンプル候補生成部は、前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
 情報処理装置。
[請求項3]
 請求項2に記載の情報処理装置であって、
 前記サンプル候補生成部は、前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
 情報処理装置。
[請求項4]
 請求項3に記載の情報処理装置であって、
 前記サンプル候補を生成する元となるデータであるソースデータと前記サンプル候補との間の差異の大きさを示す差異度を算出する差異度算出部と、
 前記最適化問題で最小化する関数である誤認証度を算出する誤認証度算出部と、
 を有し、
 前記サンプル候補生成部は、前記差異度算出部による算出結果と、前記誤認証度算出部による算出結果と、所定のパラメータと、を用いて表される前記目的関数を解くことで、前記サンプル候補を生成する
 情報処理装置。
[請求項5]
 請求項4に記載の情報処理装置であって、
 複数の前記パラメータを有しており、
 前記サンプル候補生成部は、それぞれのパラメータに対応する前記サンプル候補を生成する
 情報処理装置。
[請求項6]
 請求項4または請求項5に記載の情報処理装置であって、
 前記サンプル候補生成部は、初期点を決定するとともに、初期点に変動を加えながら複数の前記サンプル候補を生成する
 情報処理装置。
[請求項7]
 請求項1から請求項6までのいずれか1項に記載の情報処理装置であって、
 前記サンプル候補生成部が生成した前記サンプル候補のうち前記ターゲットクラスへの誤認証が成功するサンプルの同定を行うサンプル同定部を有する
 情報処理装置。
[請求項8]
 請求項7に記載の情報処理装置であって、
 前記サンプル同定部は、同定した前記サンプルの中から、前記サンプルを生成する元となるデータであるソースデータとの間の差異である差異度が最小となる前記サンプルを選択する
 情報処理装置。
[請求項9]
 請求項8に記載の情報処理装置であって、
 前記サンプル同定部は、選択した前記サンプルと、選択した前記サンプルと前記ソースデータとの間の前記差異度と、を出力する
 情報処理装置。
[請求項10]
 情報処理装置が、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
 情報処理方法。
[請求項11]
 請求項10に記載の情報処理方法であって、
 前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
 情報処理方法。
[請求項12]
 請求項11に記載の情報処理方法であって、
 前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
 情報処理方法。
[請求項13]
 情報処理装置に、
 事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]