Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020161812 - DISPOSITIF D'APPRENTISSAGE DE FILTRE, PROCÉDÉ D'APPRENTISSAGE DE FILTRE ET SUPPORT LISIBLE PAR ORDINATEUR NON TRANSITOIRE

Document

明 細 書

発明の名称 フィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体

技術分野

0001  

背景技術

0002   0003  

先行技術文献

非特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009  

発明の効果

0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065  

符号の説明

0066  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8  

明 細 書

発明の名称 : フィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体

技術分野

[0001]
 本発明は、フィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体に関する。

背景技術

[0002]
 畳み込みニューラルネットワークを始めとする現在のディープラーニング技術は、画像認識、物体検知、セグメンテーション、異常検知など様々なアプリケーションに応用されている。
[0003]
 現在のディープラーニングの技術は、主にRGBのフィルタを持つカメラにおいて得られた画像の認識処理の最適化に用いられている。特許文献1には、入力画像にフィルタリング処理を施し、フィルタリング処理の結果として特徴量を検出する認識装置の構成が開示されている。特許文献1の認識装置は、検出された特徴量と判別機とを用いてスコア演算を実行し、スコア演算の結果に基づいて入力画像から人を検出する。特許文献1におけるフィルタリング処理は、畳み込みフィルタを用いて実行される。

先行技術文献

非特許文献

[0004]
非特許文献1 : 特開2010-266983

発明の概要

発明が解決しようとする課題

[0005]
 特許文献1に開示されている認識装置において実行されるフィルタリング処理は、畳み込みフィルタを用いる。そのため、特許文献1においては、主に、イメージセンサ等から出力された画像データに関するフィルタリング処理が実行される。そのため、特許文献1に開示されている認識装置は、認識対象が有する波長の反射特性等の光の性質から得られる特徴を用いた認識処理の最適化に用いることができないという問題がある。
[0006]
 本開示の目的は、光の性質から得られる特徴を用いた認識処理の最適化を行うことができるフィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体を提供することにある。

課題を解決するための手段

[0007]
 本開示の第1の態様にかかるフィルタ学習装置は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ部と、前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新部と、更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング部と、を備える。
[0008]
 本開示の第2の態様にかかるフィルタ学習方法は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う。
[0009]
 本開示の第3の態様にかかるプログラムは、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させる。

発明の効果

[0010]
 本開示により、光の性質から得られる特徴を用いた認識処理の最適化を行うことができるフィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体を提供することができる。

図面の簡単な説明

[0011]
[図1] 実施の形態1にかかるフィルタ学習装置の構成図である。
[図2] 実施の形態2にかかるフィルタ学習装置の構成図である。
[図3] 実施の形態2にかかる学習処理の流れを示す図である。
[図4] 実施の形態2にかかる推定処理の流れを示す図である。
[図5] 実施の形態2の変形例にかかるフィルタ学習装置の構成図である。
[図6] 実施の形態2の変形例にかかるフィルタ学習装置の構成図である。
[図7] 実施の形態2の変形例にかかるフィルタ学習装置の構成図である。
[図8] それぞれの実施の形態にかかるフィルタ学習装置の構成図である。

発明を実施するための形態

[0012]
 (実施の形態1)
 以下、図面を参照して本発明の実施の形態について説明する。図1を用いてフィルタ学習装置10の構成例について説明する。フィルタ学習装置10は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。フィルタ学習装置10は、例えば、画像認識,物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、もしくは3次元画像生成等に用いられてもよい。
[0013]
 フィルタ学習装置10は、光学フィルタ部11、パラメータ更新部12、及びセンシング部13を有している。光学フィルタ部11、パラメータ更新部12、及びセンシング部13等のフィルタ学習装置10の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、パラメータ更新部12及びセンシング部13は、回路もしくはチップ等のハードウェアであってもよい。
[0014]
 光学フィルタ部11は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する。光学フィルタ部11は、例えば、ソフトウェアを用いて物理的な光学フィルタの動作をシミュレーションするフィルタである。光学フィルタ部11は、例えば、ソフトウェアフィルタと称されてもよい。物理的な光学フィルタは、物理光学フィルタもしくはハードウェア光学フィルタ等と称されてもよい。フィルタ条件は、例えば、特定の偏光方向の光をカットする、もしくは、特定の偏光方向の光を透過させることであってもよい。もしくは、フィルタ条件は、特定の波長の光をカットする、もしくは、特定の波長の光を透過させることであってもよい。
[0015]
 フィルタパラメータは、フィルタ条件に応じて変更されるパラメータである。例えば、バンドパスフィルタを考えた場合、フィルタパラメータは透過させる波長の範囲の中心を示す波長、さらに、透過させる波長の範囲の広がりを示す標準偏差等であってもよい。長波長カットフィルタや短波長カットフィルタを考えた場合、フィルタパラメータはカットオフ波長と減衰幅に自由度を持つ形状の関数が最適化されてもよい。例えばガウス分布を積分した形や波長方向に自由度を持ったシグモイド関数などがこれにあたる。偏光フィルタを考えた場合、フィルタパラメータは、透過させる偏光方向を指定するパラメータであってもよい。さらには、実測したフィルタ透過率の波長依存性を横軸とし、これがフィルタ数だけ縦軸に並んだ行列をつくり、最適化時にはこの行列におけるパラメータは固定としてこの行列の中からひとつまたは複数のフィルタを選択する、としてもよい。
[0016]
 学習用画像は、実際に存在する物体、人物、もしくは風景等を、カメラを用いて撮影された画像であってもよく、コンピュータを用いたシミュレーションを実行することによって生成された画像であってもよい。つまり、フィルタ学習装置10が画像認識に用いられる場合、学習用画像は、認識対象の画像とは異なる画像であってもよい。
[0017]
 フィルタ画像は、光学フィルタ部11におけるフィルタ条件を満たす画像である。具体的には、フィルタ画像は、光学フィルタ部11を透過した光を用いて撮像された画像であってもよい。
[0018]
 パラメータ更新部12は、フィルタ画像に関する画像解析処理を実行した結果を用いて、フィルタパラメータを更新する。画像解析処理として、フィルタ画像を入力として、ニューラルネットワークを用いたディープラーニングが行われてもよい。もしくは、画像解析処理として、関数を用いない直接認識、もしくは、人工的に設計されたHOG特徴等を用いた画像処理が行われてもよい。
[0019]
 フィルタパラメータを更新するとは、画像解析処理を実行した結果をフィルタパラメータにフィードバックすると言い換えられてもよい。フィルタパラメータを更新することによって、画像解析処理の精度を向上させることができる。
[0020]
 センシング部13は、更新されたフィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う。物理光学フィルタは、フィルタパラメータが更新された光学フィルタ部11と実質的に同様のフィルタ条件を満たす。実質的に同様のフィルタ条件は、後の認識処理に及ぼす影響を無視することができる程度の誤差を含むことであってもよい。つまり、物理光学フィルタにおけるフィルタ条件は、光学フィルタ部11におけるフィルタ条件と比較して、透過させる波長の範囲の中心を示す波長、さらに、透過させる波長の範囲の広がりを示す標準偏差等が、誤差の範囲内においてずれる場合がある。また、物理光学フィルタにおけるフィルタ条件は、光学フィルタ部11におけるフィルタ条件と比較して、透過させる偏光方向が、誤差の範囲内においてずれる場合がある。
[0021]
 入力画像は、カメラ等を用いて認識対象を撮像した画像である。例えば、センシング部13において、物理光学フィルタを用いてフィルタ処理もしくはフィルタリングされたフィルタ画像を用いて画像解析処理が実行されてもよい。センシングとは、例えば、フィルタ処理を実行し、画像認識処理に用いられる画像を生成することであってもよい。
[0022]
 以上説明したように、実施の形態1にかかるフィルタ学習装置10は、パラメータ更新部12を用いて、フィルタパラメータを変更することによって、光学フィルタ部11を最適化することができる。つまり、フィルタ学習装置10は、所望の画像解析処理を実行することができるように、光学フィルタ部11を最適化することができる。さらに、フィルタ学習装置10において用いられる物理光学フィルタは、光学フィルタ部11と同様のフィルタ条件を満たすことができる。つまり、フィルタ学習装置10に用いられる物理光学フィルタとして、光学フィルタ部11と同様のフィルタ条件を満たす物理光学フィルタを選択することができる。
[0023]
 これより、フィルタ学習装置10は、最適化された光学フィルタ部11と同様のフィルタ条件を有する物理光学フィルタを用いて、認識対象が有する光の性質から得られる特徴を用いた認識処理を実行することができる。
[0024]
 (実施の形態2)
 続いて、図2を用いて実施の形態2にかかるフィルタ学習装置100の構成例について説明する。実施の形態2においては、フィルタ学習装置100を、画像認識を実行する装置として説明する。フィルタ学習装置100は、画像取得部21、学習部30、センシング部40、及び推定部50を有している。
[0025]
 画像取得部21は、例えば、ハイパースペクトルカメラであってもよい。ハイパースペクトルカメラは、縦、横、及びスペクトルチャネルの情報を有する画像をセンシングする。スペクトルチャネルは、波長毎のスペクトル情報と言い換えられてもよい。ハイパースペクトルカメラを用いた場合、複数の波長毎のスペクトル情報を取得することができる。画像取得部21は、ハイパースペクトルカメラを用いて取得した画像(以下、ハイパースペクトル画像とする)を学習部30へ出力する。また、ハイパースペクトル画像は、波長ごとの輝度を示す輝度画像と称されてもよい。
[0026]
 学習部30は、画像入力部31、光学フィルタ部32、推定演算部33、結果出力部34、及びパラメータ更新部35を有している。
[0027]
 画像入力部31は、画像取得部21からハイパースペクトル画像を受け取る。さらに、画像入力部31は、受け取ったハイパースペクトル画像を光学フィルタ部32へ出力する。光学フィルタ部32は、ソフトウェアを用いて物理的な光学波長フィルタの動作をシミュレーションする。言い換えると、光学フィルタ部32は、ハードウェアの光学波長フィルタを模擬する。光学フィルタ部32は、ハイパースペクトル画像に、シミュレーションされた光学波長フィルタの処理を適用する。
[0028]
 光学フィルタ部32は、特定の波長の光のみを透過するフィルタを有する。さらに、光学フィルタ部32は、特定の波長の周辺の波長の光を透過するフィルタを有してもよい。また、光学フィルタ部32は、特定の波長以上の波長の光を透過するフィルタを有してもよい。また、光学フィルタ部32は、特定の波長以下の波長の光を透過するフィルタを有してもよい。さらに、光学フィルタ部32は、図1の光学フィルタ部11に相当する。光学フィルタ部32は、1つの光学波長フィルタを模擬してもよく、2つ以上の光学波長フィルタを模擬してもよい。光学フィルタ部32が模擬する光学波長フィルタの透過率は、特定の波長を中心とするガウス分布に従ってもよい。ガウス分布に従うフィルタは、ガウスフィルタと称されてもよい。もしくは、光学フィルタ部32の透過率は、物理光学波長フィルタである、光学波長フィルタ41の各波長における透過率の分布が用いられてもよい。言い換えると、光学フィルタ部32の透過率として、光学波長フィルタ41として用いられる可能性のある複数の物理光学波長フィルタの透過率が模擬されてもよい。
[0029]
 光学フィルタ部32は、ハイパースペクトル画像を受け取り、特定の波長の光を透過させる。さらに、光学フィルタ部32は、透過した波長の光によって撮像されたフィルタ画像を推定演算部33へ出力する。
[0030]
 光学フィルタ部32が出力するフィルタ画像は、例えば、縦、横、フィルタ数の3つの次元をもつ。具体的には、Yを光学フィルタ部32の出力、Xを光学フィルタ部32の入力、Wをフィルタとすると、Y=XW(式1)と表すことができる。Wは横軸がスペクトルチャンネル、縦軸がフィルタ数の行列となる。ハイパースペクトル画像は、複数の波長情報を含み、光学フィルタ部32は、ハイパースペクトル画像から、所望の波長に関する情報を抽出する。言い換えると、光学フィルタ部32は、複数の波長の光から、特定の波長の光を抽出する。ハイパースペクトル画像に含まれる複数の波長は、光学フィルタ部32において抽出される波長と比較して十分に多い数とする。
[0031]
 推定演算部33は、演算パラメータに応じて決定される学習モデルを用いて、光学フィルタ部32から出力されたフィルタ画像に関する画像解析処理を行う。学習モデルは、演算パラメータが更新されることによって、所望の演算結果を得られるように精度が向上する。推定演算部33は、例えば、光学フィルタ部32から出力されたフィルタ画像を入力として畳み込みニューラルネットワークを用いた演算を実行する。推定演算部33は、演算結果を結果出力部34へ出力する。推定演算部33において実行される畳み込みニューラルネットワークは、様々な構造を有してもよい。例えば、例えば、推定演算部33には、VGGもしくはResnetが用いられてもよい。もしくは、推定演算部33には、学習済みのニューラルネットワークが用いられてもよい。
[0032]
 結果出力部34は、推定結果を生成し、生成した推定結果をパラメータ更新部35へ出力する。例えば、結果出力部34は、赤色を認識する物体認識を実行する。具体的には、光学フィルタ部32が出力したフィルタ画像が赤色である場合、1に近い値を出力し、それ以外の色である場合、0に近い値となるようにシグモイド関数の出力を出力する。
[0033]
 パラメータ更新部35は、結果出力部34から受け取った推定結果を用いて、光学フィルタ部32において用いられるフィルタパラメータ及び推定演算部33において用いられるニューラルネットワークのパラメータを最適化する。パラメータ更新部35は、図1のパラメータ更新部12に相当する。パラメータ更新部35は、例えば、赤色を認識する物体認識の精度を向上させるために、結果出力部34から受け取った推定結果と予め保持しておいた正解データの比較結果である損失関数をフィードバック情報として各パラメータの勾配を計算する。パラメータ更新部35は、計算した結果を用いて、フィルタパラメータ及びニューラルネットワークのパラメータを最適化する。正解データは例えば、赤色を認識する物体認識の場合、赤色を示す正解データ1、それ以外の色を示す正解データ0の数値である。入力データと正解データのペアは、例えば、機械学習において用いられる訓練データと称されてもよい。フィルタパラメータは、例えば、透過率の分布における中心波長及び標準偏差を示すパラメータであってもよい。つまり、フィルタパラメータは、透過領域を示す波長の情報であってもよい。ニューラルネットワークのパラメータは、例えば、重み情報もしくはバイアス情報等、もしくはこれらの組み合わせの情報であってもよい。
[0034]
 また、パラメータ更新部35は、光学フィルタ部32及び推定演算部33を用いて構成されるニューラルネットワークを最適化すると言い換えられてもよい。この場合、光学フィルタ部32が、式1におけるスペクトルチャネル、つまり波長透過率が現実に存在する光学フィルタ特性に近づくように最適化されることを制約条件として、パラメータ更新部35は、全体のニューラルネットワークを最適化する。ここで、パラメータ更新部35は、光学フィルタ部32及び推定演算部33を最適化する。そのため、光学フィルタ部32の最適化が行われない一般的な画像認識に用いられるニューラルネットワークのパラメータとは異なるように、推定演算部33におけるニューラルネットワークのパラメータの最適化が行われる。
[0035]
 センシング部40は、光学波長フィルタ41及び画像取得部42を有している。センシング部40は、図1のセンシング部13に相当する。センシング部40は、カメラ等を用いて認識対象の物体もしくは風景等を撮影した入力画像に、光学波長フィルタ41を適用する。入力画像を生成するカメラは、ハイパースペクトルカメラに制限されない。光学波長フィルタ41は、学習部30において最適化された光学フィルタ部32に最も近い特性を有する光学波長フィルタを適用する。最も近い特性とは、光学波長フィルタ41と光学フィルタ部32とが、実質的に同様のフィルタ条件を有することであってもよい。具体的には、最も近い特性とは、光学フィルタ部32における透過する波長の中心波長及び標準偏差と、光学波長フィルタ41における透過する波長の中心波長及び標準偏差との差が予め定められた値以内であってもよい。つまり、光学フィルタ部32における透過率の分布と光学波長フィルタ41における透過率の分布との差が予め定められた値以内であってもよい。また、光学フィルタ部32が、光学波長フィルタ41として用いられる物理光学波長フィルタのフィルタ条件と同一のフィルタ条件となるように模擬されている場合、光学波長フィルタ41と光学フィルタ部32とは、同一のフィルタ条件を有する。光学波長フィルタ41は、透過した波長の光によって撮像されたフィルタ画像を画像取得部42へ出力する。
[0036]
 光学波長フィルタ41は、単純な波長フィルタであってもよく、複数の色を透過できる波長フィルタであってもよい。さらに、光学波長フィルタ41が透過する光は、可視光に制限されず、イメージセンサが感度を有する近紫外線領域もしくは近赤外線領域の光を透過するフィルタであってもよい。また、光学波長フィルタ41は、イメージセンサに直接埋め込まれるカラーフィルタであってもよい。この場合、イメージセンサの設計時に物体認識もしくは物体検知等の応用先が予め定まっている場合、学習部30を用いて最適化を行った結果に基づいて光学波長フィルタ41を選択することによってセンサ設計が行われてもよい。
[0037]
 画像取得部42は、光学波長フィルタを有さないイメージセンサであってもよい。例えば、画像取得部42は、400nm~1000nmに感度を持つシリコンのイメージセンサであってもよい。イメージセンサに光学波長フィルタを直接埋め込む場合、光学波長フィルタ41及び画像取得部42は、一体型のイメージセンサを構成してもよい。イメージセンサは、例えば、赤外に感度を持つガリウムヒ素であってもよい。
[0038]
 推定部50は、画像入力部51、推定演算部52、及び結果出力部53を有している。画像入力部51は、画像取得部42においてセンシングされた画像を受け取る。画像取得部42は、受け取った画像を推定演算部52へ出力する。
[0039]
 推定演算部52は、学習部30において最適化された推定演算部33のパラメータを用いた演算を行う。推定演算部52は、演算結果を結果出力部53へ出力する。
[0040]
 推定演算部52は、光学波長フィルタ41も含めて画像認識処理のために最適化されている。ここで、推定演算部52において実行される推定処理もしくは認識処理について説明する。例えば、赤い物体の認識には、一般的には、グレー画像を用いるよりもRGB画像を用いたほうが、情報量が多くなり推定精度が向上する。一方、光学波長フィルタ41及び推定演算部52は、赤い物体の認識を行うためにそれぞれのパラメータが最適化されている。そのため、推定演算部52は、赤い物体を最も認識しやすい波長領域の画像をグレー画像として受け取る。この場合、推定演算部52は、赤い物体を認識するために最適化された光学波長フィルタ41を透過していない光から生成されたグレー画像を用いる場合よりも、推定精度を向上させることができる。光学波長フィルタ41は、赤だけではなく、赤外線等にも拡張することができる。この場合、推定演算部52も、RGB画像を入力として用いるニューラルネットワークとは異なるパラメータに最適化される。なお、推定演算部52は、光学波長フィルタ41と画像取得部42で得られた画像を用いてファインチューニングされてもよい。
[0041]
 結果出力部53は、結果出力部34と同様に推定した結果を出力する。具体的には、光学波長フィルタ41が出力したフィルタ画像が赤色である場合、1を出力し、それ以外の色である場合、0を出力する。
[0042]
 図2のフィルタ学習装置100は、特定の波長の光を透過させるために光学波長フィルタ41を用いているが、特定の偏光方向の光を透過させる場合、偏光フィルタが用いられてもよい。この場合、入力画像は、変更カメラを用いて撮像されてもよい。
[0043]
 続いて、図3を用いて実施の形態2にかかる学習部30において実行される学習処理の流れについて説明する。はじめに、画像取得部21は、学習用画像を取得する(S11)。例えば、画像取得部21は、ハイパースペクトルカメラを用いて学習用画像としてハイパースペクトル画像を取得する。
[0044]
 次に、光学フィルタ部32は、予め定められたフィルタパラメータに基づいて定まるフィルタ条件を学習用画像に適用し、学習用画像のフィルタリングを行う(S12)。例えば、光学フィルタ部32は、特定の波長及びその周辺の波長の光を透過させる。
[0045]
 次に、推定演算部33は、光学フィルタ部32を透過した光を用いて撮像されたフィルタ画像を用いた演算を行う(S13)。例えば、推定演算部33は、畳み込みニューラルネットワークを用いた演算を行う。
[0046]
 次に、パラメータ更新部35は、推定演算部33における演算結果が赤色を示すか否かの推定結果と正解データを用いて、光学フィルタ部32におけるフィルタパラメータを更新する(S14)。さらに、パラメータ更新部35は、推定結果と正解データとを用いて、推定演算部33におけるパラメータも更新する。
[0047]
 学習部30は、ステップS11~S14の処理を繰り返し、光学フィルタ部32及び推定演算部33におけるパラメータを更新することによって、学習用画像に関する推定精度を向上させる。
[0048]
 続いて、図4を用いてセンシング部40及び推定部50における推定処理の流れについて説明する。推定処理は、認識処理と言い換えられてもよい。センシング部40は、学習部30においてフィルタパラメータが更新された光学フィルタ部32と実質的に同様のフィルタ条件を有する光学波長フィルタ41を用いているとする。また、推定部50は、学習部30の推定演算部33において更新されたパラメータと同じパラメータを推定演算部52に適用しているとする。
[0049]
 はじめに、光学波長フィルタ41は、認識対象が撮像された入力画像のフィルタリングを行う(S21)。光学波長フィルタ41は、光学フィルタ部32において適用されるフィルタ条件と同様のフィルタ条件を入力画像に適用する。さらに、センシング部40は、フィルタ条件を満たし、透過した光を用いて撮像されたフィルタ画像を推定部50へ出力する。
[0050]
 次に、推定演算部52は、フィルタ画像を用いた推定処理を行う(S22)。具体的には、推定演算部52は、フィルタ画像に写る物体が赤色の物体か否かを推定する処理を行ってもよい。
[0051]
 以上説明したように、フィルタ学習装置100の学習部30は、光学フィルタ部32のフィルタパラメータ及び推定演算部33において用いられるニューラルネットワークのパラメータを最適化することができる。このように、ニューラルネットワークの最適化のみならず、フィルタパラメータの最適化を行うことによって、透過する光の波長も最適化することができる。
[0052]
 さらに、センシング部40において用いられる光学波長フィルタ41には、学習部30において最適化された光学フィルタ部32と同様の特性を有する光学波長フィルタを用いる。そのため、推定部50は、認識対象を認識する際に最適化された光学波長フィルタを透過した光を用いて撮像された画像を用いて推定処理を行うことができる。その結果、推定部50は、推定処理の精度を向上させることができる。
[0053]
 また、センシング部40が受け取る画像は、ハイパースペクトル画像には限定されない。そのため、センシング部40及び推定部50が用いる画像の生成にハイパースペクトルカメラを用いる必要が無いため、推定処理のためにハイパースペクトルカメラを用いる場合と比較して安価な推定処理を行うことができる。
[0054]
 フィルタ学習装置100は、光学フィルタ部32を最適化することによって、認識対象の解析を行うために必要な波長の光を透過させることができる。これによって、フィルタ学習装置100は、認識対象のもつ反射特性の波長によっては、皮膚の中の血管を可視化しやすい波長、植物を識別しやすい波長など、認識のための特徴を高精度に抽出できる
[0055]
 (実施の形態2の変形例)
 図2において説明したフィルタ学習装置100は、図5に示すように、画像取得部21が省略されてもよい。つまり、フィルタ学習装置100は、図5に示すようにハイパースペクトルカメラを有さない構成であってもよい。この場合、画像入力部31は、コンピュータのハードディスク等の記憶媒体に保存されたハイパースペクトル画像のデータを光学フィルタ部32へ出力してもよい。光学フィルタ部32は、画像入力部31から出力されたデータに、予め定められたフィルタ条件を適用する。
[0056]
 また、図6に示されるように、図5のフィルタ学習装置100から、さらに、推定演算部33及び推定演算部52が省略されてもよい。もしくは、図2のフィルタ学習装置100から、推定演算部33及び推定演算部52が省略されてもよい。この場合、パラメータ更新部35は、光学フィルタ部32のフィルタパラメータの更新を行い、光学フィルタ部32を最適化する。光学波長フィルタ41は、最適化された光学フィルタ部32に基づいて選択される。また、図6のフィルタ学習装置100においては、結果出力部34及び結果出力部53は、ニューラルネットワーク等の機械学習手法に限定されず、関数を用いない直接認識、もしくは、人工的に設計されたHOG特徴等を用いた画像処理が行われてもよい。
[0057]
 また、図7に示されるように、図2のフィルタ学習装置100における画像取得部21及び画像入力部31の代わりに、フィルタ学習装置100は、画像シミュレーション部36を有してもよい。画像シミュレーション部36は、光空間をシミュレート(光学シミュレーション)してハイパースペクトル画像を生成する。
[0058]
 図8は、フィルタ学習装置10及びフィルタ学習装置100(以下、フィルタ学習装置10等とする)の構成例を示すブロック図である。図8を参照すると、フィルタ学習装置10等は、ネットワーク・インターフェース1201、プロセッサ1202、及びメモリ1203を含む。ネットワーク・インターフェース1201は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース1201は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード(NIC)を含んでもよい。もしくは、ネットワーク・インターフェース1201は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース1201は、無線LAN通信、もしくは3GPP(3rd Generation Partnership Project)において規定されたモバイル通信を行うために使用されてもよい。
[0059]
 プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明されたフィルタ学習装置10等の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。
[0060]
 メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインタフェースを介してメモリ1203にアクセスしてもよい。
[0061]
 図8の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明されたフィルタ学習装置10等の処理を行うことができる。
[0062]
 図8を用いて説明したように、フィルタ学習装置10等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。
[0063]
 上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
[0064]
 なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
[0065]
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ手段と、
 前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新手段と、
 更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング手段と、を備えるフィルタ学習装置。
 (付記2)
 前記光学フィルタ手段は、
 前記フィルタパラメータを用いて前記物理光学フィルタである光学波長フィルタを模擬する、付記1に記載のフィルタ学習装置。
 (付記3)
 前記光学フィルタ手段は、
 前記フィルタパラメータを用いて前記物理光学フィルタである偏光フィルタを模擬する、付記1に記載のフィルタ学習装置。
 (付記4)
 演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行する推定手段をさらに備え、
 前記パラメータ更新手段は、
 前記フィルタパラメータ及び前記演算パラメータを更新する、付記1乃至3のいずれか1項に記載のフィルタ学習装置。
 (付記5)
 前記パラメータ更新手段は、
 前記光学フィルタ手段における前記光学波長フィルタを模擬することを制約条件として最適化されることを特徴とする、付記4に記載のフィルタ学習装置。
 (付記6)
 前記学習用画像は、
 ハイパースペクトルカメラを用いて撮像された画像である、付記1乃至5のいずれか1項に記載のフィルタ学習装置。
 (付記7)
 前記学習用画像は、
 光学シミュレーションを実行することによって得られる画像である、付記1乃至5のいずれか1項に記載のフィルタ学習装置。
 (付記8)
 フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
 前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
 更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う、フィルタ学習方法。
 (付記9)
 前記フィルタ画像を抽出した後に、演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行し、
 画像解析処理を実行した結果を用いて、前記フィルタパラメータ及び前記演算パラメータを更新する、付記7に記載のフィルタ学習方法。
 (付記10)
 フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
 前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
 更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

符号の説明

[0066]
 10 フィルタ学習装置
 11 光学フィルタ部
 12 パラメータ更新部
 13 センシング部
 21 画像取得部
 30 学習部
 31 画像入力部
 32 光学フィルタ部
 33 推定演算部
 34 結果出力部
 35 パラメータ更新部
 36 画像シミュレーション部
 40 センシング部
 41 光学波長フィルタ
 42 画像取得部
 50 推定部
 51 画像入力部
 52 推定演算部
 53 結果出力部
 100 フィルタ学習装置

請求の範囲

[請求項1]
 フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ手段と、
 前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新手段と、
 更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング手段と、を備えるフィルタ学習装置。
[請求項2]
 前記光学フィルタ手段は、
 前記フィルタパラメータを用いて前記物理光学フィルタである光学波長フィルタを模擬する、請求項1に記載のフィルタ学習装置。
[請求項3]
 前記光学フィルタ手段は、
 前記フィルタパラメータを用いて前記物理光学フィルタである偏光フィルタを模擬する、請求項1に記載のフィルタ学習装置。
[請求項4]
 演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行する推定手段をさらに備え、
 前記パラメータ更新手段は、
 前記フィルタパラメータ及び前記演算パラメータを更新する、請求項1乃至3のいずれか1項に記載のフィルタ学習装置。
[請求項5]
 前記パラメータ更新手段は、
 前記光学フィルタ手段における前記光学波長フィルタを模擬することを制約条件として最適化されることを特徴とする、請求項2に記載のフィルタ学習装置。
[請求項6]
 前記学習用画像は、
 ハイパースペクトルカメラを用いて撮像された画像である、請求項1乃至5のいずれか1項に記載のフィルタ学習装置。
[請求項7]
 前記学習用画像は、
 光学シミュレーションを実行することによって得られる画像である、請求項1乃至5のいずれか1項に記載のフィルタ学習装置。
[請求項8]
 フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
 前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
 更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う、フィルタ学習方法。
[請求項9]
 前記フィルタ画像を抽出した後に、演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行し、
 画像解析処理を実行した結果を用いて、前記フィルタパラメータ及び前記演算パラメータを更新する、請求項8に記載のフィルタ学習方法。
[請求項10]
 フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
 前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
 更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]