Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020110629 - PROCÉDÉ DE TRAITEMENT D'INFORMATIONS ET PROGRAMME INFORMATIQUE

Document

明 細 書

発明の名称 情報処理方法及びコンピュータプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054  

符号の説明

0055  

請求の範囲

1   2   3   4   5  

図面

1   2   3   4   5   6   7   8   9   10  

明 細 書

発明の名称 : 情報処理方法及びコンピュータプログラム

技術分野

[0001]
 本発明は、情報処理方法及びコンピュータプログラムに関する。

背景技術

[0002]
 モニタの画像表示部の表示画面は、例えば製造品質のバラツキで表示ムラが生じてしまう場合がある。ここで、表示ムラは、輝度ムラ及び色度ムラのうちの一方を意味していてもよいし、輝度ムラ及び色度ムラの両方を意味していてもよい。例えば、LCD(Liquid Crystal Display)モニタの画像表示部である液晶パネルにおいて、表示ムラの要因には、液晶層の厚みのバラツキ、駆動用トランジスタの動作特性のバラツキ、及びバックライトの発光分布のバラツキ等が挙げられる。
[0003]
 モニタの製造工程では、モニタの各種部品を組み立て終えた後に、画面表示部の表示画面に表示ムラがあるか否かを検査する工程が設けられる場合がある(例えば、特許文献1参照)。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2005-107155号公報

発明の概要

発明が解決しようとする課題

[0005]
 従来のモニタの製造工程では画像表示部の表示ムラ等の欠陥の検出を検査員の経験等に頼っているため、その分、従来のモニタの製造工程では検査時間が増大しやすいという課題がある。
[0006]
 本発明はこのような事情に鑑みてなされたものであり、モニタの製造工程における検査時間の増大を抑制することができる、情報処理方法及びコンピュータプログラムを提供することを目的としている。

課題を解決するための手段

[0007]
 本発明によれば、誤差算出ステップと、類似度算出ステップと、判定ステップとを備え、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、方法が提供される。
[0008]
 本発明では、判定ステップにおいて、上記の誤差及び上記の類似度の関係に基づいて表示ムラが許容可能であるか否かを判定する。第1に、本発明では、上記の誤差を加味して、表示ムラが許容可能であるか否かを判定するので、表示ムラの強弱(ピクセル値)に基づく観点で画像データを分類することができる。第2に、本発明では、上記の類似度を加味して、表示ムラが許容可能であるか否かを判定するので、多様な表示ムラのパターンに基づく観点で画像データを分類することができる。このように、本発明では、両方の観点で表示ムラが許容可能であるか否かを分類し、画像データが許容可能であるか否かをすみやかに判定することができるので、モニタの検査時間の増大が抑制される。
[0009]
 以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
 好ましくは、取得ステップを更に備え、前記取得ステップでは、複数の前記入力画像データのそれぞれについて第1及び第2ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記関係を取得し、第1ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、第2ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出する、方法が提供される。
 好ましくは、前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法が提供される。
 好ましくは、前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法が提供される。
 好ましくは、コンピュータに、誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理を実行させ、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、コンピュータプログラムが提供される。

図面の簡単な説明

[0010]
[図1] 第1実施形態の情報処理システム100の構成を示すブロック図である。
[図2] 測定部10が取得した画像データに適用するフィルタ処理及び閾値処理の説明図である。
[図3] 学習段階におけるデータの流れを示すブロック図である。
[図4] 関係取得段階におけるデータの流れを示すブロック図である。
[図5] 図5Aは誤差Lと類似度Sとの関係RSを示すグラフであり、図5Bは図5Aに示すプロットP1の画像データであり、図5Cは図5Aに示すプロットP2の画像データである。
[図6] 判定段階におけるデータの流れを示すブロック図である。
[図7] 第1実施形態の情報処理システム100の動作フローチャートである。
[図8] 第1実施形態の変形例1に係る誤差Lと類似度Sとの関係RSを示すグラフである。
[図9] 第1実施形態の変形例2に係るフィルタ処理の説明図である。
[図10] 第2実施形態の情報処理システム100の構成を示すブロック図である。

発明を実施するための形態

[0011]
 以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
[0012]
第1実施形態
 図1~図8に基づいて、第1実施形態の情報処理システム100について説明する。本実施形態の情報処理システム100は、図1に示すように、情報処理装置1と、情報処理装置11と、測定部10とを備えている。情報処理システム100が表示ムラを評価する対象は、評価対象モニタ21である。情報処理装置1は、データ生成部2aと判定部2Aと誤差算出部2Bと類似度算出部2Cと処理部3と記憶部4と入出力部5とを備える。情報処理装置11は、演算部12と記憶部13と入出力部14とを備える。演算部12は、学習部12Aと誤差算出部12Bと類似度算出部12Cと取得部12Dとを備える。
[0013]
 上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、CPUがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ASIC、FPGA、又はDRPなどの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
[0014]
1.構成概要及びデータ概要
1-1.学習段階、関係取得段階、及び、判定段階
 第1実施形態には3つの段階がある。第1段階は学習段階であり、学習段階では後述するオートエンコーダに機械学習をさせて重み係数を確定する段階である。第2段階は関係取得段階であり、関係取得段階では評価対象モニタ21の画像表示部22の表示ムラが許容可能であるか否かを判定するための基準となる関係式を取得する。第3段階は判定段階であり、判定段階では、製造現場において評価対象モニタ21から測定光を取得し、前述の基準となる関係式に基づいて評価対象モニタ21の画像表示部22の表示ムラが許容可能であるか否かを判定する。つまり、判定段階は、例えば製造現場において、評価対象モニタ21の検査をする段階である。
[0015]
1-2.各種の段階でやり取りされるデータについて
 図3に示すように、学習段階でやり取りされるデータは、学習時入力画像データd1、学習時出力画像データd2及び圧縮データdcを含む。全ての学習時入力画像データd1は、許容可能であると予め分類された画像データである。
[0016]
 図4に示すように、関係取得段階でやり取りされるデータは、関係取得用の入力画像データD1、関係取得用の出力画像データD2及び圧縮データDcを含む。関係取得用の入力画像データD1は、許容可能であると予め分類された画像データだけでなく、許容可能でないと予め分類された表示画面の画像データをも含む。つまり、全ての関係取得用の入力画像データD1は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。換言すると、関係取得用の入力画像データD1には予めラベリングがなされている。つまり、全ての関係取得用の入力画像データD1は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予めラベリングされている。
[0017]
 図6に示すように、判定段階でやり取りされるデータは、入力画像データr1、出力画像データr2及び圧縮データrcを含む。入力画像データr1は処理部3から取得することができる。出力画像データr2及び圧縮データrcはデータ生成部2aにおいて生成される。
[0018]
1-3.ラベリングにおける分類方法
 上述のように、学習時入力画像データd1は、許容可能であると予め分類された画像データである。また、関係取得用の入力画像データD1は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。ここで、これらの分類方法の一例について説明する。撮像装置から取得された画像データは、後述のフィルタ処理等が施されて、入力画像データへ変換される。入力画像データの表示ムラは、互いに隣接する暗領域及び明領域が分布して構成されている。入力画像データの明領域と入力画像データの暗領域との境界部分には、ピクセル値が極大値となる部分と、ピクセル値が極小値となる部分とが含まれている。入力画像データは、極大値と極小値との差分の大きさに基づいて、許容可能な画像データ又は許容可能でない画像データに分類される。具体的には、極大値と極小値との差分が閾値よりも大きい入力画像データは、許容可能でない画像データに分類される。逆に、極大値と極小値との差分が閾値よりも小さい入力画像データは、許容可能な画像データに分類される。
[0019]
1-4.フィルタ処理、閾値処理、及び絶対値化処理
 第1実施形態では、測定部10で取得した画像データのピクセル値を用いて、評価対象モニタ21の表示ムラが許容可能であるか否かを判定するのではなく、図2に示すように、フィルタ処理、閾値処理及び絶対値化処理を施した画像データを用いて、評価対象モニタ21の表示ムラが許容可能であるか否かを判定している。これにより、表示ムラの特徴的な部分を際立たせることができ、判定精度が向上する。なお、画像データは閾値処理及び絶対値化処理が必ず施されている必要はない。例えば、画像データのうちの特定範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されることが好ましい。一方、画像データのうちの全範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されていなくてよい。第1実施形態における入力画像データは、学習時入力画像データd1と、関係取得用の入力画像データD1と、評価対象モニタ21の画像データに基づく入力画像データr1とを含む。第1実施形態では、いずれの入力画像データも、フィルタ処理、閾値処理及び絶対値化処理が施されている。これらの処理の構成例は、処理部3の構成において説明する。
[0020]
2.構成説明
2-1.測定部10
 図2に示すように、測定部10は、評価対象モニタ21の画像表示部22の表示画面の表示ムラ情報を取得する。測定部10は撮像装置で構成され、測定部10は、評価対象モニタ21の画像表示部22の表示画面に向けられており、表示画面から照射される測定光を検出する。測定部10の検出結果は、測定光情報として情報処理装置1に送信される。この測定光情報は画像表示部22の表示画面の表示ムラを示す情報を含んでいることから、測定光情報は表示ムラ情報に含まれる。
[0021]
 ここで、表示ムラは、輝度ムラ及び色度ムラのうちの一方を意味していてもよいし、輝度ムラ及び色度ムラの両方を意味していてもよい。測定光情報は、任意の階調の表示画面の輝度又は色度を示す情報を含んでいる。評価対象モニタ21は、例えば、LCD(Liquid Crystal Display)モニタでもよいし、有機EL(Electro Luminescence)モニタでもよいし、PDP(Plasma Display Panel)モニタでもよい。
[0022]
2-2.情報処理装置11
 情報処理装置11は、情報処理装置11を統括するサーバーとしての機能を有する。情報処理装置11は、演算部12と記憶部13と入出力部14とを備える。演算部12は、学習部12Aと誤差算出部12Bと類似度算出部12Cと取得部12Dとを備える。演算部12はプロセッサユニットを備えている。例えば、演算部12はGPU(Graphics Processing Unit)を備えており、演算速度が高い。
[0023]
 図3に示すように、学習部12Aは、学習段階及び関係取得段階の両方で用いられる構成である。その一方、図4に示すように、誤差算出部12B、類似度算出部12C及び取得部12D(図示省略)は、関係取得段階で用いられる構成である。学習段階は、後述する学習部12Aのオートエンコーダの重み係数を逐次変更して確定させていく段階である。関係取得段階は、学習段階で確定した重み係数を用いて、図5Aに示すグラフに対応する関係RSを取得する段階である。
[0024]
2-2-1.学習部12A
 図3に示すように、学習部12Aはオートエンコーダとしての機能を有し、学習部12Aはエンコーダ12A1とデコーダ12A2とを有する。学習部12Aのオートエンコーダとしては、全結合層を用いたオートエンコーダを採用してもよいし、畳み込み層を用いたオートエンコーダを採用してもよい。つまり、学習部12Aのオートエンコーダの構成は適宜変更してよい。第1実施形態では、畳み込み層に加えて、類似度抽出のために全結合層を用いたオートエンコーダを採用する。学習部12Aは、学習時入力画像データd1を入力すると、学習時出力画像データd2が出力されるように構成されている。具体的には、学習部12Aは、学習時入力画像データd1に、学習時出力画像データd2を近づける学習モデルで、予め学習をしている。ここで、学習時入力画像データd1は、許容可能であると予め分類された画像データから生成される画像データである。学習時入力画像データd1は、処理部3で説明するフィルタ処理と同様の処理が施されている。
[0025]
 ここで、学習モデルとは、多数の教師データを用いてモデルを訓練し、将来の出力を予測可能にするモデルである。本実施形態において、教師データの入力データは学習時入力画像データd1であり、教師データの正解データは教師データの入力データと同じである。多数の教師データが学習部12Aに入力されることで、エンコーダ12A1及びデコーダ12A2の重み係数は逐次変更される。そして、学習部12Aの学習が完了すると、学習部12Aでは重み係数が確定する。つまり、学習部12Aでは、上述した学習段階において、重み係数が確定される。その後に、上述した関係取得段階において、学習部12Aは、図5Aに示す誤差L及び類似度Sの関係RSを取得するために用いられる。具体的には、学習部12Aは、関係取得用の入力画像データD1が入力されると、確定した重み係数に基づいて圧縮データDcを出力するとともに、確定した重み係数に基づいて算出される出力画像データ(関係取得用の出力画像データD2)を出力する。次に説明する誤差算出部12B及び類似度算出部12Cは、これらの出力を取得する。
[0026]
2-2-2.誤差算出部12B
 図4に示すように、誤差算出部12Bは関係取得用の入力画像データD1と関係取得用の出力画像データD2との誤差Lを算出する。誤差Lは、関係取得用の入力画像データD1の各座標の各ピクセル値と、関係取得用の出力画像データD2の各座標の各ピクセル値との差分tに基づいて算出される。換言すると、誤差Lは、損失関数(入力I - 出力O) に基づいて算出される。入力Iは関係取得用の入力画像データD1の各座標の各ピクセル値に対応し、出力Oは関係取得用の出力画像データD2の各座標の各ピクセル値に対応している。例えば、画像データが縦a×横b(a、bは自然数)の座標を有する場合において、誤差Lは、(各座標の差分t) の総和を平均して表される。
[0027]
2-2-3.類似度算出部12C
 図4に示すように、類似度算出部12Cは、エンコーダ12A1で圧縮されたデータ(圧縮データdc)と基準データdrefとに基づいて、圧縮データdcと基準データdrefとの類似度を算出する。ここで言う類似度は、コサイン類似度を意味している。つまり、類似度算出部12Cは、圧縮データdcと基準データdrefとの内積に基づいて類似度を算出する。基準データdrefには、複数の圧縮データdcの重心データが用いられる。第1実施形態において、基準データdrefの生成に用いる全ての圧縮データdcは、許容可能であると予め分類された画像データから生成される。つまり、基準データdrefの生成には、学習時入力画像データd1を圧縮したデータ(圧縮データdc)が用いられる。なお、学習部12Aが学習途中の状態では、重み係数が逐次変化する。このため、学習部12Aが学習途中の状態において、取得する圧縮データdcを、重心データの演算に用いると、基準データdrefの基準としての適正が損なわれる可能性がある。そこで、重心データを取得するときに用いる圧縮データdcは、重み係数が確定した状態で、学習部12Aに複数の学習時入力画像データd1を入力することで、取得するとよい。また、圧縮データdcは複数次元のベクトルであり、重心データは許容可能であると予め分類された画像データ群における複数の圧縮データdcの重心ベクトルである。
[0028]
 第1実施形態において、類似度は0以上1以下の値である。つまり、類似度を算出する際において、圧縮データdcと基準データdrefとの内積は正規化されている。類似度が1に近いほど、圧縮データdcに対応する画像データの表示ムラのパターンと、基準データdrefに対応する画像の表示ムラのパターンとは似ていることを意味する。なお、第1実施形態では、類似度を0以上1以下の値としているが、それに限定されるものではなく、適宜変更可能である。例えば、第1実施形態におけるオートエンコーダにはエンコード結果がランプ関数の出力となる構成が採用されているが、オートエンコーダがランプ関数を採用しない場合には、類似度は-1以上1以下の値である。
[0029]
2-2-4.取得部12D
 取得部12Dは、誤差算出部12B及び類似度算出部12Cで算出された誤差及び類似度を取得する。複数の関係取得用の入力画像データが学習部12Aに入力されることで、取得部12Dは、学習部12Aに入力された関係取得用の入力画像データの数に対応する複数組の誤差及び類似度を取得する。図5Aは、横軸を誤差Lとし且つ縦軸を類似度Sとするグラフに、取得部12Dが取得した各組の誤差及び類似度をプロットしたものである。
[0030]
 図5Aに示すように、線Laで示す領域よりも左側には、許容可能であると予め分類された表示画面の関係取得用の入力画像データが分布している。線Laで示す領域よりも右側には、許容可能でないと予め分類された表示画面の関係取得用の入力画像データが分布している。このように、誤差及び類似度の両方を特徴量として入力画像データをプロットすることで、図5Aに示すグラフのように、許容可能でない画像データと、許容可能である画像データとが、切り分けられる。つまり、図5Aに示す線Laは、許容可能である画像データと許容可能でない画像データとを分類する関係式である。
[0031]
 取得部12Dは、この線Laに対応する関係式を取得する。線Laが例えば直線である場合には、取得部12Dは線Laの傾き及び切片を取得する。取得部12Dが線Laの傾き及び切片を取得する方法は、コンピュータ(取得部12D)が各組の誤差及び類似度のプロットに基づいて演算して取得する方法であってもよいし、ユーザーが図5Aに示すグラフを参照しながら決定する方法であってもよい。また、線Laに対応する関係式は、直線に限定されるものではなく、例えば曲線で表される関係式であってもよい。更に、第1実施形態において、取得部12Dは線Laに対応する関係式を取得しているが、それに限定されるものではなく、取得部12Dは、誤差及び類似度に応じて、許容可能である画像データと許容可能でない画像データとを分類するテーブルを取得してもよい。
[0032]
2-2-5.記憶部13及び入出力部14
 記憶部13には、例えば、学習部12Aの学習モデルで用いる各種のパラメータ等が格納されている。入出力部14は学習時入力画像データd1及び関係取得用の入力画像データD1等を受け取る、また、入出力部14は取得部12Dが取得した関係式等を情報処理装置1へ出力する。
[0033]
2-3.情報処理装置1
 情報処理装置1は、データ生成部2aと判定部2Aと誤差算出部2Bと類似度算出部2Cと処理部3と記憶部4と入出力部5とを備える。情報処理装置1は例えば製造現場の製造ラインに配置される。
[0034]
2-3-1.処理部3
 処理部3は、フィルタ処理、閾値処理及び絶対値化処理を実行する。図2に示すように、フィルタ処理において、測定部10で取得した画像データには、バンドパスフィルタが適用される。例えば帯ムラや筋ムラを際立たせたい場合には、測定部10で取得した画像データには、帯ムラや筋ムラの幅に相当する空間周波数を通すフィルタが適用される。フィルタ処理のフィルタは、判定したいムラの種類に応じて決定することができる。
[0035]
 図2に示すように、フィルタ処理後画像データには、閾値処理が施される。閾値処理では、予め定められた閾値範囲内のピクセル値になっている各座標のピクセル値を一定値に変換し、当該閾値範囲外のピクセル値の各座標のピクセル値をそのまま維持する処理をする。絶対値化処理では、例えば表示画面の暗領域におけるムラの明暗を反転させ、表示画面の暗領域におけるムラの表示形式と、表示画面の明領域におけるムラの表示形式とを同じにする。
[0036]
2-3-2.データ生成部2a
 データ生成部2aも学習部12Aで説明したオートエンコーダ対応する機能を有している。データ生成部2aは学習部12Aで確定された重み係数に基づく演算を実行する。具体的には、データ生成部2aは、処理部3から入力画像データr1が入力されると、確定された重み係数を用いて圧縮データrc及び出力画像データr2を生成する。このように、データ生成部2aでは多数の教師データを用いてモデルを訓練するわけではなく、データ生成部2aは学習部12Aで確定された重み係数を用いて圧縮データrcや出力画像データr2を生成する。
[0037]
2-3-3.誤差算出部2B及び類似度算出部2C
 誤差算出部2Bの機能は誤差算出部12Bと同様である。なお、誤差算出部12Bに入力されるデータは例えば関係取得用の入力画像データD1であるが、誤差算出部2Bに入力されるデータは入力画像データr1に基づくデータである。誤差算出部2Bは入力画像データr1と出力画像データr2との誤差Lを算出する。誤差Lは、入力画像データr1の各座標の各ピクセル値と、出力画像データr2の各座標の各ピクセル値との差分tに基づいて算出される。換言すると、誤差Lは、損失関数(入力I - 出力O) に基づいて算出される。入力Iは入力画像データr1の各座標の各ピクセル値に対応し、出力Oは出力画像データr2の各座標の各ピクセル値に対応している。
[0038]
 類似度算出部2Cの機能は類似度算出部12Cと同様である。なお、類似度算出部12Cに入力されるデータは例えば関係取得用の入力画像データD1であるが、類似度算出部2Cに入力されるデータは入力画像データr1に基づくデータである。類似度算出部2Cは、データ生成部2aのエンコーダで圧縮されたデータ(圧縮データrc)と基準データdrefとに基づいて、圧縮データrcと基準データdrefとの類似度を算出する。つまり、類似度算出部2Cは、圧縮データrcと基準データdrefとの内積に基づいて類似度を算出する。類似度算出部2Cが用いる基準データdrefは、類似度算出部12Cが用いる基準データdrefと同じである。
[0039]
2-3-4.判定部2A
 判定部2Aは、誤差L及び類似度Sの関係RSに基づいて、画像表示部22の表示画面の表示ムラが許容可能な画像データであるか否かを判定する。判定部2Aは、取得部12Dが予め取得した関係式又はテーブルを取得している。判定部2Aは、入力画像データr1に基づく誤差L及び類似度Sと、取得部12Dが予め取得した関係式と、に基づいて、画像データの表示ムラが許容可能な画像データであるか否かを分類する。入力画像データr1に基づく誤差Lは、誤差算出部2Bが算出する誤差Lに対応し、入力画像データr1に基づく類似度Sは、類似度算出部2Cが算出する類似度Sである。
[0040]
 例えば、入力画像データr1に基づく誤差L及び類似度Sのプロット位置が、図5Aに示す線Laよりも右側であれば、入力画像データr1は許容可能でない画像データに分類される。逆に、入力画像データr1に基づく誤差L及び類似度Sのプロット位置が、図5Aに示す線Laよりも左側であれば、入力画像データr1は許容可能な画像データに分類される。判定部2Aはこの分類結果を判定結果として出力してもよいし、判定部2Aは別の分析結果を加味して最終的に判定結果を出力してもよい。また、判定部2Aは、線La付近のプロットの画像データを、検査員が注意すべきデータとして出力してもよい。第1実施形態では、判定部2Aはこの分類結果を判定結果として出力する。例えば、判定部2Aは、入力画像データr1を許容可能であると分類した場合には、入力画像データr1の表示ムラが許容可能であると判定する。判定部2Aの判定結果及び分類結果は、例えば、情報処理装置1に設けられたモニタ(図示省略)に表示される。
[0041]
2-3-5.記憶部4と入出力部5
 記憶部4には、例えば、データ生成部2aの演算で用いる各種のパラメータ等が格納されている。入出力部5には、測定部10から入力画像データを受け取る。また、入出力部5は、情報処理装置11から、学習部12Aで確定した重み係数、基準データdref、及び、取得部12Dが予め取得した関係式又はテーブル等を受け取る。
[0042]
3.フローチャート
 図7に基づいて、情報処理装置1の動作フローを説明する。情報処理装置1の入出力部5は、画像表示部22の表示画面の画像データを取得する(ステップS1)。画像データは、測定部10が画像表示部22の表示画面から取得した測定光情報に対応する。情報処理装置1の処理部3は、画像データに対してフィルタ処理、閾値処理及び絶対値化処理を施し、画像データを入力画像データr1に変換する(ステップS2)。つまり、情報処理装置1の処理部3は、画像データを入力画像データr1に変換することで、入力画像データr1を取得する。
[0043]
 情報処理装置1のデータ生成部2aは、入力画像データr1から、圧縮データrc及び出力画像データr2を生成する(ステップS3)。情報処理装置1の誤差算出部2Bは、入力画像データr1及び出力画像データr2に基づいて誤差Lを算出する(ステップS4)。また、情報処理装置1の類似度算出部2Cは、圧縮データrc及び基準データdrefに基づいて類似度Sを算出する(ステップS5)。ステップS4は誤差算出ステップに対応し、ステップS5は類似度算出ステップに対応する。ステップS4及びステップS5の順番は特に限定されるものではない。情報処理装置1の判定部2Aは、ステップS4で算出した誤差Lと、ステップS5で算出した類似度と、予め取得している関係RS(図4に示す線Laに対応する関係式)とに基づいて、入力画像データr1の表示ムラが許容可能であるか否かを判定する(ステップS6)。ステップS6は判定ステップに対応する。
[0044]
 情報処理装置1の判定部2Aは、情報処理装置11の取得部12Dより、関係RSを予め取得している。情報処理装置11の取得部12Dは、複数組の関係取得用の誤差L及び関係取得用の類似度Sを算出することで関係RSを取得する。具体的には、情報処理装置11の取得部12Dは、次に説明する第1及び第2ステップを実行することで、関係RSを取得する。第1ステップでは、関係取得用の入力画像データD1と、学習部12Aからの、関係取得用の出力画像データD2と、に基づいて関係取得用の誤差Lを算出する。第2ステップでは、関係取得用の入力画像データD1を学習部12Aのエンコーダ12A1で圧縮して得られた関係取得用の圧縮データDcと、基準データdrefと、に基づいて関係取得用の類似度Sを算出する。このように、取得部12Dが関係RSを取得し、判定部2Aが情報処理装置11から関係RSを取得するステップは、取得ステップに対応する。
[0045]
4.第1実施形態の効果
 第1実施形態において、情報処理装置1の判定部2Aが、画像データが許容可能であるか否かを次に説明する2つの観点に基づいて自動的に判定する構成であるので、評価対象モニタ21の検査がすみやかに行われ、評価対象モニタ21の検査時間の増大が抑制される。
[0046]
 第1実施形態の判定ステップでは、誤差L及び類似度Sの関係に基づいて表示ムラが許容可能な画像データであるか否かを判定する。具体的には、判定ステップでは、誤差Lを加味して、表示ムラが許容可能であるか否かを分類するので、表示ムラの強弱(ピクセル値)に基づく観点で画像データを分類することができる。また、判定ステップでは、類似度Sを加味して、表示ムラが許容可能であるか否かを分類するので、多様な表示ムラのパターンに基づく観点で画像データを分類することができる。
[0047]
 例えば、表示ムラの強弱(ピクセル値)に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを分類する場合には、図5Aに示す全てのプロットが横軸上に並ぶことになる。ここでは、表示ムラの強弱(ピクセル値)に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを分類するデメリットを強調するため、図5Aに示すプロットに基づいて説明をする。表示ムラの強弱(ピクセル値)に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを判定する場合には、分類に用いる関係式は、図5Aに示す直線Lbのような態様に限定される。ここで、直線Lbは縦軸に平行である。この直線Lbの左側には表示ムラが許容可能ではない画像データのプロットも存在しており、直線Lbでは表示ムラが許容可能な画像データと表示ムラが許容可能でない画像データとを適切に分類することができないことは明らかである。
[0048]
 類似度Sは、画像データの表示ムラのパターンが、許容可能な表示ムラのパターンにどれだけ近いかを表している。つまり、類似度Sは表示ムラの強弱の観点で画像データを分析するパラメータではない。表示ムラの強弱の観点で画像データを分析するパラメータは、誤差Lである。類似度Sは正規化されているため、類似度は表示ムラの強弱に関する情報を含まないからである。
 誤差Lが同じで類似度Sが異なる2つの入力画像データr1があった場合、類似度Sの高い方の入力画像データr1は、許容可能な表示ムラに似た表示ムラのパターンを有するため、類似度Sの高い方の入力画像データr1は表示ムラが許容可能である可能性が高いはずである。この性質を利用し、第1実施形態の判定部2Aの関係式は、誤差Lが同じであっても、類似度Sが高い場合には、入力画像データr1が許容可能な画像データに分類されやすくなるように設定されている。また、第1実施形態の判定部2Aの関係式は、誤差Lが同じであっても、類似度Sが低い場合には、入力画像データr1が許容可能でない画像データに分類されやすくなるように設定される。
[0049]
 第1実施形態の判定ステップでは、表示ムラの強弱(ピクセル値)に基づく観点だけでなく、多様な表示ムラのパターンに基づく観点で、表示ムラが許容可能であるか否かを分類するので、画像データがよりきめ細やかに分類される。両方の観点で入力画像データr1を分類することで、図5Aに示すように、表示ムラが許容可能な画像データと表示ムラが許容可能でない画像データとを切り分ける関係式がグラフ上に設定され得る。このため、第1実施形態の判定ステップでは、表示画像の表示ムラが許容可能な画像データであるか否かの判定精度が向上する。
[0050]
 また、図7のフローチャートが学習時に用いられたモニタと異なる種類のモニタに対して適用された場合であっても、第1実施形態と同様の効果が得られる。つまり、表示画像の表示ムラが許容可能な画像データであるか否かを精度よく判定可能である。学習時に用いられたモニタの誤差Lと類似度Sの相関と、学習時に用いられたモニタと異なる種類のモニタの誤差Lと類似度Sの相関とは似通っているためである。
[0051]
5-1.変形例1
 第1実施形態では、表示ムラを、許容可能な画像データと許容可能でない画像データとの2つに分類する形態であったが、それに限定されるものではない。変形例1では、表示ムラを、注意データに分類することができる。具体的には、取得部12Dは、図8に示すように、線La1及び線La2に対応する関係式をそれぞれ取得してもよい。線La1よりも左側の領域Ar1が許容可能な画像データの領域でありとし、線La2よりも右側の領域Ar2が許容可能でない画像データの領域であり、線La1と線La2との間の領域Ar3が注意データの領域である。入力画像データr1のプロットが領域Ar3に位置する場合には、判定部2Aの判定結果は検査員に注意を促す内容とする。許容可能な表示ムラの画像データが主に分布する領域と、許容可能でない画像データが主に分布する領域の境界が明確でない場合には、変形例1のように、分類式を複数設定することで、検査員は、より精度よく且つより慎重に、表示ムラが許容可能であるか否かを判断することができる。なお、変形例1の構成であっても、全ての評価対象モニタ21の表示ムラが注意データに分類されるとは限らない。つまり、変形例1の構成であっても、全ての評価対象モニタ21のうちの一部の表示ムラが、領域Ar1又は領域Ar2に分類され得る。このため、変形例1の構成であっても、評価対象モニタ21の検査時間の増大の抑制効果が得られる。
[0052]
 5-2.変形例2
 変形例2では、処理部3のバンドパスフィルタとして、空間周波数に対して人間の視覚特性をモデル化したコントラスト感度特性関数(CSF: Contrast Sensitivity Function)を適用している。2次元CSFフィルタを用いることにより、人間の視覚特性に応じて表示ムラを際立たせることができる。また、2次元CSFフィルタが特定方向の空間周波数を通す構成を採用することで、特定方向の帯ムラ及び筋ムラを際立たせることもできる。図9に示すように、2次元CSFフィルタ適用した場合には、画像データから処理後画像データDaが生成され、2次元CSFフィルタのうち縦方向のみを通すフィルタを適用した場合には、画像データから処理後画像データDbが生成される。
 5-3.変形例3
 変形例3では、関係式は機械学習により決定する。例えば、関係式に使用される変数を機械学習により決定する。具体的には、ラベリングされた許容可能な画像データのプロット及び許容可能でない画像データのプロットのうち少なくとも一方と、関係式で表さられる曲線又は直線との距離の合計に基づき関係式に使用される変数を決定する。距離を算出する際、プロットからの距離に重み付けをしてもよく、プロットと曲線又は直線とからの距離の合計が最大又は最小になるように関係式に使用される変数を決定してもよい。
 また、誤差L及び類似度Sを機械学習させて、表示ムラが許容可能か否か判定してもよい。例えば、誤差L及び類似度Sと表示ムラが許容可能である確率との関係を機械学習させる。この際、表示ムラが許容可能か否かの判定精度が高くなるように学習させる。確率が所定の閾値以上(又は以下)である画像データのプロットからなる境界を関係式としてもよいし、機械学習された分類器を関係式としてもよい。
 なお、機械学習による分類手法には、例えば、ロジスティック回帰、決定木、k近傍法、サポートベクターマシン、ランダムフォレスト、又は、ニューラルネットワーク等がある。
[0053]
第2実施形態
 第2実施形態は第1実施形態と相違する部分を主に説明し、同様の部分については説明を省略する。図10に示すように、第2実施形態の情報処理システム100の情報処理装置11は、判定部2A及び処理部3を備えている。なお、学習部12Aはデータ生成部2aと同様の機能を有するため、第2実施形態の情報処理システム100の情報処理装置11は、データ生成部2aを有さない。
[0054]
 第2実施形態の情報処理装置1の機能は第1実施形態の情報処理装置1と比較すると制限されている。第2実施形態の情報処理装置1は測定部10から取得した画像データを情報処理装置11に出力するアプリケーションが格納されている。つまり、第2実施形態の情報処理装置1は画像データを情報処理装置11へ出力する機能を有する。また、第2実施形態の情報処理装置1は、出力した画像データの表示ムラが許容可能であるか否かの判定結果を受け取る機能を有する。つまり、第2実施形態は、製造現場に設けられている情報処理装置1が画像データを分析せず、情報処理装置11が画像データを分析する形態である。情報処理装置1が受け取った判定結果は、情報処理装置1のモニタ(図示省略)に表示される。第2実施形態では、製造現場に画像データを分析する機器がなくても、製造現場の検査員は画像データの表示ムラが許容可能であるかを判断することができる。第2実施形態は、情報処理装置1が情報処理装置11に対して遠隔地に配置されている場合や、情報処理装置1を所有する会社と情報処理装置11を所有する会社とが異なる場合に好適である。

符号の説明

[0055]
1:情報処理装置、2A:判定部、2B:誤差算出部、2C:類似度算出部、2a:データ生成部、3:処理部、4:記憶部、5:入出力部、10:測定部、11:情報処理装置、12:演算部、12A:学習部、12A1:エンコーダ、12A2:デコーダ、12B:誤差算出部、12C:類似度算出部、12D:取得部、13:記憶部、14:入出力部、21:評価対象モニタ、22:画像表示部、100:情報処理システム、Ar1:領域、Ar2:領域、Ar3:領域、RS:関係、S:類似度、d1:学習時入力画像データ、d2:学習時出力画像データ、dc:圧縮データ、D1:関係取得用の入力画像データ、D2:関係取得用の出力画像データ、Dc:圧縮データ、r1:入力画像データ、r2:出力画像データ、rc:圧縮データ、dref:基準データ

請求の範囲

[請求項1]
 誤差算出ステップと、類似度算出ステップと、判定ステップとを備え、
 前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、
 前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、
 前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、方法。
[請求項2]
 請求項1に記載の方法であって、
 取得ステップを更に備え、
 前記取得ステップでは、複数の前記入力画像データのそれぞれについて第1及び第2ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記関係を取得し、
 第1ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、
 第2ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出する、方法。
[請求項3]
 請求項1又は請求項2に記載の方法であって、
 前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、
 前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法。
[請求項4]
 請求項3に記載の方法であって、
 前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、
 前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法。
[請求項5]
 コンピュータに、誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理を実行させ、
 前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、
 前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、
 前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、コンピュータプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]