処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020121115 - コンテンツの分類方法および分類モデルの生成方法

Document

明 細 書

発明の名称

技術分野

0001   0002  

背景技術

0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008   0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023  

発明の効果

0024   0025   0026  

図面の簡単な説明

0027  

発明を実施するための形態

0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115  

符号の説明

0116  

請求の範囲

1   2   3   4   5   6   7   8   9  

図面

1   2   3   4   5A   5B   6   7   8   9   10  

明 細 書

発明の名称 : コンテンツの分類方法および分類モデルの生成方法

技術分野

[0001]
 本発明の一態様は、コンピュータ装置を利用したコンテンツの分類方法、コンテンツの分類システム、分類モデルの生成方法、およびグラフィカルユーザインターフェースに関する。
[0002]
 なお、本発明の一態様は、コンピュータ装置に関する。本発明の一態様は、コンピュータ装置を利用した電子化されたコンテンツ(テキストデータ、画像データ、音声データ、または動画データ)の分類方法に関する。特に、本発明の一態様は、コンテンツの集まりから機械学習を用いて効率的に分類するコンテンツの分類システムに関する。なお、本発明の一態様は、コンピュータ装置がプログラムによって管理するグラフィカルユーザインターフェースを用いたコンテンツの分類方法、コンテンツの分類システム、および分類モデルの生成方法に関する。

背景技術

[0003]
 ユーザは、コンテンツの集まりから、ユーザの指定するトピックスに関する情報を容易に分類し、且つ抽出したいと考えている。但し、大量のコンテンツから目的の条件に合ったコンテンツを分類する場合、個人が有する知識、または経験などによりコンテンツの分類結果にばらつきが生じる。
[0004]
 近年では、個人が有する知識、経験によって分類されたコンテンツの分類結果を教師データとしてコンピュータ装置に与え、コンテンツの分類方法を機械学習させる提案がされている。例えば特許文献1では、ユーザの指定するトピックスと関連性の高いドキュメントを決定するための機械学習のアプローチが開示されている。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2009−104630号公報

発明の概要

発明が解決しようとする課題

[0006]
 あるコンテンツの集合を目的に即して分類を行う場合がある。本発明の一態様では、コンテンツが、特許の場合について説明する。特許には、それぞれ固有の特許番号が与えられている。したがって以降では、コンテンツを特許番号と言い換えて説明する場合がある。なお、本発明の一態様で扱うコンテンツの分類方法では、特許番号に与えられる複数の管理パラメータに着目する。但し、コンテンツは、特許文献に限定されない。コンテンツは、テキストデータ、画像データ、音声データ、または動画データなどの情報を扱うことができる。
[0007]
 コンテンツは、様々なメタ情報を用いて管理されている。メタ情報とは、あるコンテンツそのものではなく、そのコンテンツが属する属性、または関連する情報を記述するデータを示す。一例として特許番号には、コンテンツの内容として特許請求の範囲、要約書、図面、および明細書が関連付けられている。さらに特許番号には、メタ情報(評価情報、経過日数、ファミリー情報など)が与えられ、メタ情報を用いた管理がされている。特許番号は、メタ情報を用いることで重要度に応じた分類が行われる。分類の精度や効率は、対象となる文書の内容にもよるが、ユーザの経験や熟練により差が出やすく、また、大量の文書を分類する必要があり、効率化の課題があった。
[0008]
 機械学習を用いた分類モデルの生成には、大量の学習データを用意する必要があるためユーザに過度の負担を強いる、という課題がある。学習データに含まれる分類されたコンテンツ数のばらつきが分類モデルの精度に影響を与える、という課題がある。
[0009]
 上記問題に鑑み、本発明の一態様は、効率良く分類モデルを生成し、それを用いて情報を分類する方法を提供することを課題の一とする。または、本発明の一態様は、対話的に分類モデルを生成するためのグラフィカルユーザインターフェースを提供することを課題の一とする。または、本発明の一態様は、確率の高い情報を分類するプログラムを提供することを課題の一とする。
[0010]
 なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

課題を解決するための手段

[0011]
 コンピュータ装置が有する記憶装置には、プログラムが保存されている。プログラムは、コンピュータ装置が有する表示装置にグラフィカルユーザインターフェース(以下、GUI)を介して様々な情報を表示することができる。なお、ユーザは、GUIを介してコンピュータ装置にプログラムの操作、情報の付与、データベースに対する応答、機械学習の指示などを行えるものとする。また、プログラムは、GUIを介して機械学習による演算処理結果、データベースから学習用コンテンツまたは未分類のコンテンツをダウンロードした内容などを表示装置に表示することができる。なお、以降において、単にコンテンツと記す場合は、学習用コンテンツ、未分類のコンテンツ、または分類済コンテンツを含む。
[0012]
 提案するコンテンツの分類システムは、機械学習を利用してコンテンツの分類モデルを生成し、生成されるコンテンツの分類モデルを用いて、未分類のコンテンツを分類する。例えば、複数のメタ情報を有するコンテンツを学習用コンテンツとする。学習用コンテンツは、さらに学習用ラベルが付与されることで学習用コンテンツから特徴ベクトルを生成する。なお特徴ベクトルを生成する場合、メタ情報または学習用ラベルは、学習用コンテンツの特徴量として扱うことができる。
[0013]
 学習用コンテンツは、教師データとして扱われる。分類モデルは、学習用コンテンツを基に機械学習を行うことで取得することができる。ここで得られる分類モデルは、複数のメタ情報を有するコンテンツの分類を行う。なお、分類の種類は、ユーザの目的により2種類でも良いし、3種類以上としても良い。ユーザは、分類モデルを利用することで、全ての文書を手作業または目視で判断するよりも短い時間で文書全体の分類を行うことが可能となる。
[0014]
 なお、学習用コンテンツは、データベースに保存されている学習用コンテンツからダウンロードすることができる。もしくは、コンピュータ装置の記憶装置に保存されている学習用コンテンツを用いることができる。なお、学習用コンテンツには、学習用ラベルが含まれて管理されていてもよい。さらに、データベースに保存されている分類モデルをダウンロードしてもよい。もしくは、コンピュータ装置の記憶装置に保存されている分類モデルを用いてもよい。
[0015]
 本発明の一態様は、学習用コンテンツと、コンテンツと、を有し、学習用コンテンツには、第1の特徴量および学習用ラベルが付与され、コンテンツには、第2の特徴量が付与される。複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、複数の第1の分類モデルを用いて第2の分類モデルを生成するステップと、第2の分類モデルを用いて複数のコンテンツに判定情報を付与しグラフィカルユーザインターフェース内に表示するステップと、を含むコンテンツの分類方法である。
[0016]
 本発明の一態様は、学習用コンテンツと、コンテンツと、を有し、学習用コンテンツには、第1の特徴量および学習用ラベルが付与され、コンテンツには、第2の特徴量が付与される。複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、複数の第1の分類モデルの出力から平均値を算出するステップと、複数の平均値を用いて第2の分類モデルを生成するステップと、第2の分類モデルを用いて複数のコンテンツに判定情報を付与しグラフィカルユーザインターフェース内に表示するステップと、を含むコンテンツの分類方法である。
[0017]
 本発明の一態様は、学習用コンテンツと、コンテンツと、を有し、学習用コンテンツには、第1の特徴量および学習用ラベルが付与され、コンテンツには、第2の特徴量が付与される。複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、複数の第1の分類モデルがそれぞれ第一の評価基準による評価をするステップと、複数の第1の分類モデルがそれぞれ第二の評価基準による評価をするステップと、複数の第一の評価基準による評価結果と、第二の評価基準と、による評価結果から第2の分類モデルを生成するステップと、第2の分類モデルを用いて複数のコンテンツに判定情報を付与しグラフィカルユーザインターフェース内に表示するステップと、を含むコンテンツの分類方法である。
[0018]
 上記構成において、第一の評価基準は精度(Precision)であり、第二の評価基準は感度(Sensitivity)であるコンテンツの分類方法が好ましい。
[0019]
 上記各構成において、任意の学習用コンテンツを用いて第1の分類モデルを生成するステップを含むコンテンツの分類方法が好ましい。
[0020]
 上記各構成において、学習用コンテンツには、さらに分類情報が与えられ、第2の分類モデルの出力を用いて分類ラベルが付与された複数のコンテンツから分類情報と同じ判定情報を有するコンテンツを選択してグラフィカルユーザインターフェース内に表示するステップと、を含むコンテンツの分類方法が好ましい。
[0021]
 上記各構成において、学習用コンテンツ又コンテンツに与えられる特徴量は、管理パラメータであるコンテンツの分類方法が好ましい。
[0022]
 上記各構成において、判定情報には、分類ラベルまたはスコアを含むコンテンツの分類方法が好ましい。
[0023]
 上記構成において、グラフィカルユーザインターフェースは、スコアのうち特定の数値範囲を指定し、該当するコンテンツをリストとして表示するステップを含むコンテンツの分類方法が好ましい。

発明の効果

[0024]
 本発明の一態様は、精度良く情報を分類する方法を提供することができる。または、本発明の一態様は、精度良く情報を分類するユーザインターフェースを提供することができる。または、本発明の一態様は、精度良く情報を分類するプログラムを提供することができる。
[0025]
 また、本発明の一態様は、機械学習を利用した分類モデルを生成するための対話的なインターフェースをユーザに提供することができ、教師データの用意や学習結果の評価といったユーザの負担を軽減することができる。
[0026]
 なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、および/または他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。

図面の簡単な説明

[0027]
図1は、分類方法を説明するフローチャートである。
図2は、分類方法を説明するフローチャートである。
図3は、分類システム100と、ネットワークとの接続について説明する図である。
図4は、分類システムを説明するブロック図である。
図5A、図5Bは、グラフィカルユーザインターフェースを説明する図である。
図6は、分類モデルの生成方法を説明する図である。
図7は、分類モデルの生成方法を説明する図である。
図8は、分類モデルの生成方法を説明する図である。
図9は、グラフィカルユーザインターフェースを説明する図である。
図10は、グラフィカルユーザインターフェースを説明する図である。

発明を実施するための形態

[0028]
 本実施の形態では、コンテンツの分類方法について図1乃至図10を用いて説明する。
[0029]
 本実施の形態で説明するコンテンツの分類方法は、コンピュータ装置上で動作するプログラムによって制御される。プログラムは、コンピュータ装置が有するメモリ、またはストレージに保存されている。もしくは、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなど)を介して接続されているコンピュータ、またはデータベースを有するサーバコンピュータに保存されている。
[0030]
 なお、コンピュータ装置が有する表示装置には、ユーザがプログラムに与えるデータと、当該データをコンピュータ装置が有する演算装置によって演算した結果を表示することができる。なお、装置の構成に関しては、図4を用いて詳細に説明をする。
[0031]
 表示装置に表示されるデータは、例えばリスト化された表示形式に従うことで、ユーザが認識しやすくなり、操作性が向上する。したがってユーザが、表示装置を介してコンピュータ装置が有するプログラムと簡便にやり取りするためのインターフェースをGUIとして説明する。
[0032]
 ユーザは、GUIを介してプログラムが有するコンテンツの分類方法を利用することができる。ユーザは、GUIを用いてコンテンツの分類操作を簡便にすることができる。また、ユーザは、GUIを介することでコンテンツの分類結果を視覚的に判断しやすくなる。また、ユーザは、GUIを介することでプログラムを簡便に操作することができる。なお、当該コンテンツとは、テキストデータ、画像データ、音声データ、または動画データなどの情報を示している。
[0033]
 次に、GUIを用いたコンテンツの分類方法を、GUIの操作手順に従い説明する。最初に、データ処理部について説明する。データ処理部は、データ収集部とデータ生成部を有する。例えば、データ収集部は、GUIを介してデータベースから複数のコンテンツからなるファイルを取得する。また、データ生成部は、ユーザがGUIを介してコンテンツに対して学習用ラベルを付与することで学習用コンテンツを生成することができる。もしくは、学習用ラベルが付与された学習用コンテンツをデータベースから取得してもよい。なお、複数のコンテンツとは、コンピュータ装置が有するメモリまたはストレージに保存されているファイル、もしくはネットワークに接続されたデータベース、コンピュータ、またはデータサーバなどに保存されているデータである。
[0034]
 したがって、当該データベースには、複数の学習用コンテンツまたは複数の未分類のコンテンツがリスト化されて保存されていることが好ましい。なお、学習用コンテンツおよび未分類のコンテンツには、複数の特徴量と学習用ラベルが付与されている。当該学習用ラベルは、GUIを介してユーザが修正することができる。当該学習用ラベルを学習用コンテンツに付与した場合、学習用ラベルが付与された学習用コンテンツは、データベースに保存することができる。
[0035]
 学習用コンテンツには、学習用ラベルが付与されない検証用コンテンツを含むことができる。検証用コンテンツは、学習用コンテンツを用いて生成する分類モデルを検証するために用いることができる。
[0036]
 一例として、コンテンツが、特許番号の場合について説明する。特許番号には、特許番号の特徴量として複数のメタ情報が付与される。一例として、メタ情報には、評価情報、経過日数、ファミリーの数、ファミリーの状態、出願種別、ライフ、ファミリー内のペンディング数、ファミリー内の放棄数、費用、発明者数、分野、またはクレーム数などがある。つまり、メタ情報とは、コンテンツの管理パラメータである。なお、ファミリーには、特許ファミリー、またはパテントファミリーなどが含まれる。
[0037]
 次に、学習処理部について説明する。学習処理部では、学習用コンテンツを用いて分類モデルを生成するステップを有する。学習処理部は、分類モデル生成部、または分類モデル評価部を有する。
[0038]
 分類モデル生成部は、分類モデルを生成することができる。分類モデル生成部は、複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップを含み、当該複数の第1の分類モデルを用いて第2の分類モデルを生成するステップを含む。第1の分類モデルまたは第2の分類モデルの出力値をGUIに表示することができる。ユーザは、当該出力値に対する第1の分類モデルの学習用ラベルを付与(修正を含む)することができる。もしくは、ユーザは、当該出力値に対する新しい学習用コンテンツを追加することができる。
[0039]
 分類モデル評価部は、検証用コンテンツを用いて分類モデル生成部で生成される分類モデルを評価する。当該分類モデルを用いて検証用コンテンツを推論する場合、当該分類モデルは、推論した結果を判定情報として出力する。GUIは、それぞれの評価用コンテンツに判定情報を付与して表示することができる。
[0040]
 なお、ユーザは、分類モデル評価部の出力結果を判定し、必要に応じて学習用ラベルを修正し、分類モデル生成部にて分類モデルを更新することができる。または、学習用コンテンツを、追加することで、分類モデル生成部にて分類モデルを更新することができる。
[0041]
 次に判定処理部について説明する。判定処理部では、分類推論部とリスト生成部を有する。例えば、分類推論部は、分類モデル生成部で生成される第1の学習モデルと第2の学習モデルを用いて複数の未分類のコンテンツを推論し分類する。当該分類モデルは、それぞれのコンテンツに対し推論結果を判定情報として付与する。
[0042]
 リスト生成部は、当該判定情報が与えられたコンテンツからユーザの求める形式のリストを生成しGUIに表示することができる。例えば、それぞれのコンテンツが出願国ごとに管理されている場合、出願国を分類情報とすることができる。出願国を分類情報とする場合、生成される分類モデルは、出願国ごとに異なる分類モデルを生成することが好ましい。なお分類情報は、出願国に限定されない。例えば、コンテンツが有するメタ情報の一つを分類情報とすることができる。
[0043]
 メタ情報を分類情報とする場合について説明する。例えば、特許ファミリーの状態を分類情報としてもよい。特許番号には、親出願の特許番号、分割出願の特許番号などがメタ情報で与えられている場合がある。親出願の特許番号から分割出願が可能な状態、親出願の特許番号から分割出願が不可能な状態、親出願の特許番号が権利持続中の状態、親出願の特許番号が権利喪失の状態、分割出願の特許番号からさらに分割出願が可能な状態、分割出願の特許番号からさらに分割出願が不可能な状態、分割出願の特許番号が権利持続中の状態、分割出願の特許番号が権利喪失の状態などによって、異なる分類モデルを生成し、当該分類モデルを用いてそれぞれ推論することができる。
[0044]
 つまり、判定処理部は、分類モデルを用いて複数の未分類のコンテンツを推論することができる。推論される結果は、それぞれのコンテンツに判定情報として付与しGUIに表示するステップを含む。判定情報には、少なくとも分類ラベルと、スコア(確率)と、が含まれる。また、GUIは、スコアのうち特定の数値範囲を指定し、該当するコンテンツをリストとして表示するステップが含まれる。
[0045]
 上述した分類モデル生成部とは異なる例を示す。分類モデル生成部は、複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、当該複数の第1の分類モデルの出力から平均値を算出するステップと、複数の当該平均値を用いて第2の分類モデルを生成するステップと、を含む。なお、第1の分類モデルまたは第2の分類モデルの出力値をGUIに表示することができる。ユーザは、当該出力値に対して、第1の分類モデルの学習用ラベルを修正することができる。もしくは、ユーザは、当該出力値に対して学習用コンテンツを追加することができる。なお、当該平均値とは、相加平均計算、相乗平均計算、または調和平均計算のいずれか一を用いて算出することを意味する。
[0046]
 第2の分類モデルは、複数の当該平均値を用いて生成される。第2の分類モデルでは、第1の分類モデルの出力が平均化されるため学習用コンテンツが有する外れ値などのノイズ成分の影響を低減することができる。
[0047]
 次に、上述した分類モデル生成部とは異なる例を示す。分類モデル生成部は、複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、複数の第1の分類モデルがそれぞれ第一の評価基準による評価をするステップと、複数の第1の分類モデルがそれぞれ第二の評価基準による評価をするステップと、複数の第一の評価基準による評価結果と第二の評価基準による評価結果から第2の分類モデルを生成するステップと、を含む。なお、第1の分類モデルまたは第2の分類モデルの出力値は、GUIに表示することができる。ユーザは、当該出力値に対して、第1の分類モデルの学習用ラベルを修正することができる。もしくは、ユーザは、当該出力値に対して学習用コンテンツを追加することができる。なお、第一の評価基準は混同行列の精度であり、第二の評価基準は混同行列の感度である。
[0048]
 複数の第1の分類モデルの出力を、第一の評価基準および第二の評価基準により評価した結果を用いて第2の分類モデルを生成する。なお、第一の評価基準では、混同行列の精度を学習用ラベルに対する適合率と言い換えることができる。第二の評価基準では、混同行列の感度を学習用ラベルに対する再現率と言い換えることができる。よって生成される分類モデルは、複数の第1の分類モデルの当該適合率および当該再現率を含むことができる。当該複数の第1の分類モデルを用いて生成する第2の分類モデルは、分類精度が向上する。
[0049]
 上述した分類モデル生成部において、例えば、生成されたm個(mは自然数を表す)の第1の分類モデルを用いて第2の分類モデルを生成してもよい。
[0050]
 なお、上述した分類モデル生成部がk個(kは自然数を表す)の学習用コンテンツを有する場合、第1の分類モデルは、k個以下の任意の学習用コンテンツを生成することができる。また、学習用コンテンツがk個選択される場合、任意の学習用コンテンツは、異なる2つの学習用モデルを含むことができる。また、k個の異なる番号が付与された学習用コンテンツは、番号によってソートされる順に従いq個(qは自然数を表す)ずつを用いて第1の分類モデルを生成することができる。
[0051]
 プログラムは、データベースから読み込んだコンテンツをGUIに表示することができる。コンテンツは、リスト化されたメタ情報を有することが好ましい。GUIは、GUIが有する表示形式に従い当該コンテンツを表示する。なお、コンテンツに付与されるリスト化されたメタ情報は、レコードと呼ばれる単位で管理されることが好ましい。例えば、それぞれのレコードは、番号に紐つけられたID(Identification)、コンテンツ(画像データ、音声データ、または動画データ)、またはメタ情報などによって構成される。
[0052]
 本明細書では、メタ情報に着目して機械学習し、当該機械学習によって分類モデルを生成する。分類モデルは、メタ情報を解析して特徴ベクトル化されたコンテンツを分類する。
[0053]
 また、上述したコンテンツの分類方法では、学習用ラベルを教師データとして用いない機械学習による分類を行うことができる。例えば、分類モデルには、K−means、またはDBSCAN(density−based spatial clustering of applications with noise)などのアルゴリズムを用いることができる。
[0054]
 また、プログラムは、複数のメタ情報および学習用ラベルが付与された学習用コンテンツを用いて機械学習を用いて分類モデルを生成することができる。分類モデルには、決定木、ナイーブベイズ、KNN(k Nearest Neighbor)、SVM(Support Vector Machines)、パーセプトロン、ロジスティック回帰、またはニューラルネットワークなどのアルゴリズムを用いることができる。
[0055]
 さらに、プログラムは、学習用コンテンツの数に応じて分類モデルを切り替えることができる。例えば、学習用コンテンツの数が少ないときは決定木、ナイーブベイズ、ロジスティック回帰、学習用コンテンツの数が一定量以上あればSVM、ランダムフォレスト、ニューラルネットワークを用いるとしてもよい。なお、本実施の形態で使用する分類モデルは、決定木のアルゴリズムの一つであるランダムフォレストを用いている。さらに、メタ情報の選択方法、学習用コンテンツの選択方法、または第1の分類モデルの選択方法としてランダムサンプリングまたはクロスバリエーションを用いることができる。もしくは、付与された番号のソートされる順に従いq個ずつを選択することができる。
[0056]
 続いて、図面を用いてコンテンツの分類方法を説明する。図1は、本実施の一態様であるコンテンツの分類方法を説明するフローチャートである。なお、コンテンツの分類方法は、コンピュータ装置上で動作するプログラムによって制御される。したがって、プログラムが、データ処理部、学習処理部、または判定処理部を有することでコンテンツを分類することができる。プログラムは、GUIを介してユーザの求めるコンテンツの分類をすることができる。つまり上述したそれぞれの処理部で処理される内容は、プログラムのステップに相当する。
[0057]
 ステップS11では、ユーザがGUIを介してコンテンツが含まれるファイルをロードする指示をすることができる。当該ファイルは、データ処理部が有するデータベースに保存されている。なお、ファイルには、学習用コンテンツ、未分類のコンテンツなどが含まれる。
[0058]
 したがって、当該データベースには、複数の学習用コンテンツ、または複数の未分類のコンテンツがリスト化されて保存されていることが好ましい。ユーザは、GUIに表示されている学習用コンテンツの学習用ラベルを付与もしくは修正することができる。なお、ファイルには、学習用ラベルが付与されていない検証用コンテンツを含むことができる。
[0059]
 ステップS12は、ロードしたファイルを用いて分類モデルを生成する学習処理部である。生成した分類モデルは、検証用コンテンツを評価し、評価結果をGUIに表示することができる。ユーザは、当該評価結果に対し、学習用ラベルの修正、学習用コンテンツの追加などを指示することができる。
[0060]
 なお、ユーザは、学習用コンテンツの有するメタ情報の経時的変化を予測し、メタ情報を更新することができる。ユーザがメタ情報を更新する場合、分類モデルは、分類モデルの経時的な変化を含むことができる。したがって、ユーザは、コンテンツの経時的な分類の変化を得ることができる。分類モデルは、価値が増大していくと予想されるコンテンツ群、または価値が減少していくと予想されるコンテンツ群を分類することができる。
[0061]
 ステップS13は、判定処理部である。ステップS12で生成される分類モデルを用いて未分類のコンテンツを推論する。当該分類モデルは、未分類のコンテンツに対し推論結果をもとに判定情報を付与することができる。判定処理部では、当該判定情報が与えられたコンテンツをユーザの求める形式でGUIに表示することができる。当該判定情報には、少なくとも分類ラベルと、スコアと、が含まれる。また、GUIは、スコアのうち特定の数値範囲を指定し、該当するコンテンツを表示することができる。
[0062]
 続いて、図2では、図1のフローチャートをより詳細に説明する。まず、ステップS11の詳細について説明する。ステップS11のデータ処理部は、ステップS21のデータ収集部およびステップS22のデータ生成部を有する。
[0063]
 ステップS21のデータ収集部について説明する。ステップS21のデータ収集部は、データベースからファイルをロードすることができる。なお、メタ情報またはコンテンツなどは、異なるデータベースによって管理することができる。メタ情報は、コンテンツを扱う会社、組織、またはユーザにおいて異なる場合がある。したがって、データ収集部は、異なるデータベースからコンテンツに関するメタ情報を集める機能を有する。なお、それぞれのデータベースは、異なる建物、異なる地域、または異なる国に設置することができる。
[0064]
 次にステップS22のデータ生成部について説明する。データ生成部は、レコードと呼ばれる単位でコンテンツとメタ情報を管理することができる。例えば、それぞれのレコードは、番号に紐つけられたID、コンテンツ(画像データ、音声データ、または動画データ)、またはメタ情報などによって構成される。また、ユーザは、GUIに表示されるコンテンツに対して学習用ラベルを付与することで、学習用コンテンツを生成することができる。
[0065]
 続いて、ステップS12の詳細について説明する。ステップS12の学習処理部は、ステップS23の分類モデル生成部、ステップS24の分類モデル評価部、およびステップS25の出力結果判定処理を有する。
[0066]
 ステップS23の分類モデル生成部について説明する。分類モデル生成部は、コンテンツの分類モデルを生成することができる。分類モデル生成部は、複数の学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成することができる。当該複数の第1の分類モデルを用いて第2の分類モデルを生成することができる。GUIは、第1の分類モデルまたは第2の分類モデルの出力値を表示することができる。
[0067]
 なお、後述するステップS25の出力結果判定処理後、ユーザは、当該出力値に対する第1の分類モデルの学習用ラベルを付与(修正を含む)することができる。もしくは、ユーザは、当該出力値に対する新しい学習用コンテンツを追加することができる。学習用コンテンツが有するメタ情報の経時的変化を予測し、メタ情報を更新することができる。なお、ユーザによるメタ情報を更新することで得られる効果は、ステップS12の説明を参酌することができる。
[0068]
 次にステップS24の分類モデル評価部について説明する。分類モデル評価部は、検証用コンテンツを用いることで、分類モデル生成部で生成される分類モデルを評価することができる。当該分類モデルは、検証用コンテンツを推論した結果を判定情報として出力する。GUIは、それぞれの評価用コンテンツに判定情報を付与して表示することができる。
[0069]
 次にステップS25の出力結果判定処理について説明する。例えば、ユーザは、ステップS24の分類モデル評価部の出力結果を判断し、コンテンツの分類モデルが十分に学習したと判定することができる。ユーザは、GUIに対し分類モデルの生成完了(OK)の指示を与える。例えば、ユーザがコンテンツの分類モデルの学習が不十分(NG)と判定することができる。ユーザは、ステップS23に戻り学習用ラベルの変更、学習用コンテンツの追加、またはメタ情報の更新などにより分類モデルを更新する。
[0070]
 続いて、ステップS13の詳細について説明する。ステップS13の判定処理部は、ステップS26の分類推論部、およびステップS27のリスト作成部を有する。
[0071]
 ステップS26の分類推論部について説明する。分類推論部は、分類モデル生成部で生成される第1の学習モデルと第2の学習モデルを用いて複数の未分類のコンテンツを推論し分類する。なお、分類推論部にはステップS22のデータ生成部で生成された未分類のコンテンツが与えられる。当該分類モデルは、それぞれのコンテンツに対し推論結果を判定情報として付与する。
[0072]
 ステップS27のリスト作成部について説明する。リスト生成部は、当該判定情報が与えられたコンテンツをユーザの求める形式にリスト化しGUIに表示することができる。なお、それぞれのコンテンツには、メタ情報とは異なる分類情報が与えられてもよい。例えば、分類情報が学習用コンテンツに与えられている場合、生成される分類モデルは、分類情報ごとに異なる分類モデルを生成することができる。もしくは、コンテンツが有するメタ情報の一つを分類情報とすることができる。
[0073]
 なお、当該判定情報には、少なくとも分類ラベルと、スコアとが含まれる。また、GUIは、スコアのうち特定の数値範囲を指定し、該当するコンテンツをリスト化してGUIに表示することができる。
[0074]
 図3は、上述したコンテンツの分類方法を有する分類システム100と、ネットワーク(NetWork)との接続について説明する図である。
[0075]
 分類システム100は、通信網LAN1と接続される。通信網LAN1には、データベースDB1、またはクライアントコンピュータCL1乃至CLn(nは自然数である)などが接続されている。また、通信網LAN1は、ネットワークを介して通信網LAN2と接続することができる。なお、ネットワークは、インターネット、通信網WAN、もしくは衛星通信を用いることができる。通信網LAN2には、データベースDB2、またはクライアントコンピュータCL11乃至CL1nなどが接続されている。
[0076]
 分類システム100は、データベースDB1、データベースDB2、クライアントコンピュータCL1乃至CLn、またはクライアントコンピュータCL11乃至CL1nに記憶されているコンテンツを含むファイルを用いて、コンテンツの生成、コンテンツの分類、モデル生成、且つ未分類のコンテンツを分類することができる。
[0077]
 また、ユーザは、分類システム100で動作するプログラムから、GUIに対して指示を出すことができる。例えば、ユーザは、インターネットを介して異なる国に設置されたデータベースの情報を用いて上述した分類モデルを生成し、未分類のコンテンツを分類することができる。つまり、コンテンツまたはメタ情報は、異なるデータベースまたはクライアントコンピュータに記憶されていてもよい。
[0078]
 なお、GUIは、データベースDB1、データベースDB2、クライアントコンピュータCL1乃至CLn、またはクライアントコンピュータCL11乃至CL1nのコンピュータ装置の記憶装置に記憶された分類システム100によって分類された分類結果を表示することができる。
[0079]
 図4は、図3で説明した分類システム100を説明するブロック図である。分類システム100は、GUI(Graphical User Interface)110、演算部120、および記憶部130を有している。GUI110は、入力部111および出力部112を有している。入力部111は、コンテンツのロード元を選択する機能と、学習用ラベルを入力する機能とを有する。出力部112は、データベースなどからロードしたコンテンツリストを表示する機能と、分類モデルが出力する判定情報を表示する機能とを有する。なお表示されるコンテンツに含まれるメタ情報は、GUIを介してユーザが修正することができる。
[0080]
 演算部120は、データ処理部121、学習処理部122、および判定処理部123を有している。データ処理部121は、データ収集部およびデータ生成部を有している。学習処理部122は、分類モデルを作成する分類モデル生成部、および分類モデルを分類する分類モデル評価部を有している。なお、分類モデル評価部の出力結果は、ユーザによる判定が行われる評価結果判定処理の機能を有している。判定処理部123は、分類推論部と、分類推論部によって分類された結果をリスト化する出力リスト作成部を有する。演算部120は、コンピュータ装置が有する記憶部に記憶されたプログラムがマイクロプロセッサを用いて演算処理する。ただし、プログラムは、DSP(Digtal signal Processor)、またはGPU(Graphics Processing Unit)を用いて演算処理することができる。
[0081]
 記憶部130には、データベースなどからロードして生成したコンテンツおよびメタ情報がリスト化されて一時的に記憶される。
[0082]
 記憶部130は、例えば、1T(トランジスタ)1C(容量)型のメモリセルを備えたDRAM(ダイナミックランダムアクセスメモリ)を用いることができる。なお、DRAMのメモリセルに用いられるトランジスタは、OSトランジスタを用いてもよい。OSトランジスタは、半導体層に金属酸化物を有するトランジスタである。メモリセルにOSトランジスタが用いられるメモリ装置を「OSメモリ」と呼ぶ。ここでは、OSメモリの一例として、1T1C型のメモリセルを有するRAMのことを、「DOSRAM(Dynamic Oxide Semiconductor RAM)」と呼ぶ。
[0083]
 OSトランジスタのオフ電流は非常に小さい。したがってDOSRAMは、リフレッシュの頻度を低減できるためリフレッシュ動作に要する電力を削減できる。ここでいう、オフ電流とは、トランジスタがオフ状態の場合、ソースとドレインとの間に流れる電流をいう。トランジスタがnチャネル型である場合、例えば、しきい値電圧が0V乃至2V程度であれば、ゲートとソース間の電圧が負の電圧であるときのソースとドレインとの間に流れる電流をオフ電流と呼ぶことができる。
[0084]
 図5Aは、GUI30の構成を説明する図である。GUI30は、一例として、p個の学習用コンテンツをリスト表示する管理画面を示す。学習用コンテンツは、レコード単位で管理される。当該レコードには、番号(No)31、コンテンツ(ID)32、特徴量を示すメタ情報(Feature)33(メタ情報(F1)33a乃至メタ情報(Fm)33m)、分類情報(Case)34(分類情報(C1)34a乃至分類情報(Cq)34q)、学習用ラベル(J−Label)35などが含まれる。一例として、図5Aでは、学習用ラベル35が、“Yes”、“No”の2値のいずれかの値を与えるが、学習用ラベル35は、2値に限定されず、3値以上でもよい。
[0085]
 図5Bは、GUI30Aの構成を説明する図である。GUI30Aは、評価推論部にてn個の未分類のコンテンツを推論し、当該推論した判定情報をリスト表示する管理画面を示す。未分類のコンテンツは、学習用コンテンツと同じく、番号31、コンテンツ32、メタ情報33、分類情報34を有する。さらに、それぞれのレコードには、分類ラベル(A−Label)36、スコア(Score)37が判定情報として付与される。
[0086]
 なお、GUI30およびGUI30Aは、同じ表示画面で管理することができる。後述する図9または図10では、学習用コンテンツと判定情報とを同じ管理画面に表示することができるGUIの表示例を示す。
[0087]
 図6は、機械学習によって上述した学習用コンテンツSampleに関連付けられた複数の特徴Featureを用いて分類モデルを生成する方法を説明する図である。特徴Featureは、それぞれがメタ情報のいずれか一を示し、コンテンツを管理するための管理パラメータに相当する。なお、本実施の一態様では、演算部F、演算部S、演算部V、第1の分類モデル、および第2の分類モデルを用いて分類モデルの生成方法を説明する。
[0088]
 学習用コンテンツSample(1)乃至学習用コンテンツSample(k)は、それぞれj個の特徴Feature、および学習用ラベルLabelが付与されている。一例として、演算部F1は、学習用コンテンツSample(1)からコンピュータが処理できる形式の特徴ベクトルVlabel1(1)を生成することができる。また、演算部Fkは、学習用コンテンツSample(k)からコンピュータが処理できる形式の特徴ベクトルVlabel1(k)を生成することができる。なお、特徴ベクトルVlabel1(1)は、演算部F1がそれぞれの特徴に対して異なる重み係数を与えることで生成することができる。また、特徴ベクトルVlabel1(1)は、ランダムに選択されるj個以下の特徴Featureを用いて生成することができる。
[0089]
 次に、複数の第1の分類モデルを生成する。演算部S1乃至演算部Smは、それぞれ異なる第1の分類モデルに相当する。一例として、演算部S1が特徴ベクトルVlabel1(1)乃至特徴ベクトルVlabel1(k)を用いて第1の分類モデルを生成することができる。なお、演算部S1に与えられる特徴ベクトルVlabel1はk個以下であればよい。異なる例として、演算部Smが異なる特徴ベクトルVlabel1(1)乃至特徴ベクトルVlabel1(k)を用いて第1の分類モデルを生成することができる。よって、異なる2つの第1の分類モデルは、それぞれk個以下の特徴ベクトルVlabel1を含み、且つ、特徴ベクトルVlabel1のいずれか一が同じ特徴ベクトルを含むことができる。
[0090]
 第1の分類モデルを生成するために選択されるk個の学習用コンテンツSampleは、ランダムに選択されてもよいし、学習用コンテンツに付与された番号でソートされた順番に選択してもよい。学習用コンテンツがランダムに選択される場合、第1の分類モデルは学習用コンテンツのばらつきを含むことができる。また、学習用コンテンツに付与された番号でソートされた順番に選択される場合、時系列、またはメタ情報のいずれか一の特徴に基づいて付与された番号に沿った傾向を含むことができる。
[0091]
 したがって、第1の分類モデルは、学習用コンテンツSample(1)乃至学習用コンテンツSample(k)から生成される特徴ベクトルVlabel1を用いて特徴ベクトルVlabel2を生成することができる。
[0092]
 第2の分類モデルは、演算部V1によって生成される。一例として、演算部V1は、m個の特徴ベクトルVlabel2を用いて第2の分類モデルを生成するステップを有する。なお、第2の分類モデルは、特徴ベクトルVlabel2(1)乃至特徴ベクトルVlabel2(m)を用いることで異なる特徴を有する分類モデルを生成することができる。
[0093]
 したがって、第2の分類モデルは、学習用コンテンツSample(1)乃至学習用コンテンツSample(k)から生成される特徴ベクトルVlabel1を用いて出力値POUTを出力することができる。GUIは、出力値POUTを表示することができる。なお、出力値POUTには、判定情報である分類ラベルと、スコアとが含まれる。したがって、第2の分類モデルは、コンテンツの分類を行うことができる。また第2の分類モデルは、それぞれのコンテンツに判定情報を付与することができる。
[0094]
 図6で説明した当該分類モデルを用いて推論するには、当該分類モデルの学習用コンテンツSampleに未分類のコンテンツを与えることで判定結果を得る。ただし、未分類のコンテンツには、学習用コンテンツと異なり学習用ラベルが付与されていない。
[0095]
 図7は、図6と異なる分類モデルを生成する方法を説明する図である。図7では、図6と異なる点について説明し、発明の構成(または実施例の構成)において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
[0096]
 図7では、m個の特徴ベクトルVlabel2の平均値Avを算出し、特徴ベクトルVlabel_aを生成する。第2の分類モデルは、p個の特徴ベクトルVlabel_aを用いて生成することができる。第2の分類モデルは、m個の特徴ベクトルVlabel2の平均値Avを算出することで、異なる特徴を有する分類モデルを生成することができる。生成される分類モデルは、コンテンツの分類を正確にすることができる。
[0097]
 図8は、図7とは異なる分類モデルを生成する方法を説明する図である。図8では、図7と異なる点について説明し、発明の構成(または実施例の構成)において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
[0098]
 図8では、m個の特徴ベクトルVlabel2を評価するための評価基準が評価判定部JGに与えられる。例えば、評価判定部JG1には、第一の評価基準として精度(Precision)が与えられそれぞれの特徴ベクトルVlabel2(1)を評価することができる。次に、評価判定部JG1は、第二の評価基準として感度(Sensitivity)が与えられそれぞれの特徴ベクトルVlabel2(1)を評価することができる。評価判定部JG1は、評価結果Vlabel_b(1)を出力する
[0099]
 第2の分類モデルは、評価結果Vlabel_b(1)乃至評価結果Vlabel_b(p)を用いて生成される。例えば、複数の特徴ベクトルVlabel2は、異なる第1の評価基準および第2の評価基準によって評価されてもよいし、同じ評価基準で評価されてもよい。なお、図8では記載していないが、図7と同様に、第1の評価基準、および第2の評価基準による評価結果Vlabel_bの平均値を算出することができる。
[0100]
 第2の分類モデルは、m個の特徴ベクトルVlabel2の評価結果を用いることで、異なる特徴を有する分類モデルを生成することができる。生成される分類モデルは、コンテンツの分類を正確にすることができる。
[0101]
 図9は、GUI50を説明する図である。GUI50は、コンテンツ(学習用コンテンツ、未分類のコンテンツ、分類済のコンテンツ)の表示領域、コンテンツを含むファイルのダウンロード元を選択するアイコン58a、選択されたファイルが保存されるアドレス情報を表示するテキストボックス58b、機械学習を実行するアイコン(Learning Start)59を有している。
[0102]
 表示領域には、一例として8個のレコードがロードされている例を示している。それぞれのレコードは、番号(No)51、ID(Index)52、特徴量(Feature)53、分類情報(Case)54、学習用ラベル(JL)55、分類ラベル(AL)56、およびスコア(Prob)57の構成要素を有する。特徴量53は、詳細な情報として特徴量F(1)53a乃至特徴量F(j)53jを表示することができる。なお、jは自然数である。また、分類情報54は、詳細な情報として分類情報C(1)54a乃至分類情報C(4)54dを表示することができる。なお、分類情報は、自然数で表すことができる種類を有することができる。
[0103]
 なお、図9は、分類モデルによって学習用コンテンツおよび未分類のコンテンツが分類された結果をGUI50に表示する例を示している。
[0104]
 一例として、レコード番号のNo1乃至No3は、学習用コンテンツに相当する。学習用コンテンツには、学習用ラベルが与えられ、且つ、レコード番号No1乃至No3には、分類情報が与えられている。
[0105]
 レコード番号のNo4乃至No8は、分類済のコンテンツに相当する。分類済のコンテンツには、分類ラベル56、スコア57が与えられている。なお、図9では、レコード番号No1およびレコード番号No3を学習することで得られる分類モデルを用いて、レコード番号No4乃至レコード番号No7を分類した結果を表示している。一例として、レコード番号No2を学習することで得られた分類モデルを用いて、レコード番号No8を分類した結果を表示している。図9ではスペースの関係上レコード数は8までしか表示していないが、レコード数は複数の種類を扱うことができる。
[0106]
 但し、レコード数を大量に扱う場合、表示上の課題がある。したがって、分類ラベル56またはスコア57はソート機能を備えることが好ましい。ソート条件の一例として、GUIは、分類ラベル56が“Yes”の判定結果を選択して表示することができる。また、GUIは、スコア57の数値範囲を指定して表示することができる。GUIに上述したソート条件を与える場合、GUIは、教師データを与えた学習コンテンツと同じような特徴を有するコンテンツを分類し表示することができる。
[0107]
 例えば、コンテンツが特許番号の場合について説明する。特許番号には、複数のメタ情報が付与されている。特許の権利が維持されている特許番号の場合、学習用ラベルには、“Yes”を与える。特許の権利が放棄されている特許番号の場合、学習用ラベルには、“No”を与える。続いて機械学習を実行し分類モデルを生成する。
[0108]
 上述した分類モデルは、未分類のコンテンツに対し、判定情報を付与することができる。判定情報には、分類ラベル56と、スコア57が表示される。一例として、ユーザは、ソート機能を用いて分類ラベル56に“No”を与える。さらに、スコア57には、“0.8”乃至“1.0”を設定する。GUIに上述したソート条件を与えることで、GUIは、特許番号が放棄された学習用コンテンツと同じような特徴を有するレコードを選択して表示することができる。
[0109]
 図10は、図9とは異なるGUI50Aを説明する図である。図10は、レコード数を大量に扱う場合の効率的なGUIの表示例である。なお、図10では、図9と異なる点について説明し、発明の構成(または実施例の構成)において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
[0110]
 図10では、任意の選択した分類情報に関するレコードごと分類して表示することができる点が図9と異なっている。図10では、分類情報C(1)乃至分類情報C(4)の種類に応じて表示を切替ることができる。
[0111]
 ユーザが、レコードに付与された複数の特徴量53、および分類モデルの判定情報を見て、十分な分類精度が得られていれば分類モデルの更新を終了する。ユーザが、レコードに付与された判定情報を見て、分類精度が十分でないと判断した場合は、ユーザ指定ラベルが付与されていないレコードに対して学習用ラベルを付与し、アイコン59を押すことで、分類モデルの更新を行うことができる。なお、学習用コンテンツが有するメタ情報の経時的変化を予測し、特徴量53を更新してもよい。ユーザが特徴量53を更新する場合、分類モデルは、分類モデルの経時的な変化を含むことができる。したがって、ユーザは、コンテンツの経時的な分類の変化を得ることができる。分類モデルは、価値が増大していくと予想されるコンテンツ群、または価値が減少していくと予想されるコンテンツ群を分類していくことができるようになる。
[0112]
 図示していないが、特徴量53、分類情報54a乃至分類情報54d、学習用ラベル55、分類ラベル56、またはスコア57に含まれる数値やラベル情報は、表示させる並び順を変更することができる、もしくは、選択した数値やラベル情報は、フィルタ機能を用いて必要な並び順にソートし表示することができる。これにより、ユーザは、分類モデルの判定結果を効率良く評価することができる。
[0113]
 図1乃至図10を用いて説明したコンテンツの分類方法は、確率の高い情報を分類する方法を提供することができる。例えば、GUIは、確率の高い情報を分類するのに適している。プログラムは、分類モデルに新しい教師データ(学習用ラベル)が与えられることで分類モデルを更新することができる。プログラムは、分類モデルが更新されることで確率の高い情報を分類することができる。
[0114]
 さらに、生成した分類モデルは電子機器本体または外部のメモリに保存することができ、新たなファイルの分類の際に呼び出して使うことができる。さらに、新たな教師データを追加しながら上記で説明した方法に従って分類モデルを更新することができる。
[0115]
 以上、本実施の形態で示す構成、方法は、他の実施の形態で示す構成、方法と適宜組み合わせて用いることができる。

符号の説明

[0116]
CL1:クライアントコンピュータ、CL1n:クライアントコンピュータ、CL11:クライアントコンピュータ、CLn:クライアントコンピュータ、DB1:データベース、DB2:データベース、LAN1:通信網、LAN2:通信網、Vlabel1:特徴ベクトル、Vlabel2:特徴ベクトル、31:番号、32:コンテンツ、33:メタ情報、34:分類情報、35:学習用ラベル、50:GUI、50A:GUI、51:番号、53:特徴量、54:分類情報、56:分類ラベル、57:スコア、58a:アイコン、58b:テキストボックス、59:アイコン、100:分類システム、110:GUI、111:入力部、112:出力部、120:演算部、121:データ処理部、122:学習処理部、123:判定処理部、130:記憶部

請求の範囲

[請求項1]
 学習用コンテンツと、コンテンツと、を有し、
 前記学習用コンテンツには、第1の特徴量および学習用ラベルが付与され、
 前記コンテンツには、第2の特徴量が付与され、
 複数の前記学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、
 前記複数の第1の分類モデルを用いて第2の分類モデルを生成するステップと、
 前記第2の分類モデルを用いて複数の前記コンテンツに判定情報を付与しグラフィカルユーザインターフェース内に表示するステップと、
 を含むコンテンツの分類方法。
[請求項2]
 学習用コンテンツと、コンテンツと、を有し、
 前記学習用コンテンツには、第1の特徴量および学習用ラベルが付与され、
 前記コンテンツには、第2の特徴量が付与され、
 複数の前記学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、
 前記複数の第1の分類モデルの出力から平均値を算出するステップと、
 複数の前記平均値を用いて第2の分類モデルを生成するステップと、
 前記第2の分類モデルを用いて複数の前記コンテンツに判定情報を付与しグラフィカルユーザインターフェース内に表示するステップと、
 を含むコンテンツの分類方法。
[請求項3]
 学習用コンテンツと、コンテンツと、を有し、
 前記学習用コンテンツには、第1の特徴量および学習用ラベルが付与され、
 前記コンテンツには、第2の特徴量が付与され、
 複数の前記学習用コンテンツを用いて複数の第1の分類モデルを機械学習によって生成するステップと、
 前記複数の第1の分類モデルがそれぞれ第一の評価基準による評価をするステップと、
 前記複数の第1の分類モデルがそれぞれ第二の評価基準による評価をするステップと、
 複数の前記第一の評価基準による評価結果と、前記第二の評価基準と、による評価結果から第2の分類モデルを生成するステップと、
 前記第2の分類モデルを用いて複数の前記コンテンツに判定情報を付与しグラフィカルユーザインターフェース内に表示するステップと、
 を含むコンテンツの分類方法。
[請求項4]
 請求項3において、
 前記第一の評価基準は精度であり、
 前記第二の評価基準は感度であるコンテンツの分類方法。
[請求項5]
 請求項1乃至3のいずれかにおいて、
 任意の前記学習用コンテンツを用いて前記第1の分類モデルを生成するステップを含むコンテンツの分類方法。
[請求項6]
 請求項1乃至3のいずれかにおいて、
 前記学習用コンテンツには、さらに分類情報が与えられ、
 前記第2の分類モデルの出力を用いて分類ラベルが付与された複数の前記コンテンツから前記分類情報と同じ前記判定情報を有するコンテンツを選択して前記グラフィカルユーザインターフェース内に表示するステップと、
 を含むコンテンツの分類方法。
[請求項7]
 請求項1乃至3のいずれかにおいて、
 前記学習用コンテンツ又前記コンテンツに与えられる特徴量は、管理パラメータであるコンテンツの分類方法。
[請求項8]
 請求項1乃至3のいずれかにおいて、
 前記判定情報には、分類ラベルまたはスコアを含むコンテンツの分類方法。
[請求項9]
 請求項8において、
 前記グラフィカルユーザインターフェースは、前記スコアのうち特定の数値範囲を指定し、該当するコンテンツをリストとして表示するステップを含むコンテンツの分類方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5A]

[ 図 5B]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]