Processing

Please wait...

Settings

Settings

Goto Application

1. WO2019194128 - MODEL LEARNING DEVICE, MODEL LEARNING METHOD, AND PROGRAM

Publication Number WO/2019/194128
Publication Date 10.10.2019
International Application No. PCT/JP2019/014476
International Filing Date 01.04.2019
IPC
G06N 20/00 2019.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
20Machine learning
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
CPC
G06N 20/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
20Machine learning
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Applicants
  • 日本電信電話株式会社 NIPPON TELEGRAPH AND TELEPHONE CORPORATION [JP]/[JP]
Inventors
  • 森谷 崇史 MORIYA, Takafumi
  • 山口 義和 YAMAGUCHI, Yoshikazu
Agents
  • 中尾 直樹 NAKAO, Naoki
  • 中村 幸雄 NAKAMURA, Yukio
  • 義村 宗洋 YOSHIMURA, Takahiro
Priority Data
2018-07222504.04.2018JP
Publication Language Japanese (JA)
Filing Language Japanese (JA)
Designated States
Title
(EN) MODEL LEARNING DEVICE, MODEL LEARNING METHOD, AND PROGRAM
(FR) DISPOSITIF D'APPRENTISSAGE DE MODÈLE, PROCÉDÉ D'APPRENTISSAGE DE MODÈLE, ET PROGRAMME
(JA) モデル学習装置、モデル学習方法、プログラム
Abstract
(EN)
Provided is a model learning feature with which it is possible, without impairing the performance of a model learned using the data of a given domain, to additionally learn using the data of another domain. The present invention includes: a setup unit for generating a mask from a learned model parameter that is the initial value of a model parameter Ω; a feature quantity processing unit for calculating an output probability distribution that is the distribution of probability that an output corresponding to a feature quantity extracted from input data in a domain different from the domain used in the learning of the learned model parameter is the output of an output number m; and a model learning unit for learning the model parameter Ω using the mask, the output probability distribution, and a correct answer output number that is a number for identifying a correct answer output that corresponds to the feature quantity. The model learning unit calculates an update difference δ(ω) for an element ω of the model parameter Ω by a prescribed expression in which there are used a loss function L(Ω) and a mask element γ that corresponds to the element ω of the model parameter Ω, and updates the element ω.
(FR)
L'invention concerne une caractéristique d'apprentissage de modèle avec laquelle il est possible, sans affecter les performances d'un modèle appris à l'aide des données d'un domaine donné, d'apprendre d'une manière supplémentaire à l'aide des données d'un autre domaine. La présente invention comprend : une unité de configuration destinée à générer un masque à partir d'un paramètre de modèle appris qui est la valeur initiale d'un paramètre de modèle Ω; une unité de traitement de quantité de caractéristiques destinée à calculer une distribution de probabilité de sortie qui est la distribution de probabilité qu'une sortie correspondant à une quantité de caractéristiques extraite à partir de données d'entrée dans un domaine différent du domaine utilisé dans l'apprentissage du paramètre de modèle appris est la sortie d'un nombre de sortie m; et une unité d'apprentissage de modèle destinée à apprendre le paramètre de modèle Ω à l'aide du masque, de la distribution de probabilité de sortie, et d'un numéro de sortie de réponse correcte qui est un numéro pour identifier une sortie de réponse correcte qui correspond à la quantité de caractéristique. L'unité d'apprentissage de modèle calcule une différence de mise à jour δ(ω) pour un élément ω du paramètre de modèle Ω par une expression prescrite dans laquelle il existe une fonction de perte L(Ω) et un élément de masque γ qui correspond à l'élément ω du paramètre de modèle Ω, et met à jour l'élément ω.
(JA)
あるドメインのデータを用いて学習したモデルの性能を損なうことなく、別のドメインのデータを用いて追加的に学習することができるようなモデル学習技術を提供する。モデルパラメータΩの初期値である学習済みモデルパラメータからマスクを生成するセットアップ部と、学習済みモデルパラメータの学習に用いたドメインとは異なるドメインにおける入力データから抽出した特徴量に対応する出力が出力番号mの出力である確率の分布である出力確率分布を計算する特徴量処理部と、マスクと出力確率分布と特徴量に対応する正解出力を識別するための番号である正解出力番号とを用いて、モデルパラメータΩを学習するモデル学習部とを含み、モデル学習部は、モデルパラメータΩの要素ωの更新差分δ(ω)を、損失関数L(Ω)とモデルパラメータΩの要素ωに対応するマスクの要素γを用いた所定の式により計算し、要素ωを更新する。
Also published as
Latest bibliographic data on file with the International Bureau