Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018124918) TRAINING OF DEEP NEURAL NETWORKS ON THE BASIS OF DISTRIBUTIONS OF PAIRED SIMILARITY MEASURES
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/124918 International Application No.: PCT/RU2016/000954
Publication Date: 05.07.2018 International Filing Date: 30.12.2016
IPC:
G06N 3/08 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
Applicants:
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ВИЖНЛАБС" OBSCHESTVO S OGRANICHENNOY OTVETSTVENNOSTYU "VIZHNLABS" [RU/RU]; ул. Твардовского, 8, стр. 1 Москва, ul. Tvardovskogo, 8, str. 1 Moscow, 123458, RU
Inventors:
УСТИНОВА, Евгения Сергеевна USTINOVA, Evgeniya Sergeevna; RU
ЛЕМПИЦКИЙ, Виктор Сергеевич LEMPICZKIJ, Viktor Sergeevich; RU
Agent:
КОТЛОВ, Дмитрий Владимирович KOTLOV, Dmitry Vladimirovich; ООО " ЦИС "Сколково", Территория инновационного центра "Сколково", дом 4, оф.402.1 Москва, IP Center "Skolkovo" LLC Territory of the Innovation Center "Skolkovo", dom 4, of.402.1 Moscow, 143026, RU
Priority Data:
201615160927.12.2016RU
Title (EN) TRAINING OF DEEP NEURAL NETWORKS ON THE BASIS OF DISTRIBUTIONS OF PAIRED SIMILARITY MEASURES
(FR) APPRENTISSAGE DE RÉSEAUX NEURONAUX PROFONDS SUR LA BASE DE RÉPARTITIONS DE MESURES DE SIMILITUDE DEUX PAR DEUX
(RU) ОБУЧЕНИЕ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ РАСПРЕДЕЛЕНИЙ ПОПАРНЫХ МЕР СХОЖЕСТИ
Abstract:
(EN) The invention relates to computing systems based on biological models, specifically to training deep neural networks. A method for training deep neural networks consists in: producing a tagged training sample; generating a set of non-intersecting random subsets of the training sample of input data; transmitting a subset of the training sample to an input of a deep neural network, with a deep representation of said subset of the training sample being produced at an output; determining all paired similarity measures between the deep representations of elements of each subset, which were produced in the previous step; relating the deep representations produced to the similarity measures of positive and negative pairs; determining the probable distributions thereof using histograms; generating a loss function on the basis of the probable distributions; and minimizing said loss function with the aid of an error back-propagation method.
(FR) L’invention concerne des systèmes informatiques basés sur des modèles biologiques et notamment l’apprentissage de réseaux neuronaux profonds. Le procédé d’apprentissage de réseaux neuronaux profonds consiste à obtenir une sélection d’apprentissage balisée, former un ensemble de sous-ensembles aléatoires qui ne se croisent pas de la sélection d’apprentissage à l’entrée du réseau neuronal profond en obtenant à la sortie une représentation profonde du présent sous-ensemble de la sélection d’apprentissage, on détermine toutes les mesures deux par deux de la similitude entre les représentations des éléments de chaque sous-ensemble obtenus au stade précédent, rapporter les représentations profondes obtenues aux mesures de similitude des paires négatives et positives, déterminer leurs répartitions probabilistes en utilisant des histogrammes, former une fonction de pertes sur la base des répartitions probabilistes, minimiser la fonction formée des pertes au moyen d’une méthode de propagation inverse des erreurs.
(RU) Изобретение относится к вычислительным системам, основанным на биологических моделях, а именно к обучению глубоких нейронных сетей. Способ обучения глубоких нейронных сетей заключается в том, что получают размеченную обучающую выборку, формируют набор непересекающихся случайных подмножеств обучающей выборки входных данных, передают подмножество обучающей выборки на вход глубокой нейронной сети, получая на выходе глубокое представление данного подмножества обучающей выборки, определяют все попарные меры схожести между полученными на предыдущем шаге глубокими представлениями элементов каждого подмножества, относят полученные глубокие представления к мерам схожести положительных и отрицательных пар, определяют их вероятностные распределения используя гистограммы, формируют функцию потерь на основе вероятностных распределений, минимизируют сформированную функцию потерь с помощью метода обратного распространения ошибки.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Russian (RU)
Filing Language: Russian (RU)