WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2017198168) REDUCTION OF PARAMETERS IN FULLY CONNECTED LAYERS OF NEURAL NETWORKS BY LOW RANK FACTORIZATIONS
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2017/198168    International Application No.:    PCT/CN2017/084665
Publication Date: 23.11.2017 International Filing Date: 17.05.2017
IPC:
G06N 3/02 (2006.01)
Applicants: HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; Huawei Administration Building Bantian, Longgang District Shenzhen, Guangdong 518129 (CN)
Inventors: SOZUBEK, Serdar; (CA).
DALTON, Barnaby; (CA).
COURVILLE, Vanessa; (CA).
TAYLOR, Graham; (CA)
Priority Data:
62/337,566 17.05.2016 US
15/258,691 07.09.2016 US
15/453,641 08.03.2017 US
Title (EN) REDUCTION OF PARAMETERS IN FULLY CONNECTED LAYERS OF NEURAL NETWORKS BY LOW RANK FACTORIZATIONS
(FR) RÉDUCTION DE PARAMÈTRES DANS DES COUCHES ENTIÈREMENT CONNECTÉES DE RÉSEAUX NEURONAUX PAR FACTORISATIONS DE FAIBLE RANG
Abstract: front page image
(EN)The present disclosure is drawn to the reduction of parameters in fully connected layers of neural networks. For a layer whose output is defined by yWx, where yRm is the output vector, xRn is the input vector, and WRmxn is a matrix of connection parameters, matrices Uij and Vij are defined and submatrices Wij are computed as the product of Uij and Vij, so that Wij VijUij, and W is obtained by appending submatrices Wi,j.
(FR)La présente invention porte sur la réduction de paramètres dans des couches entièrement connectées de réseaux neuronaux. Pour une couche dont la sortie est définie par y=Wx, où y εRm est le vecteur de sortie, x ε Rn est le vecteur d'entrée, et W ε Rmxn est une matrice de paramètres de connexion, des matrices Uij et Vij sont définies et des sous-matrices Wij sont calculées en tant que produit de Uij et de Vij, de telle sorte que Wij = VijUij, et W est obtenu en annexant des sous-matrices Wi,j.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: English (EN)
Filing Language: English (EN)