Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019001649) KNOWLEDGE TRANSFER BETWEEN DIFFERENT DEEP LEARNING ARCHITECTURES
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2019/001649 International Application No.: PCT/DE2018/200065
Publication Date: 03.01.2019 International Filing Date: 28.06.2018
IPC:
G06N 3/08 (2006.01) ,G06N 3/04 (2006.01) ,B60W 30/00 (2006.01) ,B60W 50/00 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
04
Architecture, e.g. interconnection topology
B PERFORMING OPERATIONS; TRANSPORTING
60
VEHICLES IN GENERAL
W
CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
30
Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
B PERFORMING OPERATIONS; TRANSPORTING
60
VEHICLES IN GENERAL
W
CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
50
Details of control systems for road vehicle drive control not related to the control of a particular sub-unit
Applicants:
CONTI TEMIC MICROELECTRONIC GMBH [DE/DE]; Sieboldstraße 19 90411 Nürnberg, DE
Inventors:
KARG, Michelle; DE
SCHARFENBERGER, Christian; DE
Priority Data:
10 2017 211 199.230.06.2017DE
10 2017 213 247.701.08.2017DE
Title (EN) KNOWLEDGE TRANSFER BETWEEN DIFFERENT DEEP LEARNING ARCHITECTURES
(FR) TRANSFERT DE CONNAISSANCE ENTRE DIFFÉRENTES ARCHITECTURES D’APPRENTISSAGE PROFOND
(DE) WISSENSTRANSFER ZWISCHEN VERSCHIEDENEN DEEP-LEARNING ARCHITEKTUREN
Abstract:
(EN) The invention relates to a method for converting a first neural network with a first architecture into a second neural network with a second architecture for use in a vehicle controller in order to obtain the knowledge of the first neural network and transfer same to the second neural network. In a first step of the method, a conversion (701) of at least one layer of the first neural network into at least one layer of the second neural network is carried out. In a second step, a random initialization (702) of the at least one converted layer is carried out in the architecture of the second neural network. In a third step, a training process (703) of the at least one converted layer is carried out in the second neural network. In a fourth step, a fine tuning process (704) of the non-converted layer is carried out in the second neural network or in the entire second neural network. The conversion of the first neural network into the second neural network is carried out in multiple cycles or iterations, wherein for each cycle, the conversion (701), random initialization (702), training (703), and simultaneous fine-tuning (704) steps are carried out.
(FR) L’invention concerne un procédé permettant de convertir un premier réseau neuronal présentant une première architecture en un second réseau neuronal présentant une seconde architecture, pour utilisation dans un appareil de commande d’un véhicule, afin de conserver la connaissance du premier réseau neuronal et de la transférer sur le second réseau neuronal. Une première étape du procédé consiste à convertir (701) au moins une couche du premier réseau neuronal en au moins une couche du second réseau neuronal. Une seconde étape consiste ensuite en une initialisation aléatoire (702) de la ou des couches converties dans l'architecture du second réseau neuronal. Une troisième étape consiste ensuite en un apprentissage (703) de la ou des couches converties dans le second réseau neuronal. Une quatrième étape consiste à effectuer un réglage de précision (704) de la couche non convertie dans le second réseau neuronal et de l'ensemble du second réseau neuronal. La conversion du premier réseau neuronal en second réseau neuronal s'effectue en plusieurs cycles ou itérations, les étapes de conversion (701), d'initialisation aléatoire (702), d'apprentissage (703) et de réglage de précision (704) simultané étant effectuées pour chaque cycle.
(DE) Die Erfindung betrifft ein Verfahren zum Umwandeln eines ersten neuronalen Netzes mit einer ersten Architektur in ein zweites neuronales Netz mit einer zweiten Architektur zum Einsatz in einem Fahrzeugsteuergerät, um das Wissen des ersten neuronalen Netzes zu erhalten und auf das zweite neuronale Netz zu übertragen. Das Verfahren wandelt (701) in einem ersten Schritt wenigstens einen Layer des ersten neuronalen Netzes in wenigstens einen Layer des zweiten neuronalen Netzes um. In einem zweiten Schritt folgt eine zufällige Initialisierung (702) des wenigstens einen umgewandelten Layers in der Architektur des zweiten neuronalen Netzes. Ein Trainieren (703) des wenigstens einen umgewandelten Layers in dem zweiten neuronalen Netz erfolgt in einem dritten Schritt. In einem vierten Schritt erfolgt ein Fine-Tuning (704) des nicht umgewandelten Layers in dem zweiten neuronalen Netz oder des gesamten zweiten neuronalen Netzes. Das Umwandeln des ersten neuronalen Netzes in das zweite neuronale Netz erfolgt in mehreren Durchläufen oder Iterationen, wobei bei j edem Durchlauf die Schritte des Umwandeins (701), der zufälligen Initialisierung (702), des Trainierens (703) und des gleichzeitigen Fine-Tunings (704) durchlaufen werden.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: German (DE)
Filing Language: German (DE)