(EN) Apparatus and methods for training a neural network accelerator using quantized precision data formats having outlier values are disclosed, and in particular for storing activation values from a neural network in a compressed format for use during forward and backward propagation training of the neural network. In certain examples of the disclosed technology, a computing system is configured to perform forward propagation for a layer of a neural network to produced first activation values in a first block floating-point format. In some examples, activation values generated by forward propagation are converted by the compressor to a second block floating-point format having a narrower numerical precision than the first block floating-point format. Outlier values, comprising additional bits of mantissa and/or exponent are stored in ancillary storage for subset of the activation values. The compressed activation values are stored in the memory, where they can be retrieved for use during back propagation.
(FR) L'invention concerne un appareil et des procédés destinés à entraîner un accélérateur de réseau neuronal à l'aide de formats de données de précision quantifiés ayant des valeurs aberrantes, et en particulier destinés à stocker des valeurs d'activation provenant d'un réseau neuronal dans un format compressé pour une utilisation pendant un apprentissage de propagation avant et arrière du réseau neuronal. Dans certains exemples de la technologie de l'invention, un système informatique est configuré pour effectuer une propagation avant d'une couche d'un réseau neuronal à des premières valeurs d'activation produites dans un premier format de virgule flottante de bloc. Dans certains exemples, des valeurs d'activation générées par une propagation avant sont converties par le compresseur en un second format de virgule flottante de bloc ayant une précision numérique plus étroite que le premier format de virgule flottante de bloc. Des valeurs aberrantes, comprenant des bits supplémentaires de mantisse et/ou d'exposant, sont stockées dans un dispositif de stockage auxiliaire pour un sous-ensemble de valeurs d'activation. Les valeurs d'activation compressées sont stockées dans la mémoire, où elles peuvent être récupérées pour être utilisées pendant la propagation arrière.