(EN) Methods, systems, and apparatus, including computer programs encoded on computer storage media, for interleaving matrix operations of a gated activation unit. One of the methods includes receiving a plurality of weight matrices of a gated activation unit of the neural network, the gated activation unit having two or more layers, each layer defining operations comprising: (i) a matrix operation between a weight matrix for the layer and concatenated input vectors and (ii) a nonlinear activation operation using a result of the matrix operation. Rows of the plurality of weight matrices are interleaved by assigning groups of corresponding rows to respective thread blocks, each thread block being a computation unit for execution by an independent processing unit of a plurality of independent processing units of a parallel processing device.
(FR) L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, permettant d’entrelacer les opérations matricielles d’une unité d’activation à déclenchement. L'un des procédés consiste à recevoir une pluralité de matrices de poids d'une unité d'activation à déclenchement du réseau neuronal, l'unité d'activation à déclenchement comprenant au moins deux couches, chaque couche définissant des opérations comprenant : (i) une opération matricielle entre une matrice de poids pour la couche et des vecteurs d'entrée concaténés et (ii) une opération d'activation non linéaire utilisant un résultat de l'opération matricielle. Des rangées de la pluralité de matrices de poids sont entrelacées en attribuant des groupes de rangées correspondantes à des blocs de fils respectifs, chaque bloc de fils étant une unité de calcul destinée à être exécutée par une unité de traitement indépendante d'une pluralité d'unités de traitement indépendantes d'un dispositif de traitement parallèle.