Détails de l’article

Un préprint examine des combinaisons d’échelles partagées, de poids et d’activations dans des formats basse précision de type MX pour l’inférence des grands modèles de langage. Les chercheurs explorent conjointement la précision du modèle et les compromis estimés sur le silicium lors de l’intégration d’un cœur tenseur à une NPU de périphérie.

L’étude présente ses résultats comme une exploration de l’espace de conception matériel-logiciel pour repérer des configurations prometteuses. Elle n’annonce pas une puce commercialisée; les résultats dépendent des modèles, réglages de quantification et hypothèses matérielles du préprint.