Le Californien SambaNova a annoncé son nouveau bébé baptisé SN40L et destiné aux plateformes d’intelligence artificielle. Fabriqué par TSMC en process 5nm, ce module multipuce ouvre la voie à des modèles LLM (large langage model) à cinq trillions de paramètres, avec une longueur de séquence supérieure à 256k sur un seul nœud. Il s’appuie sur six années d’ingénierie et de retours clients afin d’optimiser les différents paramètres (coût, complexité, vitesse) des circuits d’IA générative.

Le SN40L rassemble environ 100 milliards de transistors, répartis entre un millier de cœurs de traitement développant 638Tflops (en précision FP16) et 520Mo de mémoire embarquée qui s’ajoutent aux mémoires externes adressables (jusqu’à 1,5To de Dram DDR5 et, pour la première fois, 64Go de HBM3).