NVIDIA annonce le GPU ChatGPT Hopper H100 NVL avec 94 Go de mémoire HBM3 et de nouvelles capacités AI/ML
NVIDIA a annoncé la sortie de son premier GPU officiel pour le ChatGPT Hopper H100 NVL. Cette carte graphique PCIe est alimentée par un GPU NVIDIA Hopper et dispose d'une interconnexion NVLINK qui relie deux GPU. Chacune des puces dispose de 94 Go de mémoire HBM3e, permettant au GPU de traiter jusqu'à 175 milliards de paramètres ChatGPT en déplacement. En utilisant quatre de ces GPU dans un seul serveur, vous pouvez atteindre jusqu'à 10 fois la vitesse par rapport au serveur DGX A100 traditionnel, qui est équipé de 8 GPU.
Cependant, par rapport à la configuration H100 SXM5, la configuration H100 PCIe a des performances réduites. Cela inclut 114 SM inclus sur un total de 144 SM sur le GPU GH100 et 132 SM sur le H100 SXM. La carte PCIe a également une puissance de traitement de crête inférieure, ce qui l'oblige à fonctionner à des vitesses d'horloge inférieures et a un TDP de 350 W par rapport au double TDP de 700 W de la variante SXM5. Cependant, la carte PCIe conserve ses 80 Go de mémoire avec une interface de bus 5120 bits, mais dans la variante HBM2e, fournissant plus de 2 To/s de bande passante.
Selon NVIDIA, le H100 PCIe est évalué à 48 TFLOP avec plusieurs TFLOP FP32, tandis que le MI210 a un pic FP32 TDP de 45,3 TFLOP. De plus, avec des opérations de parcimonie et de tenseur, le H100 peut produire jusqu'à 800 TFLOP de puissance FP32. Le H100 dispose également d'une plus grande capacité de stockage de 80 Go par rapport à 64 Go sur le MI210. Il est probable que NVIDIA facturera des frais supplémentaires pour des capacités d'IA et d'apprentissage automatique plus élevées.
Vous pouvez acheter des composants PC sur le lien de notre partenaire
