Heute hat NVIDIA die NVIDIA GH200 Grace Hopper-Plattform der nächsten Generation auf den Markt gebracht, die für das Zeitalter des beschleunigten Computings und der generativen KI entwickelt wurde und auf einem neuen Grace Hopper Superchip mit der weltweit ersten HBM3e-CPU basiert.
Die neueste Ankündigung von NVIDIA ergänzt den zuvor angekündigten GH200 mit HBM3, der sich derzeit in Produktion befindet und noch in diesem Jahr auf den Markt kommen soll. Dies deutet darauf hin, dass NVIDIA zwei Versionen desselben Geräts herausbringen wird, wobei das Modell HBM3 integriert und das Modell mit HBM3e später folgt.
„Um der steigenden Nachfrage nach generativer KI gerecht zu werden, benötigen Rechenzentren beschleunigte Rechenplattformen mit speziellen Anforderungen“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „Die neue GH200 Grace Hopper Superchip-Plattform bietet dies mit außergewöhnlicher Speichertechnologie und Bandbreite zur Verbesserung des Durchsatzes, der Möglichkeit, GPUs zu verbinden, um die Leistung ohne Kompromisse zu aggregieren, und einem Serverdesign, das problemlos im gesamten Rechenzentrum eingesetzt werden kann.“
NVIDIA GH200-Spezifikationen
Der neue GH200 Grace Hopper Superchip basiert auf einer 72-Kern-Grace-CPU mit 480 GB ECC LPDDR5X-Speicher und einer GH100-Computing-GPU mit 141 GB HBM3E-Speicher in sechs 24-GB-Stacks und einer 6.144-Bit-Speicherschnittstelle. Obwohl NVIDIA physisch 144 GB Arbeitsspeicher verbaut, stehen für bessere Erträge nur 141 GB zur Verfügung.
NVIDIA Augenkontakt-KI kann der Retter Ihrer Online-Meetings sein
Der aktuelle GH200 Grace Hopper Superchip von NVIDIA verfügt über 96 GB HBM3-Speicher und eine Bandbreite von weniger als 4 TB/s. Im Vergleich dazu verbessert das neue Modell die Speicherkapazität um etwa 50 % und die Bandbreite um mehr als 25 %. Solche bedeutenden Fortschritte ermöglichen es der neuen Plattform, größere KI-Modelle als die alte Version auszuführen und erhebliche Leistungssteigerungen zu erzielen.
„HBM3e-Speicher, der 50 % schneller als der aktuelle HBM3 ist, liefert eine kombinierte Bandbreite von insgesamt 10 TB/s, sodass die neue Plattform 3,5-mal größere Modelle als die Vorgängerversion ausführen und gleichzeitig die Leistung durch eine dreimal schnellere Speicherbandbreite verbessern kann“, sagte NVIDIA im offizieller Blogbeitrag.
| NVIDIA Grace Hopper-Spezifikationen | ||||
| Grace Hopper (GH200) mit HBM3 | Grace Hopper (GH200) mit HBM3e | |||
| CPU-Kerne | 72 | 72 | ||
| CPU-Architektur | Bewaffnen Sie Neoverse V2 | Bewaffnen Sie Neoverse V2 | ||
| CPU-Speicherkapazität | <=480 GB LPDDR5X (ECC) | <=480 GB LPDDR5X (ECC) | ||
| CPU-Speicherbandbreite | <=512 GB/Sek | <=512 GB/Sek | ||
| GPU-SMs | 132 | 132? | ||
| GPU-Tensorkerne | 528 | 528? | ||
| GPU-Architektur | Trichter | Trichter | ||
| GPU-Speicherkapazität | 96 GB (physisch) <=96 GB (verfügbar) |
144 GB (physisch) 141 GB (verfügbar) |
||
| GPU-Speicherbandbreite | <=4 TB/Sek | 5 TB/Sek | ||
| GPU-zu-CPU-Schnittstelle | 900 GB/Sek NVLink 4 |
900 GB/Sek NVLink 4 |
||
| TDP | 450W – 1000W | 450W – 1000W | ||
| Herstellungsprozess | TSMC 4N | TSMC 4N | ||
| Schnittstelle | Superchip | Superchip | ||
| Verfügbar | H2’2023 | Q2’2024 | ||
NVIDIA GH200-Verfügbarkeit
NVIDIAs GH200 Grace Hopper-Plattform mit HBM3 befindet sich derzeit in Produktion und wird laut NVIDIA im nächsten Monat kommerziell erhältlich sein. Die GH200 Grace Hopper-Plattform mit HBM3e hingegen befindet sich derzeit in der Bemusterung und wird voraussichtlich im zweiten Quartal 2024 verfügbar sein.
NVIDIA betonte, dass der neue GH200 Grace Hopper die gleiche Grace-CPU- und GH100-GPU-Technologie wie die Vorgängerversion nutzt, sodass keine zusätzlichen Überarbeitungen oder Schritte erforderlich sind.
Laut NVIDIA werden die ursprüngliche GH200 mit HBM3 und das verbesserte Modell mit HBM3E nebeneinander auf dem Markt existieren, was bedeutet, dass letzteres aufgrund der besseren Leistung, die der modernere Speicher bietet, zu einem Aufpreis angeboten würde.
NVIDIA hat das Neue angekündigt Große Sprachmodelle von NeMo und BioNemo unter AGB 2022
Die Grace Hopper Superchip-Plattform der nächsten Generation von NVIDIA mit HBM3e ist vollständig mit dem MGX-Serverstandard von NVIDIA kompatibel und somit ein direkter Ersatz für bestehende Serverdesigns.
Hervorgehobener Bildnachweis: BoliviaInteligente/Unsplash
