Micron-Technologie angekündigt Es versendet Kundenmuster seines 192-GB-SOCAMM2-Speichermoduls. Das neue Produkt, das für KI-Rechenzentren entwickelt wurde, nutzt die LPDDR5X-Technologie, um Kapazität und Leistung zu erhöhen und gleichzeitig den Stromverbrauch zu senken. Das Modul, ein Small Outline Compression Attached Memory Module (SOCAMM2), bietet 192 Gigabyte Kapazität, die höchste für diesen Formfaktor in Rechenzentren verfügbare Kapazität. Dies ist eine Kapazitätssteigerung von 50 Prozent gegenüber der vorherigen Generation bei identischer physischer Stellfläche. Das Design mit hoher Dichte ist für platzbeschränkte KI-Server von entscheidender Bedeutung und ermöglicht mehr Speicher pro System zur Unterstützung großer KI-Modelle. Durch die Konzentration der Kapazität geht das Modul direkt auf den steigenden Speicherbedarf moderner Workloads mit künstlicher Intelligenz ein, deren effektives Funktionieren auf riesigen Datensätzen und umfangreichen Parameterzahlen beruht. Im Kern nutzt der SOCAMM2 LPDDR5X DRAM, eine Technologie, die ursprünglich aus dem Mobilfunksektor stammt und nun für den Einsatz in Unternehmen adaptiert wurde. Der Speicher wird mit dem 1-Gamma-DRAM-Prozess von Micron hergestellt, dem fortschrittlichsten Fertigungsknoten. Dieser Prozess führt zu einer Verbesserung der Energieeffizienz um über 20 Prozent im Vergleich zu früheren Generationen. Durch die Kombination der stromsparenden Architektur von LPDDR5X mit dem fortschrittlichen Herstellungsprozess entsteht eine Speicherlösung, die speziell dafür entwickelt wurde, den erheblichen Energiebedarf von KI-Berechnungen zu reduzieren und stromsparendes DRAM in eine Komponente der Rechenzentrumsklasse mit verbesserter Robustheit und Skalierbarkeit umzuwandeln. Zu den Leistungsmetriken gehören Datenübertragungsgeschwindigkeiten von bis zu 9,6 Gigabit pro Sekunde (Gbit/s), die den erforderlichen Durchsatz bereitstellen, um Datenengpässe in KI-Systemen zu verhindern. Ein Hauptmerkmal ist die Energieeinsparung, da das Modul den Stromverbrauch im Vergleich zu entsprechenden RDIMM-Einsätzen (Registered Dual In-line Memory Module) um mehr als zwei Drittel reduziert. Da RDIMMs der Serverstandard sind, bietet diese Reduzierung erhebliche betriebliche Einsparungen. Ein geringerer Stromverbrauch senkt die Stromkosten und verringert die Belastung der Kühlsysteme des Rechenzentrums, ein wichtiger Faktor für die Gesamtbetriebskosten und die Nachhaltigkeit der Infrastruktur. Die erhöhte Speicherkapazität verbessert direkt die Leistung von KI-Anwendungen, insbesondere für Echtzeit-Inferenzaufgaben. Durch die Verfügbarkeit von 192 GB auf einem Modul kann die „Time to First Token“ (TTFT) um mehr als 80 Prozent reduziert werden. TTFT ist eine wichtige Latenzmetrik in der generativen KI und misst die Verzögerung, bevor ein Modell mit der Generierung einer Antwort beginnt. Für interaktive Dienste wie KI-Assistenten ist diese verkürzte Verzögerung von entscheidender Bedeutung. Durch die deutliche Reduzierung der anfänglichen Latenz können KI-Modelle die Ausgabe viel schneller liefern, was die Reaktionsfähigkeit und das Benutzererlebnis dieser latenzempfindlichen Anwendungen verbessert. Der SOCAMM2-Standard ist von Natur aus modular, ein Design, das praktische Vorteile für die Verwaltung großer Computerumgebungen bietet. Diese Modularität verbessert die Wartungsfreundlichkeit des Servers und ermöglicht einen einfacheren und schnelleren Austausch oder ein Upgrade einzelner Speichermodule bei minimaler Systemausfallzeit. In großen Rechenzentrumsclustern ist eine solche optimierte Wartung für die Aufrechterhaltung einer hohen Verfügbarkeit unerlässlich. Das Design schafft auch einen klaren Weg für zukünftige Kapazitätserweiterungen und ermöglicht es Betreibern, ihre Speicherressourcen entsprechend den wachsenden Anforderungen von KI-Modellen der nächsten Generation zu skalieren und so Hardware-Investitionen im Laufe der Zeit zu schützen. Die Entwicklung des Serverspeichers mit geringem Stromverbrauch war eine gemeinsame Anstrengung mit Nvidiadurchgeführt über einen Zeitraum von fünf Jahren. Diese strategische Partnerschaft positioniert den SOCAMM2 als Schlüssellösung für KI-Plattformen der nächsten Generation, und die Zusammenarbeit schlägt ein Design vor, das für die Integration in das Nvidia-Ökosystem optimiert ist. Das Produkt ist speziell auf den Markt für KI-Rechenzentren ausgerichtet, wo der Speicherbedarf aufgrund des Aufstiegs generativer KI und Massive-Context-Modellen stark ansteigt. Diese fortschrittlichen KI-Systeme benötigen für einen effektiven Betrieb einen großen, schnellen und hocheffizienten Speicher – ein Bedarf, für den das Modul entwickelt wurde. Micron hat mit der Kundenbemusterung des 192-GB-Moduls begonnen, sodass Partner die Technologie in ihren eigenen Systemen testen und validieren können. Die Produktion in großen Stückzahlen soll sich an den Zeitplänen für die Markteinführung der Kunden orientieren, um die Marktverfügbarkeit für neue Serverbereitstellungen sicherzustellen. Die beträchtliche Energieeffizienz des Moduls unterstützt den Wandel der gesamten Rechenzentrumsbranche hin zu einer nachhaltigeren, energieoptimierten Infrastruktur. Dieser Fokus hilft Betreibern, sowohl die finanziellen als auch die Umweltkosten zu bewältigen, die mit der schnellen weltweiten Ausweitung der Arbeitslasten künstlicher Intelligenz und den damit verbundenen Hardware-Fußabdrücken verbunden sind.
