zHBM, zNAND & HBF: Stapelspeicher für KI-Hardware soll schneller und größer werden

Neue Wege für die Speicherarchitektur in der KI-Ära

Die stetig wachsende Komplexität von KI-Modellen stellt die Hardware-Industrie vor enorme Herausforderungen. Insbesondere die Geschwindigkeit und Kapazität des Arbeitsspeichers werden zunehmend zum Flaschenhals. Auf dem Future Memory Summit haben führende Speicherhersteller wie Samsung und SK Hynix nun Konzepte vorgestellt, die durch innovative Stapeltechnologien die Grenzen heutiger Systeme verschieben sollen.

zHBM: Höhere Bandbreite durch direkte Integration

Samsung hat mit zHBM eine Weiterentwicklung des bekannten High Bandwidth Memory (HBM) vorgestellt. Während herkömmliche HBM-Lösungen über Interposer mit dem Prozessor verbunden sind, sieht das zHBM-Konzept vor, die Speicherstapel direkt auf den KI-Chip zu montieren. Durch diese räumliche Nähe werden die Signalwege verkürzt, was laut Samsung eine signifikante Steigerung der Bandbreite ermöglicht.

Im Vergleich zum aktuellen Standard HBM5 soll zHBM die achtfache Bandbreite sowie eine mehr als zehnfache Speicherdichte bieten. Um diese ambitionierten Ziele zu erreichen, setzt der Hersteller auf fortschrittliche Fertigungsverfahren wie das Wafer-Bonding. Dabei kommt vermutlich eine Weiterentwicklung des Hybrid Copper Bondings zum Einsatz, die es erlaubt, mehr Speicherschichten übereinander zu stapeln.

Thermische Herausforderungen meistern

Die direkte Platzierung des Speichers auf dem Rechenchip bringt ein physikalisches Problem mit sich: die Wärmeentwicklung. Wenn sich der Speicherstapel unmittelbar über dem KI-Beschleuniger befindet, droht eine Überhitzung beider Komponenten. Samsung adressiert dies durch eine geplante Reduzierung des thermischen Widerstands der Speicherstapel um die Hälfte, um die Abwärme effizienter abzuführen.

High Bandwidth Flash (HBF) für KI-Inferenz

Neben dem Arbeitsspeicher rückt auch der Flash-Speicher in den Fokus der Entwickler. Für KI-Inferenz-Anwendungen, bei denen große Mengen an Modellgewichten gelesen werden müssen, ist eine hohe Speicherkapazität entscheidend. Hier soll das Konzept des High Bandwidth Flash (HBF) Abhilfe schaffen.

SK Hynix und Sandisk haben für diese Technologie eine erste Spezifikation vorgestellt. Im Gegensatz zu HBM, das durch das Jedec-Konsortium standardisiert wird, wurde der HBF-Standard im Rahmen des Open Compute Project entwickelt. Diese Technologie ermöglicht es, Flash-Speicher ähnlich wie HBM zu stapeln, was die Kapazität direkt am Beschleuniger erhöht und das Laden umfangreicherer KI-Modelle ermöglicht.

Einordnung und Ausblick

Die vorgestellten Technologien befinden sich in unterschiedlichen Stadien der Marktreife. Während zHBM als zukunftsorientiertes Konzept gilt, bei dem viele Details zur technischen Umsetzung noch vage bleiben, ist HBF als Lösung für die nähere Zukunft konzipiert. Die Branche versucht damit, die Lücke zwischen der enormen Rechenleistung moderner KI-Beschleuniger und der begrenzten Datenbereitstellung durch den Speicher zu schließen.

Die nächsten Schritte werden darin bestehen, die Fertigungsverfahren für das Wafer-Bonding in die Massenproduktion zu überführen und die thermische Stabilität unter realen Lastszenarien nachzuweisen. Sollten sich diese Ansätze bewähren, könnten sie die Architektur von KI-Servern grundlegend verändern und den Weg für noch leistungsfähigere KI-Systeme ebnen.