Cloud-Hyperscaler nehmen Nvidias Vera Rubin NVL72 in Betrieb

Was geschehen ist – die Kernmeldung

Nvidia hat offiziell den Startschuss für die Inbetriebnahme seiner neuesten Generation von KI-Rechenzentrum-Hardware gegeben. Die sogenannten Vera-Rubin-NVL72-Systeme werden bereits von führenden Cloud-Hyperscalern wie Google Cloud, Microsoft Azure, Oracle Cloud und dem spezialisierten Anbieter Coreweave eingesetzt. Bei einem NVL72-System handelt es sich um eine hochintegrierte Rack-Einheit, die aus 72 Rubin-Beschleunigern sowie 36 Vera-Prozessoren besteht und zudem die notwendige Netzwerktechnik für den Betrieb in großskalierten Rechenzentren umfasst. Diese Markteinführung markiert einen entscheidenden Schritt in Nvidias Strategie, seine Marktführerschaft bei der Bereitstellung von Infrastruktur für Künstliche Intelligenz weiter auszubauen. Das Unternehmen reagiert damit unmittelbar auf den intensiven Wettbewerb mit AMD, das zeitgleich seine eigenen Ambitionen im Bereich der KI-Server-Hardware unterstreicht. Die neuen Racks sollen durch eine verbesserte Architektur und modernere Fertigungsprozesse eine deutlich höhere Leistungsdichte erreichen, wobei Nvidia insbesondere die Effizienzsteigerungen bei der Verarbeitung komplexer KI-Modelle hervorhebt. Der Einsatz dieser Systeme bei den weltweit größten Cloud-Betreibern unterstreicht die enorme Nachfrage nach Rechenkapazitäten, die für das Training und den Betrieb moderner Reasoning-Modelle wie Deepseek R1 erforderlich sind.

Die Einzelheiten der neuen Hardware-Generation

Die technischen Spezifikationen der Vera-Rubin-NVL72-Systeme verdeutlichen den technologischen Sprung gegenüber den Vorgängersystemen. Ein zentraler Aspekt ist die Umstellung auf eine 3-Nanometer-Fertigungstechnologie durch den Auftragsfertiger TSMC, während die Blackwell-Generation noch auf einem 5-Nanometer-Prozess (4NP) basierte. Diese architektonische Neuerung ermöglicht laut Nvidia eine Effizienzsteigerung von bis zu 25 Prozent bei gleichbleibender Leistung. Die Systeme zeichnen sich zudem durch eine verbesserte Speicheranbindung und eine höhere Kapazität an High-Bandwidth Memory (HBM3e) aus. Ein wesentlicher Baustein für die Leistungsfähigkeit bei Mixture-of-Experts-Modellen ist der optimierte „Tensor Memory Accelerator“ (TMA). Dieser erlaubt es, einen Deskriptor für alle Experten eines Modells zu nutzen, sofern die Tensoren identische Layouts aufweisen. Dies reduziert den administrativen Aufwand für die Metadatenverwaltung erheblich und beschleunigt den Datentransfer. Zudem wurde die Koordination zwischen abhängigen Kernels innerhalb der GPUs verbessert, um Leerlaufzeiten zu minimieren. Die Tensor-Kerne wurden ebenfalls überarbeitet, um die Abarbeitung von Matrizen effizienter zu gestalten, was direkt in eine höhere Token-Ausgabegeschwindigkeit bei KI-Modellen mündet.

Hintergrund und Wettbewerbsumfeld

Der Markt für KI-Infrastruktur ist derzeit von einem intensiven Schlagabtausch zwischen den großen Akteuren geprägt. Nvidia befindet sich in einer direkten Konkurrenzsituation mit AMD, das seine eigene Präsenz im Rechenzentrum-Segment massiv ausbaut. AMD hat erst kürzlich ein Abkommen mit Microsoft Azure für den Einsatz der sogenannten Helios-Server bekannt gegeben, die auf den neuen Epyc-Venice-Prozessoren sowie den Instinct-MI455X-Beschleunigern basieren. Der zeitliche Druck ist hoch, da beide Unternehmen versuchen, ihre neuesten Plattformen möglichst schnell in den Rechenzentren der großen Cloud-Anbieter zu etablieren. Nvidia nutzt die aktuelle Phase, um durch die Veröffentlichung von Benchmarks und technischen Details die Überlegenheit der Rubin-Architektur zu untermauern. Dabei geht es nicht nur um reine Rechenleistung, sondern auch um die Integration in bestehende Netzwerkumgebungen, wie sie beispielsweise bei Google Cloud durch die eigene „Virgo“-Netzwerktechnik ergänzt wird. Die Entwicklung hin zu immer leistungsfähigeren Racks wie dem NVL72 ist eine direkte Antwort auf die stetig wachsenden Anforderungen moderner KI-Modelle, die immer größere Mengen an Speicher und Rechenleistung in einer hochgradig synchronisierten Umgebung benötigen.

Die beteiligten Akteure und Unternehmen

Die Implementierung der Vera-Rubin-NVL72-Systeme erfolgt in enger Zusammenarbeit mit den weltweit führenden Cloud-Anbietern. Zu den prominenten Partnern, die diese Technologie bereits in Betrieb nehmen, zählen Google Cloud, Microsoft Azure und die Oracle Cloud. Besonders eng arbeitet Nvidia mit dem Anbieter Coreweave zusammen, der als einer der ersten Partner die Leistungsfähigkeit der neuen Racks in gemeinsamen Veröffentlichungen hervorhebt. Auf der Herstellerseite ist Nvidia der treibende Akteur, der die Architektur entwickelt und die Rubin-GPUs sowie Vera-Prozessoren bereitstellt. Die Fertigung der Chips erfolgt durch den taiwanesischen Halbleiterriesen TSMC. Auf der Gegenseite steht AMD als Hauptkonkurrent, der durch Firmenchefin Lisa Su vertreten wird. Lisa Su nutzt Veranstaltungen wie „Advancing AI“, um die eigenen technologischen Fortschritte, etwa im Bereich der Epyc-Venice-Prozessoren, zu präsentieren. Auch das deutsche IT-Systemhaus Nelpx tritt als Beobachter und Analyst der Hardware-Konfigurationen in Erscheinung, indem es Schätzungen zur elektrischen Leistungsaufnahme der neuen Server-Racks liefert und damit die Diskussion über den Energiebedarf in Rechenzentren befeuert.

Einordnung der Leistungsdaten

Die von Nvidia und Coreweave präsentierten Leistungsdaten, insbesondere die angegebene Verzehnfachung der Tokens pro Sekunde bei der Nutzung des Modells Deepseek R1, sind einzuordnen. Den Berichten zufolge stellen die Partner das neue System in einem besonders günstigen Licht dar. Ein direkter Vergleich mit der Vorgängergeneration GB200 NVL72 (Grace Blackwell) ist komplex, da die Basislinien unterschiedlich sind. Die GB200-Boards nutzen ältere Blackwell-GPUs, die über weniger Speicher verfügen als die neueren GB300-Versionen (Blackwell Ultra). Ein vollständiger NVL72-Server der neuen Generation erreicht eine Kapazität von 20,7 TByte High-Bandwidth Memory (HBM3e), während die Vorgängerversion lediglich auf 13,4 TByte kommt. Zudem fehlen in den Vergleichs-Benchmarks der älteren Generation möglicherweise jüngere Software-Optimierungen. Die von Coreweave genannte „2025 Basislinie“ muss daher als ein Vergleich zwischen einer älteren Konfiguration und dem neuesten Stand der Technik verstanden werden. Die architektonischen Verbesserungen sind zwar unbestreitbar, doch die prozentualen Zuwächse bei der Effizienz hängen stark vom spezifischen Anwendungsfall und der Optimierung der Software-Stacks ab.

Der steigende Energiehunger und die Kosten

Ein wesentlicher Aspekt, der mit der Einführung der Vera-Rubin-NVL72-Systeme einhergeht, ist der drastisch steigende Energiebedarf. Nvidia hält sich offiziell zur genauen elektrischen Leistungsaufnahme eines solchen Racks bedeckt. Schätzungen zufolge liegt der Verbrauch jedoch bei mindestens 180 Kilowatt pro Server-Einheit. Das deutsche IT-Systemhaus Nelpx geht in seinen Analysen sogar von Werten zwischen 200 und 360 Kilowatt aus, abhängig von der jeweiligen Konfiguration. Zum Vergleich: Ein NVL72-Server auf Basis der Grace-Blackwell-Architektur kommt auf maximal 140 Kilowatt. Diese Entwicklung stellt Rechenzentrumsbetreiber vor enorme Herausforderungen bei der Stromversorgung und Kühlung. Auch die finanziellen Investitionen erreichen neue Dimensionen. Die Kosten für ein einzelnes System vom Typ Vera Rubin NVL72 werden auf rund 7,8 Millionen US-Dollar geschätzt, was etwa 6,8 Millionen Euro entspricht. Dies bedeutet nahezu eine Verdopplung der Anschaffungskosten im Vergleich zu den Vorgängersystemen. Insbesondere der verbaute High-End-Speicher trägt maßgeblich zu diesem massiven Preisanstieg bei, was die ökonomische Hürde für den Einsatz dieser Technologie weiter erhöht.

Offene Fragen zur Technologie und Marktdurchdringung

Trotz der detaillierten Informationen zur Architektur der Vera-Rubin-Generation bleiben einige Fragen offen. Der Quelltext beantwortet beispielsweise nicht, in welchem Umfang die Cloud-Anbieter ihre Rechenzentren physisch umbauen müssen, um die deutlich höhere Leistungsaufnahme der neuen Racks zu bewältigen. Auch bleibt unklar, wie die Verfügbarkeit der Chips über die genannten Partner hinaus aussieht und ob Nvidia in der Lage ist, die hohe Nachfrage zeitnah zu bedienen, ohne dass es zu Lieferengpässen kommt. Zudem fehlen konkrete Angaben darüber, wie sich die Energieeffizienz bei anderen KI-Modellen verhält, die nicht auf der Mixture-of-Experts-Architektur basieren. Die langfristigen Wartungskosten und die Lebensdauer der hochintegrierten Systeme sind ebenfalls nicht Gegenstand der vorliegenden Informationen. Es bleibt abzuwarten, wie sich die Betriebskosten über die gesamte Nutzungsdauer hinweg im Vergleich zu den bereits hohen Anschaffungskosten entwickeln werden und ob die versprochenen Effizienzgewinne die gestiegenen Stromkosten in der Praxis vollständig kompensieren können.

Wie es weitergeht

Der Wettbewerb zwischen Nvidia und AMD wird sich in den kommenden Monaten weiter verschärfen. Mit der laufenden Veranstaltung „Advancing AI“ von AMD und der angekündigten Präsentation von Lisa Su am 23. Juli um 18:30 Uhr deutscher Zeit ist mit weiteren Ankündigungen zu rechnen, die den Druck auf Nvidia aufrechterhalten könnten. Die Cloud-Hyperscaler befinden sich in einer Phase der Hardware-Migration, bei der sie ihre Kapazitäten schrittweise auf die neuen Generationen umstellen. Für Nvidia steht nun die Skalierung der Produktion der Rubin-GPUs im Vordergrund, um die Zusagen an die Partner wie Google, Microsoft und Coreweave einzuhalten. Beobachter werden zudem genau verfolgen, wie sich die Benchmark-Ergebnisse in unabhängigen Tests außerhalb der von Nvidia und Coreweave kontrollierten Umgebungen entwickeln. Die Branche erwartet zudem weitere Details zu den „Rubin-Ultra“-Boards, die bereits im Kontext von Kyber-Racks erwähnt wurden. Die technologische Entwicklung im Bereich der KI-Beschleuniger bleibt damit hochdynamisch, wobei der Fokus zunehmend auf der Balance zwischen extremer Rechenleistung, Energieeffizienz und den damit verbundenen Betriebskosten liegt.