heise+ | Ausprobiert: Workstation mit viermal Intel Arc Pro B70 mit 384 GByte Speicher

Lokale KI-Infrastruktur als Alternative zur Cloud

Der enorme Ressourcenbedarf moderner KI-Modelle stellt Unternehmen und ambitionierte Anwender vor neue Herausforderungen. Während Cloud-Lösungen oft die erste Wahl für rechenintensive Aufgaben sind, wächst der Wunsch nach einer lokalen Infrastruktur. Gründe hierfür sind vielfältig: Neben der Skepsis gegenüber US-amerikanischen Cloud-Anbietern spielen vor allem die volle Kontrolle über sensible Geschäftsdaten, die Einhaltung von Datenschutzvorgaben und eine besser planbare Kostenstruktur eine entscheidende Rolle. Für kleine und mittlere Betriebe stellt sich daher die Frage, wie der nächste Schritt nach einem Standard-PC mit einer einzelnen Grafikkarte aussehen kann.

Das Konzept der Multi-GPU-Workstation

Um größere Sprachmodelle lokal zu betreiben oder die Anfragen mehrerer Abteilungen gleichzeitig zu bewältigen, ist eine Skalierung der Hardware notwendig. Ein vielversprechender Ansatz ist der Einsatz von Workstations, die mit mehreren Grafikkarten und einer hohen Speicherkapazität ausgestattet sind. Im Fokus steht dabei ein kosteneffizientes Setup, das dennoch die nötige Leistung für KI-Workloads liefert.

In einem aktuellen Test wurde eine Workstation konfiguriert, die auf ein Quartett aus Intel Arc Pro B70 Grafikkarten setzt. Jede dieser Karten verfügt über 32 GByte Grafikspeicher. Ergänzt wird dieses GPU-Setup durch einen Arbeitsspeicher von 256 GByte im System selbst, was zu einer beeindruckenden Speicherkonfiguration führt. Die Gesamtkosten für die Komponenten dieses Systems belaufen sich auf etwa 17.000 Euro.

Praxisanforderungen und Betriebssysteme

Der Test der Workstation konzentrierte sich auf die Performance bei KI-Anwendungen. Dabei wurde sowohl unter Windows als auch unter Linux geprüft, wie sich die Kombination der vier Grafikkarten in der Praxis schlägt. Die Arbeitsteilung zwischen den Chips ist bei KI-Aufgaben essenziell, da die Anforderungen an den Grafikspeicher und die Rechenleistung bei komplexen Modellen einzelne Komponenten schnell an ihre Grenzen bringen.

Hintergrund und Ausblick

Der Trend zur lokalen KI-Verarbeitung ist eine direkte Antwort auf die steigende Komplexität und den Bedarf an Datensouveränität. Die getestete Konfiguration mit Intel Arc Pro B70 Modellen zeigt einen Weg auf, wie professionelle Anwender ohne den Zwang zur öffentlichen Cloud KI-Workloads skalieren können.

Für Unternehmen, die ihre ersten Schritte in der lokalen KI-Infrastruktur gemacht haben, bietet ein solches Multi-GPU-System eine Möglichkeit, die Kapazitäten für mehrere Nutzer oder größere Modelle zu erweitern. Die Wahl der Hardware, insbesondere der Fokus auf ein gutes Preis-Leistungs-Verhältnis bei den Grafikkarten, ist dabei ein zentraler Faktor für die Wirtschaftlichkeit solcher Investitionen. Zukünftige Entwicklungen werden zeigen, inwieweit sich solche Workstations als Standard in KMUs etablieren, um die Abhängigkeit von externen Rechenzentren zu minimieren und die Kontrolle über eigene KI-Prozesse zu behalten.