Was ich über lokale KI gelernt habe

Was geschehen ist – die Kernmeldung

Die Welt der Künstlichen Intelligenz befindet sich in einem massiven Umbruch, der weit über die bekannten Cloud-Dienste von US-Giganten hinausgeht. Während in den USA Milliarden in gigantische Rechenzentren fließen, was weltweit zu Hardware-Engpässen und steigenden Preisen führt, gewinnt die lokale Ausführung von Sprachmodellen (LLMs) zunehmend an Bedeutung. Jan-Keno Janssen vom c't-Magazin hat sich intensiv mit dieser Entwicklung auseinandergesetzt und dabei verschiedene lokale Modelle wie Qwen, GLM und Kimi unter die Lupe genommen. Die Kernbotschaft lautet: Lokale KI ist längst kein Spielzeug mehr, sondern nähert sich in ihrer Nützlichkeit – sofern sie mit den richtigen Werkzeugen ausgestattet ist – kommerziellen Cloud-Modellen an. Dabei zeigt sich jedoch ein deutliches Gefälle zwischen theoretischen Benchmarks und der praktischen Anwendung, insbesondere wenn es um faktisches Wissen geht. Die Entwicklung hin zu kleineren, spezialisierten Modellen, die auf agentische Systeme setzen, könnte die Dominanz der riesigen Cloud-Modelle langfristig infrage stellen.

Die Einzelheiten – Fakten und Beobachtungen

Im Zentrum der Untersuchung standen unter anderem das Modell Qwen 3.8-27B sowie das Modell GLM-5.2. Während Qwen 3.8-27B bereits auf einer Consumer-Grafikkarte mit 24 Gigabyte Speicher, etwa einer gebrauchten RTX 3090, lauffähig ist, erfordern andere Modelle wie Kimi K3 massive Hardware-Ressourcen. Für Kimi K3 reichten selbst vier Mac Studios mit M3 Ultra und insgesamt 1,5 Terabyte Unified RAM nicht aus, da für den nutzbaren Kontext 1,6 Terabyte benötigt werden. Auch ein Server-Cluster mit acht Nvidia RTX Pro 6000 Blackwell-Karten, die jeweils 96 Gigabyte VRAM bieten, stieß bei der Ausführung von GLM-5.2 an Grenzen, da das Modell rund 450 Gigabyte Speicher beansprucht. Die Bewertung der Leistungsfähigkeit stützt sich auf Plattformen wie Artificial Analysis und Arena AI. Dort rangieren Modelle von Anthropic wie Claude Opus 5 oder Fable 5 meist an der Spitze. Interessanterweise finden sich zunehmend chinesische Entwicklungen wie Qwen (Alibaba), GLM (Zhipu AI) und Kimi (Moonshot AI) in den Top-Platzierungen wieder. Qwen 3.8-27B erreicht beispielsweise einen Intelligence Score von 52, was laut Vergleichswerten auf dem Niveau von State-of-the-Art-Modellen liegt, die vor etwa sieben Monaten aktuell waren.

Hintergrund – Der Weg zur lokalen KI

Die Bewegung hin zu lokalen KI-Modellen ist nicht zuletzt eine Reaktion auf die zunehmende Zentralisierung und die damit verbundenen Risiken. Viele Nutzer stehen der Übermittlung sensibler Daten an US-Unternehmen skeptisch gegenüber, da diese Daten potenziell im Netz landen könnten. Zudem sorgt der enorme Energie- und Hardwarebedarf der großen KI-Rechenzentren für wachsende Kritik in der Bevölkerung. Die Idee, KI auf eigener oder eigens gemieteter Hardware zu betreiben, gewinnt daher an Attraktivität. Ein weiterer Aspekt ist die wirtschaftliche Unsicherheit: Es bleibt die Frage, ob die Billionen-Investitionen in KI-Infrastruktur jemals durch Abonnements oder Token-Verkäufe refinanziert werden können. Die Entwicklung von Open-Weights-Modellen, die man herunterladen und lokal betreiben kann, hat hier eine neue Dynamik entfacht. Der Analyst Pip Klöckner äußerte bereits vor Monaten die Einschätzung, dass Nutzer auf ihrem Heim-PC mit einem Zeitverzug von etwa sechs bis sieben Monaten eine KI-Leistung abrufen können, die zuvor lediglich in professionellen Rechenzentren verfügbar war. Die aktuellen Testergebnisse scheinen diese Prognose zu stützen.

Die Beteiligten – Akteure und Institutionen

In der Analyse werden verschiedene Akteure und Institutionen genannt, die den Markt für Sprachmodelle prägen. Auf der Seite der US-Anbieter stehen Unternehmen wie Anthropic (Claude), OpenAI (GPT) und Google (Gemini), die derzeit die kommerziellen Standards setzen. Dem gegenüber stehen chinesische Akteure, die mit ihren Open-Weights-Modellen den Markt herausfordern: Alibaba mit der Qwen-Serie, Zhipu AI mit GLM und Moonshot AI mit Kimi. Diese Firmen stellen Modelle bereit, die lokal betrieben werden können, sofern die entsprechende Hardware vorhanden ist. Der Journalist Jan-Keno Janssen fungiert hierbei als Tester und Vermittler, der die Brücke zwischen komplexer technischer Hardware und der praktischen Nutzbarkeit schlägt. Ergänzend werden Plattformen wie Artificial Analysis und Arena AI als Instanzen für das Benchmarking und die Einordnung der Modellqualität herangezogen. Auch der Analyst und Podcaster Pip Klöckner wird zitiert, um die wirtschaftliche Einordnung der technologischen Entwicklung zu untermauern.

Einordnung – Was die Ergebnisse bedeuten

Die Diskrepanz zwischen hohen Benchmark-Werten und der tatsächlichen Wissensqualität ist ein zentraler Punkt der Einordnung. Den Berichten zufolge täuschen die Intelligence Scores über Schwächen in der reinen Faktenabfrage hinweg. Wenn ein Modell wie Qwen 3.8-27B bei einfachen Fragen zu historischen Fakten oder Fachzeitschriften scheitert, liegt das daran, dass moderne Benchmarks primär Fähigkeiten wie Coding, Terminal-Bedienung und die Nutzung von Werkzeugen bewerten. Reines Faktenwissen macht in den verwendeten Indizes oft nur einen Bruchteil der Gesamtpunktzahl aus – im Fall von AA-Omniscience sind es lediglich 12 Prozent. Einzuordnen ist das so: Die KI-Entwicklung bewegt sich weg von der Idee, dass ein Modell alles wissen muss. Stattdessen liegt die Zukunft in agentischen Systemen, bei denen die KI Informationen bei Bedarf im Internet recherchiert. Die Größe des Modells tritt hinter die Fähigkeit zurück, externe Werkzeuge präzise zu steuern. Dies relativiert den Bedarf an gigantischen Modellen und macht lokale Lösungen für spezialisierte Aufgaben zunehmend konkurrenzfähig.

Offene Fragen – Was bleibt ungeklärt

Der Quelltext lässt einige Aspekte der lokalen KI-Nutzung offen. Zwar wird die Zensur chinesischer Modelle thematisiert, doch bleibt unklar, wie effektiv die sogenannten „abliterated“ Modelle, also unzensierte Varianten von Qwen, in der Praxis tatsächlich funktionieren. Der Bericht erwähnt, dass diese bislang nicht ausführlich getestet werden konnten. Ebenso offen bleibt die Frage nach der langfristigen Stabilität und Sicherheit von Open-Weights-Modellen, die nicht von zentralen Anbietern gewartet werden. Auch die konkreten Kosten und die Energiebilanz beim Betrieb eines privaten KI-Clusters im Vergleich zu Cloud-Abonnements werden nur angerissen, aber nicht detailliert kalkuliert. Zudem wird nicht abschließend geklärt, wie hoch der tatsächliche Aufwand für die Implementierung agentischer Systeme ist, die über die reine Textgenerierung hinausgehen. Die technische Hürde für den durchschnittlichen Anwender, der keine spezialisierte Hardware wie RTX 3090-Karten oder Server-Cluster besitzt, bleibt eine wesentliche Unbekannte in der breiten Adaption lokaler KI-Lösungen.

Wie es weitergeht – Ausblick und Entwicklungen

Die Entwicklung bleibt dynamisch. Die Erkenntnis, dass kleinere, effizientere Modelle durch die Anbindung an externe Werkzeuge eine enorme Leistungssteigerung erfahren, deutet auf den nächsten großen Trend hin. Zukünftige Schritte werden sich vermutlich darauf konzentrieren, die Software-Umgebungen für diese agentischen Systeme benutzerfreundlicher zu gestalten. Die Beobachtung, dass chinesische Modelle wie GLM-5.2 trotz ihrer Herkunft weniger stark zensiert wirken als andere, könnte zu einer stärkeren Differenzierung bei der Modellauswahl führen. Die Suche nach Modellen, die sowohl die Hardware-Anforderungen von Consumer-PCs erfüllen als auch eine hohe faktische Genauigkeit bieten, wird die Community weiter beschäftigen. Ob und wann die „abliterated“ Modelle eine echte Alternative für Nutzer darstellen, die sich von den Einschränkungen der Standard-Modelle lösen wollen, bleibt abzuwarten. Die technologische Reise in den „Kaninchenbau“ der lokalen KI-Modelle ist laut den vorliegenden Berichten erst am Anfang, wobei die Grenze zwischen lokalem Betrieb und Cloud-Leistung durch geschickte Software-Kombinationen zunehmend verschwimmt.