CodeFusion

Test des lokalen LLM

30.07.2026

Im Alltag arbeiten wir mit den Flaggschiff‑Modellen von Anthropic und OpenAI. Die volle Abhängigkeit von fremder Infrastruktur ist jedoch ein reales Risiko, deshalb haben wir eine Woche investiert, um die Alternative zu messen – Qwen3.6‑27B lokal auf einer Lenovo ThinkStation PGX (NVIDIA GB10, DGX‑Spark‑Plattform), die wir dank der Freundlichkeit von firit.pl ausleihen konnten (danke!).

Die Hardware lief ohne Probleme an, das Modell im Grunde auch – für unseren Haupt‑Workflow reicht es aber noch nicht. Aufgehalten hat uns nicht die Qualität, sondern eher der Durchsatz einer einzelnen Session (ca. 10 Tok/s, ein Spec‑Merge in 14 Minuten vs. 1-2 Minuten bei Claude, komplexe Analysen mit gelegentlichem Timeout) sowie die operative Reife des Stacks die Stabilisierung des Backends hat etwas gedauert.

Die Wirtschaftlichkeit rundet das Bild ab: Bei unserer aktuellen Nutzung (wir betreiben kein Tokenmaxing 😉) würde sich die Hardware erst über einen Zeithorizont von Jahren amortisieren. Die Anschaffung würde erst dann rational, wenn die Kosten der Abo‑Pläne stark steigen würden.

Vorerst bleiben wir daher bei Abonnements der großen US‑Anbieter sowie einer günstigeren API als Backup‑Kanal, während wir die lokale Hardware als bewusste Option behalten – mit einer klaren Bedingung für die Rückkehr zum Thema sowie für Aufgaben, bei denen nicht der Preis zählt, sondern die Tatsache, dass Daten die Infrastruktur des Kunden nie verlassen. Das ist keine Absicherung „für schlechtere Zeiten“, sondern das Wissen um die Grenzen der eigenen Architektur – ein Wissen, dank dem die Wahl des Anbieters eine echte Wahl bleibt und kein Zwang.

»
strzałka do góry