SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung: Die SGLang-Community diskutiert aktuell verschiedene Themen, die die Leistung und Effizienz von lokalen KI-Modellen und -Agenten betreffen. Die Top-Diskussionspunkte umfassen die Unterstützung von verschiedenen Modellen, die Optimierung von Inference-Workflows, die Verbesserung der Prefix-Caching-Technik und die Implementierung von Hybrid-Inference-Methoden für Consumer-GPUs. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um OpenCode-Nutzern eine nahezu Claude-Sonnet-ähnliche Erfahrung zu bieten.
Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM? (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Diskussionsbeitrag behandelt das Problem, dass MegaMoE derzeit nur mit DeepSeek-Modellen kompatibel ist. Der Nutzer versucht, MegaMoE mit GLM-5.2 zu verwenden, stößt aber auf Quantisierungsprobleme. Es wird gefragt, ob eine Neu-Quantisierung von GLM-5.2 helfen könnte und ob es Pläne gibt, die offizielle Unterstützung für GLM in der Zukunft zu implementieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist die Unterstützung von verschiedenen Modellen wie GLM wichtig, da es die Flexibilität erhöht. Die aktuelle Einschränkung auf DeepSeek-Modelle könnte ein Hindernis darstellen, da GLM-Modelle in vielen Anwendungen beliebt sind. Die Möglichkeit, GLM-Modelle mit MegaMoE zu verwenden, würde die Modellvielfalt erweitern und die Anwendungsbereiche für OpenCode-Agenten erweitern.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von GLM-Modellen würde OpenCode-Agenten erlauben, eine breitere Palette von Aufgaben zu bearbeiten, insbesondere solche, die spezifische Domänenwissen erfordern. Nutzer sollten auf Updates zur Unterstützung von GLM achten und gegebenenfalls die Neu-Quantisierung von GLM-5.2 in Betracht ziehen.
Handlungsempfehlung:
Auf PRs warten, die die Unterstützung für GLM-Modelle hinzufügen. In der Zwischenzeit kann die Neu-Quantisierung von GLM-5.2 als Workaround überprüft werden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Solving agent system prompt drift in long sessions — a 300-token fix (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion behandelt das Problem des „Prompt Drifts“ bei langen Agent-Sessions. Der Agent driftet von den ursprünglichen System-Anweisungen ab, je länger die Sitzung dauert. Es wird ein Ansatz namens SCAN vorgestellt, der das Problem durch aktive Generierung von Tokens löst, die semantisch mit den Anweisungen verbunden sind.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das SCAN-Verfahren ist besonders relevant für autarke Home-Setups, da es die Langlebigkeit und Konsistenz von Agent-Sessions verbessert. Dies ist besonders wichtig für OpenCode-Agenten, die über längere Zeiträume hinweg komplexe Aufgaben bearbeiten müssen. Die Implementierung von SCAN würde die Zuverlässigkeit und Effizienz der Agenten erheblich steigern.
Konsequenz für OpenCode-Nutzer:
Die Implementierung von SCAN würde OpenCode-Agenten ermöglichen, über längere Zeiträume hinweg konsistent und zuverlässig zu arbeiten, ohne dass die System-Anweisungen verloren gehen. Dies ist besonders nützlich für Aufgaben, die kontinuierliche Aufmerksamkeit und Präzision erfordern.
Handlungsempfehlung:
Die SCAN-Technik in den Agenten-Workflows integrieren. Die Implementierung kann durch die Hinzufügung von Marker-Fragen und der aktiven Generierung von Tokens erreicht werden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht spezifisch genannt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das MiniMax H3 Ref2VA-Modell (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Es werden vier Patches vorgestellt, die die Streaming-Weight-Load und die resident-layer GPU-Routing optimieren, um OOM-Fehler zu vermeiden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist die Fähigkeit, große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs zu laufen, sehr wichtig. Die beschriebenen Patches ermöglichen es, das Modell unter starken Speicherbeschränkungen zu laden und zu verwenden, was die Anwendungsbereiche für OpenCode-Agenten erweitert. Dies ist besonders nützlich für Nutzer, die mit begrenztem VRAM arbeiten.
Konsequenz für OpenCode-Nutzer:
Die Implementierung der beschriebenen Patches würde es OpenCode-Agenten ermöglichen, komplexe Aufgaben mit großen Modellen wie MiniMax H3 Ref2VA zu bearbeiten, ohne an Speicherbeschränkungen zu scheitern. Dies erhöht die Leistung und die Vielseitigkeit der Agenten.
Handlungsempfehlung:
Die Patches in die SGLang-Installation integrieren und die beschriebenen Konfigurationen anwenden. Die Installation von `ninja-build` und `ffmpeg` ist ebenfalls empfohlen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt eine Hybrid-Inference-Methode, die es ermöglicht, das DeepSeek V4 Spark 0731-Modell auf Consumer-GPUs mit begrenztem VRAM zu laufen. Die Methode verwendet CPU-RAM und CPU-Rechenleistung, um die VRAM-Beschränkungen zu umgehen. Es werden Benchmark-Ergebnisse für verschiedene Hardware-Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Hybrid-Inference-Methode ist besonders relevant für autarke Home-Setups, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf Consumer-GPUs zu laufen, ohne an VRAM-Beschränkungen zu scheitern. Dies erweitert die Anwendungsbereiche für OpenCode-Agenten und ermöglicht die Verarbeitung komplexer Aufgaben.
Konsequenz für OpenCode-Nutzer:
Die Hybrid-Inference-Methode würde es OpenCode-Agenten ermöglichen, große Modelle zu verwenden, ohne an Speicherbeschränkungen zu scheitern. Dies erhöht die Leistung und die Vielseitigkeit der Agenten, insbesondere bei Aufgaben, die hohe Rechenleistung erfordern.
Handlungsempfehlung:
Die beschriebene Hybrid-Inference-Methode in die SGLang-Installation integrieren und die Hardware-Konfigurationen anpassen. Die Installation von `ninja-build` und `ffmpeg` ist ebenfalls empfohlen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090, 2x 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9, Lvllmds4-v2.3.9
– tok/s / Benchmark: 850 t/s [input 32768], 28 t/s [input 32768], 30~46 t/s (5090); 1060 t/s [input 32768], 26 t/s [input 32768], 35~47 t/s (3090); 3100 t/s [input 131072], 75 t/s [input 131072], 100~115 t/s (Pro 6000)
– Multi-GPU-Konfiguration: TP=2
qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt ein Leistungsproblem beim Inferenzprozess des Qwen2.5-VL-Modells. Die `compute_hash_feature`-Funktion verursacht eine Verzögerung von 84 ms, während die `vit_forward`-Funktion nur 53 ms benötigt. Es wird gefragt, ob die `compute_hash_feature`-Funktion notwendig ist oder ob es eine Alternative gibt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Optimierung der Inferenzgeschwindigkeit ist für autarke Home-Setups wichtig, da sie die Gesamtperformance verbessert. Die Verzögerung durch die `compute_hash_feature`-Funktion kann die Effizienz der Agenten beeinträchtigen. Eine Alternative oder Optimierung dieser Funktion könnte die Leistung erheblich steigern.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der `compute_hash_feature`-Funktion oder die Suche nach Alternativen würde die Inferenzgeschwindigkeit von Qwen2.5-VL-Modellen verbessern. Dies ist besonders nützlich für Aufgaben, die hohe Reaktionsgeschwindigkeit erfordern.
Handlungsempfehlung:
Die `compute_hash_feature`-Funktion in der SGLang-Installation überprüfen und gegebenenfalls optimieren oder durch eine alternative Funktion ersetzen.
Fakten-Tabelle:
– Hardware im Post: NVIDIA GeForce RTX 4090
– Modell: Qwen2.5-VL-3B-Instruct
– Framework-Version: sglang v0.4.6.post5
– tok/s / Benchmark: 84 ms (compute_hash_feature), 53 ms (vit_forward)
– Multi-GPU-Konfiguration: nicht im Post belegt
FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt ein Leistungsproblem beim Verwenden von FROZEN_KV_MTP (Multi-Threaded Prefetch) mit dem Gemma 4-Modell. Unter Konkurrenzbedingungen ist die Performance von FROZEN_KV_MTP deutlich schlechter als ohne Spezifikation. Es werden detaillierte Benchmark-Ergebnisse und Profilierungsdaten präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Optimierung der Multi-Threaded Prefetch-Technik ist wichtig für autarke Home-Setups, da sie die Gesamtperformance unter Konkurrenzbedingungen verbessern kann. Die aktuelle Implementierung von FROZEN_KV_MTP scheint unter bestimmten Bedingungen ineffizient zu sein, was die Leistung der Agenten beeinträchtigen kann.
Konsequenz für OpenCode-Nutzer:
Die Optimierung von FROZEN_KV_MTP oder die Suche nach Alternativen würde die Leistung unter Konkurrenzbedingungen verbessern. Dies ist besonders nützlich für Aufgaben, die gleichzeitige Anfragen erfordern.
Handlungsempfehlung:
Die aktuelle Implementierung von FROZEN_KV_MTP in der SGLang-Installation überprüfen und gegebenenfalls optimieren. Auf PRs warten, die die Performance unter Konkurrenzbedingungen verbessern.
Fakten-Tabelle:
– Hardware im Post: GA100 64GB
– Modell: Gemma 4-31B-it-INT8
– Framework-Version: sglang v0.5.18
– tok/s / Benchmark: 34.3 (no-spec), 9.4 (MTP s1/d2), 11.5 (MTP s2/d3), 12.2 (MTP s3/d4)
– Multi-GPU-Konfiguration: nicht im Post belegt
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das MiniMax H3-Modell (FL2VA) auf 4x L40S-GPUs mit SGLang ausgeführt werden kann. Es wird eine dynamische FP8-Quantisierung verwendet, die die VRAM-Bedarfe reduziert und die Geschwindigkeit um etwa das Doppelte erhöht, verglichen mit 2-GPU BF16. Es werden detaillierte Konfigurationen und Benchmark-Ergebnisse präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Verwendung von dynamischer FP8-Quantisierung ist besonders relevant für autarke Home-Setups, da sie die VRAM-Bedarfe reduziert und die Leistung erheblich steigert. Dies ermöglicht es, große Modelle wie MiniMax H3 auf Consumer-GPUs zu laufen, ohne an Speicherbeschränkungen zu scheitern. Dies erweitert die Anwendungsbereiche für OpenCode-Agenten.
Konsequenz für OpenCode-Nutzer:
Die Implementierung der dynamischen FP8-Quantisierung würde es OpenCode-Agenten ermöglichen, große Modelle wie MiniMax H3 effizient zu verwenden. Dies erhöht die Leistung und die Vielseitigkeit der Agenten, insbesondere bei Aufgaben, die hohe Rechenleistung erfordern.
Handlungsempfehlung:
Die beschriebene Konfiguration in die SGLang-Installation integrieren und die dynamische FP8-Quantisierung aktivieren. Die Installation von `ninja-build` und `ffmpeg` ist ebenfalls empfohlen.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB
– Modell: MiniMax H