SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen, die die Performance und Effizienz von lokalen KI-Modellen auf Consumer-GPUs verbessern. Zwei zentrale Themen sind die Optimierung von Prefix-Caching und die Implementierung von Hybrid-Inference für Modelle, die nicht vollständig in die VRAM passen. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um OpenCode auf Claude-Sonnet-Niveau zu betreiben.
[GLM-5.3-Flash on 8x B200: dual TP4/EP4 serving profile with long-context measurements] (2/10) — OpenCode-Fit: ENTERPRISE (für uns irrelevant)
Worum geht es konkret?
Die Diskussion dreht sich um die Performance von GLM-5.3-Flash auf einem 8x NVIDIA B200-Node-Setup. Es werden verschiedene Optimierungen wie FP8 KV-Cache, TRT-LLM DSA Backends und session-affine Routing getestet. Die Ergebnisse zeigen, dass das Modell bei langen Kontexten (bis zu 1M Tokens) stabil und performant arbeitet.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Dieser Thread ist nicht autark-relevant, da er sich auf Enterprise-Hardware wie NVIDIA B200 konzentriert. Die beschriebenen Optimierungen sind für Consumer-GPUs nicht direkt anwendbar.
Konsequenz für OpenCode-Nutzer:
Die Ergebnisse sind für Nutzer mit Consumer-GPUs nicht direkt nutzbar. Es gibt keine direkten Vorteile für die Performance oder den Workflow von OpenCode.
Handlungsempfehlung:
Enterprise — ignorieren.
Fakten-Tabelle:
– Hardware im Post: 8x NVIDIA B200
– Modell: GLM-5.3-Flash
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: 245.3 tok/s (131K Tokens), 12.50 tok/s (1M Tokens)
– Multi-GPU-Konfiguration: TP4/EP4
[Solving agent system prompt drift in long sessions — a 300-token fix] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion behandelt das Problem des System-Prompt-Drifts bei langen Agent-Sessions. Das Modell neigt dazu, die Anweisungen im System-Prompt zu vergessen, je länger die Session dauert. Der Vorschlag ist, das Modell durch Fragen zu den Anweisungen aktiv zu veranlassen, neue Tokens zu generieren, die die Anweisungen wiederherstellen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist ideal für autarke Setups, da sie keine zusätzliche Hardware oder Cloud-Ressourcen erfordert. Sie kann direkt auf Consumer-GPUs implementiert werden und hilft, die Konsistenz des Agenten über längere Zeiträume zu gewährleisten.
Konsequenz für OpenCode-Nutzer:
Die Implementierung von SCAN (System Prompt Attention Check) verbessert die Zuverlässigkeit und Konsistenz des Agents, insbesondere bei langen Sessions. Dies ist besonders nützlich für OpenCode, da der System-Prompt regelmäßig neu gesendet wird.
Handlungsempfehlung:
Die SCAN-Methode in den Agent-Workflow integrieren. Die Marker in den System-Prompt einfügen und vor jeder Task-Ausführung beantworten lassen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht spezifisch genannt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Es werden 4 Patches vorgestellt, die das Laden und die Inference ermöglichen, ohne dass die cgroup-Grenzen überschritten werden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für autarke Setups, da sie zeigt, wie man große Modelle auf Consumer-GPUs mit begrenztem Speicher betreiben kann. Die beschriebenen Patches können direkt auf 2x 5090 angewendet werden, um die VRAM-Einschränkungen zu umgehen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung der beschriebenen Patches ermöglicht es, große Modelle wie MiniMax H3 Ref2VA lokal zu betreiben, ohne dass die VRAM-Grenzen überschritten werden. Dies erweitert die Palette der nutzbaren Modelle für OpenCode.
Handlungsempfehlung:
Die beschriebenen Patches in SGLang 0.5.17 anwenden und die Konfiguration anpassen, um das Modell auf 2x 5090 zu laden und zu betreiben.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
[Why is sgalng’s torch.compile startup so much slower than vLLM?] (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschäftigt sich mit der langsamen Startzeit von SGLang bei der Verwendung von `torch.compile` im Vergleich zu vLLM. Es wird untersucht, warum SGLang bei der Kompilierung signifikant langsamer ist und welche Unterschiede in den Implementierungen die Ursache sein könnten.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die langsamen Startzeiten können für autarke Setups problematisch sein, da sie die Benutzererfahrung beeinträchtigen. Die Untersuchung der Ursachen kann helfen, die Startzeiten zu optimieren und die Performance zu verbessern.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der Startzeiten kann die Benutzererfahrung bei der Verwendung von OpenCode verbessern. Schnellere Startzeiten führen zu weniger Wartezeiten und einer reibungsloseren Interaktion.
Handlungsempfehlung:
Die neuesten Versionen von SGLang und vLLM überprüfen, um zu sehen, ob die Startzeiten verbessert wurden. Bei weiteren Problemen die Diskussion verfolgen und auf mögliche Patches warten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Gemma 3 12B
– Framework-Version: SGLang 0.5.9, vLLM
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
[Why do PDMux Prefill and Decode kernels show no temporal overlap?] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion untersucht, warum die PDMux Prefill- und Decode-Kernels bei der Verwendung von `–enable-pdmux` keine zeitliche Überlappung zeigen. Es wird analysiert, warum die Time-to-First-Token (TTFT) bei Aktivierung von PDMux signifikant zunimmt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die fehlende Überlappung der Kernels kann die Performance beeinträchtigen, insbesondere bei kleineren Batch-Größen. Die Analyse der Ursachen kann helfen, die Performance zu optimieren und die TTFT zu reduzieren.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der Kernel-Überlappung kann die TTFT reduzieren und die generelle Performance verbessern. Dies ist besonders relevant für Agent-Workloads, bei denen schnelle Antworten wichtig sind.
Handlungsempfehlung:
Die Konfiguration von PDMux überprüfen und ggf. anpassen. Die Diskussion verfolgen, um auf mögliche Patches oder Workarounds zu warten.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
[Optimizing Qwen3.8 Flash-Next and 27B/DFlash2 on SM120: native speculation, XQA, RecoverSSM, and HiCache/NIXL] (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschreibt die Optimierung des SGLang-Runtimes für die Modelle Qwen3.8 Flash-Next und Qwen3.8-27B auf einer 96 GB RTX PRO 6000. Es werden verschiedene Optimierungen wie native speculation, XQA, RecoverSSM und HiCache/NIXL vorgestellt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebenen Optimierungen können auf Consumer-GPUs wie 4x 3090 oder 2x 5090 angewendet werden, um die Performance zu verbessern. Die Integration von HiCache/NIXL kann die VRAM-Einschränkungen umgehen und die Kontextgröße erweitern.
Konsequenz für OpenCode-Nutzer:
Die Optimierungen können die Performance und die Kontextgröße von OpenCode verbessern, insbesondere bei der Verwendung von großen Modellen. Dies führt zu schnelleren Antworten und einer besseren Benutzererfahrung.
Handlungsempfehlung:
Die beschriebenen Optimierungen in SGLang implementieren und die Konfiguration anpassen, um die bestmögliche Performance zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 96 GB RTX PRO 6000
– Modell: Qwen3.8 Flash-Next, Qwen3.8-27B
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
[FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion untersucht, warum die Verwendung von FROZEN_KV_MTP bei der Inference von Gemma 4 unter Konkurrenz langsamer ist als ohne Spezifikation. Es wird analysiert, warum die Performance unter Konkurrenz signifikant abfällt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die langsamen Performance unter Konkurrenz kann für autarke Setups problematisch sein, insbesondere bei der Verwendung von mehreren Agenten oder parallelen Aufgaben. Die Analyse der Ursachen kann helfen, die Performance zu optimieren.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der Performance unter Konkurrenz kann die Benutzererfahrung bei der Verwendung von OpenCode verbessern. Schnellere Antworten unter Konkurrenz führen zu einer reibungsloseren Interaktion.
Handlungsempfehlung:
Die Konfiguration von FROZEN_KV_MTP überprüfen und ggf. anpassen. Die Diskussion verfolgen, um auf mögliche Patches oder Workarounds zu warten.
Fakten-Tabelle:
– Hardware im Post: sm_80 (CMP 170HX, GA100 64GB)
– Modell: Gemma 4-31B-it-INT8
– Framework-Version: SGLang 0.5.18
– tok/s / Benchmark: 34.3 tok/s (solo), 25.5 tok/s (batch-8)
– Multi-GPU-Konfiguration: TP=1
Weitere Diskussionen (kurz):
– GLM-5.3-Flash on 8x B200: dual TP4/EP4 serving profile with long-context measurements — Enterprise — nicht autark-relevant.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — Enterprise — nicht autark-relevant.
– wx大模型agent技术交流 — Enterprise — nicht autark-relevant.
– Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM? — Relevante Frage, aber aktuell auf Enterprise-Hardware beschränkt.
– qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? — Spezifisches Performance-Problem, relevant für Optimierung auf Consumer-GPUs.
– How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? — Relevante Diskussion zur Hybrid-Inference, aber auf Enterprise-Hardware beschränkt.
– Qwen3.5 seems have problem with tp>1 in triton_attention — Spezifisches Problem, relevant für die Verwendung von Qwen3.5 auf Consumer-GPUs.
– Customize prefix caching — Relevante Frage zur Anpassung von Prefix-Caching, aber aktuell keine direkte Lösung.