SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell verschiedene Themen, die die Optimierung von lokalen KI-Setups betreffen. Dominierende Themen sind die Verbesserung der Prefix-Caching-Techniken, die Unterstützung von Modellen wie Qwen3 und DeepSeek, und die Optimierung der Inference-Leistung auf Consumer-GPUs. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um OpenCode auf Claude-Sonnet-Niveau zu betreiben.
[Solving agent system prompt drift in long sessions — a 300-token fix] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion behandelt das Problem des System-Prompt-Drifts bei langen Agent-Sessions. Bei der Verwendung von LLMs als Agenten verliert der System-Prompt an Gewicht, je länger die Session dauert. Dies führt dazu, dass der Agent nach einer Weile nicht mehr den ursprünglichen Anweisungen folgt. Der Vorschlag ist, das Problem durch die Verwendung von „SCAN“-Markers zu lösen, die den Agenten dazu bringen, semantisch verknüpfte Tokens zu generieren, anstatt den Prompt zu wiederholen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist ideal für autarke Home-Setups, da sie keine zusätzliche Hardware oder Cloud-Ressourcen erfordert. Sie kann direkt auf Consumer-GPUs implementiert werden und hilft, die Langlebigkeit und Konsistenz des Agenten zu verbessern, ohne den Kontext-Window zu überlasten.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung von SCAN-Markers kann dazu beitragen, dass der Agent über längere Zeiträume hinweg konsistenter und zuverlässiger bleibt. Dies ist besonders wichtig für komplexe Aufgaben, bei denen der Agent über mehrere Stunden oder Tage hinweg tätig sein muss.
Handlungsempfehlung:
Die SCAN-Methode in den Agent-Workflows integrieren und die System-Prompts entsprechend anpassen.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: [nicht im Post belegt]
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Standardmäßig führt der Speicherbedarf zu einem Out-of-Memory-Fehler, der durch 4 Patches im SGLang-Code behoben wird. Diese Patches ermöglichen das Streaming der Gewichte und die direkte GPU-Verlegung von Schichten, um den Speicherbedarf zu reduzieren.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Lösung ist direkt für autarke Home-Setups relevant, insbesondere für Nutzer mit 2x 5090. Die beschriebenen Patches können leicht auf Consumer-GPUs angewendet werden und ermöglichen die Ausführung von großen Modellen, die ansonsten aufgrund des begrenzten VRAM nicht lauffähig wären.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung dieser Patches kann dazu beitragen, dass große Modelle wie MiniMax H3 Ref2VA auf autarken Setups ausgeführt werden können, ohne dass der Speicherbedarf überschritten wird. Dies erweitert die Palette der nutzbaren Modelle und verbessert die Leistung.
Handlungsempfehlung:
Die beschriebenen Patches in den SGLang-Code integrieren und die Konfiguration entsprechend anpassen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Optimizing Qwen3.8 Flash-Next and 27B/DFlash2 on SM120: native speculation, XQA, RecoverSSM, and HiCache/NIXL] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt die Optimierung des SGLang-Runtimes für die Modelle Qwen3.8 Flash-Next und Qwen3.8-27B auf einer 96 GB RTX PRO 6000. Die Optimierungen umfassen die Verwendung von FlashInfer, TRTLLM, und HiCache/NIXL, um die Leistung und den Speicherverbrauch zu verbessern. Es werden detaillierte Benchmarks und Validierungen vorgestellt.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Optimierungen sind für autarke Home-Setups relevant, insbesondere für Nutzer mit 96 GB VRAM. Die beschriebenen Techniken können auf Consumer-GPUs angewendet werden, um die Leistung von großen Modellen zu steigern und den Speicherverbrauch zu reduzieren.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung dieser Optimierungen kann dazu beitragen, dass Modelle wie Qwen3.8 Flash-Next und Qwen3.8-27B effizienter und zuverlässiger ausgeführt werden. Dies verbessert die Leistung und erlaubt die Verwendung von komplexeren Modellen auf autarken Setups.
Handlungsempfehlung:
Die beschriebenen Optimierungen in den SGLang-Code integrieren und die Konfiguration entsprechend anpassen.
Fakten-Tabelle:
– Hardware im Post: 96 GB RTX PRO 6000
– Modell: Qwen3.8 Flash-Next, Qwen3.8-27B
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Why do PDMux Prefill and Decode kernels show no temporal overlap?] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion behandelt ein Leistungsproblem bei der Verwendung von PDMux (Parallel Decoding Multiplexing) in SGLang. Der Nutzer stellt fest, dass die TTFT (Time to First Token) signifikant steigt, wenn PDMux aktiviert ist. Durch die Profilerung mit `nsys` wird deutlich, dass die Prefill- und Decode-Kernels keine zeitliche Überlappung zeigen, was zu einer Leistungsverschlechterung führt.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist für autarke Home-Setups bedingt relevant, da PDMux eine Technik ist, die die Leistung von Multi-GPU-Setups verbessern soll. Allerdings ist die beschriebene Leistungsverschlechterung ein Problem, das auch auf Consumer-GPUs auftreten kann. Die Lösung dieses Problems könnte die Leistung von autarken Setups verbessern.
Konsequenz fuer OpenCode-Nutzer:
Die Deaktivierung von PDMux kann dazu beitragen, dass die TTFT reduziert wird und die Leistung des Agenten verbessert. Es ist ratsam, die Konfiguration zu überprüfen und gegebenenfalls PDMux zu deaktivieren.
Handlungsempfehlung:
PDMux deaktivieren und die Leistung ohne PDMux testen.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Why is sgalng’s torch.compile startup so much slower than vLLM?] (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion behandelt die signifikant längere Startzeit von SGLang bei der Verwendung von `torch.compile` im Vergleich zu vLLM. Der Nutzer stellt fest, dass SGLang ohne `torch.compile` in etwa 1:30 Minuten startet, während die Startzeit mit `torch.compile` auf etwa 6 Minuten steigt. Im Gegensatz dazu startet vLLM in etwa 1 Minute, auch mit `torch.compile` aktiviert.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist für autarke Home-Setups bedingt relevant, da die Startzeit eine wichtige Metrik für die Nutzerfreundlichkeit ist. Die längere Startzeit von SGLang kann bei häufigen Neustarts oder kurzen Sitzungen ein Problem darstellen. Die Untersuchung der Ursachen und möglichen Lösungen kann dazu beitragen, die Startzeit zu reduzieren.
Konsequenz fuer OpenCode-Nutzer:
Die Untersuchung der Ursachen für die längere Startzeit kann dazu beitragen, die Nutzererfahrung zu verbessern. Es ist ratsam, die Konfiguration zu überprüfen und gegebenenfalls Alternativen zu `torch.compile` zu erproben.
Handlungsempfehlung:
Die Startzeit ohne `torch.compile` testen und gegebenenfalls Alternativen erproben.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: Gemma 3 12B
– Framework-Version: SGLang, vLLM
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion behandelt die Frage, ob MegaMoE (Mixture of Experts) derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, die Unterstützung auf andere Architekturen wie GLM zu erweitern. Der Nutzer berichtet, dass er Probleme hat, MegaMoE mit GLM-5.2 zu verwenden, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist für autarke Home-Setups bedingt relevant, da die Unterstützung von MegaMoE für verschiedene Modelle die Flexibilität und Leistung des Setups verbessern kann. Die aktuelle Einschränkung auf DeepSeek-Modelle kann ein Hindernis darstellen, aber die geplante Erweiterung der Unterstützung könnte dies in Zukunft ändern.
Konsequenz fuer OpenCode-Nutzer:
Die Unterstützung von MegaMoE für GLM und andere Modelle kann dazu beitragen, die Leistung und Effizienz des Agenten zu verbessern. Es ist ratsam, die Entwicklungspläne zu verfolgen und gegebenenfalls die Quantisierungsskalen anzupassen.
Handlungsempfehlung:
Die Entwicklungspläne für die Erweiterung der MegaMoE-Unterstützung verfolgen und gegebenenfalls die Quantisierungsskalen anpassen.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: GLM-5.2, DeepSeek
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
Weitere Diskussionen (kurz):
– GLM-5.3-Flash on 8x B200: dual TP4/EP4 serving profile with long-context measurements — Enterprise — nicht autark-relevant, da es sich um 8x B200-Setups handelt.
– FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency — Enterprise — nicht autark-relevant, da es sich um GA100-GPUs handelt.
– How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? — Enterprise — nicht autark-relevant, da es sich um hochgradig spezialisierte Setups handelt.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — Enterprise — nicht autark-relevant, da es sich um H20-GPUs handelt.
– wx大模型agent技术交流 — Enterprise — nicht autark-relevant, da es sich um eine allgemeine Diskussion handelt.
– qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? — Enterprise — nicht autark-relevant, da es sich um spezifische Optimierungen handelt.
– Qwen3.5 seems have problem with tp>1 in triton_attention — Enterprise — nicht autark-relevant, da es sich um spezifische Konfigurationsprobleme handelt.
– Customize prefix caching — Enterprise — nicht autark-relevant, da es sich um spezifische Anpassungen handelt.