SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung:
Die SGLang-Community diskutiert aktuell hauptsächlich Themen rund um die Optimierung von Modell-Inferenz, insbesondere für Agent-Workloads und autarke Home-Setups. Dominierende Themen sind die Verbesserung der Performance bei Multi-GPU-Setups, die Reduzierung von VRAM-Verbrauch durch Quantisierung, und die Stabilität von System-Prompts über längere Sitzungen. Diese Diskussionen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um OpenCode-Nutzern ähnliche Funktionen wie Claude Sonnet/Opus 4.6 zur Verfügung zu stellen.
[Solving agent system prompt drift in long sessions — a 300-token fix] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion behandelt das Problem, dass Agenten im Laufe langer Sitzungen von ihren System-Prompts abdriften. Dies geschieht, weil die Aufmerksamkeit des Modells auf die Anfangstokens abnimmt, je länger die Sitzung dauert. Der Vorschlag ist, das Modell durch die Generierung von Tokens, die semantisch mit den Anweisungen verknüpft sind, regelmäßig an die System-Prompt-Erinnerungen zu binden. Dies wird durch „SCAN“-Markers erreicht, die Fragen am Ende jeder Sektion des System-Prompts stellen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist besonders nützlich für autarke Home-Setups, da sie keine zusätzliche Hardware oder Cloud-Ressourcen erfordert. Sie kann direkt auf Consumer-GPUs implementiert werden und hilft, die Langzeitstabilität von Agenten zu verbessern, ohne den Kontextfensterplatz zu verbrauchen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung von „SCAN“-Markers kann dazu beitragen, dass OpenCode-Nutzer ihre Agenten über längere Zeiträume hinweg konsistent und zuverlässig einsetzen können. Dies ist besonders wichtig für komplexe Aufgaben, bei denen die Genauigkeit der Anweisungen über die gesamte Sitzung hinweg kritisch ist.
Handlungsempfehlung:
Die „SCAN“-Markers in den System-Prompts implementieren und die Agenten regelmäßig testen, um sicherzustellen, dass sie die Anweisungen korrekt befolgen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, ~123 GB) auf 2x RTX 5090 unter einer Host cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode zur Gewichtskonvertierung zu einem Out-of-Memory (OOM) führt. Die Lösung besteht in 4 Patches, die das Streaming der Gewichte und die GPU-Routing von residenten Layern ermöglichen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist direkt auf Consumer-GPUs anwendbar und ermöglicht es, große Modelle wie MiniMax H3 Ref2VA auf autarken Home-Setups zu betreiben. Die Patches sind spezifisch für SGLang 0.5.17 und erfordern keine spezielle Hardware oder Cloud-Ressourcen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung dieser Patches kann dazu beitragen, dass OpenCode-Nutzer große Modelle wie MiniMax H3 Ref2VA effizient auf ihren lokalen Systemen betreiben können, ohne an VRAM-Grenzen zu scheitern. Dies erweitert die Palette der verfügbaren Modelle und verbessert die Leistung.
Handlungsempfehlung:
Die Patches aus dem Gist anwenden und die Konfiguration auf SGLang 0.5.17 überprüfen. Die Patches und die Konfiguration im Gist sind verlinkt und können direkt verwendet werden.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschäftigt sich mit der Frage, wie man das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM betreiben kann. Der Ansatz besteht darin, einen Hybrid-Inference-Stack zu verwenden, der Teile der Modell-Experten auf CPU und System-RAM auslagert, während der GPU die Hauptarbeit leistet. Es werden Benchmark-Resultate für verschiedene Hardware-Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist für autarke Home-Setups sehr relevant, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf Consumer-GPUs zu betreiben, ohne an VRAM-Grenzen zu scheitern. Die Hybrid-Inference-Technik kann die Leistung erheblich verbessern, insbesondere bei Modellen, die nicht vollständig in die GPU-RAM passen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung des Hybrid-Inference-Stacks kann dazu beitragen, dass OpenCode-Nutzer große Modelle effizient auf ihren lokalen Systemen betreiben können. Dies erweitert die Palette der verfügbaren Modelle und verbessert die Leistung, insbesondere bei Modellen mit hohem VRAM-Verbrauch.
Handlungsempfehlung:
Die beschriebene Hybrid-Inference-Methode implementieren und die Leistung auf dem eigenen Setup testen. Die Konfiguration und die Benchmark-Resultate im Post bieten eine gute Grundlage für die Implementierung.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang Lvllm
– tok/s / Benchmark: 850 t/s (input 32768) auf 2x RTX 5090, 1060 t/s (input 32768) auf 2x RTX 3090
– Multi-GPU-Konfiguration: TP=2
[FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion behandelt das Problem, dass die MTP (Multi-Threaded Prefetch) Methode bei der Inferenz des Modells Gemma 4 unter Konkurrenzbedingungen langsamer als die Standardmethode (no-spec) ist. Es werden detaillierte Benchmark-Resultate und Profiler-Informationen präsentiert, um das Problem zu analysieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant für autarke Home-Setups, da sie sich auf die Performance-Optimierung von Modellen bei Konkurrenzbedingungen konzentriert. Die beschriebenen Probleme und Lösungen können hilfreich sein, um die Leistung von Multi-GPU-Setups zu verbessern, insbesondere bei der Verarbeitung von mehreren Anfragen gleichzeitig.
Konsequenz für OpenCode-Nutzer:
Die Analyse der Performance-Probleme kann dazu beitragen, dass OpenCode-Nutzer ihre Agenten effizienter betreiben können, insbesondere bei der Verarbeitung von mehreren Anfragen gleichzeitig. Die Optimierung der MTP-Methode kann die Gesamtperformance verbessern.
Handlungsempfehlung:
Die beschriebenen Profiler-Informationen und Benchmark-Resultate verwenden, um die Performance des eigenen Setups zu analysieren und gegebenenfalls die MTP-Methode zu optimieren.
Fakten-Tabelle:
– Hardware im Post: GA100 64GB
– Modell: Gemma 4
– Framework-Version: SGLang 0.5.18
– tok/s / Benchmark: 34.3 t/s (solo), 25.5 t/s (batch-8 warm)
– Multi-GPU-Konfiguration: nicht im Post belegt
[Customize prefix caching] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion behandelt die Frage, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn das Modell Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Nutzer möchte, obwohl die Standardmethode für Integer-Tokens optimiert ist, eine benutzerdefinierte Methode für Floating-Point-Embeddings implementieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant für autarke Home-Setups, da sie sich auf die Customisierung von Prefix-Caching konzentriert. Die Implementierung einer benutzerdefinierten Methode kann hilfreich sein, um die Performance und Effizienz von Modellen zu verbessern, die Eingabe-Embeddings verwenden.
Konsequenz für OpenCode-Nutzer:
Die Customisierung von Prefix-Caching kann dazu beitragen, dass OpenCode-Nutzer ihre Agenten effizienter betreiben können, insbesondere bei der Verarbeitung von Eingabe-Embeddings. Dies kann die Leistung und den VRAM-Verbrauch verbessern.
Handlungsempfehlung:
Die Diskussion im Post lesen und gegebenenfalls eine benutzerdefinierte Implementierung für Prefix-Caching entwickeln. Die Unterstützung durch die SGLang-Community kann hilfreich sein.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Qwen3.5 seems have problem with tp>1 in triton_attention] (4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion behandelt ein Problem mit dem Modell Qwen3.5, bei dem die Inferenz bei der Verwendung von mehr als einem GPU (tp>1) fehlschlägt. Der Nutzer beschreibt, dass die generierten Texte sehr kurz und unvollständig sind, und dass im Log nur der Prefill-Teil, aber kein Decode-Teil erscheint.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant für autarke Home-Setups, da sie sich auf die Troubleshooting von Multi-GPU-Setups konzentriert. Das beschriebene Problem kann bei der Verwendung von mehreren GPUs auftreten und die Leistung und Stabilität der Inferenz beeinträchtigen.
Konsequenz für OpenCode-Nutzer:
Die Analyse des Problems kann dazu beitragen, dass OpenCode-Nutzer ihre Multi-GPU-Setups stabil und effizient betreiben können. Die Lösung des Problems kann die Gesamtperformance und die Zuverlässigkeit der Agenten verbessern.
Handlungsempfehlung:
Die Konfiguration und die Log-Dateien überprüfen, um das Problem zu identifizieren. Gegebenenfalls die Diskussion im Post verfolgen, um Lösungen oder Workarounds zu finden.
Fakten-Tabelle:
– Hardware im Post: 2x L40-48G
– Modell: Qwen3.5
– Framework-Version: SGLang 0.5.12
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
Weitere Diskussionen (kurz):
– Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM? — ENTERPRISE (für uns irrelevant): Diskussion über die Unterstützung von MegaMoE für andere Modelle wie GLM. Relevante für Entwickler, die mit DeepSeek arbeiten, aber nicht direkt für autarke Home-Setups.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — ENTERPRISE (für uns irrelevant): Frage zur Unterstützung von DeepSeek V4 Flash auf Hopper-GPUs. Relevante für Entwickler mit H200-GPUs, aber nicht für autarke Home-Setups.
– support read/write datalake（iceberg、delta lake、paimon、lance） — ENTERPRISE (für uns irrelevant): Diskussion über die Unterstützung von Datalake-Technologien. Relevante für Unternehmen, aber nicht für autarke Home-Setups.
– add dingding falied — ENTERPRISE (für uns irrelevant): Problem mit dem Hinzufügen von DingTalk. Relevante für Unternehmen, die DingTalk verwenden, aber nicht für autarke Home-Setups.
– [[Show and tell] Omni-Rewriter: validated prompt expansion before MiniMax-H3 generation](https://github.com/sgl-project/sglang/discussions/34375) — BEDINGT: Diskussion über die Integration von Omni-Rewriter für die Erweiterung von Prompts vor der Generierung mit MiniMax-H3. Kann für OpenCode-Nutzer relevant sein, die erweiterte Prompt-Verarbeitung benötigen.
– Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card — JA: Diskussion über die Ausführung von MiniMax H3 auf 4x L40S-GPUs mit FP8-Quantisierung. Relevante für autarke Home-Setups, die große Modelle effizient betreiben möchten.