SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen auf Consumer-GPUs, die Verbesserung der Agent-Workloads und die Erweiterung der Kontextlänge. Zwei zentrale Themen sind die Implementierung von Prefix-Caching und die Optimierung von Modellen wie Qwen3 und DeepSeek auf 1-6 GPU-Setups. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um OpenCode auf einem ähnlichen Level wie Claude Sonnet/Opus 4.6 zu betreiben.
[Solving agent system prompt drift in long sessions — a 300-token fix] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschäftigt sich mit dem Problem, dass Agenten im Laufe langer Sitzungen von ihren System-Prompts abdriften. Dies geschieht, weil die Aufmerksamkeit des Modells auf die Anfangstokens abnimmt, je länger der Kontext wird. Der Vorschlag ist, das Modell durch Fragen zu den System-Prompts aktiv zu veranlassen, neue Tokens zu generieren, die die Anweisungen wiederherstellen. Dieser Ansatz, genannt SCAN, verwendet Marker in den System-Prompts, die vor Aufgaben beantwortet werden müssen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die SCAN-Methode ist ideal für autarke Home-Setups, da sie keine zusätzliche Hardware oder Cloud-Ressourcen erfordert. Sie kann auf Consumer-GPUs wie 3090 oder 5090 problemlos implementiert werden und hilft, die Langlebigkeit und Konsistenz der Agenten zu verbessern, ohne den Kontext zu vergrößern.
Konsequenz fuer OpenCode-Nutzer:
Die SCAN-Methode kann die Konsistenz der Agenten in langen Sitzungen erheblich verbessern. Dies führt zu besseren Ergebnissen bei Tool-Calling und strukturierter Ausgabe, da die Agenten die System-Prompts besser befolgen.
Handlungsempfehlung:
Die SCAN-Methode in den System-Prompts implementieren und vor jeder Aufgabe die Marker beantworten lassen.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: [nicht im Post belegt]
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Der Autor hat 4 Patches entwickelt, um das OOM-Problem zu beheben, das durch die Materialisierung des gesamten Gewichtsdictionaries auf der CPU entsteht.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Lösung ist direkt für autarke Home-Setups relevant, insbesondere für Nutzer mit 2x 5090. Die Patches ermöglichen es, große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs zu betreiben, ohne dass der Speicher überschritten wird. Dies erweitert die Möglichkeiten, komplexe Modelle lokal zu verwenden.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung der Patches ermöglicht die Nutzung von MiniMax H3 Ref2VA, was die Leistung und die Funktionalität von OpenCode-Agenten erheblich verbessern kann. Besonders nützlich für Aufgaben, die eine hohe Kontextlänge und strukturierte Ausgabe erfordern.
Handlungsempfehlung:
Die 4 Patches in SGLang 0.5.17 anwenden und das Modell MiniMax H3 Ref2VA auf 2x 5090 laden.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Optimizing Qwen3.8 Flash-Next and 27B/DFlash2 on SM120: native speculation, XQA, RecoverSSM, and HiCache/NIXL] (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschreibt die Optimierung von Qwen3.8 Flash-Next und 27B/DFlash2 auf einer 96 GB RTX PRO 6000. Der Autor hat eine Reihe von Optimierungen durchgeführt, darunter die Verwendung von FlashInfer, Triton QSA, und HiCache/NIXL, um die Leistung und den Speicherverbrauch zu verbessern.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Optimierungen sind teilweise für autarke Home-Setups relevant, insbesondere die Verwendung von FlashInfer und HiCache/NIXL. Diese Techniken können die Leistung von Modellen wie Qwen3.8 auf Consumer-GPUs verbessern, aber einige der spezifischen Optimierungen (z.B. XQA) sind eher für SM120-GPUs gedacht.
Konsequenz fuer OpenCode-Nutzer:
Die Optimierungen können die Leistung von Qwen3.8 auf Consumer-GPUs verbessern, was zu schnelleren Tool-Callings und einer besseren strukturierten Ausgabe führen kann. Allerdings müssen einige der spezifischen Einstellungen angepasst werden, um sie auf 3090 oder 5090 zu verwenden.
Handlungsempfehlung:
Die Optimierungen in SGLang 0.5.17 anwenden und anpassen, um sie auf 3090 oder 5090 zu verwenden.
Fakten-Tabelle:
– Hardware im Post: 96 GB RTX PRO 6000
– Modell: Qwen3.8 Flash-Next, Qwen3.8-27B
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Why is sgalng’s torch.compile startup so much slower than vLLM?] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschäftigt sich mit der Frage, warum der Start von SGLang mit `torch.compile` viel langsamer ist als bei vLLM. Der Autor hat bemerkt, dass die Startzeit von SGLang mit `torch.compile` etwa 6 Minuten beträgt, während vLLM nur etwa 1 Minute benötigt. Er vermutet, dass dies auf die Unterschiede in der Implementierung von `torch.compile` zurückzuführen ist.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die langsamen Startzeiten von `torch.compile` können für autarke Home-Setups problematisch sein, da sie die Nutzerfreundlichkeit beeinträchtigen. Allerdings sind die Leistungsverbesserungen bei niedrigen Batch-Größen (bis 15%) immer noch nützlich.
Konsequenz fuer OpenCode-Nutzer:
Die langsamen Startzeiten können die Effizienz der Agenten beeinträchtigen, insbesondere bei häufigen Neustarts. Es ist wichtig, die Startzeiten zu optimieren, um die Nutzererfahrung zu verbessern.
Handlungsempfehlung:
Die Startzeiten von `torch.compile` im SGLang-Repository verfolgen und auf Updates warten, die die Startzeiten verbessern.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: Gemma 3 12B
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Why do PDMux Prefill and Decode kernels show no temporal overlap?] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschäftigt sich mit dem Problem, dass die PDMux Prefill- und Decode-Kernels bei der Verwendung von `–enable-pdmux` keine zeitliche Überlappung zeigen. Der Autor hat bemerkt, dass die Time-to-First-Token (TTFT) bei Aktivierung von PDMux signifikant zunimmt und hat die Leistung mit `nsys` analysiert.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das Problem mit PDMux kann für autarke Home-Setups relevant sein, da es die Leistung beeinträchtigen kann. Allerdings ist die Verwendung von PDMux eher für spezifische Anwendungen und Modelle gedacht, die von Consumer-GPUs profitieren können.
Konsequenz fuer OpenCode-Nutzer:
Die fehlende Überlappung der Kernels kann die Leistung von Agenten beeinträchtigen, insbesondere bei der Verarbeitung von großen Kontexten. Es ist wichtig, die Konfiguration zu optimieren, um die Leistung zu verbessern.
Handlungsempfehlung:
Die Konfiguration von PDMux überprüfen und ggf. alternative Einstellungen ausprobieren, um die Leistung zu optimieren.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?] (4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschäftigt sich mit der Frage, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, die Unterstützung auf andere Architekturen wie GLM zu erweitern. Der Autor hat Probleme beim Verwenden von MegaMoE mit GLM-5.2 festgestellt, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von MegaMoE für GLM-Modelle ist für autarke Home-Setups relevant, da es die Leistung und Effizienz von Modellen auf Consumer-GPUs verbessern kann. Allerdings sind derzeit nur DeepSeek-Modelle unterstützt, was die Anwendung auf andere Modelle einschränkt.
Konsequenz fuer OpenCode-Nutzer:
Die fehlende Unterstützung von MegaMoE für GLM-Modelle kann die Leistung von Agenten beeinträchtigen. Es ist wichtig, auf Updates zu warten, die die Unterstützung für GLM-Modelle erweitern.
Handlungsempfehlung:
Die Unterstützung von MegaMoE für GLM-Modelle im SGLang-Repository verfolgen und auf Updates warten.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: GLM-5.2
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
Weitere Diskussionen (kurz):
– GLM-5.3-Flash on 8x B200: dual TP4/EP4 serving profile with long-context measurements — Enterprise — nicht autark-relevant, da es sich um 8x B200-Setups handelt.
– FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency — Enterprise — nicht autark-relevant, da es sich um GA100-GPUs handelt.
– How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? — Enterprise — nicht autark-relevant, da es sich um EPYC-Server handelt.
– qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? — Enterprise — nicht autark-relevant, da es sich um spezifische Optimierungen für RTX 4090 handelt.
– wx大模型agent技术交流 — Enterprise — nicht autark-relevant, da es sich um allgemeine Agent-Technologien handelt.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — Enterprise — nicht autark-relevant, da es sich um H20-GPUs handelt.