SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen auf Consumer-GPUs, die Verbesserung von Agent-Workloads und die Erweiterung der Kontextlänge. Besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 betreiben, sind Diskussionen zu Prefix-Caching, Quantisierung und der Optimierung von Modellen wie Qwen3, Llama-3.3 und GLM. Diese Entwicklungen können die Performance und den Nutzen von Coding-Agenten wie OpenCode erheblich steigern.
[Solving agent system prompt drift in long sessions — a 300-token fix] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion behandelt das Problem des System-Prompt-Drifts bei langen Agent-Sessions. Bei der Verwendung von LLM-Agenten verliert der Agent nach einer gewissen Zeit die Fähigkeit, den System-Prompt korrekt zu befolgen, da die Aufmerksamkeit auf die Anfangstokens abnimmt. Der Beitrag stellt eine Methode namens SCAN vor, die das Problem durch aktive Generierung von Tokens löst, die semantisch mit den Anweisungen verknüpft sind.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die SCAN-Methode ist besonders relevant für autarke Home-Setups, da sie keine zusätzlichen Hardwareanforderungen stellt und leicht in bestehende Agent-Workflows integriert werden kann. Sie erfordert lediglich eine Anpassung der System-Prompts und kann auf Consumer-GPUs problemlos laufen.
Konsequenz fuer OpenCode-Nutzer:
Die SCAN-Methode kann die Langzeitstabilität von OpenCode-Agenten erheblich verbessern. Nutzer sollten ihre System-Prompts um SCAN-Marker erweitern, um sicherzustellen, dass der Agent die Anweisungen über längere Zeiträume hinweg befolgt.
Handlungsempfehlung:
Die SCAN-Marker in die System-Prompts integrieren und die Agent-Workflows entsprechend anpassen.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: [nicht im Post belegt]
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das MiniMax H3 Ref2VA-Modell (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Die Standardmethode führt zu einem Out-of-Memory-Fehler, da die gesamte Gewichtsdict auf CPU-RAM geladen wird. Der Autor hat 4 Patches entwickelt, um das Problem zu lösen und das Modell erfolgreich zu laden und zu inferenzieren.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebenen Patches sind direkt auf Consumer-GPUs anwendbar und ermöglichen es, große Modelle wie MiniMax H3 Ref2VA auf 2x RTX 5090 zu betreiben. Dies ist besonders relevant für Nutzer, die mit begrenztem VRAM arbeiten und dennoch leistungsstarke Modelle einsetzen möchten.
Konsequenz fuer OpenCode-Nutzer:
Die Patches können die Fähigkeit von OpenCode-Agenten erweitern, um größere Modelle zu verwenden, ohne an die VRAM-Grenzen zu stoßen. Dies kann die Leistung und die Funktionalität der Agenten erheblich verbessern.
Handlungsempfehlung:
Die Patches in die SGLang-Installation integrieren und die Modelle entsprechend konfigurieren.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Optimizing Qwen3.8 Flash-Next and 27B/DFlash2 on SM120: native speculation, XQA, RecoverSSM, and HiCache/NIXL] (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt die Optimierung von Qwen3.8 Flash-Next und 27B/DFlash2 auf einem 96 GB RTX PRO 6000. Der Autor hat eine Reihe von architekturbezogenen Optimierungen durchgeführt, darunter FlashInfer GDN, FlashInfer CUTLASS MoE, Triton QSA und HiCache/NIXL. Die Ergebnisse zeigen erhebliche Verbesserungen in der Leistung und der Kontextlänge.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebenen Optimierungen sind für Consumer-GPUs relevant und können die Leistung von Modellen wie Qwen3.8 und 27B/DFlash2 erheblich verbessern. Die Verwendung von HiCache/NIXL ermöglicht es, die VRAM-Einschränkungen zu umgehen und größere Kontextlängen zu erreichen.
Konsequenz fuer OpenCode-Nutzer:
Die Optimierungen können die Leistung und die Kontextlänge von OpenCode-Agenten erheblich steigern. Nutzer sollten die beschriebenen Optimierungen in ihre Setup integrieren, um die bestmögliche Performance zu erzielen.
Handlungsempfehlung:
Die beschriebenen Optimierungen in die SGLang-Installation integrieren und die Modelle entsprechend konfigurieren.
Fakten-Tabelle:
– Hardware im Post: 96 GB RTX PRO 6000
– Modell: Qwen3.8 Flash-Next, 27B/DFlash2
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Why do PDMux Prefill and Decode kernels show no temporal overlap?] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag untersucht, warum die PDMux Prefill- und Decode-Kernels bei der Verwendung von Qwen3-1.7B auf einer 3080Ti keine zeitliche Überlappung zeigen. Der Autor hat die Performance mit und ohne PDMux verglichen und festgestellt, dass die Time-to-First-Token (TTFT) bei aktiviertem PDMux erheblich steigt. Die nsys-Profilierung zeigt, dass die Kernels nicht parallel ausgeführt werden.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Diskussion ist relevant für Nutzer, die PDMux auf Consumer-GPUs verwenden und Performance-Probleme erleben. Die fehlende Überlappung der Kernels kann die TTFT negativ beeinflussen, was insbesondere bei Agent-Workloads problematisch sein kann.
Konsequenz fuer OpenCode-Nutzer:
Die fehlende Überlappung der Kernels kann die TTFT verlängern und die Performance von OpenCode-Agenten beeinträchtigen. Nutzer sollten die PDMux-Konfiguration überprüfen und gegebenenfalls deaktivieren, um die TTFT zu verbessern.
Handlungsempfehlung:
Die PDMux-Konfiguration überprüfen und gegebenenfalls deaktivieren, um die TTFT zu optimieren.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Why is sgalng’s torch.compile startup so much slower than vLLM?] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag untersucht, warum die Startzeit von SGLang mit `torch.compile` bei der Verwendung von Gemma 3 12B erheblich länger ist als bei vLLM. Der Autor hat die Startzeiten verglichen und festgestellt, dass SGLang ohne `torch.compile` etwa 1:30 Minuten benötigt, während die Startzeit mit `torch.compile` auf etwa 6 Minuten steigt. Im Gegensatz dazu benötigt vLLM mit `torch.compile` nur etwa 1 Minute.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Diskussion ist relevant für Nutzer, die `torch.compile` auf Consumer-GPUs verwenden und eine kurze Startzeit benötigen. Die erheblich längere Startzeit bei SGLang kann für Agent-Workloads problematisch sein, insbesondere wenn die Agenten häufig neu gestartet werden.
Konsequenz fuer OpenCode-Nutzer:
Die längere Startzeit kann die Effizienz von OpenCode-Agenten beeinträchtigen, insbesondere bei häufigen Neustarts. Nutzer sollten die Startzeit ohne `torch.compile` überprüfen und gegebenenfalls auf vLLM wechseln, um die Startzeit zu optimieren.
Handlungsempfehlung:
Die Startzeit ohne `torch.compile` überprüfen und gegebenenfalls auf vLLM wechseln.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: Gemma 3 12B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag fragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, die Unterstützung auf andere Architekturen wie GLM zu erweitern. Der Autor berichtet, dass er Probleme bei der Verwendung von MegaMoE mit GLM-5.2 hat, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Diskussion ist relevant für Nutzer, die MegaMoE auf Consumer-GPUs verwenden und die Unterstützung für Modelle wie GLM benötigen. Die aktuelle Einschränkung auf DeepSeek-Modelle kann die Auswahl der verfügbaren Modelle begrenzen.
Konsequenz fuer OpenCode-Nutzer:
Die aktuelle Einschränkung von MegaMoE auf DeepSeek-Modelle kann die Auswahl der verfügbaren Modelle für OpenCode-Agenten begrenzen. Nutzer sollten die Unterstützung für GLM im Auge behalten und gegebenenfalls auf alternative Modelle wechseln.
Handlungsempfehlung:
Die Unterstützung für GLM im Auge behalten und gegebenenfalls auf alternative Modelle wechseln.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: GLM-5.2
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
Weitere Diskussionen (kurz):
– GLM-5.3-Flash on 8x B200: dual TP4/EP4 serving profile with long-context measurements — Enterprise — nicht autark-relevant
– FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency — Relevante Diskussion zur Performance-Optimierung, aber spezifisch für Gemma 4
– qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? — Spezifische Optimierung für Qwen2.5-VL, relevant für Nutzer dieses Modells
– How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? — Relevante Diskussion zur Hybrid-Inference, aber spezifisch für DeepSeek V4
– Customize prefix caching — Spezifische Anfrage zur Anpassung von Prefix-Caching, relevant für fortgeschrittene Nutzer
– Qwen3.5 seems have problem with tp>1 in triton_attention — Spezifisches Problem mit Qwen3.5, relevant für Nutzer dieses Modells
– wx大模型agent技术交流 — Diskussion in chinesischer Sprache, relevante Techniken für Agent-Workloads
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — Enterprise — nicht autark-relevant