SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen für Consumer-GPUs, die Quantisierung, und die Unterstützung verschiedener Architekturen. Besonders relevant für Autarkie-Setups sind Diskussionen über die Unterstützung von Modellen wie GLM-5.2, die Quantisierung von Modellen auf FP8, und die Implementierung von Prefix-Caching. Diese Entwicklungen können die Performance und Effizienz von Coding-Agenten wie OpenCode erheblich verbessern, insbesondere bei der Verwendung von 4x 3090 oder 2x 5090 GPUs.
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einer cgroup-Grenze von 116 GB geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode für das Laden der Gewichte OOM-Fehler verursacht, da sie zu viel Speicher verbraucht. Der Autor hat 4 Patches entwickelt, um das Problem zu lösen, darunter das Streaming der Gewichte und das direkte Laden von Layern auf die GPU.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Autarkie-Setups, da sie es ermöglichen, große Modelle wie MiniMax H3 auf Consumer-GPUs zu betreiben, ohne an die VRAM-Grenzen zu stoßen. Die beschriebenen Workarounds sind speziell für 2x 5090 optimiert, aber sie können auch auf 4x 3090 oder Mac Studio angewendet werden. Die Patches reduzieren den Speicherverbrauch und ermöglichen es, das Modell effizient zu laden und zu inferenzieren.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches können OpenCode-Nutzer größere Modelle wie MiniMax H3 auf ihren Consumer-GPUs betreiben, was die Leistung und die Fähigkeit, komplexe Aufgaben zu lösen, erheblich verbessert. Die Reduzierung des Speicherverbrauchs ermöglicht es, mehrere Modelle gleichzeitig zu laden oder längere Kontextfenster zu verwenden.
Handlungsempfehlung:
Die beschriebenen Patches anwenden und SGLang auf Version 0.5.17 updaten. Die Patches sind im Gist verfügbar: https://gist.github.com/ft54482/b5489349620c7f0fa63e634e3356d79b.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenzter VRAM betrieben werden kann, indem Teile der Experten-Layers in den System-RAM und auf die CPU ausgelagert werden. Der Autor hat eine benutzerdefinierte Inference-Stack auf SGLang und vLLM basierend entwickelt, der die CPU-GPU-Scheduling und NUMA-aware Memory Management optimiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Autarkie-Setups, da sie es ermöglicht, große Modelle auf Consumer-GPUs mit begrenzter VRAM zu betreiben. Die beschriebenen Benchmarks zeigen, dass man mit 2x 3090 oder 2x 5090 gute Leistungen erzielen kann, auch wenn die VRAM nicht ausreicht, um das gesamte Modell zu speichern. Dies ist besonders nützlich für Modelle mit hohen VRAM-Anforderungen.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer können durch die Auslagerung von Layern in den System-RAM und auf die CPU größere Modelle betreiben, ohne an die VRAM-Grenzen zu stoßen. Dies verbessert die Leistung und ermöglicht es, komplexere Aufgaben zu lösen, ohne teure Hardware erwerben zu müssen.
Handlungsempfehlung:
Die beschriebene CPU-GPU-Hybrid-Inference-Methode anwenden und die benutzerdefinierte Inference-Stack auf SGLang und vLLM basierend verwenden. Die Benchmarks und Konfigurationen sind im Beitrag detailliert beschrieben.
Fakten-Tabelle:
– Hardware im Post: 2x 3090, 2x 5060Ti, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: SGLang v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 1060 t/s [input 32768] (2x 3090), 3100 t/s [input 131072] (1x Pro 6000)
– Multi-GPU-Konfiguration: TP=2
[Customize prefix caching](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert die Möglichkeit, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in der Modus akzeptiert, der Eingabe-Embeddings anstelle von Token-IDs verwendet. Der Autor möchte, dass die Engine Eingabe-Embeddings direkt akzeptiert und benutzerdefiniertes Prefix-Caching unterstützt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist ein wichtiger Mechanismus, um die Performance von Agent-Workloads zu verbessern, insbesondere bei der Verwendung von Consumer-GPUs. Die Möglichkeit, benutzerdefiniertes Prefix-Caching zu implementieren, kann die Leistung und Effizienz von Modellen auf 4x 3090 oder 2x 5090 verbessern. Allerdings erfordert dies möglicherweise eine Anpassung der Engine, was die Implementierung komplexer machen kann.
Konsequenz für OpenCode-Nutzer:
Benutzerdefiniertes Prefix-Caching kann die Leistung von OpenCode-Agenten erheblich verbessern, insbesondere bei der Verwendung von strukturierten Prompts und Agent-Workloads. Dies kann zu schnelleren Antwortzeiten und weniger VRAM-Verbrauch führen.
Handlungsempfehlung:
Die SGLang-Dokumentation nach einer Möglichkeit zur Implementierung benutzerdefinierten Prefix-Cachings durchsuchen. Falls keine offizielle Unterstützung vorhanden ist, eine Anpassung der Engine in Betracht ziehen oder die Diskussion im Forum verfolgen, um Updates zu erhalten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag fragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, andere Architekturen wie GLM-5.2 zu unterstützen. Der Autor hat Probleme beim Verwenden von GLM-5.2 mit MegaMoE, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von GLM-5.2 durch MegaMoE ist relevant für Autarkie-Setups, da GLM-5.2 ein leistungsstarkes Modell ist, das auf Consumer-GPUs betrieben werden kann. Die aktuelle Inkompatibilität kann durch eine Anpassung der Quantisierungsskalen oder durch offizielle Unterstützung in zukünftigen Versionen von MegaMoE behoben werden.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von GLM-5.2 durch MegaMoE kann die Leistung und die Vielseitigkeit von OpenCode-Agenten erheblich verbessern. Benutzer sollten die Diskussion im Forum verfolgen, um Updates zu erhalten, und gegebenenfalls die Quantisierungsskalen anpassen, um GLM-5.2 zu verwenden.
Handlungsempfehlung:
Die Diskussion im Forum verfolgen und auf offizielle Updates warten. Falls notwendig, die Quantisierungsskalen von GLM-5.2 anpassen, um mit MegaMoE kompatibel zu sein.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Measured: scattered-token KV eviction frees zero pages under paged allocation](5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag teilt eine Messung, die zeigt, dass die scattered-token KV-Eviction des H2O-Familienmodells unter ehrlicher paged accounting keine Seiten freigibt. Dies bedeutet, dass das Modell die gesamte zugewiesene Speicherkapazität beibehält, was die Effizienz der Speicherverwaltung beeinträchtigen kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Messung ist relevant für Autarkie-Setups, da sie zeigt, dass die Verwendung von scattered-token KV-Eviction bei Modellen wie Llama-3.2-1B die Speicherverwaltung ineffizient machen kann. Dies kann zu einem höheren Speicherverbrauch führen und die Performance beeinträchtigen. Die Verwendung von kontinuierlichen 16-Token-Fenstern kann dieses Problem umgehen.
Konsequenz für OpenCode-Nutzer:
Die Verwendung von kontinuierlichen 16-Token-Fenstern kann die Speicherverwaltung optimieren und die Performance von OpenCode-Agenten verbessern. Benutzer sollten die Diskussion im Forum verfolgen, um weitere Optimierungen zu erfahren.
Handlungsempfehlung:
Die Verwendung von kontinuierlichen 16-Token-Fenstern anstelle von scattered-token KV-Eviction in der Konfiguration von OpenCode-Agenten überprüfen. Die Diskussion im Forum verfolgen, um weitere Optimierungen zu erhalten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card](4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S GPUs mit SGLang betrieben werden kann, wobei dynamic FP8-Quantisierung verwendet wird, um die VRAM zu reduzieren und die Geschwindigkeit zu verdoppeln. Die Konfiguration ermöglicht es, ein 5-Sekunden-Video in 6.1 Sekunden zu generieren, was etwa doppelt so schnell ist wie bei 2-GPU BF16.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode ist relevant für Autarkie-Setups, da sie es ermöglicht, große Modelle wie MiniMax H3 auf Consumer-GPUs zu betreiben, ohne an die VRAM-Grenzen zu stoßen. Die Verwendung von dynamic FP8-Quantisierung kann die Performance erheblich verbessern, insbesondere bei der Verwendung von 4x 3090 oder 2x 5090.
Konsequenz für OpenCode-Nutzer:
Die Verwendung von dynamic FP8-Quantisierung kann die Leistung von OpenCode-Agenten erheblich verbessern, indem sie den VRAM-Verbrauch reduziert und die Geschwindigkeit erhöht. Dies ermöglicht es, größere Modelle zu betreiben und längere Kontextfenster zu verwenden.
Handlungsempfehlung:
Die beschriebene Konfiguration anwenden und SGLang auf die aktuelle Version updaten. Die Patches und Konfigurationen sind im Beitrag detailliert beschrieben.
Fakten-Tabelle:
– Hardware im Post: 4x L40S
– Modell: MiniMax H3, FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it, 9.5 GB idle / 14.3 GB peak per card
– Multi-GPU-Konfiguration: TP=4
[Why do PDMux Prefill and Decode kernels show no temporal overlap?](3/10) — OpenCode-Fit: NEIN
Worum geht es konkret?
Der Beitrag beschreibt ein Problem mit PDMux, bei dem die Prefill- und Decode-Kernels keine zeitliche Überlappung zeigen, was zu einer signifikanten Erhöhung der TTFT führt. Der Autor hat das Problem mit nsys profiliert und festgestellt, dass die Green Context 3 für Prefill und Green Context 4 für Decode zugewiesen sind.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Dieses Problem ist weniger relevant für Autarkie-Setups, da es sich um eine spezifische Konfiguration auf einer 3080Ti handelt. Die beschriebene Methode zur Profilierung und Diagnose kann jedoch nützlich sein, um ähnliche Probleme auf Consumer-GPUs zu identifizieren und zu beheben.
Konsequenz für OpenCode-Nutzer:
Die Profilierung und Diagnose von PDMux-Problemen kann helfen, die Performance von OpenCode-Agenten zu verbessern, insbesondere bei der Verwendung von 3080Ti oder ähnlichen GPUs. Benutzer sollten die Diskussion im Forum verfolgen, um Updates und Lösungen zu erhalten.
Handlungsempfehlung:
Die beschriebene Profilierungsmethode anwenden, um ähnliche Probleme auf Consumer-GPUs zu identifizieren. Die Diskussion im Forum verfolgen, um Updates und Lösungen zu erhalten.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version