SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen, die die Optimierung von lokalen Multi-GPU-Setups betreffen. Besonders relevant sind Diskussionen zur Quantisierung, Prefix-Caching und der Unterstützung verschiedener Modelle. Diese Entwicklungen sind entscheidend für Nutzer, die ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um Coding-Agenten wie OpenCode auf Claude-Sonnet-Niveau zu betreiben.
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt, wie er das MiniMax H3 Ref2VA-Modell (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher erfolgreich lädt und betreibt. Das Problem ist, dass die Standardmethode OOM-Fehler verursacht, da die gesamte Gewichtsmatrix auf dem CPU-Speicher materialisiert wird. Der Nutzer hat 4 Patches entwickelt, um das Problem zu lösen, darunter ein Generator, der die Gewichtsmatrix schrittweise konvertiert, und eine Optimierung der Speicherverwaltung.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches ermöglichen es, große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs wie den RTX 5090 zu betreiben, ohne OOM-Fehler aufzutreten. Die Patches sind speziell für SGLang 0.5.17 entwickelt und können auch auf anderen Consumer-GPU-Setups angewendet werden. Die VRAM-Verwaltung wird durch die resident-layer GPU-Routing-Optimierung verbessert, was besonders für 4x 3090-Setups relevant ist.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches können Nutzer größere Modelle lokal betreiben, was die Leistung und die Funktionalität von Coding-Agenten wie OpenCode erheblich verbessert. Die Patches reduzieren den VRAM-Verbrauch und ermöglichen es, mehrere Modelle gleichzeitig zu laden.
Handlungsempfehlung:
Die Patches aus dem Gist anwenden und SGLang auf Version 0.5.17 updaten. Die Konfiguration und die Patches im Gist sorgfältig prüfen, um sicherzustellen, dass sie für das eigene Setup passen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt eine Methode, um das DeepSeek V4 Spark 0731-Modell auf Consumer-GPUs mit begrenztem VRAM zu betreiben, indem Teile der MoE-Experten in den System-RAM und auf die CPU ausgelagert werden. Dies wird als „VRAM extender“ bezeichnet. Die Methode verwendet eine modifizierte SGLang-Version und vLLM-Backend, um die CPU-GPU-Scheduling und NUMA-aware Memory Management zu optimieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ermöglicht es, große Modelle wie DeepSeek V4 Spark 0731 auf Consumer-GPUs wie den RTX 3090 oder 5090 zu betreiben, ohne dass die VRAM-Grenzen überschritten werden. Die CPU-GPU-Hybrid-Inference optimiert die Leistung und ermöglicht es, Modelle mit hohem VRAM-Verbrauch lokal zu betreiben.
Konsequenz für OpenCode-Nutzer:
Die CPU-GPU-Hybrid-Inference kann die Leistung von Coding-Agenten wie OpenCode erheblich verbessern, indem sie den VRAM-Verbrauch reduziert und die Auslastung der GPU optimiert. Dies ermöglicht es, größere Modelle lokal zu betreiben, was die Funktionalität und die Leistung von OpenCode steigert.
Handlungsempfehlung:
Die modifizierte SGLang-Version und das vLLM-Backend aus dem Post installieren und die Konfiguration anpassen. Die Benchmark-Resultate im Post sorgfältig prüfen, um die besten Einstellungen für das eigene Setup zu finden.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: SGLang v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (5060Ti * 2), 1060 t/s (3090 * 2), 3100 t/s (Pro 6000 * 1)
– Multi-GPU-Konfiguration: TP=2
[Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt, wie er das MiniMax H3 (FL2VA)-Modell auf 4x L40S-GPUs mit SGLang betreibt, wobei er FP8-Dynamische Quantisierung verwendet, um die VRAM-Verwendung zu reduzieren und die Leistung zu steigern. Die Konfiguration ermöglicht es, das Modell auf 4 GPUs zu sharden und die VRAM-Verwendung auf etwa 14 GB pro Karte zu reduzieren, was zu einer etwa 2-fachen Geschwindigkeitssteigerung im Vergleich zu 2-GPU BF16 führt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Konfiguration kann auch auf Consumer-GPUs wie den RTX 3090 oder 5090 angewendet werden, um die VRAM-Verwendung zu reduzieren und die Leistung zu steigern. Die FP8-Dynamische Quantisierung ist besonders nützlich, da sie die VRAM-Verwendung erheblich reduziert und gleichzeitig die Ausgabequalität beibehält.
Konsequenz für OpenCode-Nutzer:
Die FP8-Dynamische Quantisierung kann die Leistung von Coding-Agenten wie OpenCode erheblich verbessern, indem sie den VRAM-Verbrauch reduziert und die Generierungsgeschwindigkeit steigert. Dies ermöglicht es, größere Modelle lokal zu betreiben, was die Funktionalität und die Leistung von OpenCode steigert.
Handlungsempfehlung:
Die Konfiguration aus dem Post anwenden und SGLang auf die neueste Version updaten. Die FP8-Dynamische Quantisierung in der Konfiguration aktivieren und die VRAM-Verwendung und Leistung sorgfältig überwachen.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB
– Modell: MiniMax H3, FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it (4 GPU FP8 dynamic), ~12–16 s/it (2 GPU BF16 full-precision)
– Multi-GPU-Konfiguration: TP=4
[Customize prefix caching](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer fragt, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu erstellen, wenn ein Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Die Standardimplementierung verwendet Integer-Tokens, aber der Nutzer möchte eine benutzerdefinierte Lösung für floating-point-Embeddings.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Fähigkeit, benutzerdefinierte Prefix-Caching-Implementierungen zu erstellen, kann die Leistung und Effizienz von Coding-Agenten wie OpenCode verbessern, insbesondere bei der Verarbeitung von komplexen Eingaben. Allerdings erfordert dies möglicherweise eine Anpassung des SGLang-Quellcodes, was für Nutzer mit geringeren technischen Kenntnissen schwierig sein kann.
Konsequenz für OpenCode-Nutzer:
Benutzerdefinierte Prefix-Caching-Implementierungen können die Leistung von Coding-Agenten wie OpenCode verbessern, indem sie die Verarbeitung von komplexen Eingaben optimieren. Dies kann besonders nützlich sein, wenn OpenCode mit strukturierten Eingaben oder speziellen Embeddings arbeitet.
Handlungsempfehlung:
Die SGLang-Dokumentation sorgfältig prüfen, um zu sehen, ob es bereits eine Möglichkeit gibt, benutzerdefinierte Prefix-Caching-Implementierungen zu erstellen. Falls nicht, die Community oder die Entwickler um Unterstützung bitten, um eine Lösung zu finden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer fragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, die Unterstützung auf andere Architekturen wie GLM-5.2 zu erweitern. Der Nutzer hat Probleme beim Betreiben von GLM-5.2 mit MegaMoE, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von MegaMoE für verschiedene Modelle wie GLM-5.2 ist wichtig, um die Flexibilität und die Leistung von Coding-Agenten wie OpenCode zu verbessern. Allerdings erfordert die Anpassung der Quantisierungsskalen möglicherweise zusätzliche Arbeit, die von den Entwicklern oder der Community geleistet werden muss.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von MegaMoE für verschiedene Modelle kann die Leistung und die Flexibilität von Coding-Agenten wie OpenCode verbessern. Nutzer sollten die Entwickler um Unterstützung bitten, um die Unterstützung für Modelle wie GLM-5.2 zu erweitern.
Handlungsempfehlung:
Die Entwickler oder die Community um Unterstützung bitten, um die Unterstützung für GLM-5.2 in MegaMoE zu implementieren. Die aktuelle Version von MegaMoE sorgfältig prüfen, um zu sehen, ob es bereits Workarounds oder Anleitungen gibt.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Why do PDMux Prefill and Decode kernels show no temporal overlap?](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer beschreibt ein Problem mit PDMux, einer Technik zur Optimierung der GPU-Verwendung, bei der die Prefill- und Decode-Kernels keine zeitliche Überlappung zeigen. Dies führt zu einer signifikanten Steigerung der Gesamtlaufzeit (TTFT) im Vergleich zur Konfiguration ohne PDMux.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das Problem mit PDMux kann die Leistung von Coding-Agenten wie OpenCode beeinträchtigen, da die GPU-Verwendung nicht optimal genutzt wird. Die Fehlende Überlappung der Kernels kann zu längeren Verarbeitungszeiten führen, was die Effizienz des Setups reduziert.
Konsequenz für OpenCode-Nutzer:
Die Fehlende Überlappung der Kernels kann die Leistung von Coding-Agenten wie OpenCode beeinträchtigen. Nutzer sollten die Konfiguration sorgfältig prüfen und mögliche Workarounds oder Anpassungen testen, um die Leistung zu verbessern.
Handlungsempfehlung:
Die Konfiguration und die Einstellungen für PDMux sorgfältig prüfen und mögliche Workarounds oder Anpassungen testen. Die Entwickler oder die Community um Unterstützung bitten, um das Problem zu lösen.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
[Measured: scattered-token KV eviction frees zero pages under paged allocation](5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer teilt eine Messung zur KV-Eviction (Key-Value Eviction) unter paged allocation mit, die zeigt, dass scattered-token KV-Eviction bei der H2O-Familie keine Seiten freigibt. Dies kann zu einer ineffizienten Speicherverwaltung führen, da das freigegebene Speichersegment nicht vollständig geleert wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die ineffiziente Speicherverwaltung durch scattered-token KV-Eviction kann die Leistung von Coding-Agenten wie OpenCode beeinträchtigen, da das Speichersegment nicht optimal genutzt wird. Dies kann zu einem höheren Speicherverbrauch und längeren Verarbeitungszeiten führen.
Konsequenz für OpenCode-Nutzer:
Die ineffiziente Speicherverwaltung kann die Leistung von Coding-Agenten wie OpenCode beeinträchtigen. Nutzer sollten die Konfiguration sorgfältig prüfen und mögliche Workarounds oder Anpassungen testen, um die Speicherverwaltung zu optimieren.
Handlungsempfehlung:
Die Konfiguration und die Einstellungen für KV-Eviction sorgfältig prüfen und mögliche Workarounds oder Anpassungen testen. Die Entwickler oder die Community um Unterstützung bitten, um das Problem zu lösen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Is origin_input_ids expected to always be array.array in SGLang v0.5.13+?](5/10) — OpenCode-Fit: BEDINGT
[Z