SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen auf Consumer-GPUs, die Quantisierung und die Verbesserung von Agent-Workloads. Besonders relevant sind Diskussionen zur Unterstützung von Modellen wie Qwen3, Llama-3.3, und DeepSeek, sowie zur Implementierung von Prefix-Caching und der Verwendung von Hybrid-Inference-Methoden. Diese Entwicklungen sind entscheidend für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um Coding-Agenten wie OpenCode auf Claude-Sonnet-Niveau zu betreiben.
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt, wie er MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher laufen lassen konnte. Das Problem war, dass der Standardprozess der Gewichtskonvertierung das gesamte Modell auf dem CPU-Speicher materialisiert, was zu einem Out-of-Memory-Fehler führte. Durch 4 Patches wurde dies behoben, sodass das Modell erfolgreich geladen und inferiert werden konnte.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 Ref2VA auf 2x 5090 zu laufen zu lassen, ohne an Speicherbeschränkungen zu scheitern. Die beschriebenen Workarounds sind auch auf 4x 3090 anwendbar und können die VRAM-Verwaltung erheblich verbessern.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches kann die Ladegeschwindigkeit und die Inferenz von großen Modellen erheblich beschleunigt werden. Dies ist besonders nützlich für Agent-Workloads, da es die Latenz reduziert und die VRAM-Verwendung optimiert.
Handlungsempfehlung:
Die beschriebenen Patches anwenden und SGLang auf Version 0.5.17 updaten. Die Patches sind in der Gist verfügbar: https://gist.github.com/ft54482/b5489349620c7f0fa63e634e3356d79b.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt, wie er DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM laufen lassen konnte, indem er Teile des Modells in den System-RAM und auf die CPU offloaded. Er verwendet eine modifizierte Version von SGLang und vLLM, die CPU-GPU-Scheduling und NUMA-aware Memory Management unterstützt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 zu laufen zu lassen, ohne an VRAM-Beschränkungen zu scheitern. Die Benchmarks zeigen, dass die Performance trotz der Offloading-Strategie akzeptabel ist.
Konsequenz für OpenCode-Nutzer:
Mit dieser Hybrid-Inference-Methode können Nutzer größere Modelle auf ihren Consumer-GPUs laufen lassen, was die Leistung und die Flexibilität des Agent-Workflows erheblich verbessert.
Handlungsempfehlung:
Die beschriebene Modifikation von SGLang und vLLM anwenden und die Benchmarks prüfen, um die besten Einstellungen für das eigene Setup zu finden.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5060Ti, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (input 32768) auf 2x 5060Ti, 1060 t/s (input 32768) auf 2x 3090
– Multi-GPU-Konfiguration: TP=2
[Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt, wie er MiniMax H3 (FL2VA) auf 4x L40S GPUs mit SGLang laufen lassen konnte, indem er dynamische FP8-Quantisierung verwendet. Dies ermöglicht eine VRAM-Reduzierung von ~1/4 und eine Geschwindigkeitssteigerung von ~2x im Vergleich zu 2-GPU BF16.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie MiniMax H3 auf 4x 3090 oder 2x 5090 zu laufen zu lassen, ohne an VRAM-Beschränkungen zu scheitern. Die beschriebene FP8-Quantisierung kann die VRAM-Verwendung erheblich reduzieren und die Inferenzgeschwindigkeit verbessern.
Konsequenz für OpenCode-Nutzer:
Mit dieser Methode können Nutzer größere Modelle auf ihren Consumer-GPUs laufen lassen, was die Leistung und die Flexibilität des Agent-Workflows erheblich verbessert.
Handlungsempfehlung:
Die beschriebene FP8-Quantisierung in SGLang anwenden und die Benchmarks prüfen, um die besten Einstellungen für das eigene Setup zu finden.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB (sm_89)
– Modell: MiniMax H3, FL2VA partition
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: ~5.8–6.1 s/it (768p 16:9, 5s, 20 steps)
– Multi-GPU-Konfiguration: TP=4
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer fragt, ob MegaMoE derzeit nur auf DeepSeek-Modelle beschränkt ist und ob es Pläne gibt, andere Architekturen wie GLM zu unterstützen. Er berichtet, dass er Probleme hatte, GLM-5.2 mit MegaMoE zu verwenden, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie die Kompatibilität von MegaMoE mit verschiedenen Modellen betrifft. Nutzer mit Consumer-GPUs könnten von einer erweiterten Modellunterstützung profitieren, insbesondere wenn sie GLM-Modelle verwenden möchten.
Konsequenz für OpenCode-Nutzer:
Eine erweiterte Modellunterstützung würde die Flexibilität des Agent-Workflows erhöhen, da mehr Modelle auf Consumer-GPUs laufen könnten. Nutzer sollten die offiziellen Pläne der SGLang-Entwickler verfolgen.
Handlungsempfehlung:
Auf offizielle Ankündigungen zur Modellunterstützung warten und im Falle von GLM-Modellen die Quantisierungsskalen anpassen, falls dies möglich ist.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Customize prefix caching](7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus akzeptiert, der Eingabe-Embeddings anstelle von Token-IDs verwendet. Er möchte, dass das Endpoint direkte Eingabe-Embeddings akzeptiert und dafür eine benutzerdefinierte Prefix-Caching-Implementierung verwendet.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie die Flexibilität des Prefix-Caching verbessert. Nutzer mit Consumer-GPUs könnten von einer benutzerdefinierten Prefix-Caching-Implementierung profitieren, insbesondere wenn sie spezifische Anforderungen an die Eingabe-Embeddings haben.
Konsequenz für OpenCode-Nutzer:
Eine benutzerdefinierte Prefix-Caching-Implementierung könnte die Leistung und die Effizienz des Agent-Workflows verbessern, indem sie die VRAM-Verwendung und die Latenz reduziert.
Handlungsempfehlung:
Die SGLang-Dokumentation prüfen, ob eine benutzerdefinierte Prefix-Caching-Implementierung unterstützt wird, oder die Entwickler um eine Plugin-Mechanik bitten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Why do PDMux Prefill and Decode kernels show no temporal overlap?](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer beschreibt, dass er bei der Verwendung von PDMux (Parallel Decoding Multiplexing) auf einer 3080Ti-GPU keine zeitliche Überlappung zwischen den Prefill- und Decode-Kernen beobachtet hat. Er hat das Problem mit nsys profiliert und festgestellt, dass die Total Time to First Token (TTFT) signifikant zunimmt, wenn PDMux aktiviert ist.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie die Performance-Optimierung von Modellen auf Consumer-GPUs betrifft. Nutzer mit 3090 oder 5090 GPUs könnten von einer besseren Überlappung der Prefill- und Decode-Kerne profitieren, um die Inferenzgeschwindigkeit zu verbessern.
Konsequenz für OpenCode-Nutzer:
Eine bessere Überlappung der Kernels könnte die Latenz reduzieren und die Inferenzgeschwindigkeit verbessern, was für Agent-Workloads besonders wichtig ist.
Handlungsempfehlung:
Die PDMux-Konfiguration prüfen und die SGLang-Entwickler um Unterstützung bei der Optimierung der Kernel-Überlappung bitten.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Weitere Diskussionen (kurz):
– wx大模型agent技术交流: Diskussion über Agent-Technologien in großen Modellen. Relevant für Agent-Workloads, aber spezifische Details fehlen.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future?: Diskussion über die Unterstützung von DeepSeek V4 Flash auf H20-GPUs. Enterprise-relevant, da H20-GPUs verwendet werden.
– support read/write datalake（iceberg、delta lake、paimon、lance）: Diskussion über die Unterstützung von Datalakes. Enterprise-relevant, da es um Datenmanagement geht.
– add dingding falied: Diskussion über ein abgelaufenes DingTalk-Link. Irrelevant für autarke Setups.
– Tokens: Diskussion über Token. Details fehlen, relevanz unklar.
– Why do PDMux Prefill and Decode kernels show no temporal overlap?: Diskussion über Performance-Optimierung auf 3080Ti. Relevant, aber spezifische Lösungen fehlen.
– Measured: scattered-token KV eviction frees zero pages under paged allocation: Diskussion über Cache-Management. Relevant für spezifische Optimierungen.
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8: Diskussion über die Inference von Qwen3.5-397B-A17B-FP8 auf 8x H200 GPUs. Enterprise-relevant, da HGX-Node verwendet wird.
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+?: Diskussion über einen Typenkonflikt in SGLang. Relevant für die Integration mit anderen Systemen.