SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell hauptsächlich Themen, die die Optimierung von Modellen auf Consumer-GPUs und die Verbesserung der Agent-Workloads betreffen. Besonders relevant sind Diskussionen zur Quantisierung, zur Verbesserung der VRAM-Verwaltung und zur Implementierung von Prefix-Caching. Diese Entwicklungen sind entscheidend für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um nahe an Claude-Sonnet-Niveau zu kommen.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode der Gewichtskonvertierung zu einem Out-of-Memory (OOM) führt, da sie das gesamte Gewichtsdict auf dem CPU-Speicher materialisiert. Der Autor stellt 4 Patches vor, die dieses Problem lösen, indem sie das Gewichtsdict schrittweise konvertieren und direkt auf die GPU laden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 Ref2VA auf 2x 5090 zu laufen, ohne dass der Speicher überschritten wird. Die Patches sind einfach anwendbar und erfordern keine spezielle Hardware wie Threadripper. Die VRAM-Verwaltung wird dadurch erheblich verbessert, was für autarke Setups entscheidend ist.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches können Nutzer größere Modelle lokal ausführen, was die Leistung und die Funktionalität von Coding-Agenten wie OpenCode erheblich steigert. Die VRAM-Verwaltung wird optimiert, was zu weniger OOM-Fehlern führt und die Stabilität des Setups erhöht.
Handlungsempfehlung:
Jetzt die Patches anwenden und SGLang auf Version 0.5.17 updaten. Die Patches sind im Gist verfügbar: https://gist.github.com/ft54482/b5489349620c7f0fa63e634e3356d79b
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt eine Methode, um das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM laufen zu lassen. Der Ansatz besteht darin, Teile der MoE-Experten in den System-RAM und auf die CPU zu delegieren, um die VRAM-Beschränkungen zu umgehen. Es werden Benchmarks für verschiedene Konfigurationen präsentiert, darunter 2x 5090Ti und 2x 3090.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 laufen zu lassen. Die CPU-GPU-Hybrid-Inference optimiert die VRAM-Verwaltung und ermöglicht es, die Leistung der GPUs voll auszuschöpfen, ohne dass der Speicher überschritten wird.
Konsequenz für OpenCode-Nutzer:
Mit dieser Methode können Nutzer größere Modelle lokal ausführen, was die Leistung und die Funktionalität von Coding-Agenten wie OpenCode erheblich steigert. Die VRAM-Verwaltung wird optimiert, was zu weniger OOM-Fehlern führt und die Stabilität des Setups erhöht.
Handlungsempfehlung:
Die beschriebene Methode ausprobieren und die Benchmarks für 2x 3090 und 2x 5090 beachten. Die Konfigurationen sind im Post detailliert beschrieben.
Fakten-Tabelle:
– Hardware im Post: 2x 5090Ti, 2x 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9, Lvllmds4-v2.3.9
– tok/s / Benchmark: 850 t/s (5090Ti), 1060 t/s (3090), 3100 t/s (Pro 6000)
– Multi-GPU-Konfiguration: TP=2
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang und dynamischer FP8-Quantisierung ausgeführt werden kann. Die FP8-Quantisierung reduziert den VRAM-Verbrauch auf ~1/4 und beschleunigt die Generierung um etwa das Doppelte im Vergleich zu 2-GPU BF16, wobei die Ausgabequalität gleich bleibt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist bedingt relevant für Nutzer mit Consumer-GPUs, da L40S-GPUs spezielle Enterprise-GPUs sind. Allerdings können die beschriebenen Techniken, insbesondere die FP8-Quantisierung, auch auf Consumer-GPUs angewendet werden, um den VRAM-Verbrauch zu reduzieren und die Leistung zu steigern. Die FP8-Quantisierung ist besonders nützlich, um größere Modelle auf 4x 3090 oder 2x 5090 laufen zu lassen.
Konsequenz für OpenCode-Nutzer:
Die FP8-Quantisierung kann die VRAM-Verwaltung und die Leistung von Coding-Agenten wie OpenCode erheblich verbessern. Nutzer sollten die beschriebenen Techniken ausprobieren, um den VRAM-Verbrauch zu reduzieren und die Generierung zu beschleunigen.
Handlungsempfehlung:
Die FP8-Quantisierung in SGLang aktivieren und die beschriebenen Konfigurationen anwenden. Die Launch-Commande sind im Post detailliert beschrieben.
Fakten-Tabelle:
– Hardware im Post: 4x L40S
– Modell: MiniMax H3, FL2VA
– Framework-Version: sglang-diffusion multimodal_gen runtime, 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it
– Multi-GPU-Konfiguration: TP=4
Customize prefix caching (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion beschreibt, wie man eine benutzerdefinierte Implementierung für Prefix-Caching in SGLang bereitstellen kann, wenn das Modell Eingabemuster anstelle von Token-IDs akzeptiert. Der Autor möchte, dass das Modell direkt Eingabemuster verarbeiten kann, was die Flexibilität der Anwendung erhöht.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist extrem relevant für Agent-Workloads, da es die Wiederholung von System-Prompts vermeidet und die Leistung erheblich verbessert. Die Möglichkeit, benutzerdefinierte Prefix-Caching-Implementierungen zu verwenden, bietet zusätzliche Flexibilität und kann die Effizienz von Coding-Agenten wie OpenCode steigern.
Konsequenz für OpenCode-Nutzer:
Mit benutzerdefiniertem Prefix-Caching können Nutzer die Wiederholung von System-Prompts vermeiden und die Leistung von Coding-Agenten wie OpenCode erheblich verbessern. Dies führt zu schnelleren Prompt-Processing und besseren Tool-Calling-Fähigkeiten.
Handlungsempfehlung:
Die beschriebene Methode ausprobieren und ggf. eine benutzerdefinierte Prefix-Caching-Implementierung entwickeln. Die Dokumentation in SGLang prüfen, ob es inzwischen eine Plugin-Mechanismus gibt.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why do PDMux Prefill and Decode kernels show no temporal overlap? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschreibt ein Problem, bei dem die PDMux-Prefill- und Decode-Kernels bei der Ausführung von Qwen3-1.7B auf einer 3080Ti-GPU keine zeitliche Überlappung zeigen. Der Autor hat die Leistung mit und ohne PDMux verglichen und festgestellt, dass die Gesamtzeit (TTFT) bei aktiviertem PDMux signifikant zunimmt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant, da sie sich auf die Optimierung der GPU-Verwendung konzentriert. Die fehlende zeitliche Überlappung der Kernels kann die Leistung beeinträchtigen, insbesondere bei kleineren GPUs wie der 3080Ti. Nutzer mit 3090 oder 5090 sollten diese Problematik beachten, um die GPU-Verwendung zu optimieren.
Konsequenz für OpenCode-Nutzer:
Die fehlende zeitliche Überlappung der Kernels kann die Leistung von Coding-Agenten wie OpenCode beeinträchtigen. Nutzer sollten die beschriebenen Konfigurationen prüfen und ggf. die PDMux-Einstellungen anpassen, um die Leistung zu verbessern.
Handlungsempfehlung:
Die PDMux-Einstellungen in SGLang prüfen und ggf. anpassen. Die beschriebenen Benchmarks und Konfigurationen im Post beachten.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Measured: scattered-token KV eviction frees zero pages under paged allocation (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction des H2O-Frameworks bei der Verwendung von paged allocation keine Seiten freigibt. Dies führt dazu, dass das tatsächliche gehaltene Speicherplatz bei 100% bleibt, was die Speicherverwaltung beeinträchtigen kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant, da sie sich auf die Speicherverwaltung konzentriert. Die fehlende Freigabe von Seiten kann die VRAM-Verwaltung beeinträchtigen, insbesondere bei Modellen mit großen Kontextfenstern. Nutzer mit 3090 oder 5090 sollten diese Problematik beachten, um die Speicherverwaltung zu optimieren.
Konsequenz für OpenCode-Nutzer:
Die fehlende Freigabe von Seiten kann die VRAM-Verwaltung beeinträchtigen und zu OOM-Fehlern führen. Nutzer sollten die beschriebenen Messungen prüfen und ggf. alternative Speicherverwaltungsmethoden anwenden.
Handlungsempfehlung:
Die beschriebenen Messungen und die verwendeten Methoden prüfen. Ggf. alternative Speicherverwaltungsmethoden in SGLang ausprobieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8: Enterprise — nicht autark-relevant. Diskutiert die Inference von Qwen3.5-397B-A17B-FP8 auf 8x H200-GPUs in einem HGX-Setup.
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+?: Technisches Problem mit der Typenkompatibilität in SGLang v0.5.13+. Relevante Workarounds sind beschrieben.
– Jump Forward Decoding Disabled?: Diskutiert die Deaktivierung des Jump Forward Decoding in SGLang. Relevante Gründe sind beschrieben.
– A question about Qwen-3-vl-reranker for the difference between sglang inference and transformer inference.: Technisches Problem mit der Wahl der YES/NO-Token in Qwen-3-vl-reranker. Relevante Implementierungsdetails sind beschrieben.
– Ling 2.6 lightning/linear attention cache size not exposed in SGLang metrics/logs: Diskutiert die fehlende Berücksichtigung des lightning/linear attention cache in SGLang-Metriken. Relevante Fragen zur Speicherverwaltung sind gestellt.