SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung:
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modell-Inferenz auf Consumer-GPUs, die Verbesserung von Prefix-Caching und die Unterstützung von multimodalen Modellen. Besonders relevant für Autarkie-Setups sind Diskussionen über die Reduzierung des VRAM-Verbrauchs, die Steigerung der Performance durch Quantisierung und die Integration von Tool-Calling-Funktionen. Diese Entwicklungen sind entscheidend für Nutzer, die ein Claude-Sonnet-ähnliches Coding-Agent-Setup auf 4x 3090 oder 2x 5090-GPUs betreiben möchten.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass der Standardprozess OOM (Out of Memory) führt, da die gesamte Gewichtsdict auf der CPU materialisiert wird. Der Autor hat 4 Patches entwickelt, um dieses Problem zu lösen, insbesondere durch das Streaming der Gewichte und das direkte Laden von resident-layer Parametern auf die GPU.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 Ref2VA auf 2x 5090 oder 4x 3090 zu betreiben, ohne an VRAM-Grenzen zu scheitern. Die beschriebenen Optimierungen reduzieren den Speicherverbrauch und ermöglichen es, die Modelle effizienter zu laden und zu verarbeiten.
Konsequenz für OpenCode-Nutzer:
Die Patches verbessern die Performance und den Speicherverbrauch, was zu schnelleren Prompt-Processing und besseren Tool-Calling-Funktionen führt. Nutzer sollten die Patches anwenden, um die Modelle effizienter zu betreiben.
Handlungsempfehlung:
Jetzt die beschriebenen Patches anwenden und auf SGLang 0.5.17 updaten.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt eine Methode, um das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM zu betreiben, indem Teile der MoE-Experten in das System-RAM und auf die CPU ausgelagert werden. Der Autor verwendet eine modifizierte Version von SGLang und vLLM, die CPU-GPU-Scheduling und NUMA-aware Memory Management unterstützt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 zu betreiben, ohne an VRAM-Grenzen zu scheitern. Die Hybrid-Inference-Technik reduziert den Speicherverbrauch und ermöglicht es, die Modelle effizienter zu laden und zu verarbeiten.
Konsequenz für OpenCode-Nutzer:
Die Hybrid-Inference-Technik kann zu einer signifikanten Steigerung der Performance führen, insbesondere bei der Verarbeitung von großen Kontexten. Dies verbessert die Tool-Calling-Funktionen und die allgemeine Nutzererfahrung.
Handlungsempfehlung:
Experimentiere mit der beschriebenen Hybrid-Inference-Technik und warte auf die Integration in die offizielle SGLang-Version.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (input 32768), 28 t/s (decode), 30~46 t/s (speculative decoding)
– Multi-GPU-Konfiguration: TP=2
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang und dynamischer FP8-Quantisierung betrieben werden kann. Die FP8-Quantisierung reduziert den VRAM-Verbrauch auf etwa 1/4 und verdoppelt die Generierungsgeschwindigkeit im Vergleich zu 2-GPU BF16, ohne die Ausgabequalität zu beeinträchtigen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist bedingt relevant für Nutzer mit Consumer-GPUs, da L40S-GPUs speziell für Datacenter-Workloads entwickelt wurden. Allerdings können die beschriebenen Techniken (FP8-Quantisierung, sequence parallelism) auch auf 4x 3090 oder 2x 5090 angewendet werden, um die Performance und den Speicherverbrauch zu verbessern.
Konsequenz für OpenCode-Nutzer:
Die FP8-Quantisierung kann zu einer signifikanten Steigerung der Performance und Reduzierung des VRAM-Verbrauchs führen, was die Betriebsfähigkeit von großen Modellen auf Consumer-GPUs verbessert. Dies kann zu schnelleren Tool-Calling-Funktionen und besseren Nutzererfahrungen führen.
Handlungsempfehlung:
Experimentiere mit FP8-Quantisierung und sequence parallelism auf 4x 3090 oder 2x 5090.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB
– Modell: MiniMax H3, FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it (768p 16:9, 5s, 20 steps)
– Multi-GPU-Konfiguration: TP=4
Customize prefix caching (6/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag diskutiert, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Autor möchte eine benutzerdefinierte Lösung implementieren, da die Standard-Implementierung nur für Integer-Tokens verwendet wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist extrem wichtig für Agent-Workloads, da es die Wiederholung von System-Prompts vermeidet und die Performance verbessert. Die Möglichkeit, benutzerdefinierte Implementierungen zu verwenden, kann die Flexibilität und Effizienz des Setups erhöhen.
Konsequenz für OpenCode-Nutzer:
Eine benutzerdefinierte Prefix-Caching-Implementierung kann zu schnelleren Prompt-Processing-Zeiten und besseren Tool-Calling-Funktionen führen, insbesondere bei multimodalen Modellen.
Handlungsempfehlung:
Folge den Diskussionen und warte auf eine offizielle Plugin-Mechanik oder forke den Engine-Code, um eine benutzerdefinierte Implementierung zu erstellen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why do PDMux Prefill and Decode kernels show no temporal overlap? (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert, warum die PDMux Prefill- und Decode-Kernels bei der Verwendung von SGLang keine zeitliche Überlappung zeigen. Der Autor hat die Performance mit und ohne PDMux verglichen und festgestellt, dass die Gesamtzeit (TTFT) bei aktiviertem PDMux signifikant steigt. Die Profilergebnisse zeigen, dass die Kernels nicht parallel ausgeführt werden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant, da sie auf Performance-Optimierungen abzielt. Die fehlende Überlappung der Kernels kann zu längeren Verarbeitungszeiten führen, was die Nutzererfahrung beeinträchtigen kann. Allerdings ist die Diskussion eher technisch und erfordert tiefgehende Kenntnisse der GPU-Architektur.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der PDMux-Kernels kann zu einer Steigerung der Performance führen, was zu schnelleren Tool-Calling-Funktionen und besseren Nutzererfahrungen führen kann.
Handlungsempfehlung:
Folge den Diskussionen und warte auf offizielle Updates oder Patches, die die Kernels optimieren.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Measured: scattered-token KV eviction frees zero pages under paged allocation (4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction des H2O-Frameworks unter ehrlicher paged accounting keine Seiten freigibt. Die Messung wurde auf Llama-3.2-1B durchgeführt, und das Ergebnis zeigt, dass die real gehaltene Speichermenge bei 100% bleibt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist bedingt relevant, da sie auf Speicherverwaltung und Cache-Optimierung abzielt. Die Erkenntnisse können helfen, die Speicherverwaltung bei der Verwendung von multimodalen Modellen zu verbessern, was zu einer besseren Performance führen kann.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der Speicherverwaltung kann zu einer Reduzierung des Speicherverbrauchs und einer Steigerung der Performance führen, was die Nutzererfahrung verbessert.
Handlungsempfehlung:
Folge den Diskussionen und warte auf offizielle Updates oder Patches, die die Speicherverwaltung optimieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– support read/write datalake（iceberg、delta lake、paimon、lance） — ENTERPRISE (für uns irrelevant)
– Diskussion über die Unterstützung von Datalakes, die für Enterprise-Setups relevant sind, aber für autarke Home-Setups keine direkte Anwendung haben.
– add dingding falied — ENTERPRISE (für uns irrelevant)
– Diskussion über ein abgelaufenes QR-Code-Link für DingTalk, irrelevant für autarke Home-Setups.
– Jump Forward Decoding Disabled? — BEDINGT
– Diskussion über die Deaktivierung von Jump Forward Decoding, die möglicherweise Performance-Optimierungen beeinträchtigen kann.
– A question about Qwen-3-vl-reranker for the difference between sglang inference and transformer inference. — BEDINGT
– Diskussion über die Implementierung des Qwen-3-vl-reranker, die spezifische Optimierungen für die Inference betreffen kann.
– Ling 2.6 lightning/linear attention cache size not exposed in SGLang metrics/logs — BEDINGT
– Diskussion über die Fehlende Berichterstattung der lightning/linear attention cache-Größe in SGLang, die für die Speicherverwaltung relevant sein kann.