SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell hauptsächlich Themen rund um die Optimierung von Modellen auf Consumer-GPUs, insbesondere bei der Verwendung von Quantisierung, Prefix-Caching und der Unterstützung großer Kontextfenster. Zwei zentrale Themen sind die Verbesserung der Performance von Modellen wie DeepSeek V4 und MiniMax H3 auf 4x 3090 oder 2x 5090-Setups sowie die Implementierung benutzerdefinierter Prefix-Caching-Strategien. Diese Entwicklungen sind besonders relevant für OpenCode-Nutzer, die ein autarkes, lokal betriebenes Setup mit starken Agent-Workloads und strukturierter Ausgabe anstreben.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einer cgroup-Grenze von 116 GB geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode der Gewichtskonvertierung zu einem Out-of-Memory (OOM) führt, da sie das gesamte Gewichtsdict auf CPU-RAM materialisiert. Der Autor hat 4 Patches entwickelt, um das Modell effizient zu laden und zu inferieren, ohne die cgroup-Grenze zu überschreiten.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches ermöglichen es, das Modell MiniMax H3 Ref2VA auf Consumer-GPUs wie den RTX 5090 zu betreiben, ohne dass die cgroup-Grenze überschritten wird. Dies ist besonders relevant für Nutzer, die mit begrenztem RAM arbeiten und große Modelle wie MiniMax H3 verwenden möchten. Die Patches sind auch für andere Consumer-GPU-Setups anwendbar, solange die cgroup-Grenze beachtet wird.
Konsequenz für OpenCode-Nutzer:
Die Implementierung dieser Patches kann die Performance von OpenCode-Nutzern erheblich verbessern, indem sie es ermöglicht, große Modelle wie MiniMax H3 auf Consumer-GPUs zu betreiben. Dies führt zu schnelleren Inferenzzeiten und besseren Ergebnissen in Agent-Workloads.
Handlungsempfehlung:
Die Patches aus dem Gist anwenden und SGLang auf Version 0.5.17 updaten. Die Konfiguration und die Patches im Gist genau befolgen, um OOM-Fehler zu vermeiden.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM betrieben werden kann, indem Teile der MoE-Experten auf System-RAM und CPU ausgelagert werden. Der Autor hat eine benutzerdefinierte Inference-Stack auf SGLang und vLLM basiert, der die CPU-GPU-Scheduling und NUMA-aware Memory-Management übernimmt. Es werden Benchmark-Resultate für verschiedene Hardware-Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode ermöglicht es, das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs wie den RTX 5090 oder 3090 zu betreiben, auch wenn die VRAM begrenzt ist. Dies ist besonders relevant für Nutzer, die große Modelle auf Consumer-Hardware betreiben möchten, ohne zusätzliche Cloud-Ressourcen zu benötigen.
Konsequenz für OpenCode-Nutzer:
Die CPU-GPU-Hybrid-Inference kann die Performance von OpenCode-Nutzern verbessern, indem sie es ermöglicht, große Modelle auf Consumer-GPUs zu betreiben. Dies führt zu schnelleren Inferenzzeiten und besseren Ergebnissen in Agent-Workloads.
Handlungsempfehlung:
Die beschriebene Methode und die benutzerdefinierte Inference-Stack anwenden. Die Konfiguration und die Benchmark-Resultate im Beitrag genau befolgen, um die besten Ergebnisse zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5060Ti, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (5060Ti), 1060 t/s (3090), 3100 t/s (Pro 6000)
– Multi-GPU-Konfiguration: TP=1
Customize prefix caching (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag fragt, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Autor möchte eine benutzerdefinierte Lösung implementieren, da die Standard-Implementierung nur für integer Tokens vorgesehen ist.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Möglichkeit, benutzerdefinierte Prefix-Caching-Strategien zu implementieren, kann die Performance von Modellen auf Consumer-GPUs verbessern, insbesondere bei Agent-Workloads, die kontinuierlich den gleichen System-Prompt senden. Dies ist besonders relevant für OpenCode-Nutzer, die strukturierte Ausgaben und Tool-Calling benötigen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung benutzerdefinierter Prefix-Caching-Strategien kann die Inferenzgeschwindigkeit und die Effizienz von OpenCode-Nutzern verbessern, indem sie die Wiederholung von System-Prompts minimiert. Dies führt zu schnelleren und effizienteren Agent-Workloads.
Handlungsempfehlung:
Die Dokumentation von SGLang nach benutzerdefinierten Prefix-Caching-Implementierungen durchsuchen oder eine Fork des Engines erstellen, um die gewünschten Änderungen vorzunehmen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang betrieben werden kann, wobei dynamic FP8-Quantisierung verwendet wird, um die VRAM zu reduzieren und die Inferenzgeschwindigkeit zu verbessern. Es wird eine Konfiguration vorgestellt, die eine 2-fache Geschwindigkeitssteigerung gegenüber 2-GPU BF16 bietet, ohne die Ausgabequalität zu beeinträchtigen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode kann auf Consumer-GPUs wie den RTX 3090 oder 5090 angewendet werden, um die VRAM-Verwendung zu reduzieren und die Inferenzgeschwindigkeit zu verbessern. Allerdings sind L40S-GPUs spezifische Hardware, die in der Regel in Data Centers verwendet wird. Die Anwendung auf Consumer-GPUs erfordert möglicherweise Anpassungen.
Konsequenz für OpenCode-Nutzer:
Die Verwendung von dynamic FP8-Quantisierung kann die VRAM-Verwendung reduzieren und die Inferenzgeschwindigkeit von OpenCode-Nutzern verbessern. Dies führt zu effizienteren Agent-Workloads und besseren Ergebnissen in strukturierten Ausgaben.
Handlungsempfehlung:
Die beschriebene Konfiguration und die dynamic FP8-Quantisierung auf Consumer-GPUs testen. Die Konfiguration und die Benchmarks im Beitrag genau befolgen, um die besten Ergebnisse zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB
– Modell: MiniMax H3, FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: 2 GPU BF16: ~12–16 s/it, 4 GPU FP8: ~5.8–6.1 s/it
– Multi-GPU-Konfiguration: TP=4
Do Hopper support Deepseek V4 Flash run EP by deepep in the future? (4/10) — OpenCode-Fit: NEIN
Worum geht es konkret?
Der Beitrag beschreibt ein Problem beim Betrieb von DeepSeek V4 Flash mit expert parallel (EP) auf H20-GPUs mit der deepep-Version 1.2.1 und SGLang 0.5.12. Der Autor erhält einen Fehler, da die aktuelle Rezeptur keine FP8-FP4 gemischte EP-Methoden unterstützt. Es wird gefragt, ob SGLang in der Zukunft die deepep-Unterstützung für FP4 auf SM90-GPUs hinzufügen wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode ist spezifisch für H20-GPUs und die SM90-Architektur, die in der Regel in Data Centers verwendet werden. Consumer-GPUs wie die RTX 3090 oder 5090 haben eine andere Architektur und können diese Methode nicht direkt anwenden.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von FP4 auf H20-GPUs ist für Consumer-Setups nicht relevant. OpenCode-Nutzer sollten stattdessen auf die Unterstützung von FP8-Quantisierung auf Consumer-GPUs achten, um die VRAM-Verwendung zu reduzieren und die Inferenzgeschwindigkeit zu verbessern.
Handlungsempfehlung:
Die Unterstützung von FP8-Quantisierung auf Consumer-GPUs im Auge behalten und auf zukünftige Updates von SGLang warten.
Fakten-Tabelle:
– Hardware im Post: H20
– Modell: DeepSeek V4 Flash
– Framework-Version: SGLang 0.5.12
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why do PDMux Prefill and Decode kernels show no temporal overlap? (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt ein Problem, bei dem die PDMux-Prefill- und Decode-Kernels auf einer 3080Ti-GPU keine zeitliche Überlappung zeigen, was zu einer erhöhten Total Time to First Token (TTFT) führt. Der Autor hat die PDMux-Konfiguration und die Benchmark-Ergebnisse geteilt, um das Problem zu diagnostizieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode ist spezifisch für die 3080Ti-GPU und kann auf Consumer-GPUs wie den RTX 3090 oder 5090 angewendet werden. Allerdings erfordert die Optimierung der PDMux-Konfiguration ein tiefes Verständnis der GPU-Architektur und der Inference-Optimierung.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der PDMux-Konfiguration kann die Inferenzgeschwindigkeit von OpenCode-Nutzern verbessern, indem sie die zeitliche Überlappung von Prefill- und Decode-Kernels maximiert. Dies führt zu schnelleren Agent-Workloads und besseren Ergebnissen in strukturierten Ausgaben.
Handlungsempfehlung:
Die beschriebene PDMux-Konfiguration testen und die Benchmark-Ergebnisse im Beitrag genau befolgen, um die besten Ergebnisse zu erzielen. Bei Problemen die SGLang-Community um Hilfe bitten.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Measured: scattered-token KV eviction frees zero pages under paged allocation (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction des H2O-Frameworks unter ehrlicher paged Accounting (eine Seite gibt nur dann Speicher frei, wenn sie vollständig leer ist) auf Llama-3.2-1B keine Seiten freigibt. Die Messung wurde unter verschiedenen Speicherdecken durchgeführt, und es wird festgestellt, dass die tatsächliche gehaltene Speichergröße bei 100% bleibt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Messung ist spezifisch für das H2O-Framework und die Llama-3.2-1B-Modelle. Für Consumer-GPUs wie die RTX 3090 oder 5090 kann diese Methode hilfreich sein, um die Speicherverwaltung zu optimieren und die VRAM-Verwendung zu reduzieren. Allerdings erfordert die Implementierung ein tiefes Verständnis der Speicherverwaltung und der Inference-Optimierung.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der Speicherverwaltung kann die VRAM-Verwendung von OpenCode-Nutzern reduzieren und die Inferenzgeschwindigkeit verbessern. Dies führt zu effizienteren Agent-Workloads und besseren Ergebnissen in strukturierten Ausgaben.
Handlungsempfehlung:
Die beschriebene Methode testen und die Ergebnisse im Beitrag genau befolgen, um die besten Ergebnisse zu erzielen. Bei Problemen die SGLang-Community um Hilfe bitten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– wx大模型agent技术交流 — Diskussion über Agent-Techniken in chinesischen Modellen, nicht spezifisch für Consumer-GPUs.
– [support read/write datalake（iceberg