SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen auf Consumer-GPUs, die Quantisierung und die Verbesserung der Agent-Workloads. Besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen wollen, sind die Diskussionen zur VRAM-Optimierung, Prefix-Caching und der Unterstützung von Modellen wie MiniMax H3 und DeepSeek. Diese Entwicklungen versprechen bessere Performance und effizienteren VRAM-Verbrauch, was die Nutzung von lokalen Coding-Agenten wie OpenCode erheblich verbessern kann.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL) auf 2x RTX 5090 mit einem Host cgroup `memory.max=116 GB` geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode `hf_to_custom_state_dict` den gesamten Gewichtsdict auf CPU materialisiert, was zu einem Out-of-Memory (OOM) führt. Der Autor hat 4 Patches entwickelt, um das Problem zu lösen, indem die Gewichte schrittweise geladen und direkt auf die GPU übertragen werden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 auf begrenzten Systemen zu betreiben. Die VRAM-Optimierung und die direkte GPU-Routing-Methoden sorgen dafür, dass die Modelle effizienter geladen und ausgeführt werden, was die Performance und den VRAM-Verbrauch erheblich verbessert.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches können OpenCode-Nutzer größere Modelle wie MiniMax H3 auf ihren lokalen Systemen betreiben, was die Qualität der generierten Inhalte und die Effizienz der Agent-Workloads verbessert. Es ist wichtig, die Patches anzuwenden und die Konfiguration sorgfältig zu überprüfen, um OOM-Fehler zu vermeiden.
Handlungsempfehlung:
Jetzt die Patches auf SGLang 0.5.17 anwenden und die Konfiguration anpassen, um MiniMax H3 auf 2x RTX 5090 zu betreiben.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM betrieben werden kann, indem Teile der Modell-Experten in System-RAM und auf die CPU ausgelagert werden. Dies wird als „VRAM extender“ bezeichnet und ermöglicht es, das Modell trotz begrenzter VRAM-Ressourcen zu betreiben.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf Systemen mit begrenztem VRAM zu betreiben. Die CPU-GPU-Hybrid-Inference sorgt dafür, dass die Modelle effizienter geladen und ausgeführt werden, was die Performance und den VRAM-Verbrauch erheblich verbessert.
Konsequenz für OpenCode-Nutzer:
Mit dieser Methode können OpenCode-Nutzer größere Modelle wie DeepSeek V4 Spark 0731 auf ihren lokalen Systemen betreiben, was die Qualität der generierten Inhalte und die Effizienz der Agent-Workloads verbessert. Es ist wichtig, die Konfiguration sorgfältig zu überprüfen, um die besten Ergebnisse zu erzielen.
Handlungsempfehlung:
Jetzt die CPU-GPU-Hybrid-Inference-Methode auf SGLang und vLLM anwenden und die Konfiguration anpassen, um DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 zu betreiben.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5060Ti, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9, Lvllmds4-v2.3.9
– tok/s / Benchmark: 850 t/s [input 32768], 28 t/s [input 32768], 30~46 t/s (5060Ti); 1060 t/s [input 32768], 26 t/s [input 32768], 35~47 t/s (3090); 3100 t/s [input 131072], 75 t/s [input 131072], 100~115 t/s (Pro 6000)
– Multi-GPU-Konfiguration: TP=1
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang betrieben werden kann, indem dynamische FP8-Quantisierung verwendet wird. Dies führt zu einer VRAM-Reduktion von etwa 75% und einer Geschwindigkeitsverbesserung von etwa 2x im Vergleich zu 2-GPU BF16.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist bedingt relevant für Nutzer mit Consumer-GPUs, da L40S-GPUs speziell für Datacenter-Workloads entwickelt wurden. Allerdings können die Prinzipien der dynamischen FP8-Quantisierung und der parallelen Ausführung auf Consumer-GPUs übertragen werden, um die Performance und den VRAM-Verbrauch zu verbessern.
Konsequenz für OpenCode-Nutzer:
Mit der dynamischen FP8-Quantisierung können OpenCode-Nutzer die VRAM-Verwendung reduzieren und die Geschwindigkeit der Modell-Generierung verbessern. Es ist wichtig, die Konfiguration sorgfältig zu überprüfen, um die besten Ergebnisse zu erzielen.
Handlungsempfehlung:
Jetzt die dynamische FP8-Quantisierung auf SGLang anwenden und die Konfiguration anpassen, um MiniMax H3 auf 4x 3090 oder 2x 5090 zu betreiben.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB
– Modell: MiniMax H3, FL2VA partition
– Framework-Version: sglang-diffusion multimodal_gen runtime, 2026-08-04 build
– tok/s / Benchmark: 5.8–6.1 s/it, 9.5 GB idle / 14.3 GB peak per card
– Multi-GPU-Konfiguration: TP=4, Ulysses-degree=4
Customize prefix caching (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag diskutiert, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in der Eingabe-Embedding-Modus betrieben wird. Der Autor möchte, dass die Prefix-Caching-Methode auch für Eingabe-Embeddings funktioniert, da dies die Performance und Effizienz der Agent-Workloads verbessern kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist extrem relevant für Nutzer, die Agent-Workloads auf Consumer-GPUs betreiben, da es die Performance und den VRAM-Verbrauch erheblich verbessert. Die Möglichkeit, benutzerdefinierte Prefix-Caching-Methoden zu verwenden, kann die Flexibilität und Effizienz der Agent-Workloads weiter steigern.
Konsequenz für OpenCode-Nutzer:
Mit benutzerdefinierten Prefix-Caching-Methoden können OpenCode-Nutzer die Performance und Effizienz ihrer Agent-Workloads verbessern. Es ist wichtig, die Konfiguration sorgfältig zu überprüfen, um die besten Ergebnisse zu erzielen.
Handlungsempfehlung:
Jetzt die benutzerdefinierten Prefix-Caching-Methoden auf SGLang anwenden und die Konfiguration anpassen, um die Agent-Workloads zu optimieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Measured: scattered-token KV eviction frees zero pages under paged allocation (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction des H2O-Familienmodells unter ehrlicher paged accounting keine Seiten freigibt. Dies führt dazu, dass das tatsächliche gehaltene Speicherplatz bei 100% bleibt, was die Effizienz der Speicherverwaltung beeinträchtigen kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Erkenntnisse sind bedingt relevant für Nutzer mit Consumer-GPUs, da sie die Effizienz der Speicherverwaltung bei der Verwendung von Modellen wie Llama-3.2-1B beeinträchtigen können. Die Verwendung kontinuierlicher 16-Token-Fenster kann die Speicherverwaltung optimieren.
Konsequenz für OpenCode-Nutzer:
Mit kontinuierlichen 16-Token-Fenstern können OpenCode-Nutzer die Speicherverwaltung optimieren und die Effizienz der Agent-Workloads verbessern. Es ist wichtig, die Konfiguration sorgfältig zu überprüfen, um die besten Ergebnisse zu erzielen.
Handlungsempfehlung:
Jetzt kontinuierliche 16-Token-Fenster in der Konfiguration verwenden, um die Speicherverwaltung zu optimieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why do PDMux Prefill and Decode kernels show no temporal overlap? (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert, warum die PDMux-Prefill- und Decode-Kernels bei der Verwendung von SGLang keine zeitliche Überlappung zeigen. Der Autor hat festgestellt, dass die Total Time for First Token (TTFT) bei der Aktivierung von PDMux signifikant steigt, was die Performance negativ beeinflusst.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Erkenntnisse sind bedingt relevant für Nutzer mit Consumer-GPUs, da sie die Performance von Modellen wie Qwen3-1.7B beeinträchtigen können. Die fehlende zeitliche Überlappung kann zu längeren Verarbeitungszeiten führen, was die Effizienz der Agent-Workloads reduziert.
Konsequenz für OpenCode-Nutzer:
Mit der Optimierung der PDMux-Konfiguration können OpenCode-Nutzer die Performance und Effizienz ihrer Agent-Workloads verbessern. Es ist wichtig, die Konfiguration sorgfältig zu überprüfen, um die besten Ergebnisse zu erzielen.
Handlungsempfehlung:
Jetzt die PDMux-Konfiguration optimieren, um die zeitliche Überlappung der Prefill- und Decode-Kernels zu verbessern.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Weitere Diskussionen (kurz):
– support read/write datalake（iceberg、delta lake、paimon、lance） — Enterprise — nicht autark-relevant
– add dingding falied — Enterprise — nicht autark-relevant
– Jump Forward Decoding Disabled? — Enterprise — nicht autark-relevant
– A question about Qwen-3-vl-reranker for the difference between sglang inference and transformer inference. — Enterprise — nicht autark-relevant
– Ling 2.6 lightning/linear attention cache size not exposed in SGLang metrics/logs — Enterprise — nicht autark-relevant
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8 — Enterprise — nicht autark-relevant
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+? — Enterprise — nicht autark-relevant