SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell hauptsächlich Themen rund um die Optimierung von Modellen auf Consumer-GPUs, die Verbesserung der Agent-Workloads und die Reduzierung des VRAM-Verbrauchs. Besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen wollen, sind die Diskussionen zur Quantisierung, Prefix-Caching und der Hybrid-Inference. Diese Entwicklungen können die Performance und den VRAM-Verbrauch erheblich verbessern, was wiederum die Nutzung von Modellen wie Claude Sonnet oder OpenCode erleichtert.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode `hf_to_custom_state_dict` den gesamten Gewichtsdict auf CPU materialisiert, was zu einem Out-of-Memory (OOM) führt. Die Lösung besteht in 4 Patches, die das Streaming der Gewichte und das direkte Laden von resident-layers auf die GPU ermöglichen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 auf begrenztem Speicher zu laufen. Die Patches reduzieren den Speicherverbrauch und ermöglichen es, das Modell ohne komplexe Workarounds zu laden. Dies ist besonders nützlich für Nutzer, die mit 4x 3090 oder 2x 5090 arbeiten, da diese GPUs eine begrenzte VRAM-Kapazität haben.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches kann die Ladegeschwindigkeit und der Speicherverbrauch erheblich reduziert werden. Dies führt zu schnelleren Prompt-Processing-Zeiten und weniger VRAM-Verbrauch, was die Performance von OpenCode-Agenten verbessert. Nutzer sollten die Patches anwenden, um die Ladegeschwindigkeit zu optimieren.
Handlungsempfehlung:
Jetzt die Patches auf SGLang 0.5.17 anwenden und das Modell MiniMax H3 Ref2VA testen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion dreht sich um die Möglichkeit, das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM zu laufen. Der Autor beschreibt eine Hybrid-Inference-Methode, die Teile des Modells in System-RAM und auf die CPU auslagert, um den VRAM-Verbrauch zu reduzieren. Es werden Benchmarks für verschiedene Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Hybrid-Inference-Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 zu laufen. Die Benchmarks zeigen, dass die Performance trotz des VRAM-Mangels akzeptabel ist, was die Nutzung von OpenCode-Agenten verbessert.
Konsequenz für OpenCode-Nutzer:
Die Hybrid-Inference-Methode kann den VRAM-Verbrauch reduzieren und die Performance verbessern. Dies ist besonders nützlich für Agent-Workloads, die eine hohe Kontextlänge erfordern. Nutzer sollten die Methode testen, um die VRAM-Verbrauch zu minimieren.
Handlungsempfehlung:
Die Hybrid-Inference-Methode auf 2x 3090 oder 2x 5090 testen und die Benchmarks vergleichen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (input 32768), 28 t/s (input 32768), 30~46 t/s (speculative decoding)
– Multi-GPU-Konfiguration: TP=2
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S GPUs mit SGLang und dynamischer FP8-Quantisierung ausgeführt werden kann. Die FP8-Quantisierung reduziert den VRAM-Verbrauch um etwa 75% und verdoppelt die Geschwindigkeit im Vergleich zu 2-GPU BF16, ohne die Ausgabequalität zu beeinträchtigen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die FP8-Quantisierung ist sehr relevant für Nutzer mit Consumer-GPUs, da sie den VRAM-Verbrauch erheblich reduziert. Allerdings sind L40S GPUs nicht direkt vergleichbar mit 3090 oder 5090, da sie speziell für Datacenter-Workloads optimiert sind. Dennoch können die Prinzipien der FP8-Quantisierung auf 4x 3090 oder 2x 5090 angewendet werden, um den VRAM-Verbrauch zu reduzieren.
Konsequenz für OpenCode-Nutzer:
Die FP8-Quantisierung kann die Performance von OpenCode-Agenten verbessern, indem sie den VRAM-Verbrauch reduziert und die Geschwindigkeit erhöht. Nutzer sollten die FP8-Quantisierung testen, um die VRAM-Effizienz zu steigern.
Handlungsempfehlung:
Die FP8-Quantisierung auf 4x 3090 oder 2x 5090 testen und die Performance vergleichen.
Fakten-Tabelle:
– Hardware im Post: 4x L40S
– Modell: MiniMax H3, FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it, 9.5 GB idle / 14.3 GB peak per card
– Multi-GPU-Konfiguration: TP=4
Customize prefix caching (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag fragt, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in der Eingabe-Embedding-Modus betrieben wird. Der Autor möchte, dass die Prefix-Caching-Mechanismen auch für Eingabe-Embeddings funktionieren, nicht nur für Token-IDs.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist extrem relevant für Agent-Workloads, da es die Performance durch Wiederverwendung von bereits verarbeiteten Sequenzen verbessert. Die Möglichkeit, benutzerdefinierte Prefix-Caching-Implementierungen zu verwenden, kann die Flexibilität und Effizienz von OpenCode-Agenten erheblich steigern.
Konsequenz für OpenCode-Nutzer:
Die benutzerdefinierte Prefix-Caching-Implementierung kann die Performance von OpenCode-Agenten verbessern, indem sie die Wiederverwendung von bereits verarbeiteten Sequenzen ermöglicht. Nutzer sollten die Möglichkeit testen, um die VRAM-Effizienz und die Geschwindigkeit zu steigern.
Handlungsempfehlung:
Die benutzerdefinierte Prefix-Caching-Implementierung testen und die Performance vergleichen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why do PDMux Prefill and Decode kernels show no temporal overlap? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag untersucht, warum die PDMux-Prefill- und Decode-Kernels bei der Verwendung von PDMux keine zeitliche Überlappung zeigen. Der Autor beschreibt die Umgebung, die Befehle und die Konfiguration, die verwendet wurden, um das Problem zu reproduzieren. Es wird auch ein Profil mit `nsys` erstellt, um die Performance zu analysieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Fehlende Überlappung von PDMux-Prefill- und Decode-Kernels kann die Performance beeinträchtigen. Dies ist besonders relevant für Nutzer, die mit 3090 oder 5090 arbeiten, da die GPU-Verwendung effizient sein muss, um die beste Performance zu erzielen. Die Analyse kann helfen, die Performance zu optimieren.
Konsequenz für OpenCode-Nutzer:
Die Fehlende Überlappung kann die Performance von OpenCode-Agenten beeinträchtigen. Nutzer sollten die Konfiguration und die Profilergebnisse analysieren, um die Performance zu verbessern.
Handlungsempfehlung:
Die PDMux-Konfiguration überprüfen und die Profilergebnisse analysieren, um die Performance zu optimieren.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Measured: scattered-token KV eviction frees zero pages under paged allocation (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die KV-Eviction von scattered-tokens bei der Verwendung von paged allocation keine Seiten freigibt. Dies kann die Speicherverwaltung beeinträchtigen, insbesondere bei der Verwendung von RadixAttention.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Fehlende Freigabe von Seiten bei KV-Eviction kann den Speicherverbrauch erhöhen und die Performance beeinträchtigen. Dies ist besonders relevant für Nutzer, die mit 3090 oder 5090 arbeiten, da die VRAM-Kapazität begrenzt ist. Die Messung kann helfen, die Speicherverwaltung zu optimieren.
Konsequenz für OpenCode-Nutzer:
Die Fehlende Freigabe von Seiten bei KV-Eviction kann die VRAM-Verwaltung beeinträchtigen. Nutzer sollten die Messung und die Konfiguration analysieren, um die Speicherverwaltung zu verbessern.
Handlungsempfehlung:
Die KV-Eviction-Methode überprüfen und die Messung analysieren, um die Speicherverwaltung zu optimieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– support read/write datalake（iceberg、delta lake、paimon、lance） — Enterprise — nicht autark-relevant
– add dingding falied — Enterprise — nicht autark-relevant
– Jump Forward Decoding Disabled? — Enterprise — nicht autark-relevant
– A question about Qwen-3-vl-reranker for the difference between sglang inference and transformer inference. — Enterprise — nicht autark-relevant
– Ling 2.6 lightning/linear attention cache size not exposed in SGLang metrics/logs — Enterprise — nicht autark-relevant
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8 — Enterprise — nicht autark-relevant
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+? — Enterprise — nicht autark-relevant