SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung: Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen für Consumer-GPUs, insbesondere bei der Verwendung von Multi-GPU-Setups. Zwei zentrale Themen sind die Verbesserung der VRAM-Verwaltung und die Unterstützung von Modellen wie MiniMax H3 und DeepSeek V4. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um Claude-Sonnet-Niveau zu erreichen.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem Host cgroup mit `memory.max=116 GB` geladen und ausgeführt werden kann. Das Problem ist, dass der Standard-Loader von SGLang die gesamte Gewichts-Dict auf CPU materialisiert, was zu einem Out-of-Memory (OOM) führt. Der Autor hat 4 Patches entwickelt, um dieses Problem zu beheben, darunter ein Generator, der die Tensoren schrittweise konvertiert, und eine Optimierung der GPU-Offload-Strategie.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind direkt für Consumer-GPUs wie die RTX 5090 relevant. Sie ermöglichen es, große Modelle wie MiniMax H3 Ref2VA auf 2x 5090 zu laden, ohne dass der Speicher begrenzt ist. Dies ist besonders nützlich für Nutzer, die mit begrenztem VRAM arbeiten und komplexe Modelle lokal ausführen möchten.
Konsequenz fuer OpenCode-Nutzer:
Die Patches verbessern die VRAM-Verwaltung und ermöglichen es, größere Modelle lokal zu betreiben. Dies führt zu schnelleren Inference-Zeiten und besseren Ergebnissen, insbesondere bei multimodalitären Aufgaben wie Video-Generierung.
Handlungsempfehlung:
Die Patches anwenden und SGLang auf Version 0.5.17 updaten. Die Patches sind im Gist verfügbar.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt eine Methode, um das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM zu betreiben. Die Idee ist, Teile der MoE-Experten in das System-RAM und auf die CPU zu offloaden, um die VRAM-Begrenzung zu umgehen. Der Autor hat Benchmarks durchgeführt, die zeigen, dass diese Methode funktioniert und gute Leistungen erzielt.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist direkt für Consumer-GPUs wie die RTX 3090 und 5090 relevant. Sie ermöglicht es, große Modelle wie DeepSeek V4 Spark 0731 lokal zu betreiben, ohne dass die VRAM begrenzt ist. Dies ist besonders nützlich für Nutzer, die mit begrenztem VRAM arbeiten und komplexe Modelle lokal ausführen möchten.
Konsequenz fuer OpenCode-Nutzer:
Die CPU-GPU-Hybrid-Inference verbessert die VRAM-Verwaltung und ermöglicht es, größere Modelle lokal zu betreiben. Dies führt zu schnelleren Inference-Zeiten und besseren Ergebnissen, insbesondere bei multimodalitären Aufgaben.
Handlungsempfehlung:
Die beschriebene Methode anwenden und die Benchmarks im Beitrag nachvollziehen. Die Patches und Konfigurationen sind im Beitrag beschrieben.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5060Ti, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s [input 32768] (5060Ti), 1060 t/s [input 32768] (3090), 3100 t/s [input 131072] (Pro 6000)
– Multi-GPU-Konfiguration: TP=2
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang betrieben werden kann. Durch die Verwendung von dynamischer FP8-Quantisierung wird die VRAM-Bedarfs reduziert und die Inference-Geschwindigkeit verdoppelt, ohne die Ausgabequalität zu beeinträchtigen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist bedingt für Consumer-GPUs relevant. Die L40S-GPUs sind zwar Enterprise-GPUs, aber die beschriebenen Techniken wie FP8-Quantisierung und Ulysses-Sequence-Parallelismus können auch auf Consumer-GPUs angewendet werden, um die VRAM-Bedarfs zu reduzieren und die Inference-Geschwindigkeit zu verbessern.
Konsequenz fuer OpenCode-Nutzer:
Die FP8-Quantisierung und der Ulysses-Sequence-Parallelismus können die VRAM-Verwaltung und die Inference-Geschwindigkeit verbessern. Dies führt zu schnelleren Inference-Zeiten und besseren Ergebnissen, insbesondere bei multimodalitären Aufgaben.
Handlungsempfehlung:
Die beschriebenen Techniken anwenden und die Benchmarks im Beitrag nachvollziehen. Die Patches und Konfigurationen sind im Beitrag beschrieben.
Fakten-Tabelle:
– Hardware im Post: 4x L40S
– Modell: MiniMax H3 FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it (4 GPU FP8 dynamic), ~12–16 s/it (2 GPU BF16 full-precision)
– Multi-GPU-Konfiguration: TP=4
Customize prefix caching (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert die Möglichkeit, eine benutzerdefinierte Implementierung für Prefix-Caching zu erstellen, wenn ein Modell in der Modus akzeptiert, der Eingabe-Embeddings anstelle von Token-IDs verwendet. Der Autor möchte, dass die Prefix-Caching-Logik auch für Eingabe-Embeddings angewendet werden kann, was derzeit nicht direkt unterstützt wird.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Anfrage ist bedingt relevant, da Prefix-Caching für Agent-Workloads wie OpenCode wichtig ist. Die Fähigkeit, benutzerdefinierte Prefix-Caching-Logiken zu implementieren, könnte die Leistung und Effizienz von Modellen verbessern, die Eingabe-Embeddings verwenden.
Konsequenz fuer OpenCode-Nutzer:
Eine benutzerdefinierte Prefix-Caching-Implementierung könnte die Leistung von Modellen verbessern, die Eingabe-Embeddings verwenden. Dies führt zu schnelleren Inference-Zeiten und besseren Ergebnissen, insbesondere bei multimodalitären Aufgaben.
Handlungsempfehlung:
Die Diskussion im Beitrag verfolgen und eventuell eine PR einreichen, um die gewünschte Funktionalität hinzuzufügen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why do PDMux Prefill and Decode kernels show no temporal overlap? (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert ein Problem mit der PDMux-Funktionalität in SGLang, bei dem die Prefill- und Decode-Kernels keine zeitliche Überlappung zeigen. Der Autor hat Benchmarks durchgeführt und festgestellt, dass die Total Time for First Token (TTFT) signifikant steigt, wenn PDMux aktiviert ist. Er untersucht, warum dies der Fall ist und wie es behoben werden kann.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Anfrage ist bedingt relevant, da PDMux eine Technik ist, die die Leistung von Modellen verbessern kann. Die Fehlende Überlappung der Kernels kann die Inference-Geschwindigkeit beeinträchtigen, was für Nutzer mit Consumer-GPUs wichtig ist.
Konsequenz fuer OpenCode-Nutzer:
Die Fehlende Überlappung der Kernels kann die Inference-Geschwindigkeit beeinträchtigen. Eine Lösung für dieses Problem könnte die Leistung von Modellen verbessern und zu schnelleren Inference-Zeiten führen.
Handlungsempfehlung:
Die Diskussion im Beitrag verfolgen und eventuell eine PR einreichen, um die Fehlende Überlappung zu beheben.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Measured: scattered-token KV eviction frees zero pages under paged allocation (4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction der H2O-Familie unter ehrlicher paged accounting keine Seiten freigibt. Dies bedeutet, dass das tatsächliche gehaltene Speicherplatz bei der Verwendung von RadixAttention konstant bleibt, was für die Speicherverwaltung relevant ist.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Anfrage ist bedingt relevant, da sie die Speicherverwaltung von Modellen untersucht. Die Erkenntnisse können dazu beitragen, die VRAM-Verwaltung zu optimieren, was für Nutzer mit begrenztem VRAM wichtig ist.
Konsequenz fuer OpenCode-Nutzer:
Die Erkenntnisse können dazu beitragen, die VRAM-Verwaltung zu optimieren und die Leistung von Modellen zu verbessern. Dies führt zu effizienterer Speichernutzung und besseren Inference-Zeiten.
Handlungsempfehlung:
Die Diskussion im Beitrag verfolgen und eventuell eine PR einreichen, um die Speicherverwaltung zu verbessern.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– support read/write datalake（iceberg、delta lake、paimon、lance） — Enterprise — nicht autark-relevant.
– add dingding falied — Kleinere technische Anfrage, nicht direkt relevant.
– Jump Forward Decoding Disabled? — Technische Anfrage, nicht direkt relevant.
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+? — Technische Anfrage, nicht direkt relevant.
– A question about Qwen-3-vl-reranker for the difference between sglang inference and transformer inference. — Technische Anfrage, nicht direkt relevant.
– Ling 2.6 lightning/linear attention cache size not exposed in SGLang metrics/logs — Technische Anfrage, nicht direkt relevant.
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8 — Enterprise — nicht autark-relevant.