SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen rund um die Optimierung von Modellen auf Consumer-GPUs, die Quantisierung für bessere Performance und den Support für verschiedene Modelle. Besonders relevant für Nutzer, die ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 aufbauen wollen, sind Diskussionen zur Prefix-Caching-Optimierung, zur Hybrid-Inference und zur Unterstützung von Modellen wie Qwen3 und GLM. Diese Entwicklungen können die Geschwindigkeit und Effizienz von Coding-Agenten wie OpenCode erheblich verbessern.
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode zur Gewichtskonvertierung den verfügbaren Speicher überschreitet. Der Autor hat 4 Patches entwickelt, um das Problem zu lösen, darunter das Streaming der Gewichte und das direkte Laden von Schichten auf die GPU.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches ermöglichen es, große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs zu betreiben, ohne dass der Speicher überschritten wird. Dies ist besonders relevant für Nutzer mit begrenztem Speicher, da es die Effizienz und den Speicherverbrauch optimiert. Die Patches sind auch für andere Modelle anwendbar, die ähnliche Speicherprobleme haben.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches können OpenCode-Nutzer größere Modelle auf ihren Consumer-GPUs betreiben, was zu schnelleren und effizienteren Agent-Workloads führt. Die Patches reduzieren den Speicherverbrauch und ermöglichen es, mehrere Modelle gleichzeitig zu laden.
Handlungsempfehlung:
Die Patches aus dem Gist anwenden und SGLang auf Version 0.5.17 updaten. Die Anleitung im Gist genau befolgen, um die Patches korrekt zu integrieren.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Autor diskutiert, wie man das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM betreiben kann, indem man Teile der Berechnungen auf den CPU auslagert. Er präsentiert Benchmarks für verschiedene Konfigurationen, darunter 2x 5060Ti, 2x 3090 und 1x Pro 6000.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Hybrid-Inference ermöglicht es, große Modelle auf Consumer-GPUs zu betreiben, ohne dass der VRAM-Limit überschritten wird. Dies ist besonders relevant für Nutzer mit 2x 5090, da die Benchmarks zeigen, dass diese Konfiguration gute Ergebnisse liefert. Die CPU-Unterstützung hilft, die Performance zu verbessern und den Speicherverbrauch zu reduzieren.
Konsequenz für OpenCode-Nutzer:
Mit der Hybrid-Inference können OpenCode-Nutzer größere Modelle auf ihren Consumer-GPUs betreiben, was zu schnelleren und effizienteren Agent-Workloads führt. Die CPU-Unterstützung reduziert den VRAM-Verbrauch und ermöglicht es, längere Kontextfenster zu verwenden.
Handlungsempfehlung:
Die beschriebene Hybrid-Inference-Methode anwenden und die Benchmarks im Post als Referenz verwenden. Die Konfiguration anpassen, um die besten Ergebnisse für das eigene Setup zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 2x 5060Ti, 2x 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang Lvllm
– tok/s / Benchmark: 850 t/s (5060Ti), 1060 t/s (3090), 3100 t/s (Pro 6000)
– Multi-GPU-Konfiguration: TP=2
Customize prefix caching (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Autor fragt, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus akzeptiert, der Eingabe-Embeddings anstelle von Token-IDs verwendet. Der aktuelle SGLang-Code unterstützt nur Integer-Tokens für Prefix-Caching.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Möglichkeit, benutzerdefinierte Prefix-Caching-Implementierungen zu verwenden, könnte die Effizienz und Performance von Agent-Workloads verbessern. Dies ist besonders relevant für Nutzer, die spezifische Anforderungen an das Caching haben, um die Latenz zu reduzieren und die Reaktionsfähigkeit zu erhöhen.
Konsequenz für OpenCode-Nutzer:
Mit einer benutzerdefinierten Prefix-Caching-Implementierung können OpenCode-Nutzer die Performance ihrer Agent-Workloads optimieren, indem sie spezifische Caching-Strategien anwenden. Dies kann zu schnelleren und effizienteren Workflows führen.
Handlungsempfehlung:
Die Diskussion im Post verfolgen und auf Updates warten. Falls eine Lösung implementiert wird, diese in den eigenen Workflows integrieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Autor fragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, andere Architekturen wie GLM zu unterstützen. Er berichtet, dass er Probleme beim Verwenden von GLM-5.2 mit MegaMoE hat, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von GLM-5.2 mit MegaMoE würde die Modellvielfalt auf Consumer-GPUs erweitern. Dies ist besonders relevant für Nutzer, die verschiedene Modelle verwenden möchten, um ihre Agent-Workloads zu optimieren. Die aktuelle Inkompatibilität kann durch eine Neu-Quantisierung von GLM-5.2 gelöst werden, aber dies erfordert technisches Know-how.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von GLM-5.2 mit MegaMoE würde OpenCode-Nutzern mehr Flexibilität bei der Wahl der Modelle bieten. Die aktuelle Inkompatibilität kann durch eine Neu-Quantisierung gelöst werden, aber dies erfordert technisches Know-how.
Handlungsempfehlung:
Auf Updates warten, ob die offizielle Unterstützung für GLM-5.2 implementiert wird. Alternativ, die Neu-Quantisierung von GLM-5.2 in Betracht ziehen, wenn technisches Know-how vorhanden ist.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Autor beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang betrieben werden kann, wobei die Verwendung von dynamischer FP8-Quantisierung die Geschwindigkeit um etwa 2x erhöht und den VRAM-Verbrauch reduziert. Die Konfiguration ermöglicht es, Video-Generation mit hoher Qualität durchzuführen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Verwendung von dynamischer FP8-Quantisierung kann die Performance und den Speicherverbrauch auf Consumer-GPUs erheblich verbessern. Dies ist besonders relevant für Nutzer, die Video-Generation oder andere ressourcenintensive Workloads durchführen möchten. Die beschriebene Konfiguration kann als Referenz für die Optimierung auf 4x 3090 oder 2x 5090 verwendet werden.
Konsequenz für OpenCode-Nutzer:
Mit der dynamischen FP8-Quantisierung können OpenCode-Nutzer die Performance ihrer Agent-Workloads erheblich verbessern, indem sie den VRAM-Verbrauch reduzieren und die Geschwindigkeit erhöhen. Dies ist besonders nützlich für ressourcenintensive Aufgaben wie Video-Generation.
Handlungsempfehlung:
Die beschriebene Konfiguration anwenden und die dynamische FP8-Quantisierung in den eigenen Workflows integrieren. Die Anleitung im Post genau befolgen, um die besten Ergebnisse zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 4x L40S
– Modell: MiniMax H3 (FL2VA)
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: ~5.8–6.1 s/it, 9.5 GB idle / 14.3 GB peak per card
– Multi-GPU-Konfiguration: TP=4
Do Hopper support Deepseek V4 Flash run EP by deepep in the future? (4/10) — OpenCode-Fit: NEIN
Worum geht es konkret?
Der Autor fragt, ob SGLang in der Zukunft die Unterstützung für die Ausführung von DeepSeek V4 Flash mit Expert Parallelism (EP) auf Hopper-GPUs (H20) hinzufügen wird. Derzeit gibt es ein Assertion-Fehler, da FP4 und SM100 gleichzeitig benötigt werden, während H20 nur SM90 unterstützt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist nicht direkt relevant für Nutzer mit 4x 3090 oder 2x 5090, da H20-GPUs Enterprise-Hardware sind und nicht in autarken Home-Setups verwendet werden. Die aktuelle Inkompatibilität betrifft hauptsächlich die Entwicklung auf hochgradig spezialisierten Systemen.
Konsequenz für OpenCode-Nutzer:
Diese Diskussion hat keinen direkten Einfluss auf OpenCode-Nutzer mit Consumer-GPUs. Die Unterstützung für H20-GPUs ist eher relevant für Enterprise-Anwendungen.
Handlungsempfehlung:
Diese Diskussion ignorieren, da sie für autarke Home-Setups nicht relevant ist.
Fakten-Tabelle:
– Hardware im Post: H20
– Modell: DeepSeek V4 Flash
– Framework-Version: SGLang 0.5.12
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
Weitere Diskussionen (kurz):
– wx大模型agent技术交流: Diskussion über die Technik von großen Modellen für Agenten. Relevant für die Community, aber spezifische Details fehlen.
– support read/write datalake（iceberg、delta lake、paimon、lance）: Planungen zur Unterstützung von Datalakes. Relevant für Enterprise-Anwendungen, aber nicht direkt für autarke Home-Setups.
– add dingding falied: Problem mit dem Hinzufügen von DingTalk. Nicht direkt relevant für die Modell-Performance.
– Why do PDMux Prefill and Decode kernels show no temporal overlap?: Diskussion über Performance-Probleme mit PDMux. Relevant für technische Nutzer, aber spezifische Lösungen fehlen.
– Measured: scattered-token KV eviction frees zero pages under paged allocation: Messung zur KV-Eviction. Relevant für technische Nutzer, aber spezifische Anwendungen fehlen.
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8: Diskussion über die Inference auf 8x H200. Relevant für Enterprise-Anwendungen, aber nicht direkt für autarke Home-Setups.
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+?: Diskussion über einen Typenkonflikt in SGLang. Relevant für technische Nutzer, aber spezifische Lösungen fehlen.