SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell intensiv über die Optimierung von lokalen Inference-Setups, insbesondere für Agent-Workloads und strukturierte Ausgaben. Die Themen reichen von der Unterstützung verschiedener Modelle über Quantisierungstechniken bis hin zu spezifischen Workarounds für VRAM-Beschränkungen. Für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, sind insbesondere die Diskussionen zu Prefix-Caching, Quantisierung und Hybrid-Inference relevant. Diese Analysen helfen, die Performance und den VRAM-Verbrauch zu optimieren, um ein Claude-Sonnet-ähnliches Coding-Erlebnis zu erreichen.
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einem cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass die Standardmethode OOM-Fehler verursacht, da der gesamte DiT-Weight-Dict auf CPU-Speicher materialisiert wird. Der Autor hat 4 Patches entwickelt, um das Problem zu lösen, indem die Tensoren schrittweise geladen und direkt auf die GPU übertragen werden.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind besonders relevant für Nutzer mit begrenztem VRAM und CPU-Speicher. Sie ermöglichen es, große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs wie den RTX 5090 oder 3090 zu betreiben, ohne OOM-Fehler aufzutreten. Die beschriebenen Workarounds sind auch auf Threadripper- oder Epyc-Workstations anwendbar.
Konsequenz fuer OpenCode-Nutzer:
Mit diesen Patches kann die VRAM-Verwendung reduziert und die Performance verbessert werden, was besonders für Agent-Workloads und strukturierte Ausgaben von Vorteil ist. Die Patches müssen manuell angewendet werden, aber sie sind ein wichtiger Schritt, um große Modelle lokal zu betreiben.
Handlungsempfehlung:
Die Patches aus dem Gist anwenden und SGLang auf Version 0.5.17 aktualisieren. Die beschriebenen Gotchas beachten, insbesondere die Einstellungen für `–pin-cpu-memory false` und die Installation von `ninja-build` und `ffmpeg`.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt eine Hybrid-Inference-Methode, die es ermöglicht, das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM zu betreiben. Dabei werden Teile der MoE-Experten in System-RAM und auf die CPU ausgelagert, um die VRAM-Beschränkungen zu umgehen. Der Autor stellt Benchmark-Resultate für verschiedene Hardware-Konfigurationen vor.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist besonders nützlich für Nutzer mit begrenztem VRAM, wie es bei Consumer-GPUs der Fall ist. Sie ermöglicht es, große Modelle wie DeepSeek V4 Spark 0731 lokal zu betreiben, ohne komplexe Verteilungsszenarien zu benötigen. Die beschriebenen Konfigurationen sind auch auf Threadripper- oder Epyc-Workstations anwendbar.
Konsequenz fuer OpenCode-Nutzer:
Die Hybrid-Inference-Methode kann die VRAM-Verwendung reduzieren und die Performance verbessern, was besonders für Agent-Workloads und strukturierte Ausgaben von Vorteil ist. Die beschriebenen Benchmarks zeigen, dass die Methode auch auf Consumer-GPUs wie den RTX 3090 und 5090 gut funktioniert.
Handlungsempfehlung:
Die beschriebene Hybrid-Inference-Methode anwenden und die Hardware-Konfiguration anpassen. Die Benchmarks als Referenz verwenden, um die besten Einstellungen für das eigene Setup zu finden.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090, 2x RTX 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang Lvllm
– tok/s / Benchmark: 850 t/s (5090), 1060 t/s (3090), 3100 t/s (Pro 6000)
– Multi-GPU-Konfiguration: TP=2
[Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) mit 4x L40S-GPUs und SGLang betrieben werden kann. Durch die Verwendung von dynamischer FP8-Quantisierung wird der VRAM-Verbrauch auf etwa 1/4 reduziert und die Generierungsgeschwindigkeit verdoppelt, ohne die Ausgabequalität zu beeinträchtigen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist besonders relevant für Nutzer mit mehreren GPUs, die eine hohe Performance und effizienten VRAM-Verbrauch erzielen möchten. Die beschriebene Konfiguration kann auch auf Consumer-GPUs wie den RTX 3090 und 5090 angewendet werden, um die VRAM-Beschränkungen zu umgehen und die Generierungsgeschwindigkeit zu steigern.
Konsequenz fuer OpenCode-Nutzer:
Die FP8-Quantisierung kann die VRAM-Verwendung reduzieren und die Performance verbessern, was besonders für Agent-Workloads und strukturierte Ausgaben von Vorteil ist. Die beschriebenen Benchmarks zeigen, dass die Methode auch auf Consumer-GPUs gut funktioniert.
Handlungsempfehlung:
Die beschriebene FP8-Quantisierung anwenden und die Konfiguration anpassen. Die Benchmarks als Referenz verwenden, um die besten Einstellungen für das eigene Setup zu finden.
Fakten-Tabelle:
– Hardware im Post: 4x L40S
– Modell: MiniMax H3 FL2VA
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: ~5.8–6.1 s/it
– Multi-GPU-Konfiguration: TP=4
[Customize prefix caching](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert die Möglichkeit, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Autor möchte, dass die Engine direkt Eingabe-Embeddings akzeptiert, was derzeit nicht direkt unterstützt wird.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Fähigkeit, benutzerdefinierte Prefix-Caching-Implementierungen zu verwenden, kann die Performance und den VRAM-Verbrauch verbessern, insbesondere für Agent-Workloads. Allerdings erfordert dies derzeit eine Anpassung der Engine, was für den durchschnittlichen Nutzer komplex sein kann.
Konsequenz fuer OpenCode-Nutzer:
Benutzerdefinierte Prefix-Caching-Implementierungen können die Performance und den VRAM-Verbrauch verbessern, aber sie erfordern technisches Know-how und manuelle Anpassungen. Für fortgeschrittene Nutzer kann dies ein Vorteil sein, aber es ist nicht direkt für alle anwendbar.
Handlungsempfehlung:
Die Diskussion verfolgen und auf eventuelle Updates oder Plugin-Mechanismen warten. Für fortgeschrittene Nutzer kann die Anpassung der Engine in Betracht gezogen werden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag fragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, andere Architekturen wie GLM-5.2 zu unterstützen. Der Autor hat Probleme beim Betreiben von GLM-5.2 mit MegaMoE, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von MegaMoE für verschiedene Modelle wie GLM-5.2 ist wichtig, um die Flexibilität des Setups zu erhöhen. Die aktuelle Einschränkung auf DeepSeek-Modelle kann für Nutzer, die andere Modelle verwenden möchten, ein Hindernis darstellen. Eine erweiterte Modellunterstützung würde die Anwendbarkeit von MegaMoE auf Consumer-GPUs verbessern.
Konsequenz fuer OpenCode-Nutzer:
Die Unterstützung von MegaMoE für verschiedene Modelle kann die Performance und den VRAM-Verbrauch verbessern, insbesondere für Agent-Workloads. Nutzer, die GLM-5.2 oder ähnliche Modelle verwenden möchten, sollten auf Updates warten oder die Quantisierungsskalen manuell anpassen.
Handlungsempfehlung:
Die Diskussion verfolgen und auf offizielle Unterstützung für GLM-5.2 warten. Als Workaround kann die Quantisierungsskala von GLM-5.2 angepasst werden, aber dies erfordert technisches Know-how.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Why do PDMux Prefill and Decode kernels show no temporal overlap?](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt ein Problem mit der PDMux-Funktionalität in SGLang, bei dem die Prefill- und Decode-Kernels keine zeitliche Überlappung zeigen. Der Autor hat festgestellt, dass die Gesamtzeit für die Token-Generierung (TTFT) signifikant zunimmt, wenn PDMux aktiviert ist. Er verwendet ein 3080Ti-GPU-Setup und das Modell Qwen3-1.7B.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das Problem mit der PDMux-Funktionalität kann die Performance beeinträchtigen, insbesondere bei der Verwendung von Consumer-GPUs. Die fehlende zeitliche Überlappung der Kernels kann zu längeren Generierungsdauern führen, was für Agent-Workloads und strukturierte Ausgaben negativ sein kann.
Konsequenz fuer OpenCode-Nutzer:
Die fehlende zeitliche Überlappung der Kernels kann die Performance beeinträchtigen. Nutzer sollten die PDMux-Funktionalität deaktivieren oder auf Workarounds warten, um die Performance zu verbessern.
Handlungsempfehlung:
Die Diskussion verfolgen und auf offizielle Fixes warten. Als Workaround kann die PDMux-Funktionalität deaktiviert werden, um die Performance zu verbessern.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Weitere Diskussionen (kurz):
– wx大模型agent技术交流: Diskussion über Agent-Technologien und große Modelle. Relevant für fortgeschrittene Nutzer, aber keine spezifischen Benchmarks oder Workarounds.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future?: Diskussion über die Unterstützung von DeepSeek V4 Flash auf H20-GPUs. Enterprise — nicht autark-relevant.
– support read/write datalake（iceberg、delta lake、paimon、lance）: Diskussion über die Unterstützung von Datalakes. Enterprise — nicht autark-relevant.
– add dingding falied: Diskussion über ein abgelaufenes DingTalk-Link. Irrelevant für die Performance-Optimierung.
– Tokens: Diskussion über Token-Verarbeitung. Keine spezifischen Benchmarks oder Workarounds.
– Measured: scattered-token KV eviction frees zero pages under paged allocation: Messung zur KV-Eviction. Relevant für fortgeschrittene Nutzer, aber keine direkte Anwendung auf Consumer-GPUs.
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8: Diskussion über die Inference auf HGX-Setups. Enterprise — nicht autark-relevant.
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+?: Diskussion über einen Typenkonflikt in SGLang. Relevant für fortgeschrittene Nutzer, aber keine direkte Anwendung auf Consumer-GPUs.