SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell intensiv über die Optimierung von lokalen KI-Setups, insbesondere für Agent-Inference und Modell-Integration. Zentrale Themen sind die Unterstützung von Consumer-GPUs, die Verbesserung der Prefix-Caching-Techniken, und die Integration von verschiedenen Modellen wie Qwen3, Llama-3.3, und DeepSeek. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um in der Nähe von Claude Sonnet/Opus 4.6 zu arbeiten.
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher geladen und ausgeführt werden kann. Das Problem ist, dass der Standardprozess OOM (Out of Memory) führt, da die gesamte Gewichtsdict auf CPU-RAM materialisiert wird. Der Autor hat 4 Patches entwickelt, um das Problem zu lösen, darunter ein Generator für die stromweise Konvertierung der Gewichte und die direkte GPU-Verlegung von Schichten.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 Ref2VA auf 2x 5090 zu betreiben, ohne an die VRAM-Grenzen zu stoßen. Die beschriebenen Workarounds sind auch auf 4x 3090 anwendbar und erlauben es, die VRAM effizienter zu nutzen.
Konsequenz für OpenCode-Nutzer:
Die Patches ermöglichen es, große Modelle lokal zu laden und zu verwenden, was die Leistung und die Funktionalität von OpenCode erheblich verbessert. Insbesondere die stromweise Gewichtskonvertierung und die direkte GPU-Verlegung von Schichten reduzieren den VRAM-Verbrauch und die Ladezeit.
Handlungsempfehlung:
Die Patches anwenden und SGLang auf Version 0.5.17 updaten. Die beschriebenen Konfigurationen und Workarounds testen, um die VRAM-Verwaltung zu optimieren.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenzter VRAM betrieben werden kann, indem Teile der MoE-Experten in System-RAM und CPU offgeladen werden. Der Autor hat eine benutzerdefinierte Inference-Stack entwickelt, der CPU-GPU-Scheduling und NUMA-aware Memory-Management unterstützt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 zu betreiben, ohne an die VRAM-Grenzen zu stoßen. Die beschriebenen Benchmarks zeigen, dass die Leistung trotz der VRAM-Begrenzung akzeptabel ist.
Konsequenz für OpenCode-Nutzer:
Die CPU-GPU-Hybrid-Inference ermöglicht es, große Modelle lokal zu betreiben, was die Leistung und die Funktionalität von OpenCode erheblich verbessert. Insbesondere die Möglichkeit, Teile des Modells in System-RAM zu offladen, reduziert den VRAM-Verbrauch und ermöglicht es, größere Kontextfenster zu verwenden.
Handlungsempfehlung:
Die beschriebene CPU-GPU-Hybrid-Inference-Methode testen und die Konfiguration anpassen, um die VRAM-Verwaltung zu optimieren. Die Benchmarks und die beschriebenen Workarounds verwenden, um die Leistung zu verbessern.
Fakten-Tabelle:
– Hardware im Post: 2x 5060Ti, 2x 3090, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (input 32768), 28 t/s (input 32768), 30~46 t/s
– Multi-GPU-Konfiguration: TP=2
[Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S GPUs mit SGLang betrieben werden kann, wobei dynamische FP8-Quantisierung verwendet wird, um die VRAM-Bedarfe zu reduzieren und die Leistung zu verbessern. Die beschriebene Konfiguration ermöglicht eine ~2x Geschwindigkeitssteigerung im Vergleich zu 2-GPU BF16.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist sehr relevant für Nutzer mit 4x 3090 oder 2x 5090, da sie es ermöglicht, große Modelle wie MiniMax H3 effizienter zu betreiben. Die dynamische FP8-Quantisierung reduziert den VRAM-Verbrauch und verbessert die Leistung, was besonders für Nutzer mit begrenzter VRAM wichtig ist.
Konsequenz für OpenCode-Nutzer:
Die dynamische FP8-Quantisierung ermöglicht es, große Modelle lokal zu betreiben, was die Leistung und die Funktionalität von OpenCode erheblich verbessert. Insbesondere die Reduzierung des VRAM-Verbrauchs und die Geschwindigkeitssteigerung sind von Vorteil.
Handlungsempfehlung:
Die beschriebene Konfiguration testen und die dynamische FP8-Quantisierung verwenden, um die VRAM-Verwaltung und die Leistung zu optimieren. Die beschriebenen Workarounds und die Konfiguration anpassen, um die besten Ergebnisse zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB (sm_89)
– Modell: MiniMax H3, FL2VA partition (full-precision weights, ~62 GB transformer)
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: ~5.8–6.1 s/it, 9.5 GB idle / 14.3 GB peak per card
– Multi-GPU-Konfiguration: TP=4
[Customize prefix caching](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert die Möglichkeit, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Autor möchte eine benutzerdefinierte Lösung implementieren, da die Standard-Implementierung nur für integer Tokens geeignet ist.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die benutzerdefinierte Prefix-Caching-Implementierung ist relevant für Nutzer, die spezifische Anforderungen an die Eingabe-Verarbeitung haben. Allerdings erfordert dies möglicherweise das Forken des Engines, was für einige Nutzer ein Hindernis sein könnte. Die Standard-Implementierung für integer Tokens ist für die meisten Anwendungen ausreichend.
Konsequenz für OpenCode-Nutzer:
Die benutzerdefinierte Prefix-Caching-Implementierung kann die Leistung und die Funktionalität von OpenCode verbessern, insbesondere bei spezifischen Anwendungen, die Eingabe-Embeddings verwenden. Allerdings erfordert dies technische Kenntnisse und möglicherweise das Forken des Engines.
Handlungsempfehlung:
Die Standard-Implementierung für integer Tokens verwenden, es sei denn, spezifische Anforderungen an die Eingabe-Verarbeitung erfordern eine benutzerdefinierte Lösung. In diesem Fall das Forken des Engines in Betracht ziehen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, andere Architekturen wie GLM-5.2 zu unterstützen. Der Autor hat Probleme beim Betrieb von GLM-5.2 mit MegaMoE, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von GLM-5.2 mit MegaMoE ist relevant für Nutzer, die verschiedene Modelle verwenden möchten. Allerdings erfordert dies möglicherweise eine Anpassung der Quantisierungsskalen oder andere Workarounds, um die Kompatibilität zu gewährleisten.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von GLM-5.2 mit MegaMoE kann die Modell-Vielfalt und die Funktionalität von OpenCode erweitern. Allerdings erfordert dies möglicherweise technische Anpassungen, um die Quantisierungsskalen zu harmonisieren.
Handlungsempfehlung:
Die aktuellen Pläne der SGLang-Entwickler zur Unterstützung von GLM-5.2 verfolgen und eventuell Workarounds testen, um die Quantisierungsskalen zu harmonisieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Measured: scattered-token KV eviction frees zero pages under paged allocation](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction unter ehrlicher paged accounting (eine Seite gibt nur Speicher zurück, wenn sie vollständig leer ist) bei Modellen wie Llama-3.2-1B keine Seiten freigibt. Die Messung wurde mit einem Simulationswerkzeug durchgeführt, und der Autor sucht nach Partnern, um die Ergebnisse in einer realen Engine zu validieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Messung ist relevant für Nutzer, die die Speicherverwaltung und die Cache-Strategien optimieren möchten. Allerdings ist das Ergebnis derzeit nur eine Simulation, und es ist unklar, ob es in einer realen Engine bestätigt wird.
Konsequenz für OpenCode-Nutzer:
Die Ergebnisse der Messung können helfen, die Speicherverwaltung und die Cache-Strategien zu optimieren, insbesondere bei der Verwendung von RadixAttention. Allerdings sollten die Ergebnisse mit Vorsicht interpretiert werden, da sie noch nicht in einer realen Engine validiert wurden.
Handlungsempfehlung:
Die Ergebnisse der Messung verfolgen und auf die Validierung durch andere Nutzer warten. Möglicherweise Workarounds testen, um die Speicherverwaltung zu verbessern.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– wx大模型agent技术交流: Diskussion über Agent-Technologien in großen Modellen, insbesondere für chinesische Nutzer.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future?: Enterprise — nicht autark-relevant, da es sich um H20-GPUs handelt.
– support read/write datalake（iceberg、delta lake、paimon、lance）: Diskussion über die Unterstützung von Datalakes, relevant für Enterprise-Anwendungen.
– add dingding falied: Technisches Problem mit dem DingTalk-Link, nicht direkt relevant für die Inference.
– Why do PDMux Prefill and Decode kernels show no temporal overlap?: Technische Diskussion über die Performance-Optimierung von PDMux-Kernen, relevant für fortgeschrittene Nutzer.
– SGLang Inference 8*H200(1 HGX). QWEN-3.5-397B-A17B-FP8: Enterprise — nicht autark-relevant, da es sich um 8x H200 GPUs handelt.
– Is origin_input_ids expected to always be array.array in SGLang v0.5.13+?: Technisches Problem mit der Typenkompatibilität in SGLang, relevant für Entwickler.