SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell hauptsächlich Themen, die sich auf die Optimierung der lokalen Inference von großen Sprachmodellen (LLMs) konzentrieren. Besonders relevant sind Diskussionen zur Unterstützung verschiedener Modelle, Quantisierungstechniken, und der Effizienz von Multi-GPU-Setups. Für Nutzer, die ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, sind insbesondere die Themen zur Quantisierung, Prefix-Caching und der Unterstützung von Modellen wie Qwen3 und Llama-3.3 von Bedeutung. Diese Entwicklungen können die Performance und den Energieverbrauch erheblich verbessern, was für den Betrieb in einer Wohnung oder einem Haus entscheidend ist.
[Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17)] (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschreibt, wie das Modell MiniMax H3 Ref2VA (33B DiT + Qwen3VL, full BF16, ~123 GB) auf 2x RTX 5090 unter einer cgroup-Grenze von 116 GB geladen und ausgeführt werden kann. Das Problem liegt darin, dass die Standardmethode der Gewichtskonvertierung das gesamte Modell auf den CPU-Speicher materialisiert, was zu einem Out-of-Memory (OOM) führt. Der Beitrag beschreibt 4 Patches, die es ermöglichen, das Modell schrittweise zu laden und Teile direkt auf die GPU zu übertragen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Patches sind extrem relevant für Nutzer mit Consumer-GPUs, da sie es ermöglichen, große Modelle wie MiniMax H3 Ref2VA auf 2x 5090 oder 4x 3090 zu betreiben, ohne an die VRAM-Grenzen zu stoßen. Die beschriebenen Workarounds sind kompatibel mit Consumer-Boards und erfordern keine spezielle Hardware.
Konsequenz für OpenCode-Nutzer:
Mit diesen Patches können Nutzer größere Modelle lokal betreiben, was die Performance und die Funktionalität von Coding-Agenten wie OpenCode erheblich verbessert. Insbesondere die Möglichkeit, Teile des Modells direkt auf die GPU zu laden, reduziert den CPU-Speicherbedarf und erhöht die Effizienz.
Handlungsempfehlung:
Die beschriebenen Patches anwenden und SGLang auf Version 0.5.17 updaten. Die Patches sind in der Gist verfügbar: https://gist.github.com/ft54482/b5489349620c7f0fa63e634e3356d79b.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: 1344×768 / 4.5 s video out, peak GPU 18.7 GB, peak CPU 114.7 GB
– Multi-GPU-Konfiguration: TP=2
[How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough?](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM betrieben werden kann, indem Teile des Modells in den System-RAM und auf die CPU ausgelagert werden. Es wird eine hybride Inferenzmethode vorgestellt, die die GPU-Last reduziert und die CPU für Expert-Layers einsetzt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist besonders relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf 2x 3090 oder 2x 5090 zu betreiben, ohne an die VRAM-Grenzen zu stoßen. Die beschriebenen Benchmarks zeigen, dass diese Methode eine gute Performance bietet, auch wenn die VRAM begrenzt ist.
Konsequenz für OpenCode-Nutzer:
Mit dieser hybriden Inferenzmethode können Nutzer größere Modelle lokal betreiben, was die Performance und die Funktionalität von Coding-Agenten wie OpenCode erheblich verbessert. Die CPU-Auslagerung reduziert den VRAM-Verbrauch und ermöglicht es, längere Kontextfenster zu verwenden.
Handlungsempfehlung:
Die beschriebene hybride Inferenzmethode anwenden und die Benchmarks überprüfen. Die verwendete Software-Stack ist in der Diskussion beschrieben.
Fakten-Tabelle:
– Hardware im Post: 2x 3090, 2x 5060Ti, 1x Pro 6000
– Modell: DeepSeek V4 Spark 0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9
– tok/s / Benchmark: 850 t/s (5060Ti * 2), 1060 t/s (3090 * 2), 3100 t/s (Pro 6000 * 1)
– Multi-GPU-Konfiguration: TP=2
[Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card](8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Beitrag beschreibt, wie das Modell MiniMax H3 (FL2VA) auf 4x L40S-GPUs mit SGLang betrieben werden kann, wobei die Verwendung von dynamischer FP8-Quantisierung die VRAM-Bedarfe reduziert und die Performance um etwa 2x verbessert. Es wird eine spezifische Konfiguration vorgestellt, die die parallele Ausführung auf mehreren GPUs ermöglicht.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Methode ist relevant für Nutzer mit Consumer-GPUs, da sie es ermöglicht, große Modelle wie MiniMax H3 effizient auf 4x 3090 oder 2x 5090 zu betreiben. Die FP8-Quantisierung reduziert den VRAM-Verbrauch erheblich, was die Betriebsfähigkeit auf Consumer-GPUs verbessert.
Konsequenz für OpenCode-Nutzer:
Mit dieser Konfiguration können Nutzer größere Modelle lokal betreiben, was die Performance und die Funktionalität von Coding-Agenten wie OpenCode erheblich verbessert. Die reduzierte VRAM-Last ermöglicht es, längere Kontextfenster zu verwenden und mehr parallele Anfragen zu verarbeiten.
Handlungsempfehlung:
Die beschriebene Konfiguration anwenden und SGLang auf die aktuelle Version updaten. Die spezifischen Einstellungen sind in der Diskussion beschrieben.
Fakten-Tabelle:
– Hardware im Post: 4x L40S 46 GB (sm_89)
– Modell: MiniMax H3, FL2VA
– Framework-Version: SGLang 2026-08-04 build
– tok/s / Benchmark: ~5.8–6.1 s/it (4 GPU FP8 dynamic), ~12–16 s/it (2 GPU BF16 full-precision)
– Multi-GPU-Konfiguration: TP=4
[Customize prefix caching](7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert die Möglichkeit, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn ein Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Autor möchte eine benutzerdefinierte Lösung implementieren, da das Standard-Prefix-Caching nur für integer Tokens verwendet wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie sich auf die Optimierung von Agent-Workloads konzentriert, die häufig gleiche System-Prompts verwenden. Die Möglichkeit, benutzerdefinierte Prefix-Caching-Methoden zu implementieren, kann die Performance und Effizienz von Coding-Agenten wie OpenCode verbessern. Allerdings erfordert dies möglicherweise eine Anpassung des SGLang-Quellcodes.
Konsequenz für OpenCode-Nutzer:
Mit benutzerdefiniertem Prefix-Caching können Nutzer die Performance von Agent-Workloads verbessern, indem sie häufig verwendete System-Prompts effizienter zwischenspeichern. Dies kann die Latenz reduzieren und die Anzahl der verarbeiteten Tokens pro Sekunde erhöhen.
Handlungsempfehlung:
Die Diskussion verfolgen und eventuell eine Anpassung des SGLang-Quellcodes in Betracht ziehen, um benutzerdefinierte Prefix-Caching-Methoden zu implementieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?](6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag fragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, andere Architekturen wie GLM-5.2 zu unterstützen. Der Autor berichtet, dass er Probleme bei der Verwendung von GLM-5.2 mit MegaMoE hat, da die Quantisierungsskalen nicht übereinstimmen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie sich auf die Unterstützung verschiedener Modelle konzentriert. Die Unterstützung von GLM-5.2 könnte für Nutzer von Coding-Agenten wie OpenCode von Vorteil sein, da es eine breitere Palette von Modellen ermöglicht. Allerdings erfordert die Anpassung der Quantisierung möglicherweise zusätzliche Arbeit.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von GLM-5.2 durch MegaMoE könnte die Modellvielfalt erweitern und die Performance von Coding-Agenten verbessern. Nutzer sollten die Diskussion verfolgen und eventuell die Anpassung der Quantisierung in Betracht ziehen.
Handlungsempfehlung:
Die Diskussion verfolgen und auf Updates warten. Eventuell die Anpassung der Quantisierung für GLM-5.2 in Betracht ziehen, wenn dies notwendig ist.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GLM-5.2, DeepSeek
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Why do PDMux Prefill and Decode kernels show no temporal overlap?](5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag diskutiert, warum die PDMux-Prefill- und Decode-Kernels bei der Verwendung von SGLang keine zeitliche Überlappung zeigen. Der Autor hat festgestellt, dass die Gesamtzeit (TTFT) bei Aktivierung von PDMux signifikant zunimmt und möchte die Ursache dafür ermitteln.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie sich auf die Optimierung der GPU-Verwendung konzentriert. Die fehlende zeitliche Überlappung kann die Performance negativ beeinflussen, insbesondere bei Agent-Workloads, die häufige Anfragen verarbeiten. Die Identifizierung und Behebung des Problems kann die Latenz reduzieren und die Throughput-Rate verbessern.
Konsequenz für OpenCode-Nutzer:
Die Behebung des Problems mit der fehlenden zeitlichen Überlappung kann die Performance von Coding-Agenten wie OpenCode verbessern, indem die Latenz reduziert wird. Nutzer sollten die Diskussion verfolgen und auf Lösungen warten.
Handlungsempfehlung:
Die Diskussion verfolgen und auf Updates warten. Eventuell die Konfiguration anpassen, um die zeitliche Überlappung zu verbessern.
Fakten-Tabelle:
– Hardware im Post: 3080Ti
– Modell: Qwen3-1.7B
– Framework-Version: SGLang 0.5.9
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
[Measured: scattered-token KV eviction frees zero pages under paged allocation](4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Beitrag beschreibt eine Messung, die zeigt, dass die scattered-token KV-Eviction bei der Verwendung von paged allocation keine Seiten freigibt. Dies kann zu einem hohen Speicherverbrauch führen, insbesondere bei der Verwendung von Modellen wie Llama-3.2-1B.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie sich auf die Speicherverwaltung bei der Verwendung von LLMs konzentriert. Die fehlende Freigabe von Seiten kann den Speicherverbrauch erhöhen und die Performance negativ beeinflussen. Die Verwendung von kontinuierlichen 16-Token-Fenstern kann dieses Problem umgehen.
Konsequenz für OpenCode-Nutzer:
Die Verwendung von kontinuierlichen 16-Token-Fenstern kann die Speicherverwaltung optimieren und den Speicherverbrauch reduzieren. Dies kann die Performance von Coding-Agenten wie OpenCode verbessern.
Handlungsempfehlung:
Die Diskussion verfolgen und die Verwendung von kontinuierlichen 16-Token-Fenstern in Betracht ziehen, um die Speicherverwaltung zu optimieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-3.2-1B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– wx大模型agent技术交流: Diskussion über die Technologie von großen Modellen für Agenten. Relevante Themen für die Community, aber spezifische Details fehlen.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future?: Diskussion über die Unterstützung von DeepSeek V4 Flash auf H20-GPUs. Enterprise-relevant, da H20-GPUs verwendet werden.
– [support read/write dat