SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell vor allem Themen, die die Performance und die Autarkie von lokalen Multi-GPU-Setups verbessern. Dominierende Themen sind die Optimierung von Modellen wie Qwen3.5 und DeepSeek, die Implementierung von Prefix-Caching, und die Überwindung von VRAM-Beschränkungen durch Hybrid-Inference. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen möchten, um Coding-Agenten wie OpenCode auf Claude-Sonnet-Niveau zu betreiben.
qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
In dieser Diskussion wird das Verhalten des Qwen2.5-VL-Modells bei der Inferenz untersucht. Der Benutzer stellt fest, dass die `hash_feature`-Funktion 84 ms benötigt, während die `vit forward`-Funktion nur 53 ms braucht. Es wird gefragt, ob die `hash_feature`-Funktion notwendig ist oder ob es eine Alternative gibt, die schneller ist.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die `hash_feature`-Funktion ist ein potenzieller Bottleneck, der die Inferenzzeit verlängert. Für ein autarkes Home-Setup mit Consumer-GPUs ist es wichtig, solche Funktionen zu optimieren, um die Performance zu verbessern. Die Diskussion zeigt, dass es sinnvoll ist, alternative Funktionen zu testen, um die Inferenzzeit zu reduzieren.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der `hash_feature`-Funktion kann zu schnelleren Prompt-Processing-Zeiten führen, was insbesondere für Coding-Agenten wie OpenCode relevant ist. Wenn eine Alternative gefunden wird, die die Performance verbessert, sollte diese in den Workflow integriert werden.
Handlungsempfehlung:
Die Diskussion verfolgen und auf Updates warten. Mögliche Optimierungen in den eigenen Tests einbeziehen.
Fakten-Tabelle:
– Hardware im Post: NVIDIA GeForce RTX 4090
– Modell: Qwen/Qwen2.5-VL-3B-Instruct
– Framework-Version: sglang v0.4.6.post5
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Solving agent system prompt drift in long sessions — a 300-token fix (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion behandelt das Problem des „Prompt Drifts“ bei LLM-Agenten, bei dem die Agenten nach längerer Nutzung die System-Prompts vergessen. Es wird eine Methode namens SCAN vorgestellt, die das Problem durch aktive Generierung von Tokens löst, die semantisch mit den Anweisungen verknüpft sind.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das SCAN-Verfahren ist besonders relevant für autarke Home-Setups, da es die Aufrechterhaltung der System-Prompts sicherstellt, ohne dass der Kontextfensterplatz aufgezehrt wird. Dies ist entscheidend für Coding-Agenten wie OpenCode, die kontinuierlich genaue Anweisungen befolgen müssen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung von SCAN kann dazu beitragen, dass OpenCode die System-Prompts über längere Sitzungen hinweg beibehält. Dies führt zu besseren und konsistenten Ergebnissen, insbesondere bei komplexen Aufgaben.
Handlungsempfehlung:
Die SCAN-Methode in den eigenen Workflows integrieren. Die Dokumentation und Beispiele in der Diskussion verwenden, um die Implementierung zu erleichtern.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Benutzer beschreibt, wie man das DeepSeek V4 Spark 0731-Modell auf Consumer-GPUs mit begrenztem VRAM laufen lassen kann, indem man Teile des Modells in den System-RAM und auf die CPU auslagert. Es werden Benchmark-Ergebnisse für verschiedene Hardware-Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Hybrid-Inference-Methode ist sehr relevant für autarke Home-Setups, da sie es ermöglicht, große Modelle wie DeepSeek V4 auf Consumer-GPUs mit begrenztem VRAM zu betreiben. Dies erweitert die Möglichkeiten, ohne teure Enterprise-Hardware zu benötigen.
Konsequenz für OpenCode-Nutzer:
Die Hybrid-Inference-Methode kann dazu beitragen, dass OpenCode auch mit großen Modellen wie DeepSeek V4 effizient betrieben werden kann. Dies führt zu besseren Ergebnissen und einer erweiterten Funktionalität.
Handlungsempfehlung:
Die beschriebene Methode testen und die Benchmark-Ergebnisse für eigene Hardware anwenden. Die Dokumentation und die verwendeten Patches verwenden, um die Implementierung zu erleichtern.
Fakten-Tabelle:
– Hardware im Post: EPYC 7642 *2, 16 channels ddr4 3200, 5060Ti * 2, 3090 * 2, EPYC 9684x *2, 24 channels ddr5 4800, pro 6000 * 1
– Modell: DeepSeek-V4-Flash-0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9, Lvllmds4-v2.3.9
– tok/s / Benchmark: 850 t/s, 28 t/s, 1060 t/s, 26 t/s, 3100 t/s, 75 t/s
– Multi-GPU-Konfiguration: TP=2, TP=2, TP=1
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Benutzer beschreibt, wie er das MiniMax H3 Ref2VA-Modell (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher laufen lassen konnte. Dazu wurden 4 Patches an SGLang 0.5.17 angewendet, um das Modell zu laden und zu inferenzieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode ist sehr relevant für autarke Home-Setups, da sie es ermöglicht, große Modelle wie MiniMax H3 auf Consumer-GPUs mit begrenztem VRAM zu betreiben. Die Patches und die beschriebene Konfiguration können direkt angewendet werden, um die Inferenz zu ermöglichen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung der beschriebenen Patches kann dazu beitragen, dass OpenCode auch mit großen Modellen wie MiniMax H3 effizient betrieben werden kann. Dies erweitert die Funktionalität und die Leistungsfähigkeit des Coding-Agenten.
Handlungsempfehlung:
Die beschriebenen Patches anwenden und die Konfiguration testen. Die Dokumentation und die bereitgestellten Patches verwenden, um die Implementierung zu erleichtern.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
Customize prefix caching (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Benutzer fragt, ob es möglich ist, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn das Modell Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Fokus liegt auf der Möglichkeit, die Standard-Implementierung zu erweitern oder zu ersetzen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist ein wichtiger Aspekt für die Effizienz von Coding-Agenten wie OpenCode, insbesondere wenn der System-Prompt regelmäßig neu gesendet wird. Die Möglichkeit, benutzerdefinierte Implementierungen zu verwenden, kann die Performance und die Flexibilität des Setups verbessern.
Konsequenz für OpenCode-Nutzer:
Die Implementierung von benutzerdefiniertem Prefix-Caching kann zu schnelleren und effizienteren Prompt-Processing-Zeiten führen. Dies ist besonders relevant, wenn der System-Prompt regelmäßig neu gesendet wird, was bei OpenCode der Fall ist.
Handlungsempfehlung:
Die Diskussion verfolgen und auf Updates warten. Mögliche benutzerdefinierte Implementierungen in den eigenen Tests einbeziehen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Qwen3.5 seems have problem with tp>1 in triton_attention (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Benutzer berichtet, dass das Qwen3.5-Modell bei der Verwendung von `tp_size > 1` in der `triton_attention`-Konfiguration Probleme hat. Die generierten Texte sind sehr kurz und unvollständig, und es gibt keine Decode-Phase.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das Problem mit `tp_size > 1` kann die Performance und die Funktionalität des Modells beeinträchtigen. Für autarke Home-Setups ist es wichtig, diese Konfiguration zu testen und ggf. zu beheben, um die volle Leistung des Modells zu nutzen.
Konsequenz für OpenCode-Nutzer:
Die Probleme mit `tp_size > 1` können zu unvollständigen oder kurzen Antworten führen, was die Nutzbarkeit von OpenCode beeinträchtigen kann. Es ist wichtig, die Konfiguration zu überprüfen und ggf. zu optimieren.
Handlungsempfehlung:
Die Diskussion verfolgen und auf Updates warten. Die Konfiguration testen und ggf. alternative Einstellungen ausprobieren.
Fakten-Tabelle:
– Hardware im Post: 2 L40-48G
– Modell: Qwen3.5
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
Weitere Diskussionen (kurz):
– wx大模型agent技术交流
– Diskussion über Agent-Technologien in chinesischen Modellen. Nicht direkt autark-relevant, eher für spezifische Anwendungen.
– Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM?
– Frage zur Kompatibilität von MegaMoE mit anderen Modellarchitekturen wie GLM. Relevant für die Erweiterung der Modellunterstützung, aber nicht direkt für autarke Home-Setups.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future?
– Frage zur Unterstützung von DeepSeek V4 Flash auf Hopper-GPUs. Nicht autark-relevant, da Hopper-GPUs teure Enterprise-Hardware sind.
– support read/write datalake（iceberg、delta lake、paimon、lance）
– Diskussion über die Unterstützung von Datalakes. Relevant für Datenverarbeitung, aber nicht direkt für autarke Home-Setups.
– add dingding falied
– Problem mit dem Hinzufügen von DingTalk. Nicht direkt autark-relevant, eher für spezifische Kommunikationsanwendungen.
– [[Show and tell] Omni-Rewriter: validated prompt expansion before MiniMax-H3 generation](https://github.com/sgl-project/sglang/discussions/34375)
– Präsentation eines Projekts zur Prompt-Expansion. Relevant für die Verbesserung der Prompt-Qualität, aber nicht direkt für autarke Home-Setups.
– Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card
– Beschreibung der Ausführung von MiniMax H3 auf 4x L40S-GPUs. Relevant für die Performance-Optimierung, aber nicht direkt für autarke Home-Setups mit Consumer-GPUs.
– Tokens
– Diskussion über Token. Nicht direkt autark-relevant, eher für spezifische Modell- und Datenfragen.
– Why do PDMux Prefill and Decode kernels show no temporal overlap?
– Frage zur Performance-Optimierung von PDMux-Kernen. Relevant für die Optimierung von Modellen, aber nicht direkt für autarke Home-Setups.