SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell intensiv über Optimierungen für die lokale Inference von großen Sprachmodellen (LLMs) auf Consumer-GPUs. Die Themen reichen von der Verbesserung der Prefix-Caching-Techniken über die Reduzierung des VRAM-Verbrauchs bis hin zur Vermeidung von System-Prompt-Drift. Besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen wollen, sind die Diskussionen zur Effizienz-Steigerung und zur Stabilität von Agent-Workloads. Zwei zentrale Themen sind die Implementierung von SCAN für die Aufrechterhaltung von System-Prompts und die Hybrid-Inference für Modelle mit hohem VRAM-Verbrauch.
qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
In dieser Diskussion wird das Verhalten des Qwen2.5-VL-Modells bei der Inference untersucht. Der Nutzer stellt fest, dass die Funktion `compute_hash_feature` 84 ms benötigt, während die Vorwärtspropagation des Vision-Transformers (ViT) nur 53 ms dauert. Es wird gefragt, ob die `compute_hash_feature`-Funktion notwendig ist oder ob es eine Alternative gibt, die die Performance verbessern könnte.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie auf Performance-Optimierungen für die Inference von multimodalen Modellen eingeht. Für ein autarkes Home-Setup mit Consumer-GPUs ist die Reduzierung der Inference-Zeit wichtig, um die Reaktionszeit zu verbessern und die VRAM-Nutzung zu optimieren. Die `compute_hash_feature`-Funktion könnte ein Bottleneck sein, der bei der lokalen Inference beachtet werden sollte.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der `compute_hash_feature`-Funktion könnte zu schnelleren Inference-Zeiten führen, was insbesondere bei multimodalen Aufgaben wie Bilderkennung und Textgenerierung hilfreich ist. OpenCode-Nutzer sollten die Diskussion verfolgen, um mögliche Workarounds oder Verbesserungen zu identifizieren.
Handlungsempfehlung:
Auf PRs und Updates zur Optimierung der `compute_hash_feature`-Funktion warten. Wenn es Workarounds gibt, diese anwenden.
Fakten-Tabelle:
– Hardware im Post: NVIDIA GeForce RTX 4090
– Modell: Qwen/Qwen2.5-VL-3B-Instruct
– Framework-Version: sglang v0.4.6.post5
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Solving agent system prompt drift in long sessions — a 300-token fix (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Diese Diskussion behandelt das Problem des System-Prompt-Drifts bei langen Agent-Sessions. Der Nutzer beschreibt, dass die Aufmerksamkeit des Modells auf den System-Prompt im Laufe der Zeit abnimmt, was zu unerwünschten Verhaltensänderungen führt. Es wird ein Ansatz namens SCAN vorgeschlagen, bei dem der Agent vor jeder Aufgabe Fragen zu den Instruktionen beantwortet, um die Aufmerksamkeit auf den System-Prompt zu fokussieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
SCAN ist eine effektive Methode, um den System-Prompt-Drift zu vermeiden, ohne die Kontextgröße zu vergrößern. Dies ist besonders wichtig für autarke Home-Setups, da die VRAM begrenzt ist und die Kontextgröße optimiert werden muss. SCAN kann auf Consumer-GPUs problemlos implementiert werden und trägt zur Stabilität und Konsistenz der Agent-Workloads bei.
Konsequenz für OpenCode-Nutzer:
Die Implementierung von SCAN kann dazu beitragen, dass der Agent über längere Zeiträume hinweg konsistent und zuverlässig arbeitet. Dies ist besonders nützlich für komplexe Aufgaben, bei denen der Agent über mehrere Stunden oder sogar Tage hinweg aktiv sein muss.
Handlungsempfehlung:
SCAN-Methoden in die Agent-Workflows integrieren. Die Diskussion verfolgen, um Updates und Verbesserungen zu identifizieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht spezifisch genannt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
In dieser Diskussion wird untersucht, wie man das DeepSeek V4 Spark 0731-Modell auf Consumer-GPUs mit begrenztem VRAM effizient ausführt. Der Nutzer beschreibt eine Hybrid-Inference-Methode, bei der Teile des Modells in den System-RAM und auf die CPU ausgelagert werden, um den VRAM-Verbrauch zu reduzieren. Es werden Benchmark-Resultate für verschiedene Hardware-Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Hybrid-Inference-Methode ist besonders relevant für autarke Home-Setups, da sie es ermöglicht, große Modelle wie DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM zu laufen. Dies kann die VRAM-Nutzung erheblich reduzieren und die Inference-Geschwindigkeit verbessern. Die Benchmarks zeigen, dass auch mit 2x 3090 oder 2x 5090 gute Ergebnisse erzielt werden können.
Konsequenz für OpenCode-Nutzer:
Die Hybrid-Inference-Methode kann dazu beitragen, dass große Modelle lokal und effizient ausgeführt werden können, ohne dass die VRAM-Grenzen überschritten werden. Dies ist besonders nützlich für Aufgaben, die eine hohe Kontextgröße erfordern.
Handlungsempfehlung:
Die Hybrid-Inference-Methode in den lokalen Workflows integrieren. Die Diskussion verfolgen, um Updates und Verbesserungen zu identifizieren.
Fakten-Tabelle:
– Hardware im Post: EPYC 7642 *2, 16 channels ddr4 3200, 5060Ti * 2, 3090 * 2, EPYC 9684x *2, 24 channels ddr5 4800, pro 6000 * 1
– Modell: DeepSeek-V4-Flash-0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9, Lvllmds4-v2.3.9
– tok/s / Benchmark: 850 t/s, 28 t/s, 1060 t/s, 26 t/s, 3100 t/s, 75 t/s
– Multi-GPU-Konfiguration: TP=2
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
In dieser Diskussion wird beschrieben, wie das MiniMax H3 Ref2VA-Modell (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup-Grenze von 116 GB geladen und ausgeführt werden kann. Der Nutzer hat 4 Patches entwickelt, um das Modell zu laden, ohne dass die VRAM-Grenzen überschritten werden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist besonders relevant, da sie zeigt, wie man große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs mit begrenztem VRAM ausführt. Die beschriebenen Patches können dazu beitragen, dass das Modell lokal und effizient geladen und ausgeführt werden kann, ohne dass die VRAM-Grenzen überschritten werden. Dies ist besonders wichtig für autarke Home-Setups, die eine hohe Kontextgröße erfordern.
Konsequenz für OpenCode-Nutzer:
Die Patches können dazu beitragen, dass große Modelle lokal und effizient ausgeführt werden können, ohne dass die VRAM-Grenzen überschritten werden. Dies ist besonders nützlich für komplexe Aufgaben, die eine hohe Kontextgröße erfordern.
Handlungsempfehlung:
Die beschriebenen Patches in den lokalen Workflows integrieren. Die Diskussion verfolgen, um Updates und Verbesserungen zu identifizieren.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
Customize prefix caching (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
In dieser Diskussion wird die Möglichkeit diskutiert, eine benutzerdefinierte Implementierung für Prefix-Caching zu verwenden, wenn das Modell in einem Modus betrieben wird, der Eingabe-Embeddings anstelle von Token-IDs akzeptiert. Der Nutzer fragt, ob es möglich ist, eine solche benutzerdefinierte Implementierung ohne das Engine-Forking zu verwenden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Prefix-Caching ist eine wichtige Technik zur Optimierung der Inference-Geschwindigkeit, insbesondere bei Agent-Workloads, bei denen der System-Prompt regelmäßig gesendet wird. Die Möglichkeit, eine benutzerdefinierte Implementierung zu verwenden, könnte die Performance weiter verbessern. Allerdings ist es derzeit nicht klar, ob dies ohne das Forking der Engine möglich ist.
Konsequenz für OpenCode-Nutzer:
Eine benutzerdefinierte Prefix-Caching-Implementierung könnte zu schnelleren Inference-Zeiten führen, insbesondere bei Agent-Workloads. OpenCode-Nutzer sollten die Diskussion verfolgen, um zu sehen, ob es Lösungen gibt, die ohne das Forking der Engine verwendet werden können.
Handlungsempfehlung:
Die Diskussion verfolgen, um Updates und Lösungen zu identifizieren. Wenn keine offizielle Unterstützung geplant ist, das Engine-Forking in Betracht ziehen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht spezifisch genannt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Qwen3.5 seems have problem with tp>1 in triton_attention (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
In dieser Diskussion wird ein Problem mit dem Qwen3.5-Modell bei der Verwendung von `triton_attention` mit `tp_size > 1` beschrieben. Der Nutzer berichtet, dass die generierten Texte sehr kurz und unvollständig sind, und dass im Log nur die Prefill-Phase, aber keine Decode-Phase erscheint.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Das Problem mit `triton_attention` und `tp_size > 1` kann die Performance und die Stabilität der Inference beeinträchtigen, insbesondere bei der Verwendung von mehreren GPUs. Für autarke Home-Setups ist es wichtig, dass das Modell korrekt und effizient ausgeführt wird, um die bestmöglichen Ergebnisse zu erzielen.
Konsequenz für OpenCode-Nutzer:
Das Problem mit `triton_attention` und `tp_size > 1` kann zu unvollständigen oder fehlerhaften Generierungen führen. OpenCode-Nutzer sollten die Diskussion verfolgen, um zu sehen, ob es Lösungen oder Workarounds gibt.
Handlungsempfehlung:
Auf PRs und Updates zur Behebung des Problems warten. Workarounds anwenden, wenn verfügbar.
Fakten-Tabelle:
– Hardware im Post: 2 L40-48G
– Modell: Qwen3.5
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
Weitere Diskussionen (kurz):
– wx大模型agent技术交流 — Diskussion über Agent-Technologien, relevante Diskussionen für Agent-Workloads.
– Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM? — Diskussion über die Unterstützung von MegaMoE für andere Modelle wie GLM, relevante für die Erweiterung der Modell-Unterstützung.
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — Diskussion über die Unterstützung von Deepseek V4 Flash auf Hopper-GPUs, eher Enterprise-relevant.
– support read/write datalake（iceberg、delta lake、paimon、lance） — Diskussion über die Unterstützung von Datalakes, eher Enterprise-relevant.
– add dingding falied — Diskussion über ein abgelaufenes QR-Code-Link, eher peripher.
– [[Show and tell] Omni-Rewriter: validated prompt expansion before MiniMax-H3 generation](https://github.com/sgl-project/sglang/discussions/34375) — Diskussion über die Integration von Omni-Rewriter für die Erweiterung von Prompts, relevante für die Verbesserung der Prompt-Qualität.
– Running MiniMax H3 (FL2VA) on 4x L40S with SGLang: dynamic FP8, ~2x speedup vs 2-GPU BF16, 14GB/card — Diskussion über die Effizienz-Steigerung bei der Inference von MiniMax H3 auf 4x L40S-GPUs, relevante für die Optimierung der Inference-Geschwindigkeit.
– Tokens — Diskussion über Token, eher peripher.
– Why do PDMux Prefill and Decode kernels show no temporal overlap? — Diskussion über Performance-Optimierungen bei der Inference, relevante für die Verbesserung der Inference-Geschwindigkeit.