SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell verschiedene Themen, die die Optimierung und den Einsatz von lokalen KI-Modellen betreffen. Die wichtigsten Themen sind die Unterstützung von verschiedenen Modellen, die Verbesserung der Performance auf Consumer-GPUs, und die Reduzierung des VRAM-Verbrauchs. Insbesondere die Unterstützung von GLM-Modellen, die Optimierung der Prefix-Caching-Technik, und die Implementierung von SCAN für die Vermeidung von System-Prompt-Drift sind für Nutzer, die ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 aufbauen wollen, besonders relevant.
Is MegaMoE currently limited to DeepSeek models? Any plans to support other architectures like GLM? (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer versucht, MegaMoE mit dem GLM-5.2-Modell zu verwenden, stößt aber auf Probleme. Die Quantisierungsskalen scheinen nicht zu passen, was die Verwendung erschwert. Es wird gefragt, ob MegaMoE derzeit nur für DeepSeek-Modelle unterstützt wird und ob es Pläne gibt, die Unterstützung für GLM-Modelle zu erweitern.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von GLM-Modellen auf Consumer-GPUs wäre eine willkommene Erweiterung, da GLM-Modelle in vielen Anwendungen genutzt werden. Die aktuelle Inkompatibilität könnte durch eine Anpassung der Quantisierungsskalen behoben werden, was jedoch technisches Know-how erfordert. Ein Update der SGLang-Software, das die Unterstützung für GLM-Modelle einbezieht, würde die Flexibilität des Home-Setups erheblich steigern.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von GLM-Modellen würde die Modell-Vielfalt erweitern und somit die Anwendungsgebiete von OpenCode verbessern. Nutzer sollten auf Updates warten oder die Möglichkeit der manuellen Anpassung der Quantisierungsskalen in Betracht ziehen.
Handlungsempfehlung:
Auf PRs warten, die die Unterstützung für GLM-Modelle hinzufügen. Alternativ kann man versuchen, die Quantisierungsskalen manuell anzupassen, was jedoch fortgeschrittene Kenntnisse erfordert.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: GLM-5.2
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
FROZEN_KV_MTP slower than no-spec on Gemma 4 (SWA hybrid) under concurrency (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer berichtet, dass die Verwendung von FROZEN_KV_MTP (MTP) bei der Inference des Gemma 4-Modells unter Konkurrenzbedingungen langsamer ist als ohne Spezifikation (no-spec). Es werden detaillierte Benchmarks und Profilergebnisse präsentiert, die zeigen, dass der Scheduler-Teil des Drafts die Hauptursache für die Verlangsamung ist.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Verlangsamung unter Konkurrenzbedingungen ist ein relevantes Problem für Home-Setups, die mehrere parallele Anfragen verarbeiten müssen. Die Analyse zeigt, dass der Scheduler-Teil des Drafts die Performance erheblich beeinträchtigt. Eine Optimierung dieses Teils könnte die Performance erheblich verbessern.
Konsequenz für OpenCode-Nutzer:
Die Optimierung des Schedulers könnte die Anfrageverarbeitung unter Konkurrenzbedingungen beschleunigen, was insbesondere für Agenten, die mehrere Aufgaben gleichzeitig verarbeiten, von Vorteil ist. Nutzer sollten auf Updates warten, die diese Optimierung enthalten.
Handlungsempfehlung:
Auf PRs warten, die die Scheduler-Optimierung beinhalten. Alternativ kann man die Konfiguration anpassen, um die Verwendung von FROZEN_KV_MTP zu vermeiden, wenn hohe Konkurrenz erwartet wird.
Fakten-Tabelle:
– Hardware im Post: CMP 170HX, GA100 64GB
– Modell: lokeshe09/gemma-4-31B-it-INT8
– Framework-Version: v0.5.18
– tok/s / Benchmark: 34.3 (solo), 25.5 (batch-8)
– Multi-GPU-Konfiguration: [nicht im Post belegt]
qwen2.5-vl model infer has an compute hash_feature function cost 84ms, and the qwen-vl vit forward cost 53ms, so it is necessary? or has another function to replace it? (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer stellt fest, dass die Berechnung der `hash_feature`-Funktion beim Inferenzprozess des Qwen2.5-VL-Modells 84 ms dauert, während die Vorwärtspropagation des Vision-Transformers (ViT) nur 53 ms benötigt. Es wird gefragt, ob die `hash_feature`-Funktion notwendig ist oder durch eine andere Funktion ersetzt werden kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die `hash_feature`-Funktion verursacht eine erhebliche Verzögerung im Inferenzprozess, was die Gesamtperformance beeinträchtigt. Eine Optimierung oder Ersetzung dieser Funktion könnte die Latenz reduzieren und die Reaktionszeit des Modells verbessern. Dies ist besonders relevant für Home-Setups, die eine schnelle Verarbeitung von Anfragen erfordern.
Konsequenz für OpenCode-Nutzer:
Die Optimierung oder Ersetzung der `hash_feature`-Funktion könnte die Latenz reduzieren und die Anfrageverarbeitung beschleunigen. Nutzer sollten auf Updates warten oder die Möglichkeit der manuellen Optimierung in Betracht ziehen.
Handlungsempfehlung:
Auf PRs warten, die die Optimierung der `hash_feature`-Funktion enthalten. Alternativ kann man versuchen, die Funktion manuell zu optimieren oder zu ersetzen, was jedoch fortgeschrittene Kenntnisse erfordert.
Fakten-Tabelle:
– Hardware im Post: NVIDIA GeForce RTX 4090
– Modell: Qwen/Qwen2.5-VL-3B-Instruct
– Framework-Version: v0.4.6.post5
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
Solving agent system prompt drift in long sessions — a 300-token fix (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt das Problem der System-Prompt-Drift, bei der der Agent im Laufe der Zeit die Anweisungen des System-Prompts vergisst. Es wird eine Lösung namens SCAN vorgeschlagen, die den Agenten dazu bringt, Fragen zu den Anweisungen zu beantworten, um die Aufmerksamkeit auf die Anweisungen zu lenken.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die SCAN-Methode ist eine effektive Lösung für das Problem der System-Prompt-Drift, das auch in Home-Setups auftritt. Die Methode erfordert nur etwa 300 Tokens, was den Kontextverbrauch minimiert und die Performance nicht beeinträchtigt. Dies ist besonders relevant für Agenten, die über längere Zeiträume hinweg laufen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung der SCAN-Methode würde die Zuverlässigkeit und Konsistenz der Agenten verbessern, indem sie die Aufmerksamkeit auf die Anweisungen des System-Prompts lenkt. Nutzer sollten die SCAN-Methode in ihre Agenten integrieren, um die Drift zu vermeiden.
Handlungsempfehlung:
Die SCAN-Methode in die Agenten integrieren. Dies kann durch die Hinzufügung von Markerfragen am Ende der System-Prompts und die regelmäßige Beantwortung dieser Fragen erreicht werden.
Fakten-Tabelle:
– Hardware im Post: [nicht im Post belegt]
– Modell: [nicht im Post belegt]
– Framework-Version: [nicht im Post belegt]
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
How fast can you run DeepSeek V4 Spark 0731 with CPU-GPU hybrid inference when VRAM is not enough? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt eine Methode, um das DeepSeek V4 Spark 0731-Modell auf Consumer-GPUs mit begrenztem VRAM zu laufen. Die Methode nutzt eine CPU-GPU-Hybrid-Inference, bei der Teile des Modells in den System-RAM und auf die CPU ausgelagert werden. Es werden Benchmarks für verschiedene Konfigurationen präsentiert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die CPU-GPU-Hybrid-Inference ermöglicht es, große Modelle wie DeepSeek V4 Spark 0731 auf Consumer-GPUs mit begrenztem VRAM zu laufen. Die Benchmarks zeigen, dass die Performance akzeptabel ist, insbesondere bei der Verwendung von 2x 3090 oder 2x 5090. Dies erweitert die Möglichkeiten, große Modelle in Home-Setups zu verwenden.
Konsequenz für OpenCode-Nutzer:
Die CPU-GPU-Hybrid-Inference ermöglicht es, große Modelle wie DeepSeek V4 Spark 0731 in Home-Setups zu verwenden, ohne dass die VRAM-Begrenzungen ein Hindernis darstellen. Nutzer sollten die Methode ausprobieren, um die Performance und den VRAM-Verbrauch zu optimieren.
Handlungsempfehlung:
Die CPU-GPU-Hybrid-Inference-Methode ausprobieren, insbesondere bei der Verwendung von 2x 3090 oder 2x 5090. Die Benchmarks und Konfigurationen im Post können als Anleitung dienen.
Fakten-Tabelle:
– Hardware im Post: EPYC 7642 *2, 16 channels ddr4 3200, 5060Ti * 2, 3090 * 2, EPYC 9684x *2, 24 channels ddr5 4800, pro 6000 * 1
– Modell: DeepSeek-V4-Flash-0731
– Framework-Version: Lsglang-v1.4.7, Lvllmds4-x-v2.3.9, Lvllmds4-v2.3.9
– tok/s / Benchmark: 850 t/s (5060Ti * 2), 1060 t/s (3090 * 2), 3100 t/s (pro 6000 * 1)
– Multi-GPU-Konfiguration: [nicht im Post belegt]
Running MiniMax H3 Ref2VA on 2x RTX 5090 under a 116 GB cgroup — streaming weight load + resident-layer GPU routing (4 patches, SGLang 0.5.17) (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer beschreibt, wie er das MiniMax H3 Ref2VA-Modell (33B DiT + Qwen3VL) auf 2x RTX 5090 unter einer cgroup mit 116 GB Speicher laufen lassen konnte. Es werden 4 Patches vorgestellt, die es ermöglichen, das Modell zu laden und zu inferenzieren, ohne dass der Speicher überlastet wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die beschriebene Methode ermöglicht es, große Modelle wie MiniMax H3 Ref2VA auf Consumer-GPUs mit begrenztem VRAM zu laufen. Die Patches optimieren den Speicherverbrauch und ermöglichen es, das Modell in einer cgroup mit 116 GB Speicher zu laden. Dies ist besonders relevant für Home-Setups, die große Modelle verwenden möchten, ohne dass der Speicher eine Begrenzung darstellt.
Konsequenz für OpenCode-Nutzer:
Die Anwendung der beschriebenen Patches ermöglicht es, große Modelle wie MiniMax H3 Ref2VA in Home-Setups zu verwenden, ohne dass der Speicher eine Begrenzung darstellt. Nutzer sollten die Patches anwenden, um die Speicherverwaltung zu optimieren.
Handlungsempfehlung:
Die beschriebenen Patches anwenden, um das MiniMax H3 Ref2VA-Modell auf 2x RTX 5090 zu laufen. Die Patches und die Konfigurationen im Post können als Anleitung dienen.
Fakten-Tabelle:
– Hardware im Post: 2x RTX 5090
– Modell: MiniMax H3 Ref2VA (33B DiT + Qwen3VL)
– Framework-Version: SGLang 0.5.17
– tok/s / Benchmark: [nicht im Post belegt]
– Multi-GPU-Konfiguration: [nicht im Post belegt]
Weitere Diskussionen (kurz):
– Do Hopper support Deepseek V4 Flash run EP by deepep in the future? — Enterprise — nicht autark-relevant.
– support read/write datalake（iceberg、delta lake、paimon、lance） — Enterprise — nicht autark-relevant.
– add dingding falied — Enterprise — nicht autark-relevant.
– wx大模型agent技术交流 — Enterprise — nicht autark-relevant.
– Tokens — Enterprise — nicht autark-relevant.