SGLang-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die SGLang-Community diskutiert aktuell hauptsächlich Themen wie die Optimierung der Durchsatzleistung bei langen Kontexten, die Verbesserung der Prefix-Caching-Strategien und die Unterstützung verschiedener Modelle und Quantisierungsmethoden. Besonders relevant für Nutzer, die ein autarkes Setup mit 4x 3090 oder 2x 5090 aufbauen wollen, sind Diskussionen zur Priorisierung von Decode-Batches, der Integration von PeerCache für dezentrale RDMA-KV-Caching und der Optimierung von Qwen3.5-Modellen.
How to prioritize decode batches over prefill in SGLang? (GLM-4.7 deployment) (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer möchte die Durchsatzleistung des GLM-4.7-Modells bei langen Kontexten optimieren. Das aktuelle Setup verwendet Parameter wie `–chunked-prefill-size` und `–enable-mixed-chunk`, um Decode-Batches zu priorisieren. Allerdings blockieren neue Anfragen die Decode-Performance, was zu Latenzproblemen führt. Die Frage ist, wie man SGLang konfigurieren kann, um Decode-Batches über Prefill zu priorisieren und die Durchsatzleistung für langkontextuelle Anfragen zu verbessern.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Optimierung ist besonders relevant für Home-Setups, da sie die Performance bei langen Kontexten und gleichzeitigen Anfragen verbessert. Consumer-GPUs wie die 3090 oder 5090 profitieren von einer besseren Priorisierung von Decode-Batches, da sie die VRAM- und Rechenressourcen effizienter nutzen. Threadripper oder Epyc-Boards sind nicht zwingend erforderlich, aber sie können die Performance weiter verbessern.
Konsequenz für OpenCode-Nutzer:
Mit dieser Optimierung können OpenCode-Nutzer eine bessere Responsivität und geringere Latenz bei langen Kontexten und gleichzeitigen Anfragen erwarten. Dies ist besonders wichtig für Agent-Workloads, bei denen der System-Prompt regelmäßig gesendet wird.
Handlungsempfehlung:
Die Parameter `–chunked-prefill-size` und `–enable-mixed-chunk` weiter optimieren und auf die neueste SGLang-Version updaten. Die Diskussion beobachten, da weitere Vorschläge und Lösungen kommen könnten.
Fakten-Tabelle:
– Hardware im Post: H20
– Modell: GLM-4.7
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=8
Severe image quality discrepancy between singleton and dynamic batched requests with identical seed, steps and size (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer berichtet über eine erhebliche Qualitätsdifferenz zwischen einzelnen und dynamischen Batch-Anfragen bei der Bildgenerierung. Trotz identischer Parameter wie `seed`, `num_inference_steps` und `size` weisen die generierten Bilder erhebliche Unterschiede auf. Die Dokumentation erwähnt, dass Singleton- und Batch-Generierungen nicht bit-exakt sein müssen, aber der Nutzer erwartet, dass die visuellen Inhalte und Kompositionen der Bilder ähnlich bleiben.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, wenn man Bildgenerierung mit SGLang nutzt. Consumer-GPUs wie die 3090 oder 5090 können von einer Lösung profitieren, die die Konsistenz der Bildqualität zwischen Singleton- und Batch-Anfragen verbessert. Dies ist besonders wichtig für Anwendungen, die hohe Konsistenz erfordern.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer, die Bildgenerierung nutzen, sollten auf eine Lösung für diese Diskrepanz warten. Dies kann die Konsistenz und Qualität der generierten Bilder verbessern.
Handlungsempfehlung:
Die Diskussion beobachten und auf Updates warten. Workarounds oder temporäre Lösungen im Thread prüfen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Is there a example about deepseek-v4-pro pd disaggregation？ (3/10) — OpenCode-Fit: NEIN
Worum geht es konkret?
Der Nutzer fragt nach einem Beispiel für die pd-disaggregation des DeepSeek-V4-Pro-Modells. Er hat Probleme bei der Konfiguration und Behebung von Fehlern bei der parallelen Ausführung auf mehreren Knoten mit RDMA-Unterstützung.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist eher für Enterprise-Setups relevant, da sie RDMA-Unterstützung und mehrere Knoten erfordert. Consumer-GPUs wie die 3090 oder 5090 können diese Konfiguration nicht nutzen. Die pd-disaggregation ist für Home-Setups nicht praktikabel.
Konsequenz für OpenCode-Nutzer:
Für OpenCode-Nutzer ist diese Diskussion nicht relevant, da sie auf Enterprise-Hardware und -Infrastruktur abzielt. Es gibt keine direkten Vorteile für ein autarkes Home-Setup.
Handlungsempfehlung:
Diese Diskussion ignorieren, da sie für Home-Setups nicht relevant ist.
Fakten-Tabelle:
– Hardware im Post: H100
– Modell: DeepSeek-V4
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=16
[[Diffusion] Is there support for /metrics endpoint in SGLang Diffusion (Qwen-Image)](https://github.com/sgl-project/sglang/discussions/18576) (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer fragt, ob das `/metrics`-Endpoint in der Diffusion-Runtime von SGLang unterstützt wird. Er verwendet das Qwen-Image-Modell auf Kubernetes und hat Probleme, die Prometheus-Metriken abzurufen, obwohl `–enable-metrics` gesetzt ist.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, wenn man Prometheus-Metriken für die Überwachung der Performance und des Zustands des Modells benötigt. Consumer-GPUs wie die 3090 oder 5090 können von dieser Funktion profitieren, aber die Verwendung von Kubernetes ist eher für Enterprise-Setups gedacht. Für Home-Setups könnte man eine einfache Überwachungslösung ohne Kubernetes nutzen.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer, die eine detaillierte Überwachung der Modellperformance benötigen, sollten auf eine Lösung für das `/metrics`-Endpoint warten. Dies kann die Fehlersuche und die Optimierung erleichtern.
Handlungsempfehlung:
Die Diskussion beobachten und auf Updates warten. Alternativen zur Überwachung prüfen, die nicht auf Kubernetes basieren.
Fakten-Tabelle:
– Hardware im Post: NVIDIA H100 (80GB)
– Modell: Qwen-Image-2512
– Framework-Version: lmsysorg/sglang:nightly-dev-20260209-bf89cc38
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=1
Question about serving Qwen3.5 text-only SFT model saved as Qwen3_5ForCausalLM (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer hat Probleme, ein feinjustiertes Qwen3.5-Modell mit SGLang zu servieren. Das Modell wurde mit `AutoModelForCausalLM` trainiert und gespeichert, aber SGLang erkennt `Qwen3_5ForCausalLM` nicht als gültige Architektur. Die Frage ist, ob `Qwen3_5ForCausalLM` absichtlich nicht als SGLang-Eintragsklasse registriert ist und ob es sicher ist, diese manuell zu registrieren oder die Konfiguration zu ändern.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie die Kompatibilität von feinjustierten Modellen mit SGLang betrifft. Consumer-GPUs wie die 3090 oder 5090 können von einer Lösung profitieren, die die Servierung von feinjustierten Modellen vereinfacht. Dies ist besonders wichtig für Nutzer, die ihre eigenen Modelle trainieren und servieren möchten.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer, die feinjustierte Qwen3.5-Modelle verwenden, sollten auf eine Lösung warten, die die Kompatibilität mit SGLang sicherstellt. Dies kann die Servierung und den Einsatz von benutzerdefinierten Modellen erleichtern.
Handlungsempfehlung:
Die Diskussion beobachten und auf Updates warten. Workarounds im Thread prüfen, wie das Ändern der Konfiguration oder das manuelle Registrieren von `Qwen3_5ForCausalLM`.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Qwen3.5
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Addition of a not-strictly-block-diffusion model (4/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer fragt, ob die Unterstützung für nicht-streng-block-diffusionäre Modelle wie Fast-dLLM v1 in SGLang geplant ist. Diese Modelle verwenden approximate-KV-Cache und confidence-based decoding thresholding mit gptq_marlin-Quantisierung.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, wenn man Modelle mit speziellen Diffusionsstrategien nutzen möchte. Consumer-GPUs wie die 3090 oder 5090 können von dieser Unterstützung profitieren, da sie die Performance und Effizienz bei der Bildgenerierung verbessern können. Allerdings ist die Unterstützung noch nicht bestätigt und könnte Zeit in Anspruch nehmen.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer, die spezielle Diffusionsmodelle nutzen möchten, sollten auf eine Bestätigung und Implementierung warten. Dies kann die Wahl und den Einsatz von Modellen erweitern.
Handlungsempfehlung:
Die Diskussion beobachten und auf Updates warten. Alternativen prüfen, die bereits unterstützt werden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Fast-dLLM v1, LLaDA-8B, Dream-7B
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Small commercial app use of Boson v.3 (2/10) — OpenCode-Fit: NEIN
Worum geht es konkret?
Der Nutzer fragt, ob die Verwendung von Boson v.3 MP3-Dateien in einer kommerziellen App wie einer SwiftUI-App für den AppStore zulässig ist. Es wird nach einer Lizenz gefragt, falls erforderlich.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist eher für kommerzielle Entwickler relevant, die Boson v.3 in ihren Apps verwenden möchten. Für Home-Setups, die auf der lokalen Ausführung von Modellen und Agenten abzielen, ist diese Frage nicht relevant.
Konsequenz für OpenCode-Nutzer:
Für OpenCode-Nutzer, die Boson v.3 nicht in kommerziellen Apps verwenden, ist diese Diskussion nicht relevant. Es gibt keine direkten Vorteile für ein autarkes Home-Setup.
Handlungsempfehlung:
Diese Diskussion ignorieren, da sie für Home-Setups nicht relevant ist.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Boson v.3
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
PeerCache — a decentralized P2P RDMA L3 backend for SGLang HiCache (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion stellt PeerCache vor, eine dezentrale P2P RDMA L3-Backend-Lösung für SGLang HiCache. PeerCache ermöglicht es, eine KV-Cache zwischen SGLang-Instanzen über RDMA zu teilen, ohne einen zentralen Cache-Server zu benötigen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
PeerCache ist besonders relevant für Home-Setups, da es die Effizienz und Performance der KV-Cache-Verwaltung verbessert. Consumer-GPUs wie die 3090 oder 5090 können von der dezentralen RDMA-Unterstützung profitieren, da sie die VRAM-Verwendung und die Latenz reduzieren. Threadripper oder Epyc-Boards sind nicht zwingend erforderlich, aber sie können die Performance weiter verbessern.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer können mit PeerCache eine bessere KV-Cache-Verwaltung und eine effizientere Nutzung der VRAM erzielen. Dies ist besonders wichtig für Agent-Workloads, bei denen der System-Prompt regelmäßig gesendet wird.
Handlungsempfehlung:
PeerCache installieren und konfigurieren. Die Dokumentation und das Repo prüfen, um die Einrichtung zu verstehen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Does sglang really support run Qwen3.5-397B-A17B for processing Ultra-Long Texts(1M) ? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, ob SGLang das Qwen3.5-397B-A17B-Modell mit einer Kontextlänge von 1M Tokens unterstützt. Er hat Probleme mit der `–json-model-override-args`-Option, die einen Fehler verursacht.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist relevant, da sie die Unterstützung von Ultra-Long-Texts betrifft. Consumer-GPUs wie die 3090 oder 5090 können von einer Lösung profitieren, die die Kontextlänge auf 1M Tokens erweitert. Dies ist besonders wichtig für Agent-Workloads, bei denen lange Kontexte erforderlich sind.
Konsequenz für OpenCode-Nutzer:
OpenCode-Nutzer, die Ultra-Long-Texts verarbeiten möchten, sollten auf eine Lösung für den Fehler warten. Dies kann die Verarbeitung von langen Texten und die Nutzung