vLLM-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung:
Die vLLM-Community diskutiert aktuell verschiedene Themen, die die Performance und die Benutzerfreundlichkeit von LLM-Inferenz auf Consumer-GPUs verbessern sollen. Dominierende Themen sind die Optimierung der Quantisierung, die Erweiterung des Kontextfensters, die Verbesserung des Tool-Callings und die Reduzierung des VRAM-Verbrauchs. Diese Entwicklungen sind besonders relevant für Nutzer, die ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 aufbauen und ein Claude-Sonnet-Niveau erreichen möchten.
[Running Llama4 quantized on 2xH100 80GB] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer versucht, Llama4 mit fp8 oder experts_int8 Quantisierung auf 2x H100 80GB GPUs zu laufen. Trotz der erwarteten Halbierung des VRAM-Verbrauchs läuft die Inferenz nicht, da CUDA out of memory-Fehler auftreten. Es wird diskutiert, warum int8-Quantisierung nicht ausreicht, um das Modell auf 160GB VRAM zu platzieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup mit 4x 3090 oder 2x 5090 ist die Diskussion relevant, da sie zeigt, dass selbst mit fortgeschrittener Quantisierung wie int8, die VRAM-Begrenzung von 24GB pro GPU ein signifikanter Hürde bleibt. Nutzer sollten sich auf Modelle konzentrieren, die gut mit INT4 oder FP8 Quantisierung funktionieren, um den VRAM-Verbrauch zu minimieren.
Konsequenz für OpenCode-Nutzer:
Die Diskussion zeigt, dass die Wahl des Quantisierungstyps kritisch ist. Nutzer sollten Experimente mit verschiedenen Quantisierungsebenen durchführen, um das beste Verhältnis von Performance und VRAM-Verbrauch zu finden. Dies kann die Stabilität und Leistung des Coding-Agenten verbessern.
Handlungsempfehlung:
Experimentiere mit INT4 und FP8 Quantisierung auf deinem Setup. Überprüfe die VRAM-Verbrauchsmessungen und passe die Einstellungen an, um OOM-Fehler zu vermeiden.
Fakten-Tabelle:
– Hardware im Post: 2x H100 80GB
– Modell: Llama4
– Framework-Version: vLLM 0.8.5
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=2
[Determining Overall Speed for One Long Prompt] (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer möchte die Gesamtgeschwindigkeit für lange Prompts messen, aber vLLM gibt mehrere Geschwindigkeitsmessungen zurück, die auf die Batch-Verarbeitung zurückzuführen sind. Es wird gefragt, ob es eine Möglichkeit gibt, die Gesamtgeschwindigkeit für die gesamte Anfrage zu erhalten.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Genauigkeit der Geschwindigkeitsmessungen wichtig, um die Performance zu optimieren. Die Diskussion zeigt, dass vLLM die Geschwindigkeit in Batches misst, was die Interpretation der Ergebnisse erschwert. Nutzer sollten nach Workarounds suchen, um die Gesamtgeschwindigkeit zu ermitteln.
Konsequenz für OpenCode-Nutzer:
Die Genauigkeit der Geschwindigkeitsmessungen kann die Optimierung des Coding-Agenten beeinflussen. Nutzer sollten sicherstellen, dass sie die Gesamtgeschwindigkeit für lange Prompts messen können, um die Performance ihres Setups zu verbessern.
Handlungsempfehlung:
Nutze das `–max-log-len` Argument, um die Log-Ausgabe zu erhöhen, und analysiere die Logs manuell, um die Gesamtgeschwindigkeit zu berechnen. Überprüfe, ob zukünftige vLLM-Versionen eine bessere Gesamtgeschwindigkeitsmessung bieten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Qwen/Qwen3-30B-A3B-FP8
– Framework-Version: vLLM 0.8.5
– tok/s / Benchmark: 41.1 tokens/s, 19.8 tokens/s, 77.6 tokens/s
– Multi-GPU-Konfiguration: TP=2
[Structured Generation with Reasoning Parser in offline mode] (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer möchte die Verwendung des Reasoning Parsers und strukturierten Generierens in offline-Modus. Aktuell ist dies nicht möglich, da vLLM diese Funktionen in offline-Modus nicht unterstützt. Es wird diskutiert, ob Workarounds oder Backend-Modifikationen möglich sind.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Fähigkeit, strukturierte Antworten zu generieren, besonders relevant, da sie die Genauigkeit und Nutzbarkeit der Inferenz verbessern. Die Diskussion zeigt, dass aktuell Workarounds erforderlich sind, um diese Funktionen zu nutzen.
Konsequenz für OpenCode-Nutzer:
Die Implementierung des Reasoning Parsers und strukturierten Generierens kann die Qualität der Antworten des Coding-Agenten erheblich verbessern. Nutzer sollten Workarounds wie die Kombination von freiformen und strukturierten Generierungen testen, um ähnliche Ergebnisse zu erzielen.
Handlungsempfehlung:
Beobachte die Entwicklung von vLLM und prüfe regelmäßig, ob die Funktionen in offline-Modus implementiert wurden. Bis dahin, nutze Workarounds wie die manuelle Kombination von freiformen und strukturierten Generierungen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Qwen 3
– Framework-Version: vLLM 0.8.5
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[How to increase context length and make things work] (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer hat Schwierigkeiten, die Kontextlänge in vLLM zu erhöhen. Es wird diskutiert, wie die KV-Cache-Größe und die Anzahl der gleichzeitigen Anfragen beeinflusst werden und wie man die Kontextlänge erhöhen kann, ohne OOM-Fehler zu erhalten.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Kontextlänge ein kritischer Faktor, da sie die Qualität der Inferenz beeinflusst. Die Diskussion zeigt, dass die Manipulation von `seq_len` und `batch_size` eine Möglichkeit ist, die Kontextlänge zu erhöhen, ohne die VRAM-Begrenzung zu überschreiten.
Konsequenz für OpenCode-Nutzer:
Die Erhöhung der Kontextlänge kann die Qualität der Antworten des Coding-Agenten verbessern. Nutzer sollten experimentieren, um das beste Verhältnis von Kontextlänge und VRAM-Verbrauch zu finden, um OOM-Fehler zu vermeiden.
Handlungsempfehlung:
Passe die `seq_len` und `batch_size` Einstellungen an, um die Kontextlänge zu erhöhen. Überprüfe die VRAM-Verbrauchsmessungen und passe die Einstellungen weiter an, um die beste Performance zu erzielen.
Fakten-Tabelle:
– Hardware im Post: H100 80GB
– Modell: Qwen/Qwen1.5-72B-Chat-GPTQ-Int4
– Framework-Version: vLLM 0.3.3, 0.4.0
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[I just published a performance test result of vllm vs sglang but can someone help me explain it?] (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer hat eine Performance-Test gegen sglang durchgeführt und festgestellt, dass sglang weniger VRAM verbraucht und konsistente Antwortzeiten bietet. Es wird gefragt, warum diese Unterschiede bestehen und ob es Möglichkeiten gibt, die Performance von vLLM zu verbessern.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Performance und der VRAM-Verbrauch kritisch. Die Diskussion zeigt, dass sglang in einigen Fällen bessere Ergebnisse liefert, was Nutzer dazu anregen kann, alternative Frameworks zu testen.
Konsequenz für OpenCode-Nutzer:
Die Performance-Tests können helfen, das beste Framework für das Home-Setup zu wählen. Nutzer sollten die VRAM-Verbrauchsmessungen und Antwortzeiten von vLLM und sglang vergleichen, um die beste Option zu finden.
Handlungsempfehlung:
Teste sglang auf deinem Setup und vergleiche die Ergebnisse mit vLLM. Überprüfe, ob sglang bessere VRAM-Verwaltung und konsistente Antwortzeiten bietet.
Fakten-Tabelle:
– Hardware im Post: A10
– Modell: Qwen 2.5-7B
– Framework-Version: vLLM 0.8.5
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[Why temperature=0,top_p=1,seed=42 is still not enough to fix the llm’s output!?] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer verwendet Qwen2.5-14B-Instruct mit vLLM und stellt fest, dass die Ausgabe unterschiedlich ist, obwohl `temperature=0`, `top_p=1` und `seed=42` gesetzt sind. Es wird diskutiert, warum die Ausgabe bei unterschiedlichen Umgebungen und vLLM-Versionen variieren kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Konsistenz der Ausgabe wichtig, um verlässliche Ergebnisse zu erzielen. Die Diskussion zeigt, dass verschiedene Faktoren wie die Anzahl der GPUs, die vLLM-Version und die GPU-Architektur die Ausgabe beeinflussen können.
Konsequenz für OpenCode-Nutzer:
Die Konsistenz der Ausgabe kann die Zuverlässigkeit des Coding-Agenten beeinflussen. Nutzer sollten die Einstellungen und Umgebungen standardisieren, um die Konsistenz zu verbessern.
Handlungsempfehlung:
Nutze die gleiche vLLM-Version und GPU-Architektur für alle Tests. Standardisiere die Einstellungen wie `temperature`, `top_p` und `seed` und überprüfe, ob die Ausgabe konsistent bleibt.
Fakten-Tabelle:
– Hardware im Post: H100, H200
– Modell: Qwen2.5-14B-Instruct
– Framework-Version: vLLM 0.8.5
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
[How to benchmark vLLM a short tutorial] (5/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer bietet einen kurzen Tutorial, wie man vLLM auf einem Kubernetes-Cluster benchmarkt. Es wird beschrieben, wie man vLLM deployt und die Benchmark-Skripte ausführt, um die Performance zu messen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Performance-Optimierung wichtig, um die beste Leistung zu erzielen. Die Diskussion zeigt, wie man vLLM auf einem Kubernetes-Cluster benchmarkt, was für Nutzer mit mehreren GPUs relevant sein kann.
Konsequenz für OpenCode-Nutzer:
Die Benchmarking-Methoden können helfen, die Performance des Coding-Agenten zu optimieren. Nutzer sollten die beschriebenen Schritte anpassen, um vLLM auf ihrem Home-Setup zu benchmarken.
Handlungsempfehlung:
Nutze das beschriebene Tutorial, um vLLM auf deinem Home-Setup zu benchmarken. Passe die Einstellungen an, um die beste Performance zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 24GB GPU
– Modell: Llama 3.1 8B Instruct
– Framework-Version: vLLM 0.5.3.post1
– tok/s / Benchmark: 20x Performance-Verbesserung
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– vLLM cannot connect to existing Ray cluster — Enterprise — nicht autark-relevant
– ……lib/python3.12/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSsb — Technisches Problem, relevant für Entwickler
– Any known integration with n8n? — Spezifische Anfrage, relevant für Nutzer von n8n
– How to only download model without serving it? — Technisches Problem, relevant für Entwickler
– Why do vllm set default keep-alive timeout to 5s? — Technisches Problem, relevant für Entwickler
– How to: custom attention mask? Specifically, bidirectional attention for context. — Spezifische Anfrage, relevant für Entwickler
– How does the profile_run work? — Technisches Problem, relevant für Entwickler