vLLM-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung:
Die vLLM-Community diskutiert aktuell hauptsächlich Themen wie die Optimierung der Quantisierung, die Verbesserung der Performance bei langen Prompts und die Unterstützung von unterschiedlichen GPU-Konfigurationen. Besonders relevant für Autarkie-Fans sind Diskussionen zur Quantisierung (AWQ, GPTQ) und zur Nutzung von Consumer-GPUs wie der RTX 3090 oder 5090. Diese Themen helfen dabei, ein lokales KI-Setup aufzubauen, das ohne Cloud-Abhängigkeiten und mit vernünftigem Stromverbrauch Claude-Sonnet-Niveau erreicht.
Why my PR build docker image failed, how to solve this problem? (2/10) — OpenCode-Fit: NEIN
Worum geht es konkret?
Der Diskussionsbeitrag beschreibt ein Problem beim Build eines Docker-Images für einen Pull Request. Es gibt Fehler beim Hinzufügen von PPA-Repositories und beim Abrufen von GPG-Schlüsseln, was zu einem Timeout führt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Dieses Problem betrifft hauptsächlich die Infrastruktur und den Build-Prozess. Es ist nicht direkt relevant für die Nutzung von vLLM auf Consumer-GPUs. Die Diskussion bietet keine praktischen Tipps für die lokale Inference.
Konsequenz für OpenCode-Nutzer:
Dieser Thread hat keinen direkten Einfluss auf den Agent-Workflow oder die Performance. Es ist eher ein technisches Problem, das die Entwickler lösen müssen.
Handlungsempfehlung:
Ignorieren, da es sich um ein reines Infrastruktur-Problem handelt.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Running Llama4 quantized on 2xH100 80GB (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Die Diskussion dreht sich um die Möglichkeit, Llama4 mit verschiedenen Quantisierungsmethoden (fp8, experts_int8) auf 2x H100 GPUs mit 80 GB VRAM zu betreiben. Der Nutzer stößt auf CUDA Out of Memory-Fehler, obwohl int8-Quantisierung theoretisch ausreichend VRAM sparen sollte.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup mit 4x 3090 oder 2x 5090 ist die Diskussion relevant, da sie zeigt, dass auch bei geringerer VRAM (24 GB pro GPU) die Quantisierung wichtig ist. Die Erfahrungen mit fp8 und experts_int8 könnten hilfreich sein, um Modelle wie Llama-3.3 oder Qwen3 effizient auf Consumer-GPUs zu betreiben.
Konsequenz für OpenCode-Nutzer:
Die Quantisierung kann die VRAM-Nutzung reduzieren und die Performance verbessern. Nutzer sollten Experimente mit verschiedenen Quantisierungsmethoden durchführen, um das beste Ergebnis für ihr Setup zu erzielen.
Handlungsempfehlung:
Experimentiere mit fp8 und experts_int8-Quantisierung auf deinem Setup. Überprüfe die VRAM-Nutzung und die Performance.
Fakten-Tabelle:
– Hardware im Post: 2x H100 (80 GB VRAM)
– Modell: Llama4
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Determining Overall Speed for One Long Prompt (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer möchte die Gesamtgeschwindigkeit für lange Prompts messen, die über die OpenAI-API eingereicht werden. Die aktuelle Konfiguration liefert mehrere Geschwindigkeitsmessungen, da der Prompt in mehrere Batches aufgeteilt wird. Es wird nach einer Möglichkeit gefragt, die Gesamtgeschwindigkeit für den gesamten Request zu ermitteln.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Genauigkeit der Geschwindigkeitsmessungen wichtig, um die Performance zu optimieren. Die Diskussion zeigt, dass die Aktivierung von Prefix-Caching und die Konfiguration der Batch-Größe Einfluss auf die Messergebnisse haben können. Dies ist besonders relevant, wenn man Tool-Calling oder lange Kontexte verwendet.
Konsequenz für OpenCode-Nutzer:
Die Genauigkeit der Geschwindigkeitsmessungen kann helfen, die Performance zu verbessern. Nutzer sollten die Konfiguration anpassen, um die Gesamtgeschwindigkeit für lange Prompts zu ermitteln.
Handlungsempfehlung:
Schalte Prefix-Caching aus und passe die Batch-Größe an, um die Gesamtgeschwindigkeit für lange Prompts zu messen. Verwende die Konfiguration `–no-enable-prefix-caching` und `–max-log-len` für genaue Messungen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Qwen/Qwen3-30B-A3B-FP8
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: 41.1 tokens/s, 19.8 tokens/s, 77.6 tokens/s
– Multi-GPU-Konfiguration: TP=2
Guidance regarding prepare calibration dataset to perform GPTQ (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion dreht sich um die Vorbereitung eines Kalibrierungssatzes für die GPTQ-Quantisierung. Es wird nach empfohlenen Datensätzen gefragt, die für verschiedene Modelle (Llama, Qwen) geeignet sind. Der Nutzer erwähnt, dass der C4-Datensatz in der GPTQ-Paper verwendet wurde und fragt, ob dieser auch in der Praxis gut funktioniert.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Wahl des richtigen Kalibrierungssatzes wichtig, um die Quantisierung zu optimieren. Der C4-Datensatz kann als Ausgangspunkt dienen, aber Nutzer sollten auch eigene Datensätze testen, die spezifisch auf ihre Aufgaben abgestimmt sind.
Konsequenz für OpenCode-Nutzer:
Die Wahl des Kalibrierungssatzes kann die Qualität der Quantisierung und damit die Performance des Modells beeinflussen. Nutzer sollten den C4-Datensatz als Basis verwenden und gegebenenfalls eigene Datensätze hinzufügen.
Handlungsempfehlung:
Verwende den C4-Datensatz für die GPTQ-Quantisierung und teste gegebenenfalls eigene Datensätze, um die beste Performance zu erzielen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama, Qwen
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
TP/PP with Different VRAM Cards (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, ob es möglich ist, Tensor-Parallelismus (TP) und Pipeline-Parallelismus (PP) mit unterschiedlichen GPU-Modellen zu verwenden. Er besitzt eine 4070 Ti Super (16 GB VRAM) und erwägt, eine Tesla L4 (24 GB VRAM) hinzuzufügen. Es wird nach den VRAM-Beschränkungen bei TP und PP gefragt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup mit unterschiedlichen GPU-Modellen ist diese Diskussion sehr relevant. Es zeigt, dass TP die minimale VRAM-Kapazität der kleinsten GPU verwendet, während PP die gesamte VRAM aller GPUs nutzen kann. Dies ist wichtig, um die maximale VRAM-Nutzung zu erreichen.
Konsequenz für OpenCode-Nutzer:
Die Wahl zwischen TP und PP kann die VRAM-Nutzung und die Performance beeinflussen. Nutzer sollten TP verwenden, wenn sie die minimale VRAM-Kapazität der kleinsten GPU nicht überschreiten wollen, und PP, wenn sie die gesamte VRAM nutzen möchten.
Handlungsempfehlung:
Verwende TP, wenn du die minimale VRAM-Kapazität der kleinsten GPU nicht überschreiten willst, und PP, wenn du die gesamte VRAM nutzen möchtest. Teste beide Konfigurationen, um die beste Performance zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 4070 Ti Super (16 GB VRAM), Tesla L4 (24 GB VRAM)
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP, PP
Can I run VLLM with 5090+5070Ti for Llama 70B Q4 (needs approximately 42 GB) inference? Or do I need identical GPUs? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, ob es möglich ist, vLLM mit unterschiedlichen GPU-Modellen (5090 und 5070Ti) zu betreiben, um die Inference von Llama 70B Q4 durchzuführen, die etwa 42 GB VRAM benötigt. Es wird nach der Kompatibilität und der erwarteten Performance gefragt.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup mit unterschiedlichen GPU-Modellen ist diese Diskussion sehr relevant. Es zeigt, dass es möglich ist, vLLM mit unterschiedlichen GPUs zu betreiben, aber die Performance kann variieren. Die Diskussion gibt Anhaltspunkte für die erwartete Latenz.
Konsequenz für OpenCode-Nutzer:
Die Nutzung unterschiedlicher GPU-Modelle kann die VRAM-Kapazität erhöhen, aber die Performance kann je nach GPU-Modell variieren. Nutzer sollten die Latenz und die VRAM-Nutzung testen, um das beste Setup zu finden.
Handlungsempfehlung:
Teste die Inference mit unterschiedlichen GPU-Modellen und überprüfe die Latenz und die VRAM-Nutzung. Verwende Pipeline-Parallelismus (PP), um die gesamte VRAM zu nutzen.
Fakten-Tabelle:
– Hardware im Post: 5090, 5070Ti
– Modell: Llama 70B Q4
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: 0.4s (5090), 0.5s (5070Ti)
– Multi-GPU-Konfiguration: nicht im Post belegt
Clarifying how to calculate the KV cache usage in GiB (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer möchte die Berechnung der KV-Cache-Nutzung in GiB klären. Es wird nach der Bedeutung von `num_total_gpu` und `scheduler.block_manager.get_num_free_gpu_blocks()` gefragt, um die freien und reservierten GPU-Blöcke zu verstehen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist die Verwaltung der GPU-VRAM und des KV-Caches wichtig, um die Performance zu optimieren. Die Diskussion hilft, die VRAM-Nutzung und die freien Blöcke besser zu verstehen, was bei der Konfiguration von vLLM hilfreich sein kann.
Konsequenz für OpenCode-Nutzer:
Die Verwaltung des KV-Caches kann die Performance und die VRAM-Nutzung beeinflussen. Nutzer sollten die freien und reservierten GPU-Blöcke verstehen, um die beste Konfiguration zu erzielen.
Handlungsempfehlung:
Verwende die Logs, um die freien und reservierten GPU-Blöcke zu verstehen. Passe die Konfiguration an, um die VRAM-Nutzung zu optimieren.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Pipeline Parallelism Support (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer sucht nach Informationen, wie der Pipeline-Parallelismus in vLLM implementiert ist. Es wird nach dem Code gefragt, der das Modell in Pipeline-Stufen aufteilt, wenn `vllm serve` mit `–pipeline-parallel-size` verwendet wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein Home-Setup ist der Pipeline-Parallelismus relevant, um die VRAM-Nutzung zu optimieren und die Performance zu verbessern. Die Diskussion zeigt, dass das Modell in Pipeline-Stufen aufgeteilt wird, um die VRAM-Nutzung zu reduzieren.
Konsequenz für OpenCode-Nutzer:
Der Pipeline-Parallelismus kann die VRAM-Nutzung reduzieren und die Performance verbessern. Nutzer sollten die Pipeline-Parallelismus-Konfiguration testen, um die beste Performance zu erzielen.
Handlungsempfehlung:
Schau dir den Code an, der das Modell in Pipeline-Stufen aufteilt, und teste die Pipeline-Parallelismus-Konfiguration auf deinem Setup.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: GPT2
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP=4, PP=2
Weitere Diskussionen (kurz):
– Why my PR build docker image failed, how to solve this problem? — Enterprise — nicht autark-relevant
– Any known integration with n8n? — Enterprise — nicht autark-relevant
– Many 0 Day user questions – What is this vllm thing useful — Enterprise — nicht autark-relevant
– ……lib/python3.12/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSsb — Enterprise — nicht autark-relevant
– XGrammar falling to Outlines — Enterprise — nicht autark-relevant
– tool-call-parser for DeepSeek-V3 — Enterprise — nicht autark-relevant
– How to load the model successfully through multi-card in vllm? — Enterprise — nicht autark-relevant
– [can’t list models:curl http://127.0.0.1:50051/v1/models](https://github.com/vllm-project/v