vLLM-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung:
Die vLLM-Community diskutiert aktuell vor allem Themen, die die Autarkie und Effizienz von lokalen Multi-GPU-Setups betreffen. Dominierende Themen sind die Offline-Betriebsfähigkeit, die Quantisierung von Modellen, die Integration von Tool-Calling-Funktionen und die Optimierung der VRAM-Verwendung. Diese Diskussionen sind besonders relevant für Nutzer, die mit 4x 3090 oder 2x 5090 auf Claude-Sonnet-Niveau arbeiten möchten.
How can I run VLLM serving without an internet connection? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer hat Modelle von Hugging Face lokal heruntergeladen und möchte VLLM ohne Internetverbindung betreiben. Trotz des Setzens von `HF_HUB_OFFLINE=1` versucht VLLM immer noch, eine Verbindung zu Hugging Face herzustellen. Es wird gefragt, wie man VLLM vollständig offline betreiben kann.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist es wichtig, dass VLLM ohne Internetverbindung lauffähig ist. Dies ermöglicht es, Modelle lokal zu speichern und zu verwenden, ohne dass Code oder Prompts das Netzwerk verlassen. Dies ist besonders relevant für Nutzer, die Datenschutz und Autarkie priorisieren.
Konsequenz für OpenCode-Nutzer:
Die Möglichkeit, VLLM offline zu betreiben, erhöht die Sicherheit und Autarkie des Setups. Nutzer sollten sicherstellen, dass alle Modelle lokal gespeichert sind und die Umgebungsvariable `HF_HUB_OFFLINE=1` korrekt gesetzt ist.
Handlungsempfehlung:
Überprüfen Sie, ob alle Modelle lokal gespeichert sind und die Umgebungsvariable `HF_HUB_OFFLINE=1` korrekt gesetzt ist. Wenn Probleme auftreten, folgen Sie den Anweisungen in der Diskussion.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Running Llama4 quantized on 2xH100 80GB (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer versucht, Llama4 mit `fp8` oder `experts_int8` Quantisierung auf 2x H100 GPUs (160GB VRAM) zu betreiben. Trotz der erwarteten Halbierung der Parametergröße (110GB VRAM) tritt ein CUDA Out of Memory-Fehler auf.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 ist die Quantisierung von Modellen wichtig, um die VRAM-Verwendung zu reduzieren. Allerdings zeigt dieser Thread, dass selbst mit `int8` Quantisierung die VRAM-Beschränkungen der Consumer-GPUs erreicht werden können. Nutzer sollten alternative Quantisierungsmethoden oder kleinere Modelle in Betracht ziehen.
Konsequenz für OpenCode-Nutzer:
Die Quantisierung von Modellen kann die VRAM-Verwendung reduzieren, aber es ist wichtig, die Grenzen der verwendeten GPUs zu berücksichtigen. Nutzer sollten experimentieren, um die beste Kombination aus Modellgröße und Quantisierung zu finden.
Handlungsempfehlung:
Experimentieren Sie mit verschiedenen Quantisierungsmethoden und Modellgrößen, um die VRAM-Verwendung zu optimieren. Überprüfen Sie die Diskussion für weitere Tipps und Workarounds.
Fakten-Tabelle:
– Hardware im Post: 2x H100 (160GB VRAM)
– Modell: Llama4
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Determining Overall Speed for One Long Prompt (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer versucht, die Geschwindigkeit für lange Prompts zu benchmarken. Er erhält mehrere Geschwindigkeitsmessungen, da die Anfrage in mehrere Batches aufgeteilt wird. Es wird gefragt, ob es eine Möglichkeit gibt, die Gesamtgeschwindigkeit für die gesamte Anfrage zu ermitteln.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist die Genauigkeit der Geschwindigkeitsmessungen wichtig, um die Leistung des Setups zu optimieren. Die Fähigkeit, die Gesamtgeschwindigkeit für lange Prompts zu ermitteln, hilft bei der Bewertung der Effizienz des Setups und der Auswahl geeigneter Modelle.
Konsequenz für OpenCode-Nutzer:
Die Genauigkeit der Geschwindigkeitsmessungen kann helfen, die Leistung von OpenCode zu optimieren. Nutzer sollten sicherstellen, dass sie die Gesamtgeschwindigkeit für lange Prompts messen können, um die beste Konfiguration zu finden.
Handlungsempfehlung:
Überprüfen Sie die Diskussion für Vorschläge, wie die Gesamtgeschwindigkeit für lange Prompts gemessen werden kann. Aktualisieren Sie vLLM auf die neueste Version, um mögliche Verbesserungen zu nutzen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Qwen3-30B-A3B-FP8
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: 41.1 tokens/s, 19.8 tokens/s, 77.6 tokens/s
– Multi-GPU-Konfiguration: –tensor-parallel-size 2
Guidance regarding prepare calibration dataset to perform GPTQ (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer sucht Anleitung zur Vorbereitung eines Kalibrierungssatzes für die GPTQ-Quantisierung. Es wird gefragt, ob es empfohlene Datensätze gibt, die für die meisten Modelle (Llama, Qwen, etc.) geeignet sind, oder ob unterschiedliche Datensätze für verschiedene Modelle verwendet werden sollten.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist die Wahl des richtigen Kalibrierungssatzes wichtig, um die Quantisierung effektiv durchzuführen. Die Verwendung des C4-Datensatzes, wie in der GPTQ-Paper empfohlen, kann eine gute Ausgangsbasis sein. Dies hilft, die VRAM-Verwendung zu reduzieren und die Leistung zu verbessern.
Konsequenz für OpenCode-Nutzer:
Die Wahl des richtigen Kalibrierungssatzes kann die Effizienz und Leistung von OpenCode verbessern. Nutzer sollten den C4-Datensatz als Ausgangsbasis verwenden und gegebenenfalls anpassen, um die besten Ergebnisse zu erzielen.
Handlungsempfehlung:
Verwenden Sie den C4-Datensatz als Kalibrierungssatz für die GPTQ-Quantisierung. Überprüfen Sie die Diskussion für weitere Tipps und Anpassungen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama, Qwen, etc.
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
TP/PP with Different VRAM Cards (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer hat eine 4070 Ti Super (16GB VRAM) und überlegt, eine Tesla L4 (24GB VRAM) hinzuzufügen. Es wird gefragt, wie die VRAM-Verwendung bei TP (Tensor Parallelism) und PP (Pipeline Parallelism) gestaltet ist, wenn Karten mit unterschiedlicher VRAM verwendet werden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 ist die VRAM-Verwendung bei TP und PP wichtig. Die Diskussion zeigt, dass bei TP die VRAM der kleineren Karte das Limit darstellt, während bei PP die gesamte VRAM der Karten genutzt werden kann. Dies ist relevant, um die beste Kombination von GPUs zu finden.
Konsequenz für OpenCode-Nutzer:
Die VRAM-Verwendung bei TP und PP kann die Leistung und Effizienz von OpenCode beeinflussen. Nutzer sollten die VRAM-Beschränkungen der verwendeten GPUs berücksichtigen und gegebenenfalls TP oder PP anpassen.
Handlungsempfehlung:
Überprüfen Sie die Diskussion für Details zur VRAM-Verwendung bei TP und PP. Experimentieren Sie mit verschiedenen Konfigurationen, um die beste Leistung zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 4070 Ti Super (16GB VRAM), Tesla L4 (24GB VRAM)
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: TP, PP
Can I run VLLM with 5090+5070Ti for Llama 70B Q4 (needs approximately 42 GB) inference? Or do I need identical GPUs? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer möchte wissen, ob er VLLM mit einer Kombination aus 5090 und 5070Ti für die Inference von Llama 70B Q4 (ca. 42GB VRAM) betreiben kann. Es wird gefragt, ob identische GPUs erforderlich sind und welche Leistungserwartungen realistisch sind.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 ist die Verwendung von unterschiedlichen GPUs relevant. Die Diskussion zeigt, dass es möglich ist, VLLM mit unterschiedlichen GPUs zu betreiben, aber die Leistung und VRAM-Verwendung sorgfältig überprüft werden müssen.
Konsequenz für OpenCode-Nutzer:
Die Verwendung von unterschiedlichen GPUs kann die VRAM-Verwendung und Leistung beeinflussen. Nutzer sollten die VRAM-Beschränkungen der kleineren Karte berücksichtigen und gegebenenfalls TP oder PP anpassen.
Handlungsempfehlung:
Überprüfen Sie die Diskussion für Details zur VRAM-Verwendung und Leistung bei der Verwendung von unterschiedlichen GPUs. Experimentieren Sie mit verschiedenen Konfigurationen, um die beste Leistung zu erzielen.
Fakten-Tabelle:
– Hardware im Post: 5090, 5070Ti
– Modell: Llama 70B Q4
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: 0.4s (5090), 0.5s (5070Ti)
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– Why my PR build docker image failed, how to solve this problem? — Enterprise — nicht autark-relevant
– Any known integration with n8n? — Enterprise — nicht autark-relevant
– Many 0 Day user questions – What is this vllm thing useful — Allgemeine Fragen, nicht spezifisch für autarkes Home-Setup
– ……lib/python3.12/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSsb — Technisches Problem, nicht spezifisch für autarkes Home-Setup
– XGrammar falling to Outlines — Spezifisches Problem mit XGrammar, relevant für fortgeschrittene Nutzer
– tool-call-parser for DeepSeek-V3 — Spezifisches Problem mit Tool-Calling, relevant für fortgeschrittene Nutzer
– Clarifying how to calculate the KV cache usage in GiB — Technisches Problem, relevant für fortgeschrittene Nutzer
– Pipeline Parallelism Support — Enterprise — nicht autark-relevant
– can’t list models:curl http://127.0.0.1:50051/v1/models — Technisches Problem, relevant für fortgeschrittene Nutzer