vLLM-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die vLLM-Community diskutiert aktuell hauptsächlich Themen, die die Performance-Optimierung und die Erweiterung der Funktionalität von LLMs auf Consumer-GPUs betreffen. Besonders prominent sind Diskussionen zur Verbesserung der Tool-Calling-Qualität, der Unterstützung großer Kontexte und der Quantisierung. Diese Themen sind besonders relevant für Nutzer, die ein autarkes Home-Setup mit 4x 3090 oder 2x 5090 GPUs betreiben und ein Claude-Sonnet-Niveau anstreben. Die Community arbeitet daran, die Effizienz und die Benutzerfreundlichkeit von vLLM zu steigern, um ein lokales KI-Setup ohne Cloud-Abhängigkeiten zu ermöglichen.
Why do vllm set default keep-alive timeout to 5s? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Die Diskussion dreht sich um das Standard-Timeout von 5 Sekunden für die Keep-Alive-Verbindung in vLLM. Der Nutzer berichtet, dass bei langen und umfangreichen Modellen die Verbindung nach 5 Sekunden getrennt wird, was zu Fehlern führt. Er fragt, ob es möglich ist, dieses Timeout über uvicorn-Argumente zu überschreiben.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist es wichtig, dass die Verbindung stabil bleibt, insbesondere bei langen und komplexen Aufgaben. Die Möglichkeit, das Timeout zu erhöhen, kann dazu beitragen, dass die Verbindung nicht vorzeitig getrennt wird und die Performance verbessert wird. Dies ist besonders relevant für Nutzer mit Consumer-GPUs, die oft längere Berechnungszeiten haben.
Konsequenz für OpenCode-Nutzer:
Die Erhöhung des Keep-Alive-Timeouts kann dazu beitragen, dass die Verbindung während langer Berechnungen stabil bleibt. Dies führt zu weniger Unterbrechungen und besseren Ergebnissen, insbesondere bei komplexen Tool-Calling-Aufgaben.
Handlungsempfehlung:
Überprüfen Sie die uvicorn-Argumente und erhöhen Sie das Timeout, wenn nötig. Dies kann in der Konfiguration von vLLM eingestellt werden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Reasoning models and structured output (e.g. QwQ-32B and JSON) (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer diskutiert, wie man reasoning models wie QwQ-32B mit strukturierten Ausgaben (z.B. JSON) verwenden kann. Er berichtet, dass die Ausgabe nicht wie erwartet ist und fragt, ob dies erwartetes Verhalten ist. Er beschreibt, welche Befehle er verwendet hat und welche Ausgaben er erhält.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Unterstützung von reasoning models und strukturierten Ausgaben ist wichtig für Nutzer, die komplexe Aufgaben mit strukturierten Daten lösen möchten. Dies ist besonders relevant für OpenCode-Nutzer, die eine hohe Genauigkeit und Struktur in den Ausgaben benötigen. Die Diskussion zeigt, dass es bereits Möglichkeiten gibt, diese Funktionen zu nutzen, auch auf Consumer-GPUs.
Konsequenz für OpenCode-Nutzer:
Die Möglichkeit, reasoning models mit strukturierten Ausgaben zu verwenden, kann die Qualität der Tool-Calling-Aufgaben verbessern. Nutzer sollten die Dokumentation und die Beispiele in der Diskussion prüfen, um die erwarteten Ergebnisse zu erzielen.
Handlungsempfehlung:
Überprüfen Sie die Dokumentation und die Beispiele in der Diskussion. Wenn Probleme auftreten, können Sie die Konfiguration anpassen oder die Community um Hilfe bitten.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: QwQ-32B, DeepSeek-R1-Distill-Qwen-1.5B
– Framework-Version: vLLM 0.8.2
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Why is vLLM CPU backend using oneDNN kernels? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Nutzer fragt, warum vLLM bei der CPU-Inference oneDNN-Kernels verwendet, obwohl die meisten CPU-Aufgaben von OpenBLAS und C++-Kernels übernommen werden. Er möchte eine Erklärung, um die ARM-CPU-Inference-Performance zu optimieren.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Diese Diskussion ist eher relevant für Nutzer, die CPU-Inference optimieren möchten. Für ein autarkes Home-Setup mit Consumer-GPUs ist dies weniger wichtig, da die Hauptlast auf den GPUs liegt. Allerdings kann die Optimierung der CPU-Aufgaben die Gesamtleistung verbessern, insbesondere bei Aufgaben, die sowohl CPU- als auch GPU-Ressourcen nutzen.
Konsequenz für OpenCode-Nutzer:
Die Optimierung der CPU-Aufgaben kann die Gesamtleistung des Home-Setups verbessern. Nutzer, die sowohl CPU- als auch GPU-Aufgaben ausführen, sollten die Diskussion prüfen, um mögliche Optimierungen zu identifizieren.
Handlungsempfehlung:
Wenn Sie sowohl CPU- als auch GPU-Aufgaben ausführen, prüfen Sie die Diskussion und die Antworten der Community. Mögliche Optimierungen können in der Dokumentation oder in zukünftigen Updates implementiert werden.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Json mode in offline batch inference (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, ob es möglich ist, eine benutzerdefinierte Decoding-Konfiguration für JSON-Modi in einem Batch in der Offline-Inference zu verwenden. Er möchte verschiedene JSON-Strukturen für verschiedene Samples erzwingen, was derzeit nicht direkt unterstützt wird.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Möglichkeit, benutzerdefinierte Decoding-Konfigurationen für JSON-Modi zu verwenden, ist wichtig für Nutzer, die komplexe und strukturierte Ausgaben erzeugen möchten. Dies ist besonders relevant für OpenCode-Nutzer, die spezifische JSON-Strukturen für verschiedene Aufgaben benötigen. Die Diskussion zeigt, dass es bereits Möglichkeiten gibt, diese Funktionen zu nutzen, auch auf Consumer-GPUs.
Konsequenz für OpenCode-Nutzer:
Die Unterstützung von benutzerdefinierten JSON-Modi kann die Flexibilität und Genauigkeit der Tool-Calling-Aufgaben verbessern. Nutzer sollten die Diskussion prüfen, um zu sehen, ob ihre spezifischen Anforderungen erfüllt werden können.
Handlungsempfehlung:
Überprüfen Sie die Diskussion und die Antworten der Community. Wenn Ihre Anforderungen nicht direkt unterstützt werden, können Sie mögliche Workarounds oder Erweiterungen prüfen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
How to configure vllm to gracefully mark the too-long inputs without throwing? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, wie man vLLM konfigurieren kann, um zu lange Eingaben ohne Fehlermeldung zu verarbeiten. Derzeit wirft vLLM eine Fehlermeldung, wenn die Eingabe zu lang ist. Der Nutzer schlägt vor, stattdessen eine Fehlermeldung in den Ausgaben zurückzugeben oder die Eingabe zu kürzen.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Möglichkeit, zu lange Eingaben ohne Fehlermeldung zu verarbeiten, ist wichtig für Nutzer, die große Mengen an Text verarbeiten müssen. Dies ist besonders relevant für OpenCode-Nutzer, die oft mit umfangreichen Texten arbeiten. Die Diskussion zeigt, dass es bereits Möglichkeiten gibt, diese Funktionen zu nutzen, auch auf Consumer-GPUs.
Konsequenz für OpenCode-Nutzer:
Die Möglichkeit, zu lange Eingaben zu kürzen oder Fehlermeldungen in den Ausgaben zurückzugeben, kann die Robustheit und Benutzerfreundlichkeit des Home-Setups verbessern. Nutzer sollten die Diskussion prüfen, um zu sehen, wie sie ihre Workflows optimieren können.
Handlungsempfehlung:
Überprüfen Sie die Diskussion und die Antworten der Community. Wenn Ihre Anforderungen nicht direkt unterstützt werden, können Sie mögliche Workarounds oder Erweiterungen prüfen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
VLLM Inference Optimizations (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Nutzer fragt, welche Optimierungen vLLM für die LLM-Inference im Vergleich zu einem nativen PyTorch-Aufruf bereitstellt. Er erwähnt paged attention und prefix caching als bekannte Optimierungen und fragt, welche anderen Optimierungen automatisch angewendet werden. Er stellt auch die Frage, ob bei der Modellladung zusätzliche Berechnungen durchgeführt werden.
Was heisst das für ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Die Optimierungen, die vLLM bereitstellt, sind entscheidend für die Effizienz und Leistung eines autarken Home-Setups. Die paged attention und prefix caching können die VRAM-Verwendung reduzieren und die Geschwindigkeit der Inference verbessern. Die Diskussion zeigt, dass es bereits umfangreiche Optimierungen gibt, die auch auf Consumer-GPUs nutzbar sind.
Konsequenz für OpenCode-Nutzer:
Die Verwendung von vLLM mit den bereitgestellten Optimierungen kann die Leistung und Effizienz des Home-Setups erheblich verbessern. Nutzer sollten die Dokumentation und die Diskussion prüfen, um zu verstehen, welche Optimierungen angewendet werden und wie sie diese nutzen können.
Handlungsempfehlung:
Überprüfen Sie die Dokumentation und die Diskussion, um zu verstehen, welche Optimierungen angewendet werden. Wenn Sie spezifische Anforderungen haben, können Sie die Community um Hilfe bitten oder mögliche Erweiterungen prüfen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: tensor_parallel_size=8
Weitere Diskussionen (kurz):
– Which tests do I have to run before submitting a pool request for a new feature? — ENTERPRISE (für uns irrelevant): Diskussion über die Tests, die vor der Erstellung eines Pull-Requests durchgeführt werden müssen. Relevanter für Entwickler, die Beiträge leisten.
– The num of dynamically serving LoRA adapters can not limited by param max-loras? — BEDINGT: Diskussion über das Verhalten des Parameters `max-loras` bei der dynamischen Bereitstellung von LoRA-Adaptern. Relevanter für Nutzer, die mehrere AdAPTER verwenden.
– Output hidden states like hugging face — BEDINGT: Diskussion über die Möglichkeit, alle Hidden States während der Inference zu erhalten. Relevanter für Nutzer, die detaillierte Analyse der Modellausgaben benötigen.
– Determining Overall Speed for One Long Prompt — BEDINGT: Diskussion über die Messung der Gesamtleistung für lange Prompts. Relevanter für Nutzer, die die Performance von langen Texten optimieren möchten.
– Structured Generation with Reasoning Parser in offline mode. — BEDINGT: Diskussion über die Unterstützung von reasoning parsers und strukturierten Ausgaben in der Offline-Inference. Relevanter für Nutzer, die komplexe und strukturierte Ausgaben benötigen.
– GitHub discussion is not used anymore, please use the forum for discussion. — ENTERPRISE (für uns irrelevant): Ankündigung, dass die GitHub-Diskussionen nicht mehr verwendet werden und die Community auf das Forum umzieht.
– vLLM failing to recognize GPU from latest official docker image — BEDINGT: Diskussion über ein Problem, bei dem vLLM in der neuesten Docker-Image-Version keine GPU erkennt. Relevanter für Nutzer, die Docker-Images verwenden.
– ……lib/python3.12/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSsb — ENTERPRISE (für uns irrelevant): Diskussion über ein undefiniertes Symbol in einer Bibliothek. Relevanter für Entwickler, die mit der Bibliothek arbeiten.
– Can vllm serving clients by using multiple model instances? — ENTERPRISE (für uns irrelevant): Diskussion über die Möglichkeit, mehrere Modellinstanzen zu verwenden, um die Last zu verteilen. Relevanter für Entwickler, die skalierbare Systeme bauen.