vLLM-Community: Autarke Multi-GPU-Inference für lokale Coding-Agenten
Kurzfassung
Die vLLM-Community diskutiert aktuell vor allem Themen, die die Performance-Optimierung und die Erweiterung der Funktionalität von LLMs auf Consumer-GPUs betreffen. Dominierende Themen sind die Optimierung der Inference-Geschwindigkeit, die Unterstützung von Quantisierungstechniken und die Verbesserung der Tool-Calling-Fähigkeiten. Für jemanden, der mit 4x 3090 oder 2x 5090 zu Claude-Sonnet-Niveau kommen möchte, sind insbesondere die Diskussionen zur Quantisierung, zur Kontext-Länge und zur Prefix-Caching-Technologie relevant.
Which tests do I have to run before submitting a pool request for a new feature? (6/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Diskussionsbeitrag behandelt die Frage, welche Tests vor der Einreichung eines Pull Requests für eine neue Funktion durchgeführt werden müssen. Der Autor hat eine Funktion zur Ausgabe von Hidden States implementiert und versucht, die notwendigen Tests zu identifizieren, um sicherzustellen, dass seine Änderungen den Anforderungen entsprechen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist es wichtig, dass die Implementierung von neuen Funktionen die bestehenden Tests besteht, um die Stabilität und Kompatibilität zu gewährleisten. Allerdings können einige Tests aufgrund der begrenzten Ressourcen in einem Home-Setup fehlschlagen. Es ist ratsam, die kritischen Tests zu identifizieren und diese lokal durchzuführen, um sicherzustellen, dass die Änderungen funktionieren.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung von Hidden States kann nützlich sein, um die internen Repräsentationen des Modells zu analysieren. Dies kann helfen, bessere Tool-Calling-Fähigkeiten zu entwickeln oder spezifische Fehler zu diagnostizieren.
Handlungsempfehlung:
Vor dem Pull Request die kritischen Tests lokal durchführen und sicherstellen, dass die Änderungen die bestehenden Funktionen nicht beeinträchtigen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
The num of dynamically serving LoRA adapters can not limited by param max-loras? (7/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschäftigt sich mit einem Problem, bei dem die Anzahl der dynamisch geladenen LoRA-Adapter über den Parameter `max-loras` nicht begrenzt wird. Der Autor hat festgestellt, dass er trotz der Einstellung `max-loras 3` mehr als drei Adapter hinzufügen kann, was zu Fragen über die Funktionsweise der Begrenzung führt.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist es wichtig, die Anzahl der geladenen LoRA-Adapter zu begrenzen, um die VRAM-Verwendung zu optimieren. Die Fehlfunktion des Parameters `max-loras` kann zu Überlastungen führen, insbesondere bei Modellen mit hohem VRAM-Verbrauch. Es ist ratsam, die Anzahl der Adapter manuell zu kontrollieren und sicherzustellen, dass sie innerhalb der VRAM-Grenzen bleibt.
Konsequenz fuer OpenCode-Nutzer:
Die manuelle Kontrolle der Anzahl der LoRA-Adapter kann helfen, die VRAM-Verwendung zu optimieren und Überlastungen zu vermeiden. Dies ist besonders wichtig für Agent-Workloads, die häufige Modellwechsel erfordern.
Handlungsempfehlung:
Manuelle Kontrolle der Anzahl der geladenen LoRA-Adapter und Überwachung der VRAM-Verwendung.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama-2-7b-hf
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
How to configure vllm to gracefully mark the too-long inputs without throwing? (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag behandelt das Problem, dass vLLM bei zu langen Eingaben eine Ausnahme wirft, anstatt diese fehlerhaft zu markieren und die anderen Eingaben weiterzubearbeiten. Der Autor schlägt vor, eine Konfiguration zu implementieren, die es ermöglicht, zu lange Eingaben zu kennzeichnen, ohne den gesamten Prozess zu unterbrechen.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist es wichtig, dass die Inference-Routine robust gegen zu lange Eingaben ist. Die aktuelle Implementierung, die eine Ausnahme wirft, kann zu Unterbrechungen führen, was insbesondere bei batch-orientierten Workloads problematisch sein kann. Eine fehlerhafte Kennzeichnung von zu langen Eingaben würde die Robustheit des Systems verbessern und die VRAM-Verwendung optimieren.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung einer fehlerhaften Kennzeichnung von zu langen Eingaben kann dazu beitragen, dass der Agent-Workflow robuster wird und weniger häufig unterbrochen wird. Dies ist besonders nützlich für Tool-Calling-Szenarien, bei denen die Eingaben variieren können.
Handlungsempfehlung:
Auf die Implementierung der vorgeschlagenen Funktion warten oder einen Workaround implementieren, der zu lange Eingaben vor der Verarbeitung filtert.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
VLLM Inference Optimizations (9/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschäftigt sich mit den Optimierungen, die vLLM zur Verbesserung der Inference-Leistung anwendet. Der Autor fragt nach spezifischen Optimierungen wie paged attention und prefix caching und möchte verstehen, welche Optimierungen automatisch angewendet werden, wenn ein Modell geladen wird.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup sind Optimierungen wie paged attention und prefix caching besonders wichtig, um die VRAM-Verwendung zu minimieren und die Inference-Geschwindigkeit zu verbessern. Die Kenntnis der angewendeten Optimierungen kann helfen, das Setup besser zu konfigurieren und die Leistung zu maximieren.
Konsequenz fuer OpenCode-Nutzer:
Die Verwendung von Optimierungen wie paged attention und prefix caching kann dazu beitragen, dass der Agent-Workflow effizienter und robuster wird. Dies ist besonders nützlich für Tool-Calling-Szenarien, bei denen die Kontext-Länge und die VRAM-Verwendung kritisch sind.
Handlungsempfehlung:
Sich mit den spezifischen Optimierungen vertraut machen und diese in der Konfiguration des Home-Setups berücksichtigen.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: nicht im Post belegt
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: tensor_parallel_size=8
Output hidden states like hugging face (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Diskussionsbeitrag behandelt die Frage, ob es möglich ist, alle Hidden States aus der Vorwärtsdurchlauf eines Llama-Modells mit vLLM zu extrahieren, ähnlich wie bei Hugging Face mit der Option `output_hidden_states=True`. Der Autor möchte Zugriff auf die Ausgaben jeder Schicht, nicht nur auf die letzten Embeddings.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup kann die Extraktion von Hidden States nützlich sein, um die internen Repräsentationen des Modells zu analysieren und bessere Tool-Calling-Fähigkeiten zu entwickeln. Allerdings kann die Extraktion aller Hidden States die VRAM-Verwendung signifikant erhöhen, was bei begrenzten Ressourcen problematisch sein kann.
Konsequenz fuer OpenCode-Nutzer:
Die Extraktion von Hidden States kann helfen, die internen Repräsentationen des Modells zu verstehen und bessere Tool-Calling-Fähigkeiten zu entwickeln. Es ist jedoch wichtig, die VRAM-Verwendung zu überwachen und gegebenenfalls eine selektive Extraktion zu implementieren.
Handlungsempfehlung:
Auf die Implementierung der Funktion warten oder einen Workaround implementieren, der die VRAM-Verwendung minimiert.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Llama
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Determining Overall Speed for One Long Prompt (8/10) — OpenCode-Fit: JA
Worum geht es konkret?
Der Diskussionsbeitrag beschäftigt sich mit der Frage, wie man die Gesamtgeschwindigkeit für eine lange Eingabe bestimmen kann. Der Autor bemerkt, dass er multiple Geschwindigkeitsmessungen erhält, wenn er eine lange Eingabe verarbeitet, und fragt, ob es möglich ist, die Gesamtgeschwindigkeit für die gesamte Anfrage zu ermitteln.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist es wichtig, die Gesamtgeschwindigkeit der Inference zu verstehen, um die Leistung zu optimieren. Die aktuelle Implementierung, die multiple Geschwindigkeitsmessungen liefert, kann die Analyse erschweren. Eine Funktion zur Bestimmung der Gesamtgeschwindigkeit würde die Leistungsanalyse vereinfachen und die Optimierung erleichtern.
Konsequenz fuer OpenCode-Nutzer:
Die Bestimmung der Gesamtgeschwindigkeit kann helfen, die Leistung des Agent-Workflows besser zu verstehen und zu optimieren. Dies ist besonders nützlich für Tool-Calling-Szenarien, bei denen die Eingaben lang und komplex sein können.
Handlungsempfehlung:
Auf die Implementierung der Funktion warten oder einen Workaround implementieren, der die Gesamtgeschwindigkeit berechnet.
Fakten-Tabelle:
– Hardware im Post: 2x GPU
– Modell: Qwen/Qwen3-30B-A3B-FP8
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: 41.1 tokens/s, 19.8 tokens/s, 77.6 tokens/s
– Multi-GPU-Konfiguration: tensor_parallel_size=2
Structured Generation with Reasoning Parser in offline mode. (7/10) — OpenCode-Fit: BEDINGT
Worum geht es konkret?
Der Diskussionsbeitrag behandelt das Problem, dass die Verwendung des Reasoning Parsers und der strukturierten Generierung in offline-Modus nicht möglich ist. Der Autor möchte, dass Qwen 3 über den Reasoning Parser eine strukturierte JSON-Antwort generiert, was aktuell nicht funktioniert.
Was heisst das fuer ein autarkes Home-Setup (4x 3090 / 2x 5090 / Mac Studio)?
Für ein autarkes Home-Setup ist die Fähigkeit, strukturierte Antworten zu generieren, besonders wichtig, um die Ausgabe des Modells für spezifische Anwendungen zu optimieren. Die aktuelle Einschränkung des Reasoning Parsers in offline-Modus kann die Nutzung des Modells für solche Anwendungen erschweren.
Konsequenz fuer OpenCode-Nutzer:
Die Implementierung des Reasoning Parsers in offline-Modus kann dazu beitragen, dass der Agent-Workflow robuster und flexibler wird. Dies ist besonders nützlich für Tool-Calling-Szenarien, bei denen strukturierte Ausgaben erforderlich sind.
Handlungsempfehlung:
Auf die Implementierung der Funktion warten oder einen Workaround implementieren, der die strukturierte Generierung in offline-Modus ermöglicht.
Fakten-Tabelle:
– Hardware im Post: nicht im Post belegt
– Modell: Qwen 3
– Framework-Version: nicht im Post belegt
– tok/s / Benchmark: nicht im Post belegt
– Multi-GPU-Konfiguration: nicht im Post belegt
Weitere Diskussionen (kurz):
– GitHub discussion is not used anymore, please use the forum for discussion. — Enterprise — nicht autark-relevant
– vLLM failing to recognize GPU from latest official docker image — Enterprise — nicht autark-relevant
– ……lib/python3.12/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSsb — Enterprise — nicht autark-relevant
– Can vllm serving clients by using multiple model instances? — Enterprise — nicht autark-relevant
– What’s the difference between vllm and triton-inference-server? — Enterprise — nicht autark-relevant
– vLLM cannot connect to existing Ray cluster — Enterprise — nicht autark-relevant
– Running Llama4 quantized on 2xH100 80GB — Enterprise — nicht autark-relevant