Selfhost-GPU TT.09.2026: Qwen 3.8 27B auf 2×3090
Heute gibt es einen beeindruckenden Run von Qwen 3.8 27B auf 2×3090, der mehr als 70 tok/s erreicht. Hier sind die Details:
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B INT4 | 2×3090 (48 GB) | RTX 3090 | >70 tok/s, 10k tok/s prefill | Link |
Der Benutzer hat vLLM v0.29 auf Linux verwendet und die folgenden Einstellungen getroffen, um die bestmögliche Leistung zu erzielen:
– `vllm serve RedHatAI/Qwen3.8-27B-INT4 –max-model-len auto –enable-auto-tool-choice –tool-call-parser qwen3_xml –reasoning-parser qwen3 –enable-prefix-caching –kv-cache-dtype fp8 –trust-remote-code –max-num-seqs 8 –gpu_memory_utilization 0.9 –max-num-batched-tokens 8192 –mm-encoder-tp-mode data –speculative-config ‚{„method“:“mtp“,“num_speculative_tokens“:3}‘ –tensor-parallel-size 2`
Diese Konfiguration ermöglicht eine vollständige Kontextlänge von 262k und eine gleichzeitige Verarbeitung von bis zu 200 tok/s bei 3-4 parallelen Streams. Die Leistung wurde über einen Monat hinweg mit realen Workflows gemessen, was die Stabilität und Zuverlässigkeit dieser Setup unterstreicht.
Für weitere Details und Diskussionen zum Setup und den Einstellungen, siehe den vollständigen Thread.