Selfhost-GPU TT.25.09.2026: Qwen3.8-27B on 2x 5090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B (Q4, Q8 KV) | 2x 5090 | RTX 5090 | >70 tok/s (single stream), >160 tok/s (concurrent), 10k tok/s prefill | Qwen3.8-27B: >70 tok/s (>160 tok/s concurrent), 10k tok/s prefill, full context on 2×3090 (or and 48GB or larger on ampere or higher), vanilla vllm |
| Qwen 3.8 27B (Q4, Q8 KV) | 2x 5090 | RTX 5090 | 704 tok/s (prefill), 1,104 tok/s (prefill with lazy-mode off), 1,220–1,234 tok/s (prefill with lazy-mode off and load-mode none) | 5090 + 3090, Qwen3.8 27B and Flash-Next at 60k–160k context tests with llama.cpp |
| Qwen 3.8 27B (Q4, Q8 KV) | 2x 5090 | RTX 5090 | 40 tok/s (decode), 50 tok/s (prompt processing) | Qwen3.8-Flash-Next, on 5090+64gb, with Llama.cpp – Seems to not use ram? |
| Qwen 3.8 27B (Q4, Q8 KV) | 2x 5090 | RTX 5090 | 704 tok/s (prefill), 1,104 tok/s (prefill with lazy-mode off), 1,220–1,234 tok/s (prefill with lazy-mode off and load-mode none) | 5090 + 3090, Qwen3.8 27B and Flash-Next at 60k–160k context tests with llama.cpp |
Zusammenfassung
Heute gibt es einige interessante Runs von Qwen 3.8 27B auf 2x RTX 5090. Die besten Ergebnisse zeigen eine durchschnittliche Geschwindigkeit von über 70 Tokens pro Sekunde (single stream) und bis zu 160 Tokens pro Sekunde bei konkurrierenden Anfragen. Die Prefill-Geschwindigkeit erreicht sogar Werte von über 10.000 Tokens pro Sekunde. Diese Leistungen sind beeindruckend und zeigen, dass die Kombination von Qwen 3.8 27B und 2x RTX 5090 eine sehr leistungsfähige Plattform für lokale Inference darstellt.