Selfhost-GPU TT.09.2026: Qwen 3.8 27B on 2x 5090 vLLM
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B Q4, Q8 KV | 2x 5090 | RTX 5090 | ~85.6 tok/s MTP | Link |
| Qwen 3.8 27B UD-Q6_K and Q8_0 | 2x 5090 | RTX 5090 | 1,220–1,234 tok/s (lazy-mode off + load-mode none) | Link |
| Qwen 3.8 27B UD-Q6_K | 1x 5090 | RTX 5090 | 85.6 tok/s MTP | Link |
| Qwen 3.8 27B UD-Q4_K_XL | 1x 3090 | RTX 3090 | ~250 tok/s (initial prefill) | Link |
Zusammenfassung der Runs
1. Qwen 3.8 27B on 2x 5090 vLLM:
– Hardware: 2x RTX 5090
– Software: vLLM
– Tok/s: ~85.6 tok/s MTP
– Fazit: Effizientes Setup für große Modelle wie Qwen 3.8 27B auf Consumer-Karten.
2. Qwen 3.8 27B UD-Q6_K and Q8_0 on 2x 5090:
– Hardware: 2x RTX 5090
– Software: llama.cpp
– Tok/s: 1,220–1,234 tok/s (lazy-mode off + load-mode none)
– Fazit: Optimierte Einstellungen für hohe Leistung bei großen Modellen.
3. Qwen 3.8 27B UD-Q6_K on 1x 5090:
– Hardware: 1x RTX 5090
– Software: llama.cpp
– Tok/s: 85.6 tok/s MTP
– Fazit: Gutes Leistungs-Preis-Verhältnis für ein einzelnes 5090.
4. Qwen 3.8 27B UD-Q4_K_XL on 1x 3090:
– Hardware: 1x RTX 3090
– Software: llama.cpp
– Tok/s: ~250 tok/s (initial prefill)
– Fazit: Akzeptable Leistung für ein älteres Modell auf einer 3090.
Diese Runs zeigen, dass große Modelle wie Qwen 3.8 27B auch auf Consumer-GPUs effizient betrieben werden können, insbesondere mit der richtigen Software und Optimierung.