Selfhost-GPU TT.10.2026: Qwen3.8-27B on Dual GPUs (RTX 5090 + RTX 4070 Ti Super)
Tabelle
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-27B FP8 | 48 GB (RTX 5090 + RTX 4070 Ti Super) | RTX 5090 (32 GB), RTX 4070 Ti Super (16 GB) | 1,596 t/s (260k context) | Link |
Zusammenfassung
Heute gibt es einen beeindruckenden Run von Qwen3.8-27B auf einer Dual-GPU-Setup mit einer RTX 5090 (32 GB) und einer RTX 4070 Ti Super (16 GB). Der Benutzer hat vLLM 0.30.0 und eine spezielle Pipeline-Parallelisierung verwendet, um die Leistung zu maximieren. Die Benchmarks zeigen, dass das Setup bei einem Kontext von 260k Token eine durchschnittliche Geschwindigkeit von 1,596 Token pro Sekunde erreicht. Die Leistung ist besonders bemerkenswert, da die RTX 4070 Ti Super über eine PCIe x1-Verbindung läuft, was normalerweise als limitierend angesehen wird. Der Benutzer hat auch eine GitHub-Repository erstellt, um die Einrichtung zu dokumentieren und anderen zu helfen, ähnliche Setup zu erstellen.