Selfhost-GPU TT.09.2026: Qwen 3.8 27B auf 1x RTX 3090 und 1x RTX 5090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B Q4, Q8 KV | 24 GB / 1x RTX 3090 | RTX 3090 | ~250 tps (prefill ~700 tps) | The bear can dance: Qwen 3.8 27B on one 3090 for 3 weeks |
| Qwen 3.8 27B Q6_K | 32 GB / 1x RTX 5090 | RTX 5090 | 140-190 tok/s (DFlash2 speculative decoding) | Qwen3.8-27B uncensored Q6_K at 156K context on one RTX 5090, 140-190 tok/s with DFlash2 |
Zusammenfassung
– Qwen 3.8 27B auf 1x RTX 3090: Ein lokaler Agent-Loop lief für ~21 Tage, wobei das Modell eine CUDA-Inferenz-Engine für die GPU-Architektur optimierte. Es erreichte ~250 tps bei der Decodierung und ~700 tps bei der Prefill.
– Qwen 3.8 27B auf 1x RTX 5090: Das Modell wurde mit DFlash2 und spekulativer Decodierung auf einer 5090 ausgeführt, wobei es 140-190 tok/s erreichte. Die VRAM-Belastung betrug 32 GB.