Selfhost-GPU TT.09.2026: Qwen3.8-27B uncensored Q6_K at 156K context on one RTX 5090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-27B uncensored Q6_K | 32 GB / 1 GPU | RTX 5090 | 140-190 tok/s (DFlash2), 62 tok/s (no speculation) | Link |
| Qwen3.8-27B INT4 | 24 GB / 1 GPU | RTX 3090 | 38.39 tok/s (decode), 871.93 tok/s (prefill) | Link |
| DeepSeek V4.1F Q4 | 32 GB / 1 GPU | M3 Ultra | 40.5 tok/s (DSpark on code), 41.3 tok/s (DSpark on agent turns) | Link |
| Qwen3.8-27B-ATX-IQ4_XS-M | 24 GB / 1 GPU | RTX 3090 | 90+ tok/s (agentic/coding) | Link |
Heute gab es einige interessante Runs, die zeigen, wie weit man mit Consumer-GPUs kommen kann. Besonders hervorzuheben ist der Run von Qwen3.8-27B uncensored Q6_K auf einem RTX 5090, der eine beeindruckende Leistung von 140-190 tok/s bei 156K Kontext zeigt.