Selfhost-GPU TT.10.2026: Qwen3.8-27B (Q6_K_XL) 110+ TPS at 256k context on a single RTX 5090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-27B (Q6_K_XL) | 32 GB | RTX 5090 | 110+ TPS | Qwen3.8-27B (Q6_K_XL) 110+ TPS at 256k context on a single RTX 5090, with a KV buffer decoupled from context size |
Fazit:
Ein Benutzer hat erfolgreich Qwen3.8-27B (Q6_K_XL) auf einer einzelnen RTX 5090 mit 32 GB VRAM laufen lassen. Durch die Implementierung einer decoupled KV-BUFFER-Strategie konnte er eine durchschnittliche Token-Generierung von über 110 Tokens pro Sekunde (TPS) erreichen, selbst bei einem logischen Kontext von 256k Tokens. Dies ist besonders beeindruckend, da die physische KV-BUFFER-Größe auf etwa 85k Zellen begrenzt wurde, was die VRAM-Verwendung und die Decoding-Geschwindigkeit effizient hält.