Selfhost-GPU TT.10.2026: Qwen3.8-Flash-Next-GSQ-RCO auf 12GB VRAM + 32GB RAM + NVME
Ein Beitrag von /u/bodhi371 zeigt, wie man das Modell Qwen3.8-Flash-Next-GSQ-RCO-Abliterated auf einer Kombination von 12GB VRAM, 32GB RAM und einem NVME-Laufwerk laufen lassen kann. Die Konfiguration erreicht 40-50 tok/s bei der Decodierung und 1300-1500 tok/s bei der Prefill bei einem Kontext von 131k (44k Denkbudget).
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-Flash-Next-GSQ-RCO-Abliterated (IQ3_S) | 12GB VRAM + 32GB RAM + NVME | Custom Fork of Strata | 40-50 tok/s decode, 1300-1500 tok/s prefill | Link |
Die Verwendung dieser Hardware-Konfiguration ermöglicht es, das Modell lokal und effizient zu betreiben, was besonders für Nutzer mit begrenzten Ressourcen von Interesse sein kann.