Selfhost-GPU TT.10.2026: Qwen3.8-Flash-Next auf 6×3090/6×4090 ohne NVLink
Ein Beitrag im Feed zeigt, wie man Qwen3.8-Flash-Next auf 6×3090 oder 6×4090 ohne NVLink laufen lassen kann. Die Patches und Binärdateien sind verfügbar, und die Leistung ist erheblich besser als bei der Standard-llama.cpp-Version.
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-Flash-Next (UD-Q4_K_XL) | 6×3090 (144 GB) / 6×4090 (144 GB) | 3090 / 4090 | Prefill: 2111 t/s (3090), 7403 t/s (4090) | Link |
| Qwen3.8-Flash-Next (UD-Q4_K_XL) | 6×3090 (144 GB) / 6×4090 (144 GB) | 3090 / 4090 | Decode: 33.7 t/s (3090), 48.7 t/s (4090) | Link |
Die Patches verbessern die Leistung erheblich, insbesondere bei langen Kontexten und bei der Verarbeitung mehrerer Sitzungen gleichzeitig. Die Binärdateien und Docker-Images sind im GitHub-Repository verfügbar.