Selfhost-GPU TT.10.2026: Qwen3.8-Flash-Next on 6×3090 / 6×4090 without NVLink

Selfhost-GPU TT.10.2026: Qwen3.8-Flash-Next on 6×3090 / 6×4090 without NVLink

| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-Flash-Next (unsloth UD-Q4_K_XL) | 6×3090 (24 GB) / 6×4090 (24 GB) | 3090 / 4090 | 27.3 (6×3090, 5 sessions) / 30.8 (6×4090, 5 sessions) | Qwen3.8-Flash-Next on 6×3090 / 6×4090 without NVLink |

Zusammenfassung

Ein Benutzer hat Qwen3.8-Flash-Next auf sechs 3090-Karten und sechs 4090-Karten ohne NVLink laufen lassen. Die Patches, die er angewendet hat, verbessern die Leistung erheblich, insbesondere bei langen Kontexten und mehreren gleichzeitigen Sitzungen. Die tok/s-Raten sind signifikant höher als bei der unveränderten llama.cpp-Version.