Selfhost-GPU TT.10.2026: Qwen3.8-Flash-Next auf 6×4090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-Flash-Next UD-Q4_K_XL | 24 GB / 6×4090 | RTX 4090 | 2111 tok/s prefill, 48.7 tok/s decode | Link |
Zusammenfassung:
– Modell: Qwen3.8-Flash-Next UD-Q4_K_XL
– Quantisierung: UD-Q4_K_XL
– Karten: 6x RTX 4090 (24 GB VRAM)
– Software: llama.cpp (gepatchte Version)
– Leistung:
– Prefill: 2111 tok/s
– Decode: 48.7 tok/s
– Fazit: Die gepatchte Version von llama.cpp ermöglicht eine erhebliche Leistungssteigerung im Vergleich zur Standardversion, insbesondere bei langen Kontexten und mehreren gleichzeitigen Sitzungen.
👁 2 Aufrufe
👤 2 Leser