Selfhost-GPU TT.10.2026: DeepSeek-V4-Flash-0731 auf 4× Radeon AI PRO R9700
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4-Flash-0731 (2.875 bpw) | 48 GB / 4 GPUs | Radeon AI PRO R9700 | 79 tok/s greedy, 63 tok/s at temp 1.0 | Link |
Zusammenfassung:
– Setup: Threadripper PRO 9955WX, 128 GB RAM, 4× Radeon AI PRO R9700
– Software: Custom fork of affinity with stability fixes, vLLM
– Ergebnisse: 79 tok/s greedy, 63 tok/s at temp 1.0, 90 tok/s on a chat answer with thinking on. Alle 11,008 Experten sind im VRAM resident, ohne degeneriertes Output oder Fehler.
👁 1 Aufrufe
👤 1 Leser