Selfhost-GPU TT.10.2026: DeepSeek-V4-Flash-Vision-Exp auf 4× R9700

Selfhost-GPU TT.10.2026: DeepSeek-V4-Flash-Vision-Exp auf 4× R9700

| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4-Flash-Vision-Exp | 64 GB (4× R9700) | R9700 | 95+ TPS | RAM Offloading with vLLM – tcclaviger appreciation post |

Heute gibt es einen beeindruckenden Run von DeepSeek-V4-Flash-Vision-Exp auf 4× R9700 mit insgesamt 64 GB VRAM. Der User `sloptimizer` hat das Modell erfolgreich mit vLLM und RAM Offloading betrieben und erreicht 95+ Tokens pro Sekunde. Ein großartiges Beispiel, wie man große Modelle auch auf Consumer-Hardware laufen lassen kann!