Selfhost-GPU TT.21.10.2026: DeepSeek-V4.1-Flash auf 4×3090
Tabelle der Hardware-Runs
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4.1-Flash (UD-Q4_K_XL) | 96 GB (4×3090) | RTX 3090 | 12 → 25 tok/s prose, 39 tok/s code | Link |
Zusammenfassung
In diesem Beitrag teilt ein Benutzer seine Benchmarks für das Modell DeepSeek-V4.1-Flash-1017 (UD-Q4_K_XL) auf 4× RTX 3090 Karten mit. Die Hardware besteht aus einem EPYC 9575F Prozessor mit 64 Kernen und 128 Threads, 768 GB DDR5 RAM und insgesamt 96 GB VRAM auf den 4× RTX 3090 Karten. Das Software-Setup basiert auf llama.cpp, gebaut aus PR #30817, mit zusätzlichen Optimierungen wie dem DSpark-Drafter und spezifischen Flags für die Lastverteilung.
Die Ergebnisse zeigen, dass das Modell bei einer Prosa-Aufgabe 12 bis 25 tok/s erreicht und bei einer Code-Aufgabe 39 tok/s. Die Optimierungen, wie das Laden des gesamten Modells in den RAM und die Verwendung des DSpark-Drafters, haben zu erheblichen Leistungssteigerungen geführt.