Selfhost-GPU TT.10.2026: DeepSeek-V4.1-Flash auf 4×3090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4.1-Flash (UD-Q4_K_XL) | 96 GB / 4×3090 | RTX 3090 | 12–25 tok/s prose, 39 tok/s code | Link |
| Qwen3.8-27B (Q4_K_M) | 48 GB / 2×3090 | RTX 3090 | 190 tok/s (1 request), 620 tok/s (8 requests) | Link |
Heute gibt es zwei interessante Runs von großen Modellen auf Consumer-GPUs:
1. DeepSeek-V4.1-Flash (UD-Q4_K_XL) auf 4× RTX 3090:
– VRAM: 96 GB
– Karte: RTX 3090
– Software: llama.cpp
– Ergebnisse: 12–25 tok/s für Prosa, 39 tok/s für Code. Die Benchmarks zeigen, dass die Optimierung der Einstellungen erhebliche Leistungssteigerungen bringen kann.
2. Qwen3.8-27B (Q4_K_M) auf 2× RTX 3090:
– VRAM: 48 GB
– Karte: RTX 3090
– Software: Geezuz kernel
– Ergebnisse: 190 tok/s bei einem Request, 620 tok/s bei 8 parallelen Requests. Diese Leistung ist bemerkenswert und deutlich schneller als vergleichbare Setup mit llama.cpp.
Diese Runs zeigen, dass selbst große Modelle wie DeepSeek-V4.1-Flash und Qwen3.8-27B auf Consumer-GPUs wie den RTX 3090 laufen können und zufriedenstellende Leistungen erzielen.