Selfhost-GPU TT.09.2026: DeepSeek-V4-Flash on 4×4090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4-Flash | 4×48GB 4090 | 4090 | 60+ tok/s decode, 120+ tok/s on 12 GPUs | DeepSeek-V4-Flash on SM89 4x48gb 4090s with DSpark |
| Qwen3.8-27B-UD-Q3_K_XL | 16GB VRAM | 5070 Ti | 75 tok/s, 1700 tok/s prefill | Villager Simulation Game POC Created with Qwen3.8-27B-UD-Q3_K_XL.gguf – 16GB VRAM |
| Qwen3.8-27B-IQ4-XS-MTP | 16GB VRAM | 5060 Ti | 45 tok/s decode, 300 tok/s prefill | Running Vision Qwen 3.8 27B on a 16GB Card, the config (45tks) |
| Qwen3.8-27B | 12GB VRAM | 4070 | 9.5 tok/s → 12.5 tok/s with MTP | Qwen3.8-Flash-Next MTP merged in ik_llama.cpp (integrated head or separate -md file)… 45 → 90 tok/s on a 5090 + 128GB, works down to a 12GB 4070 |
Weitere Erwähnungen
– DeepSeek-V4-1-Flash: Ein 552B-Parameter MoE-Modell mit Unterstützung für Kontexte von bis zu einer Million Tokens. Es wurde erfolgreich auf 4×48GB 4090 Karten mit vLLM und DSpark ausgeführt, wobei es 60+ tok/s bei 10 GPUs und 120+ tok/s bei 12 GPUs erreicht. Mehr Details
– Qwen3.8-27B-UD-Q3_K_XL: Ein 27B-Parameter Modell, das auf einer 16GB VRAM Karte (5070 Ti) ausgeführt wird. Es erreicht 75 tok/s und 1700 tok/s bei der Prefill. Mehr Details
– Qwen3.8-27B-IQ4-XS-MTP: Ein 27B-Parameter Modell, das auf einer 16GB VRAM Karte (5060 Ti) ausgeführt wird. Es erreicht 45 tok/s bei der Decode und 300 tok/s bei der Prefill. Mehr Details
– Qwen3.8-27B: Ein 27B-Parameter Modell, das auf einer 12GB VRAM Karte (4070) ausgeführt wird. Es erreicht 9.5 tok/s und steigert sich auf 12.5 tok/s mit MTP. Mehr Details