Selfhost-GPU TT.10.2026: DeepSeek-V4.1-Flash auf 4×4090
Echte lokale Inference-Runs aus r/LocalLLaMA
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4.1-Flash-1017 | 24 GB / 1×4090 | RTX 4090 | 27 tok/s decode, 180-320 tok/s prefill | Link |
| DeepSeek-V4.1-Flash-1017 | 24 GB / 2×4090 | 2× RTX 4090 | 57 tok/s text, 92 tok/s code | Link |
| Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF | 24 GB / 1×4090 | RTX 4090 | 86-90 tok/s decode | Link |
| Qwen3.8-27B-FP8 | 24 GB / 1×5090 | RTX 5090 | Not practical due to minimum context | Link |
Weitere Interessante Beiträge
– Qwen3.8FN vLLM vs. llama.cpp vs Ninfer6000: Vergleich verschiedener Engine-Modelle auf einer RTX Pro 6000 Blackwell. Link
– vLLM finally working on 4 x Intel B70, QFN 3.8 FP8: Erfolg mit vLLM auf 4× Intel B70. Link
– QUASAR 4-bit QAT checkpoints for Qwen3.5, Gemma 4 and Muse Glimmer: Quantisierte Checkpoints für verschiedene Modelle. Link
– Intel LLM-Scaler-vLLM PV 1.5 brings big improvements: Verbesserungen in der Intel LLM-Scaler-vLLM PV 1.5. Link
Kleine Modelle und Vision-Setups
– Boole-1.7B: 1-bit Qwen3-1.7B-Modell, das Bonsai-1.7B übertrifft. Link
– Openspline – host a realtime talking avatar on a commercial GPU (90+ FPS on RTX4090): Echtzeit sprechender Avatar auf RTX 4090. Link