Selfhost-GPU TT.13.09.2026: DeepSeek-V4-Flash-Vision-Exp auf 10-12x RTX 3090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4-Flash-Vision-Exp (285B MoE) | 157 GB / 10-12x RTX 3090 | RTX 3090 | 60+ tok/s (10 GPUs), 120+ tok/s (12 GPUs) | Link |
Zusammenfassung:
– Modell: DeepSeek-V4-Flash-Vision-Exp (285B MoE)
– Quantisierung/Stack: FP4 experts + FP8 attention
– VRAM: 157 GB
– GPUs: 10-12x RTX 3090
– Token/s:
– 60+ tok/s auf 10 GPUs (TP2xPP5)
– 120+ tok/s auf 12 GPUs (TP4xPP3)
– Zusätzliche Features:
– Vision + spec + tool calls
– 1M context (no offload) / 4M (RAM offload)
– ~3,500 tok/s long-context prefill
Weitere Informationen:
– Docker Image: `docker pull ghcr.io/ciprianveg/3090-vllm:dsv4-flash-vision-sm86`
– Repo: GitHub
– Patches: DSpark propose-gate (spec + vision fix), scheduler mm x spec row-crossing, grammar-bitmask validation, vision ViT OOM fix, FlashInfer workspace-lane keying, etc.
Fazit:
Ein beeindruckender Run von DeepSeek-V4-Flash-Vision-Exp auf 10-12x RTX 3090, der sowohl Vision als auch spezifische Tool-Calls unterstützt. Die Performance von 60+ tok/s auf 10 GPUs und 120+ tok/s auf 12 GPUs ist herausragend, insbesondere bei der Verarbeitung langer Kontexte und der Unterstützung von visuellen Eingaben.