Selfhost-GPU TT.09.2026: DeepSeek-V4-Flash-Vision-Exp auf 4×5090
Ein Benutzer hat erfolgreich DeepSeek-V4-Flash-Vision-Exp auf vier RTX 5090 (32 GB) laufen lassen. Hier sind die Details:
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek-V4-Flash-Vision-Exp | 128 GB (4×32 GB) | 4× RTX 5090 | 1500 t/s (32k context) | Link |
Der Benutzer hat vLLM mit expert RAM offloading verwendet, um das Modell effizient zu betreiben. Die Konfiguration ermöglicht es, das Modell mit einem 262k Kontext und 160 GB RAM Offloading zu laufen. Die Leistung ist beeindruckend, insbesondere bei der Verarbeitung von großen Kontexten.
Für weitere Details und die vollständige Konfiguration, siehe den Original-Thread.
👁 1 Aufrufe
👤 1 Leser