Selfhost-GPU TT.10.2026: DeepSeek V4.1 Flash on 2x DGX Spark
Täglicher Report: echte lokalen Inference-Runs aus r/LocalLLaMA
DeepSeek V4.1 Flash 1017 auf 2x DGX Spark
TL;DR: DeepSeek-V4.1-Flash-1017 (EXL3 2.9bpw, 1M context) auf 2x DGX Spark, TP=2 über den CX7-Kabel. TensorFold ist 2.1-2.3x schneller als das vLLM-Kit auf demselben Paar, gleichen Gewichten, gleichen Prompts, gleichen Tag.
– vLLM-Kit TensorFold
– Decode, Text: 27.0 tok/s 56.8 tok/s
– Decode, Code: 39.9 tok/s 92.2 tok/s
– Needle in 64K: 80.4 s 35.9 s
– 4 Anfragen, Code, total 1 at a time: 140 tok/s
– Cold Prefill (random-word Prompts, kein Cache-Hit, Bertholomus‘ kit_bench Client)
– 8K: 789 tok/s ~2,075 tok/s
– 32K: 925 tok/s 2,080-2,185 tok/s
– 64K: ~800 tok/s 2,010-2,040 tok/s
– 128K: n/a ~1,900 tok/s
– 1M (1,034,753 Tokens): n/a 1,246 tok/s (Nadel gefunden)
Zusätzliche Merkmale:
– Tool Calls: `tool_choice` erforderlich / benannt
– Ausgabeformate: json_schema / regex / choice
– Fehlerbehandlung: Ein schlechtes Anfrage nimmt den Server nicht mehr herunter
– Prompt Cache: Überlebt einen Neustart (ein 18K-Token-Gespräch wird in 2.7 s fortgesetzt anstatt 16.8 s)
Credit: Der schnelle Engine ist bertholomus‘ V4.1-Port.
Tabelle
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| DeepSeek V4.1 Flash 1017 | 128 GB VRAM (2x DGX Spark) | 2x DGX Spark | 56.8 tok/s (Text), 92.2 tok/s (Code) | Link |
Weitere relevante Posts
– Qwen3.8-27B und Flash-Next auf Consumer-Hardware: Engine-Zahlen, die ich verifizieren konnte, und was sie mit 2026 RAM-Preisen kosten
Link
– vLLM endlich auf 4x Intel B70, QFN 3.8 FP8 funktionierend
Link
– Ling 3.1 Flash (560B MoE) geladen über 4 DGX Sparks mit llama.cpp RPC
Link
– Intel LLM-Scaler-vLLM PV 1.5 bringt große Verbesserungen
Link
– New model from Telperion: Qwen3.8-27B-MLA & Qwen3.8-27B-GLA-g2. 4x smaller KV cache, smarter, and more efficient reasoning.
Link
Weitere Informationen
– Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF
Link
– QUASAR 4-bit QAT Checkpoints für Qwen3.5, Gemma 4 und Muse Glimmer: näher an BF16 als Googles und NVIDIAs 4-bit Releases
Link
– nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · Hugging Face
Link
– ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF updated
Link
– unsloth/DeepSeek-V4.1-Flash-1017-GGUF · Hugging Face
Link