Selfhost-GPU TT.10.2026: 48GB VRAM speed AND quality (Qwen 3.8 27B Swift 1.5 W8A16) auf 2×3090
Echte lokale Inference-Runs aus r/LocalLLaMA
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B Swift 1.5 W8A16 | 48 GB / 2× RTX 3090 | RTX 3090 | ~100 tok/s decode (MTP=5) | 48Gb VRAM speed AND quality ! (Qwen 3.8 27B Swift 1.5 W8A16) |
Zusammenfassung
– Modell: Qwen 3.8 27B Swift 1.5 W8A16
– Quantisierung: 8 bits AWQ + GPTQ
– VRAM / GPUs: 48 GB (2× RTX 3090)
– Software: vLLM
– Leistung: ~100 tok/s decode (MTP=5)
– Verbrauchte VRAM pro Karte: ~21.6 GB
– Link: 48Gb VRAM speed AND quality ! (Qwen 3.8 27B Swift 1.5 W8A16)
Heute kein belegter Consumer-GPU-Run für große Modelle wie DeepSeek-V4-Flash auf Multi-GPU-Setup. Der genannte Run zeigt jedoch eine ausgezeichnete Leistung von Qwen 3.8 27B auf 2× RTX 3090, was für viele Anwendungen sehr nützlich sein kann.