Selfhost-GPU TT.10.2026: Qwen 3.8 27B Swift 1.5 W8A16 auf 2×3090
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B Swift 1.5 W8A16 | 48 GB VRAM / 2×3090 | RTX 3090 | ~100 tok/s decode (MTP=5) | Link |
Zusammenfassung:
Ein Benutzer hat eine eigene Quantisierung von Qwen 3.8 27B Swift 1.5 erstellt, die auf 48 GB VRAM (2× RTX 3090) läuft. Die Quantisierung ist eine 8-Bit AWQ + GPTQ und erreicht eine Decode-Geschwindigkeit von etwa 100 Tokens pro Sekunde (mit MTP=5). Die Quantisierung wurde sorgfältig durchgeführt und ist laut dem Benutzer der beste Kompromiss für 48 GB VRAM. Das Modell wird mit vLLM und MTP auf 2 RTX 3090 verwendet und funktioniert sehr gut.
👁 3 Aufrufe
👤 3 Leser