Selfhost 3090/5090 10.09.2026: Qwen 3.8 27B auf 16 GB VRAM
| Modell + Quant | Dateigröße / VRAM laut Thread | Karte (3090 / 5090 / anderes) | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen 3.8 27B (IQ3_XXS-mtp) | 27B, 16 GB VRAM | 5060TI | 45 tok/s decode, 300 tok/s prefill | Link |
Diskussion in der Community
– Qwen 3.8 27B auf 16 GB VRAM: Der Thread zeigt, dass Qwen 3.8 27B mit IQ3_XXS-mtp-Quantisierung auf einer 5060TI (16 GB VRAM) laufen kann. Die Konfiguration ermöglicht sogar die Verarbeitung von visuellen Eingaben und einen Kontext von 85.000 Tokens. Die Leistung liegt bei 45 Tokens pro Sekunde beim Decoding und 300 Tokens pro Sekunde beim Prefilling.
– CEA-Architektur: Es wird diskutiert, dass die CEA-Architektur (Causal-Encoder-Decoder) eine bedeutende Verbesserung für die GPU-Pooling-Strategie darstellt. Dies ermöglicht es, spezialisierte GPUs für Encoder und Decoder zu verwenden, was die Effizienz und Leistung steigern kann.
– DeepSeek V4.1 Flash: Obwohl das Modell 552B Parameter hat, wird es als zu groß für Consumer-GPUs wie die 3090 oder 5090 eingestuft. Es wird empfohlen, mindestens 128 GB oder 256 GB RAM/VRAM zu haben, um es effizient zu betreiben.
Weitere heiße Threads
– Opencode und Muse 1.3: Diskussion über mögliche Datenschutzprobleme bei der Verwendung von Opencode mit Muse 1.3.
– CEA-Architektur: Tiefere Einsichten in die CEA-Architektur und ihre Implikationen für GPU-Pooling.
– DeepSeek V4.1 Flash: Einführung und Diskussion des neuen DeepSeek V4.1 Flash-Modells, das 552B Parameter hat und multimodale Unterstützung bietet.