Selfhost-GPU TT.09.2026: Qwen3.8-27B FP8 dual GPUs auf 5090 + 4070 Ti Super
Echte lokale Inference-Runs aus r/LocalLLaMA
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-27B FP8 | 48 GB (32 GB + 16 GB) | RTX 5090 + RTX 4070 Ti Super | 150-184 tok/s (code), 60-72 tok/s (prose) | Link |
| Qwen3.8-Flash-Next 177B NVFP4 | 16 GB + 32 GB RAM + 1 TB SSD | RTX 5060 Ti 16 GB | 9-10 tok/s | Link |
| Qwen3.8-Flash-Next 27B | 48 GB (2x 24 GB) | 2x RTX 5090 | 131K context, 36-60 tok/s | Link |
Zusammenfassung
Heute gibt es einige interessante Runs von großen Modellen auf Consumer-GPUs. Besonders hervorzuheben ist der Run von Qwen3.8-27B FP8 auf einer Kombination aus RTX 5090 und RTX 4070 Ti Super, der beeindruckende Leistungen in Code- und Prosa-Generierung zeigt. Ebenfalls erwähnenswert ist der Run von Qwen3.8-Flash-Next 177B, der trotz der großen Modellgröße auf einer 16 GB RTX 5060 Ti mit SSD-Streaming lauffähig ist.