Selfhost-GPU TT.09.2026: Qwen3.8-27B on 2x 5090 and 1x 3090
Tabelle
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Qwen3.8-27B (vLLM) | 64 GB (2x 5090) | 5090 | 95+ TPS through 100K generated | Link |
| Qwen3.8-27B (vLLM) | 48 GB (1x 5090 + 1x 4070 Ti Super) | 5090, 4070 Ti Super | 150 t/s (code), 62 t/s (prose) | Link |
| Qwen3.8-27B (llamAmpere) | 24 GB (1x 3090) | 3090 | 70 tok/s, 98K context | Link |
Zusammenfassung
Heute gibt es einige interessante Runs von lokalen LLMs auf Consumer-GPUs:
1. Qwen3.8-27B auf 2x 5090 (vLLM): Ein Benutzer hat Qwen3.8-27B auf 2x 5090 Karten laufen lassen und erreicht 95+ TPS durch 100K generierte Tokens. Die Setup-Details und die Leistungsergebnisse sind beeindruckend.
2. Qwen3.8-27B auf 1x 5090 und 1x 4070 Ti Super (vLLM): Ein weiterer Benutzer hat das gleiche Modell auf einer Kombination aus 5090 und 4070 Ti Super laufen lassen. Die Leistung ist ausgezeichnet, mit 150 t/s für Code und 62 t/s für Prosa.
3. Qwen3.8-27B auf 1x 3090 (llamAmpere): Ein dritter Benutzer hat das Modell auf einer 3090 laufen lassen und erreicht 70 tok/s mit einem 98K Kontext. Dies zeigt, dass auch auf einer einzelnen 3090 gute Ergebnisse erzielt werden können.
Diese Runs demonstrieren die Leistungsfähigkeit moderner Consumer-GPUs bei der lokalen Inferenz von großen Sprachmodellen.