Selfhost-GPU TT.10.2026: Basalt: Flash-Next at 665 tok/s on 5090 + 5060 Ti
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Basalt: Qwen3.8 Flash-Next | 5090 + 5060 Ti (9950X 32GB DDR5 RAM) | 5090 + 5060 Ti | 665 struct, 354 prose, 7,317 prefill at 64k, IQ3_XXS, 400 W | Link |
Zusammenfassung:
– Modell: Basalt: Qwen3.8 Flash-Next
– Quantisierung: IQ3_XXS
– Hardware: 5090 + 5060 Ti, 9950X 32GB DDR5 RAM
– Leistung: 665 tok/s structured, 354 tok/s prose, 7,317 tok/s prefill at 64k
– Besonderheiten: Real concurrency for up to 8 users, custom vision encoder, open source (MIT license)
Weitere Informationen:
– Basalt ist ein Strata-Fork, der speziell für Qwen3.8 Flash-Next und Blackwell-Architektur optimiert ist.
– Es unterstützt bis zu 8 gleichzeitige Benutzer und bietet eine einfache Server-UI zur Überwachung der Leistung.
– Der Quellcode ist auf GitHub verfügbar: https://github.com/jesdga95/basalt
– Gewichte sind hier erhältlich: https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt