Selfhost-GPU TT.19.10.2026: Nemotron 3.5 Bolt on 2x RTX 5060 Ti 16GB
| Modell + Quant/Stack | VRAM / GPUs laut Thread | Karte | tok/s oder Fazit | Link |
|—|—|—|—|—|
| Nemotron 3.5 Super VL 120B-A12B | 32 GB (2x RTX 5060 Ti 16GB) | RTX 5060 Ti 16GB | ~8-10 t/s generation, ~150-170 t/s processing | Link |
Zusammenfassung
– Modell: Nemotron 3.5 Super VL 120B-A12B
– Quantisierung: NVFP4
– VRAM: 32 GB (2x RTX 5060 Ti 16GB)
– Karte: RTX 5060 Ti 16GB
– Software: llama.cpp 0.7.0
– Leistung: ~8-10 t/s generation, ~150-170 t/s processing
– Fazit: Nemotron 3.5 Super VL zeigte eine erstaunliche Leistung bei der Verarbeitung von spezifischen Anfragen, insbesondere bei der Verarbeitung von Nischenwissen. Es ist eine gute Wahl für Aufgaben, die detaillierte und genaue Informationen erfordern.
👁 4 Aufrufe
👤 4 Leser