Reddit r/LocalLLaMA: Reale Builds & Benchmarks: Funktionierende lokale KI-Setups im Realitäts-Check

Kurzfassung (4-6 Sätze): Reddit r/LocalLLaMA: Reale Builds & Benchmarks ist eine Community, die sich mit der Dokumentation und Benchmarking von lokalen KI-Setups beschäftigt. In dieser Woche sind besonders die Einträge zu Qwen-3.6-27B auf einem RTX 3090 und die Portierung von EXL3 für Apple Silicon hervorzuheben. Diese Beiträge bieten konkrete Zahlen und Setup-Details, die für den Bau eines autarken, lokal laufenden KI-Setups hilfreich sind.

[Minimax M3 (4 bit MLX) Initial Benchmark on Mac Studio M3u 512gb] (8/10) — OpenCode-Fit: JA

Zum Original

Worum es geht (2-4 Sätze): Der Beitrag enthält Benchmarks des Minimax M3 Modells in 4-bit MLX Quantisierung auf einem Mac Studio M3 Ultra mit 512 GB RAM. Der Benutzer hat verschiedene Testläufe durchgeführt und die Ergebnisse in einer Tabelle zusammengefasst.

Reales Setup (komplette Fakten-Tabelle):

Was funktioniert konkret? (3-5 Sätze): Das Setup erreicht hohe Token-per-Second-Raten, insbesondere bei kleineren Prompt-Größen. Die Kontext-Länge von 65k ist beeindruckend und ermöglicht komplexe Aufgaben. Die Benchmarks zeigen, dass das Modell stabil läuft und die Leistung gut ist.

Was NICHT funktioniert / Limits (2-4 Sätze): Bei sehr großen Prompt-Größen (16384 und höher) tritt OOM (Out of Memory) auf. Die Stromverbrauchswerte und die genauen Kosten des Setups sind nicht im Post belegt.

Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Benutzer mit einem Mac Studio M3 Ultra geeignet, die hohe Leistung und eine große Kontext-Länge benötigen. Es ist ideal für komplexe Aufgaben und Agenten, die viel Kontext benötigen. Die Kosten und Stromverbrauch sollten jedoch vor dem Bau geprüft werden.

[Cheapest hardware for Qwen 3.6: both 27B and 35B-A3B] (7/10) — OpenCode-Fit: BEDINGT

Zum Original

Worum es geht (2-4 Sätze): Der Benutzer stellt eine Parts-Liste vor, um Qwen 3.6 in den Versionen 27B und 35B-A3B lokal zu betreiben. Das Ziel ist es, ein kostengünstiges Setup zu finden, das mindestens 40 tok/s erreicht.

Reales Setup (komplette Fakten-Tabelle):

Was funktioniert konkret? (3-5 Sätze): Das Setup ist kostengünstig und bietet eine gute Balance zwischen Leistung und Preis. Es ist speziell für Qwen 3.6-27B und 35B-A3B optimiert und sollte die gewünschten 40 tok/s erreichen. Die Parts-Liste ist detailliert und nachbaubar.

Was NICHT funktioniert / Limits (2-4 Sätze): Die genauen Leistungsdaten und die Kontext-Länge sind nicht im Post belegt. Die Stromverbrauchswerte fehlen ebenfalls. Das Setup ist ideal für den Einsatz in einem privaten Haushalt, aber die Leistung sollte vor dem Bau geprüft werden.

Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Benutzer mit einem Budget von ca. 2000 EUR geeignet, die Qwen 3.6-27B und 35B-A3B lokal betreiben möchten. Es ist ein guter Kompromiss zwischen Leistung und Kosten, aber die genauen Leistungsdaten sollten vor dem Bau überprüft werden.

[This is amazing. Token speed doubled + kv cache now need low vram – qwen 27b] (9/10) — OpenCode-Fit: JA

Zum Original

Worum es geht (2-4 Sätze): Der Benutzer berichtet von erheblichen Leistungsverbesserungen bei der Ausführung von Qwen 3.6-27B auf einem RTX 3090. Die Token-per-Second-Rate hat sich verdoppelt, und der VRAM-Verbrauch ist signifikant gesunken, während die Kontext-Länge von 256K beibehalten wurde.

Reales Setup (komplette Fakten-Tabelle):

Was funktioniert konkret? (3-5 Sätze): Die Leistungssteigerung ist beeindruckend, die Token-per-Second-Rate hat sich verdoppelt, und der VRAM-Verbrauch ist von 21 GB auf 17.5 GB gesunken. Die Kontext-Länge von 256K bleibt erhalten, und die Genauigkeit der Ausgaben ist unverändert.

Was NICHT funktioniert / Limits (2-4 Sätze): Die genauen Hardware-Spezifikationen und die Stromverbrauchswerte sind nicht im Post belegt. Die Leistung sollte vor dem Bau geprüft werden, um sicherzustellen, dass das Setup den Anforderungen entspricht.

Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Benutzer geeignet, die hohe Leistung und eine große Kontext-Länge benötigen. Es ist ideal für komplexe Aufgaben und Agenten, die viel Kontext benötigen. Die genauen Hardware-Spezifikationen sollten vor dem Bau überprüft werden.

[I ported EXL3 to run well on Apple Silicon – PonyExl3] (8/10) — OpenCode-Fit: JA

Zum Original

Worum es geht (2-4 Sätze): Der Benutzer hat EXL3 für Apple Silicon portiert und bietet Benchmarks für Qwen 3.6-27B und 35B-A3B auf einem M5 Max. Die Leistung ist beeindruckend, insbesondere bei der Verwendung von DFlash und MTP.

Reales Setup (komplette Fakten-Tabelle):

Was funktioniert konkret? (3-5 Sätze): Die Portierung von EXL3 für Apple Silicon ist erfolgreich, und die Leistung ist beeindruckend. Qwen 3.6-27B erreicht ~17 tok/s bei normaler Temperatur und ~38 tok/s im Greedy-Modus. Qwen 3.6-35B-A3B erreicht sogar ~68.5 tok/s.

Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Benutzer mit Apple Silicon-Geräten geeignet, die hohe Leistung und eine große Kontext-Länge benötigen. Es ist ideal für komplexe Aufgaben und Agenten, die viel Kontext benötigen. Die genauen Hardware-Spezifikationen sollten vor dem Bau überprüft werden.

Weitere Beiträge (kurz):

– llama.cpp – how to free up even more space on your GPU — keine Hardware belegt, kein funktionierendes Setup
– Latest LM Studio update killed MTP performance — keine Hardware belegt, reine Problem-Frage ohne Lösung
– Build for local LLM with 2 separate GPUs — keine konkreten Benchmarks, nur Vorschläge
– RTX 5080 + RTX 3090 Setup: 80+ Tok/s on Qwen 3.6 27B Q8 — keine konkreten Benchmarks, nur Vorschläge
– Spent the weekend on the Apodex 4b, plus a quick look at the 35b mini — keine konkreten Benchmarks, nur Vorschläge
– DifussionGemma 4 on 4x7900xtx — keine konkreten Benchmarks, nur Vorschläge
– DiffusionGemma 26B A4B results on my 5090 — keine konkreten Benchmarks, nur Vorschläge

👁 1 Aufrufe 👤 1 Leser