Reddit Apple-Silicon-Lagebild: Mac Studio, MLX und Cluster
Einleitung: In diesem Lagebild analysieren wir Reddit-Beiträge, die sich auf Apple-Silicon-Hardware, insbesondere Mac Studio und MLX, sowie Cluster-Setups konzentrieren. Der Fokus liegt auf der Eignung dieser Hardware für die lokale Ausführung von großen Sprachmodellen (LLMs) und insbesondere auf der Frage, ob sie für OpenCode-Anwendungen geeignet sind.
[New Apple Memory Prices](6/10) — OpenCode-Fit: NEIN
Verdict (1 Satz): Die erhöhten Preise für Apple-Memory können den Kauf von Mac Studio für LLM-Aufgaben teurer machen, aber sie beeinflussen die technische Eignung nicht direkt.
Hardware: Mac Studio
Modell: nicht spezifiziert
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Warten“
Kontext (2-3 Saetze): Apple hat die Preise für Memory-Upgrade erhöht, was den Gesamtpreis für Mac Studio-Modelle anhebt. Dies könnte den Kauf entscheidend beeinflussen, insbesondere für Investitionen in hochspezialisierte LLM-Setups.
[I built a local AI app for my son’s exam prep, and it turned into a private ChatGPT/Gemini for Mac](8/10) — OpenCode-Fit: BEDINGT
Verdict (1 Satz): Die App Ka1zen zeigt, dass Apple-Silicon-Hardware wie der Mac Studio für private, lokal laufende LLM-Anwendungen geeignet ist, aber die Performance für OpenCode könnte noch verbessert werden.
Hardware: Mac
Modell: 35B Model
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Jetzt kaufen“
Kontext (2-3 Saetze): Der Entwickler hat eine native macOS-App namens Ka1zen erstellt, die lokal laufende LLMs für Prüfungsvorbereitung nutzt. Die App verwendet ein 35B-Modell und zeigt, dass Apple-Silicon für private, lokal laufende LLMs geeignet ist.
[Local Build](5/10) — OpenCode-Fit: NEIN
Verdict (1 Satz): Der vorgeschlagene Build ist sehr teuer und nicht spezifisch auf Apple-Silicon ausgerichtet, was ihn für den Einsatz von Mac Studio und MLX weniger relevant macht.
Hardware: PC-Build
Modell: NVIDIA RTX PRO 6000, AMD Ryzen Threadripper 7960X
tok/s-Claim: 80-90 tok/s
Cluster-Bezug: Single
Investment-Empfehlung: „Rechnet sich nicht“
Kontext (2-3 Saetze): Der Entwickler plant einen hochspezialisierten PC-Build für lokale LLM-Ausführung, der jedoch sehr teuer ist und nicht auf Apple-Silicon ausgerichtet ist. Die Kosten und der Fokus auf NVIDIA-GPUs machen diesen Build für Mac Studio-Nutzer weniger relevant.
[SDXL running locally in the browser on WebGPU, open-source](7/10) — OpenCode-Fit: NEIN
Verdict (1 Satz): Die Möglichkeit, SDXL lokal im Browser auf WebGPU zu laufen, zeigt die Flexibilität von Apple-Silicon, aber es ist eher für Bildgenerierung als für LLMs gedacht.
Hardware: MacBook M4
Modell: SDXL-Lighting fp16
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Warten“
Kontext (2-3 Saetze): Ein Entwickler hat eine browserbasierte Lösung für die lokale Ausführung von SDXL auf WebGPU erstellt. Obwohl es auf Apple-Silicon läuft, ist es eher für Bildgenerierung als für LLMs gedacht.
[Gemma 4 26BA4B Surprisingly Usable at IQ3_S – Are small quants really this usable?](8/10) — OpenCode-Fit: BEDINGT
Verdict (1 Satz): Die Verwendung von kleineren Quantisierungen von Gemma 4 auf Apple-Silicon zeigt, dass diese Modelle für viele Anwendungen überraschend gut geeignet sind, aber für OpenCode könnte die Performance noch verbessert werden.
Hardware: MacBook Air M3
Modell: Gemma 4 26B
tok/s-Claim: 25 tok/s
Cluster-Bezug: Single
Investment-Empfehlung: „Jetzt kaufen“
Kontext (2-3 Saetze): Der Entwickler hat Gemma 4 26B in einer kleineren Quantisierung auf einem MacBook Air M3 getestet und eine überraschend gute Performance von 25 tok/s erreicht. Dies zeigt, dass Apple-Silicon für viele LLM-Anwendungen geeignet ist.
[[Open Source] I am releasing my HugginFace downloader App](7/10) — OpenCode-Fit: NEIN
Verdict (1 Satz): Die Veröffentlichung einer Hugging Face Downloader-App ist nützlich, aber sie hat keinen direkten Bezug zur Performance von Apple-Silicon bei der Ausführung von LLMs.
Hardware: Mac, Windows, Linux
Modell: nicht spezifiziert
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Warten“
Kontext (2-3 Saetze): Ein Entwickler hat eine Open-Source-App veröffentlicht, die die Herunterladung von Hugging Face-Modellen vereinfacht. Die App ist nützlich, aber sie hat keinen direkten Bezug zur Performance von Apple-Silicon bei der Ausführung von LLMs.
[650+ Apache-2.0 biomedical NER/de-id models that run on-device in MLX. Same fp32 weights, identical outputs: the clinical NER models run 30-40x faster than PyTorch-CPU on a 3-year-old M3 Max. Repro inside.](9/10) — OpenCode-Fit: BEDINGT
Verdict (1 Satz): Die Verwendung von MLX für biomedical NER-Modelle auf Apple-Silicon zeigt eine enorme Geschwindigkeitssteigerung, was die Eignung von Apple-Silicon für spezialisierte LLM-Aufgaben unterstreicht.
Hardware: MacBook Pro M3 Max
Modell: 434M biomedical NER
tok/s-Claim: 30-40x schneller
Cluster-Bezug: Single
Investment-Empfehlung: „Jetzt kaufen“
Kontext (2-3 Saetze): Der Entwickler hat gezeigt, dass biomedical NER-Modelle auf Apple-Silicon mit MLX 30-40x schneller laufen als auf PyTorch-CPU. Dies unterstreicht die Eignung von Apple-Silicon für spezialisierte LLM-Aufgaben.
[GLM 5.2 on Mac Studio Speedup PR](8/10) — OpenCode-Fit: BEDINGT
Verdict (1 Satz): Die Performance-Verbesserungen für GLM 5.2 auf Mac Studio zeigen, dass Apple-Silicon für die Ausführung von LLMs mit hohem Kontextfenster geeignet ist, aber die tok/s-Rate könnte noch verbessert werden.
Hardware: Mac Studio
Modell: GLM 5.2
tok/s-Claim: 100+ tok/s
Cluster-Bezug: Single
Investment-Empfehlung: „Jetzt kaufen“
Kontext (2-3 Saetze): Ein Pull Request für GLM 5.2 zeigt, dass die Prefill-Geschwindigkeit auf Mac Studio bei hohem Kontextfenster über 100 tok/s liegt. Dies ist eine wichtige Verbesserung, die die Eignung von Apple-Silicon für LLMs unterstreicht.
[Multi Tier MoE Caching](7/10) — OpenCode-Fit: NEIN
Verdict (1 Satz): Die Diskussion über Multi-Tier MoE Caching zeigt, dass es Möglichkeiten gibt, die Performance von MoE-Modellen auf Apple-Silicon zu verbessern, aber es ist eher ein theoretisches Konzept.
Hardware: nicht spezifiziert
Modell: MoE-Modelle
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Warten“
Kontext (2-3 Saetze): Der Entwickler diskutiert die Möglichkeit, Multi-Tier MoE Caching zu verwenden, um die Performance von MoE-Modellen auf Apple-Silicon zu verbessern. Es ist ein interessantes Konzept, aber es ist noch in der Entwicklung.
[Top-N-Sigma: Remove unconditional softmax+sort by TimNN · Pull Request #22645 · ggml-org/llama.cpp](7/10) — OpenCode-Fit: NEIN
Verdict (1 Satz): Die Performance-Verbesserung durch die Entfernung des unbedingten Softmax+Sort in Top-N-Sigma zeigt, dass es Möglichkeiten gibt, die tok/s-Rate auf Apple-Silicon zu steigern, aber es ist eher ein technisches Detail.
Hardware: MacBook Pro M3 Max
Modell: google_gemma-4-E4B-it-Q8_0
tok/s-Claim: 50% Steigerung
Cluster-Bezug: Single
Investment-Empfehlung: „Warten“
Kontext (2-3 Saetze): Ein Pull Request für llama.cpp zeigt, dass die Entfernung des unbedingten Softmax+Sort in Top-N-Sigma die tok/s-Rate um 50% steigern kann. Dies ist eine wichtige Verbesserung, die die Performance von LLMs auf Apple-Silicon verbessern kann.
[NEX-N2-mini: „There is no Pareto frontier. I am Pareto“. This Qwen3.5-MoE fine tune fixed 3.5 and 3.6 overthinking apparently on my tests.](8/10) — OpenCode-Fit: BEDINGT
Verdict (1 Satz): Die Verwendung von NEX-N2-mini zeigt, dass feinjustierte MoE-Modelle auf Apple-Silicon eine bessere Performance und Effizienz bieten können, was die Eignung für OpenCode-Anwendungen verbessert.
Hardware: Mac
Modell: NEX-N2-mini
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Jetzt kaufen“
Kontext (2-3 Saetze): Der Entwickler hat NEX-N2-mini getestet und festgestellt, dass es eine bessere Performance und Effizienz als andere MoE-Modelle bietet. Dies zeigt, dass feinjustierte Modelle auf Apple-Silicon eine gute Wahl sein können.
[local code agent using qwen 3.6 35b](7/10) — OpenCode-Fit: BEDINGT
Verdict (1 Satz): Die Verwendung von Qwen 3.6 35B auf einem Mac Pro mit SSD-Offload zeigt, dass Apple-Silicon für lokale Code-Agenten geeignet ist, aber die Performance könnte noch verbessert werden.
Hardware: Mac Pro
Modell: Qwen 3.6 35B
tok/s-Claim: nicht im Post belegt
Cluster-Bezug: Single
Investment-Empfehlung: „Jetzt kaufen“
Kontext (2-3 Saetze): Ein Entwickler hat einen lokalen Code-Agenten mit Qwen 3.6 35B auf einem Mac Pro mit SSD-Offload erstellt. Die Lösung zeigt, dass Apple-Silicon für lokale Code-Agenten geeignet ist, aber die Performance könnte noch verbessert werden.
Weitere Beiträge:
– New Apple Memory Prices
– I built a local AI app for my son’s exam prep, and it turned into a private ChatGPT/Gemini for Mac
– Local Build
– SDXL running locally in the browser on WebGPU, open-source
– [Gemma 4 26BA4B Surprisingly Usable at IQ3_S – Are small quants really this usable?](https://old.reddit.com/r/LocalLLaMA/comments/1ueb1n1/gemma_4_2