ServeTheHome: AI/GPU-Hardware: Funktionierende lokale KI-Setups im Realitäts-Check
Kurzfassung: ServeTheHome hat in dieser Woche einige wichtige Neuigkeiten rund um lokale KI-Setups veröffentlicht. Besonders hervorzuheben sind die neuen Apple Mac Studio M5 Ultra und Mac Mini M6, die speziell für lokale AI-Workloads optimiert sind. Diese Geräte bieten eine hohe Kapazität und Leistung, die für den Einsatz von großen Sprachmodellen geeignet sind. Ein Leser kann heute Abend mit dem Bau eines Mac Studio M5 Ultra oder Mac Mini M6 beginnen, um ein robustes und leistungsfähiges Setup für OpenCode-Projekte zu erstellen.
[Apple Mac Studio M5 Ultra and Mac Mini M6 Launched] (8/10) — OpenCode-Fit: JA
Worum es geht: Apple hat die neuen Mac Studio M5 Ultra und Mac Mini M6 vorgestellt, die speziell für lokale AI-Workloads und professionelle Berechnungen entwickelt wurden. Der M5 Ultra ist ein quad-die-Design mit bis zu 512 GB vereintem Speicher und einem 80-Core GPU, während der M6 ein 12-Core CPU und 12-Core GPU aufweist.
Reales Setup (komplette Fakten-Tabelle):
| Feld | Wert |
|—|—|
| GPU(s) | 80-Core GPU (M5 Ultra) |
| CPU / Mainboard | 36-Core CPU (M5 Ultra) |
| RAM | 512 GB Unified Memory (M5 Ultra) |
| PSU | nicht im Post belegt |
| Chassis / Kuehlung | nicht im Post belegt |
| Framework + Version | nicht im Post belegt |
| Modell + Quant | nicht im Post belegt |
| Kontext-Länge | nicht im Post belegt |
| tok/s (single) | nicht im Post belegt |
| tok/s (batched) | nicht im Post belegt |
| Strom (full load) | nicht im Post belegt |
| Rohkosten | nicht im Post belegt |
| Autarkie-Fit | JA |
Was funktioniert konkret? Der Mac Studio M5 Ultra ist besonders für die Ausführung großer Sprachmodelle geeignet, da er eine hohe Speicherkapazität und Bandbreite bietet. Die 512 GB Unified Memory ermöglichen es, Modelle zu laden, die auf herkömmlichen GPUs nicht passen. Die 80-Core GPU und der 36-Core CPU sorgen für eine ausgezeichnete Leistung bei AI-Workloads.
Was NICHT funktioniert / Limits: Die genauen Leistungsdaten wie Tokens pro Sekunde und der Stromverbrauch wurden nicht im Post belegt. Es ist auch nicht klar, ob das Gerät in einem privaten Haushalt ohne zusätzliche Kühlung oder Stromversorgung betrieben werden kann.
Nachbau-Empfehlung: Das Mac Studio M5 Ultra ist eine ausgezeichnete Wahl für den Bau eines leistungsfähigen AI-Setups. Es ist besonders für Benutzer mit einem höheren Budget geeignet, die eine hohe Leistung und Kapazität benötigen. Für Benutzer mit einem niedrigeren Budget könnte der Mac Mini M6 eine gute Alternative sein.
Weitere Beiträge:
– OpenAI Jalapeno Custom AI ASIC at Hot Chips 2026 — Enterprise, nicht autark-relevant
– Google’s TPUv8s for Training and Inference at Hot Chips 2026 — Enterprise, nicht autark-relevant
– SambaNova’s SN50 RDU for AI at Hot Chips 2026 — Enterprise, nicht autark-relevant
– Microsoft’s Maia 200 AI Accelerator at Hot Chips 2026 — Enterprise, nicht autark-relevant
– Cerebras Talks Going Rack-Scale with Their WSEs at Hot Chips 2026 — Enterprise, nicht autark-relevant