Reddit r/LocalLLaMA: Reale Builds & Benchmarks: Funktionierende lokale KI-Setups im Realitäts-Check
Kurzfassung (4-6 Sätze): Reddit r/LocalLLaMA: Reale Builds & Benchmarks ist eine Community, in der Nutzer ihre lokalen KI-Setups dokumentieren und benchmarken. Diese Woche gibt es einige bemerkenswerte Beiträge, die funktionierende Setups mit konkreten Zahlen und Erfahrungen präsentieren. Besonders hervorzuheben sind die Beiträge zu Spiritbuun’s VBR KV Cache, der Optimierung von Qwen3.5-122B auf einem Mac Studio, und die Benchmarking-Ergebnisse für DeepSeek v4 Flash auf einer RTX 4090. Mit diesen Setups können Leser konkrete Anleitungen erhalten, um ihre eigenen lokalen KI-Systeme aufzubauen.
[Spiritbuun’s VBR (Variable Bit Rate) KV cache — first impressions] (8/10) — OpenCode-Fit: JA
Worum es geht (2-4 Sätze): Der Beitrag beschreibt die ersten Eindrücke von Spiritbuun’s VBR KV Cache, einer Erweiterung für llama.cpp, die es ermöglicht, den Kontext dynamisch zu skalieren, ohne eine feste Länge zu definieren. Dies wird anhand des Qwen3.6-35B-A3B-Modells auf einer RTX 3060 demonstriert.
Reales Setup (komplette Fakten-Tabelle):
| Feld | Wert |
|—|—|
| GPU(s) | 1x RTX 3060 12GB |
| CPU / Mainboard | Nicht im Post belegt |
| RAM | Nicht im Post belegt |
| PSU | Nicht im Post belegt |
| Chassis / Kuehlung | Nicht im Post belegt |
| Framework + Version | Spiritbuun llama.cpp fork + CUDA + mudler’s Apex I-Compact quantization |
| Modell + Quant | Qwen3.6-35B-A3B-APEX-MTP-I-Compact |
| Kontext-Laenge | Dynamisch, max. 128k (abhängig von VRAM) |
| tok/s (single) | 37 tok/s (bei 128k Kontext) |
| tok/s (batched) | Nicht im Post belegt |
| Strom (full load) | Nicht im Post belegt |
| Rohkosten | Nicht im Post belegt |
| Autarkie-Fit | JA |
Was funktioniert konkret? (3-5 Sätze): Mit Spiritbuun’s VBR KV Cache kann der Kontext dynamisch skaliert werden, was besonders nützlich für Modelle mit großer Kontextlänge ist. Die Performance bleibt stabil, und der Kontext kann bis zu 128k Tokens betragen, ohne dass man eine feste Länge definieren muss. Dies macht das Setup besonders flexibel und tauglich für OpenCode-Arbeitsbelastungen.
Was NICHT funktioniert / Limits (2-4 Sätze): Der Beitrag erwähnt keine spezifischen Limits oder Probleme. Allerdings könnte die Performance bei sehr großen Kontexten abnehmen, da die VRAM begrenzt ist.
Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Nutzer geeignet, die flexibel mit dem Kontext arbeiten möchten und eine hohe Kontextlänge benötigen. Es ist ein guter Einstiegspunkt für Anfänger, die mit lokalen KI-Setups experimentieren möchten.
[Running Qwen3.5-122B on Mac Studio 96GB: Fixed 3 bugs that made long-context inference usable] (9/10) — OpenCode-Fit: JA
Worum es geht (2-4 Sätze): Der Beitrag beschreibt, wie der Autor Qwen3.5-122B auf einem Mac Studio M3 Ultra mit 96GB RAM für agentechnisches Codieren eingesetzt hat. Dabei wurden drei spezifische Bugs im Serving-Stack behoben, die die Performance bei langen Kontexten erheblich verbessert haben.
Reales Setup (komplette Fakten-Tabelle):
| Feld | Wert |
|—|—|
| GPU(s) | Apple M3 Ultra (integrierte GPU) |
| CPU / Mainboard | Apple M3 Ultra |
| RAM | 96 GB |
| PSU | Nicht im Post belegt |
| Chassis / Kuehlung | Mac Studio |
| Framework + Version | qMLX fork of rapid-mlx |
| Modell + Quant | Qwen3.5-122B |
| Kontext-Laenge | Bis zu 53k Tokens |
| tok/s (single) | 33 tok/s (bei 53k Kontext) |
| tok/s (batched) | Nicht im Post belegt |
| Strom (full load) | Nicht im Post belegt |
| Rohkosten | Nicht im Post belegt |
| Autarkie-Fit | JA |
Was funktioniert konkret? (3-5 Sätze): Nach der Behebung der Bugs ist das Setup in der Lage, lange Kontexte effizient zu verarbeiten. Die Prefill-Zeit ist von mehreren Minuten auf wenige Sekunden gesunken, was das System für agentechnisches Codieren und andere aufwendige Aufgaben tauglich macht. Die Performance bleibt stabil, auch bei sehr großen Kontexten.
Was NICHT funktioniert / Limits (2-4 Sätze): Die Behebung der Bugs hat die Performance erheblich verbessert, aber es gibt immer noch ein Performance-Overhead, insbesondere bei sehr großen Kontexten. Die VRAM des Mac Studio ist begrenzt, was die maximale Kontextlänge einschränkt.
Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Nutzer geeignet, die ein hochleistungsfähiges, aber kompaktes System für agentechnisches Codieren benötigen. Es ist ein gutes Beispiel für die Optimierung von lokalen KI-Setups auf Apple-Hardware. Die Behebung der Bugs ist ein wichtiger Schritt, um die Performance zu maximieren.
[If you use Open Code or other agenting programs you are leaving a lot of t/s if you don’t actually use agents in parallel. Benchmark : RTX5090, Qwen3.6 35B loaded via LM studio with parallel tasks set to 8] (8/10) — OpenCode-Fit: JA
Worum es geht (2-4 Sätze): Der Beitrag beschreibt eine Benchmarking-Studie, die zeigt, wie die parallele Ausführung von Agenten in Open Code oder ähnlichen Programmen die Performance erheblich verbessern kann. Der Test wurde mit einem RTX 5090 und dem Modell Qwen3.6-35B durchgeführt.
Reales Setup (komplette Fakten-Tabelle):
| Feld | Wert |
|—|—|
| GPU(s) | 1x RTX 5090 |
| CPU / Mainboard | Nicht im Post belegt |
| RAM | Nicht im Post belegt |
| PSU | Nicht im Post belegt |
| Chassis / Kuehlung | Nicht im Post belegt |
| Framework + Version | LM Studio |
| Modell + Quant | Qwen3.6-35B |
| Kontext-Laenge | 1024 Tokens |
| tok/s (single) | 256.54 tok/s (bei 1 Agent) |
| tok/s (batched) | 533.90 tok/s (bei 8 Agenten) |
| Strom (full load) | Nicht im Post belegt |
| Rohkosten | Nicht im Post belegt |
| Autarkie-Fit | JA |
Was funktioniert konkret? (3-5 Sätze): Die parallele Ausführung von Agenten führt zu einer erheblichen Steigerung der Durchsatzleistung. Mit 8 parallelen Agenten erreicht das Setup eine Durchsatzleistung von 533.90 tok/s, was fast das Doppelte der Performance eines einzelnen Agenten ist. Dies macht das Setup besonders tauglich für Aufgaben, die eine hohe Durchsatzleistung erfordern.
Was NICHT funktioniert / Limits (2-4 Sätze): Die Skalierung der Performance ist sublinear, was bedeutet, dass die Steigerung der Durchsatzleistung mit zunehmender Anzahl von Agenten abnimmt. Ab 5 Agenten gibt es nur noch marginale Gewinne, was die Effizienz beeinträchtigt. Zudem kann die VRAM-Belastung bei sehr vielen parallelen Agenten ein Problem werden.
Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Nutzer geeignet, die eine hohe Durchsatzleistung benötigen und mehrere Aufgaben parallel verarbeiten möchten. Es ist ein gutes Beispiel dafür, wie die parallele Ausführung von Agenten die Performance eines lokalen KI-Setups erheblich verbessern kann. Die Anzahl der Agenten sollte je nach Anwendungsfall angepasst werden, um eine optimale Balance zwischen Performance und Ressourcenverbrauch zu erzielen.
Weitere Beiträge (kurz):
– Hermes Agent with local LLMs — keine Hardware belegt, reine Problem-Frage ohne Lösung
– Excel work – best model — keine konkrete Hardware belegt, eher allgemeine Empfehlungen
– Upgrade path for ryzen 9 (64 gb) + rtx 5080 — keine konkrete Hardware belegt, eher Diskussion
– [[Study/Models] Flint: Compressing Reasoning Without Breaking It](https://old.reddit.com/r/LocalLLaMA/comments/1uv9o2u/studymodels_flint_compressing_reasoning_without/) — keine konkrete Hardware belegt, eher theoretische Studie
– Zer0Fit: I took Google’s new TabFM & TimesFM ML foundation models and made them available as an MCP server for zero-shot ML tasks (forecasts / classifications / regressions). 100% local. — keine konkrete Hardware belegt, eher Software-Entwicklung
– MIT LLM Serve Dashboard I am making open source — keine konkrete Hardware belegt, eher Software-Entwicklung
– DeepSeek v4 Flash on 4090 + DDR5, my experience — keine konkrete Hardware belegt, eher Erfahrungsbericht