Reddit r/LocalLLaMA: Reale Builds & Benchmarks: Funktionierende lokale KI-Setups im Realitäts-Check
Kurzfassung (4-6 Sätze): Reddit r/LocalLLaMA: Reale Builds & Benchmarks ist eine Community, die sich mit der lokalen Ausführung von großen Sprachmodellen (LLMs) beschäftigt. In dieser Woche haben sich insbesondere die Einträge zu spezifischen GPU-Setups und Benchmarks hervorgetan. Besonders erwähnenswert sind die Beiträge, die detaillierte Benchmarks für Modelle wie Qwen3.6 und Gemma4 auf GPUs wie der RTX 3090 und RTX 5090 liefern. Diese Einträge bieten präzise tok/s-Zahlen und Kontext-Längen, die für den Bau eines autarken, lokalen KI-Setups hilfreich sind.
[Luce Spark: a 35B MoE on a 16 GB GPU, without the offload tax] (8/10) — OpenCode-Fit: JA
Worum es geht (2-4 Sätze): Der Beitrag beschreibt, wie man das 35B MoE-Modell Luce Spark auf einer 16 GB GPU (RTX 3090) laufen lassen kann, ohne die üblichen Leistungsverluste durch Offloading. Die Methode verwendet eine intelligente Speicher-Verwaltung, die nur die häufigsten Experten im GPU-Speicher behält und den Rest in den System-RAM verschiebt.
Reales Setup (komplette Fakten-Tabelle):
| Feld | Wert |
|—|—|
| GPU(s) | RTX 3090 24GB |
| CPU / Mainboard | nicht im Post belegt |
| RAM | nicht im Post belegt |
| PSU | nicht im Post belegt |
| Chassis / Kuehlung | nicht im Post belegt |
| Framework + Version | dflash_server –spark (Apache2.0) |
| Modell + Quant | Qwen3.6 35B-A3B: 13.3 GiB, Laguna XS.2 33B-A3B: 14.6 GiB |
| Kontext-Laenge | 40960 (KV-Cache OK) |
| tok/s (single) | 119 tok/s (full residency), 100 tok/s (60% residency) |
| tok/s (batched) | nicht im Post belegt |
| Strom (full load) | nicht im Post belegt |
| Rohkosten | nicht im Post belegt |
| Autarkie-Fit | JA |
Was funktioniert konkret? (3-5 Sätze): Das Setup ermöglicht es, das 35B MoE-Modell auf einer 16 GB GPU zu laufen, ohne signifikante Leistungsverluste. Die Methode verwendet eine intelligente Speicher-Verwaltung, die die häufigsten Experten im GPU-Speicher behält und den Rest in den System-RAM verschiebt. Dies führt zu einer durchschnittlichen Geschwindigkeit von 119 tok/s bei voller Residenz und 100 tok/s bei 60% Residenz.
Was NICHT funktioniert / Limits (2-4 Sätze): Die Methode erfordert eine spezifische Konfiguration und ist möglicherweise nicht für alle Modelle und Frameworks anwendbar. Die Leistung kann je nach Modell und Quantisierung variieren.
Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Benutzer mit 16 GB GPUs wie der RTX 3090 geeignet. Es bietet eine gute Balance zwischen Leistung und Speicherverbrauch. Für Benutzer mit höheren Budgets und mehr Speicher können die Einstellungen angepasst werden, um noch bessere Leistungen zu erzielen.
[The Gap Between Claude and Local: Can a Self-Hosted Coding Agent Compete?] (7/10) — OpenCode-Fit: BEDINGT
Worum es geht (2-4 Sätze): Der Beitrag vergleicht die Leistung eines lokal gehosteten KI-Modells (Qwen3.6) mit der von Claude Opus 4.7. Die Benchmarks zeigen, dass Claude bei komplexen Aufgaben wie der Implementierung von E2E-Tests überlegen ist, aber lokale Modelle für einfache Aufgaben durchaus wettbewerbsfähig sind.
Reales Setup (komplette Fakten-Tabelle):
| Feld | Wert |
|—|—|
| GPU(s) | RTX 4090 24GB |
| CPU / Mainboard | nicht im Post belegt |
| RAM | nicht im Post belegt |
| PSU | nicht im Post belegt |
| Chassis / Kuehlung | nicht im Post belegt |
| Framework + Version | llama.cpp |
| Modell + Quant | Qwen3.6-27B, Qwen3.6-35B |
| Kontext-Laenge | 200k (KV-Cache OK) |
| tok/s (single) | nicht im Post belegt |
| tok/s (batched) | nicht im Post belegt |
| Strom (full load) | nicht im Post belegt |
| Rohkosten | nicht im Post belegt |
| Autarkie-Fit | BEDINGT |
Was funktioniert konkret? (3-5 Sätze): Lokale Modelle wie Qwen3.6 sind für einfache Aufgaben wie die Planung und Implementierung von E2E-Tests durchaus wettbewerbsfähig. Sie bieten eine gute Leistung und können für kleinere Projekte verwendet werden. Die Qualität der Pläne und die Implementierung sind gut, aber Claude Opus 4.7 ist bei komplexeren Aufgaben überlegen.
Was NICHT funktioniert / Limits (2-4 Sätze): Lokale Modelle haben Probleme bei der Verarbeitung von sehr langen Kontexten und komplexen Aufgaben. Die Leistung kann bei längeren Sitzungen abnehmen, und manuelle Eingriffe sind oft erforderlich. Claude Opus 4.7 bietet eine höhere Kontext-Länge und bessere Leistung bei komplexen Aufgaben.
Nachbau-Empfehlung (2-4 Sätze): Dieses Setup ist besonders für Benutzer mit 24 GB GPUs wie der RTX 4090 geeignet. Es bietet eine gute Balance zwischen Leistung und Autarkie. Für Benutzer, die hohe Kontext-Längen und komplexe Aufgaben benötigen, ist Claude Opus 4.7 die bessere Wahl.
Weitere Beiträge (kurz):
– I’m brand new to running LLMs and the sheer number of tools is overwhelming — keine Hardware belegt, kein funktionierendes Setup
– How-to guide to create audiobooks? — keine Hardware belegt, kein funktionierendes Setup
– [[2×3090]: SymmMemCommunicator: Device capability 8.6 not supported, communicator is not available.](https://old.reddit.com/r/LocalLLaMA/comments/1u0a2dg/2x3090_symmmemcommunicator_device_capability_86/) — keine funktionierende Lösung, eher eine Problem-Beschreibung
– Weird to get near linear scaling by adding another GPU? — keine funktionierende Lösung, eher eine Problem-Beschreibung
– Galaxy Z Fold6 as a local inference node — llama.cpp/Vulkan, homelab telemetry, SHA-256 model verification — keine funktionierende Lösung, eher eine Problem-Beschreibung
– llama-server router: a model pinned to one GPU still grabs a CUDA context on every card, so it OOMs when my others are full. Am I missing a flag or is this just how it is? — keine funktionierende Lösung, eher eine Problem-Beschreibung
– Context, memory, and RAM/VRAM — keine funktionierende Lösung, eher eine Problem-Beschreibung
– Does anyone know what PCIe mode was used for these benchmarks? — keine funktionierende Lösung, eher eine Problem-Beschreibung
Weitere Beitraege (automatisch gefiltert):
– [3090 — zu duenne Description, keine nachbaubaren Daten
– [Benchmark — zu duenne Description, keine nachbaubaren Daten