🖥️
KI-Modelle für RTX 3080 & 3090
Täglicher HuggingFace-Scan · 02.03.2026 · 6 qualifizierte Modelle aus 424 analysiert
RTX 3080
10 GB VRAM
✓ 7B-Modelle (Q4–Q8)
✓ 13B-Modelle (Q4)
✗ 13B Q8, 70B
✓ 13B-Modelle (Q4)
✗ 13B Q8, 70B
4 Modelle heute
RTX 3090
24 GB VRAM
✓ Alles bis 34B Q4
✓ 13B in voller Präzision
✗ 70B (zu groß)
✓ 13B in voller Präzision
✗ 70B (zu groß)
6 Modelle heute
🎯 Top-Empfehlungen für RTX 3080 (10 GB)
✓ RTX 3080 ✓ RTX 3090 Code
Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM
4B
Parameter
3.8 GB
VRAM
Q4 (geschätzt)
Quantisierung
3k
Downloads
Score 24/40
→ HuggingFace
✓ RTX 3080 ✓ RTX 3090 Code
Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM
4B
Parameter
3.8 GB
VRAM
Q4 (geschätzt)
Quantisierung
258k
Downloads
Score 23/40
→ HuggingFace
✓ RTX 3080 ✓ RTX 3090 Basis-LLM
Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 9.4 GB VRAM
14B
Parameter
9.4 GB
VRAM
Q4 (geschätzt)
Quantisierung
73k
Downloads
Score 22/40
→ HuggingFace
✓ RTX 3080 ✓ RTX 3090 Code
Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 5.4 GB VRAM
7B
Parameter
5.4 GB
VRAM
Q4 (geschätzt)
Quantisierung
2k
Downloads
Score 22/40
→ HuggingFace
🚀 Zusätzlich für RTX 3090 (24 GB)
✓ RTX 3090 Code
Unsloth-optimiert: 2x schnellere Inferenz. Qwen-Architektur: stark in Mehrsprachigkeit + Code
30B
Parameter
18.4 GB
VRAM
Q4 (geschätzt)
Quantisierung
189k
Downloads
Score 25/40
→ HuggingFace
✓ RTX 3090 Basis-LLM
Unsloth-optimiert: 2x schnellere Inferenz
20B
Parameter
12.8 GB
VRAM
Q4 (geschätzt)
Quantisierung
238k
Downloads
Score 23/40
→ HuggingFace
🔬 Technische Plausibilitätsprüfung
VRAM = Gewichte + KV-Cache (ctx 4096) + 1.5 GB Overhead. RTX 3080: max 9.5 GB. RTX 3090: max 23 GB.
| Modell | Param | Quant | Gew.GB | KV GB | Total | Report | Urteil | Hinweis |
|---|---|---|---|---|---|---|---|---|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9 | 15.0 | 33.4 | 18.4 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~33.4GB |
| LocoOperator-4B | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2 | 10.0 | 22.8 | 12.8 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist | 14B | Q4 (geschätzt) | 7.9 | 7.0 | 16.4 | 9.4 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3080 fraglich: inkl. KV ~16.4GB |
| Nerdsking-python-coder-7B-i | 7B | Q4 (geschätzt) | 3.9 | 3.5 | 8.9 | 5.4 | GRENZWERTIG | Nur mit Kontext <2k oder CPU-Offload realistisch |
| Modell | Param | Quant | Gew_GB | KV_GB | Total_GB | Report | Urteil | Korrektur |
|————————————————————-|——-|————|——–|——-|———-|——–|————-|——————|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9 | 15.0 | 33.4 | 18.4 | GRENZWERTIG | VRAM überschritten |
| LocoOperator-4B | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2 | 10.0 | 22.8 | 12.8 | GRENZWERTIG | – |
| Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist | 14B | Q4 (geschätzt) | 7.9 | 7.0 | 16.4 | 9.4 | GRENZWERTIG | – |
| Nerdsking-python-coder-7B-i | 7B | Q4 (geschätzt) | 3.9 | 3.5 | 8.9 | 5.4 | GRENZWERTIG | – |
| **Report insgesamt:** | | | | | | | **teilweise schwammig** | |
|————————————————————-|——-|————|——–|——-|———-|——–|————-|——————|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9 | 15.0 | 33.4 | 18.4 | GRENZWERTIG | VRAM überschritten |
| LocoOperator-4B | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2 | 2.0 | 5.8 | 3.8 | GRENZWERTIG | – |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2 | 10.0 | 22.8 | 12.8 | GRENZWERTIG | – |
| Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist | 14B | Q4 (geschätzt) | 7.9 | 7.0 | 16.4 | 9.4 | GRENZWERTIG | – |
| Nerdsking-python-coder-7B-i | 7B | Q4 (geschätzt) | 3.9 | 3.5 | 8.9 | 5.4 | GRENZWERTIG | – |
| **Report insgesamt:** | | | | | | | **teilweise schwammig** | |
⚡ Schnellstart mit llama.cpp (Windows/Linux)
# Modell herunterladen (Beispiel Qwen2.5-7B-Q4)
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf
# Inferenz starten (GPU-Offload)
./llama-cli -m model.gguf -ngl 99 –color -i -c 4096
# Als Server (API-kompatibel zu OpenAI)
./llama-server -m model.gguf -ngl 99 –host 0.0.0.0 –port 8080
-ngl 99 = alle Layer auf GPU |
-c 4096 = Kontextlänge |
CUDA erforderlich für GPU-Beschleunigung
👁 2 Aufrufe
👤 2 Leser