KI-Modelle für RTX 3080 & 3090 – Tagesbericht 09.03.2026

🖥️

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 24/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 23/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 3.8 GB VRAM

Score 23/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 2.6 GB VRAM

Score 23/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 23/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Function-Calling für lokale Automatisierung (n8n, Home Assistant)

Score 23/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 9.4 GB VRAM

Score 22/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 1.9 GB VRAM

Score 22/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 5.4 GB VRAM

Score 22/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz. Qwen-Architektur: stark in Mehrsprachigkeit + Code

Score 25/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz

Score 23/40
→ HuggingFace

Modell	Param	Quant	Gew.GB	KV GB	Total	Report	Urteil	Hinweis
Qwen3-Coder-30B-A3B-Instruct-GGUF	30B	Q4 (geschätzt)	16.9	15.0	33.4	18.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~33.4GB
LocoOperator-4B	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
gpt-oss-20b-GGUF	20B	Q4 (geschätzt)	11.2	10.0	22.8	12.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
Jan-v3-4B-base-instruct-gguf	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distille	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distille	2B	Q4 (geschätzt)	1.1	1.0	3.6	2.6	PLAUSIBEL	OK bei 4096-Kontext
Jan-code-4b-gguf	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
qwen3-adv-comp-v34	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist	14B	Q4 (geschätzt)	7.9	7.0	16.4	9.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3080 fraglich: inkl. KV ~16.4GB
Qwen3.5-PRISM-Dynamic-Quant-GGUF	1B	Q4 (geschätzt)	0.5	0.4	2.4	1.9	PLAUSIBEL	OK bei 4096-Kontext
Nerdsking-python-coder-7B-i	7B	Q4 (geschätzt)	3.9	3.5	8.9	5.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch

| Modell | Param | Quant | Gew_GB | KV_GB | Total_GB | Report | Urteil | Korrektur |
|——–|——-|——-|——–|——-|———-|——–|——–|———–|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | Gew=16.9GB | KV=15.0GB | Total=33.4GB | Report=18.4GB | Urteil:GRENZWERTIG | |
| LocoOperator-4B | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | Gew=11.2GB | KV=10.0GB | Total=22.8GB | Report=12.8GB | Urteil:GRENZWERTIG | |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distille | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distille | 2B | Q4 (geschätzt) | Gew=1.1GB | KV=1.0GB | Total=3.6GB | Report=2.6GB | Urteil:PLAUSIBEL | |
| Jan-code-4b-gguf | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| qwen3-adv-comp-v34 | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist | 14B | Q4 (geschätzt) | Gew=7.9GB | KV=7.0GB | Total=16.4GB | Report=9.4GB | Urteil:GRENZWERTIG | |
| Qwen3.5-PRISM-Dynamic-Quant-GGUF | 1B | Q4 (geschätzt) | Gew=0.5GB | KV=0.4GB | Total=2.4GB | Report=1.9GB | Urteil:PLAUSIBEL | |
| Nerdsking-python-coder-7B-i | 7B | Q4 (geschätzt) | Gew=3.9GB | KV=3.5GB | Total=8.9GB | Report=5.4GB | Urteil:GRENZWERTIG | |
| **Report insgesamt:** | | | | | | | **teilweise schwammig** | |

# Modell herunterladen (Beispiel Qwen2.5-7B-Q4)
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf

# Inferenz starten (GPU-Offload)
./llama-cli -m model.gguf -ngl 99 –color -i -c 4096

# Als Server (API-kompatibel zu OpenAI)
./llama-server -m model.gguf -ngl 99 –host 0.0.0.0 –port 8080