KI-Modelle für RTX 3080 & 3090 – Tagesbericht 27.02.2026

🖥️

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 25/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 24/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 9.4 GB VRAM

Score 22/40
→ HuggingFace

Läuft auf 3080 mit 2.5 GB VRAM

Score 22/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 5.4 GB VRAM

Score 22/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz. Qwen-Architektur: stark in Mehrsprachigkeit + Code

Score 27/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz

Score 23/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz

Score 23/40
→ HuggingFace

Modell	Param	Quant	Gew.GB	KV GB	Total	Report	Urteil	Hinweis
Qwen3-Coder-30B-A3B-Instruct-GGUF	30B	Q4 (geschätzt)	16.9	15.0	33.4	18.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~33.4GB
Jan-v3-4B-base-instruct-gguf	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
LocoOperator-4B	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
gpt-oss-20b-GGUF	20B	Q4 (geschätzt)	11.2	10.0	22.8	12.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
GLM-4.7-Flash-REAP-23B-A3B-GGUF	23B	Q4 (geschätzt)	12.9	11.5	25.9	14.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~25.9GB
Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist	14B	Q4 (geschätzt)	7.9	7.0	16.4	9.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3080 fraglich: inkl. KV ~16.4GB
qmd-query-expansion-1.7B-gguf	2B	Q4 (geschätzt)	1.0	0.8	3.3	2.5	PLAUSIBEL	OK bei 4096-Kontext
Nerdsking-python-coder-7B-i	7B	Q4 (geschätzt)	3.9	3.5	8.9	5.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch

| Modell | Param | Quant | Gew_GB | KV_GB | Total_GB | Report | Urteil | Korrektur |
|——–|——-|——-|——–|——-|———-|——–|——–|———–|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | Gew=16.9GB | KV=15.0GB | Total=33.4GB | Report=18.4GB | Urteil:GRENZWERTIG | |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| LocoOperator-4B | 4B | Q4 (geschätzt) | Gew=2.2GB | KV=2.0GB | Total=5.8GB | Report=3.8GB | Urteil:GRENZWERTIG | |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | Gew=11.2GB | KV=10.0GB | Total=22.8GB | Report=12.8GB | Urteil:GRENZWERTIG | |
| GLM-4.7-Flash-REAP-23B-A3B-GGUF | 23B | Q4 (geschätzt) | Gew=12.9GB | KV=11.5GB | Total=25.9GB | Report=14.4GB | Urteil:GRENZWERTIG | |
| Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist | 14B | Q4 (geschätzt) | Gew=7.9GB | KV=7.0GB | Total=16.4GB | Report=9.4GB | Urteil:GRENZWERTIG | |
| qmd-query-expansion-1.7B-gguf | 2B | Q4 (geschätzt) | Gew=1.0GB | KV=0.8GB | Total=3.3GB | Report=2.5GB | Urteil:PLAUSIBEL | |
| Nerdsking-python-coder-7B-i | 7B | Q4 (geschätzt) | Gew=3.9GB | KV=3.5GB | Total=8.9GB | Report=5.4GB | Urteil:GRENZWERTIG | |
| **Report insgesamt:** | | | | | | | | **teilweise schwammig** |

# Modell herunterladen (Beispiel Qwen2.5-7B-Q4)
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf

# Inferenz starten (GPU-Offload)
./llama-cli -m model.gguf -ngl 99 –color -i -c 4096

# Als Server (API-kompatibel zu OpenAI)
./llama-server -m model.gguf -ngl 99 –host 0.0.0.0 –port 8080