KI-Modelle für RTX 3080 & 3090 – Tagesbericht 28.02.2026

🖥️

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 25/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 3.8 GB VRAM

Score 24/40
→ HuggingFace

Qwen-Architektur: stark in Mehrsprachigkeit + Code. Läuft auf 3080 mit 9.4 GB VRAM

Score 22/40
→ HuggingFace

Läuft auf 3080 mit 2.5 GB VRAM

Score 22/40
→ HuggingFace

Codegenerierung & -vervollständigung offline. Läuft auf 3080 mit 5.4 GB VRAM

Score 22/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz. Qwen-Architektur: stark in Mehrsprachigkeit + Code

Score 27/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz

Score 23/40
→ HuggingFace

Unsloth-optimiert: 2x schnellere Inferenz

Score 23/40
→ HuggingFace

Modell	Param	Quant	Gew.GB	KV GB	Total	Report	Urteil	Hinweis
Qwen3-Coder-30B-A3B-Instruct-GGUF	30B	Q4 (geschätzt)	16.9	15.0	33.4	18.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~33.4GB
Jan-v3-4B-base-instruct-gguf	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
LocoOperator-4B	4B	Q4 (geschätzt)	2.2	2.0	5.8	3.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
gpt-oss-20b-GGUF	20B	Q4 (geschätzt)	11.2	10.0	22.8	12.8	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch
GLM-4.7-Flash-REAP-23B-A3B-GGUF	23B	Q4 (geschätzt)	12.9	11.5	25.9	14.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3090 fraglich: inkl. KV ~25.9GB
Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist	14B	Q4 (geschätzt)	7.9	7.0	16.4	9.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch ⚠ 3080 fraglich: inkl. KV ~16.4GB
qmd-query-expansion-1.7B-gguf	2B	Q4 (geschätzt)	1.0	0.8	3.3	2.5	PLAUSIBEL	OK bei 4096-Kontext
Nerdsking-python-coder-7B-i	7B	Q4 (geschätzt)	3.9	3.5	8.9	5.4	GRENZWERTIG	Nur mit Kontext <2k oder CPU-Offload realistisch

| Modell | Param | Quant | Gew_GB | KV_GB | Total_GB | Report | Urteil | Korrektur |
|——–|——-|——-|——–|——-|———-|——–|——–|———–|
| Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B | Q4 (geschätzt) | 16.9GB | 15.0GB | 33.4GB | 18.4GB | GRENZWERTIG | – |
| Jan-v3-4B-base-instruct-gguf | 4B | Q4 (geschätzt) | 2.2GB | 2.0GB | 5.8GB | 3.8GB | GRENZWERTIG | – |
| LocoOperator-4B | 4B | Q4 (geschätzt) | 2.2GB | 2.0GB | 5.8GB | 3.8GB | GRENZWERTIG | – |
| gpt-oss-20b-GGUF | 20B | Q4 (geschätzt) | 11.2GB | 10.0GB | 22.8GB | 12.8GB | GRENZWERTIG | – |
| GLM-4.7-Flash-REAP-23B-A3B-GGUF | 23B | Q4 (geschätzt) | 12.9GB | 11.5GB | 25.9GB | 14.4GB | GRENZWERTIG | – |
| Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Dist | 14B | Q4 (geschätzt) | 7.9GB | 7.0GB | 16.4GB | 9.4GB | GRENZWERTIG | – |
| qmd-query-expansion-1.7B-gguf | 2B | Q4 (geschätzt) | 1.0GB | 0.8GB | 3.3GB | 2.5GB | PLAUSIBEL | – |
| Nerdsking-python-coder-7B-i | 7B | Q4 (geschätzt) | 3.9GB | 3.5GB | 8.9GB | 5.4GB | GRENZWERTIG | – |
| **Report insgesamt:** | | | | | | | **teilweise schwammig** | |

# Modell herunterladen (Beispiel Qwen2.5-7B-Q4)
curl -L https://huggingface.co/<model>/resolve/main/model.gguf -o model.gguf

# Inferenz starten (GPU-Offload)
./llama-cli -m model.gguf -ngl 99 –color -i -c 4096

# Als Server (API-kompatibel zu OpenAI)
./llama-server -m model.gguf -ngl 99 –host 0.0.0.0 –port 8080