[Shard – getting to 10× KV cache compression](https://old.reddit.com/r/LocalLLaMA/comments/1tnvo7r/shard_getting_to_10_kv_cache_compression/) (8/10)

 ### Diskussionen zur erschwinglichen lokalen KI-Infrastruktur Die Reddit-Community diskutiert aktuell verschiedene Aspek








