Aktuelle RAG-Systeme und Parser-Pipelines (GitHub)
In diesem Artikel stellen wir aktuelle GitHub-Repositories vor, die sich mit Retrieval-Augmented-Generation (RAG) und Parser-Pipelines befassen. Diese Projekte bieten Lösungen für die Verarbeitung verschiedener Dokumentformate, die Erstellung von Embeddings und die Integration in lokale AI-Systeme.
chunky (8/10)
Repository: GiovanniPasq/chunky
Bewertung: RAG-Kern 3/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 1/2 | Reife 0/1 = 8/10
Was es macht: chunky ist ein Open-Source-Toolkit für zuverlässige RAG-Pipelines. Es ermöglicht die Konvertierung von PDFs in Markdown, das Reinigen von Dokumenten, die Inspektion von Chunks, den Vergleich verschiedener Chunking-Strategien und die Bereicherung von Metadaten für LLM-Anwendungen.
Warum relevant: chunky ist vollständig self-hostbar und unterstützt eine Vielzahl von Dokumentformaten, was es zu einer wertvollen Ressource für Entwickler macht, die ihre Daten lokal verarbeiten möchten.
self-hosted-ai-stack (7/10)
Repository: hwdsl2/self-hosted-ai-stack
Bewertung: RAG-Kern 2/3 | Dokumente 1/2 | Selfhosting 2/2 | Innovation 1/2 | Reife 1/1 = 7/10
Was es macht: Dieses Projekt ermöglicht die Bereitstellung eines vollständigen self-hosted AI-Stacks mit Docker Compose. Es umfasst Ollama, LiteLLM, AnythingLLM, Whisper, WhisperLive, Kokoro, Embeddings, Docling und MCP Gateway. Es ist lokal erster, privat standardmäßig und bietet leichte Stacks mit optionaler HTTPS-Unterstützung und NVIDIA CUDA-Beschleunigung.
Warum relevant: Die Kombination verschiedener AI-Tools in einem einzigen, self-hostbaren Stack macht dieses Projekt besonders interessant für Entwickler, die eine umfassende, lokale AI-Infrastruktur aufbauen möchten.
quarkus-docling (6/10)
Repository: quarkiverse/quarkus-docling
Bewertung: RAG-Kern 2/3 | Dokumente 1/2 | Selfhosting 1/2 | Innovation 1/2 | Reife 1/1 = 6/10
Was es macht: Docling vereinfacht die Verarbeitung von Dokumenten und unterstützt verschiedene Formate, einschließlich fortgeschrittener PDF-Verarbeitung. Es bietet nahtlose Integrationen in das gen AI-Ökosystem.
Warum relevant: quarkus-docling ist ein Java-basiertes Projekt, das sich gut in bestehende Java-Anwendungen integrieren lässt. Es ist besonders nützlich für Entwickler, die eine robuste Dokumentverarbeitung in ihre Anwendungen integrieren möchten.
Quelle: GitHub Search API