Aktuelle RAG-Systeme und Parser-Pipelines (GitHub)
In diesem Artikel stellen wir die neuesten Entwicklungen im Bereich Retrieval-Augmented-Generation (RAG) und Dokumenten-Parser-Pipelines vor. Diese Projekte bieten innovative Lösungen für die Verarbeitung und Analyse von Dokumenten, die lokal betrieben werden können und dabei die Privatsphäre und die Kontrolle über eigene Daten gewährleisten.
flexible-graphrag (9/10)
Repository: stevereiner/flexible-graphrag
Bewertung: RAG-Kern 3/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 2/2 | Reife 0/1 = 9/10
Was es macht: Dieses Projekt bietet eine flexible RAG-Implementierung mit Unterstützung für verschiedene Graph- und Vektordatenbanken, sowie automatische Synchronisierung von 13 Datenquellen. Es unterstützt auch die automatische Erstellung von Wissensgraphen und die Verarbeitung von Dokumenten mit Docling oder LlamaParse.
Warum relevant: Die umfassende Unterstützung für verschiedene Datenquellen und die Möglichkeit, das System lokal zu betreiben, machen es zu einer hochwertigen Lösung für RAG-Anwendungen.
self-hosted-ai-stack (8/10)
Repository: hwdsl2/self-hosted-ai-stack
Bewertung: RAG-Kern 2/3 | Dokumente 1/2 | Selfhosting 2/2 | Innovation 2/2 | Reife 1/1 = 8/10
Was es macht: Dieses Projekt ermöglicht es, eine vollständige, lokal betriebene AI-Stack mit Docker Compose zu bereitstellen. Es umfasst verschiedene LLMs, Whisper für Sprachverarbeitung, Docling für Dokumentenverarbeitung und MCP Gateway für die Integration.
Warum relevant: Die Fähigkeit, eine komplexe AI-Stack lokal zu betreiben, bietet eine hohe Kontrolle über die Daten und eine bessere Privatsphäre. Die Unterstützung für NVIDIA CUDA-Acceleration und Multi-Architekturen macht es besonders attraktiv.
transmutation (7/10)
Repository: hivellm/transmutation
Bewertung: RAG-Kern 1/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 1/2 | Reife 1/1 = 7/10
Was es macht: Transmutation ist ein Rust-basiertes Modul zur Dokumentenkonvertierung, das verschiedene Dateiformate in optimierte Text- und Bildausgaben für LLM-Verarbeitung und Vektorembeddings umwandelt. Es nutzt Docling für fortgeschrittene Dokumentenverarbeitung.
Warum relevant: Die effiziente Verarbeitung und Konvertierung von Dokumenten in ein für LLMs geeignetes Format ist ein wichtiger Schritt in der RAG-Pipeline. Die Unterstützung für verschiedene Dateiformate und die Integration von Docling machen es zu einer nützlichen Komponente.
quarkus-docling (6/10)
Repository: quarkiverse/quarkus-docling
Bewertung: RAG-Kern 1/3 | Dokumente 2/2 | Selfhosting 1/2 | Innovation 1/2 | Reife 1/1 = 6/10
Was es macht: Docling vereinfacht die Verarbeitung von Dokumenten und unterstützt verschiedene Formate, einschließlich fortgeschrittene PDF-Verarbeitung. Es bietet nahtlose Integrationen mit dem gen AI-Ökosystem.
Warum relevant: Die einfache Verarbeitung und Konvertierung von Dokumenten in ein für LLMs geeignetes Format ist ein wesentlicher Bestandteil vieler RAG-Anwendungen. Die Integration von Docling in das Quarkus-Framework macht es zu einer nützlichen Komponente für Java-Entwickler.
Quelle: GitHub Search API