Aktuelle RAG-Systeme und Parser-Pipelines (GitHub)
In diesem Artikel stellen wir die neuesten Entwicklungen im Bereich RAG-Systeme und Parser-Pipelines vor. Diese Projekte bieten innovative Lösungen für die Verarbeitung und Analyse von Dokumenten, die lokal betrieben werden können und eine hohe Reife aufweisen.
flexible-graphrag (8/10)
Repository: stevereiner/flexible-graphrag
Bewertung: RAG-Kern 3/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 2/2 | Reife 1/1 = 8/10
Was es macht: Dieses Projekt bietet eine flexible RAG-Pipeline, die verschiedene Datenquellen (darunter PDFs, Markdown und Office-Dateien) verarbeitet, in Graphen und Vektoren umwandelt und mit LLMs integriert. Es unterstützt 15 Property Graphs, 4 RDF-Graphen und 10 Vektordatenbanken, sowie automatische Synchronisierung und Ontologie-Bau.
Warum relevant: Die umfassende Unterstützung von Datenquellen und die Integration mit verschiedenen Datenbanken machen dieses Projekt zu einer robusten Lösung für komplexe RAG-Anwendungen. Es ist lokal betreibbar und bietet eine REST-API für die Integration in bestehende Systeme.
chunky (7/10)
Repository: GiovanniPasq/chunky
Bewertung: RAG-Kern 2/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 1/2 | Reife 1/1 = 7/10
Was es macht: Chunky ist ein Open-Source-Toolkit, das PDFs in Markdown umwandelt, Dokumente bereinigt, Chunks inspiziert, Chunking-Strategien vergleicht und Metadaten bereichert. Es ist speziell für die Verwendung in RAG-Pipelines konzipiert.
Warum relevant: Die Fähigkeit, verschiedene Dokumentformate zu verarbeiten und Chunks zu optimieren, macht Chunky zu einem wertvollen Werkzeug für die Vorbereitung von Daten für RAG-Anwendungen. Es ist lokal betreibbar und bietet eine benutzerfreundliche Schnittstelle.
quarkus-docling (6/10)
Repository: quarkiverse/quarkus-docling
Bewertung: RAG-Kern 1/3 | Dokumente 2/2 | Selfhosting 1/2 | Innovation 1/2 | Reife 1/1 = 6/10
Was es macht: Docling vereinfacht die Verarbeitung von Dokumenten und das Parsen verschiedener Formate, einschließlich PDFs. Es bietet nahtlose Integrationen mit dem gen AI-Ökosystem und ist als Quarkus-Erweiterung verfügbar.
Warum relevant: Die Integration von Docling in Quarkus-Anwendungen ermöglicht eine einfache und effiziente Verarbeitung von Dokumenten. Obwohl es weniger umfassend als andere RAG-Projekte ist, bietet es eine praktische Lösung für spezifische Anwendungsfälle.
Quelle: GitHub Search API