Aktuelle RAG-Systeme und Parser-Pipelines (GitHub)
In den letzten Monaten haben sich einige interessante Projekte im Bereich RAG (Retrieval-Augmented Generation) und Dokumentverarbeitung entwickelt. Hier eine Übersicht der besten Repositories, die sich für Selfhosting und die Verarbeitung eigener Daten eignen.
flexible-graphrag (8/10)
Repository: stevereiner/flexible-graphrag
Bewertung: RAG-Kern 3/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 2/2 | Reife 1/1 = 8/10
Was es macht: Ein umfassendes Toolkit, das verschiedene Datenquellen (darunter Alfresco und Nuxeo) verarbeitet, in Graphen und Vektordatenbanken integriert und mit LLMs für RAG-Anwendungen nutzt.
Warum relevant: Die Vielfalt der integrierten Datenquellen und die Unterstützung von verschiedenen Frontends machen dieses Projekt zu einer robusten Lösung für komplexe RAG-Pipelines. Es ist vollständig selfhostbar und bietet hohe Flexibilität.
docling-Studio (8/10)
Repository: scub-france/docling-Studio
Bewertung: RAG-Kern 3/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 1/2 | Reife 1/1 = 8/10
Was es macht: Ein visuelles Dokumentanalyse-Studio, das die Extraktion, Chunking, Embedding und Indizierung von Dokumenten in OpenSearch und Neo4j unterstützt.
Warum relevant: Die visuelle Inspektion von Texten, Tabellen und Bounding Boxes sowie die Integration in Vektordatenbanken machen dieses Projekt zu einer leistungsstarken Lösung für die Dokumentverarbeitung. Es ist vollständig selfhostbar und bietet eine benutzerfreundliche Oberfläche.
chunky (7/10)
Repository: GiovanniPasq/chunky
Bewertung: RAG-Kern 2/3 | Dokumente 2/2 | Selfhosting 2/2 | Innovation 1/2 | Reife 1/1 = 7/10
Was es macht: Ein Open-Source-Toolkit zur Verarbeitung von PDFs, Konvertierung in Markdown, Chunking, Validierung und Metadatenbereicherung für LLM-Anwendungen.
Warum relevant: Die umfassende Unterstützung für PDF-Verarbeitung und die Möglichkeit, verschiedene Chunking-Strategien zu vergleichen, machen dieses Projekt zu einer nützlichen Ressource für die Dokumentverarbeitung. Es ist vollständig selfhostbar und bietet eine robuste Pipeline.
self-hosted-ai-stack (7/10)
Repository: hwdsl2/self-hosted-ai-stack
Bewertung: RAG-Kern 2/3 | Dokumente 1/2 | Selfhosting 2/2 | Innovation 2/2 | Reife 1/1 = 7/10
Was es macht: Ein vollständiger self-hostbarer AI-Stack mit Docker Compose, der Ollama, LiteLLM, Whisper, Docling und andere Tools integriert. Es unterstützt lokale und private Anwendungen mit optionaler NVIDIA CUDA-Beschleunigung.
Warum relevant: Die Kombination verschiedener AI-Tools in einem einzigen, leichtgewichtigen Stack macht dieses Projekt zu einer attraktiven Lösung für die lokale Bereitstellung von AI-Anwendungen. Es ist vollständig selfhostbar und bietet hohe Flexibilität.
GustoBot (6/10)
Repository: skygazer42/GustoBot
Bewertung: RAG-Kern 2/3 | Dokumente 1/2 | Selfhosting 1/2 | Innovation 2/2 | Reife 1/1 = 6/10
Was es macht: Ein Multi-Agenten-Chatbot, der auf Langraph basiert und Funktionen wie txt2sql, txt2cypher und lightrag unterstützt.
Warum relevant: Die Integration verschiedener Agenten und die Unterstützung von Text-zu-SQL- und Text-zu-Cypher-Abfragen machen dieses Projekt zu einer innovativen Lösung für die Entwicklung von Chatbots. Es ist teilweise selfhostbar und bietet interessante Anwendungsmöglichkeiten.
quarkus-docling (5/10)
Repository: quarkiverse/quarkus-docling
Bewertung: RAG-Kern 1/3 | Dokumente 1/2 | Selfhosting 1/2 | Innovation 1/2 | Reife 1/1 = 5/10
Was es macht: Eine Quarkus-Erweiterung, die die Verarbeitung und Parsen verschiedener Dokumentformate vereinfacht und nahtlose Integrationen in das genAI-Ökosystem bietet.
Warum relevant: Die Unterstützung von Quarkus und die Vereinfachung der Dokumentverarbeitung machen dieses Projekt zu einer nützlichen Ressource für Java-Entwickler. Es ist teilweise selfhostbar und bietet eine gute Basis für die Integration in bestehende Java-Anwendungen.
Quelle: GitHub Search API