Zurück zu Projekten 
Babylon Bahndienste – lokales RAG-System
Babylon Bahndienste UG (haftungsbeschränkt) · Bahndienstleistungen · Infrastruktur
Von der Idee zur Realität
Die Ausgangslage
Internes Wissen war über zahlreiche Dokumente verteilt und im Arbeitsalltag nur mit hohem Suchaufwand zugänglich. Gleichzeitig sollten sensible Unternehmensinformationen die eigene Infrastruktur nicht verlassen. Für die Babylon Bahndienste UG haben wir deshalb ein lokal betriebenes Retrieval-Augmented-Generation-System als unternehmensinterne Wissensdatenbank aufgebaut.
Lokale KI-Wissensdatenbank
Mitarbeitende können Informationen aus internen Dokumenten in natürlicher Sprache abfragen. Das RAG-System sucht relevante Inhalte in der unternehmenseigenen Wissensbasis und stellt sie dem Sprachmodell als Kontext für die Antwort bereit. Der gesamte Betrieb erfolgt lokal und ohne Abhängigkeit von externen Cloud-KI-Diensten.
Für den Betrieb und die Inferenz der Sprachmodelle kommen Ollama und vLLM zum Einsatz. OpenWebUI stellt die zentrale Benutzeroberfläche bereit. LlamaIndex und Qdrant übernehmen Dokumentenaufbereitung, Retrieval und Vektorsuche. Die Abläufe werden mit LangChain und LangGraph orchestriert; die individuelle Anwendungslogik ist in Python umgesetzt.
Das Ergebnis
Babylon Bahndienste verfügt über eine intern betriebene KI-Wissensdatenbank, mit der Mitarbeitende Informationen aus Unternehmensdokumenten schnell und ohne Cloud-Abhängigkeit abrufen können.
Internes Wissen war über zahlreiche Dokumente verteilt und im Arbeitsalltag nur mit hohem Suchaufwand zugänglich. Gleichzeitig sollten sensible Unternehmensinformationen die eigene Infrastruktur nicht verlassen. Für die Babylon Bahndienste UG haben wir deshalb ein lokal betriebenes Retrieval-Augmented-Generation-System als unternehmensinterne Wissensdatenbank aufgebaut.
Lokale KI-Wissensdatenbank
Mitarbeitende können Informationen aus internen Dokumenten in natürlicher Sprache abfragen. Das RAG-System sucht relevante Inhalte in der unternehmenseigenen Wissensbasis und stellt sie dem Sprachmodell als Kontext für die Antwort bereit. Der gesamte Betrieb erfolgt lokal und ohne Abhängigkeit von externen Cloud-KI-Diensten.
Für den Betrieb und die Inferenz der Sprachmodelle kommen Ollama und vLLM zum Einsatz. OpenWebUI stellt die zentrale Benutzeroberfläche bereit. LlamaIndex und Qdrant übernehmen Dokumentenaufbereitung, Retrieval und Vektorsuche. Die Abläufe werden mit LangChain und LangGraph orchestriert; die individuelle Anwendungslogik ist in Python umgesetzt.
Das Ergebnis
Babylon Bahndienste verfügt über eine intern betriebene KI-Wissensdatenbank, mit der Mitarbeitende Informationen aus Unternehmensdokumenten schnell und ohne Cloud-Abhängigkeit abrufen können.
Einblicke
Fakten & Zahlen
• LLM-Betrieb und Inferenz: Ollama und vLLM • Oberfläche: OpenWebUI • Retrieval und Vektorsuche: LlamaIndex und Qdrant • Orchestrierung: LangChain und LangGraph • Entwicklung: Python • Betrieb: lokal und ohne Abhängigkeit von externen Cloud-KI-Diensten