RAG: Retrieval Augmented Generation für Unternehmen

Was ist RAG?

Stell dir vor, dein KI-Assistent könnte deine Unternehmensdokumente lesen, bevor er antwortet. Genau das macht RAG (Retrieval Augmented Generation). Ein LLM wird mit einer externen Wissensdatenbank verbunden und kann relevante Dokumente nachschlagen.

Welche Probleme löst RAG?

RAG adressiert vier fundamentale Schwächen von LLMs:

• Aktualität: Das Modell greift auf deine aktuellen Unternehmensdaten zu
• Genauigkeit: Antworten basieren auf konkreten Dokumenten, nicht auf Trainingswissen
• Nachvollziehbarkeit: Quellen lassen sich angeben und prüfen
• Datenschutz: Deine Daten müssen nicht ins Modell-Training einfließen

Wie funktioniert RAG technisch?

1. Indexierung: Dokumente werden in Chunks aufgeteilt und als Vektoren gespeichert (z.B. in Pinecone, Weaviate oder pgvector)
2. Retrieval: Bei einer Frage durchsucht das System die Datenbank nach relevanten Chunks
3. Augmentation: Die gefundenen Chunks werden als Kontext an den Prompt angehängt
4. Generation: Das LLM erzeugt eine Antwort auf Basis dieses Kontexts

Wo wird RAG eingesetzt?

Typische Anwendungsfälle in Unternehmen:

• Interner Wissens-Chatbot (FAQ, Handbücher, Richtlinien)
• Kundenservice-Assistent mit Produktwissen
• Rechtsrecherche auf Basis interner Dokumente
• Technische Dokumentation durchsuchbar machen

Worauf kommt es an?

• Datenqualität: Garbage in, garbage out — deine Quelldokumente müssen hochwertig sein
• Chunking-Strategie: Die richtige Granularität der Textabschnitte ist entscheidend
• Embedding-Modell: Bestimmt die Qualität der semantischen Suche
• Prompt Engineering: Das Modell muss angewiesen werden, nur auf Basis des Kontexts zu antworten