RAG ist mehr als Embeddings
Die Qualität eines RAG hängt ebenso von der Datenaufbereitung ab wie vom Modell. Chunking, Metadaten, Suchstrategie und Filterung beeinflussen die Relevanz direkt.
Eine robuste Architektur muss außerdem die Nachvollziehbarkeit der Quellen sicherstellen und eine Antwort verweigern können, wenn der verfügbare Kontext nicht ausreicht.
Ein gutes RAG-System ist daher eine vollständige Dokumenten-Pipeline und nicht nur eine Abfrage nach Vektorähnlichkeit.
Eine Chunking-Strategie wählen
Zu kleine Chunks verlieren den fachlichen Kontext. Zu große Chunks verringern die Suchgenauigkeit und erhöhen die Zahl der an das Modell gesendeten Tokens.
Das Chunking sollte die tatsächliche Struktur der Dokumente abbilden: Überschriften, Absätze, Tabellen, Vertragsklauseln oder funktionale Blöcke.
Es lohnt sich, mehrere Strategien zu messen, statt dauerhaft eine willkürliche Größe festzulegen.
Vektorsuche mit fachlichen Filtern kombinieren
Die semantische Suche darf weder Zugriffsrechte noch den fachlichen Kontext umgehen. Noch bevor die Ähnlichkeit berechnet wird, sollte das System den zulässigen Datenbestand eingrenzen.
Mandant, Dokumenttyp, Zeitraum, Status, Sprache oder Vertraulichkeitsstufe sind Filter, die in die Suche einfließen sollten.
In vielen Fällen liefert eine hybride Strategie aus lexikalischer und vektorieller Suche bessere Ergebnisse als ein rein semantischer Ansatz.
Auf Beobachtbarkeit auslegen
Wer gefundene Dokumente, Ähnlichkeitswerte, Latenz und Fehler erfasst, erkennt leichter, ob ein Problem aus der Suche oder aus der Generierung stammt.
Diese Beobachtbarkeit ist unverzichtbar, um Prompts, Suchstrategien und Modelle schrittweise zu verbessern.
Traces sollten eine Antwort reproduzierbar machen, ohne unnötig sensible Daten offenzulegen.
Die Qualität vor dem Produktivbetrieb bewerten
Ein RAG-System lässt sich nicht mit ein paar Demos validieren. Teams sollten einen repräsentativen Fragenkatalog aufbauen und sowohl die Suchgenauigkeit als auch die Antwortqualität messen.
Automatisierte Tests können Regressionen nach einem Wechsel von Modell, Prompt oder Chunking-Strategie aufdecken.
Ziel ist nicht bloß eine plausible Antwort, sondern eine nützliche, nachvollziehbare Antwort, die auf den richtigen Quellen beruht.
