Die Funktionsweise eines Rag Systems: Technik einfach erklärt

RAG kurz erklärt: Suchen und Antworten verbinden

RAG steht für Retrieval-Augmented Generation. Ein solches System verbindet zwei Aufgaben: Es sucht passende Informationen in einer Wissensquelle und nutzt diese Treffer anschließend für die Antwort. Das Sprachmodell schreibt also nicht nur aus seinem gelernten Wissen heraus, sondern erhält zusätzlichen Kontext.

Der Ablauf lässt sich einfach darstellen: Eine Person stellt eine Frage. Das System analysiert deren Bedeutung und sucht dazu passende Textstellen, etwa in Handbüchern, Datenbanken oder internen Dokumenten. Diese Auszüge werden zusammen mit der Frage an das Sprachmodell übergeben. Erst danach formuliert es eine Antwort.

Die Suchkomponente liefert den Stoff, das Sprachmodell ordnet ihn sprachlich und inhaltlich. Dadurch kann ein RAG-System auch Informationen nutzen, die beim Training des Modells noch nicht verfügbar waren. Aktualisierte Dokumente müssen dafür meist nur in der Wissensbasis ergänzt werden.

Eine Antwort entsteht somit in drei gedanklichen Schritten:

• Frage verstehen: Das System erkennt Thema, Absicht und wichtige Begriffe.
• Wissen finden: Es sucht relevante Passagen aus der angebundenen Quelle.
• Antwort formulieren: Das Sprachmodell verarbeitet Frage und Fundstellen zu einer verständlichen Reaktion.

RAG ist kein zusätzlich trainiertes Sprachmodell, sondern eine technische Architektur rund um ein solches Modell. Die Qualität hängt stark davon ab, ob die Suche passende Textstellen findet und ob der bereitgestellte Kontext klar genug ist. Schlechte oder widersprüchliche Inhalte können deshalb auch zu einer fehlerhaften Antwort führen.

Die Wissensbasis als Grundlage für verlässliche Antworten

Die Wissensbasis bestimmt, welche Informationen ein RAG-System überhaupt berücksichtigen kann. Sie sollte deshalb nicht als einfacher Dokumentenordner verstanden werden, sondern als kontrollierte Sammlung geprüfter Inhalte. Dazu gehören zum Beispiel Richtlinien, Produktdaten, technische Handbücher, Supportfälle oder strukturierte Datensätze.

Vor der Aufnahme werden Dokumente meist bereinigt und vereinheitlicht. Kopfzeilen, doppelte Passagen, veraltete Anhänge und fehlerhafte Texterkennung können die spätere Suche stören. Auch Metadaten sind wichtig: Titel, Autor, Dokumenttyp, Sprache, Abteilung und Gültigkeitsdatum erleichtern die Auswahl passender Quellen.

Besonders entscheidend ist die Aktualität. Eine ältere Arbeitsanweisung darf nicht gleichrangig neben einer gültigen Version liegen. Praktisch helfen Versionsnummern und ein klarer Freigabestatus. Das System kann dann bevorzugt nach Inhalten suchen, die derzeit gültig sind.

• Inhaltliche Qualität: Aussagen müssen nachvollziehbar, vollständig und möglichst widerspruchsfrei sein.
• Struktur: Überschriften, Absätze und Tabellen sollten beim Import erhalten bleiben.
• Metadaten: Filter wie Fachbereich, Datum oder Dokumenttyp schränken die Treffer sinnvoll ein.
• Zugriffsrechte: Vertrauliche Passagen dürfen nur für berechtigte Personen auffindbar sein.

Auch die Größe der Textabschnitte beeinflusst das Ergebnis. Zu große Abschnitte enthalten viel Nebensächliches, zu kleine verlieren den Zusammenhang. Eine Regel von etwa 300 bis 800 Wörtern kann ein brauchbarer Startpunkt sein, muss aber zum Dokumenttyp passen. Ein juristischer Paragraph braucht eine andere Grenze als eine kurze Fehlerbeschreibung.

Eine belastbare Wissensbasis entsteht durch Pflege, nicht durch bloßes Hochladen. Neue Dokumente benötigen eine Freigabe, überholte Inhalte einen Sperrvermerk oder eine Entfernung. So bleibt der Informationsbestand ein verlässlicher Unterbau und wird nicht zur digitalen Rumpelkammer.

RAG-Systeme im Überblick: Komponenten, Aufgaben und Grenzen

Vektoreinbettungen: Inhalte für die Suche umwandeln

Eine Vektoreinbettung übersetzt Text in eine lange Zahlenfolge. Diese Zahlen bilden nicht die Wörter selbst ab, sondern Beziehungen zwischen Bedeutungen. Ähnliche Aussagen liegen im mathematischen Raum näher beieinander als thematisch fremde Inhalte.

Aus „Passwort zurücksetzen“ und „Zugangscode ändern“ können dadurch ähnliche Vektoren entstehen, obwohl kein Wort identisch ist. Genau das unterscheidet die semantische Suche von einer reinen Stichwortsuche. Sie bewertet nicht nur Zeichenketten, sondern auch den Sinn einer Anfrage.

Für ein RAG-System werden Dokumentabschnitte und Suchfragen mit demselben Einbettungsmodell verarbeitet. Das Ergebnis ist jeweils ein Vektor mit oft mehreren hundert bis über tausend Dimensionen. Eine Ähnlichkeitsfunktion, häufig die Kosinus-Ähnlichkeit, vergleicht anschließend Anfrage- und Dokumentvektoren.

• Textabschnitt: Der Inhalt wird in eine numerische Darstellung umgewandelt.
• Suchfrage: Auch die Eingabe der Person erhält einen Vektor.
• Vergleich: Nahe Vektoren gelten als thematisch passend.
• Rangfolge: Die Treffer werden nach ihrer errechneten Ähnlichkeit sortiert.

Die Wahl des Einbettungsmodells wirkt sich direkt auf die Treffer aus. Ein Modell für allgemeine Sprache kann bei technischen Abkürzungen, Gesetzestexten oder mehrsprachigen Dokumenten schwächer abschneiden. Zudem darf die maximale Eingabelänge nicht übergangen werden: Wird ein Abschnitt abgeschnitten, fehlt womöglich genau die entscheidende Aussage.

Vektoren speichern außerdem keine verlässliche Wahrheitsskala. Ein hoher Ähnlichkeitswert bedeutet nur, dass zwei Texte inhaltlich ähnlich wirken. Er beweist weder Aktualität noch Korrektheit. Deshalb sind Metadatenfilter und die Prüfung der gefundenen Passagen wichtige Ergänzungen zur reinen Vektorsuche.

In der Praxis wird der Vektorbestand meist in einer spezialisierten Datenbank abgelegt. Beim Eingang einer Frage wird nur deren Vektor berechnet; danach sucht das System die nächstliegenden Einträge. Dieser Vorgang ist schnell, selbst wenn die Sammlung viele Millionen Abschnitte umfasst.

Die passende Information mit semantischer Suche finden

Die semantische Suche bewertet nicht nur einzelne Suchwörter, sondern die wahrscheinliche Absicht hinter einer Frage. Aus „Wie erhalte ich mein Geld zurück?“ kann sie etwa Passagen zu „Erstattung“, „Rückzahlung“ oder „Widerruf“ finden. Das ist besonders nützlich, wenn Mitarbeitende unterschiedliche Begriffe verwenden oder Dokumente aus mehreren Fachbereichen stammen.

Für brauchbare Treffer reicht ein einzelner Suchlauf jedoch nicht immer aus. Moderne Systeme kombinieren deshalb oft mehrere Verfahren:

• Vektorsuche: Findet inhaltlich ähnliche Textstellen, auch ohne gleiche Begriffe.
• Stichwortsuche: Erfasst exakte Namen, Artikelnummern, Paragrafen und Fehlermeldungen.
• Filter: Begrenzen die Auswahl nach Sprache, Bereich, Version oder Berechtigungsstufe.
• Neuranking: Bewertet die ersten Treffer erneut und sortiert sie genauer nach ihrer Bedeutung.

Ein weiterer Kniff ist die Umformulierung der Frage. Aus einer kurzen Eingabe wie „Rechnung falsch“ können mehrere Suchvarianten entstehen, etwa „Rechnung mit falschem Betrag“ oder „Korrektur einer fehlerhaften Rechnung“. Das erhöht die Trefferquote, kostet aber zusätzliche Rechenzeit.

Die Anzahl der zurückgegebenen Treffer muss gut gewählt sein. Bei nur drei Passagen kann eine wichtige Ausnahme fehlen. Bei 30 Passagen wird der Kontext unübersichtlich und überschreitet womöglich das Eingabelimit des Sprachmodells. Ein Wert zwischen fünf und zehn Kandidaten ist oft ein sinnvoller Ausgangspunkt; pauschal gilt das allerdings nicht.

Zur technischen Bewertung dienen Kennzahlen wie Recall und Precision. Recall zeigt, wie viele relevante Passagen gefunden werden. Precision beschreibt, wie viele der gefundenen Passagen tatsächlich nützlich sind. Ein System mit hohem Recall, aber schwacher Precision liefert einen dicken Stapel Text. Das wirkt fleißig, hilft aber kaum.

Bei mehrdeutigen Fragen sollte die Suche nicht vorschnell raten. Begriffe wie „Vertrag“, „Kündigung“ oder „Freigabe“ können in verschiedenen Abteilungen etwas anderes bedeuten. Ein zusätzlicher Rückfrageschritt oder ein Fachbereichsfilter verhindert, dass das System einen plausiblen, aber falschen Pfad einschlägt.

Vom Suchtreffer zum Kontext für das Sprachmodell

Die Suchkomponente liefert zunächst einzelne Textsegmente. Bevor sie das Sprachmodell erreichen, müssen diese Treffer in einen brauchbaren Arbeitskontext überführt werden. Entscheidend ist, ob sie zusammenpassen, die Frage vollständig abdecken und innerhalb des verfügbaren Eingabefensters bleiben.

Ein nachgelagerter Verarbeitungsschritt kann die Treffer neu ordnen, doppelte Passagen entfernen und besonders aussagekräftige Stellen auswählen. Enthalten zwei Abschnitte fast denselben Inhalt, genügt meist einer davon. Widersprechen sich Aussagen, sollten beide sichtbar bleiben und mit ihren jeweiligen Quellenmerkmalen gekennzeichnet werden. Sonst entsteht aus widersprüchlichen Angaben schnell ein scheinbar glatter, aber sachlich schiefer Kontext.

Für jedes Segment werden oft Zusatzinformationen übergeben. Dazu zählen Dokumenttitel, Abschnittsname, Seitenzahl, Gültigkeitsdatum oder eine interne Kennung. Diese Angaben helfen dem Sprachmodell, Aussagen richtig einzuordnen. Außerdem können sie später als Beleg oder Link in der Antwort erscheinen.

• Auswahl: Nur Treffer oberhalb eines festgelegten Relevanzwerts gelangen weiter.
• Begrenzung: Eine maximale Zeichen- oder Tokenzahl verhindert einen überladenen Kontext.
• Ordnung: Die relevantesten Passagen stehen an einer klar definierten Position.
• Abgrenzung: Frage, Hintergrundmaterial und Arbeitsanweisung werden getrennt markiert.

Die Reihenfolge kann überraschend viel ausmachen. Sprachmodelle gewichten Informationen am Anfang und am Ende eines langen Eingabetexts oft stärker als Material in der Mitte. Ein RAG-System sollte daher nicht einfach Treffer in beliebiger Reihenfolge anfügen. Eine kurze Kontextstruktur mit Überschriften und Quellenmarkern ist meist wirksamer als ein ungeordnetes Textpaket.

Ebenso wichtig ist die Instruktion an das Modell: Es soll die bereitgestellten Passagen verwenden, fehlende Angaben offen benennen und keine unbelegten Details ergänzen. Der Kontext wird damit vom bloßen Suchergebnis zu einer gezielt zusammengestellten Arbeitsgrundlage.

So entsteht die Antwort im RAG-System

Nach der Zusammenstellung des Kontexts beginnt die eigentliche Generierung. Das Sprachmodell verarbeitet die Nutzerfrage, die ausgewählten Textstellen und die Arbeitsanweisung als eine gemeinsame Eingabe. Es erzeugt daraus Token für Token eine Antwort. Dabei ruft es nicht selbstständig eine Datenbank auf; die Suche ist zu diesem Zeitpunkt bereits abgeschlossen.

Die Textstellen wirken wie ein begrenzter Wissensrahmen. Sie liefern Begriffe, Fakten und Zusammenhänge, an denen sich die Formulierung orientiert. Das Modell übersetzt diesen Inhalt in die gewünschte Form, etwa als kurze Erklärung, Schrittfolge oder Entscheidungshilfe. Es kopiert die Fundstellen dabei nicht zwingend wörtlich, sondern fasst sie sprachlich neu.

Eine saubere Systemanweisung legt fest, wie das Modell mit dem Kontext umgehen soll. Sie kann verlangen, nur belegte Aussagen zu verwenden, Unsicherheit kenntlich zu machen oder Quellenmarkierungen beizubehalten. Fehlt die Antwort im Material, sollte das System keine Lücke mit Vermutungen füllen.

• Steuerung: Eine feste Anweisung definiert Stil, Umfang und erlaubte Schlussfolgerungen.
• Belegbarkeit: Aussagen können mit den Kennungen der verwendeten Passagen verknüpft werden.
• Ausgabeprüfung: Regeln erkennen leere Antworten, unerlaubte Inhalte oder fehlende Quellenhinweise.
• Nachbearbeitung: Ein Dienst kann Format, Sprache und Darstellung für die Zielanwendung anpassen.

Bei längeren Antworten entsteht zudem ein Token-Limit. Passt der Kontext nicht zusammen mit Frage und Ausgabe in das Eingabefenster, müssen Inhalte vor der Generierung gekürzt, verdichtet oder gestuft verarbeitet werden. Ein abgeschnittener Abschnitt kann eine Bedingung entfernen und die Aussage dadurch kippen.

Nach der Ausgabe lässt sich die Antwort technisch bewerten. Ein System kann prüfen, ob sie auf vorhandenen Passagen beruht, ob Zitate tatsächlich im Kontext stehen und ob zentrale Begriffe korrekt übernommen wurden. Solche Prüfungen machen aus einem plausiblen Text zwar keine Wahrheit, zeigen aber schneller, wo der Prozess aus dem Takt gerät.

Beispiel: Eine interne Frage mit RAG beantworten

Ein internes RAG-Szenario lässt sich an einer Reisekostenfrage gut zeigen. Eine Mitarbeiterin fragt: „Welche Belege brauche ich für eine Dienstreise nach München, und bis wann muss ich den Antrag einreichen?“

Die Anwendung erkennt zwei Teilfragen: die erforderlichen Nachweise und die Abgabefrist. Sie grenzt die Suche auf die freigegebene Reisekostenordnung sowie die passende interne Richtlinie ein. Dadurch bleiben zufällige Treffer aus alten Projektordnern außen vor.

Als relevante Passagen findet das System etwa folgende Angaben: Zugtickets und Hotelrechnungen müssen eingereicht werden; der Antrag ist innerhalb von 14 Tagen nach der Rückkehr abzugeben. Zusätzlich steht in einer Sonderregel, dass bei Auslandsreisen andere Nachweise gelten. Da München eine Inlandsreise ist, wird diese Ausnahme nicht in die Antwort übernommen.

Die fertige Reaktion könnte lauten: „Für die Dienstreise nach München benötigen Sie das Zugticket und die Hotelrechnung. Reichen Sie den Antrag spätestens 14 Tage nach Ihrer Rückkehr ein. Für eine Auslandsreise gelten abweichende Regeln.“

Der Mehrwert liegt hier nicht in einer besonders fantasievollen Formulierung. Er entsteht durch die Verbindung von Frage, passender Richtlinie und einer kleinen logischen Einordnung. Ohne diese Einordnung könnte das System die Auslandsregel unnötig erwähnen oder eine alte Frist verwenden.

• Fragezerlegung: Mehrere Anliegen werden getrennt erkannt.
• Berechtigungsprüfung: Nur interne Inhalte, die für die Person freigegeben sind, werden berücksichtigt.
• Ausnahmelogik: Sonderfälle werden nur angewendet, wenn ihre Bedingungen erfüllt sind.
• Antwortformat: Die wichtigsten Handlungsschritte stehen direkt am Anfang.

Ein gutes Testbeispiel enthält deshalb nicht nur eine einfache Frage. Es sollte auch eine Ausnahme, eine Frist oder zwei ähnlich klingende Richtlinien enthalten. Erst dann zeigt sich, ob die Anwendung Zusammenhänge sauber verarbeitet oder bloß passende Satzstücke aneinanderreiht.

RAG und reines Sprachmodell im direkten Vergleich

Ein reines Sprachmodell arbeitet vor allem mit Mustern, die es während seines Trainings gelernt hat. Es kann Wissen verständlich formulieren, kennt aber den aktuellen Stand einer internen Datenquelle nicht automatisch. Ein RAG-System bindet dagegen einen kontrollierten Informationsbestand in den jeweiligen Arbeitsvorgang ein.

• Aktualität: RAG kann neue Dokumente berücksichtigen, ohne das Sprachmodell vollständig neu zu trainieren.
• Nachvollziehbarkeit: Antworten lassen sich mit konkreten Fundstellen verbinden. Beim reinen Modell fehlt dieser Bezug oft.
• Domänenwissen: Fachbegriffe und interne Regeln können gezielt bereitgestellt werden, statt nur auf allgemeines Trainingswissen zu setzen.
• Antwortgeschwindigkeit: Die zusätzliche Suche erzeugt einen kleinen Mehraufwand. Dafür sinkt bei passenden Quellen das Risiko veralteter Antworten.
• Abhängigkeiten: RAG benötigt eine erreichbare Suchinfrastruktur und gepflegte Daten. Ein reines Modell kann auch ohne diese Verbindung Text erzeugen.

Der Vergleich ist dennoch nicht schwarz-weiß. Für kreative Entwürfe, Stilübertragungen oder allgemeine Ideensammlungen genügt ein reines Sprachmodell häufig. RAG spielt seine Stärke aus, sobald eine Antwort an konkrete, veränderliche oder geschützte Informationen gebunden sein muss.

Auch beim Thema Halluzination gibt es keinen Automatismus. RAG kann unbelegte Aussagen verringern, wenn die Suchergebnisse relevant und korrekt sind. Es verhindert Fehler aber nicht vollständig. Ein Modell kann Fundstellen falsch deuten, widersprüchliche Regeln vermischen oder aus einer Lücke eine plausible Behauptung machen.

Eine einfache Entscheidungshilfe lautet daher: Braucht die Aufgabe nur sprachliche Verarbeitung, reicht oft das Modell allein. Muss sie auf einem bestimmten Dokumentbestand beruhen, ist RAG die passendere Architektur. In manchen Anwendungen werden beide Ansätze kombiniert: Das System nutzt Quellen für Fakten und das Sprachmodell für Struktur, Ton und Zusammenfassung.

Vorteile und Grenzen der RAG-Technik

Die RAG-Technik kann Antworten enger an einen festgelegten Informationsbestand binden. Ihr Nutzen zeigt sich jedoch erst, wenn das System nicht nur sprachlich überzeugt, sondern auch messbar zuverlässig arbeitet.

• Weniger Trainingsaufwand: Neue Fachinhalte lassen sich einbinden, ohne die Parameter des Sprachmodells neu anzupassen.
• Bessere Zugriffskontrolle: Eine Anwendung kann unterschiedliche Datenquellen je nach Rolle, Standort oder Mandant trennen.
• Gezielte Nachvollziehbarkeit: Quellenverweise erleichtern es, eine Aussage bis zum Ursprung zurückzuverfolgen.
• Flexible Datenhaltung: RAG kann mit Dokumenten, Datenbankabfragen, Tickets oder Wissensartikeln arbeiten.
• Weniger Daten im Modell: Sensible Inhalte müssen nicht zwingend in ein allgemeines Modelltraining einfließen.

Jeder zusätzliche Verarbeitungsschritt erhöht allerdings die Fehlerfläche. Eine unklare Frage, ein schlecht segmentiertes Dokument, ein falscher Berechtigungsfilter oder ein veralteter Index kann die Antwortqualität beeinträchtigen. Das System wirkt dann oft überzeugend, obwohl der entscheidende Fehler bereits vor der Textgenerierung passiert ist.

Ein weiteres Risiko ist die sogenannte Kontextvergiftung. Dabei gelangt manipuliertes, irreführendes oder unzuverlässiges Material in den Bestand. Findet die Suche diesen Inhalt, kann das Sprachmodell ihn als Arbeitsgrundlage behandeln. Besonders kritisch sind eingeschleuste Anweisungen in Dokumenten, die das Modell zu unerwünschten Handlungen verleiten sollen.

Auch Kosten und Latenz steigen. Für eine einzelne Anfrage können Einbettung, Suchabfrage, Neuranking und Modellaufruf anfallen. Bei großen Datenbeständen benötigt der Index zudem Speicher und regelmäßige Aktualisierung. Eine kurze Antwort ist technisch also nicht automatisch eine billige Antwort.

• Abhängigkeit von der Quelle: Fehlt eine Information, kann RAG sie nicht zuverlässig herbeizaubern.
• Mehrdeutigkeit: Ähnliche Dokumente können mit unterschiedlichen Regeln kollidieren.
• Datenschutzrisiko: Ein zu weiter Suchzugriff kann vertrauliche Inhalte in den Modellkontext bringen.
• Messproblem: Gute Sprachqualität sagt wenig über faktische Richtigkeit aus.
• Wartungsbedarf: Index, Zugriffsmodell und Dokumentbestand müssen dauerhaft zusammenpassen.

Für die Bewertung eignen sich reale Testfragen mit erwarteten Quellen und klaren Antwortkriterien. Gemessen werden sollten Trefferqualität, Antwortzeit, Quellenbindung, Fehlerrate, Kosten pro Anfrage und das Verhalten bei fehlenden Informationen. So wird sichtbar, ob RAG im jeweiligen Einsatz wirklich einen Vorteil bringt oder nur zusätzliche Komplexität erzeugt.

Fazit: Wissensbasis pflegen und Antworten prüfen

Ein RAG-System ist erst dann belastbar, wenn seine gesamte Kette messbar bleibt. Entscheidend ist nicht nur die fertige Antwort, sondern auch, welche Quelle gefunden, wie sie bewertet und warum sie ausgewählt wurde. Ein kleines Prüfprotokoll mit Anfrage, Dokumentkennung, Modellversion und Ergebnis erleichtert die Fehlersuche erheblich.

Für den laufenden Betrieb lohnt sich ein fester Qualitätsprozess. Verantwortliche können regelmäßig dieselben Testfragen ausführen und die Ergebnisse mit einer geprüften Referenz vergleichen. Ändern sich Suchmodell, Datenbestand oder Prompt, wird der Test erneut durchgeführt. So werden stille Verschlechterungen sichtbar, bevor sie im Alltag Ärger machen.

• Faktentreue: Stimmen zentrale Aussagen mit der maßgeblichen Quelle überein?
• Vollständigkeit: Werden wichtige Bedingungen und Ausnahmen genannt?
• Quellenbezug: Lassen sich Behauptungen eindeutig auf Fundstellen zurückführen?
• Robustheit: Reagiert das System bei fehlenden Informationen mit einer klaren Grenze?
• Benutzbarkeit: Verstehen Menschen die Antwort ohne zusätzliche technische Kenntnisse?

Auch die Zuständigkeit muss feststehen. Ein Fachbereich sollte definieren, welche Inhalte verbindlich sind und wann eine Antwort als kritisch gilt. Bei rechtlichen, medizinischen oder finanziellen Entscheidungen reicht eine automatische Ausgabe grundsätzlich nicht als alleinige Grundlage. Dort braucht es einen passenden Freigabeprozess.

Transparenz stärkt zudem das Vertrauen: Nutzer sollten erkennen können, dass eine Antwort automatisiert erzeugt wurde und aus welchen Dokumenten sie stammt. Nach Artikel 50 des EU AI Act gelten ab dem 2. August 2026 Transparenzpflichten für bestimmte KI-Systeme, darunter Vorgaben zur Kennzeichnung künstlich erzeugter Inhalte. Die konkrete Pflicht hängt vom jeweiligen Einsatz ab.

Die beste RAG-Lösung ist daher kein einmaliges Projekt, sondern ein überprüfbarer Informationsdienst. Klare Quellen, saubere Protokolle und passende Qualitätsziele bilden den Kern. Dann wird aus der Verbindung von Suche und Sprachmodell ein Werkzeug, das im Alltag nicht nur flott klingt, sondern auch verlässlich arbeitet.

FAQ zur Funktionsweise von RAG-Systemen