Retrieval-Augmented Generation oder RAG ist eine Technik zur Verbesserung der Ausgabe großer Sprachmodelle, indem Informationen aus externen Wissensdatenbanken oder Quellen einbezogen werden.
Durch das Abrufen relevanter Daten oder Dokumente vor der Generierung einer Antwort verbessert RAG die Genauigkeit, Zuverlässigkeit und Informationsqualität des generierten Textes. Dieser Ansatz verankert die generierten Inhalte in externen Informationsquellen und stellt so sicher, dass die Ausgabe kontextbezogener und faktisch korrekter ist.
Lesen Sie weiter, um mehr über RAG, seine Funktionsweise und Anwendungsfälle zu erfahren und zu erfahren, wie es sich vom traditionellen Prozess der Verarbeitung natürlicher Sprache (NLP) unterscheidet.
- Was genau ist Retrieval-Augmented Generation (RAG)?
- So funktioniert Retrieval-Augmented Generation in der Praxis
- 3 zentrale Vorteile von Retrieval-Augmented Generation
- Wann sollte man RAG statt des Fine-Tunings eines KI-Modells einsetzen?
- Wie wird Retrieval-Augmented Generation heute eingesetzt?
- RAG im Vergleich zu traditionellen Ansätzen
- Fazit: Das Potenzial von RAG nutzen
Was genau ist Retrieval-Augmented Generation (RAG)?
Sie haben wahrscheinlich schon gehört, dass von KI generierte Inhalte anfällig für Plagiate und mangelnde Originalität sind. Bei herkömmlichen Aufgaben der Verarbeitung natürlicher Sprache generieren Sprachmodelle Antworten ausschließlich auf Grundlage von Mustern und Informationen aus ihren Trainingsdaten. Dieser Ansatz liefert zwar beeindruckende Ergebnisse, bringt aber auch Einschränkungen mit sich, etwa das Risiko, falsche oder voreingenommene Ausgaben zu erzeugen – insbesondere bei komplexen oder mehrdeutigen Anfragen.
Retrieval-Augmented Generation ist eine Technik, die dieses Problem angeht, indem sie die Stärken der Verarbeitung natürlicher Sprache und des Information Retrieval miteinander verbindet.
Stellen Sie sich vor, Sie müssten eine wissenschaftliche Arbeit schreiben, ohne Zugang zum Internet oder zu externen Ressourcen zu haben. Sie verfügen möglicherweise über ein allgemeines Verständnis des Themas, doch um Ihre Argumente zu untermauern und eine eingehende Analyse zu liefern, müssen Sie verschiedene Informationsquellen konsultieren.
Genau hier kommt RAG ins Spiel – es fungiert als Ihr Rechercheassistent und hilft Ihnen dabei, relevante Informationen abzurufen und zu integrieren, um die Qualität und Tiefe Ihrer Arbeit zu verbessern.
Große Sprachmodelle (LLMs) werden mit gewaltigen Datenmengen trainiert. Sie ähneln belesenen Menschen, die ein umfassendes Verständnis für verschiedene Themen und Sachgebiete haben. Auf Grundlage ihrer umfangreichen Wissensbasis können sie allgemeine Informationen liefern und unterschiedlichste Fragen beantworten. Um jedoch präzisere, zuverlässigere und detailliertere Antworten zu generieren, die durch konkrete Belege oder Beispiele gestützt werden, benötigen LLMs häufig die Unterstützung von RAG-Techniken. Das ist vergleichbar damit, dass selbst die kenntnisreichste Person in bestimmten Situationen Referenzen oder Quellen konsultieren muss, um gründliche und korrekte Antworten zu geben.
Wenn Sie ein tieferes Verständnis der führenden großen Sprachmodelle von heute gewinnen möchten, lesen Sie unseren Leitfaden zu den besten großen Sprachmodellen
So funktioniert Retrieval-Augmented Generation in der Praxis
Retrieval-Augmented Generation (RAG) ist eine KI-Modellarchitektur , die die Stärken vortrainierter parametrischer Modelle (etwa transformerbasierter Modelle) mit dem Abruf nichtparametrischer Speicherinhalte verbindet und so die Generierung von Text ermöglicht, der sowohl auf dem Eingabeprompt als auch auf externen Wissensquellen basiert.
Die Funktionsweise des RAG-Modells beginnt mit der Nutzeranfrage oder dem Prompt. Das Abrufmodell wird aktiviert, sobald Sie Ihre Fragen in das Texteingabefeld der generativen KI eingeben.
Abfragephase
In der Abfrage- oder Prompt-Phase durchsucht das System eine umfangreiche Wissensquelle nach relevanten Informationen, die auf der Eingabeanfrage oder dem Prompt basieren. Bei dieser Wissensquelle kann es sich um eine Sammlung von Dokumenten, eine Datenbank oder ein anderes strukturiertes oder unstrukturiertes Datenarchiv handeln. Auch die Wissensbasis Ihres Unternehmens kommt infrage.
Wenn die Eingabeanfrage beispielsweise lautet: „Was sind die Symptome von COVID-19?“, würde das RAG-System eine Datenbank mit medizinischen Dokumenten oder Artikeln durchsuchen und daraus relevante Informationen abrufen.
Bild: AWS
Abruf
Sobald die relevanten Informationen gefunden wurden, wählt das RAG-System eine Reihe von Passagen oder Dokumenten aus, die wahrscheinlich nützliche Informationen für die Generierung einer Antwort enthalten. Dieser Schritt hilft dabei, irrelevante oder redundante Informationen herauszufiltern und nur die relevanteste Antwort auf Ihre Frage auszuwählen.
Im COVID-19-Beispiel könnte das System Passagen aus medizinischen Artikeln auswählen, in denen häufige, mit der Krankheit verbundene Symptome aufgeführt sind.
Generierungsphase
In der Generierungsphase wird das Ergebnis an den Nutzer zurückgegeben. RAG verwendet die ausgewählten Passagen als Kontext, um eine Antwort oder einen Text zu generieren.
Dieser Generierungsprozess kann auf verschiedenen Techniken basieren, etwa neuronalen Sprachmodellen (z. B. GPT) oder anderen Generierungsarchitekturen. Die generierte Antwort sollte auf Grundlage der Eingabeanfrage und des abgerufenen Kontexts schlüssig, relevant und informativ sein.
3 zentrale Vorteile von Retrieval-Augmented Generation
Weniger Verzerrungen in Antworten
RAG-Systeme können die Auswirkungen von Verzerrungen abmildern, die in einzelnen Datensätzen oder Wissensarchiven enthalten sind, indem sie Informationen aus vielfältigen Quellen abrufen. Dies trägt zu ausgewogeneren und objektiveren Antworten bei, da das System ein breiteres Spektrum an Perspektiven und Sichtweisen berücksichtigt. Indem RAG-Modelle Inklusivität und Vielfalt in den abgerufenen Inhalten fördern, ermöglichen sie fairere und gerechtere Interaktionen.
Geringeres Risiko für Halluzinationen
Halluzinationen bezeichnen die Erzeugung falscher oder unsinniger Informationen durch große Sprachmodelle. RAG-Systeme mindern dieses Risiko, indem sie reale Informationen aus externen Wissensquellen einbeziehen.
Da RAG-Modelle Antworten aus verifizierten externen Informationen abrufen und an diesen ausrichten, erzeugen sie mit geringerer Wahrscheinlichkeit halluzinierte Inhalte. Die Abhängigkeit von externem Kontext trägt dazu bei, dass die generierten Antworten in der Realität verankert und mit faktischen Informationen übereinstimmen. Dadurch sinkt die Wahrscheinlichkeit ungenauer oder irreführender Ausgaben.
Höhere Antwortqualität
Die RAG-Technik kann durch die Kombination von Abruf- und Generierungstechniken relevante, flüssige und schlüssige Antworten erzeugen und damit qualitativ hochwertigere Ausgaben liefern als rein generative Ansätze. Selbst das beste LLM hat natürlich seine Grenzen – RAG ist die Technologie, die eine umfassendere Wissensbasis hinzufügt.
Wann sollte man RAG statt des Fine-Tunings eines KI-Modells einsetzen?
Diese Übersicht fasst anhand verschiedener Aspekte die Überlegungen zur Wahl zwischen RAG und dem Fine-Tuning eines KI-Modells zusammen.
| Kriterien | RAG | Fine-Tuning eines KI-Modells |
|---|---|---|
| Zugriff auf externes Wissen | Geeignet für Aufgaben, die den Zugriff auf externe Wissensquellen erfordern. | Möglicherweise ist kein Zugriff auf externes Wissen erforderlich. |
| Wissensintegration | Besonders geeignet für die Integration externen Wissens in generierte Antworten und liefert dadurch umfassendere und informativere Ausgaben. | Kann Schwierigkeiten haben, externes Wissen zu berücksichtigen, das nicht in den Fine-Tuning-Daten enthalten ist, was möglicherweise zu weniger vielfältigen oder kontextbezogen relevanten Antworten führt. |
| Abwägung bei der Leistung | Bietet einen Kompromiss zwischen Antwortlatenz und Informationsfülle: Längere Antwortzeiten können zu umfassenderen und kontextbezogeneren Ausgaben führen. | Ermöglicht schnellere Antwortzeiten, büßt im Vergleich zu RAG jedoch möglicherweise ein gewisses Maß an Kontextverständnis und Wissensintegration ein. |
| Aufgabenart | Geeignet für Aufgaben, die den Zugriff auf externe Wissensquellen und Kontextverständnis erfordern, etwa Frage-Antwort-Systeme, Dialogsysteme und die Inhaltsgenerierung. | Ideal für Aufgaben, bei denen sich das Modell auf einen bestimmten Bereich spezialisieren oder ein eng begrenztes Aufgabenspektrum bewältigen muss, etwa Sentimentanalyse oder die Erkennung benannter Entitäten. |
| Interpretierbarkeit | Bietet transparenten Zugriff auf abgerufene Wissensquellen, sodass Nutzer die Grundlage der generierten Antworten nachvollziehen können. | Geringe Interpretierbarkeit. |
| Latenzanforderungen | Der Abrufprozess kann insbesondere beim Zugriff auf umfangreiche Wissensquellen zu Verzögerungen führen. Sobald der Kontext vorliegt, kann die Generierung selbst jedoch schnell erfolgen. | Im Allgemeinen schnellere Inferenzzeiten, da das Modell auf die jeweilige Aufgabe abgestimmt ist und während der Inferenz möglicherweise weniger externe Daten abrufen muss. |
Wie wird Retrieval-Augmented Generation heute eingesetzt?
Frage-Antwort-Systeme
RAG-Modelle werden in Frage-Antwort-Systemen eingesetzt, um präzisere und kontextbezogene Antworten auf Nutzeranfragen zu liefern. Diese Systeme können in Chatbots für den Kundensupport, virtuellen KI-Assistenten und Suchmaschinen eingesetzt werden, um Nutzern relevante Informationen in natürlicher Sprache bereitzustellen.
Sucherweiterung
RAG kann herkömmliche Suchmaschinen verbessern, indem es kontextbezogen relevantere Ergebnisse liefert. Statt lediglich Schlüsselwörter abzugleichen, ruft es relevante Passagen aus einer größeren Datenbank ab und generiert Antworten, die stärker auf die Anfrage des Nutzers zugeschnitten sind.
Wissensmaschinen
RAG kann Wissensmaschinen betreiben, in denen Nutzer Fragen in natürlicher Sprache stellen und gut informierte Antworten erhalten. Das ist besonders in Bereichen mit großen Mengen strukturierter oder unstrukturierter Daten nützlich, etwa im Gesundheitswesen, im Rechtswesen, im Finanzsektor oder in der wissenschaftlichen Forschung.
RAG im Vergleich zu traditionellen Ansätzen
Herkömmliche Frage-Antwort-Ansätze stützen sich beim Informationsabruf stark auf den Abgleich von Schlüsselwörtern. Dies kann die präzise Interpretation von Nutzeranfragen und die Bereitstellung relevanter Ergebnisse einschränken.
Im Gegensatz dazu bietet RAG einen fortschrittlicheren und kontextbewussteren Ansatz für den Informationsabruf. Statt sich ausschließlich auf den Abgleich von Schlüsselwörtern zu verlassen, nutzt RAG eine Kombination verschiedener Techniken, darunter das Verständnis natürlicher Sprache und maschinelles Lernen, um die Semantik und den Kontext von Nutzeranfragen zu erfassen. Dadurch kann RAG genauere und relevantere Ergebnisse liefern, da es die Absicht hinter einer Anfrage versteht, anstatt lediglich Schlüsselwörter abzugleichen.
Fazit: Das Potenzial von RAG nutzen
Retrieval-Augmented Generation birgt großes Potenzial, verschiedene Bereiche der Verarbeitung natürlicher Sprache und der Textgenerierung zu verändern. Durch die Verbindung der Stärken abrufbasierter und generativer Modelle kann RAG die Qualität, Kohärenz und Relevanz generierter Texte verbessern.
Die Nutzung des Potenzials von RAG kann zu effektiveren und menschlicher wirkenden Interaktionen mit KI-Systemen, besseren Frage-Antwort-Systemen und erweiterten Möglichkeiten zur Inhaltserstellung führen. Dieser Ansatz kann außerdem dabei helfen, typische Herausforderungen der KI zu bewältigen, indem er vielfältigere und informativere Antworten erzeugt, Verzerrungen in generierten Texten reduziert und die Gesamtleistung von Sprachmodellen verbessert.
Weitere Informationen zu Anbietern generativer KI finden Sie in unserem ausführlichen Leitfaden: Unternehmen für generative KI: Die 20 führenden Anbieter