RAG oder Fine-Tuning: Was passt wann?

Wie funktionieren RAG und Fine-Tuning?

RAG: nachschlagen statt auswendig lernen

RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „durch Abruf ergänzte Erzeugung“. Beschrieben hat das Verfahren ein Team um Patrick Lewis in einer Arbeit, die 2020 auf der Fachkonferenz NeurIPS angenommen wurde. Die Idee: Das Sprachmodell bringt sein im Training erlerntes Wissen mit, das sogenannte parametrische Gedächtnis. Dazu kommt ein externes Gedächtnis, ein durchsuchbarer Index aus Texten. Zu jeder Frage sucht das System passende Abschnitte, gibt sie zusammen mit der Frage an das Modell, und das Modell formuliert daraus die Antwort. Das Modell selbst verändert sich dabei nicht.

Fine-Tuning: das Modell nachtrainieren

Beim Fine-Tuning, auf Deutsch Nachtraining oder Feinabstimmung, werden die Parameter eines vortrainierten Modells mit eigenen Beispielen angepasst. Bei OpenAI besteht der Ablauf aus vier Schritten: Beispieldaten sammeln, im Format JSONL hochladen, Trainingsauftrag starten, Ergebnis bewerten. Die Datenschutzkonferenz (DSK) beschreibt die Wirkung so: Das ursprüngliche Sprachmodell wird verändert, damit ändert sich die Vorhersage des nächsten Wortes und gewissermaßen der Sprachstil. Auch bestimmte Ausgaben lassen sich so nachträglich unterdrücken oder herbeiführen.

Worin unterscheiden sich beide Verfahren im Alltag?

Eine Kurzübersicht der Eigenschaften finden Sie im Leitfaden. Hier die fünf wichtigsten Unterschiede mit ihren Gründen:

• Aktualität: Sprachmodelle werden mit Daten bis zu einem Stichtag trainiert. Fragen zu späteren Ereignissen führen laut DSK regelmäßig zu falschen Antworten. Bei RAG genügt es, ein Dokument im Bestand zu ändern oder zu ersetzen. Ein nachtrainiertes Modell kennt dagegen nur den Stand seines letzten Trainings, jede inhaltliche Änderung verlangt ein neues Training.
• Quellenangabe: Ein RAG-System kann zu jeder Antwort zeigen, welche Abschnitte das Modell erhalten hat. Das macht die Antwort nachprüfbar. Bei Wissen, das in den Parametern steckt, lässt sich die Herkunft einer Aussage nicht belegen. Schon Lewis und Kollegen nannten die Herkunftsangabe bei solchen Modellen ein offenes Forschungsproblem.
• Rechte: In einem RAG-System lassen sich Bereiche des Index und der Dokumente nach Rollen trennen. Im Sprachmodell selbst lässt sich laut DSK nicht steuern, wer auf welche Information zugreifen darf. Wer ein Modell mit vertraulichen Unterlagen nachtrainiert, macht dieses Wissen damit potenziell allen zugänglich, die das Modell nutzen.
• Aufwand: RAG verlangt eine sorgfältige Aufbereitung der Dokumente, etwa die Aufteilung in sinnvolle Abschnitte und ein Einbettungsmodell, das deutsche Texte gut abbildet. Fine-Tuning verlangt einen sauberen Datensatz mit Beispielen und eine Bewertung nach jedem Lauf. OpenAI selbst nennt Fine-Tuning einen zeitaufwendigen Prozess.
• Löschbarkeit: Einträge in Vektordatenbank und Referenzdokumenten sind direkt adressierbar und damit gezielt löschbar. Bei Sprachmodellen bleiben die Probleme der Löschung laut DSK bestehen, auch wenn RAG im Einsatz ist.

Lässt sich einem Modell Firmenwissen antrainieren?

Naheliegend scheint, ein Modell per Fine-Tuning mit dem eigenen Firmenwissen vertraut zu machen. Die Forschung dämpft diese Erwartung. Ovadia und Kollegen haben 2023 verglichen, wie gut sich Wissen per unüberwachtem Fine-Tuning oder per RAG in Sprachmodelle bringen lässt. Ergebnis: RAG schnitt durchweg besser ab, sowohl bei Wissen, das im ursprünglichen Training schon vorkam, als auch bei völlig neuem Wissen. Die Modelle taten sich schwer, neue Fakten allein durch Fine-Tuning zu lernen. Es half, dieselbe Tatsache in vielen Formulierungen zu zeigen.

Die DSK zitiert in ihrer Orientierungshilfe zu RAG das Fraunhofer-Institut IESE mit der Einschätzung, Fine-Tuning solle nicht eingesetzt werden, um einem Sprachmodell Wissen anzutrainieren. Es könne aber helfen, einen bestimmten Antwortstil zu berücksichtigen, auf bestimmte Details zu achten oder mit speziellen Formaten von Suchergebnissen besser umzugehen.

Auch RAG hat Schwächen. Die DSK nennt zwei: Logisch zusammengehörige Informationen, die über lange Textpassagen verteilt sind, landen nicht immer im selben Abschnitt und werden dann unvollständig gefunden. Und bei widersprüchlichen Inhalten kann das Modell sein Trainingswissen wiedergeben statt der Fundstelle. Wie Sie solche Fehler aufspüren, zeigt die Seite Falsche KI-Antworten vermeiden.

Welches Verfahren passt zu welchem Ziel?

Als Faustregel gilt: Geht es um den Inhalt der Antwort, also um Fakten aus Ihren Dokumenten, nehmen Sie RAG. Geht es darum, wie geantwortet wird, kommt Fine-Tuning infrage. OpenAI empfiehlt ohnehin, mit Anweisungen, Beispielen und Tests zu beginnen, denn das kann laut OpenAI bereits genügen.

Wann lohnt sich die Kombination?

RAG und Fine-Tuning schließen sich nicht aus. Die DSK verweist auf eine Studie, nach der beide Verfahren unabhängig voneinander zu besseren Ergebnissen führen können. Eine sinnvolle Arbeitsteilung: RAG liefert die Fakten aus Ihren Dokumenten, ein nachtrainiertes Modell sorgt für Form, Ton oder den Umgang mit den gelieferten Fundstellen.

Die Kombination lohnt sich vor allem, wenn drei Bedingungen erfüllt sind:

1. RAG liefert die richtigen Fundstellen, aber die Antworten haben dauerhaft die falsche Form, obwohl Anweisungen und Beispiele im Prompt ausgeschöpft sind.
2. Sie haben einen Trainingsdatensatz, der ohne personenbezogene oder vertrauliche Inhalte auskommt, etwa Musterantworten mit Platzhaltern.
3. Sie können die Ergebnisse mit einem festen Satz von Testfragen messen und das Training wiederholen, wenn das Basismodell wechselt.

Der letzte Punkt wird leicht übersehen. Bei OpenAI folgen nachtrainierte Modelle dem Abschaltplan ihres Basismodells. Wird das Basismodell eingestellt, endet auch die Nutzung des nachtrainierten Modells, und die Arbeit beginnt mit einem neuen Basismodell von vorn.

Was bedeutet Fine-Tuning für Löschanfragen und Datenschutz?

Hier liegt der größte praktische Unterschied. Nach Art. 17 DSGVO können betroffene Personen unter bestimmten Voraussetzungen verlangen, dass ihre Daten unverzüglich gelöscht werden, etwa wenn sie für den Zweck nicht mehr notwendig sind oder eine Einwilligung widerrufen wurde. Art. 5 Abs. 1 Buchst. d DSGVO verlangt außerdem, dass personenbezogene Daten sachlich richtig sind und unrichtige Daten unverzüglich gelöscht oder berichtigt werden.

Bei RAG ist das technisch beherrschbar: Sie löschen oder korrigieren das Dokument und die zugehörigen Einträge in der Vektordatenbank. Klassische Löschfristen lassen sich laut DSK auf Vektordatenbank und Referenzdokumente gleichermaßen anwenden.

Bei einem nachtrainierten Modell ist das anders. Der Europäische Datenschutzausschuss (EDSA) hält in seiner Stellungnahme vom 17. Dezember 2024 fest, dass Informationen aus Trainingsdaten, auch personenbezogene, in den Parametern eines Modells „absorbiert“ bleiben und sich unter Umständen wieder herauslesen lassen. Modelle, die mit personenbezogenen Daten trainiert wurden, seien deshalb nicht in allen Fällen anonym. Das müsse im Einzelfall geprüft werden. Die DSK stellt fest, dass die Umsetzung von Betroffenenrechten in Sprachmodellen weitgehend ungelöst ist. Verfahren zum gezielten Verlernen (Unlearning) erwähnt der EDSA als eine mögliche Schutzmaßnahme unter mehreren.

Daraus folgen drei praktische Regeln:

• Keine unnötigen Personendaten im Training: Die DSK empfiehlt schon für RAG, nicht erforderliche personenbezogene Daten zu entfernen oder zu anonymisieren. Für Trainingsdaten gilt das erst recht.
• Trainingsdateien auch beim Anbieter löschen: Bei OpenAI bleiben Daten, die für ein Fine-Tuning übermittelt wurden, gespeichert, bis Sie die Dateien löschen. Das nachtrainierte Modell steht laut OpenAI nur Ihnen zur Verfügung und wird nicht zum Training anderer Modelle genutzt.
• Fakten über Personen in die Wissensbasis, nicht ins Modell: Dann lassen sich Auskunft, Berichtigung und Löschung in der Regel umsetzen, wie es die DSK für Referenzdokumente und Vektordatenbank beschreibt.

Bietet OpenAI Fine-Tuning überhaupt noch an?

Für Ihre Planung entscheidend: OpenAI fährt sein Fine-Tuning für Entwickler zurück. Laut der Dokumentation gilt folgender Zeitplan:

• Seit 7. Mai 2026: Organisationen, die bisher kein Fine-Tuning genutzt haben, können keine Trainingsaufträge mehr anlegen.
• Seit 2. Juli 2026: Das gilt auch für Organisationen, die in den vorangegangenen 60 Tagen kein nachtrainiertes Modell genutzt haben.
• Ab 6. Januar 2027: Auch aktive Bestandskunden können keine neuen Trainingsaufträge mehr starten.

Bereits nachtrainierte Modelle bleiben nutzbar, bis ihr Basismodell abgeschaltet wird. Wer heute auf Fine-Tuning bei OpenAI setzt, baut also auf ein auslaufendes Angebot. In seinem Leitfaden zur Modelloptimierung empfiehlt OpenAI, relevante Daten aus eigenen Datenbanken direkt in die Anfrage zu geben, klare Anweisungen und Beispiele zu formulieren und die Ergebnisse mit Tests zu messen. Eigene Daten zur Laufzeit in die Anfrage zu geben, ist genau das Prinzip von RAG. Welche Wege OpenAI dafür in ChatGPT selbst anbietet, zeigt die Seite ChatGPT mit eigenen Daten nutzen.

Häufige Fragen

Caan Grueneberg, CEO von Nexoria SystemsVerantwortlich für den Inhalt. Dieser Ratgeber ersetzt keine Rechtsberatung. Hinweise und Korrekturen an info@nexoria-systems.de. Mehr über den Autor