KI-Halluzinationen vermeiden: So verhindern Sie falsche Antworten

Was sind KI-Halluzinationen?

Von Halluzinationen spricht man laut Datenschutzkonferenz (DSK), wenn KI-Modelle Informationen erzeugen, die zwar plausibel klingen, aber nicht durch ihre Trainingsdaten gestützt sind. Das BSI beschreibt in seiner Veröffentlichung zu generativen KI-Modellen, dass Modelle Inhalte erfinden, die weder in der Eingabe noch in den Trainingsdaten vorkamen. Das Problem dabei: Die Ausgaben wirken meist glaubhaft, besonders wenn sie auf Quellen verweisen, die selbst frei erfunden sein können.

Die Forschung unterscheidet zwei Arten. Huang und Kollegen sprechen von Faktizitäts-Halluzinationen, wenn eine Aussage überprüfbaren Tatsachen widerspricht oder sich nicht belegen lässt. Von Treue-Halluzinationen sprechen sie, wenn die Antwort von der Anfrage oder vom mitgelieferten Kontext abweicht oder sich selbst widerspricht. Für Systeme mit eigenen Daten ist die zweite Art zentral, denn die Antwort soll den gefundenen Dokumenten treu bleiben.

Warum Modelle überhaupt halluzinieren, erklären Kalai und Kollegen (2025) so: Training und gängige Bewertungsverfahren belohnen Raten stärker als das Eingeständnis von Unsicherheit. Die meisten Tests bewerten Modelle so, dass sich Raten auszahlt. Für die Praxis folgt daraus: Ihr System muss die Antwort „nicht gefunden“ ausdrücklich erlauben.

Warum irrt auch eine KI mit eigenen Daten?

RAG (Retrieval Augmented Generation), also die Suche in eigenen Dokumenten vor der Antwort, senkt das Risiko. Wie das Verfahren funktioniert, beschreibt der Leitfaden. Die DSK hält fest, dass sich mit RAG Halluzinationen und unrichtige personenbezogene Daten in den Ausgaben verringern lassen. Vollständig ausschließen lassen sie sich nicht. Das BSI nennt als Vorteil, dass Nutzer sehen können, auf welchen Textauszügen eine Antwort beruht, das mildere die Auswirkungen von Halluzinationen.

Wie groß die Restfehler sein können, zeigt eine vorregistrierte Untersuchung von Magesh und Kollegen aus dem Jahr 2024. Sie testete KI-Rechercheprogramme für Juristen, die auf eigenen Wissensbasen aufsetzen: Lexis+ AI von LexisNexis sowie Westlaw AI-Assisted Research und Ask Practical Law AI von Thomson Reuters. Die Programme halluzinierten seltener als der allgemeine Chatbot GPT-4, aber jeweils in 17 bis 33 Prozent der Fälle. Die Autoren leiten daraus ab, dass Anwälte KI-Ergebnisse überwachen und prüfen müssen.

Barnett und Kollegen haben aus drei Praxisprojekten sieben typische Fehlerpunkte von RAG-Systemen abgeleitet. Zwei ihrer Kernaussagen: Ob ein RAG-System zuverlässig arbeitet, lässt sich erst im Betrieb wirklich prüfen, und seine Robustheit entwickelt sich mit der Zeit, statt von Anfang an fertig geplant zu sein.

Welche Ursachen stecken hinter falschen Antworten?

Die Fehlerquellen lassen sich entlang des Weges von der Frage zur Antwort ordnen.

Der Bestand

Die Antwort steht gar nicht in den Dokumenten, das System antwortet trotzdem. Barnett und Kollegen nennen das „fehlender Inhalt“. Ebenso problematisch sind veraltete, unvollständige oder widersprüchliche Dokumente: Die Zuverlässigkeit von RAG hängt laut DSK stark von Qualität, Aktualität und Vollständigkeit der Referenzdokumente ab. Das BSI warnt zudem vor manipulierten Inhalten, die Angreifer in eine Wissensbasis einschleusen, damit das Modell auf bestimmte Fragen gezielt falsch antwortet.

Die Suche

Das richtige Dokument existiert, landet aber nicht unter den obersten Treffern oder fällt beim Zusammenstellen der Fundstellen heraus. Mögliche Gründe sind schlecht geschnittene Abschnitte, die Sinnzusammenhänge zerreißen, und Einbettungsmodelle, die nicht zur Sprache oder zum Fachgebiet passen. Auch zu viele Fundstellen schaden: Liu und Kollegen zeigten, dass Sprachmodelle Informationen am Anfang oder Ende einer langen Eingabe am besten nutzen und bei Inhalten in der Mitte deutlich schlechter abschneiden.

Die Rechte

Fehlen einer Person die Rechte für das entscheidende Dokument, findet die Suche es nicht, und ohne passende Fundstelle kann das Modell die Lücke mit einer Vermutung füllen. Umgekehrt führen zu weit gefasste Rechte dazu, dass vertrauliche Inhalte in Antworten auftauchen. Das BSI rät, Rechte und Rollen in der Suche durchzusetzen und nicht über Textanweisungen an das Modell, weil solche Anweisungen angreifbar sind.

Die Frage

Mehrdeutige Fragen führen die Suche in die falsche Richtung, Fragen mit mehreren Teilen liefern oft nur Teilergebnisse. Das beschreiben Huang und Kollegen in ihrer Übersicht zu Halluzinationen. Barnett und Kollegen nennen außerdem Antworten, die für den eigentlichen Bedarf zu allgemein oder zu speziell sind.

Das Modell

Selbst mit den richtigen Fundstellen kann das Modell danebenliegen. Bei widersprüchlichen Inhalten neigen Sprachmodelle laut DSK dazu, ihr Trainingswissen wiederzugeben und die Inhalte der Referenzdokumente zu verwerfen. Außerdem kann ein Modell die Antwort im Kontext übersehen, Formatvorgaben ignorieren oder verfügbare Informationen weglassen. Was ein Nachtraining des Modells hier leisten kann und wo seine Grenzen liegen, erklärt die Seite RAG oder Fine-Tuning.

Wie setzen Sie eine Quellenpflicht durch?

Die wichtigste Maßnahme: Das System darf nur antworten, was es belegen kann.

• Systemanweisung: Weisen Sie das Modell an, ausschließlich mithilfe der gefundenen Quellen zu antworten. Diese Maßnahme nennt die DSK ausdrücklich.
• „Nicht gefunden“ als gültige Antwort: Liefert die Suche keine passende Fundstelle, soll das System das sagen, statt zu raten. Werten Sie solche Antworten im Test als richtig, wenn die Information tatsächlich fehlt.
• Fundstellen sichtbar machen: Zeigen Sie zu jeder Antwort Dokument, Seite und den genutzten Textauszug, damit Nutzer selbst prüfen können, ob die Antwort trägt.
• Interne und externe Quellen trennen: Bindet das System eine Websuche ein, werden die Anforderungen an Rechtmäßigkeit und Richtigkeit laut DSK regelmäßig nicht erfüllt. Die DSK hält dann gegebenenfalls eine Priorisierung interner und externer Quellen für erforderlich.
• Stichproben „Quelle gegen Antwort“: Prüfen Sie regelmäßig, ob die zitierte Stelle die Aussage wirklich stützt. Eine Quellenangabe allein beweist noch nichts.

Wie halten Sie den Dokumentenbestand verlässlich?

Die DSK verlangt, regelmäßig zu prüfen, ob die Referenzdokumente aktuell, vollständig und von guter Qualität sind. Praktisch heißt das:

• Benennen Sie für jeden Bereich eine verantwortliche Person, die neue Fassungen einstellt und alte archiviert.
• Kennzeichnen Sie die Gültigkeit, etwa mit einem Datum oder einem Status wie „gültig“ und „ersetzt“. Das hilft Lesern und erleichtert das Aussortieren.
• Begrenzen Sie, wer Dokumente in die Wissensbasis einstellen darf, und prüfen Sie die Herkunft neuer Inhalte. Dokumente aus unbekannten oder nicht vertrauenswürdigen Quellen sollten laut DSK nicht verwendet werden.
• Bereinigen Sie Texte vor der Indexierung. Wie das bei gescannten Unterlagen gelingt, zeigt die Seite PDFs und Scans mit KI durchsuchen.
• Prüfen Sie Rechte an der Quelle, nicht im Chat: Wer ein Dokument in der Ablage nicht sehen darf, darf es auch über die KI nicht finden.

Wie testen Sie das System vor dem Start und im Betrieb?

Das BSI empfiehlt, generative KI-Systeme vor der Einführung ausgiebig zu testen, Randfälle einzubeziehen und die Tests regelmäßig sowie anlassbezogen zu wiederholen, und zwar für das gesamte System mit allen Schnittstellen. Für Systeme mit eigenen Daten brauchen Sie dafür ein festes Set anwendungsspezifischer Testfragen samt erwarteter Antwort und Quelle. Genau solche Testdaten fehlen laut Barnett und Kollegen in RAG-Projekten oft.

Ein gutes Testset deckt diese Fälle ab:

• Eindeutige Fragen mit der Antwort in genau einem Dokument.
• Fragen ohne Antwort im Bestand: Erwartet wird „nicht gefunden“.
• Fragen zu Tabellen, Zahlen und Fristen.
• Fragen mit mehreren Fassungen eines Dokuments: Erwartet wird die gültige.
• Mehrdeutige und zusammengesetzte Fragen: Erwartet werden eine Rückfrage oder vollständige Teilantworten.
• Rechte-Tests: dieselbe Frage mit Konten verschiedener Rollen.
• Formatvorgaben, etwa „als Tabelle“.

Bewerten Sie je Frage vier Punkte: Ist die Antwort richtig, ist sie vollständig, nennt sie die richtige Quelle, und hält sich das System zurück, wenn nichts zu finden ist? Legen Sie vor dem Test fest, welches Ergebnis für die Abnahme reichen muss, und lassen Sie Fachleute aus dem jeweiligen Bereich bewerten.

Wiederholen Sie den Test, wenn sich Modell, Systemanweisung, Sucheinstellungen oder große Teile des Bestands ändern, und nehmen Sie echte Fehlerfälle aus dem Betrieb in das Set auf.

Wie kommunizieren Sie die Grenzen des Systems?

Technik allein reicht nicht. Das BSI nennt die Sensibilisierung der Nutzer einen entscheidenden Faktor: Sie sollen Ausgaben kritisch hinterfragen, anpassen und ihre Weiterverwendung gegebenenfalls einschränken können. Betreiber sollen Grenzen des Systems, die sich technisch nicht vollständig beheben lassen, klar kommunizieren. Ausgaben mit potenziell kritischen Folgen sollten laut BSI geprüft, mit weiteren Quellen abgeglichen und vor der Verwendung manuell nachbearbeitet werden, besonders bei Inhalten mit Außenwirkung.

Auch rechtlich ist das Thema verankert. Nach Art. 4 der KI-Verordnung ergreifen Anbieter und Betreiber von KI-Systemen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. In der durch die Digital-Omnibus-Verordnung zur KI geänderten Fassung stellt der Artikel klar, dass dabei kein bestimmtes Kompetenzniveau garantiert werden muss.

Sagen Sie Ihren Mitarbeitenden deshalb, wofür das System gedacht ist und wofür nicht, dass Antworten falsch sein können und wie sie Fundstellen prüfen. Bieten Sie eine einfache Möglichkeit, falsche Antworten zu melden, und nutzen Sie die Meldungen für Ihr Testset.

Welche Maßnahme hilft bei welcher Ursache?

Häufige Fragen

Caan Grueneberg, CEO von Nexoria SystemsVerantwortlich für den Inhalt. Dieser Ratgeber ersetzt keine Rechtsberatung. Hinweise und Korrekturen an info@nexoria-systems.de. Mehr über den Autor