PDFs und Scans mit KI durchsuchen

Wie arbeiten Texterkennung und KI-Suche zusammen?

Der Weg vom Papier zur Antwort hat drei Stufen:

1. Texterkennung: Eine OCR-Software (Optical Character Recognition, optische Zeichenerkennung) erkennt die Zeichen im Bild und fügt dem PDF eine Textebene hinzu. Das Werkzeug OCRmyPDF etwa, das auf der quelloffenen Texterkennung Tesseract aufbaut, macht so aus Scans durchsuchbare PDFs, standardmäßig im Archivformat PDF/A.
2. Aufbereitung und Index: Das KI-System liest den Text aus, teilt ihn in Abschnitte und berechnet für jeden Abschnitt einen Zahlenvektor, die sogenannte Einbettung. Wie das funktioniert, beschreibt der Leitfaden.
3. Suche und Antwort: Zu einer Frage sucht das System passende Abschnitte und gibt sie an das Sprachmodell, das daraus die Antwort formuliert.

Fehler der ersten Stufe setzen sich fort. Zhang und Kollegen haben dafür einen eigenen Prüfstand entwickelt, OHRBench, vorgestellt auf der Konferenz ICCV 2025. Sie unterscheiden zwei Fehlerarten: inhaltliche Fehler, die den Sinn des Textes verändern, und Formatfehler, die die Struktur des Dokuments beschädigen, etwa bei Tabellen. Ihr Befund: Keine der getesteten OCR-Lösungen genügte, um eine hochwertige Wissensbasis für KI-Systeme mit Dokumentensuche (RAG) aufzubauen, und mit dem Ausmaß der Fehler sank die Qualität der Ergebnisse.

Welche Probleme treten bei Scans typischerweise auf?

Die Angaben stützen sich vor allem auf die Dokumentation der quelloffenen OCR-Software Tesseract und des darauf aufbauenden OCRmyPDF. Tesseract arbeitet laut Dokumentation am besten mit mindestens 300 dpi, hat ohne zusätzliche Layoutanalyse Probleme mit Tabellen und kann keine Handschrift erkennen. Bei zwei Spalten kann Tesseract den Text über die Spalten hinweg verbinden.

Spezialisierte Layoutmodelle großer Cloud-Anbieter gehen weiter. Microsofts Document Intelligence etwa erkennt laut Dokumentation Tabellen samt Kopfzeilen und verbundenen Zellen, ordnet Textblöcken Rollen wie Überschrift, Kopfzeile, Fußzeile oder Seitenzahl zu und kennzeichnet handschriftliche Zeilen mit einem Konfidenzwert. Ob ein solcher Dienst für Sie infrage kommt, hängt auch vom Datenschutz ab, siehe unten.

Wie bereiten Sie Dokumente für die KI-Suche vor?

Gute Ergebnisse entstehen vor der Indexierung. Diese Schritte legen die Grundlage:

1. Sauber scannen: mindestens 300 dpi, Seiten gerade einlegen, Heftklammern und Haftnotizen entfernen.
2. Ein Dokument je Datei: Trennen Sie Stapelscans vor der Erkennung. Sonst verweist eine Fundstelle auf eine Sammeldatei, in der das gemeinte Schreiben schwer zu finden ist.
3. Sprache festlegen: Geben Sie der Texterkennung die Sprache der Dokumente vor. Ohne passende Sprachangabe können die Ergebnisse laut OCRmyPDF schlechter ausfallen.
4. Durchsuchbares PDF erzeugen: Speichern Sie das Ergebnis als PDF mit Textebene. So bleibt das Seitenbild für Prüfungen erhalten, und der Text ist durchsuchbar.
5. Text bereinigen: Entfernen Sie Kopf- und Fußzeilen sowie Seitenzahlen und überführen Sie den Text in Fließtext, bevor er in Abschnitte geteilt wird. Das empfiehlt die Datenschutzkonferenz (DSK) in ihrer Orientierungshilfe zu RAG.
6. Sinnvolle Abschnitte bilden: Jeder Abschnitt sollte möglichst einen abgeschlossenen Sinnzusammenhang enthalten. Größe und Überlappung der Abschnitte beeinflussen laut DSK die Qualität der Fundstellen.
7. Unnötige personenbezogene Daten entfernen: Was für die Suche nicht gebraucht wird, sollte nach Auffassung der DSK vor der Indexierung entfernt oder anonymisiert werden.
8. Dubletten und alte Fassungen aussortieren: Unvollständige oder veraltete Daten führen laut DSK zu unrichtigen Ausgaben.

Wie prüfen Sie, ob die Texterkennung gut genug ist?

Verlassen Sie sich nicht darauf, dass ein PDF „durchsuchbar“ ist. Prüfen Sie Stichproben, bevor ein Bestand in die KI-Suche geht:

• Abdeckung: Lassen Sie sich alle Dateien ohne oder mit sehr wenig Text ausgeben. Das sind Kandidaten für Bild-PDFs, bei denen die Erkennung fehlt oder gescheitert ist.
• Textvergleich: Kopieren Sie den erkannten Text einiger Seiten heraus und vergleichen Sie ihn mit dem Seitenbild. Achten Sie auf Zahlen, Namen, Beträge und Datumsangaben, denn hier verändert schon ein falsches Zeichen den Sinn.
• Struktur: Prüfen Sie bei mehrspaltigen Seiten die Lesereihenfolge und bei Tabellen, ob die Werte in der richtigen Zeile stehen.
• Zeichensalat: Suchen Sie nach Folgen aus Sonderzeichen und sinnlosen Wörtern. OCR-Software kann solchen Zeichensalat als erkannten Text ausgeben.
• Konfidenzwerte: Manche Dienste geben an, wie sicher eine Erkennung ist, Microsoft etwa bei der Einstufung einer Zeile als handschriftlich. Leiten Sie unsichere Seiten zur manuellen Prüfung weiter.
• Testfragen: Stellen Sie der KI Fragen, deren Antwort in gescannten Dokumenten steht, besonders in Tabellen und Formularen. Nennt sie die richtige Seite als Quelle?

Wiederholen Sie die Prüfung, wenn Sie Scanner, OCR-Software oder Einstellungen ändern. Wie Sie KI-Antworten insgesamt testen, zeigt die Seite Falsche KI-Antworten vermeiden.

Was gilt beim Einsatz externer OCR-Dienste?

Übernimmt ein Cloud-Dienst oder ein Scandienstleister die Texterkennung, verarbeitet er den vollständigen Inhalt Ihrer Dokumente, einschließlich aller personenbezogenen Daten darin. Daraus ergeben sich diese Pflichten:

• Auftragsverarbeitung: Die DSK nennt Datenerfassung, Datenkonvertierung und das Einscannen von Dokumenten ausdrücklich als typische Beispiele für Auftragsverarbeitung. Sie dürfen nur Dienstleister beauftragen, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten (Art. 28 Abs. 1 DSGVO). Der Vertrag muss unter anderem Gegenstand, Dauer, Art und Zweck der Verarbeitung festlegen und den Dienstleister an Ihre dokumentierten Weisungen binden (Art. 28 Abs. 3 DSGVO).
• Unterauftragnehmer: Setzt der Dienst weitere Dienstleister ein, braucht er dafür Ihre vorherige Genehmigung, und Sie können Änderungen widersprechen (Art. 28 Abs. 2 DSGVO).
• Drittländer: Findet die Verarbeitung außerhalb von EU und EWR statt, müssen zusätzlich die Bedingungen der Art. 44 ff. DSGVO erfüllt sein, etwa ein Angemessenheitsbeschluss oder Standarddatenschutzklauseln.
• Berufsgeheimnisse: Eine Auftragsverarbeitung allein erlaubt nicht, Daten offenzulegen, die einer Schweigepflicht unterliegen, darauf weist die DSK hin. Berufsgeheimnisträger dürfen externen Dienstleistern Geheimnisse nur unter den Voraussetzungen des § 203 Abs. 3 und 4 StGB offenbaren.
• Ort jedes Verarbeitungsschritts: Fragen Sie nicht nur, wo Dateien gespeichert werden, sondern auch, wo der Text ausgelesen wird. Ein Beispiel: OpenAI weist für ChatGPT darauf hin, dass auch bei vereinbarter Verarbeitungsregion Schritte ohne Grafikprozessor außerhalb der Region stattfinden können, etwa das Auslesen von Text aus hochgeladenen PDF- und Word-Dateien. Mehr zu den Datenwegen dort lesen Sie auf der Seite ChatGPT mit eigenen Daten nutzen.

Klären Sie außerdem, ob der Dienst die Dokumente nach der Erkennung löscht und ob er Inhalte für eigene Zwecke nutzt, etwa zum Training von Modellen. Ein Auftragsverarbeiter, der Daten weisungswidrig für eigene Zwecke verarbeitet, gilt insoweit selbst als Verantwortlicher (Art. 28 Abs. 10 DSGVO).

Checkliste: Ist Ihr Scanbestand bereit für die KI-Suche?

1. Scans mit mindestens 300 dpi, gerade ausgerichtet, ohne dunkle Ränder.
2. Ein Dokument je Datei, mit aussagekräftigem Dateinamen und Datum.
3. Texterkennung mit der richtigen Sprache, Ergebnis als PDF mit Textebene.
4. Liste aller Dateien ohne Textebene erstellt und abgearbeitet.
5. Stichproben: erkannter Text gegen Seitenbild verglichen, besonders Zahlen und Namen.
6. Mehrspaltige Seiten und Tabellen gezielt geprüft.
7. Handschriftliche Vermerke und Stempel mit wichtigen Angaben gesondert erfasst.
8. Kopf- und Fußzeilen sowie Seitenzahlen vor der Abschnittsbildung entfernt.
9. Dubletten, Entwürfe und überholte Fassungen aussortiert, nicht benötigte personenbezogene Daten entfernt.
10. Bei externen Diensten geklärt: Vertrag zur Auftragsverarbeitung, Unterauftragnehmer, Ort jedes Verarbeitungsschritts, Löschung nach der Erkennung.
11. Testfragen zu gescannten Inhalten gestellt, die richtige Seite wird als Quelle genannt.

Häufige Fragen

Caan Grueneberg, CEO von Nexoria SystemsVerantwortlich für den Inhalt. Dieser Ratgeber ersetzt keine Rechtsberatung. Hinweise und Korrekturen an info@nexoria-systems.de. Mehr über den Autor