Wie genau erkennt Stript personenbezogene Daten? Ein Benchmark

In unserem Benchmark mit deutschen und englischen Dokumenten erreicht Stripts geräteinterne Pipeline einen F1-Wert von 96,8 auf Deutsch und 96,4 auf Englisch, bei 96 bis 97% Recall. Strukturierte Angaben wie E-Mails, IBANs und Telefonnummern werden zu 100% erkannt. Ein Mensch bestätigt jede Erkennung, bevor anonymisiert wird.

Was wir gemessen haben

Wir werten auf einem eigenen, annotierten Benchmark aus deutschen und englischen Dokumenten aus den Bereichen Recht, Finanzen und HR aus. Die zentrale Kennzahl ist der F1-Wert (die Balance aus Recall und Precision) auf der Ebene ist das im Kontext tatsächlich personenbezogen: Eine Angabe zählt nur, wenn sie im Kontext ein echtes personenbezogenes Datum ist. Ein Gericht oder eine allein stehende Stadt zählt korrekt nicht.

Wie wir getestet haben

Die Pipeline arbeitet in drei Stufen, alle auf dem Gerät:

Muster und Validierung für strukturierte Angaben, wo möglich mit Prüfsumme validiert (IBAN, Kreditkarte, Steuernummern).
Kontextsensitive Erkennung von Namen, Organisationen und Orten.
Kontextklassifikation, die für jede Fundstelle prüft, ob sie im Satz tatsächlich personenbezogen ist.

Jedes Ergebnis wird einem Menschen gezeigt, der bestätigt, ablehnt oder neu einordnet, bevor anonymisiert wird. Dies ist ein transparenter, interner Benchmark, kein unabhängiger Test durch Dritte.

Ergebnisse

Insgesamt, auf der Ebene der personenbezogenen Daten:

Korpus	Precision	Recall	F1
Deutsch	97,0	96,6	96,8
Englisch	95,4	97,4	96,4

Gemessener F1-Wert nach Typ:

Typ	Deutsch	Englisch
E-Mail	100	100
Telefon	100	100
IBAN	100	100
Adresse	100	95,7
Person	97,7	98,8
Organisation	92,3	100
Steuernummer	100	prüfsummenvalidiert
Datum	89,8	72,7

Weitere unterstützte Typen (SSN, Ausweisnummer, Aktenzeichen, Kennzeichen, IP-Adresse, Kreditkarte, URL) erreichen ebenfalls Werte bei oder nahe 100%, wo sie vorkommen, aber auf kleineren Stichproben.

Daten sind die schwierigste Klasse, und das mit Absicht: Ein Geburtsdatum ist personenbezogen, ein Rechnungs- oder Briefdatum nicht. Diese Unterscheidung braucht Kontext, wofür genau die dritte Stufe da ist.

Was die Kontextstufe leistet

Reine Erkennung (jeden Namen, jedes Datum, jede Nummer finden) hat hohen Recall, ist aber verrauscht: Sie markiert allein stehende Städtenamen und administrative Daten, die nicht personenbezogen sind. Die Kontextklassifikation macht aus diesem verrauschten Kandidatensatz ein präzises Ergebnis. In unseren Tests hob sie den Gesamt-F1 um bis zu rund 10 Punkte gegenüber der reinen Erkennung, vor allem durch das Wiederfinden echter personenbezogener Daten und das Entfernen allein stehender Ortsangaben. Alles läuft auf dem Gerät.

Warum Recall hier wichtiger ist als Precision

Bei der Anonymisierung ist der teure Fehler das Übersehen: ein echter Name oder eine IBAN, die durchrutscht. Deshalb ist die Pipeline auf hohen Recall ausgelegt, und deshalb prüft ein Mensch jede Erkennung. Ein Fehlalarm kostet einen Klick zum Ablehnen; ein übersehener Wert kann Daten preisgeben.

Grenzen

Der Benchmark zielt auf direkte Identifikatoren. Indirekte, quasi-identifizierende Angaben (eine seltene Kombination aus Rolle, Ort und Datum) können weiterhin einen Rückschluss erlauben und bleiben der menschlichen Prüfung überlassen.
Die Ergebnisse werden auf eigenen Korpora gemessen; andere Dokumenttypen können abweichen.
Die Erkennungsqualität skaliert mit der Rechenstufe; höhere Stufen nutzen ein größeres Kontextmodell.
Es ist ein erster Durchlauf mit menschlichem Sicherheitsnetz, kein Anspruch auf Perfektion.

Fazit

Starke Erkennung personenbezogener Daten ist vollständig auf dem Gerät möglich, ohne Dokumente an einen Server zu senden. Hoher Recall plus ein menschlicher Bestätigungsschritt machen sie für vertrauliche Dokumente nutzbar.

Testen Sie es mit Ihren eigenen Dokumenten, vollständig auf Ihrem Gerät. Stript kostenlos herunterladen →