Wie stellen wir sicher, dass das KI-Gedächtnis für Unternehmen vertrauenswürdig ist?

Stellen Sie sich einen KI-Reiseagenten vor, der Ihnen bei der Buchung einer Dienstreise hilft. Der Agent merkt sich, dass Sie am liebsten am Fenster sitzen. Doch für die Buchung speichert er auch Ihre Vielfliegernummer und Ihre Known Traveler Number (KTN). Soll er sich diese persönlichen Daten für immer „merken“? Wohl kaum.

Die Grenze zwischen KI-Gedächtnis und Haftungsrisiko ist fließend. Damit KI intelligent und persönlich agieren kann, muss sie sich Dinge über Sie „merken“: Ihre Vorlieben, frühere Gespräche, vielleicht sogar sensible Details, die Sie einmal erwähnt haben. Dafür verlassen sich KI-Systeme nicht allein auf das, was im Modell selbst steckt. Sie nutzen ein separates Speichersystem, eine Art Notizbuch: Dort halten sie fest, was sie über Sie wissen – manchmal als Zusammenfassung alter Gespräche, manchmal als Rohtranskript oder aber in mehreren Versionen derselben Information an verschiedenen Orten.

Dieses „Notizbuch“ ist ein Datenschutzrisiko, das bislang niemand genau untersucht hat.

Ich habe mich mit Kai Zhao, Research Scientist im KI-Forschungsteam von Workday, über seine aktuelle Studie unterhalten, die er gemeinsam mit Lei Chen, Guilin Zhang und Xu Chu durchgeführt hat. Die Studie liefert drei zentrale Erkenntnisse: 

1. Zusammenfassungen schützen erstaunlich effektiv die Privatsphäre. Speicherte die KI nur Zusammenfassungen, sank die Zahl der Versuche, sensible Daten abzugreifen, um rund 60 % – und die KI konnte ihre Antworten weiterhin personalisieren.
2. Intensiveres Suchen hebt diesen Schutz nicht auf. Man könnte meinen, dass die KI bei einer breiteren Suche in ihrem Gedächtnis irgendwann doch auf die sensiblen Daten stößt. Doch sobald die Daten in einer Zusammenfassung verdichtet waren, gab auch eine breitere Suche sie nicht preis. 
3. Wer auf „Löschen“ klickt, hat die Erinnerung noch lange nicht entfernt. Gelöschte Informationen ließen sich in etwa 20 % der Fälle wiederherstellen, wenn die Forscher die ursprüngliche Rohnotiz entfernten, die KI-Zusammenfassung aber unangetastet ließen. Erst wenn beim Löschen auch die Zusammenfassungen bereinigt wurden – entweder durch erneutes Zusammenfassen ohne die sensiblen Daten oder durch Schwärzen mit einem Platzhalter –, verschwanden die Informationen vollständig.

Das sagt Dr. Zhao zu der Studie.

Mit welcher KI-Herausforderung befasst sich diese Studie?

Zhao: Datenschutz und Sicherheit. Um Kunden ein besseres KI-Erlebnis zu bieten, brauchen Agenten eine Art Gedächtnis. Wir müssen uns ihre Vorlieben merken und wissen, wie wir verschiedene Aufgaben lösen können, um ein personalisiertes Erlebnis zu bieten.

Das Problem: Diese Gespräche enthalten oft viele sensible Daten. Wenn Anwender bei ChatGPT etwa sagen: „Mein Passwort lautet so und so“ oder „Mein Authentifizierungscode ist dieser“, könnten diese Informationen im KI-Gedächtnis landen und an anderer Stelle durchsickern.

Unser Forschungsziel war also herauszufinden, wie viele gespeicherte Informationen nach außen dringen und wie sich das Gedächtnis am besten bereinigen lässt, damit das nicht passiert.

Was genau haben Sie getestet? 

Zhao: Erstens der Grad der Zusammenfassung: Speichert die KI das gesamte Rohprotokoll eines Gesprächs, ein paar persönliche Notizen oder nur eine Zusammenfassung in einem Satz? Zweitens die Suche: Sucht die KI nur ein paar Mal nach Informationen oder so lange, bis sie diese findet? Drittens das Löschen: Entfernt die KI nur die Rohprotokolle oder auch die Zusammenfassungen? Und sollte man einen Maskierungsmechanismus einsetzen, ähnlich wie bei Behördendokumenten, die vor der Veröffentlichung geschwärzt werden?

Was war Ihre Hypothese?

Zhao: Wir hatten zwei Hauptthesen. Erstens: Zusammenfassungen verringern das Risiko, dass hochsensible Daten nach außen dringen. Zweitens: Sensible Daten lassen sich möglicherweise auch nach dem „Löschen“ wiederherstellen.

Was sagen Sie zu den drei wichtigsten Erkenntnissen?

Zhao: Erstens: Zusammenfassungen verhindern Datenlecks. Sie senken das Risiko, dass sensible Daten abfließen, um rund 60 % – und die KI bleibt genauso nützlich.

Zweitens: Tiefere Suchen führen nicht zu Datenlecks. Wenn wir die Informationen richtig zusammenfassen, werden die sensiblen Daten dauerhaft entfernt – egal, wie oft man sucht.

Drittens: Das übliche Löschen reicht für ein KI-System auf Unternehmensniveau nicht aus. Selbst wenn Sie die Rohdaten löschen: Existiert noch eine Zusammenfassung, lassen sich die Informationen in etwa 20 % der Fälle wiederherstellen. Deshalb haben wir den Forgetting Residue Score (FDR) entwickelt. Er funktioniert wie ein digitaler Test, der prüft, ob im Speichersystem noch Geisterkopien der Informationen existieren. Liegt der Wert bei null, sind die Informationen im gesamten System zu 100 % gelöscht.

Wie können Unternehmen also sicherstellen, dass gelöschte KI-Erinnerungen wirklich vollständig gelöscht sind? Was ist die Lösung?

Zhao: Wir haben eine „vollständige Bereinigung“ getestet, die sowohl den Originaltext als auch die Zusammenfassung löscht. Das funktioniert: Die Datenlecks sinken auf nahezu null. Der andere Ansatz heißt bei uns „Tombstone Redaction“. Ähnlich wie bei einem geschwärzten Behördendokument ersetzt man die sensiblen Daten in der Zusammenfassung durch einen Platzhalter, sodass die Informationen nie wieder preisgegeben werden können – auch nicht aus der Zusammenfassung. Beide Methoden – vollständiges Löschen oder Maskieren der sensiblen Informationen – senken die Datenlecks auf nahezu null.

Reicht ein übliches Löschverfahren aus, wenn ein Unternehmen Anfragen zum „Recht auf Vergessenwerden“ für das Gedächtnis eines KI-Agenten erfüllen muss?

Zhao: Die entscheidende Frage lautet: Löscht das System tatsächlich alles, wenn ein Anwender auf „Löschen“ klickt – einschließlich der KI-generierten Zusammenfassungen, die die zentralen Informationen womöglich noch enthalten? Diese Frage muss jedes Unternehmen seinen Anbietern stellen. Dafür braucht es ein solides Gating-System, das genau das überprüft. Auch deshalb haben wir diese Forschung betrieben: um ein wirklich sicheres und vertrauenswürdiges KI-System zu ermöglichen.

Wenn eine Führungskraft Agenten einsetzt, die sensible Kunden- oder Mitarbeiterdaten speichern: Bei welchem Designaspekt sollten ihre Entwicklungsteams unbedingt die richtige Entscheidung treffen?

Zhao: Anbieter von Unternehmens-KI brauchen schon bei der Erstellung des Gedächtnisses ein System für kurze Faktenzusammenfassungen, kombiniert mit einem mehrstufigen Gating-System und einem guten Löschsystem. Nur so ist sichergestellt, dass sensible Daten nicht im KI-System gespeichert werden oder dort abfließen. Speichern Sie niemals die rohe, unbearbeitete Chatunterhaltung – nirgendwo. 

Noch ein abschließendes Wort?

Zhao: Unternehmen brauchen einen Zusammenfassungsmechanismus, der zentrale Informationen auch maskiert, sie nirgendwo sonst ablegt und ein Gating als festen Bestandteil des Prozesses enthält. Das macht ein Speichersystem für Kunden von Unternehmens-KI wirklich vertrauenswürdig.

Die Studie wurde von Lei Chen, Guilin Zhang und Kai Zhao unter der Leitung von Xu Chu, Head of AI Research bei Workday, durchgeführt.

Sie möchten mehr Erkenntnisse dazu, wie KI im Unternehmen vertrauenswürdig, nützlich und effizient wird? Eine vollständige Liste der Forschungsarbeiten zu Workday AI finden Sie unter workday.com/ai-research.