Het AI-onderzoeksteam van Workday voerde een onderzoek uit om te begrijpen wat AI onthoudt, hoe agressief het zijn eigen geheugen doorzoekt en hoe 'verwijderen' daadwerkelijk werkt. We interviewden een van de hoofdonderzoekers voor meer inzichten.
Stel je een AI-reisagent voor die je helpt bij het boeken van een zakenreis. De agent onthoudt je voorkeur voor een stoel aan het raam, maar bewaart ook je frequentflyernummer en Known Traveler Number om je ticket te boeken. Wil je dat deze persoonlijke data voor altijd bewaard blijven? Waarschijnlijk niet.
De grens tussen geheugen en aansprakelijkheid is vaag. Om AI slim en persoonlijk te maken, moet het dingen over je 'onthouden': je voorkeuren, eerdere gesprekken en misschien gevoelige details die je ooit noemde. Om dat te bereiken, vertrouwen AI-systemen niet alleen op wat in het model zelf is ingebouwd. Ze gebruiken een apart geheugensysteem als een soort notitieboekje, waarin ze notities over je maken, soms oude gesprekken samenvatten, soms onbewerkte transcripties opslaan of soms verschillende versies van dezelfde informatie op meerdere plaatsen bewaren.
Dat 'notitieboekje' vormt een privacyrisico dat tot nu toe door niemand zorgvuldig is bestudeerd.
Ik sprak met Kai Zhao, Research Scientist in het AI-onderzoeksteam van Workday, over het recente onderzoek dat hij uitvoerde in samenwerking met Lei Chen, Guilin Zhang en Xu Chu. Dit onderzoek leverde drie belangrijke bevindingen op:
Dit is wat Dr. Zhao te zeggen had over het onderzoek.
Rond welke AI-uitdaging is dit onderzoek opgezet?
Zhao: Privacy en veiligheid. Als we onze klanten een betere AI-ervaring willen bieden, moeten we agents een vorm van geheugen geven. We moeten hun voorkeuren onthouden en weten hoe we verschillende soorten taken oplossen om een gepersonaliseerde ervaring te bieden.
Het probleem is dat deze gesprekken vaak veel gevoelige data bevatten. Wanneer mensen ChatGPT gebruiken en dingen zeggen als 'mijn wachtwoord is dit' of 'mijn authenticatiecode is dat', loopt die informatie het risico in het AI-geheugen te worden opgeslagen en ergens anders uit te lekken.
Het belangrijkste doel van ons onderzoek was dus om te zien hoeveel geheugen er lekt als het wordt onthouden, en wat de beste manier is om dat geheugen op te schonen en lekken te voorkomen.
Vertel me eens wat jullie precies hebben getest.
Zhao: Het eerste is het samenvattingsniveau: registreert AI het hele onbewerkte gespreksverslag, een paar persoonlijke notities of slechts een samenvatting van één zin? Het tweede is zoeken: zoekt AI slechts een paar keer, of blijft het zoeken tot het de informatie vindt? Het derde is hoe verwijderen werkt: verwijdert AI alleen de onbewerkte verslagen, of de onbewerkte verslagen én de samenvattingen? En moet je een soort maskeringsmechanisme gebruiken, vergelijkbaar met hoe gevoelige passages in een overheidsdocument worden zwartgemaakt voordat het wordt vrijgegeven?
Wat was jullie hypothese?
Zhao: We hadden twee belangrijke hypotheses. Ten eerste dat samenvatten helpt het lekken van zeer gevoelige data te verminderen. Ten tweede dat we gevoelige data mogelijk nog steeds konden herstellen, zelfs nadat deze waren 'verwijderd'.
Wat vind je van de drie belangrijkste bevindingen?
Zhao: Ten eerste helpt samenvatten het lekken te stoppen. Het vermindert het lekken van gevoelige data met ongeveer 60 procent, terwijl de AI even nuttig blijft.
Ten tweede leiden diepere zoekopdrachten niet tot lekken. Zolang we de informatie goed samenvatten, worden de gevoelige data permanent verwijderd, ongeacht hoe vaak je zoekt.
Ten derde ontdekten we dat standaard verwijderen onvoldoende is voor een enterprise AI-systeem. Zelfs als je de onbewerkte data verwijdert, is het met een bestaand samenvattingsbestand in ongeveer 20 procent van de gevallen mogelijk om de informatie te herstellen. Daarom hebben we de Forgetting Residue Score (FDR) ontwikkeld. Het werkt als een digitale test om te zien of er in het geheugensysteem nog steeds 'fantoomkopieën' van de informatie bestaan. Wanneer die score nul is, betekent dit dat de informatie voor 100 procent uit het systeem verwijderd is.
Dus hoe zorgen bedrijven ervoor dat hun verwijderde AI-herinneringen voor de volle 100 procent zijn verwijderd? Wat is de oplossing?
Zhao: We testten een volledige opschoning, waarbij zowel de originele tekst als het samenvattingsbestand worden gewist. Dat werkt, en het lekken van gevoelige informatie daalt tot bijna nul. De andere methode noemen we 'tombstone redaction', vergelijkbaar met het maskeren van een overheidsdocument: je vervangt de gevoelige data in de samenvatting door een placeholder, zodat die informatie nooit meer kan lekken, zelfs niet vanuit de samenvatting zelf. Beide methoden (volledige verwijdering of het maskeren van gevoelige informatie) brengen het lekken bijna tot nul terug.
Als een bedrijf moet voldoen aan verzoeken om 'vergeten te worden' voor het geheugen van een AI-agent, is een standaard verwijderingsproces dan waarschijnlijk voldoende?
Zhao: De echte vraag is of hun systeem, wanneer een gebruiker op de knop 'Verwijderen' klikt, ook daadwerkelijk alles wist. Dus ook de door AI gegenereerde samenvattingen die mogelijk nog de belangrijkste informatie bevatten. Dat is de vraag die elk bedrijf aan zijn leveranciers moet stellen. Ze hebben een goed gatingsysteem nodig om dat daadwerkelijk te verifiëren. Dit is een van de beweegredenen achter dit onderzoek: het helpen bieden van een echt veilig en betrouwbaar AI-systeem.
Stel, je bent businessleader en implementeert agents die gevoelige klant- of werknemersdata onthouden. Wat is dan die ene cruciale ontwerpbeslissing die echt goed moet worden aangepakt door het engineeringteam?
Zhao: Enterprise AI-bedrijven hebben een soort samenvattingssysteem voor korte feiten nodig op het niveau van geheugencreatie, gecombineerd met een meerlaags gatingsysteem en een solide verwijderingssysteem. Dat is nodig om te zorgen dat gevoelige data niet worden opgeslagen of uitlekken in het AI-systeem. Sla het onbewerkte chatgesprek nooit ergens op.
Nog een laatste boodschap?
Zhao: Bedrijven hebben een samenvattingsmechanisme nodig dat ook belangrijke informatie maskeert, deze nergens anders opslaat en een gatingmechanisme als onderdeel van het proces bevat. Dat is wat een geheugensysteem echt betrouwbaar maakt voor enterprise AI-klanten.
Dit onderzoek is uitgevoerd door Lei Chen, Guilin Zhang en Kai Zhao, onder begeleiding van Xu Chu, hoofd AI-onderzoek bij Workday.
Op zoek naar meer inzichten over hoe je AI betrouwbaar, nuttig en efficiënt maakt voor de enterprise? Bezoek workday.com/ai-research voor een volledig overzicht van Workday-onderzoeksrapporten over AI.
Workday ontdekte een betere methode om AI te vertellen welke herinneringen het moet vasthouden en welke het moet vergeten, wat zorgt voor twaalf procent hogere precisie en acht procent betere geheugenkwaliteit.
Hoe zorgen organisaties ervoor dat AI-antwoorden van hoge kwaliteit zijn en aan de regels voldoen? Nieuw Workday-onderzoek biedt een oplossing.
AI kan de redenering achter aanbevelingen nu in natuurlijke taal uitleggen. Nieuw onderzoek van Workday geeft organisaties een manier om te testen of die verklaringen betrouwbaar zijn: passen ze zich op de juiste manier aan wanneer het bewijs waarop ze zijn gebaseerd verandert?
Meer om te lezen
Workday pleit voor een sterke, werkbare EU AI-verordening en loopt intussen al voorop met onafhankelijk geverifieerde governance die de standaard zet voor betrouwbare AI.
AI-gedreven CLM verandert de manier waarop organisaties werken en maakt van contracten strategische activa die snelheid, duidelijkheid en slimmere beslissingen stimuleren.
In een uitdagend economisch landschap zoeken organisaties naar houvast. Een expert deelt waardevolle inzichten over hoe AI bedrijven door deze verschuiving loodst.
