Il team AI Research di Workday ha condotto uno studio per capire che cosa ricorda l'AI, quanto a fondo cerca nella propria memoria e come funziona realmente l'eliminazione dei dati. Abbiamo intervistato uno dei principali ricercatori coinvolti nello studio per saperne di più.
Immagina un agente AI di viaggio che ti aiuti a prenotare una trasferta di lavoro. L'agente apprende le tue preferenze, ovvero un posto vicino al finestrino, ma memorizza anche il numero del tuo programma frequent flyer e il Known Traveler Number per prenotare il biglietto Vorresti che conservasse questi dati personali per sempre? Probabilmente no.
Il confine tra memoria e responsabilità è sfumato. Per essere intelligente e offrire un'esperienza personalizzata, l'AI deve "ricordare" alcune informazioni su di te: le tue preferenze, le conversazioni precedenti e magari anche dati sensibili che hai menzionato una sola volta. A questo scopo, i sistemi di AI non si basano soltanto sulle informazioni incorporate nel modello, ma utilizzano un sistema di memoria separato, simile a un taccuino, in cui annotano informazioni su di te: a volte riassumono le conversazioni precedenti, altre volte ne conservano le trascrizioni integrali oppure mantengono in luoghi diversi più versioni delle stesse informazioni.
Quel "taccuino" rappresenta un rischio per la privacy che, fino ad oggi, nessuno aveva studiato in modo approfondito.
Ho parlato con Kai Zhao, ricercatore del team AI Research di Workday, del suo recente studio, condotto in collaborazione con Lei Chen, Guilin Zhang e Xu Chu. Dallo studio sono emersi tre importanti risultati:
Ecco cosa ha raccontato il Dr. Zhao a proposito della ricerca.
Su quale sfida legata all'AI si è concentrato questo studio?
Zhao: Privacy e sicurezza. Se vogliamo offrire ai nostri clienti un'esperienza migliore con l'AI, dobbiamo dotare gli agenti di una qualche forma di memoria. Dobbiamo ricordare le loro preferenze e come svolgere diversi tipi di attività, così da poter offrire un'esperienza personalizzata.
Il problema è che queste conversazioni contengono spesso molti dati sensibili. Quando le persone usano ChatGPT e dicono, ad esempio, "la mia password è questa" o "il mio codice di autenticazione è questo", tali informazioni potrebbero essere memorizzate dall'AI e successivamente divulgate altrove.
L'obiettivo principale della nostra ricerca era quindi capire in che misura le informazioni memorizzate possano essere divulgate e quale sia il modo migliore per eliminarle dalla memoria affinché ciò non accada.
Può spiegarmi più nel dettaglio che cosa avete testato?
Zhao: Il primo aspetto riguarda il livello di sintesi: l'AI conserva l'intera trascrizione originale di una conversazione, alcune note personali oppure soltanto un riepilogo di una frase? Il secondo riguarda la ricerca: l'AI effettua solo poche ricerche oppure continua a cercare finché non trova l'informazione? Il terzo riguarda il funzionamento dell'eliminazione: l'AI elimina soltanto le trascrizioni originali oppure anche i riepiloghi? Conviene utilizzare un meccanismo di oscuramento, simile a quello usato per omettere informazioni riservate dai documenti governativi prima della loro pubblicazione?
Qual era la vostra ipotesi?
Zhao: Avevamo formulato due ipotesi principali. La prima era che la sintesi delle informazioni contribuisse a ridurre la divulgazione di dati altamente sensibili. La seconda era che fosse comunque possibile recuperare dati sensibili anche dopo che erano stati "eliminati".
Cosa pensa dei tre risultati più importanti?
Zhao: Innanzitutto, la sintesi aiuta a prevenire la divulgazione dei dati: riduce di circa il 60% la divulgazione di dati sensibili, senza compromettere l'utilità dell'AI.
In secondo luogo, una ricerca più approfondita non aumenta il rischio di divulgazione. Se le informazioni vengono sintetizzate correttamente, i dati sensibili vengono eliminati in modo permanente, indipendentemente dal numero di ricerche effettuate.
Infine, abbiamo scoperto che l'eliminazione standard non è sufficiente per un sistema di AI di livello enterprise. Anche eliminando i dati originali, se esiste ancora un file di riepilogo, le informazioni possono essere recuperate in circa il 20% dei casi. Ecco perché abbiamo creato Forgetting Residue Score (FDR), una sorta di test digitale che permette di verificare se nel sistema di memoria sono ancora presenti copie residue delle informazioni. Quando il punteggio è zero, significa che l'informazione è stata eliminata al 100% dall'intero sistema.
Quindi, in che modo le aziende possono assicurarsi che le informazioni eliminate dalla memoria dell'AI vengano cancellate completamente? Qual è la soluzione?
Zhao: Abbiamo testato una "eliminazione completa", che cancella sia il testo originale sia il file di riepilogo. È efficace e riduce quasi a zero la divulgazione di informazioni riservate. L'altro approccio è quello che chiamiamo "tombstone redaction", simile al mascheramento utilizzato nei documenti governativi, in cui i dati sensibili presenti nel riepilogo vengono sostituiti con un segnaposto, in modo che non possano più essere divulgati, nemmeno a partire dal riepilogo stesso. Entrambi i metodi, ovvero l'eliminazione completa o il mascheramento delle informazioni sensibili, riducono quasi a zero il rischio di divulgazione.
Se un'azienda deve rispettare le richieste relative al "diritto all'oblio" per la memoria di un agente AI, è sufficiente un normale processo di eliminazione?
Zhao: La vera domanda è: quando un utente fa clic sul pulsante Elimina, il sistema cancella davvero tutto, compresi i riepiloghi generati dall'AI che potrebbero ancora contenere informazioni importanti? È una domanda che ogni azienda dovrebbe porre ai propri fornitori. È necessario disporre di un sistema di controllo efficace che consenta di verificarlo concretamente. Questo è in parte il motivo per cui abbiamo intrapreso questa ricerca: per contribuire a fornire un sistema AI realmente sicuro e affidabile.
Per un leader aziendale che implementa agenti in grado di ricordare dati sensibili di clienti o dipendenti, qual è la decisione progettuale su cui si dovrebbe insistere affinché i team di ingegneria si muovano nel modo giusto?
Zhao: Le aziende che usano l'AI devono disporre di un sistema di breve sintesi dei fatti a livello di creazione della memoria, combinato con un sistema di controllo multilivello e un buon sistema di eliminazione. Questo è necessario per garantire che i dati sensibili non vengano memorizzati e non trapelino nel sistema AI. Non bisogna mai memorizzare la conversazione grezza e non modificata da nessuna parte.
Qualche considerazione finale?
Zhao: Le aziende hanno bisogno di un meccanismo di sintesi che mascheri le informazioni chiave, non le memorizzi da nessun'altra parte e includa un meccanismo di controllo come parte del processo. Questo è ciò che rende un sistema di memoria realmente affidabile per i clienti dell'AI aziendale.
Questa ricerca è stata condotta da Lei Chen, Guilin Zhang e Kai Zhao, sotto la supervisione di Xu Chu, responsabile di AI Research presso Workday.
Cerchi ulteriori spunti su come rendere l'AI affidabile, utile ed efficiente per l'azienda? Visita workday.com/ai-research per un elenco completo degli articoli di ricerca sull'AI di Workday.
Workday ha scoperto un metodo migliore per indicare all'AI quali informazioni conservare e quali no, ottenendo un aumento del 12% della precisione e un miglioramento dell'8% della qualità della memoria.
Come possono le aziende garantire che le risposte dell'AI siano di alta qualità e conformi? Una nuova ricerca di Workday offre una soluzione.
L'AI è ora in grado di spiegare in linguaggio naturale la logica alla base delle sue raccomandazioni. Un nuovo studio di Workday offre alle aziende un modo per verificare se queste spiegazioni sono affidabili: cambiano in modo appropriato quando cambiano le prove su cui si basano?
Leggi di più
Workday promuove attivamente un AI Act dell'UE solido e attuabile e opera in anticipo rispetto al quadro normativo grazie a una governance verificata in modo indipendente che definisce lo standard per un'AI affidabile.
Il CLM basato sull'AI sta ridefinendo il modo in cui le aziende operano, trasformando i contratti in risorse strategiche che accelerano i processi, aumentano la trasparenza e favoriscono scelte più informate.
Le aziende faticano a orientarsi in un contesto economico complesso. Un esperto, però, ha qualche idea circa come l'AI possa aiutare le imprese a tenere testa al cambiamento.
