¿Cómo garantizamos que la memoria de la IA sea fiable para la empresa?

Supongamos que un agente de viajes basado en IA le ayuda a reservar un viaje de trabajo. El agente aprende que usted prefiere un asiento junto a la ventana, pero también guarda su número de viajero frecuente y otros datos de fidelización para reservar el billete. ¿Quiere que el agente recuerde esos datos personales para siempre? Probablemente no.

El límite entre la memoria y la responsabilidad legal es impreciso. Para que la IA sea inteligente y personal, debe "recordar" cosas sobre usted: sus preferencias, conversaciones previas o incluso detalles confidenciales mencionados en una ocasión. Para ello, los sistemas de IA no se basan únicamente en lo que está integrado en el propio modelo. Utilizan un sistema de memoria aparte, como un cuaderno, donde apuntan notas sobre usted: unas veces resumen conversaciones anteriores, otras almacenan transcripciones sin procesar y otras guardan varias versiones de la misma información en distintos lugares.

Ese "cuaderno" supone un riesgo para la privacidad que nadie ha estudiado detenidamente hasta ahora.

Hablé con Kai Zhao, un científico investigador del equipo de AI Research de Workday, sobre un estudio reciente que realizó en colaboración con Lei Chen, Guilin Zhang y Xu Chu. El estudio produjo tres grandes revelaciones: 

1. Resumir la memoria es un escudo de privacidad sorprendentemente eficaz. Cuando la IA solo mantenía resúmenes, había aproximadamente un 60 % menos de intentos de extraer datos confidenciales, sin que la IA perdiera su capacidad para personalizar las respuestas.
2. Buscar más a fondo no afecta a la protección. Cabría pensar que si la IA profundiza más en su memoria, acabará encontrando los datos confidenciales de todos modos. Pero, después de comprimir los datos en un resumen, estos no quedaban expuestos al hacer una búsqueda más amplia. 
3. La acción de eliminar no implica que los datos desaparezcan de la memoria. La información eliminada seguía siendo recuperable aproximadamente el 20 % de las veces, si los investigadores eliminaban la nota original sin procesar pero dejaban intacto el resumen generado por la IA. La información solo desaparecía por completo cuando el proceso de eliminación también eliminaba los resúmenes (volviendo a resumir sin los datos confidenciales o tachándolos con un marcador de censura).

Esto es lo que Zhao explicó sobre el estudio.

¿En qué desafío relacionado con la IA basaron este estudio? 

Zhao: En el de la privacidad y la seguridad. Si queremos ofrecer una mejor experiencia de IA a nuestros clientes, debemos dotar a los agentes de algún tipo de memoria. Debemos recordar sus preferencias y cómo resolver diferentes tipos de tareas para ofrecer una experiencia personalizada.

El problema es que estas conversaciones suelen contener muchos datos confidenciales. Cuando la gente utiliza ChatGPT y dice cosas como "mi contraseña es esta" o "mi código de autenticación es este", la información podría almacenarse en la memoria de la IA y filtrarse en otro lugar.

El objetivo principal de nuestro estudio era ver cuánta memoria se filtra si se recuerda y cuál es la mejor manera de borrar esa memoria para que no haya fugas.

¿Qué pruebas realizaron? 

Zhao: La primera fue el nivel de resumen: ¿guarda la IA el registro íntegro de una conversación, unas cuantas notas personales o solo una frase como resumen? La segunda fue la búsqueda: ¿la IA busca solo unas cuantas veces o busca repetidamente hasta encontrar la información? La tercera fue cómo funciona la eliminación: ¿elimina la IA únicamente los registros sin procesar o esos registros y los resúmenes? ¿Y se debería usar algún tipo de mecanismo de enmascaramiento, similar a la forma de ocultar partes de un documento gubernamental antes de publicarlo?

¿Cuál era la hipótesis?

Zhao: Teníamos dos hipótesis principales. En primer lugar, ese resumen ayuda a reducir la fuga de datos altamente confidenciales. En segundo lugar, los datos confidenciales seguirían siendo recuperables incluso después de "eliminarse".

¿Qué opina sobre las tres revelaciones más importantes?

Zhao: Primero, el resumen ayuda a evitar las fugas. Reduce en torno a un 60 % la fuga de datos confidenciales, mientras se mantiene la utilidad de la IA.

Segundo, las búsquedas más profundas no exponen datos. Si la información se resume correctamente, los datos confidenciales se eliminan definitivamente, sin importar cuántas veces se busque.

Tercero, comprobamos que la eliminación estándar no es suficiente para un sistema de IA empresarial. Aunque se eliminen los datos sin procesar, si aún existe un archivo de resumen, la información se puede recuperar aproximadamente un 20 % de las veces. Por eso creamos la puntuación de olvido residual (Forgetting Residue Score o FDR). Es una especie de prueba digital para ver si aún existen copias fantasma de la información en todo el sistema de memoria. Cuando esa puntuación es cero, significa que la información se elimina totalmente en todo el sistema.

Entonces, ¿cómo pueden las empresas asegurarse de que sus memorias de IA eliminadas se eliminen completamente? ¿Cuál es la solución?

Zhao: Probamos una "purga completa", que borra tanto el texto original como el archivo de resumen. Eso funciona y las fugas secretas se reducen casi a cero. El otro enfoque es lo que llamamos "censura tipo lápida", similar al enmascaramiento de documentos gubernamentales, donde los datos confidenciales del resumen se sustituyen por un marcador de posición para que la información nunca pueda filtrarse de nuevo, ni siquiera desde dentro del resumen. Ambos métodos (una eliminación total o el enmascaramiento de información confidencial) reducen casi a cero las fugas.

Si una empresa debe satisfacer solicitudes de "derecho al olvido" para la memoria de un agente de IA, ¿podría ser suficiente un proceso de eliminación estándar?

Zhao: La cuestión es: cuando un usuario pulsa el botón de eliminar, ¿su sistema realmente lo elimina todo, incluidos los resúmenes generados por IA que aún podrían contener la información clave? Esa es la pregunta que toda empresa debe hacer a sus proveedores. Necesitan un buen sistema de acceso para verificarlo. En parte esa es la razón por la que realizamos el estudio: para ayudar a ofrecer un sistema de IA genuinamente seguro y fiable.

Para un líder empresarial que implementa agentes capaces de recordar datos confidenciales de cliente o empleados, ¿cuál es la decisión de diseño que deberían priorizar los equipos de ingeniería?

Zhao: Las empresas proveedoras de IA empresarial necesitan algún tipo de sistema de resumen de datos breves en la fase de creación de memoria, combinado con un sistema de acceso multicapa y un buen sistema de eliminación. Eso es necesario para asegurar que los datos confidenciales no se almacenen ni se filtren en el sistema de IA. Las conversaciones de chat íntegras sin editar nunca deben guardarse en ningún sitio. 

¿Alguna reflexión final?

Zhao: Las empresas necesitan un mecanismo de resumen que también enmascare la información clave, no la almacene en ningún otro lugar e incluya un mecanismo de barrera como parte del proceso. Eso es lo que hace que un sistema de memoria sea realmente fiable para los clientes de IA empresarial.

Este estudio fue realizado por Lei Chen, Guilin Zhang y Kai Zhao, bajo la supervisión de Xu Chu, responsable del área de AI Research de Workday.

¿Desea más información sobre cómo hacer que la IA sea fiable, útil y eficiente para la empresa? En workday.com/ai-research encontrará una lista completa de artículos de investigación sobre IA de Workday.