기업 환경에 걸맞은 AI 메모리의 신뢰성을 확보하려면?

AI 출장 에이전트가 출장을 위한 예약을 도와준다고 상상해 보세요. AI 에이전트는 내가 창가 좌석을 선호한다는 사실을 학습할 뿐만 아니라 마일리지 적립 번호와 회원 번호(Known Traveler Number)도 저장합니다. AI 에이전트가 이런 개인 정보를 영구히 기억하는 게 좋을까요? 아마 그렇지 않을 것입니다.

기억과 책임의 경계는 모호합니다. AI가 스마트하고 개인화된 서비스를 제공하려면 사용자에 관한 정보, 즉 기호, 과거의 대화, 어쩌다 한 번 언급한 민감한 세부 사항까지 '기억'해야 합니다. 이를 위해 AI 시스템은 모델 자체에 내장된 정보에만 의존하지 않습니다. 메모장과 같은 별도의 메모리 시스템을 사용하여 사용자에 관한 메모를 작성하고, 때로는 과거의 대화를 요약하거나 원본 텍스트 기록을 그대로 저장하고, 동일한 정보의 여러 버전을 다른 위치에 보관하기도 합니다.

그런 '메모장'이 개인정보 보호를 위협하는 요인임에도, 아직까지 그 누구도 깊이 연구한 바 없습니다.

저는 Workday의 AI 연구팀 소속 연구원, Kai Zhao를 만나 Lei Chen, Guilin Zhang, Xu Chu와 함께 진행한 최근 연구에 관해 이야기를 나누었습니다. 이번 연구를 통해 세 가지 중대한 사실이 드러났습니다. 

1. 메모리 요약은 놀라울 정도로 효과적인 개인정보 보호 수단입니다. AI가 요약본만 보관했을 때는 민감 데이터 유출 시도가 60%가량 줄었습니다. 단, 개인화된 응답을 제공하는 AI의 기능은 변하지 않았습니다.
2. 더 강도 높게 검색하더라도 이러한 보호 효과는 사라지지 않습니다. AI가 메모리를 더 많이 검색하다 보면 결국 민감한 데이터를 발견하게 되리라 생각할 수도 있으나, 일단 데이터가 요약본으로 압축되고 나면 더 광범위하게 검색하더라도 데이터가 유출되지 않았습니다. 
3. 삭제 버튼을 누른다고 해서 메모리가 실제로 사라지는 것은 아닙니다. 연구팀이 메모 원본만 삭제하고 AI가 생성한 요약은 그대로 두었을 경우, 정보를 삭제했더라도 복구 가능한 경우가 약 20%로 나타났습니다. 삭제 과정에서 민감한 데이터를 제외하고 다시 요약하거나 삭제 자리 표시자로 해당 정보를 가리는 방식으로 요약본까지 정리한 경우에만 해당 정보가 완전히 사라졌습니다.

Zhao 박사에게 이번 연구에 관해 직접 들어봤습니다.

이 연구는 어떤 AI 과제를 중심으로 진행되었나요?

Zhao: 개인정보 보호 및 보안입니다. 고객에게 더 나은 AI 경험을 제공하기 위해서는 에이전트에게 일종의 기억 기능을 부여해야 합니다. 맞춤형 경험을 제공하려면 고객의 기호, 그리고 다양한 유형의 태스크를 해결할 방법을 기억해야 하니까요.

이런 대화에 민감한 데이터가 대량으로 포함되는 경우가 많다는 게 문제죠. ChatGPT를 사용하면서 '내 비밀번호는...' 또는 '내 인증 코드는...'라고 말하면 해당 정보가 AI 메모리에 저장되어 다른 곳으로 새어 나갈 위험이 있습니다.

따라서 이번 연구의 주요 목적은 정보가 메모리에 저장되었을 때 얼마나 많이 유출되는지, 그리고 이러한 유출을 방지하기 위해 메모리를 정리하는 가장 효과적인 방법은 무엇인지 알아보는 것이었습니다.

실제로 어떤 테스트를 진행하셨는지 자세히 설명해 주시겠어요? 

Zhao: 첫 번째는 요약 수준입니다. AI가 대화의 원본 로그 전체를 기록하는지, 아니면 몇 가지 개인적인 메모나 단 한 문장의 요약만 기록하는지 확인했습니다. 두 번째는 검색 방식입니다. AI가 몇 번만 검색하는지, 아니면 정보를 찾을 때까지 계속 반복해서 검색하는지 파악했습니다. 세 번째는 삭제 방식입니다. AI가 원본 로그만 삭제하는지, 아니면 원본 로그와 요약본을 모두 삭제하는지 살펴봤습니다. 그리고 정부 문서를 공개하기 전에 민감한 정보를 가리는 것처럼 일종의 마스킹 메커니즘을 사용해야 하는지도 검토했습니다.

가설은 무엇이었나요?

Zhao: 크게 두 가지 가설을 세웠습니다. 첫째, 요약 기능은 매우 민감한 데이터의 유출을 줄이는 데 도움이 될 것이다. 둘째, 민감한 데이터를 '삭제'한다 해도 복구할 수 있을 것이다.

이번 연구의 세 가지 주요 결과에 대해 어떻게 생각하시나요?

Zhao: 첫째, 요약은 유출을 막는 데 도움이 됩니다. AI의 효용성을 그대로 유지하면서 민감한 데이터 유출을 60%가량 줄일 수 있죠.

둘째, 더 깊이 검색한다고 해서 정보가 유출되지는 않습니다. 정보를 제대로 요약하기만 하면 민감한 데이터는 검색 빈도와 상관없이 영구적으로 삭제됩니다.

셋째, 일반적인 삭제 방식으로는 기업형 AI 시스템에 충분하지 않음을 확인했습니다. 원본 데이터를 삭제하더라도 요약 파일이 남아 있다면 약 20%의 확률로 정보를 복구할 수 있습니다. 그래서 저희는 FDR(Forgetting Residue Score)이라는 걸 만들었습니다. 이는 메모리 시스템 전반에 정보의 보이지 않는 복사본이 여전히 존재하는지 확인하는 디지털 테스트와 같습니다. 이 점수가 0이면 시스템 전체에서 정보가 100% 삭제되었음을 의미합니다.

그렇다면 기업에서 삭제하는 AI 메모리가 100% 삭제되게 하려면 어떻게 해야 할까요? 어떤 해법이 있죠?

Zhao: 저희는 원본 텍스트와 요약 파일을 모두 지우는 '완전 삭제(full purge)'를 테스트했습니다. 이 방법은 효과가 있습니다. 민감한 정보의 유출이 거의 0에 가깝게 감소하니까요. 또 다른 접근 방식은 정부 문서 마스킹과 유사한 '툼스톤(tombstone) 수정' 요법입니다. 요약본의 민감한 데이터를 자리 표시자로 대체하여 요약본 내부에서도 해당 정보가 다시 유출되지 않게 하는 것입니다. 완전 삭제, 그리고 민감한 정보 마스킹이라는 두 방법 모두 유출을 0에 가깝게 줄여줍니다.

어떤 기업에서 AI 에이전트의 메모리에 대해 '잊힐 권리' 요청을 따라야 하는 경우, 일반적인 삭제 절차만으로 충분할까요?

Zhao: 진짜 문제는 사용자가 삭제 버튼을 클릭할 때, 여전히 핵심 정보를 포함했을 수도 있는 AI 생성 요약본까지 시스템에서 실제로 모두 삭제하느냐는 것입니다. 각 기업은 해당 벤더에 이 점을 확인해야 하며, 이를 실제로 검증하려면 제대로 된 게이팅(gating) 시스템을 갖추어야 합니다. 바로 이번 연구를 추진한 이유 중 하나이기도 하죠. 정말 안전하고 신뢰할 만한 AI 시스템을 제공하는 데 도움을 주기 위해서죠.

고객이나 직원의 민감한 데이터를 기억하는 AI 에이전트를 배포하는 비즈니스 리더가 엔지니어링팀에게 반드시 제대로 구현하라고 요구해야 할 설계 요소를 하나 꼽는다면 무엇일까요?

Zhao: 기업형 AI를 사용하는 곳이라면, 메모리 생성 단계에서 핵심 정보만 간략하게 요약하는 시스템을 갖추고 이를 다계층 게이팅 시스템 및 효과적인 삭제 시스템과 결합해야 합니다. 이는 민감한 데이터가 AI 시스템에 저장되거나 유출되지 않도록 하는 데 필수적입니다. 편집되지 않은 채팅 대화 원본은 그 어느 곳에도 저장해서는 안 됩니다. 

마지막으로 하실 말씀이 있다면?

Zhao: 기업에는 핵심 정보를 마스킹하면서 요약하고 다른 곳에는 저장하지 않는, 그리고 이 과정에 게이팅 메커니즘까지 포함하는 메커니즘이 필요합니다. 이를 통해 기업형 AI의 고객이 진정으로 신뢰할 만한 메모리 시스템이 자리 잡게 됩니다.

이 연구는 Workday의 AI 연구 책임자인 Xu Chu의 지도하에 Lei Chen, Guilin Zhang, Kai Zhao가 수행했습니다.

기업에서 AI의 신뢰성, 유용성, 효율성을 높이는 방법에 관한 더 많은 인사이트를 찾고 계신가요? workday.com/ai-research에서 Workday AI 연구 리포트의 전체 리스트를 확인하세요.