企業にとって AI の記憶を信頼できるものにするには

AI 旅行エージェントで、出張の予約を行う場面を想像してみてください。このエージェントは、あなたが窓側の座席が好きだということを学習します。また、航空券を予約するために、マイレージ プラン番号や Known Traveler Number (トラステッド トラベラー プログラムの登録番号) も保存します。あなたは、こうした個人データが永久に記憶されてほしいと考えるでしょうか。おそらく、そうではないでしょう。

記憶と責任の境界線はあいまいです。AI が賢く行動するには、ユーザーの好みや過去の会話、一度だけ話したセンシティブな内容など、ユーザーに関するさまざまな情報を「記憶」する必要があります。AI システムは、モデル自体に組み込まれた情報だけに基づいて記憶するわけではありません。AI は、ノートのような別の記憶システムを使用して、ユーザーに関する情報を記録します。過去の会話を要約して記録することもあれば、会話の内容をそのまま記録することもあります。同じ情報の複数のバージョンを別々の場所に記録することもあります。

このノートは、これまで誰も詳しく調査したことがないプライバシー リスクです。

そこで、Workday の AI 研究チームのリサーチ サイエンティストである Kai Zhao にインタビューを行い、Lei Chen、Guilin Zhang、Xu Chu と協力して実施した最新の研究について話を聞きました。この研究では、以下に示す 3 つの重要な発見がありました。 

1. 記憶の要約は、驚くほど効果的なプライバシー保護の手段である:AI が要約情報だけを記録する場合、センシティブなデータを抽出しようとする試みは約 60% 減少しました。この状態でも、回答をパーソナライズする AI の能力は維持されました。
2. 記憶を詳細に探しても、プライバシー保護手段が失われることはない:AI が広範囲に記憶を検索すれば、最終的にはセンシティブなデータにたどり着くのではないかと考える人もいるでしょう。しかし、データが一度要約されると、検索範囲を広げても、AI がそのデータにたどり着くことはありませんでした。 
3. 削除したからといって、実際に記憶が消えるわけではない:要約前の元の情報を削除し、AI による要約情報はそのまま残した場合、削除した情報を復元できる確率は約 20% でした。要約情報については、センシティブなデータが含まれていない形で再要約した場合と、削除箇所を伏字用のプレースホルダーで置き換えた場合にのみ、要約情報が完全に削除されました。

Zhao 博士は、この研究について次のように語っています。

この研究では、AI に関するどのような課題をテーマにしたのですか？

Zhao: プライバシーとセキュリティです。お客様に優れた AI エクスペリエンスを提供するには、AI エージェントに何らかの記憶機能を持たせる必要があります。お客様の好みや、さまざまなタスクの解決方法を記憶して、パーソナライズされたエクスペリエンスを提供できるようにする必要があります。

問題は、こうした会話にはセンシティブなデータが大量に含まれていることが多いという点です。ChatGPT に対してパスワードや認証コードを伝えると、その情報が AI の記憶として残り、別の場所に流出する可能性があります。

私たちの研究の主な目的は、AI が記憶した情報はどの程度まで流出するのか、流出を防ぐためにその記憶を消去する最善の方法は何かを明らかにすることでした。

実際にどのようなテストを行ったのですか？ 

Zhao: 1 つ目は、要約のレベルについてです。AI は会話の内容をすべて記録するのか、個人的な情報をいくつか記録するだけのか、ひとつのセンテンスの要約だけを記録するのか、ということを調査しました。2 つ目は、検索についてです。AI は数回だけ検索するのか、それとも情報が見つかるまで繰り返し検索するのか、ということを調査しました。3 つ目は、削除の仕組みについてです。AI は元の情報だけを削除するのか、それとも元の情報と要約情報の両方を削除するのか、政府文書が公開前に編集されるのと同様に、何らかのマスキング機能が使用されるのか、ということを調査しました。

あなたの仮説はどのようなものでしたか？

Zhao: 主な仮説は 2 つありました。1 つ目は、情報の要約により、非常にセンシティブなデータの流出が減るという仮説です。2 つ目は、削除後も、センシティブなデータを復元できる可能性があるという仮説です。

研究で明らかになった 3 つの重要な発見についてどう思いますか？

Zhao: 1 つ目の発見は、要約によって情報の流出を防止できるということです。AI の機能を維持しながら、センシティブなデータの流出を約 60% 削減することができます。

2 つ目の発見は、検索範囲を広げても要約情報は流出しないということです。情報を適切に要約すれば、何度検索してもセンシティブなデータが流出することはありません。

3 つ目の発見は、エンタープライズレベルの AI システムの場合、標準的な削除では不十分だということです。要約前の元のデータを削除しても、要約後のファイルが残っている場合、約 20% の確率で元のデータを復元できてしまいます。これに対処するため、Forgetting Residue Score (FDR) を作成しました。これは、対象となる情報が含まれているコピーが記憶システム内に残っていないかどうかを確認するデジタル テストとして機能します。スコアがゼロであれば、システム全体で対象の情報が 100% 削除されていることになります。

企業が AI の記憶を 100% 削除するにはどうすればよいのでしょうか？どのような方法が考えられますか？

Zhao: 私たちは、要約前の情報と要約後のファイルの両方を消去する「完全消去」をテストしました。これは効果があり、機密情報の流出はほぼゼロになりました。もう 1 つの方法は、私たちが「トゥームストーン編集」と呼んでいるもので、政府文書のマスキングに似ています。これは、要約情報内のセンシティブなデータをプレースホルダーに置き換える方法で、要約情報内のデータからも、センシティブなデータが流出することはありません。「完全消去」と「センシティブ情報のマスキング」のどちらの方法でも、情報の流出をほぼゼロに減らすことができます。

企業が AI エージェントの記憶について「忘れられる権利」に対応する必要がある場合、標準的な削除プロセスで十分でしょうか？

Zhao: 本当の問題は、ユーザーが削除ボタンをクリックしたときに、重要なデータが含まれている AI が生成した要約情報など、すべての情報が実際に削除されるかどうかということです。これは、すべての企業がベンダーに確認すべき問題です。企業は、それを実際に検証できる適切なゲート システムを導入する必要があります。これが、私たちがこの研究に取り組んだ理由の 1 つです。私たちは、信頼できる安全な AI システムを提供したいと考えています。

機密性の高い顧客データや社員データを記憶する AI エージェントを導入する企業のエンジニアリング チームにとって、最も重要な設計上の決定事項は何でしょうか？

Zhao: エンタープライズ AI を導入する企業は、記憶の仕組みを作成する段階で、事実ベースの簡易的な要約システムを導入し、このシステムに多層ゲート システムと削除システムを組み合わせる必要があります。機密データが AI システムに保存されたり、外部に流出したりしないようにするには、こうした仕組みが必要になります。編集されていない会話の内容は、どこにも保存しないようにする必要があります。 

最後に何かありますか？

Zhao: 企業は、プロセスの一部としてゲート機能が組み込まれた要約メカニズムを使用して、重要な情報をマスキングする必要があります。これにより、別の場所に重要な情報が保存されることがなくなります。これにより、エンタープライズ AI を導入する企業にとって、記憶システムの信頼性が高まります。

この研究は、Workday の AI 研究責任者である Xu Chu の指導のもと、Lei Chen、Guilin Zhang、Kai Zhao によって実施されました。

企業にとっての AI の信頼性と効率性を高める方法を知りたい場合は、workday.com/ai-research にアクセスしてください。Workday が実施した AI 研究の一覧を参照できます。