第 3 章 診断の計画3.6

AI 製品に固有の診断項目

生成 AI を使う検索・業務支援製品の診断項目を、入力の扱い、検索時の権限、ツールの実行、記憶と利用量の観点から具体例で説明します。

要点

  1. 生成 AI を使う製品の診断では、通常の認証や API の検査に加え、外部の文章が指示として扱われないかを確認します。
  2. 検索では現在の利用者が読める情報だけをモデルへ渡し、ツールの実行ではモデルの判断とは別に権限を検査する必要があります。
  3. 保存する記憶、利用量の上限、情報を残す記録も対象に含めます。
  4. 各項目を、守る対象、観測する動作、期待する結果へ分けると、確認できた範囲を具体的に説明できます。

定義

プロンプト
モデルに渡す指示や入力文のことです。
記憶
後の会話でも使うために保存する情報のことです。

生成 AI を組み込むと、診断では画面や API に加え、モデルが読む情報と、モデルを通じて動く機能のつながりを見る必要があります。API はソフトウェア間の窓口です。ログインや API の権限制御があることを前提にしても、検索で渡す資料や、AI が呼び出す業務機能の権限まで同じように守られているとは限りません。

ここでは、大規模言語モデル(LLM)を使って資料を検索したり、業務機能を呼び出したりする製品を扱います。画像認識やロボット制御など、すべての AI 製品の診断項目を網羅するものではありません。検査は所有者または管理者の許可を得た対象に限ります。

架空の見積支援製品を例にします。営業担当者が質問すると、自分に閲覧権限のある製品資料を検索し、見積の下書きを作る製品です。外部の資料を検索して回答生成に使う仕組みを、検索拡張生成(Retrieval-Augmented Generation、RAG)と呼びます。AI から呼び出す検索や保存などの機能は、ここではツールと呼びます。この製品に正式な見積の送信機能を追加するなら、下書き作成とは別の操作として確認が必要になります。

外部の文章と製品の指示の区別

最初に確認したいのは、AI が読む文章をどのような立場で扱うかです。モデルに渡す指示や入力文をプロンプトと呼びます。利用者の質問だけでなく、検索した資料や外部サービスからの返答も、モデルが読む内容になります。そこに含まれる文章が、製品を動かす指示へ置き換わらないかを診断項目にします。

OWASP は、利用者の入力や取得文書などを信頼済みの指示として扱わず、指示とデータの境界を設けることを推奨しています。RAG の資料でも、検索した内容を実行すべき命令として信頼しない点を挙げています(AI Agent Security Cheat Sheet、Best Practices 2、RAG Security Cheat Sheet、Section 3)。

見積支援の例では、取得した製品説明を回答の参考にできることと、その文章によって保存先や実行できる操作が変わらないことを確認します。観測するのは回答文だけではありません。どの資料を読み、どのツールを要求し、実際に何が変わったかも対象です。この整理は、外部の文章が本来の依頼や制約から動作をそらすプロンプトインジェクションを、製品の動作として捉えるためのものです。

検索時に引き継ぐ閲覧権限

検索には、資料の内容を見つける処理と、その利用者に見せてよいかを判定する処理があります。RAG では資料を小さな断片に分けて検索することがありますが、分けた後も元資料の閲覧条件を保つ必要があります。OWASP は、取込み時だけでなく検索時に権限を検査し、許可されない情報がモデルへ届く前に制御することを示しています(RAG Security Cheat Sheet、Section 4)。

架空の製品資料に、営業担当者向けの仕様説明と、別部署だけが読める契約条件があるとします。診断では「回答に契約条件が出なかった」だけで済ませず、検索でモデルへ渡された資料が許可範囲内だったかを見ます。最後の回答で隠したとしても、閲覧できない情報を途中で渡してよいことにはなりません。

図 3.6.1 検索時に閲覧権限を確かめる流れでは、見積支援製品の検索の順序を示します。質問を受けて資料の断片を検索し、その利用者に見せてよいかを検索時に検査します。許可された資料だけをモデルへ渡して回答を作り、許可されない資料はモデルへ渡しません。

検索時に閲覧権限を確かめる流れ検索で見つけた資料の閲覧権限を、モデルへ渡す前に検査し、許可されない資料は渡さない流れ許可不許可質問を受ける資料の断片を検索する閲覧権限の検査資料をモデルへ渡すモデルへ渡さない回答を作る
図 3.6.1 検索時に閲覧権限を確かめる流れ

権限の変更後も確認対象です。元資料を非公開にしたり、担当者の閲覧権限を外したりしたとき、検索用の断片や以前の回答の保存分から情報を取り出せないことを期待結果にします。OWASP も、削除や権限喪失を元資料だけの処理で終わらせず、検索用データや一時保存した回答へ反映することを挙げています(同資料、Data Deletion and Retention)。ここでいう一時保存は、以前の処理結果を再利用するためのキャッシュです。

ツールと保存状態で確認する動作

文章を生成できることと、業務上の操作を許されていることは別です。OWASP は、ツールの権限を必要な範囲へ絞り、モデルが読む文脈の外側にある実行部分で認可を行うよう示しています。また、ユーザーや会話の間で記憶を分離し、利用量の上限で処理の連鎖を止める観点も扱っています(AI Agent Security Cheat Sheet、Best Practices 1・3・9(Abuse-Case Test Matrix))。認可とは、誰がどの対象へどの操作をしてよいかを判断することです。

次の表は、これらの観点を見積支援製品の依頼書へ当てはめた設計例です。守る対象と、確認したい動作を対応させています。

守る対象観測する動作期待する結果の例
下書き作成に限った操作権限ツールの要求、実行側の許否、実際の保存・送信状態下書き作成の権限だけでは正式な送信が成立しない
利用者ごとの記憶保存された情報の持ち主と、後の会話で参照された範囲別の利用者の非公開情報が引き継がれない
処理時間や利用量の上限ツールの連続呼出しや再試行、終了した理由製品で定めた上限に達した処理が止まる
機密情報の扱い回答、ツールへ渡す値、診断用に残す記録許可していない相手や保存先へ情報が出ない

記憶とは、この場合、後の会話でも使うために保存する情報です。会話が終わった後にも影響が残るため、その場の回答だけでは確認しきれません。また、許否を判断した記録を残す際には、調査のためという理由で秘密値や実在顧客の情報を試験用データへ写さないようにします。観測に必要な役割や対象の識別子と、保存してはならない本文を分けて設計する例です。

製品の機能に対応した診断項目

項目は、製品に存在する機能へ結び付けます。見積の下書きだけを作る版に送信機能がなければ、その経路は未実装として記録します。送信を試せなかったからといって、送信時の認可を確認済みとすることはできません。検索や記憶がない製品についても、該当しない理由を残すと、後で機能を追加した際に見直せます。

モデル、指示文、ツール、参照する資料や権限が変われば、確認する動作も変わり得ます。OWASP は、こうした重要な変更後の試験と、対象の版や実際に観測した拒否・停止の記録を重視しています(AI Agent Security Cheat Sheet、Best Practices 9)。

診断項目が決まったら、試行の条件や結果の数え方を定めます。それらはAI システムの試験の発注と受け入れで扱っています。ここで整理した「守る対象・観測する動作・期待する結果」を渡せると、単に「AI を診断した」という説明から、今回どの機能の何を確認したのかという説明へ具体化できます。

診断項目シートの記入例

次は、架空の見積支援製品の今回の版について、一部の項目を抜粋し、項目ごとに観測手段と判定を書き分けた運用例です。判定の名前は本稿での整理であり、OWASPの用語ではありません。

診断項目観測手段判定記録の要点
検索時の閲覧権限検索処理の記録から、モデルへ渡した断片の元資料と閲覧条件を突き合わせる確認済み試験用の営業担当者役と、契約条件の資料が渡されなかった記録
権限変更後の検索担当者役の閲覧権限を外した後、同じ質問で渡された断片を確認する確認済み権限を外した資料の断片が渡されなかった記録
権限変更後の保存済み回答同じ質問で一時保存された回答が再利用されるかを調べる確認不能一時保存された回答を観測する手段が提供されなかった
正式な見積の送信該当する機能なし未実装送信機能を追加した版で再確認が必要
利用者ごとの記憶別の利用者役で会話を始め、参照された保存情報の持ち主を確認する確認済み利用者役の組と参照された範囲

発注時に検索処理の記録の提供を条件へ含めるか、確認不能として報告し、残る範囲を明示します。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する