第 4 章 発注者が進める診断4.3
AI システムの試験の発注と受け入れ
AI システムの試験を依頼するときに指定する対象条件、通常時と攻撃下の成績、試行の数え方、結果を受け取るための証拠と限界を整理します。
要点
- AI システムの試験では、モデル名だけでなく、利用課題、接続する道具、権限、参照データ、対象の版を指定します。
- 攻撃成功率は、成功の定義、分母、試行回数や時間の上限と組み合わせて読みます。
- 通常時に業務を完了できるかも別に確かめ、機能を止めた結果を防御の成功と取り違えないようにします。
- 受け入れ時には、結果を個々の試験条件と証拠に結び付け、未実施や判定不能を未確認のまま残します。
定義
- AI エージェント
- 文章を生成するだけでなく、検索や業務機能などの道具を呼び出して課題を進める仕組みです。
- 適応的な試験
- 対象の応答や防御の結果を見て、次の試行を変える試験です。
AI システムの試験を発注するときは、「AI に不適切な動きをさせられるか」という問いだけでなく、普段の仕事が何かを伝える必要があります。AI エージェントとは、文章を生成するだけでなく、検索や業務機能などの道具を呼び出して課題を進める仕組みです。同じモデルでも、読める資料や実行できる操作が違えば、試験が確かめる範囲も変わります。
架空の例として、社内の問い合わせを受け、利用者に閲覧権限のある規程を検索し、返信案を作るエージェントを考えます。試験では、回答を作れることに加えて、別の部署の非公開情報を扱わないことや、許していない操作を行わないことを確かめます。外部への実送信を伴わない隔離環境に、試験用の資料とアカウントを用意する例です。検査は所有者または管理者の許可を得た対象にだけ行います。
依頼時に固定する対象条件
比較できる結果を得るには、何を試すかを文書にしてから実施条件を決めます。モデルの版だけを残しても、呼び出せる道具やデータが異なれば、同じ試験をしたとは言えません。NIST AI 600-1のMEASURE 2.3は、配備時に近い条件で性能や保証に関する基準を測定し、その内容を記録する考え方を示しています(NIST AI 600-1、本文30〜31頁)。
次の対応表は、問い合わせエージェントの依頼書へその考え方を当てはめた独自の例です。特定の論文や基準がこの書式を定めているわけではありません。
| 依頼書で指定すること | 問い合わせエージェントでの例 | 受け取る証拠 |
|---|---|---|
| 業務の課題 | 閲覧できる規程を参照して返信案を作る | 課題、期待する結果、実際の結果の対応 |
| 対象の版 | モデル、アプリ、指示文、検索処理、道具の設定を識別する | 各版や設定の識別子と実施日時 |
| 利用者と道具の権限 | 一般利用者と担当者で、検索範囲や可能な操作を分ける | 試験に用いた役割と権限の記録 |
| 試験用データと初期状態 | 架空の規程や問い合わせを使い、開始時の状態を揃える | 使用データの識別子と、開始・終了時の状態 |
| 操作できる範囲 | 実送信は対象外とし、試験環境内の変化を観察する | 実施した操作と、対象外だった経路 |
| 反復と上限 | 一つの条件に対する試行単位、回数・時間の上限、終了条件を決める | 実際の試行数、停止理由、条件の変更履歴 |
実運用と異なる設定は、結果と一緒に残します。たとえば実送信を対象外にした試験では、返信案の内容や試験環境の操作は評価できますが、実送信経路まで検証したことにはなりません。6.4で扱う入出力の検証も、存在するという説明だけでなく、今回どの条件で確かめたのかを対応付けます。
通常時と攻撃下を分けた成績
試験の目標は、望ましくない動きを防ぐことと、必要な業務を維持することの両方です。すべての依頼を拒否する仕組みなら、不適切な操作は減っても、問い合わせへの返信案を作れません。防御を評価するときには、この二つを別に受け取ります。
AgentDojoは、道具を使うエージェントを評価する研究環境です。同論文の報告方法では、攻撃なしで利用者の課題を達成した割合、攻撃下でも不正な副作用なく課題を達成した割合、攻撃者の目標が成立した割合を区別します。攻撃下の「失敗」と、攻撃者が意図した結果の「成立」は同じではありません(AgentDojo、§3.4)。
この区別を依頼書に当てはめるなら、通常の返信案を作れるか、外部由来の不審な内容があっても仕事を続けられるか、禁止した結果が発生したかを別欄にします。プロンプトインジェクションとは、AI が読むデータに紛れた指示で、本来の依頼や制約から動作をそらす試みです。その成立条件は1.2で説明しています。
「禁止した結果は観測されなかったが、返信案も作れなかった」という結果を、両方の目標を満たした合格にはしません。逆に、返信案ができたことだけで、その過程の権限や副作用が適切だったとも判断しません。
攻撃成功率の分母と試行の数え方
攻撃成功率(Attack Success Rate、ASR)は、定義した攻撃の成立件数を、評価対象にした試験単位の数で割った割合です。この試験単位は資料や試験設計によって異なります。「成功率」という見出しだけで、別の報告と比較することはできません。
AgentDojoでは、利用者の課題と攻撃者の課題を組み合わせたケースを数えます。また、複数の攻撃のうちどれかが成功したら、そのケースを成功とする集計も扱っています(§3.4)。一回ごとの試行を分母にした値と、反復の中で一度でも成功したケースの割合は、答えている問いが違います。
適応的な試験とは、対象の応答や防御の結果を見て、次の試行を変える試験です。Anthropicのブラウザ利用に関する報告も、適応的な試験と環境ごとの試行上限を示し、成績の改善を問題の解消とは位置付けていません(Anthropic、2025-11-24)。この結果は同社の構成と条件に対するもので、自社のAIシステムの成績として使えません。
発注時には、次の点を報告に含めるよう指定します。
- 成功とはどの結果を指すか。文章への出力と、道具による操作の成立を分けるか
- 分母は課題数、課題と条件の組、実行回数のどれか
- 同じ条件での再試行を、個別に数えるか、一つのケースとしてまとめるか
- 試行を変える際に、実施者へどの情報を与えるか
- 回数や時間などの上限はどれだけで、実際に使った量はどれだけか
- 未実行、通信失敗、判定不能の件数を、どこへ分類したか
これは数値を高く見せたり低く見せたりするためではなく、結果が何を測ったのかを揃えるための整理です。上限が違う試験や、未実行を除いた試験を並べる場合は、違いも一緒に提示してもらいます。
試験結果を受け取る順序
受け入れでは、報告書の結論から先に合否を決めず、条件、判定、証拠の順に照合します。以下は問い合わせエージェントを発注する側の受入手順の例です。攻撃の文例や実行手順を配布するための手順ではありません。
- 対象条件を照合します。 依頼した版、権限、データ、利用課題と、実際に試した条件を比べます。途中で設定が変わっていれば、その前後を別の結果として確認します。
- 実施範囲を照合します。 予定したケースに、実施済み、未実施、中断、判定不能のどれが付いたかを確かめます。未実施を問題なしへ置き換えません。
- 判定根拠を照合します。 「失敗」「防御成功」などのラベルだけでなく、どの結果を見て判定したのかを確認します。返信案の内容、許可された操作の成否、試験環境の状態変化などを、ケースの識別子で辿れるようにします。
- 通常時の影響を照合します。 防御を入れたことで必要な検索や返信案作成までできなくなっていないかを見ます。設定を変える前後で、業務を進める条件が揃っているかも確認します。
- 未確認点の扱いを決めます。 証拠が欠けた結果は追加確認へ戻し、対象外の経路や残るリスクを明示します。受け入れた報告の範囲と、実運用へ進める判断を同じ言葉で済ませないようにします。
図 4.3.1 試験結果を受け取る手順は、証拠が欠けた結果を追加確認へ戻す分岐を示します。未確認の行を残したまま全体の合格へ進めず、どの証拠を誰が補うかを決めて同じケースを再確認します。
たとえば「別部署の情報を出さなかった」という報告でも、検索機能が接続エラーで一度も動いていなければ、その制御の有効性は判断できません。この場合は、接続失敗の記録と確認できなかった条件を受け取り、必要な試験を改めて切り出します。AIが「適切に処理した」と返答したことだけを、システムの状態変化の証拠にはしません。
結果を適用できる範囲
受け入れた結果は、記録された条件についての判断材料です。モデルや道具、利用者の権限、参照する資料が変わったときまで、同じ成績が続くことを保証しません。NIST AI 600-1は、狭い非体系的な評価から性能を外挿しないことや、測定できないリスクとその理由を記録することを推奨しています(MEASURE 2.5・MS-2.5-001、MS-1.1-009)。
問い合わせエージェントの例なら、返信案作成の試験を受け入れても、実送信を追加した版の可否は未確認です。発注側が受け取るべきなのは「安全なAI」という無条件の結論ではなく、どの構成で何を確かめ、何が残ったかを追える結果です。その形で受け取れば、追加の確認が必要になったときにも、以前の試験をどこまで再利用できるか判断できます。
ケースごとの受入記録の書式(架空の例)
通常時と攻撃下の結果を、ケース単位の受け入れ判断へつなぐ記録例です。攻撃成功率を算出する場合は別に、各ケースの試行数、成立数、再試行の数え方、試行の上限と実使用量を残します。ケース番号と判定はすべて架空のものです。特定の資料が定める書式や合格基準ではありません。
| ケース | 通常時の課題 | 攻撃下の課題 | 禁止結果の成立 | 実施状態 | 判断 |
|---|---|---|---|---|---|
| C-01 | 達成 | 達成 | なし | 実施済み | 受け入れ候補 |
| C-02 | 達成 | 未達 | なし | 実施済み | 業務への影響として差し戻す |
| C-03 | 未判定 | 未判定 | 未確認 | 接続失敗 | 判定不能として再試験する |
| C-04 | 達成 | 達成 | あり | 実施済み | 受け入れず、原因の説明を求める |
合否の線は、試験を始める前に発注側が決めて依頼書に書きます。運用例としては、「禁止結果の成立が一件でもあれば受け入れない」「通常時に達成できた課題が攻撃下だけで未達になった場合は差し戻す」のように、どの列を見て何を決めるかを先に固定します。実施後に数値を見てから線を引くと、分母や上限の取り方を後から選べてしまいます。
各行には、根拠となる記録の識別子と、判定した担当者を残します。報告書の本文に集計値だけを載せる場合も、その値をこの表から再計算できるかを確かめます。
自社での取り組みについて相談する
AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する