第 6 章 守りの設計6.3

ツール呼び出しの承認の設計

AI が提案した操作を人が確認する仕組みを、承認の要否、確認画面、実行直前の照合、再試行と承認疲れへの対処について説明します。

要点

  1. ツール呼び出しの承認は、AI が提案した具体的な操作を、実行前に人が確認して許可する仕組みです。
  2. 外部への送信や取り消しにくい変更では、対象と内容を確認できる画面を用意し、承認をその操作だけに結び付けます。
  3. 実行する側は、現在の権限と承認の有効性を照合し、内容が変わった場合や確認できない場合は実行を止めます。
  4. 判断の負担を抑えるには、操作の影響に応じて承認の要否を決め、人が確かめるべき変更点を明確にします。

定義

ツール呼び出しの承認
AI が提案した具体的な操作について、人が対象と内容を確かめて実行を許可することです。
認可
誰がどの対象にどの操作をしてよいかを、システムの規則に照らして判定することです。

ツール呼び出しの承認とは、AI が提案した具体的な操作について、人が対象と内容を確かめて実行を許可することです。ここでいうツールは、文書の検索、メールの送信、記録の変更などを行う機能を指します。人を処理の途中に置く設計は Human-in-the-Loop と呼ばれますが、確認ボタンを置くだけでは、確認した操作が実行される保証にはなりません。

架空の例として、社内の担当者が AI に取引先向けの案内を作らせるサービスを考えます。AI は資料を読み、案内文と宛先を提案します。担当者が確認した後に送信機能が動きます。このとき守るべきものは、「案内を作ってよい」という依頼と、「この内容を、この相手へ送ってよい」という判断の対応です。

承認と認可の役割

人の承認で決める範囲を明確にするため、認可と区別します。認可とは、誰がどの対象にどの操作をしてよいかを、システムの規則に照らして判定することです。案内業務なら、担当者が担当する取引先に送信できるかが認可、その中の特定の案内を今送るかが承認です。

担当者が承認しても、担当外の取引先への送信権限は増えません。逆に、送信権限があっても、承認が必要な操作を無確認で進めてよいことにはなりません。OWASP は、操作の危険度の分類と実行権限を区別し、実行する側で権限と必要な承認を確かめる設計を示しています(AI Agent Security、Human-in-the-Loop Controls)。

図 6.3.1 承認と認可の役割の違いでは、二つの役割の対比を示します。認可は、誰がどの対象にどの操作をしてよいかをシステムの規則に照らして判定するもので、案内業務では担当する取引先に送信できるかにあたります。承認は、人が対象と内容を確かめて実行を許可するもので、その中の特定の案内を今送るかにあたります。承認しても、担当外の取引先への送信権限は増えません。

承認と認可の役割の違い認可は規則に照らした権限の判定、承認は人による個別の操作の許可という違い承認人が対象と内容を確認特定の案内を今送るか認可規則に照らして判定担当する取引先に送れるか
図 6.3.1 承認と認可の役割の違い

承認を求める相手も先に決めます。この例では、社内でその取引先を担当する人が案内の内容を判断します。担当者が不在なら、権限を持つ代理担当者へ回すか保留します。判断者が見つからないことを、自動実行の理由にはしない設計です。

操作の影響に応じた段階

承認の要否は、ツールの名前だけで決めず、対象、情報の送り先、変更の戻しやすさを合わせて決めます。OWASP は影響の大きな操作や不可逆な操作での明示的な承認を勧めています。ただし、個々のアプリケーションで何を承認対象にするかは、リスクと他の対策を踏まえた判断です(AI Agent Security、Transaction Authorization の Remarks)。

次の表は、架空の案内サービスで採用する区分の例です。一般のサービスにそのまま適用する分類ではありません。

操作この例での扱い判断の理由
担当範囲の資料を検索する許可された範囲で自動実行し、操作を記録する外部への送信を伴わず、検索対象を制限できるため
案内の下書きを担当者だけが読める場所へ保存する保存先が変わらないことを検査して実行する下書きと外部公開を分けられるため
案内を取引先へ送信する確定した宛先と本文について承認を求める相手が受け取った情報は回収を保証できないため
許可されていない宛先へ送信する遮断し、実行可能な範囲へ案を直す人の確認だけで送信権限を広げないため
操作の影響や担当者を特定できない保留して運用担当へ確認を回す判断材料が不足したまま承認を求めないため

検索でも、外部の検索サービスへ機密の質問文を送る構成なら判断は変わります。「読み取り」という名前だけで自動実行の対象に入れず、情報が外へ出る経路まで確認します。

確認した内容と実行する内容の一致

承認画面は、人が判断するための材料と、実行する操作を一致させるためのものです。OWASP の Transaction Authorization は、利用者が取引の重要な内容を識別して確認できることを求めています。送信の承認に当てはめるなら、「送信してよいですか」だけでは足りません(1.1 節)。

案内サービスでは、次の情報を一つの確認対象として提示します。これは資料の原則を具体化した画面設計の例です。

確認する情報表示する内容
対象取引先の識別情報と実際の宛先
操作下書き保存か、相手への送信か
内容送信する本文、添付ファイル、その版
判断材料案内の根拠にした資料と、確認が残る点
影響外部へ届くこと、送信後に取り消せる範囲

長い本文を短く要約して表示する場合も、送信する全文と添付を確認できる導線を残します。宛先や本文を変更したら、前の承認で続けず、変更後の内容を再び確認対象にします。画面の表示と実行用データを別々に作ると食い違いを見逃しやすいため、この例では確定した一つの送信案から両方を作ります。

承認から実行までの状態管理

承認済みという会話文や、モデルが出力した「確認済み」の印を、そのまま実行許可として扱わないようにします。承認はモデルから独立した実行側で保持し、具体的な操作と照合します。OWASP は、本人・ツール・対象・引数・期限に承認を結び付け、実行直前に確認して使用済みにすることを示しています(AI Agent Security、Tool Authorization Middleware)。

案内サービスの処理は、次のように分けられます。引数とは、送信先や本文のようにツールへ渡す値のことです。

  1. 送信案を確定する。 宛先、本文、添付を検査し、後から同じ案を識別できるように保存します。
  2. 承認を待つ。 担当者に確定した案を提示します。拒否、取り下げ、期限切れは実行へ進めない状態として扱います。
  3. 実行直前に照合する。 現在の権限、承認者、送信案の一致、期限、未使用であることを確かめます。
  4. 実行と結果を記録する。 同じ承認が並行処理で繰り返し使われないようにし、送信先システムの結果と結び付けます。

承認後に添付が差し替わった場合は、同じファイル名でも別の案として扱います。担当者の権限が取り消された場合は、古い承認があっても実行を止めます。操作内容の変更で承認を無効にすることと、実行に結び付いた最終確認は、Transaction Authorization の 2.6・2.8 節に対応します。

通信が途切れて結果が分からない場合は、未実行と決めつけて再送しません。まず送信先の結果を確認できる設計にします。同じ依頼を繰り返しても効果を重複させない性質を冪等性と呼びます。OWASP は、影響の大きな操作では可能な限りこの性質を持たせるよう勧めています(AI Agent Security、High-Impact Action Integrity Controls)。この例でも、承認の再利用防止と送信の重複防止を別に確認します。

判断の負担を減らす設計

承認疲れへの対処は、必要な承認を減らすだけでなく、人が何を判断するのかを絞ることです。一般利用者のセキュリティ判断を調べた Security Fatigue の公開要旨は、判断回避や諦めを含む反応を報告しています。NIST の研究紹介は、判断回数を抑え、適切な選択をしやすくし、一貫した判断を支える設計を挙げています。AI の承認画面を直接評価した研究ではなく、安全な承認回数を示す根拠には使えません。

案内サービスでは、この考え方を次のように適用できます。宛先の権限や必須項目はシステムが検査し、人には案内の意味と相手への影響を確認してもらいます。修正後の再承認では、宛先・添付・本文の変更点を示します。機械で判断できる不備を直さずに、何度も同じ確認画面を出すことを避けます。

複数の送信をまとめて承認する設計なら、対象の一覧と件ごとの内容を固定し、一覧外の操作に許可を引き継がないようにします。量が多くて確認できない場合は、確認単位を小さくするか処理を保留する方針を決めます。「今後すべて許可」のように対象が分からない選択肢へ置き換える方法では、具体的な操作への承認が失われます。

設計を確かめる条件と限界

承認の試験では、ボタンが押せることに加え、承認が実行を正しく止めるかを確かめます。試験は所有者の許可を得た検証環境で、架空の宛先と資料を使って行います。案内サービスでは、本文の差し替え、期限切れ、権限変更、同じ依頼の再送、結果不明の中断を試験条件にできます。

期待する結果は「適切な画面が出た」だけではありません。変更後の案が古い承認で送られないこと、拒否した操作が送信されないこと、同じ案が重複して送られないことを実行結果で確認します。

承認者が内容を誤解する可能性も、根拠資料自体が誤っている可能性も残ります。人の承認は、認可、入出力の検証、操作範囲の制限を置き換えません。承認記録が残っていることと、送った内容が正しかったことも分けて評価します。

承認記録と試験結果の対応(架空の例)

4 段階の処理を試験で確かめるには、承認の記録に何を持たせ、各試験でどの値を見て合否を決めるかを先に決めます。次の表は架空の案内サービスでの運用例で、項目の名前は説明のための仮のものです。

試験条件実行直前の照合で見る値期待する判定合否の根拠として残すもの
承認後に添付を差し替える承認時と実行時の送信案の版・内容(宛先、本文、添付)不一致で停止し、再承認を求める両方の版、内容の照合結果、停止の記録
拒否した案を実行しようとする承認状態が拒否であること停止拒否の記録と送信先に送信がないことの照合
同じ依頼を並行して送信する依頼の識別子と実行済みの状態効果が重複しない全要求の記録と送信先の結果件数
期限を過ぎてから実行する承認の期限と実行の時刻停止期限と時刻
承認後に担当者の権限を外す実行時点の権限の判定古い承認があっても停止権限の判定結果
同じ承認で二度実行する承認の使用済みの印二度目を停止一度目の実行記録との対応
送信の結果が分からないまま中断する送信先システムへの結果の照会結果が確定するまで再送しない照会の結果と再送の有無

合否は右端の記録で判断します。記録が欠けた試験は合格として扱わず、記録の設計を直してからやり直します。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する