権限の濫用とツール呼び出しの危険
AIの誤った提案が実際の操作になる条件を、備品申請の架空例で説明します。機能、権限、自動実行の範囲を分け、被害がどこまで広がるかを考えます。
要点
- AIが使える機能と権限が仕事に対して広すぎると、誤った提案が情報の取得や記録の変更につながります。
- 呼び出せる機能、操作できる対象、確認なしで進める範囲は別々の条件です。
- 悪意のある指示だけでなく、普通の依頼の誤解も引き金になります。
- 危険の大きさは、回答の口調ではなく、実行先と影響を受ける人や情報から判断します。
定義
- 権限の濫用
- 与えられた機能や操作の権限が、本来の仕事を越える形で使われることです。
- ツール
- 文書の検索や申請の更新など、AI から呼び出せる機能のことです。
- 引数
- ツールへ渡す値のことです。
権限の濫用とは、与えられた機能や操作の権限が、本来の仕事を越える形で使われることです。AIの場合、悪意を持つ人の操作だけでなく、モデルの誤った提案をアプリケーションが実行してしまう問題も含みます。ツールとは、文書の検索や申請の更新など、AIから呼び出せる機能のことです。
架空の社内サービスを考えます。総務の担当者がAIに備品申請の一覧を読み込ませ、種類別にまとめた下書きを作らせます。ところが、接続した申請システムには、承認済みへの変更や発注の機能もあります。AIが申請を誤って解釈したとき、下書きに誤りが残るだけなのか、発注まで進むのかは、この接続の仕方で変わります。
提案が操作に変わる境目
図 1.3.1 提案が操作に変わる流れで、モデルが「発注が必要」と回答することと、実際に発注されることを区別します。モデルがツールの名前と対象を提案し、アプリケーションがそれを受け取り、接続先へ操作を依頼することで、初めて外部の状態が変わります。ツールへ渡す値を引数といい、この例では申請番号や数量などが当たります。
一覧の整理を頼まれたAIが、一つの申請を追加購入の指示と取り違えたとします。発注機能が呼び出せず、文章を作るだけの構成なら、その提案は発注にはつながりません。発注機能と利用資格があり、そのまま実行する構成なら、依頼者が意図しない購入につながる余地があります。これは動作を説明するための例で、実在する製品の挙動ではありません。
OWASPの2025年版は、予期しない、曖昧な、または操作されたモデル出力に応じて、有害な行動が実行される問題をExcessive Agencyとして扱っています。悪意のある入力に加え、通常の依頼から生じる誤りも引き金に挙げています(LLM06:2025)。
機能と権限と自動実行の違い
危険を見分けるには、「AIに権限がある」という一言を分けて考えます。OWASPが示す過剰な機能・過剰な権限・過剰な自律という三つの原因を、備品申請の例に当てはめると次のようになります。
| 観点 | 仕事を越えている状態の例 | 広がる影響 |
|---|---|---|
| 機能 | 一覧の整理に、発注や申請の削除も呼び出せる | 下書き作成から購入や記録の消失へ進める |
| 権限 | 一部署の担当者が使う処理が、全社の申請を扱える | 対象外の部署の情報や記録にも届く |
| 自動実行の範囲 | 個別確認が必要な発注を、提案直後に実行する | 内容の誤りを確かめる前に効果が生じる |
この三つは同じものではありません。検索機能しかなくても、全社の非公開申請を読めれば、対象が広すぎる問題は残ります。反対に、一部署だけに限定されていても、不要な削除機能が使えれば、その部署の記録を失う危険があります。自動実行が常に悪いのでもなく、任せた仕事に比べて何を確認なしで進められるかが問題です。
認可は、誰がどの対象にどの操作をしてよいかを判定することです。担当者がログインできた事実だけでは、全社の申請を変更できる根拠にはなりません。AIが操作を提案したことも、その操作の認可結果にはなりません。OWASPのAI Agent Securityは、認可をモデルの文脈の外にある実行部品で扱うことを示しています(Tool Authorization Middleware)。
引き金と被害の大きさ
プロンプトインジェクションは、処理対象の文章などが、本来の依頼とは異なる指示としてモデルに作用する問題です。たとえば申請の自由記入欄は、申請内容として読む場所です。その内容に引きずられて別の操作を提案することが、権限の濫用の引き金になり得ます。入口の仕組みは1.2で扱っています。
ただし、権限の濫用を調べるとき、すべてを悪意のある文章のせいにすると見落としが生まれます。同じ備品名の申請を重複だと誤解するなど、普通の入力でも判断は誤り得ます。重要なのは誤りの理由と、その誤りが届く先の両方です。OWASPも、影響は接続先に応じて情報の秘密、記録の正しさ、サービスの利用可能性に及ぶとしています。
架空の例なら、対象外の申請を回答へ含めると情報が漏れ、申請内容を書き換えると記録が変わり、未処理の申請を消すと業務が滞ります。さらに、あるツールの結果を読んで別のツールを呼ぶ構成では、最初の誤りが後続の判断材料になります。OWASPは、ツールを介した漏えいや複数エージェントへの影響の伝播もリスクに挙げています。個々のツールの名前だけでなく、結果がどの処理へ渡るかを見る理由はここにあります(AI Agent Security、Key Risks)。
危険を捉えるための材料と限界
製品について話し合うときは、依頼された仕事と、実際に呼び出せる操作を並べると論点が具体的になります。備品申請なら、下書きに必要な情報、操作できる申請の範囲、発注が成立する条件、結果を受け取る人を区別します。これは設計を説明するための整理で、特定製品の安全性を判定する検査ではありません。
文章の応答が正しい試行だけを見ても、不要な機能が使えないことや、担当外の対象が拒否されることは分かりません。一方、モデルが不適切な操作を提案しても、実行側が拒否したなら、提案と実害は分けて記録する必要があります。何が提案され、何が実行され、どこに影響が出たかを混同しないことが、原因を理解する出発点になります。
操作範囲を絞る設計は6.2、具体的な操作と人の確認を結び付ける設計は6.3で説明しています。ここでの架空例や分類だけから、特定のツールを安全と判断したり、許可のない対象で動かしたりすることはできません。
接続した操作を一つずつ点検する(架空例)
自社の構成を確かめるときは、AIに任せる仕事を一文で書き、接続先で呼び出せる操作を一行ずつ並べます。次は備品申請の下書き作成を任せた場合の架空例です。判断の欄は運用例で、特定の製品や基準の要件ではありません。
| 呼び出せる操作 | 任せた仕事に必要か | 届く対象 | 確認なしで実行されるか | 判断 |
|---|---|---|---|---|
| 申請一覧の読み取り | 必要 | 全社の申請 | はい | 機能は残し、対象を担当部署に絞る |
| 申請の状態変更 | 不要 | 全社の申請 | はい | 接続から外す |
| 発注 | 不要 | 取引先への注文 | はい | 接続から外す |
| 申請の削除 | 不要 | 全社の申請 | はい | 接続から外す |
「必要か」が不要の行は機能の問題、「届く対象」が仕事より広い行は権限の問題として分けます。影響の大きい操作に「確認なしで実行される」が付く行は、自動実行の範囲の問題として記録します。
試行や運用で誤りが起きたときは、提案された操作と引数、アプリケーションが実行したか拒否したか、変わった記録や情報を受け取った人を、それぞれ別の欄に残します。架空の例で、発注が提案されたものの接続になく実行されなかった場合は、提案の誤りとして記録します。アプリケーション側の未接続・拒否の記録と、申請や発注の記録に変化がないことを照合して「実害なし」とします。どちらかを確認できなければ「未確認」として残します。
自社での取り組みについて相談する
AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する