第 6 章 守りの設計6.6

ログ監視と利用量の上限設定

AIアプリケーションで残すログ、異常を知らせる条件、トークン・費用・呼び出し回数を止める上限を分けて説明します。架空の問い合わせ支援サービスを例に、秘密の保護、再試行、停止後の扱いを整理します。

要点

  1. ログ監視は、誰の依頼で何が実行され、どの結果になったかを追い、異常の検知につなぐ仕組みです。
  2. 利用量の上限は、トークン、費用、呼び出し回数、再試行や処理時間など、止めたい消費ごとに定めます。
  3. 警告を送る処理と新しい実行を拒否する処理を分け、同時実行や結果不明の要求も扱えるようにします。
  4. ログ自体に秘密を残さず、停止理由と再開条件まで確認します。

定義

トークン
モデルが入出力を数えるための単位で、文字数とは別のものです。
頻度制限(rate limiting)
一定期間あたりの受付量を制限することです。

ログは、処理中に起きた出来事を後からたどるための記録です。監視は、その記録や利用量を継続して調べ、対応が必要な変化を見つける活動です。上限による制御は、条件に達した処理を受け付けない、または続けない仕組みです。異常を記録して通知できても、処理を止める仕組みがなければ利用量は増え続けます。

架空の問い合わせ支援サービスを考えます。担当者の依頼を受け、AIが資料を検索して返信の下書きを作ります。資料が足りないと検索し直し、下書きの検査に失敗すると再生成します。一件の依頼から複数の検索や生成が生じるため、入口の受付件数だけでなく、内部で使った量と打ち切る条件を見ます。以下の表と判断の流れは、OWASPの手引きをこの例へ適用した設計案です。

一件の依頼をたどる記録

記録する項目は、障害や不適切な操作が起きたときに何を確かめたいかから選びます。OWASPは、時点、場所、主体、出来事を含め、関連する処理を同じやり取りの識別子で結び付けることを説明しています。AIエージェント向けの手引きでは、ツール呼び出しと結果、利用量に加え、影響の大きな操作の認可結果や方針の版などを記録対象に挙げています(Logging、Event attributes/AI Agent Security、Monitoring & Observability)。

問い合わせ支援サービスでは、受付時に依頼を識別できる値を付け、検索、生成、検査、保存の記録をつなぎます。再試行には、元の依頼との対応と、個々の試行を区別できる情報を残します。「生成できた」と「下書きを保存できた」を別の結果にすると、中断箇所を追いやすくなります。

確かめたいことこの例で残す項目記録の使い方
どの依頼か依頼と試行の識別子、発生時刻、処理名複数の部品や再試行を結び付ける
誰の範囲で動いたか必要な範囲の利用者識別子、対象、実行主体別の利用者の操作と取り違えない
何を許したかツール名、認可の結果、適用した方針の版許可・拒否の理由を調べる
どこまで進んだか開始、成功、失敗、保留、結果不明、外部結果の参照成功と未確認を区別する
何を消費したか入出力の利用量、費用の見積もりと確認済み値、経過時間、再試行回数上限の判定と事後の照合に使う

モデルに「実行しました」と文章で報告させるだけでは、この表の実行記録にはしません。この例では、実際にツールを呼ぶ部品が開始と結果を記録します。外部の処理結果を確認できなければ、成功にも未実行にも置き換えず、結果不明として扱います。

記録に含めない情報と保護

調査に役立つログでも、何でも保存してよいわけではありません。OWASPは、アクセストークン、パスワード、秘密鍵、機微な個人情報などを通常そのまま記録しないよう示しています。ログを読む権限や、改変・削除を検知する仕組みも保護の対象です(Logging、Data to exclude・Protection)。

この例では、依頼文や取得資料、モデルの出力を常に全文保存する方式を避け、調査目的に必要な項目を先に決めます。認証の成功・失敗は記録しても、提示された資格情報そのものは残しません。本文を保管する必要がある用途では、通常の運用ログから分け、閲覧できる担当と保存期間を定めます。必要な期間は扱う情報や契約などで変わるため、一律の日数はここでは置きません。

外部ツールのエラー文も、記録する前に長さや形式を検証します。値に含まれる改行などで、別の出来事のように見える記録を作らせないためです。OWASPは不正な項目を安全に置き換えるなどして、失敗した出来事自体は残す扱いを示しています(Logging、Event collection)。記録の収集先が止まったことや、保存量が増えすぎたことも検知対象にします。

消費の種類に合わせた上限

上限は、単位と集計範囲を組で決めます。トークンはモデルが入出力を数えるための単位で、文字数とは別です。要求の回数、トークン、費用、時間はそれぞれ違う消費を表します。OWASPのAIエージェント向け手引きも、トークン、費用、再試行、ツール呼び出しの連鎖に上限を置くことを勧めています(AI Agent Security、Do's and Don'ts)。

次の表は、このサービスでどこを止めるかを検討する例です。数値は、通常の仕事に必要な量、受け入れられる遅延、費用と、使う基盤で実際に制御できる項目を確認して決めます。

上限の対象集計範囲の例制御する場所の例
入力の大きさ、生成する量一回の生成入力を受け付ける箇所とモデル呼び出しの設定
トークンと費用一件の依頼、利用者、サービス全体の一定期間次の生成を許す前の共通の判定箇所
ツール回数、再試行、連鎖の深さ元の依頼から派生した処理全体ツールを呼ぶ部品と再試行の制御
経過時間一回の呼び出しと依頼全体通信の待ち時間と処理全体の期限
受付頻度と同時に動く数利用者と共有する資源受付と実行の待ち行列

一定期間あたりの受付量を制限することを頻度制限(rate limiting)と呼びます。OWASPのDoS対策の手引きは、通信や処理への負荷の制限、入力サイズ、時間切れなどを別の制御として扱っています。頻度を抑えても、一件の中で再生成が続く問題には別の上限が必要です(Denial of Service、Input validation・Rate limiting)。

この例では、検索し直しても元の依頼の利用量を引き継ぎます。別の実行部品へ仕事を渡すたびに回数をゼロへ戻す設計にはしません。また、残りの枠を複数の処理が同時に使えると上限の意味が失われるため、許可の判定と使用する枠の確保を一体で扱う設計にします。これはこの例の実装方針であり、特定のMCP実装やモデルAPIが提供する機能の保証ではありません。

費用の見積もり、提供元から確認できた利用量、未確認の消費も分けます。結果が分からない要求の消費をゼロとして枠へ戻さず、照合するまで未確認の枠として扱います。請求額を厳密に制限できるかは、提供元の計量、単価、進行中の処理を止められる範囲を別に確認する必要があります。画面に予算額を表示しただけで、請求の上限を保証したとは扱いません。

警告から停止と再開へつなぐ流れ

異常の通知先と、処理を止める条件は別に定めます。OWASPは異常なツール頻度や費用などの監視を勧め、複数エージェントの連鎖では障害の拡大を防ぐ遮断器にも言及しています。遮断器(circuit breaker)は、問題が続く処理への新しい呼び出しを止め、影響の広がりを抑える仕組みです(AI Agent Security、Monitoring & Observability・Multi-Agent Security)。

問い合わせ支援サービスでは、次のように動作を分けられます。

  1. 兆候を記録して知らせます。 検索の失敗や費用の増加を、依頼の識別子とともに担当へ通知します。通知を出しただけでは、実行を許す条件は変わりません。
  2. 上限や停止条件で新しい実行を止めます。 再試行の枠を使い切った場合や、外部サービスの失敗が続く場合は、検索や生成を追加しない状態にします。残った処理を成功扱いせず、下書きが未完成であることを示します。
  3. 止めた範囲と残る仕事を示します。 問題のある連携を止めても、既に保存済みの下書きの閲覧など、影響を受けない機能は使える構成を検討します。認可や入力検証を省略する代替経路は作りません。
  4. 条件を確かめて再開します。 接続先の回復、残りの枠、未確認の処理結果を確認し、停止理由に応じた条件で再開します。単に再試行ボタンを押すだけで、依頼全体の上限を初期化しない設計です。

機能を一部残す考え方は、DoS対策の手引きが扱う段階的な縮退に対応します。ただし、何を継続できるかは機能ごとの判断です。ログ収集の障害で全機能が巻き添えにならない設計と、必須の認可や利用枠の判定ができない操作を保留する設計を分けて検討します。

二つの戻り線は、実行を続けられる間の繰り返しと、再開条件が不足している間の待機を表します。停止後は下側の判断へ進み、利用枠の扱いを確認してから再開する関係です(図 6.6.1 通知から停止・再開までの判定)。

通知から停止・再開までの判定検索・生成の後に記録と通知を行い、上限や停止条件に達したら新しい実行を止め、再開条件を確かめてから枠を引き継いで再開する流れ。未達到達満たす不足検索・生成記録・通知上限・停止条件に到達?新規実行を止め未完了を示す再開条件を満たす?枠を引き継ぎ再開
図 6.6.1 通知から停止・再開までの判定

上限が働くことの確認

確認は、記録が増えることだけでなく、条件に達した後に新しい処理が実行されないことまで見ます。試験は所有者の許可を得た検証環境だけで、架空の入力と接続先を使います。次はこの例で用意する受入条件です。

  • 一件の依頼で再試行が続いても、元の上限が引き継がれて打ち切られる。
  • 同時実行でも利用枠が二重に使われず、未確認の消費がゼロへ置き換わらない。
  • 失敗の通知と実行の停止が、それぞれ期待する条件で起きる。
  • ログの保存失敗、容量不足、遅れを検知でき、秘密が記録へ混ざらない。
  • 利用者に停止理由と未完了の範囲が伝わり、再開の条件を確認できる。

OWASPは、再帰的なツール利用に対する回数や費用の上限を試験し、拒否、時間切れ、遮断器などの観測結果を残すよう示しています。ログの仕組みについても、接続断や保存領域の不足による影響を確認対象にしています(AI Agent Security、Abuse-Case Test Matrix・Validation Evidence/Logging、Verification)。

異常に見える利用が、必ず不正とは限りません。上限を厳しくしすぎれば必要な仕事も止まります。通常の利用と停止例を見比べ、制限の変更理由を記録して調整します。監視や上限が働いたことと、生成した回答の内容が正しかったことは、別の評価として扱います。

架空の依頼で上限到達を記録と照合する例

一件の依頼に再試行の枠を3回と決めたと仮定していますが、この値は説明用で推奨値ではありません。

記録の順処理結果依頼全体の再試行回数実行の判定
1生成下書きの検査に失敗0再生成を許可
2再生成検査に失敗1再生成を許可
3検索し直して再生成結果不明(時間切れ)2次の再生成を許可。時間切れも再試行に数え、トークン・費用の消費は未確認として確保
4再生成検査に失敗3新しい実行を拒否し、停止理由を記録
5利用者が再試行を押す受付3(引き継ぎ)拒否し、未完了と停止理由を表示

受入試験では、この並びが同じ依頼の識別子でたどれるかを確かめます。あわせて、3行目の結果不明が成功や未実行に置き換わっていないか、5行目で回数がゼロに戻っていないかも見ます。一つでも崩れていれば、通知が届いていても上限の試験は不合格です。

枠の値を見直すときは、通常の依頼の記録で再試行回数を確かめ、停止した依頼のうち正当な仕事だった件を数えます。値を変えた場合は、根拠にした記録の期間、変更理由、同じ受入試験を通した結果を残します。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する

参考文献

  1. OWASP Cheat Sheet Series. AI Agent Security Cheat Sheet — OWASP Foundation、固定版・公開日表示なし。2026-10-09実読、Monitoring & Observability、Multi-Agent Security、Abuse-Case Test Matrix、Validation Evidence、Do's and Don'ts(参照日 2026-10-09)
  2. OWASP Cheat Sheet Series. Logging Cheat Sheet — OWASP Foundation、固定版・公開日表示なし。2026-10-09実読、Event attributes、Data to exclude、Event collection、Verification、Operation、Protection、Monitoring of events(参照日 2026-10-09)
  3. OWASP Cheat Sheet Series. Denial of Service Cheat Sheet — OWASP Foundation、固定版・公開日表示なし。2026-10-09実読、Software Design Concepts、Input validation、Rate limiting(参照日 2026-10-09)

更新履歴

  • 初版原稿。OWASP公式手引きの実読箇所を根拠に編集。架空の設計例であり、実装検証は行っていない。
  • 用語集に定義を追加
  • 実行環境の説明を整理。
  • 日本語表現を校正し、助詞・語順・主語と述語の対応を改善
  • 主題の関係を説明する図を追加
  • 具体的な確認対象、判断の分岐、残す記録の例を追加。

Markdown 版