第 8 章 運用と体制8.36

AIによるサイバー防御を導入する前に考えること

AIによるサイバー防御の導入前に、発見から修正までの時間、誤検知、権限、AI自身の安全性、確認を含む総工数をどう評価するか整理します。

要点

  1. AIによるサイバー防御の導入では、改善したい工程を選び、従来の方法とAIを加えた方法を同じ条件で比較します。
  2. 検出件数だけでなく、見逃しや誤検知、発見から修正の配布までの時間、人の確認を含む総工数を測ります。
  3. 情報を読む権限と変更する権限を分け、防御に使うAI自身の誤操作や外部の文章による誘導も検査します。
  4. 長期的な優位の予測と、自分たちの環境で確かめた効果は分けて判断します。

AIによるサイバー防御とは、ソフトウェアの弱点の発見や修正、不審な動きの調査にAIを使うことです。GoogleやAnthropicも、脆弱性の発見・修正を支援する取り組みを公表しています(Google 2025、Anthropic 2025)。

ただし、AIが脆弱性を見つける能力と、組織が被害を防ぐ能力は同じではありません。検出結果を確認し、修正し、配布するまでに時間がかかれば、発見が増えても弱点は残ります。導入を考えるときの中心は、AIによって、防御のどの工程が、どの条件で改善するかです。

防御の効果を測る目標

「長期的には防御側が有利になる」という予測だけでは、導入する仕事や予算を決められません。各社の期待と、自分たちの環境で確かめた効果を分け、改善したいことを具体化します。次の表は導入時に使う評価項目の提案であり、実測結果ではありません。

改善したいこと確かめる指標
脆弱性を早く見つける正しく検出した件数、見逃し、確認にかかる時間
修正を早く届ける発見から配布までの時間、修正後に残る問題、変更によって生じた不具合
不審な動きを早く調べる調査時間、判断の正確さ、根拠を確認する時間
担当者の負担を減らすAIの出力を確認・修正する時間を含めた総工数

問題のない箇所を問題と判定することが誤検知です。検出件数が増えた一方で、誤検知の確認に追われる場合も評価に含めます。AIの処理時間だけでなく、人が結果を使えるようになるまでを測ります。

発見から修正までの工程

AIによるコード検査を導入するときは、発見後の流れも決めておきます。誰が指摘の正しさを確認するか、何を優先して直すか、修正で既存機能が壊れていないことをどう確認するか、配布後に問題が起きたら誰が戻すかを整理します。

途中に詰まりがあれば、検査を速めるだけでは解消できません。たとえば、古いシステムの試験環境がない場合、修正案を増やす前に、変更を確かめられる環境を整える必要があります。発見から修正の配布までの時間を測ることで、AIを使う場所と、先に整備すべき場所を分けられます。

修正順の判断を具体化する例として、5.2には、osv-scannerで検出した脆弱性を指標で並べ替えた検証があります。AIの導入効果を測ったものではありませんが、検出件数と対応の優先順位を区別する材料になります。

情報の読み取りと操作権限の分離

防御の判断では、コードやログに加え、外部公開の有無、扱う情報、停止した場合の影響を整理します。一方、情報を読ませることと、システムを変更させることは別の判断です。ログを分析するAIに、本番の管理者権限まで与える必要があるとは限りません。

導入時は、仕事を段階に分けると評価しやすくなります。

  • 調査:情報を読み、根拠付きで候補を提示します。
  • 提案:修正案や対応手順を作り、試験環境で確かめます。
  • 実行:承認された範囲で変更し、結果を記録します。

実行を任せる場合には、誤った操作を止められることと、元に戻せることも検証対象です。Googleは、人による制御、権限の制限、行動の観測可能性を設計原則に挙げています。OWASPも、道具ごとの読み取り・書き込み権限の制限を示しています(Google 2025、OWASP AI Agent Security)。権限分離の設計は6.2で扱います。

防御に使うAI自身の検査

防御用のAIが読む不審なメールや外部文書には、AIを別の行動へ誘導する文章が含まれる可能性があります。このような外部データを介した指示の混入を、間接プロンプトインジェクションと呼びます(OWASP AI Agent Security)。

検証では、調査対象のログに警告の無視や情報の送信を促す記述があったとき、分析対象のデータとして扱えるかを確かめます。説明の誤りに加え、接続された道具による不適切な操作まで検査します。読み取る範囲、送信先、変更できる対象を制限し、その制限が働くかを試します。

6.4には、LLMの出力をZodとPydanticで検査した記録があります。出力の形式が正しいことと、内容や行動が適切であることを分けて評価するための具体例です。

ソフトウェアのバグ以外の評価範囲

コードの欠陥を探す検査だけで評価を終えず、業務上の被害につながるケースも決めます。たとえば、別の利用者の情報を参照できる認可の欠陥、正規の操作を組み合わせた不正、人をだまして承認させる場面です。

「AIが効くのはバグだけ」「人を狙う攻撃には効かない」と最初から決める必要はありません。AIが調査や発見を支援できる部分と、権限分離や別経路での本人確認を必要とする部分を、具体的なケースで分けます。自作の小さな対象での結果を、組織全体や本番の性能へ一般化しないことも大切です。

小さな比較による導入判断

許可を得た使い捨ての自作アプリで、従来の方法とAIを加えた方法を比較します。正解と継続条件を試行前に決めます。

記録判断への使い方
対象の版、モデル、入力、時間上限条件が異なる試行を混ぜない
既知の欠陥の検出・見逃し、正常箇所の誤検知事前の正解表と担当者が照合する
確認・修正・再試験を含む人の時間AIの応答時間だけで効果を決めない
操作の要求、承認、実行結果拒否された試行と実際の権限外操作を分ける

架空の例として、指摘の作成は短縮しても、誤検知の確認を加えると総工数が増えた場合は、実行権限を増やさず対象を見直します。同条件で複数回試し、失敗した回も残します。修正案は作成時とは別の試験でも確かめます。

図 8.36.1 測定結果から任せる範囲を決める流れは、この評価案の分岐を示します。同じ条件で比較し、継続条件を満たせば任せる範囲を広げます。満たさなければ、範囲や条件を見直して再比較します。

測定結果から任せる範囲を決める流れ同じ条件で比較し、継続条件を満たせば範囲を広げ、満たさなければ条件を見直して再比較する満たす満たさない工程と条件を決めるAIあり・なしを比較時間・誤り・費用継続条件任せる範囲を拡大範囲・条件を見直す
図 8.36.1 測定結果から任せる範囲を決める流れ

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する