第 7 章 開発工程への組み込み7.1
開発工程ごとのセキュリティテスト
セキュリティの確認を設計、実装、結合試験、配布前に組み込む手順です。架空の文書共有機能を例に、確認する条件、試験データの分離、結果の判断、修正後の再確認と記録を説明します。
要点
- セキュリティテストは、守るべき条件を設計時に決め、その条件を実装、実行時の試験、配布前の確認へ引き継ぎます。
- 各工程で対象の版、確認方法、担当、合否の基準と証拠を対応付けます。
- 試験環境とデータを本番から分離し、許可した操作と拒否すべき操作の両方を確かめます。
- 指摘の修正だけでなく再確認まで追い、未実行や検査の失敗を問題なしとして扱わないことが要点です。
定義
- フィクスチャ(fixture)
- 毎回同じ前提から始められる試験用のデータや設定のことです。
- 回帰試験(regression test)
- 既存の動作が壊れていないかを確かめる試験です。
セキュリティテスト(security testing)は、情報や機能を守るために決めた条件が満たされているかを確かめる活動です。動くプログラムを調べるだけでなく、動かす前の設計やコードの確認ともつなげます。配布直前にまとめて検査する場合には見えにくい設計上の前提を、早い段階から確認できるようにするためです。
架空の社内文書アプリに、AIが案内文を作り、担当者が確認して顧客へ共有する機能を追加するとします。AIは、文章を読み、案内の案を生成する部品です。ここで守りたいのは「担当者が読める資料だけを使う」「顧客へ出してよい内容だけを共有する」「確認した相手と内容で実行する」という条件です。文章が自然に書けるかという品質の確認だけでは、これらの条件を確かめたことになりません。
以下は、この架空の変更を開発工程へ配置する独自の例です。NISTのSSDFは、安全なソフトウェア開発の実践を整理した枠組みです。SSDF 1.1は組織に応じた実装を想定しており、本稿の工程表や検査の組合せを一律に定めているわけではありません(NIST SP 800-218、Executive Summary)。
設計時に決める確認条件
最初に、誰がどの資料を読み、誰へ何を渡せるかを文章にします。「安全に共有する」という目標のままでは、実装者と検査担当が別の動作を想定してしまいます。例では、担当者、資料、共有先、共有内容、確認済みかどうかを一組の条件として扱います。
仕様には、許可した場合だけでなく拒否する場合も書きます。担当外の資料を選んだ場合、確認後に共有先が変わった場合、権限を確認する処理が使えない場合に、何を止め、何を利用者へ返すかを決めます。実行を止める条件が設計で曖昧なら、自動テストへ移しても判定は曖昧なままです。
設計レビューは、構成と条件を読み合わせ、必要な確認をどの部品が受け持つかを確かめる活動です。資料を取得する処理と外部へ共有する処理の間で、権限の確認が抜けていないかを点検します。SSDFのPW.2は、設計がセキュリティ要求と特定したリスクへ対処しているかのレビューを扱っています。図の箱がそろったかに加え、拒否する条件が実装へ引き継げるかを見る根拠になります。
この段階で、確認する人、残す記録、配布前に解決が必要な条件も決めます。検査後に結果を見ながら合格条件を都合よく変えないためです。SSDFのPO.4は、開発中のセキュリティ検査の基準と、その判断を支える情報の収集・保護を位置づけています。
工程ごとの検査と残すもの
同じ条件でも、工程によって見えるものが違います。設計では責任の抜けを、実装では条件の書き落としを、結合した環境では設定や部品のつなぎ方を確かめます。後の検査に任せるという理由だけで、早い段階の確認を省略しません。認可(authorization)は、誰が何をしてよいかの判断です。
| 工程 | 文書共有の例で確かめること | 残すもの | その工程だけでは分からないこと | 共有先変更の条件を追う記入例(架空) |
|---|---|---|---|---|
| 要求・設計 | 担当者と資料の対応、外部共有できる範囲、拒否時の責任 | 許可・拒否の条件と設計レビューの結果 | 実装がそのとおりに動くか | 共有先が変われば再確認する、という仕様を記載 |
| 実装・変更レビュー | データ取得と共有の双方に認可があるか、秘密を返す処理がないか | コードの版、確認した箇所、指摘と修正 | 実際の配備設定や外部連携の動作 | 共有先の変更時に確認済み状態を無効にする処理を確認 |
| 部品・結合の試験 | 正しい担当者の操作は成功し、対象外や確認不足は拒否されるか | 試験ケース、入力の条件、実行結果 | 調べていない役割や経路、運用後の変更 | 模擬接続先が未準備で未実行。成功には数えない |
| 配布前 | 検査した版を配布するか、必要な検査と再確認が終わったか | 配布対象の識別情報、未解決事項、判断者 | 将来の新しい弱点や利用状況 | 未実行が残るため配布を止め、試験後に再判断 |
| 変更・修正の後 | 以前の拒否条件が維持され、修正が別の経路を壊していないか | 再確認の結果と更新した試験ケース | すべての未知の入力への安全性 | 仕様と証跡の版を照合し、古い試験結果を流用しない |
表の追跡例は、各工程の合格を足し合わせるのではなく、一つの条件の未実施を配布判断まで引き継ぐためのものです。条件を変更したときは日付と理由を残します。
実装の確認には、人が読むコードレビューと、プログラムを実行せずコードを調べる静的解析(static analysis)があります。動的な試験(dynamic testing)は、動かしたプログラムの応答や状態を確かめます。SSDFはコードのレビュー・解析をPW.7、実行可能なコードの試験をPW.8として扱います。片方の成功だけで、もう片方が確かめる範囲まで確認済みにはできません。
利用するライブラリなど、外部から取り込む部品の確認や、コード・設定への秘密の混入の確認も、この例の実装工程へ置けます。ただし、そうした自動検査が「この担当者はこの資料を顧客へ共有してよいか」という業務上の条件を代わりに決めるわけではありません。自動と手動で確認する範囲の違いは、診断方式の比較でも説明しています。
試験用の環境で確かめる手順
試験は、所有者または管理者の許可を得た対象で行います。使える環境、データ、接続先、止める条件を先に合意します。許可と連絡体制の確認は、検査の許可と連絡体制へつなげられます。実在する顧客の情報や外部の送信先で、例をそのまま再現する必要はありません。
- 試験用の初期状態を作ります。 架空の部署、担当者、資料、共有先を用意します。毎回同じ前提から始められる試験用のデータや設定を、フィクスチャ(fixture)と呼びます。本番の認証情報を使わず、外部送信は内容を受け取って記録する模擬の接続先へ向けます。
- 許可と拒否を対にします。 読める資料で案内を作れることだけでなく、読めない資料が検索結果へ入らないことも確認します。画面上の表示と、実際にデータを返す処理の両方を対象にします。
- 部品同士をつなげて確かめます。 小さな処理を個別に調べる単体テスト(unit test)の後、部品間の連携を調べる結合テスト(integration test)で確認します。OWASPの認可の手引きは、その判断を単体・結合の両方でテストすることを勧めています(Authorization Cheat Sheet の認可テスト)。
- 実行後の状態まで見ます。 画面に拒否の文言が出たとしても、模擬の共有先へ内容が届いていたら条件を満たしていません。逆に通信が途切れただけなら、正しく拒否したという結論にもできません。許可の判定、送信処理の実行、保存状態を結び付けて確かめます。
- 結果と環境の条件を記録します。 アプリケーションと試験ケースの版、利用者の役割、必要な設定、実行結果、未確認箇所を残します。AIが使うモデルや資料の構成も、結果がどの条件で得られたか分かるように記録します。
この例の試験ケースは、次のような期待結果へ具体化できます。実際の攻撃文や実対象への検査手順ではありません。
| 用意する条件 | 期待する結果 | 確認する証拠 |
|---|---|---|
| 担当範囲の資料と許可済みの共有先 | 確認した内容を模擬の接続先へ渡す | 対象と内容が一致した実行記録 |
| 担当外の資料 | 内容をモデルにも共有先にも渡さない | 取得の拒否と、後続への受け渡しがないこと |
| 確認後に共有先を変更 | 以前の確認では実行を許可しない | 共有が保留され、変更後の条件で確認が必要になること |
| 権限を確認する処理が利用不能 | 共有を実行せず、確認不能と記録する | 権限確認の失敗と、共有されていない状態 |
OWASPのAIエージェント向け手引きは、ツールの方針や認証情報の範囲などを変える際の試験更新と、版・期待結果・観測した拒否などの証拠を扱っています。また、秘密や本番の顧客データをフィクスチャに保存しないよう求めています(AI Agent Security のCI/CDと検証記録)。本稿は、その原則を架空の共有機能へ適用したものです。
配布を判断する前の結果整理
検査結果は、指摘件数だけで判断しません。期待した動作と違ったのか、検査が動かなかったのか、対象外だったのかを分けます。ツールが疑わしい箇所を示した場合も、仕様と実装を照合して問題かどうかを確かめます。報告の読み方は、診断結果の読み方を参照できます。
| 結果の状態 | 次にすること |
|---|---|
| 確認した条件を満たした | 対象の版と範囲を添えて成功を記録する |
| 条件違反を確認した | 修正する担当と内容を決め、同じ条件で再確認する |
| 検査が実行できなかった | 環境や検査の問題を解消し、再実行する。成功件数へ含めない |
| 判断に必要な情報が足りない | 確認不能として、仕様や証拠を補う担当を決める |
| 今回の対象外 | 理由と残る範囲を示し、追加確認の必要性を判断する |
この例では、変更時に必要なセキュリティの確認を自動実行する仕組みを用意します。必須の検査が未実行・不合格・確認不能なら配布へ進めない条件を工程に置きます。実行画面に結果が出るだけでなく、その条件で実際に配布が止まることまで確かめます。検査を省略する例外を検討する場合も、未実行のまま配布しない方針とします。範囲や必要な検査を責任者と見直す際は、理由、対象の版、残るリスク、判断者、見直す条件を記録し、検査成功とは分けます。
修正後には、元の不具合を確かめたケースと、同じ認可処理を通る他の操作を見直します。既存の動作が壊れていないかを確かめる試験を、回帰試験(regression test)と呼びます。AIの返答文が変わっただけで修正完了とせず、拒否すべき操作が実行されないという条件まで再確認します。
配布するものが検査した版と異なれば、成功記録との対応も失われます。成果物の識別情報と構成を結び付け、取り違えや改変を検出できるようにします。SSDFのPS.2は、配布されるソフトウェアの完全性を確認する情報を扱います。ここでは配布対象と検査記録を結び付ける観点として使い、特定の署名方式や認証取得を要求していません。
架空の文書共有機能の例です。まず検査が実行でき判断に必要な情報が揃ったかを見て、そうでなければ配布を止めて環境や証拠を補います。次に条件を満たしたかを見て、違反なら修正し同じ条件で再確認します。両方を通った場合だけ版と範囲を記録して配布を判断します(図 7.1.1 検査結果から配布判断への分岐)。
継続する確認とテストの限界
一度の合格が示すのは、記録した条件と範囲で期待結果を確認できたことです。外部サービス、利用者の権限、検索資料、モデル、ツールの機能が変われば、どの条件へ影響するかを見直します。AIの出力が変動する場合には試行ごとの結果を残し、一回の成功だけを全体の保証として使いません。
この例では、案内文の内容を変える変更と、外部共有の権限を広げる変更では、優先して見直す箇所が違います。変更内容を設計時の条件へ戻して対応付け、関係する検査を更新します。増やしたテストの数ではなく、守りたい条件に対して、どの証拠があり、何がまだ確かめられていないかを説明できる状態にします。
自社での取り組みについて相談する
AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する