第 7 章 開発工程への組み込み7.3
AI が書いたコードの検査
AIが生成したコードを取り込む前に、仕様、変更差分、実行結果をどう照合するかを説明します。架空の資料検索機能を例に、検査手段の役割と、未確認の場合の取り扱いを整理します。
要点
- AIが書いたコードは、説明の説得力や動作例だけで採用せず、仕様と変更差分と実行結果を照合して判断します。
- 生成されたテストも検査対象に含め、許可される動作だけでなく拒否すべき条件を確かめます。
- 自動解析とコードレビューと試験は見える範囲が違うため、変更のリスクに合わせて組み合わせます。
- 必要な検査が失敗した場合や実行できない場合は、成功と区別して取り込み・配布の判断材料とします。
定義
- AI生成コード
- AI が提案・作成したプログラムの変更で、実装だけでなくテスト、設定、依存する部品の指定も含みます。
- 変更差分(diff)
- 変更前と後で何が変わったかを示すものです。
- 静的解析(static analysis)
- コードを実行せずに、規則や既知の問題の形を調べる方法です。
AI生成コードは、AIが提案・作成したプログラムの変更です。実装だけでなく、テスト、設定、依存する部品の指定も含まれます。検査では、AIが「対応した」と説明した内容と、実際に変更された内容を分けて確かめます。
架空の社内資料アプリで、利用者が所属する部署の資料だけを一覧に出す機能をAIに作らせるとします。一覧が表示できても、別の部署の資料が混じらないことまでは分かりません。以下はこの架空の変更の確認例であり、特定のAI製品の実測結果や、一律の合格基準ではありません。実行する検査は、許可を得た対象と試験用のデータに限定します。
実装とは別に置く確認基準
コードを読む前に、満たすべき条件を仕様から取り出します。この例の認可(authorization)は、どの利用者がどの資料を読めるかの判断です。「資料が表示される」という条件と、「対象外の資料を返さない」という条件を別々に書きます。
| 架空の確認条件 | 期待する動作 | 見るもの |
|---|---|---|
| 所属部署の資料を探す | 読める資料だけを返す | 検索結果と取得した資料の範囲 |
| 別部署の資料が保存されている | その本文やタイトルを返さない | 応答に含まれる情報 |
| 所属情報を確認できない | 資料の返却を止め、失敗を通知する | 失敗時の分岐と実行結果 |
| 対象となる資料がない | 空の結果として扱う | 空の場合と、確認に失敗した場合の区別 |
AIが実装とテストの両方を作った場合も、表の条件からテストを点検します。たとえば、実装が全資料を返し、テストも全資料が返ることだけを確認していれば、そのテストの成功は部署の制限を確かめる証拠にはなりません。成功した件数を増やす前に、何を成功と定義したかを確認します。
変更全体を読む範囲
変更差分(diff)は、変更前と後で何が変わったかを示すものです。新しい関数だけでなく、それを呼ぶ処理や設定、削除された検査まで見ます。AIの要約に書かれていない差分も、取り込む変更の一部です。
資料アプリなら、部署の識別情報をどこから得て、どこで資料を絞るかを追います。呼び出した関数が実在し、その版で想定どおり使えるかも公式の文書と既存コードで確かめます。もっともらしい関数名や説明だけで、戻り値や失敗時の動作を決めつけません。
設定の変更でアクセス範囲が広がっていないか、テストの削除や条件の緩和で成功に見せていないかも確認します。AIが不正を意図したという認定ではなく、採用する差分と仕様の対応を調べる作業です。生成元にかかわらず必要な確認ですが、AIがまとめて作成した関連ファイルを説明だけで受け入れないことに重点があります。
GitHubの公式文書は、Copilotの提案に不正確なコードや脆弱性が含まれる可能性、AIレビューの見逃しと誤指摘を説明しています。これは同製品の制約についての資料であり、すべてのAI製品の誤り率を示すものではありません(GitHub Copilot Agents、Limitations)。
検査手段ごとの役割
一つの検査で分かることには限りがあります。静的解析(static analysis)は、コードを実行せずに規則や既知の問題の形を調べる方法です。コードレビューは実装と意図を読み合わせる作業、試験は用意した条件でプログラムを動かして結果を確かめる作業です。
| 手段 | 資料アプリの例で役立つ確認 | その成功だけでは言えないこと |
|---|---|---|
| 構文・型の検査 | 書き方やデータ型の不整合 | 利用者の所属に応じた認可が正しいこと |
| 静的解析や秘密の混入検査 | ツールが対象とする危険な処理や秘密の候補 | 検査対象外の弱点や業務条件に問題がないこと |
| 仕様とコードのレビュー | 部署を絞る処理と失敗時の分岐 | 配備環境でその設定が実際に有効なこと |
| 条件を変えた実行試験 | 別部署、空の結果、確認失敗での動作 | 未試験の経路を含むすべての動作の正しさ |
NIST SSDF 1.1は、コードのレビュー・解析をPW.7、実行可能なコードの試験をPW.8として扱います。この区別を、生成コードにも適用して検査を組み合わせます。AI専用の新しい認証や、上の表の全項目を義務づける規格という意味ではありません(NIST SP 800-218、PW.7・PW.8)。
AIによる追加のレビューも補助にできます。ただし、指摘は該当箇所と仕様に戻して確認し、「問題なし」という返答だけを合格の記録にしません。GitHubも、同社のAIレビューを人によるレビューの補助として位置づけています。検査担当はツールの見逃しも自身の見落としもあり得ることを前提に、別の確認手段で補います。
取り込み前に残す判断材料
必要な検査を終えた版と、取り込む版を対応付けます。架空のアプリでは、コードの版、確認した仕様、実行した検査、結果、未解決事項をまとめます。検査後に設定や依存が変われば、影響する確認をやり直します。
試験が動かなかった場合は「未実行」、仕様が足りず判定できない場合は「確認不能」と記録します。必須の検査が不合格または未完了なら取り込み・配布を止める、という条件をこの例の工程に置きます。例外を設ける場合も、対象と残る不確かさ、判断の担当を明記し、検査に合格したという記録にはしません。
図 7.3.1 コードを取り込む前の確認の流れでは、架空の資料アプリの変更を取り込む前の順序を示します。仕様から確認条件を取り出し、変更差分の全体を読み、検査手段を組み合わせたうえで、検査を終えた版と取り込む版を対応付けます。必須の検査が不合格または未完了なら取り込み・配布を止め、合格なら取り込みます。
工程全体への配置は7.1、実行中に受け取るAIの出力の検証は6.4で扱います。ここでの判断対象は、製品へ取り込むコードの変更です。テストの成功やレビューの完了は、記録した版と条件で確認した結果であり、未知の入力や将来の変更まで保証するものではありません。
架空の変更で残す確認記録の例
様式や項目は一律の基準ではありません。冒頭の確認条件のうち、三つの記録例を示します。実際の受入時は「所属部署の資料を探す」も含め全条件を記録し、未記録の条件は確認未完了として扱います。
| 確認条件 | 実施した検査 | 判定 | 根拠として残すもの |
|---|---|---|---|
| 別部署の資料を返さない | 別部署の試験用資料を置いた実行試験 | 合格 | 試験名、試験データの識別子、応答の抜粋 |
| 所属情報を確認できない | 所属の取得を失敗させる試験 | 未実行 | 試験環境で失敗を再現できなかった理由 |
| 空の結果と確認失敗の区別 | 仕様とコードのレビュー | 確認不能 | 通知の要否は決まっているが応答形式・表示方法が未定であることと問い合わせ先 |
生成されたテストが制限を確かめているかは、部署で絞る処理を外した試験用の版で同じテストを実行して判断します。外しても成功するテストは、「別部署の資料を返さない」の根拠にしません。試験用の版は取り込む版と分けて管理し、記録には外した処理と失敗したテストの名前を書きます。
この例では未実行と確認不能の行が残るため、取り込みを止めます。仕様を補った後は、該当する行に加えて、その仕様に依存する試験もやり直してから判定を更新します。
自社での取り組みについて相談する
AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する