第 1 章 AI を組み込んだ製品を狙う攻撃の全体像1.6

サプライチェーン攻撃とデータ汚染

AI製品が取り込むモデル、学習データ、ソフトウェアの依存要素に潜む脅威を説明します。汚染が入る段階と下流への影響を分け、誤りと攻撃を混同しない見方を示します。

要点

  1. AI製品のサプライチェーンには、外部のソフトウェアだけでなく、学習済みモデルやデータも含まれます。
  2. これらの改変や弱点が製品へ持ち込まれると、回答の偏りや誤り、情報の流出、システムの障害につながる場合があります。
  3. データ汚染では、学習などに使うデータの操作を通じて、モデルの振る舞いが変えられます。
  4. 取り込む要素、変更された段階、影響を受ける機能を分け、出所の確認と利用時の振る舞いの評価を区別して考えます。

定義

出所
誰が作り、どの経路を通って届いたかという情報です。

サプライチェーンは、製品が使う部品やデータを、作り手から受け取って利用するまでのつながりです。AI製品では、プログラムの部品に加えて、既に学習されたモデル、学習用のデータ、検索する資料も、外から取り込む要素になります。モデルに渡す質問が適切でも、土台となる要素に問題があれば、結果へ影響する経路が残ります。

架空の問い合わせ分類サービスを考えます。外部の学習済みモデルを使い、自社の問い合わせ例で調整し、案内資料を検索して担当部署の候補を出します。モデルを動かすプログラムも、外部のライブラリを利用しています。ライブラリは、他のプログラムから使う処理をまとめた部品です。このサービスを例に、何が持ち込まれ、どこへ影響するかを整理します。実在する事故や、特定製品の評価ではありません。

モデルとデータも受け取る部品になる

AI製品の依存関係は、プログラムの名前を並べるだけでは捉えきれません。OWASPの2025年版Supply Chainは、従来のソフトウェアの依存関係に加え、外部の学習済みモデルやデータにも改変や汚染の危険があると説明しています。(LLM03:2025、説明)

問い合わせ分類の例では、次のように取り込むものを分けられます。表の影響は、問題が起きた場合に調べる候補であり、各要素が必ず危険だという評価ではありません。

取り込む要素このサービスでの役割問題が届く先の例
ソフトウェアの依存要素モデルの読み込みやデータの処理プログラムの実行環境や、そこから扱える情報
学習済みモデル問い合わせを読み、分類候補を生成する分類の傾向、回答内容、モデルを利用する機能
追加学習に使うデータ自社の分類例に合わせてモデルを調整する誤った分類や偏りが繰り返される範囲
検索する案内資料今回の回答に必要な情報を渡す資料を参照した回答や、後続の判断

同じサービスでも、実行環境に入り込む問題と、回答の内容が偏る問題は異なります。最終の文章だけを見ていると、どの要素を受け入れたことで問題が生じたかを見分けにくくなります。

NISTの生成AIプロファイルも、外部のデータセット、モデル、ソフトウェアなどが組み合わさることで、問題の原因を一つの要素へ特定しにくくなる点を挙げています。また、第三者の部品の誤りが下流の正確さに影響する場合を扱っています。意図的な攻撃だけでなく、部品の品質や確認不足も分けて調べる必要があるという見方につながります。(NIST AI 600-1、2024年7月版、2.12節)

データ汚染が振る舞いへ影響する経路

データ汚染(data poisoning)は、学習などに使うデータを意図的に操作し、モデルの振る舞いや結果に悪影響をもたらす攻撃です。OWASPは、広いデータから学ぶ事前学習、特定用途へ合わせる追加学習、文章を数値の表現へ変換する埋め込みなど、異なる段階での操作を扱っています。性能の低下、偏った出力、下流への影響が論点です。(LLM04:2025、説明)

問い合わせ分類の架空例で、特定の種類の問い合わせと誤った担当部署の組合せが、調整用データへ入り込んだとします。学習後に同じ種類の問い合わせが誤った部署へ送られるなら、入口の質問文だけを修正しても、問題のある学習データを調べたことにはなりません。どの版のデータを使い、その結果をどのモデルが引き継いだかが、原因を探す材料になります。

ここで扱うのは攻撃としての意図的な操作です。ただし、実際に誤った分類を見つけた時点で、攻撃と断定はできません。通常の入力ミス、古い業務規則、部署名の変更、モデルの不得手でも、似た結果は起こり得ます。観測した誤りと、その原因についての仮説を分けて残します。

一部の条件でだけ挙動が変わる裏口もあります。OWASPは、通常時の振る舞いが保たれ、特定の条件で変化する場合には検出が難しいと説明しています。少数の普通の問い合わせへ正しく答えたことだけで、取り込んだモデルのすべての条件を確認したとは言えません。(LLM04:2025、説明)

学習への混入と検索時の混入

外部の資料が回答へ影響しても、必ずしもモデルが学習し直されたとは限りません。検索拡張生成(RAG)は、検索で見つけた情報を今回の回答作成に渡す方式です。学習用の例と、回答時に読む資料は、問い合わせ分類の構成でも別の経路です。

この例で、検索した案内資料に誤った担当部署が書かれていれば、その資料を根拠にした回答が誤る余地があります。資料の中に処理方針を変えようとする指示があり、それがモデルへ作用する問題は、プロンプトインジェクションの経路です。NISTも、回答時に取得されるデータを介した間接の注入と、学習データを改変するデータ汚染を区別して説明しています。(NIST AI 600-1、2.9節)

用語を区別する目的は、調べる場所を明確にすることです。今回読んだ資料を調べるのか、学習に使ったデータを調べるのか、配布されたモデルの改変を調べるのかで、必要な証拠が変わります。一つの事象が複数の経路に関わることもあるため、名称だけで原因を決めません。同じ資料が学習にも使われていた場合は、検索対象から外したことを、学習済みモデルへの影響も取り除いた証拠にはしません。

架空例です。左は追加学習データが調整後モデルへ引き継がれる経路、右は検索した資料が今回の回答に渡る経路です。誤分類を観測したら、どちらの経路かで確認する対象が変わります。同じ資料が両方に使われていれば、両方を確認します(図 1.6.1 学習経路と検索経路の切り分け)。

学習経路と検索経路の切り分け架空の問い合わせ分類で、追加学習データがモデルへ届く経路と、案内資料が回答時に渡る経路を分け、誤りの調査先が変わることを示す図です。検索経路学習経路調整検索生成参照誤り観測学習検索追加学習データ調整後モデル案内資料今回の回答入力分類候補の回答どの経路由来?データ版とモデル確認読んだ資料を確認
図 1.6.1 学習経路と検索経路の切り分け

出所の説明と安全性の違い

出所とは、誰が作り、どの経路を通って届いたかという情報です。供給網の問題では、受け取った物が意図した提供元の物かと、その物が今回の用途で適切に振る舞うかの両方を考えます。

OWASPは、事前学習モデルに隠れた偏りや裏口が含まれる可能性や、モデルの説明文だけでは出所を保証できない問題を挙げています。また、追加の学習結果を組み合わせる部品や、モデルの変換・結合の過程も対象にしています。(Supply Chain、Common Examples of Risks)

問い合わせ分類の例なら、「このモデルを使っている」という製品名だけでは、調整に使ったデータや、その後の変更までは分かりません。元のモデルで確認した結果を、調整後の構成へ無条件に引き継ぐこともできません。出所の記録と、現在使っている構成での振る舞いを結び付けて見る理由はここにあります。

脅威の概論から確認へつなぐ材料

問題を検討するときは、取り込んだ物、取り込んだ時点、変更できる主体、その物を使う機能を対応付けます。さらに、観測した結果がどの条件で起きたかを添えます。問い合わせ分類なら、モデル、調整用データ、案内資料、依存するプログラムのどれが変わったかを分けると、担当部署への誤送付までの経路を話し合えます。

この整理は、防御設計の論点を見つけるためのものです。SBOMの作成や署名の照合といった開発管理の詳細手順や、特定モデルが安全かという判定は扱っていません。実装で何を確認できるかは、開発工程ごとのセキュリティテストとも結び付けて検討します。

出所が分かること、一度正常に動いたこと、公開の評価で高い結果が出たことは、それぞれ確認した範囲が違います。どれか一つを供給網全体の安全の証明にせず、分かっている経路と未確認の要素を区別することが、外から持ち込むものを評価する出発点になります。

運用例:受け入れた要素を記録し、誤分類から経路をたどる

記録項目や手順は説明のための例で、OWASPやNISTが定める要件ではありません。

要素受入時に残す記録誤分類を観測したときに見る記録
学習済みモデル入手元、版の識別子、受入日、受入時に試した問い合わせの範囲誤分類の発生前後でモデルの版が変わったか
調整用データデータの版、追加・修正した担当、もとにした業務規則の時点誤った部署との組合せが、どの版のデータに含まれるか
案内資料掲載元、更新日、検索対象へ加えた日、学習にも使ったか誤った回答が参照した資料と、その資料の更新日
依存ライブラリ名称と版、更新した日起きたのは実行環境の異常か、回答内容の偏りか

誤分類の報告を受けたら、次の順で記録します。

  1. 観測した事実として、問い合わせの種類、送られた部署、日時、その時点での各要素の版を書く。
  2. 表の記録から、その時点までに変わった要素を挙げ、学習経路、検索経路、モデルの差し替え・改変、依存ライブラリのどれか(複数可)を仮に置く。両方に使われた資料があれば両方を挙げる。
  3. 意図的な操作以外の原因を確認した結果を残し、確認した範囲と未確認の要素を分けて書く。

モデルや調整用データの版を変えたときは、受入時に試した問い合わせの範囲を新しい構成でも試し、その結果を新しい版の記録に付けます。

新しい構成で試した結果が示すのは、試した問い合わせの範囲だけです。これは更新の網羅的な受入条件ではありません。正常に答えた条件と、まだ試していない条件を記録上で分けます。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する