第 1 章 AI を組み込んだ製品を狙う攻撃の全体像1.8

オープンLLMの自社ホスティングに残るバックドアのリスク

バックドア研究、モデルの読み込み、実行権限と通信の指針を照合し、オープンLLMの自社ホスティングで減らせるリスクと残るリスク、受け入れ・評価・停止の判断を説明します。

要点

  1. オープンLLMを自社ホスティングしても、学習段階で埋め込まれたバックドアまで取り除けるわけではありません。
  2. 事前学習のデータ汚染が、その後の安全調整を経てもエージェントの危険なコマンド出力に残る研究が報告されています。
  3. これは公開済みモデルの汚染を確認した報告ではなく、研究用に学習したモデルでの結果です。
  4. モデルの来歴と、出力を実行する側の権限・通信先・承認を、配置場所とは別に確認する必要があります。

オープンLLMを自社で動かすことは、入力や出力の扱いを自社で管理するための選択肢です。しかし、モデルを置く場所と、モデルがどのように作られ、何を実行できるかは別の問題です。学習時に埋め込まれた危険な振る舞いは、推論サーバーを社内に移しただけでは取り除けません。

2026年10月の研究「Agentic Backdoors via Pretraining Poisoning」は、この区別を考える材料になります。事前学習へのデータ汚染が、その後の調整を経ても、エージェントの危険なコマンド出力に残る条件を報告しています。ただし、公開済みのQwen3からバックドアが発見されたという報告ではありません。研究用モデルの結果と、実際に導入するモデルの状態は区別して読む必要があります。(論文v1)

以下では関連研究、モデルの読み込みに関する公式文書、運用の指針を照合し、自社ホスティングで確認する対象を整理します。当サイトで学習や攻撃評価を追試した記録ではありません。途中で用いる社内開発支援AIは説明のための架空例であり、対策の阻止率を実測したものでもありません。

自社ホスティングで管理できる範囲

自社ホスティングの効果を考えるには、配置、データの流れ、操作の権限を分けます。「社内にある」という一つの説明に、これらをすべて含めると、どこまで確認したのかが曖昧になります。

推論の配置と学習の来歴

ここでいうオープンLLMは、入手可能な学習済みの重みを自社の計算環境で動かすモデルを指します。重みは、学習で調整された数値の集合です。ライセンスやオープンソースの定義の適否は扱いません。重みを取得できることと、その重みを作るために使われた原データや全工程を確認できることは、受け入れ時の別々の項目です。

自社運用では、推論先、入力の保存方法、ログを読める担当者、接続できるネットワークを、自社の構成として決められます。外部の推論サービスへ入力を送らない構成を目指すなら、その点には意味があります。ただし、実際に送信がないかは、モデルの配置図だけでなく、周辺部品の設定と通信経路まで確認して判断します。

一方、モデルを配布元から受け取る場合、そのモデルの学習工程は受け取り以前にあります。自社が管理する推論環境の内側に、外部で作られた成果物を持ち込む関係です。自社側が確認できるのは、受け取る版や説明資料、試験した振る舞いなどであり、配置変更によって過去の工程が自社管理に変わるわけではありません。

社内開発支援AIでの具体例

架空の開発チームが、自社サーバーのLLMへコードを渡し、修正候補を作らせるとします。最初は回答を人が読むだけですが、便利なので作業用フォルダーへの書き込みとテスト実行を加え、さらに社内への成果物の公開も自動化したくなりました。

この変化で、モデルの置き場所は同じままです。しかし、出力が届く先は、画面上の文章からファイル、実行環境、ほかの利用者へ広がっています。導入時に「入力を外部APIへ送らない」と確認していても、後から付けた公開機能の権限を確認したことにはなりません。変更のたびに、何を新しく任せたかを言葉にする必要があります。

判断する対象この架空例で確認することその確認だけでは分からないこと
推論の配置入力を処理するサーバーと保存先学習時の汚染の有無
モデルの受け入れ配布元、固定版、説明資料未試験の条件での振る舞い
作業の権限読めるコードと変更できる範囲出力内容の正しさ
通信の許可各部品の接続先と用途許可範囲内での誤操作
公開の判断差分、公開先、承認との対応送信後の情報を回収できること

バックドア研究が示した条件と限界

バックドアは、通常は問題がないように見えても、特定の条件で攻撃者の意図した振る舞いをする裏口です。ここで重要なのは、普段の回答が正常であることと、特定条件での安全性を確認したことの違いです。関連する研究は、何を仕込み、どの段階を経て、何を測ったかで読み分けます。

事前学習からエージェントの出力まで

「Agentic Backdoors via Pretraining Poisoning」では、Qwen3の構造を使う0.6B・1.7B・4Bのモデルをゼロから学習しました。Bは10億を表す単位です。事前学習データを汚染し、その後は汚染のないデータで調整しています。正解例から学ぶSFT、望ましい応答の選好を使うDPO、結果を検証できる報酬を使う強化学習のRLVRを経ても、外部スクリプトを取得して実行するコマンドの出力が残りました。

4B・汚染率0.1%・通常の文字列を条件とする設定では、強化学習後のPass@32が92.7%、Pass@1が50.9%でした。いずれも3つの乱数設定での平均です。Pass@32は一つの入力に32回生成し、1回以上対象のコマンドを出した入力の割合、Pass@1は生成単位の割合です。どちらも生成評価であり、実環境での侵害率ではありません。(論文v1、3節・付録Bの表7と9)

92.7%という値だけを見て「自社LLMを使うと92.7%の確率で侵害される」と読むことはできません。評価入力、モデル、学習工程、生成の設定が決まった実験です。実際の組織で同じ条件にどれほど遭遇するか、出力が実行を許されるか、その操作がどこへ届くかは別に調べる必要があります。

より少量の混入を調べた実験は、評価条件も異なります。別条件の最小の混入量と最大の成功率を組み合わせず、採用判断の資料には数値とその条件を一緒に残します。

この研究は公開済みQwen3の重みを検査した報告ではなく、自社ホスティングと外部APIを比べた試験でもありません。大規模な実運用モデルや別の学習工程への一般化にも限界があります。自社配置への含意は、「学習済みの振る舞いを、配置の変更が除去するわけではない」という設計上の推論として扱います。(論文v1、6.2節)

安全調整の実施と除去の確認

2024年の「Sleeper Agents」は、研究者が条件つきの望ましくない振る舞いを学習させたモデルで、安全調整後にも残る設定を報告しました。SFT、強化学習、敵対的訓練を調べていますが、結果はモデルの規模や仕込み方に依存します。研究者が意図して作った挙動の実験であり、一般のモデルに自然に同じ状態が発生する確率を測った研究ではありません。(Sleeper Agents、v3)

この結果を受け入れ業務へ当てはめると、「安全調整を行った」という工程の説明と、「今回懸念する振る舞いがなくなった」という評価結果は分けて確認することになります。前者は工程を実施した記録です。後者には、どのモデルにどの条件を与え、何を観測したかが必要です。工程名が書かれているだけで、今回の用途に必要な評価を省く理由にはなりません。

逆に、「安全調整は何をしても無効」と結論づけることもできません。特定の実験で残った振る舞いを、すべての学習方法、すべての防御策、すべてのモデルへ広げるのは過剰です。利用者が知りたいのは、今回採用する構成について、何が確かめられていて、何が未確認なのかです。

混入割合だけでは捉えられない研究

2025年の「Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples」は、600Mから13Bまでのモデルで、特定条件に対して意味の通らない文を出す挙動を調べました。250文書の混入で、試したすべての規模に効果があったと報告しています。主実験は文章生成の挙動が対象で、外部操作の成功率ではありません。複雑な動作や現実的な後学習を経た残存には未確認の部分があります。(少数文書の研究、v1)

三つの研究は、同じ攻撃の成績表ではありません。2024年は仕込んだ後に安全調整で消えるか、2025年はモデルとデータの規模に対してどれだけの混入が必要か、2026年は事前学習から後学習を経て操作を促す出力へ届くか、という異なる問いを扱います。数値を順位づけするより、従来どのような想定に頼っていたかを見直す材料として読む方が有用です。

図 1.8.1 学習の来歴と実行許可の境界は、研究の経路と運用上の対策を整理した独自の図です。学習時の混入は自社配置のモデルへ引き継がれ得ますが、操作を許可する判断は実行側に置きます。この図は、図示した対策の阻止率を研究が実測したという意味ではありません。

学習の来歴と実行許可の境界学習時の混入が自社配置のモデルへ引き継がれる経路と、モデルの出力を受けた実行側が操作を許可または停止する境界自社の運用環境学習データの混入学習済みモデルコマンドの提案実行側の許可判断許可範囲で実行拒否して停止
図 1.8.1 学習の来歴と実行許可の境界

モデルの受け入れで分ける三つの検査

研究で扱われる学習済みの振る舞いと、配布ファイルを開いたときの危険は、発生する場所が違います。一方への対策で他方まで解決したと判断しないよう、検査対象を分けます。

実行時のプロンプトインジェクションも別の経路です。学習データの汚染は学習工程を通じて重みへ影響する一方、実行時の注入は、今回読む文書やツールの応答などに含まれる内容が指示として作用する問題です。モデルの来歴と、運用中に読む外部の内容の扱いは、両方を確認します。(OWASP、Key Risks)

保存形式、追加コード、振る舞いの違い

Hugging FaceのSafetensorsは、テンソル(多次元の数値配列)を保存する形式です。Pythonのオブジェクトを保存・復元するpickle形式との違いを説明しており、重みの保存・読み込みの安全性を考える資料になります。一方、TransformersのLoading modelsは、カスタムモデルが提供する実装コードには別の注意が必要であること、対象のcommitを固定して後の変更を避けることを説明しています。(Safetensors、Loading models)

ここから導かれる受け入れ上の区分は、保存形式、追加コード、学習済みの振る舞いです。安全な保存形式を選んだことは、モデルが生成する内容の意味を検査したことにはなりません。同じ重みでも、読み込むために追加のコードを実行するなら、そのコードは別の確認対象です。

検査する対象主な確認の時点区別する理由
重みの保存形式取得・読み込みファイルの扱い方に関わるため
追加の実装と依存関係導入・起動・更新重み以外のプログラムも動くため
学習済みの振る舞い推論・用途別評価条件に応じた出力を扱うため

「safetensorsを採用したので、学習由来のバックドアもない」とは言えません。モデルの重みを別形式で保存し直しても、出力の安全性が証明されたことにはならないからです。同様に、付随コードのレビューだけで、未知の入力条件での出力まで確認したことにもなりません。対策の名前ではなく、何を対象にした確認かを記録します。

PyTorchのSecurity Policyも、信頼できないモデルを信頼できないコードと同様に慎重に扱い、重みとコードの分離や来歴の確認を求めています。ただし、その原則から特定の配布物の安全性が自動的に決まるわけではありません。(PyTorch Security Policy)

固定版と説明資料を残す意味

commitやチェックサムの固定は、確認した物と運用する物を揃えるための管理です。チェックサムはファイルの内容を照合する値であり、一致すれば期待した内容かを確認する材料になります。しかし、問題を含むファイルでも、その内容を正確に固定できます。配布元による署名の確認も、署名者との対応を調べることと、出力の安全性を証明することは別です。

架空の開発支援AIの受け入れ台帳なら、モデル名だけでなく、配布元、固定した版、ファイル照合値、追加コードと依存関係の版、用途、評価日を一組として残すと整理できます。「先週試したモデルと同じ名前」ではなく、何を同じと確認したかを示すためです。これは独自の台帳例で、特定ツールの必須様式ではありません。

モデルカードは、この台帳と組み合わせて読む説明資料です。Hugging Faceは、用途と制約、学習条件、データセット、評価結果などを記すものと説明しています。どの情報が実際に記載されているかを確認し、欠けている部分を推測で埋めないようにします。(Model Cards)

たとえば、用途が対話と記載されたモデルを、ファイルを変更するエージェントへ使いたい場合を考えます。対話での評価結果を持っていても、ツールの選択や引数の妥当性、拒否すべき操作まで確認したことにはなりません。説明資料にある評価の範囲と、自社で許したい操作の差を受け入れ時の未確認事項として残します。

来歴が不明であることは、そのモデルが汚染されているという証明でもありません。分からないことを危険の発見として扱うと、事実と推測が混ざります。未確認の範囲を記録し、その状態でどの用途と権限まで受け入れるかを判断します。読み取りと提案だけの用途と、本番の変更を伴う用途を、同じ受け入れ条件にする必要はありません。

図 1.8.2 モデル受け入れで別々に確かめる対象では、取得した候補から重みと形式、追加コード、来歴の説明を分けて確認し、用途に合わせた評価へ集める関係を示します。どれか一つの合格が残りの確認を省略する根拠になる構成ではありません。最後の受け入れ判断は、確認できた範囲と保留事項を合わせて行います。

モデル受け入れで別々に確かめる対象受け入れ候補の重みと形式、追加コード、来歴の説明を別々に確認し、用途別評価を経て限定運用または保留を判断する関係受入候補重み形式追加コード来歴説明用途別の評価受入判断限定運用保留
図 1.8.2 モデル受け入れで別々に確かめる対象

モデルの外側で制限する実行と通信

学習由来の危険に対して、導入企業がモデル内部を完全に確認できるとは限りません。そのため、出力が誤っていた場合でも、どの操作まで届くかを実行側で制限します。以下は公式指針を架空の開発支援AIへ当てはめた設計例であり、特定のバックドアを防いだ実験結果ではありません。

推論サービスと実行部品の分離

OWASPのAI Agent Security Cheat Sheetは、最小権限とツールごとの認可、モデルの外側での実行判断を挙げています。承認は操作者、操作、対象、引数、期限と対応させ、再使用や内容変更を検査する考え方です。(OWASPの指針)

架空例では、モデルは修正候補と必要な操作を提案する役割にします。実行部品は、提案を受け取っても、そのまま権限を渡しません。利用者が対象の作業領域へアクセスできるか、要求した操作がその用途で許されるか、必要な承認があるかを確認してから、限定した権限で処理します。

モデルが文章の中で「承認済みです」と述べても、それは承認記録の代わりになりません。モデル自身が出した説明を、同じモデルの行動を許す根拠にすると、許可を判断する境界が失われます。承認した人と対象の対応は、実行部品が参照できる記録から確認する必要があります。

認証情報も同じ観点で分けます。コードを読んで修正案を返すモデルに、本番公開の認証情報まで渡す理由はありません。実行部品が公開を担当するとしても、常に利用できる広い権限を保持する構成と、認められた公開処理の範囲だけを扱う構成は区別します。社内ネットワークに接続できることと、社内のすべての資産を操作できることも同じではありません。

操作ごとに変わる承認の重さ

書き込みは対象の内容を変え、テストはコードを実行します。修正候補の生成が期待どおりに動いても、この二つを安全と判定したことにはなりません。操作別に失敗条件を考えます。

操作の例この架空例で確認する対象実行を止める条件の例
コードを読む利用者と作業用コピーの対応範囲外の資料を要求した
修正候補を書き込む対象ファイルと変更内容許可した領域の外を変更する
テストを動かす実行環境、使える情報、通信先必要な隔離条件が揃わない
成果物を公開する公開先、差分、承認の対応承認後に対象や差分が変わった
情報を外へ送る送る内容と宛先、送信の必要性内容や宛先を確認できない

承認画面にも、モデルが作った説明だけでなく、実行部品が扱う実際の対象を対応付けます。利用者が「テスト」を確認した後で、処理が「成果物の公開」へ変わったなら、その承認を使い回しません。対象や引数を変更できる時点と、許可を確定する時点が離れていると、何を認めたのかが曖昧になるためです。

図 1.8.3 提案と承認を照合する実行の流れでは、モデルの提案と独立した承認記録が実行側へ入り、一致する場合だけ実行する関係を示します。拒否した要求も結果として記録します。提案に付いた「承認済み」という文章を、そのまま通行証にしない構成です。

提案と承認を照合する実行の流れモデルの操作提案と独立した承認記録を実行側で照合し、条件が一致すれば実行、不一致なら拒否して、どちらも結果を記録する流れモデルの提案実行側で照合独立した承認一致なら実行不一致は拒否結果の記録
図 1.8.3 提案と承認を照合する実行の流れ

社内推論と外向き通信の違い

ローカルの重みを使っていることだけでは、周辺の通信は決まりません。Hugging Faceのhuggingface_hub文書では、HubへのHTTP呼び出しを止めるオフライン指定と、HFライブラリの利用状況の送信を止める指定を、別々に説明しています。前者はキャッシュを使い、必要な物がなければエラーにする動作です。(Environment variables)

これは、アプリ全体やOSの通信まで、その指定で一括して遮断できるという説明ではありません。開発支援AIなら、モデル取得、更新確認、推論、依存関係の取得、監視、成果物の送信などで、異なる部品が通信します。各部品が何の目的でどこへ接続するかを一覧にして、ネットワーク側の許可と照合する必要があります。

外部コードの取得を前提とする経路では、取得先へ到達できないことが、その経路を制約します。ただし、通信の制限は、社内ファイルの変更や、誤った回答を業務で採用することまで止めるものではありません。これは通信と権限を分けた設計上の推論であり、今回の研究を閉域で追試した結果ではありません。

完全に閉じた環境を考える場合も、運用のどの時点を閉じるのかを明確にします。推論時だけでなく、初回起動や更新時に何を持ち込むのか、その持ち込みを誰が確認するのかを決めます。通信を止めた結果、必要な部品の取得に失敗したときに、担当者の判断で広い通信を一時的に許す運用になれば、その例外も確認対象です。

なお、利用状況の送信機能が存在することと、入力本文や機密情報を送信していることを同一視しません。この調査では実通信を測っていません。何を送るかは対象の版と設定で確認し、観測していない情報流出を断定しないことも、運用上の説明の正確さに関わります。

コンテナの採用と隔離の成立

研究の公式実装は、既定の生成評価ではテキストを採点し、生成コマンドを実行する強化学習とは区別しています。後者には秘密情報のない使い捨て環境を求め、通信とホスト共有を基盤側で制限するよう説明しています。rootless containerだけを強固な境界とみなしていません。(公式実装の安全上の説明)

架空例で「コンテナの中でテストする」と決めた場合も、何が共有されているかを具体化します。作業用コードだけが見えるのか、開発者のホームディレクトリや認証情報まで参照できるのかでは、影響範囲が違います。どの通信先へ届くか、終了後に何が残るかも、コンテナを使うという一語では決まりません。

隔離は、モデルの悪い振る舞いを取り除く処理ではありません。モデルが範囲外の操作を要求して拒否されたなら、確認できたのは実行側の制限がその要求に対して働いたことです。次の版でも同じ条件で拒否されるかは、設定と試験の記録を使って確認します。「止まった」と「原因が消えた」を分けることで、対策の成果を過大にも過小にも評価せずに済みます。

評価、更新、停止を一組にした運用

導入時の審査だけでは、運用中の構成変更を扱えません。モデルを更新しなくても、読む資料、指示文、ツール、権限の変更で、AIが関わる処理は変わります。受け入れた構成と、実際に動いている構成を対応付ける記録が必要です。

評価結果に添える条件

有限の入力で異常が出なかったことは、その入力条件についての結果です。未試験の条件まで含めたバックドア不存在の証明へは広げられません。これは評価が無意味という話ではありません。対象と限界を示した評価は、変更前後を比較したり、許可する操作の範囲を決めたりする根拠になります。

架空の開発支援AIでは、正しい修正候補を作れるかと、範囲外の操作を実行しないかを別に見ます。回答の内容が期待どおりでも、実行部品が承認なしの公開を受け付けるなら、実行制御の確認は不十分です。逆に、実行側が拒否できても、修正候補の品質が業務に足りるとは限りません。役に立つことと、任せる範囲を守れることの両方を記録します。

出力の形式だけを検査する方法にも範囲があります。当サイトの6.4では、LLMの出力をZodとPydanticで検査し、形式に合っていても分類が誤る例を記録しました。この実測はバックドアの追試ではありません。形式への適合を、内容の妥当性や操作の許可と同一視しないための具体例として参照できます。

受け入れ時の記録には、モデルの固定版、推論ソフト、指示文、ツール定義、権限規則、対象資料の範囲、評価した日と条件をまとめます。これは独自の構成台帳の例です。モデル名だけを記録すると、以前と違う動作が出たとき、モデルが変わったのか、使う道具が増えたのかを区別しにくくなります。

段階的に任せる範囲を広げる判断

2026年5月の共同指針「Careful adoption of agentic AI services」は、低リスクで機微でない用途からの段階的な導入、高影響操作の人による確認、継続監視、異常時の停止や復帰を扱っています。ASDのACSC、CISA、NSA、英国NCSCなどによる指針です。日本の事業者への法的義務としてではなく、設計と運用の判断材料として参照します。(共同指針の公式本文)

この原則を架空例に適用するなら、最初は非機微な自作対象で提案だけを評価し、次に作業領域への限定的な書き込みを検討します。公開や外部送信は、影響先が変わる段階として個別に判断します。何回か便利に動いたことだけを理由に、自動的に権限を増やす設計にはしません。

試験は許可を得た対象だけで行い、初めは使い捨て環境と自作の資料を使います。本番へ移す際は、情報や権限の増分と追加の検査を記録します。当サイトでは、この試験を実施していません。

記録に残す操作と変更

NCSCの安全なAI開発の指針は、モデル、データ、指示などの来歴と版を管理し、既知の状態へ戻せるようにすることを扱います。運用の指針は、入力や振る舞いの監視と、変更時の評価を求めています。ログ自体の機密性にも注意が必要です。(Secure development、Secure operation and maintenance)

架空例の実行記録では、モデルが提案した操作と、実行部品が実際に行った操作を分けます。時刻、対象、適用した規則の版、許可または拒否の結果、承認との対応、処理の成否を確認できれば、モデルの説明だけに頼らずに調べられます。モデルが「変更しました」と返していても、実行部品が拒否していれば、ファイルを変更した事実とは扱いません。

記録を詳しくすることと、入力や秘密情報をすべて保存することも同じではありません。調査に必要な識別情報と、保存すると別の漏えい経路になる情報を分けます。ログを見る担当者の権限、保管先、削除の扱いは、推論サーバーの管理とは別に確認します。保存期間の具体値や法令上の適否は、この資料からは決めません。

更新では、モデルだけでなく道具と権限の変更も評価のきっかけにします。たとえば、従来は修正候補を保存するだけだった道具へ、公開する機能を加えた場合です。モデルの重みが同じでも、出力が引き起こせる影響は変わります。前のモデル評価が良好だったという理由だけで、この変更を受け入れることはできません。

異常時の停止と再開

想定外の書き込み要求を見つけたら、まずその操作を実行できる権限を止め、構成と記録を保存して調べる、という運用が考えられます。原因が学習由来のバックドアか、今回の入力や資料か、設定変更か、通常の誤りかは、観測だけではすぐに決まりません。異常な出力の発見と、原因の特定は別の段階です。

役割の例として、運用担当は権限停止と記録の保全、開発担当は構成差分と再現条件の確認、業務側は影響と再開範囲の判断を担当できます。これは架空の分担です。担当名を置く目的は、同じモデルへ何度もやり直しを求めるうちに、誰も停止を判断しない状態を避けることにあります。

切り戻し先は、単に一つ前のモデルファイルではなく、確認したモデル、設定、権限の組み合わせとして管理します。ただし、前の版にも問題がなかったという保証は別です。原因不明なら、自動実行を止めたまま、提案だけの範囲へ戻す選択肢も考えられます。元の機能をすぐ再開することと、安全に業務を続けることを同じ目標にしない方が判断しやすくなります。

自社ホスティングの採用理由は、入力の管理、運用要件、費用など組織ごとに異なります。その判断とともに、モデルの来歴、固定版、許可する操作、停止条件を具体化します。確認した構成と条件、残る未確認事項、制限した権限を説明できる状態にします。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する