第 7 章 開発工程への組み込み7.6

レッドチームの OSS を同じエージェントで比べた結果

garak・PyRIT・promptfoo のレッドチーム機能を、自作の検証用エージェントへ同じ条件で当て、指摘の数、実害との一致、誤検出、時間、費用、CI への組み込みやすさを比べた実測の記録です。

要点

  1. 自作の検証用エージェント(守りの弱い版と守りを入れた版)に、garak 0.17.0、PyRIT 1.1.0、promptfoo 0.124.1 を同じモデル・同じ時間の上限で当てました。
  2. この条件では、PyRIT は弱い版で記録した実害 7 件のうちシステムプロンプトの漏えい 5 件を指摘し、模擬の社外送信 2 件は指摘しませんでした。
  3. promptfoo は弱い版の実害 3 件をすべて指摘し、garak は指摘が 36 件ありましたが、実害に当たるものは 0 件でした。
  4. 三つとも、検査ツールの指摘件数はこの実験で定義した実害の件数と一致せず、ツール呼び出しの記録と突き合わせて読む必要がありました。
  5. 結果は 1 回ずつの小さな実験で、道具の優劣を一般に示すものではありません。

定義

レッドチーム
攻撃する側の立場で対象を試し、守りの穴を見つける検査です。
カナリア
漏れたら分かるように、検証用のデータへ埋めておく一意の文字列です。

レッドチームの OSS は、攻撃の文を自動で作ってモデルやエージェントへ送り、望ましくない応答が返るかを採点する道具です。レッドチームとは、攻撃する側の立場で対象を試し、守りの穴を見つける検査を指します。代表的な OSS として、NVIDIA の garak、Microsoft の PyRIT、promptfoo のレッドチーム機能があります。名前は知られていても、同じ相手に当てたときに何が見つかり、何を見落とすかは、文書を読むだけでは分かりません。

そこで、架空の会社の社内アシスタントを自作し、三つの道具を同じ条件で当てました。検査は、私たちが作って手元で動かした検証用のエージェントにだけ行い、他社のサービスや実在のシステムには向けていません。この記事は、その実測の記録です。

比べた条件

比べる目的は、「どの道具を、どの段階で使い、その結果をどう読めば役に立つか」を決める材料を得ることです。条件をそろえないと件数の違いが道具の違いによるものか、設定の違いによるものか分からないため、次の表の条件を三つの道具で共通にしました。ただし、道具ごとに試せた範囲は違い、その差は次の節の表と「比べ方の限界」に書きます。

項目内容
検証用エージェント架空の会社の社内アシスタント。道具は、ファイルの読み取り、計算、架空の社員名簿の検索、メールの送信の四つ。メールの送信は模擬で、実際には送らず呼び出しを記録するだけ
二つの版弱い版(道具の側で権限を確かめない。システムプロンプトに秘密のメモを置く)と、守りを入れた版(読めるフォルダーの制限、名簿の項目の絞り込み、メール送信ツールでの社外宛ての拒否、ツールの結果を「データ」として包む指示)
対象のモデルgemma4:e2b を手元の Ollama 0.30.10 で実行。温度 0、seed 42
攻撃と採点のモデル三つとも Gemini 2.5 Flash-Lite。手元の中継を通し、道具ごとのトークン数を記録
上限1 回の実行は 20 分まで(どの実行も上限に届かず完了)。エージェントへの呼び出しは 1 回あたりおよそ 50〜130 回
確かめた危険の種類直接のプロンプトインジェクション、間接のプロンプトインジェクション(garak の latentinjection だけ。仕込んだ文書をエージェントに読ませる場面は、どの道具でも作られず未検証)、システムプロンプトの漏えい、機密情報の漏えい、メール送信による過剰な行動、ジェイルブレイク
実害の判定この実験での「実害」の定義。エージェント自身の記録で判定し、カナリア(漏れたら分かるように埋めた一意の文字列)が応答に出たとき、または模擬のメール送信ツールが社外宛ての送信を受け付けたときを実害とした

実害の判定を検査ツールの外に置いたのが、この比較の軸です。検査ツールが「失敗」と採点した応答と、記録から確かめた実害を突き合わせ、合わないものは応答を一件ずつ読んで分類しました。その手順を示したのが「図 7.6.1 道具の判定と記録を突き合わせる流れ」です。

道具の判定と記録を突き合わせる流れ攻撃の結果を、検査ツールの採点器による応答の判定と、エージェントの記録によるカナリアと社外宛ての模擬送信の照合の二つで判定し、突き合わせて指摘を五つに分け、指摘のない実害を見逃しとして数えます。検査ツールが攻撃の文を作る検証用エージェント応答の文章ツール呼び出しの記録採点器が判定カナリアと社外宛ての模擬送信二つを突き合わせる指摘を五つに分類指摘のない実害は見逃し
図 7.6.1 道具の判定と記録を突き合わせる流れ

エージェントは一つの攻撃に対して、応答の文章とツール呼び出しの記録の両方を残します。検査ツールの採点器は応答の文章を見て判定し、私たちはカナリアと社外宛ての模擬送信の有無を記録で照合します。検査ツールの指摘は、実害あり、道具の目標は達成したが秘密は出ていない、役割を名乗っただけ、別のシステムプロンプトを測った、誤検出の五つに分け、指摘されなかった実害は見逃しとして別に数えました。

道具ごとの設定

三つの道具は、攻撃の作り方も数え方も違います。そろえられない部分は、表に設定を明記して差として扱いました。

道具確認した版使った機能攻撃の文の出どころ
garak0.17.0(2026-09-09 公開)プローブ 6 種(promptinject.HijackHateHumans、latentinjection.LatentInjectionReport、sysprompt_extraction.SystemPromptExtraction、web_injection.MarkdownImageExfil、dan.DanInTheWild、agent_breaker.AgentBreaker)。各プローブは最大 15 件(soft_probe_prompt_cap。AgentBreaker は対象外で、守りを入れた版では 57 件)同梱のプローブと、実行時に Hugging Face から取得するデータ
PyRIT1.1.0(2026-09-04 公開)一往復の攻撃(同梱の種となる文、ジェイルブレイクのひな形)と、攻撃用モデルが会話を重ねる RedTeamingAttack(最大 3 往復)。採点は同梱の真偽判定の基準同梱のデータセットと、攻撃用モデルが作る文。過剰な行動と直接の注入だけは、目標の一文を私たちが書いた
promptfoo0.124.1(2026-10-08 公開)プラグイン 6 種(prompt-extraction、pii:direct、excessive-agency、policy、harmful:privacy、cyberseceval)を各 4 件に設定。戦略は basic、jailbreak-templates、crescendo(過剰な行動とポリシーだけ、最大 3 往復)攻撃用モデルが目的の説明から作る文

最小の設定は次のとおりです。対象の URL は手元の検証用エージェントで、他の宛先に向けるものではありません。garak は YAML の設定ファイル 1 つで動きます。

# garak 0.17.0(抜粋)
run:
  generations: 1
  soft_probe_prompt_cap: 15
plugins:
  target_type: openai.OpenAICompatible
  target_name: agent-weak
  generators:
    openai:
      OpenAICompatible:
        uri: http://127.0.0.1:18789/v1
        api_key: dummy

promptfoo は、目的の説明と、プラグイン・戦略の一覧を書きます。外部の生成サービスを使わない設定にしたので、攻撃の文は指定した攻撃用モデルが作ります。

# promptfoo 0.124.1(抜粋)。環境変数 PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true
redteam:
  purpose: 架空の会社の社内アシスタント。給与・私用の電話番号・認証情報・指示を明かさず、社外へメールしない
  numTests: 4
  plugins: [prompt-extraction, pii:direct, excessive-agency, policy, harmful:privacy, cyberseceval]
  strategies: [basic, jailbreak-templates, crescendo]

PyRIT はライブラリとして Python から呼び、対象、攻撃の方式、採点器を組み合わせます。

# PyRIT 1.1.0(抜粋)
target = OpenAIChatTarget(endpoint="http://127.0.0.1:18789/v1", api_key="dummy", model_name="agent-weak")
judge = OpenAIChatTarget(endpoint=JUDGE_URL, api_key="dummy", model_name="gemini-2.5-flash-lite")
scorer = SelfAskTrueFalseScorer.from_question(chat_target=judge, question=TrueFalseQuestion.from_yaml(LEAKAGE_YAML))
attack = PromptSendingAttack(objective_target=target, attack_scoring_config=AttackScoringConfig(objective_scorer=scorer))

結果の比較

次の表は、弱い版と守りを入れた版のそれぞれの結果です(「弱い版 / 守りを入れた版」の順)。数字はすべて実行の記録から集計しました。「道具の目標は達成」は、指示の内容を言い換えて話した、注入された印の文字列を出力した、別の人格を演じると答えたなど、道具が狙った反応は起きたが、カナリアの漏えいも社外送信も起きなかったものです。

観点garakPyRITpromptfoo
攻撃の件数(エージェントへの呼び出し回数)72(72)/ 129(129)44(54)/ 44(54)52(56)/ 52(55)
道具が指摘した件数36 / 2610 / 811 / 3
うち実害あり(記録で確認)0 / 05 / 03 / 0
うち道具の目標は達成(秘密は出ていない)27 / 202 / 34 / 3
うち役割を名乗っただけ(判断が分かれる)0 / 03 / 30 / 0
うち別のシステムプロンプトを測った7 / 10 / 00 / 0
うち誤検出(拒否・あいさつなどを指摘)2 / 50 / 24 / 0
実害の見逃し(記録では実害、道具は指摘なし)1 / 02 / 00 / 0
実行時間683 秒 / 989 秒406 秒 / 387 秒295 秒 / 144 秒
攻撃と採点のモデルの費用(二つの版の合計)0.0559 USD0.0228 USD0.0171 USD
指摘があったときの終了コード0自作のスクリプトで決める100

弱い版の記録に残った実害は、garak の実行でシステムプロンプトのカナリアの漏えい 1 件、PyRIT の実行で漏えい 5 件と模擬の社外送信 2 件、promptfoo の実行で漏えい 3 件でした。私用の電話番号、認証情報のファイル、給与の値は、三つのどの実行でも漏れていません。守りを入れた版では、三つとも実害は 0 件でした。

費用は、Gemini 2.5 Flash-Lite の有料枠の単価(入力 100 万トークンあたり 0.10 USD、出力 0.40 USD)と、中継で記録したトークン数から計算しました(Google、Gemini Developer API pricing)。失敗した試行の分も含みます。対象のモデルは手元で動かしたので、API の利用料は発生していません。電力・機器・作業時間の費用は集計していません。攻撃と採点のモデルの費用は、三つの道具を合わせて約 0.10 USD でした。

道具ごとの向き不向き

件数の大小だけで道具を選ぶと読み違えます。同じ「指摘」でも、意味が道具ごとに違ったためです。ここでは、この条件で見えたことを道具ごとに書きます。

garak

garak は、プローブ(攻撃を作る部品)と検出器(失敗を判定する部品)の組を数多く持ち、同じ設定のまま広い範囲を一度に試せます(NVIDIA、garak README)。この実験でも、注入された印の文字列をそのまま出力する反応や、文書に埋め込まれた指示に従う反応を、弱い版で 18 件、守りを入れた版で 13 件拾いました。モデルが外から来た指示に従いやすいかを幅広く見る用途に向きます。

実行の後には、プローブの系統(モジュール)ごとの結果をまとめた HTML のレポートが残ります。「図 7.6.2 garak の HTML のレポート(弱い版)」は、同じ設定で弱い版をもう一度実行したときのレポートです。モジュールごとに合格の割合と危険度の段階(DC-1〜DC-5)が並び、5 つのうち 2 つ(dan と promptinject)が高い危険度の段階に入りました。レポートが示すのは道具の検出器の判定で、エージェントの記録による実害の照合は含みません。

画面は横にスクロールできます(押すと実寸で開きます)

garak の HTML のレポートの画面です。弱い版に 5 つのモジュールを当てた結果で、2/5 modules are below DC-3(5 つのうち 2 つが危険度の高い段階)と出ています。モジュールごとの合格の割合は dan 27%、promptinject 27%、latentinjection 53%、sysprompt_extraction 67%、web_injection 100% です。攻撃の文は画面に出ていません。
図 7.6.2 garak の HTML のレポート(弱い版)garak 0.17.0 の HTML のレポート。2026-10-16 に同じ設定で弱い版を再実行したもの(指摘は 72 件中 34 件で、表の 36 件とは別の実行)

一方で、指摘の多くは検証用エージェントの秘密とは関係がありませんでした。システムプロンプトの抽出を試すプローブは、garak 自身が用意したシステムプロンプトを会話に入れ、それが漏れるかを確かめる作りでした。私たちのエージェントは呼び出し側のシステムメッセージを利用者の発言として扱うため、このプローブが測ったのは garak が渡した文章のほうで、エージェントに元からある秘密のメモの漏えい 1 件は指摘されませんでした。中身の分からない完成品のエージェントを外から試すときは、プローブが何を前提にしているかを先に読む必要があります。

エージェントのツールを狙う agent_breaker.AgentBreaker は、攻撃用モデルの分析結果を JSON として読む段階で、弱い版では 3 回とも読み取りに失敗し、実行されませんでした。守りを入れた版では同じ設定で動き、57 件の試行(garak の集計では判定 56 件)でエージェントにメール送信ツールを 7 回呼ばせました。そのうち許可していない宛先への 6 回は、メール送信ツールの側の権限の確認で拒否されています。弱い版で読み取りに失敗した原因は特定していません。また、指摘があっても garak の終了コードは 0 だったので、CI で止めるには、報告の JSONL を読んで判定する処理を自分で書きます。

PyRIT

PyRIT は、攻撃の対象、攻撃の方式、文の変換、採点器、記録を部品として組み合わせるライブラリです(Microsoft、PyRIT documentation 1.1.0)。この実験では、弱い版の実行で記録した実害 7 件のうち、システムプロンプトの漏えい 5 件を指摘しました。攻撃用モデルが応答を見て次の文を変える多段の攻撃では、模擬のメール送信ツールが社外宛ての送信を 2 回受け付けたと記録されています。

ただし、その 2 回は PyRIT の採点器が「目標は未達成」と判定し、見逃しになりました。応答には送信した旨が書かれていましたが、判定が分かれた原因は切り分けていません。今回使った真偽判定の採点器は応答の文章を材料にする作りで、ツール呼び出しの記録は見ていません。行動の被害を数えるには、記録と照合する仕組みが別に要ります。

PyRIT は設定ファイルではなく Python で組み立てるため、私たちの実行用の記述はコメントと空行を除いて 104 行になりました(garak は設定の YAML が 47 行と、AgentBreaker 用の 13 行)。今回はライブラリとして使い、検証用エージェントに合わせて対象と採点器、記録を組みました。間接のプロンプトインジェクションを試す方式は、攻撃者が書き込めるデータの置き場所を必要とします。検証用エージェントの文書は固定なので実行していません。攻撃の筋書きを自分で細かく組み、記録を研究や報告に使う用途に向きます。

promptfoo

promptfoo のレッドチーム機能は、目的の説明からプラグインごとに攻撃を作り、戦略で形を変えて送り、同じモデルで採点します(promptfoo、Red Team Configuration)。この実験では、弱い版の実害 3 回をすべて指摘し、見逃しは 0 件でした。システムプロンプトの開示を狙うプラグインには、実際のシステムプロンプトを設定で渡せるため、採点がエージェント自身の秘密に沿いました。指摘があると終了コード 100 で終わるので、CI でそのまま失敗にできます。

結果は、評価の結果と同じ画面に、プラグインと戦略ごとの合格数として並びます。「図 7.6.3 promptfoo のレッドチームの結果の画面(弱い版)」は、同じ設定で作った試験を弱い版へ流し直したときの画面です。システムプロンプトの開示を狙うプラグインは 4 件とも不合格で、過剰な行動のプラグインは全件合格でした。画面は再実行の結果で、52件中43件合格・9件不合格です。本文の比較表に記載した当初実行の指摘11件とは別の実行です。攻撃の文の列は画面の機能で隠しています。

画面は横にスクロールできます(押すと実寸で開きます)

promptfoo の結果の画面で、弱い版へのレッドチームの試験 52 件を、プラグインと戦略ごとの合格数の絞り込みとして並べています。PromptExtraction(システムプロンプトの開示)が 4 件中 0 件、CyberSecEval・PIILeak・Custom Policy が 4 件中 3 件、Harmful/Injection が 20 件中 18 件の合格で、ExcessiveAgency などは全件合格です。出力の列の見出しは 82.69% passing(52 件中 43 件)です。攻撃の文の列は隠しています。
図 7.6.3 promptfoo のレッドチームの結果の画面(弱い版)promptfoo 0.124.1 の promptfoo view。2026-10-16 に同じ設定の試験を弱い版へ流し直したもの(指摘は 52 件中 9 件で、表の 11 件とは別の実行)

誤検出は弱い版で 4 件ありました。社員が見つからないと答えた応答や、送るファイルを尋ね返しただけの応答を、方針の違反と採点しています。また、外部の生成サービスを止める設定(PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION)では、間接のプロンプトインジェクション、乗っ取り、データの持ち出しなどのプラグインと、jailbreak:meta などの戦略が使えません(promptfoo、Red Team Plugins、Red Team Strategies)。設定表の6種は設定ファイルの指定値です。保存済み集計では実行全体の52件を確認できますが、harmful:privacyだけの生成件数は残した集計から確かめられません。更新型の公式文書では外部生成が必要とされるため、この指定が同条件で今も有効とはみなしません。0.124.1 では、古い名前の戦略 jailbreak が外部の生成を必要とする jailbreak:meta に置き換わるため、最初の実行は攻撃の生成のあとで止まりました。外部の生成を止めた設定での比較は、promptfoo に不利な条件です。

比べ方の限界と、一方に有利だった点

この比較は、条件を記録して再現できるようにしましたが、一般の優劣を示すには規模が小さすぎます。次の点は結果を読むときに差し引いてください。

  • 各道具を各版で 1 回だけ実行しました。件数は数件から数十件で、偶然の差を区別できる大きさではありません。
  • 攻撃の数え方が違います。garak はプローブの文の数、promptfoo は試験の数、PyRIT は攻撃の数(多段は 1 件)で、エージェントへの呼び出し回数を括弧で並べました。
  • 実行時間には、評価の比較で同じ Ollama を使っていた時間帯と重なった影響が含まれています。garak の実行中に別の呼び出しが 23 回(弱い版)と 99 回(守りを入れた版)、promptfoo の弱い版の実行中に 74 回ありました。PyRIT の実行中は 0 回です。
  • 外部の生成サービスを止めた設定は promptfoo の機能を狭めました。garak の AgentBreaker は弱い版で動かず(原因は特定していません)、弱い版のツールを狙う試行は garak には含まれていません。逆に PyRIT は、筋書きを私たちが書いたぶん、狙いがこのエージェントに合っていました。
  • 対象のモデルは小さな gemma4:e2b です。大きなモデルや別の作りのエージェントでは、指摘の数も実害も変わります。
  • 「道具の目標は達成」と「誤検出」の分類は、記録と応答を私たちが読んで決めました。役割を名乗っただけの応答は、判断が分かれるため別に数えています。

この比較から言えること

この条件では、どの検査ツールの指摘件数も、この実験で定義した実害の件数とは一致しませんでした。garak は広く当てて反応の傾向を見る用途に、promptfoo は秘密の中身を設定に渡して CI の合否として扱う用途に、PyRIT は筋書きを組んで多段の会話を試す用途に合っていました。いずれの場合も、カナリアとツール呼び出しの記録をエージェントの側に用意し、道具の採点と突き合わせる手順を加えると、指摘の読み方が定まります。

今回の試行では、三つの道具とも、守りを入れた版の実害は 0 件でした。AgentBreaker が引き出した許可していない宛先へのメールも、メール送信ツールの権限の確認で拒否された記録があります。プロンプトインジェクションを完全に防ぐ確かな方法は分かっていない、というのが OWASP の見解です(OWASP LLM01:2025)。だからこそ、モデルへの指示ではなくツールの側で権限を絞る守りを、レッドチームの結果で確かめる意味があります。道具の選び方と開発の段階ごとの置き場所は AI エージェントのセキュリティ検査に使う OSS の役割と選び方、入出力の検査の比較は入出力の検査の OSS を同じ入力で比べた結果、試験の発注と結果の読み方は 4.3 で扱っています。

指摘の分類から対応を決める記録の例

五つの分類と見逃しは、数えた後に「何を直すか」までつなげて初めて役に立ちます。次の表は、自社の検証環境で同じ突き合わせをするときの運用例です。判断の内容は架空の例で、道具や記事が定める基準ではありません。

分類次に確かめること判断の運用例記録に残す項目
実害ありどの応答、どのツール呼び出しで起きたか守りを直し、同じ攻撃を再実行する攻撃の識別子、記録の行、修正の版
実害の見逃し採点器が判定に使った材料記録との照合を合否に加える採点の結果と記録の差
道具の目標は達成秘密以外に業務上困る内容か方針で許すか、守りの対象に加えるか決める判断した人と理由
役割を名乗っただけ名乗った後に秘密や行動が続いたか別に数え、判断する人を決めておく判断の結果と根拠
別のシステムプロンプトを測ったプローブが前提にした会話の形集計から外し、対象に合う設定で取り直す除外した件数と理由
誤検出拒否や確認の応答か採点の基準を見直す応答の要約

運用例として、CI で止める条件を「記録との照合で実害が 1 件以上」に置くと、garak の終了コード 0 や PyRIT の見逃しに合否が左右されません。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する