評価の実行環境
AI エージェントの評価環境を、実行主体、通信先、保存先に分けて設計する考え方です。架空の備品予約を例に、隔離、初期化、秘密情報、外部依存、異常時の副作用確認を説明します。
要点
- 評価の実行環境は、エージェントを動かし、結果を観測するためのプログラム、データ、接続先の組です。
- 実業務へ影響を出さないために、ツールの実行場所だけでなく、評価プロセスの通信先と書き込み先も分けます。
- 比較する試行では初期状態と各要素の版を揃え、固定できない外部依存を記録します。
- 採点結果と環境の失敗を区別し、異常終了時も書き込みが残っていないか確認します。
定義
- サンドボックス(sandbox)
- 処理が使える資源や接続先を制限する実行領域です。
- フィクスチャ(fixture)
- 初期データのまとまりです。
評価の実行環境は、エージェントを動かし、結果を観測するためのプログラム、データ、接続先の組です。モデルを呼び出すプログラムだけでなく、ツールが触るファイルや台帳、外部サービス、採点器、ログの保存先まで含めて考えます。同じ課題を試しても、前の試行が残した予約や、接続先の変化が結果に混ざれば、何の差を比べたのか分かりにくくなるためです。
以下は、架空の備品予約を試験用台帳で処理させる設計例です。実在する台帳、利用者情報、秘密情報は使いません。一般的な規格や特定ツールの必須構成を示すものではなく、各部分の役割と確認場所を説明します。
一回の試行と環境の構成
課題は「備品Aを火曜午前に予約する」です。試験用台帳には備品Aが空いている状態を用意します。実行を制御するプログラムが依頼をモデルに渡し、モデルが要求した予約ツールの呼び出しを試験用の接続先へ送ります。処理が終わったら、返答文に加えて、台帳に備品Aの予約が一件できたかを採点器が調べます。
一回の試行とは、この課題を一度実行して結果を残すことです。次の試行では空き状態から始めます。この例で試行ごとの初期化を選ぶのは、先の予約による「すでに予約済み」という応答を、エージェントの能力の変化と混同しないためです。
| 部分 | この例で担うこと | 設定と確認の対象 |
|---|---|---|
| 評価を制御するプログラム | 課題を選び、モデルを呼び、ツール呼び出しを振り分ける | 起動設定、利用するモデル、通信先、使える資格情報 |
| ツールの実行場所 | 試験用台帳を読み書きする | 読めるファイル、書ける領域、プロセスと通信の制限 |
| 模擬した外部サービス | 予約受付や通知への応答を返す | 初期データ、成功・失敗の応答、実サービスへの転送がないこと |
| 採点器と記録の保存先 | 終了後の状態と実行記録を照合する | 参照する台帳、保存先、秘密情報を記録しない処理 |
サンドボックス(sandbox)は、処理が使える資源や接続先を制限する実行領域です。用意しただけで、評価に関わる全処理がその中へ入るとは限りません。Inspectでは、ツールなどのコードは評価プロセスで動き、サンドボックスのインターフェースを通じて依頼した作業が隔離環境で実行されます。(Inspect、SandboxingのOverview・Example)
この区別を予約の例に当てはめると、ツール用の領域を分けても、評価プログラムが実台帳へ直接通信できる設定を持っていれば、目的の分離はできていません。呼び出す順番だけでなく、実際にどのプロセスがどの接続先へ届くかを確認します。
通信と書き込みの分離
隔離の確認では、コンテナ名や「テスト用」という表示より、処理が利用できる資源を見ます。コンテナはプロセスを分ける手段の一つですが、共有した保存領域や渡した資格情報は別に確認する必要があります。
InspectのDocker環境では、自動生成される構成と、自分で渡すCompose構成の通信設定が異なります。また、コンテナの通信を制限しても、評価プロセスやモデル提供先の通信まで制限するものではありません。独自ツールが隔離領域を経由するかも確認が必要です。(Inspect、Task Configuration)
予約の例では、次のように分離します。これは確認表の例であり、項目を選ぶだけで隔離が実証されるわけではありません。
| 対象 | この例で許すもの | 実行前に確かめること |
|---|---|---|
| 台帳 | 架空の予約だけを置いた試行専用の保存領域 | 実台帳と同じ書き込み領域を共有していないこと |
| 通知 | 通知内容を記録する模擬窓口 | 実際の宛先へ配信する転送経路がないこと |
| 通信 | 評価に必要と定めた接続先 | ツールと評価プロセスの双方で、許した先以外へ届かないこと |
| 秘密情報 | 必要な場合だけ評価専用の資格情報 | 実業務の資格情報を引き継がず、読み取り範囲・有効期間を限定していること |
| 記録 | 試行ID、観測した状態、判断に必要な記録 | 資格情報や実利用者の情報が混ざらないこと |
モデルを外部サービスで利用する場合は、評価プロセスからそのサービスへの通信が必要になります。その経路は、予約ツールの通信とは別に扱います。モデルへ渡す架空データの範囲と、応答やログの保存先を把握したうえで接続します。
枠の中が隔離領域で、ツール実行は試行専用台帳と模擬通知だけに届く設計です。評価プロセスは枠の外にあり、モデル提供先への通信はコンテナの制限とは別経路です。点線は、実台帳や実宛先へ届く設定が残っていないか確かめる箇所を示します(図 6.3.1 隔離領域の内外にある通信経路)。
初期状態と再現性
再現性を考えるときは、同じプログラムを再び起動できることと、同じ条件で結果を比べられることを分けます。予約台帳の内容、利用するモデル、依頼文、ツールの応答が変われば、結果が変わった理由を一つに絞れません。固定できる条件を揃え、固定できないものを明記します。
初期データのまとまりをフィクスチャ(fixture)と呼びます。この例のフィクスチャは、備品Aが空いている試験用台帳と、受付場所を示す架空の案内資料です。試行の開始前に初期状態を読み取り、終了後の状態を保存してから次の試行用に作り直します。並列に動かす場合は、台帳や通知記録が別の試行と混ざらないように分けます。
Inspectにはサンプル単位のファイルや初期化処理を指定する仕組みがあります。一方、WebArenaの公式READMEは、評価用に自分の環境を用意することと、評価後に初期状態へ戻すことを案内し、公開デモを再現実験の環境とは分けています。初期化の単位は課題や道具に依存するため、本稿の「試行ごと」をすべての評価方式の規則にはしません。(Inspect、Per Sample Setup、WebArena、End-to-end Evaluation)
| 記録する条件 | 予約の例で残す内容 | 固定できない場合の扱い |
|---|---|---|
| 課題と採点 | 依頼文、期待する台帳状態、採点条件の版 | 同じ比較に混ぜず、条件の違いとして示す |
| 初期データ | フィクスチャの版と試行開始時の確認結果 | 初期化失敗として採点を始めない |
| 実行するもの | エージェント、ツール、依存ライブラリの版 | 変更した箇所を結果と結び付けて記録する |
| モデル | 識別子、設定、実行日時 | 提供側の内部更新を固定できないなら、その限界を明記する |
| 資源と制限 | 実行時間、並列数、メモリなどの設定 | 制限による中断を通常の不適合と区別する |
この表を揃えても、常に同じ結果が出ることを保証するものではありません。比較に使った条件を後から確かめ、結果の違いを調べるための記録です。評価データ自体の版管理は 3.3 で説明しています。
外部依存の扱い
外部依存は、評価側だけでは状態や応答を決められない接続先です。実際の予約サービスを使えば連携時の問題を見られる可能性がありますが、相手の仕様変更や停止も結果へ混ざります。何を確かめる評価かに合わせて、接続の種類を分けます。
予約ロジックの比較には、決めた応答を返す模擬サービスを使う方法があります。空きあり、満席、応答なしなどを用意すれば、その条件に対する動きを比較できます。ただし、模擬サービスで成功したことは、実サービスの認証や通信が動くことの確認にはなりません。
連携そのものを確かめる評価は、所有者の許可を得た試験用の接続先と、そこだけで使える資格情報で別に行います。使った接続先、日時、相手側の版など分かる範囲を残し、模擬環境の結果と区別します。通常の実行途中で模擬先が使えないからといって、実業務の接続先へ切り替えるといった補完はしない設計にします。
異常終了と結果の保存
環境の準備失敗、採点に必要な記録の欠落、エージェントが条件を満たさなかった結果を分けて記録します。異常を通常の低得点に混ぜると、エージェントの変更ではなく環境の不調を性能低下と見誤ります。記録の欠落を成功として数えることも避けます。
終了時は、採点の根拠になる最終状態とログを保存し、不要になった試験用の資源を片付けます。片付ける前に記録の取得を確認し、次の試行が初期状態から始まることまで確かめます。定期実行や変更時の自動実行へつなぐ手順は 6.1 に分けています。
以下は、模擬サービスが予約を保存した後で応答が途切れた場面の架空の記録例です。実際に動かした結果ではありません。
| 項目 | 試行 r-017 の記録 |
|---|---|
| 課題・採点の版 | 備品Aを火曜午前に予約、採点条件 v2 |
| フィクスチャ | fx-3、開始時の確認で備品Aは空き |
| ツール呼び出し | 予約ツールへ備品A・火曜午前を一回送信、応答は時間切れ |
| エージェントの返答 | 「予約できませんでした」 |
| 終了後の台帳 | 試行IDが r-017 の予約が一件 |
この記録から、三つを分けて判断します。第一に、台帳には条件どおりの予約が一件あるので、状態の条件は満たしています。第二に、返答は台帳と食い違っており、利用者に誤った結果を伝えています。第三に、時間切れの原因は、この記録だけでは特定できません。サービス側の受信・保存時刻と呼び出し側の期限を照合し、それまでは原因欄を「未確認」とします。判定は状態が合格、返答が不合格、試行全体は不合格として残します。
意図して応答断を起こす課題なら、耐障害性の採点対象に含めます。通常課題で試験基盤の障害が確認できたときだけ、事前の除外規則に従って別集計にします。r-017は原因未確認なので不合格のまま集計します。後で別集計に移す場合も、誤った返答は所見に残し、外した件数と理由を示します。
同じ場面でエージェントが自分で再送していたら、重複防止がなければ予約が二件残る可能性があります。採点条件に「試行IDごとの予約が一件だけ」を入れておくと、重複を合格と数えずに済みます。次の試行の前には、r-017 の予約が消えて備品Aが空きに戻ったことを確かめてから、fx-3 を読み込みます。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する