リリース判断の基準
AI エージェントの能力・回帰・安全の評価を、未確認の範囲や運用準備と合わせて読む方法を説明します。架空の候補版を比較し、公開する範囲、保留する理由、再判断の条件を整理します。
要点
- リリース判断では、候補の版と利用範囲を固定し、能力・回帰・安全の評価結果を、それぞれの必須条件に照らして確認します。
- 能力の改善だけで重大な回帰や安全上の不適合を相殺せず、未実施と判定不能を合格から分けます。
- 残るリスクには対応と責任を結びつけ、監視、停止、復旧の準備も判断材料にします。
- 限定した範囲で出す場合は、その制限を実際に強制できることと、限定後の構成を評価したことが必要です。
定義
- リリース判断(release decision)
- 特定の版を、定めた利用者と用途に提供してよいかを決めることです。
- 残余リスク(residual risk)
- 対策を実施しても残るリスクです。
- ロールバック(rollback)
- 変更前などの既知の構成へ戻すことです。
リリース判断(release decision)は、特定の版を、定めた利用者と用途に提供してよいかを決めることです。評価の点数を一つ出すこととは異なります。たとえば、申請書を作る力が向上しても、別の人の申請を表示してしまう版なら、そのまま提供する理由にはできません。
ここでは架空の社内申請支援を例にします。エージェントは申請内容を整理し、下書きを保存し、許可された条件で提出します。リリースの候補には、下書き作成を改善した版と、提出まで自動化した版があるとします。どちらを出すかを、用途、確認できた結果、残る問題、運用の準備から考えます。以下の判断表は説明用の設計例であり、実在する製品の評価結果や、すべての製品に共通する合格基準ではありません。
判断対象となる版と用途
最初に揃えるのは、何について判断しているかです。「新しいモデルを評価した」という記録だけでは、提供するエージェントの動作と結びつきません。モデル以外に、指示文、利用できる道具、権限、参照資料、実行環境も、申請支援の動作を決める構成要素です。
この例では、候補版ごとに構成の一覧を保存し、評価した版と提供する版を照合します。評価後に権限設定や参照資料を変えた場合は、その変更が影響する結果を再確認します。以前の構成で得た合格を、新しい構成へ無条件に引き継ぎません。
| 固定する対象 | 申請支援で残す内容 | 不一致がある場合の扱い |
|---|---|---|
| システムの版 | 実装、モデル、指示文、道具と設定 | 変わった箇所と影響する評価を特定する |
| 利用する範囲 | 対象利用者、申請の種類、参照できる資料、許可する操作 | 範囲外の用途まで合格としない |
| 評価の条件 | ケース、初期データ、採点基準、試験環境の版 | 条件差を明示し、比較できない値を一つにまとめない |
| 判断時点 | 結果が揃った時点、その後の変更、未解決事項 | 新しい変更や問題が出たら判断の有効性を見直す |
NIST AI RMF は、試験条件の記録と、実際の利用条件に近い評価、適用範囲の限界の明示を扱っています(MEASURE 2.1・2.3・2.5)。上の一覧は、その考え方を申請支援の判断資料へ当てはめたものです。資料の版まで固定できない外部サービスがあるなら、その不確実性も残します。
能力・回帰・安全の結果の役割
評価の結果は、何を示すためのものかを分けて読みます。能力評価は、新しい仕事や難しい仕事がどこまでできるかを見る評価です。回帰評価は、以前できていた仕事が変更後もできるかを見る評価です。Anthropic はこの二つを区別し、能力を改善する際にも回帰評価を併用する考え方を示しています(Capability vs. regression evals)。用語の詳しい説明は1.3にあります。
安全に関わる評価では、許可のない申請を読まない、未確認の提出を止める、といった制約を守ったかを見ます。拒否の文章が適切でも、裏で申請が提出されていれば、その制約は満たしていません。回答と実際の状態変化を照合した結果が判断材料になります。
| 評価の役割 | この例で確かめる内容 | リリース判断での読み方 |
|---|---|---|
| 能力 | 複雑な申請から必要項目を整理できるか | 提供したい価値と、まだ支援できない仕事を示す |
| 回帰 | 既存の申請の保存や修正が引き続き正しく動くか | 新しい機能と引き換えに失った既存機能を示す |
| 安全 | 本人以外の情報を開示せず、未許可の提出を止めるか | 許してはいけない結果が確認されていないかを見る |
| 観測の充足 | 必要な試験を実施し、結果を確認できたか | 結論が出た範囲と、未実施・判定不能を分ける |
観測の充足は、能力などと平均して点数を上げる項目ではありません。たとえば提出先の記録が取れていない場合、「提出は起きなかった」とは結論できません。未実施はまだ試していない状態、判定不能は試したが証拠不足などで結論を出せない状態です。いずれも合格とは分けます。たとえば架空の 48 ケースが合格 44・不合格 3・判定不能 1 なら、判定不能を除くと 44÷47≒93.6%、含めると 44÷48≒91.7% になるため、割合には分母と判定不能の件数を併記します。
個々の評価をどこで合格にするかは6.2の主題です。ここで行うのは、決めた基準で得られた複数の結果を持ち寄り、候補の利用範囲に必要な条件が揃ったかを確かめることです。
必須条件と残るリスクの分け方
判断を後から説明できるように、必ず満たす条件と、制約を明示して管理する問題を区別します。結果が悪かった後で基準を緩めると、試験の結果を判断材料として使えなくなります。変更が必要なら、理由と影響を記録し、新しい基準で改めて評価します。
この架空の申請支援では、権限のない情報を表示しないこと、未許可の提出を行わないことを必須条件にします。これらの不適合を、下書き作成の平均点の向上で打ち消さない設計です。どの条件を必須とするかは、対象の仕事と影響に応じて決める必要があります。
残余リスク(residual risk)は、対策を実施しても残るリスクです。単に「既知の問題あり」と書くのではなく、影響を受ける仕事、起こりうる結果、現在の対策、対応担当、再判断の条件を記します。NIST の MANAGE は、リスク対応の優先順位と残余リスクの記録を、展開の判断と結びつけています(MANAGE 1.1–1.4)。
この例で、複雑な申請は下書きの確認に時間がかかるという制約が残るなら、支援する申請の種類を明示して扱えます。しかし、権限のない情報開示が確認された状態を、利用者向けの注意書きだけで解消したことにはしません。また、未確認の結果は「小さなリスク」と確定したものではありません。必要な情報が欠けていること自体を、判断資料に残します。
候補版を比較する判断表
複数の候補を比べるときは、同じ用途に対する結果と、その候補だけにある用途を分けます。次の表では、候補甲は下書き保存まで、候補乙は提出までを提供範囲にしています。結果はすべて架空です。
| 判断材料 | 候補甲 | 候補乙 |
|---|---|---|
| 能力 | 対象とする申請の下書き作成が改善 | 下書き作成に加え、提出まで進める |
| 既存機能の回帰 | 対象の保存・修正で必須条件を満たした | 一部の既存申請を保存できない回帰が残る |
| 安全に関わる必須条件 | 対象の閲覧制限と、提出を実行しない制限を確認 | 提出に必要な条件が欠けても操作を進めたケースがある |
| 未確認 | 提出の実行は対象外 | 遅れて実行される送信の結果を観測できていない |
| 運用準備 | 対象範囲の監視、停止、戻す手順を確認 | 提出停止後に残る処理の扱いが未確認 |
| この例での判断 | 下書き保存までの限定提供を進める | 提出を含む提供は保留し、修正と再評価を行う |
候補甲の判断が成り立つのは、提出を許さない制限を実行時に強制でき、その構成で評価しているからです。「提出には使わないでください」という案内だけで、提出できる構成を提供するという意味ではありません。対象外とした機能が共通部分を通じて情報開示などへ影響するなら、その影響も対象範囲で確認する必要があります。
候補乙から提出機能を外して提供したい場合も、表の不適合を削除するだけでは足りません。実際に構成を変えて提出経路を止め、残る機能の回帰と安全を再評価します。その結果が揃って初めて、限定した候補として再判断できます。
図 8.2.1 リリース判断の進め方は、判断の順序と分岐を示します。まず版と用途を固定し、能力・回帰・安全の結果を役割ごとに読み、必須条件を満たすかを確かめます。満たす場合は残余リスクを記録して判断記録を残し、満たさない場合は提供を保留し、修正して再評価します。
改善していても提供を止める判断例
次は、前の表の候補甲・乙とは別の架空の候補版を、現在提供している旧版と比べる例です。通常の下書き作成が旧版18/20件、候補版20/20件へ改善した一方、本人以外の申請を表示しない試験は旧版10/10件、候補版9/10件だったとします。合計では旧版28/30件、候補版29/30件ですが、これだけで候補版を採用しません。本人以外の情報を出さないことを事前に必須条件と定めていたためです。
判断記録には、候補版を保留した理由、失敗したケースID、再確認に使うデータと判定基準の版、現在提供している版を残します。修正後は失敗の一件だけでなく、通常の下書きと他の権限条件も再確認します。
この30件は説明用で、安全性を証明する件数ではありません。提供範囲を限定して試す場合でも、未解決の権限違反を「件数が少ない」として許容した扱いにせず、試せる範囲と未解決事項を明確に分けます。
提供後の対応まで含む判断記録
公開前の評価で確認できたことと、利用者に提供してから分かることは異なります。Anthropic は、自動評価と本番監視などの手法を組み合わせることを説明しています(How evals fit with other methods for a holistic understanding of agents)。リリース判断では、監視を行う予定があるだけでなく、問題を見つけた後の対応が動く状態かを確かめます。
申請支援の例なら、次の内容を判断記録へ添えます。
- 決定と適用範囲を記します。 候補の版、提供する機能と利用者、保留した機能、判断の根拠となった評価を対応させます。
- 残件と再判断の条件を記します。 未確認の対象、追加評価や修正の担当、期限や再確認の契機を具体化します。「様子を見る」だけでは、いつ判断を更新するか分かりません。
- 停止と復旧の担当を定めます。 何を検知したら誰がどの機能を止めるか、どの構成へ戻せるかを確認します。役割は組織が認めた手順に従い、人とAIの実施範囲を明確にします。
- 提供後の確認を結びつけます。 対象の版が利用環境に反映されていること、制限が有効なこと、必要な監視記録が届くことを確認します。監視する指標の設計は7.1で扱っています。
ロールバック(rollback)は、変更前などの既知の構成へ戻すことです。申請支援の実装を戻しても、すでに提出した申請や送信した通知が自動で取り消されるとは限りません。この例では、構成を戻す手順とは別に、実行待ちの処理を止め、実行済みの結果を確認する手順を用意します。NIST の MANAGE 2.4・4.1は、停止などの責任と、運用中の監視・対応・復旧を扱っています(AI RMF Core)。
リリースを決めた記録は、その後の用途や構成の変更まで認めるものではありません。判断の対象、残した制約、再評価の契機が揃っていれば、新しい問題が見つかったときにも、どの前提が崩れたのかを確かめられます。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する