第 2 章 評価の設計2.1

最終状態・経路・一手という採点の粒度

AIエージェントを最終状態、操作の経路、一回のツール呼び出しといった粒度で採点することの違いを説明します。架空の資料整理を例に、必要な記録と結果の読み分けを示します。

要点

  1. 採点の粒度は、一つの判定でどこまでの仕事を見るかという範囲です。
  2. 最終状態は課題の後に残った結果、経路は結果に至る操作のつながり、一手は個々のツール選択や引数を対象にします。
  3. 結果の達成と途中の操作を別々に確かめると、失敗した箇所と仕事全体への影響を分けられます。
  4. 一手の成功を全体の成功とせず、途中の失敗だけで最終結果も失敗したと決めないことが大切です。

定義

採点の粒度
一つの判定で見る仕事の範囲です。
経路(trajectory)
結果へ至る操作の順序とつながりです。

採点の粒度とは、一つの判定で見る仕事の範囲です。「依頼どおりに終わったか」と「途中の操作を適切に選べたか」は、同じ記録だけでは答えられない場合があります。最終結果を確かめる採点に、必要な範囲の操作記録を組み合わせると、仕事の成否と改善する箇所を分けて考えられます。

例えば「資料Aを共有用の試験フォルダーへ複製し、一覧へ一行追加する」という架空の課題を考えます。エージェントは資料を探し、複製先を選び、一覧を更新します。完成後のフォルダーだけを見れば資料の有無は分かりますが、探す操作を繰り返した理由や、途中で失敗した呼び出しまでは分かりません。以下の例は本稿独自の説明用で、実際の製品や顧客で測定した記録ではありません。

三つの範囲と確認する記録

同じ試行でも、見る範囲を変えると答えられる問いが変わります。ここでは説明のため、結果、操作のつながり、個々の操作に分けます。すべての評価製品に共通する分類名を定めるものではありません。

範囲この課題で確かめること必要な記録の例
最終状態指定先に資料Aの複製があり、一覧の行が対応しているか実行前後のファイルと一覧
経路探索、複製、一覧更新がどうつながり、失敗からどう回復したか操作、引数、返された結果の時系列
一手複製先を指定する一回の呼び出しで、対象と引数を正しく選んだかその時点の依頼・利用可能な情報・呼び出し内容

最終状態(outcome)は試行後に環境へ残った結果です。Anthropicは、記録上の完了宣言と環境の状態を区別しています。τ-benchも、会話終了時のデータベース状態を目標状態と照合する方式を要旨で説明しています。上の例なら、返答に「整理しました」と書かれているだけでは、複製や一覧更新の成立を確認できません。

経路(trajectory)は、結果へ至る操作の順序とつながりです。DeepEvalの公式文書は、経路全体を一つの対象として見る評価と、内部の構成要素を個別に見る評価を区別しています。ここでいう一手は後者のうち、一回のツール選択や引数に注目した例です。構成要素の評価が常に一回の呼び出しだけを意味するわけではありません。

同じ結果に至る異なる経路

経路を見る目的は、模範の操作列をそのまま再現させることとは限りません。資料Aの所在を依頼文から特定できる試行と、検索して特定する試行では、必要な操作が違います。所在が分かっていて検索をしなかったという理由だけで不合格にすると、正しい別解を落とす場合があります。

AnthropicのStep 5は、特定の操作順を厳密に要求する採点が有効な別解を拒み得ると説明しています。そこで、この架空課題では複製先の内容と一覧を最終状態で判定し、探索の重複などは別の観察項目として残すことにします。操作数の少なさだけを成功条件に加えることはしません。

一方、途中で満たすべき条件が要求に含まれるなら、その条件を経路で確かめる意味があります。例えば、この課題に「一覧へ登録する前に複製した資料を開いて確認する」という明示の条件を追加した場合、最終状態だけでは実施の有無を判断できません。追加前の課題へ後から同じ条件を持ち込み、採点側だけの隠れた要求にしないことも必要です。

上から順に読みます。成否はどちらの場合も最終状態で判定します。ひし形の分岐で「ある」に進むのは、要求に明示された途中条件がある場合です。このときは経路で実施を確認します。「ない」の場合は経路の採点を加えず、探索の重複などは合否と別の観察項目として残します(図 2.1.1 途中条件の有無で変わる採点範囲)。

途中条件の有無で変わる採点範囲架空課題の試行をまず最終状態で判定し、要求に途中条件があるかで、経路を確認するか、探索の重複を観察項目に残すかが分かれる流れ。あるない別枠で架空課題の試行最終状態で成否を判定途中条件が要求にある?経路で実施を確認経路の採点は加えない重複探索は観察項目へ
図 2.1.1 途中条件の有無で変わる採点範囲

一手の判定と仕事全体の成否

個々の操作の採点は、修正すべき箇所を絞るために使えます。ただし、その点数を仕事全体の成功へ直接置き換えると、読み違いが起きます。

複製先を正しく指定できても、その後の一覧更新を忘れれば、この課題は未完了です。逆に、最初の検索で資料が見つからず、検索条件を直して完成できた場合は、途中の失敗と最終結果の成功が両立します。一回の失敗の有無だけでは、回復を含めた結果を表せません。

また、引数が正しいことと、操作が実際に成功したことも別です。試験用の保存先が利用できなかったなら、呼び出し内容と、保存先から返されたエラーを分けて残します。呼び出しを選ぶ能力の問題か、試験環境の問題かを調べる材料になります。エラーの原因は記録から確認し、返答の印象だけで推定しません。

採点範囲を決める手順

最初からすべての操作へ採点器を付ける必要はありません。採点器とは、記録に基づいて条件の成立を判定する処理です。次は、この架空課題で採点対象を選ぶ作業例です。実行を伴う検証は、自分たちが許可を得た試験環境で行います。

  1. 仕事の完了を表す状態を決めます。 資料Aの内容が指定先へ複製され、一覧に今回の対応行だけが追加され、元資料や既存行が変わっていないことを確認対象にします。条件そのものの作り方は3.2で扱います。
  2. 途中で守る条件を分けます。 要求にある確認操作などを抜き出し、最終状態から分からないものにだけ経路の確認を加えます。参考の操作順を、必須条件と混ぜません。
  3. 調べたい一手と情報を対応させます。 複製先の選択を調べるなら、その時点で与えられた依頼と候補、選んだ対象、引数、返り値を対応させます。後から得た情報を、その時点でも知っていたものとして扱いません。
  4. 異なる失敗を読み分けます。 複製先違い、一覧更新忘れ、最初の検索に失敗してからの回復を説明用の記録として用意し、どの判定が変わるべきか確認します。根拠となる記録がない項目は、未確認のまま残します。

ここで扱う経路の根拠は、確認できる操作・引数・応答などの実行記録です。モデルの内部の思考を取得できることは前提にしません。最終状態が取れていないのに操作記録から成功と決めたり、記録にない操作を行ったと補ったりしないようにします。

四つの試行を読み分ける対照表

以下は本文の資料整理の課題について、採点器を作る前に用意する架空の試行と、それぞれに期待する判定です。

試行記録に残ったこと最終状態一手(複製先の指定)経路で残す観察
T1複製先に別の共有フォルダーを指定し、一覧も更新不合格不合格なし
T2正しく複製したが、一覧を更新する呼び出しがない不合格合格一覧更新の呼び出しなし
T3最初の検索で見つからず、条件を直して二回目で特定し完成合格合格検索を二回実行
T4正しい引数で複製を呼んだが保存先がエラーを返し、返答は「整理しました」不合格合格保存先のエラー応答

採点器を作ったら、この四件を通します。表と違う判定が出た箇所は、採点器の不具合として先に直します。たとえば T3 を不合格にしたなら、検索の回数を合否に混ぜている可能性があります。T4 を合格にしたなら、環境の状態ではなく返答文を見ている可能性があります。

T4 は合否を不合格のままにし、保存先のエラーの原因を記録で確かめ、試験環境の不調と分かった場合に環境の異常の印を付けます。集計から除外するかは実行前の規則に従います。エージェントがエラーを受け取ったのに完了と答えた点は、環境の問題とは別に、返答の誤りとして残します。T1 と T2 はどちらも不合格ですが、直す箇所は複製先の選び方と一覧更新の手順で異なります。総合点だけではこの違いが消えるため、範囲ごとの欄をそのまま残します。

結果を集約するときの注意

採点範囲の違う結果を先に一つの平均へまとめると、原因を見失います。この課題なら「最終状態は不合格、複製先の選択は合格、一覧更新の呼び出しはなし」のように、仕事の成否と操作別の結果を並べる方が修正箇所を説明できます。総合点が必要な場合も、元の判定と根拠を残します。

経路を保存したこと自体も、正しく採点できた証拠にはなりません。AnthropicのStep 6は、実行記録と採点結果を読み、エージェントの誤りと採点側の誤りを見分けることを勧めています。何を一つの判定として見たのか、その範囲で何が確かめられたのかを説明できる形にすると、得点だけでは分からない改善の理由を残せます。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する