第 3 章 評価データ3.2

評価ケースごとの期待結果の定義

AIエージェントの評価で何を正解とするかを、結果・制約・許容される別解に分けて定義します。架空の予約課題を使い、判定条件の書き方と採点の点検方法を示します。

要点

  1. 期待結果は、評価ケースを実行した後に満たしてほしい条件です。
  2. 正解の文章を一つ示すだけでなく、残るべき状態、守るべき制約、許容できる違いを明記します。
  3. 条件を満たす別解を不合格にせず、変更してはいけない対象も確認します。
  4. 判定に必要な記録が欠けた場合は、成功したと推測せず、判定不能の理由を残します。

期待結果は、課題に対して「何が成立すれば成功か」を表す条件です。エージェントの返答が模範文と同じでも、頼んだ予約が作られていなければ仕事は終わっていません。逆に、同じ条件を満たす別の会議室を選んだだけで、不合格にするのも不適切です。評価ケースを作るときは、望む結果と、結果へ至る一例を分けて考えます。

Anthropicの評価ガイドは、課題と採点条件の曖昧さを取り除き、正しく指示に従った解を落とさないことを重視しています。τ-benchは、会話の最後のデータベース状態を目標状態と照合する評価方式を示しています。一方、Inspectの採点器は、文字列の照合、モデルによる判断、形式など別の基準による判定を区別します。何を正解と定めるかによって、確認すべき記録と判定方法が変わります。

結果と制約を分けた定義

次の例は、架空の会議室予約サービスです。試験用の利用者は、会議室AとBを予約できるものとします。

依頼は「2030年4月10日の10時から11時まで、4人で使える会議室を一つ予約してください。部屋はAでもBでも構いません」です。日時はこの課題の固定値であり、現在の日付や実在の空室とは関係ありません。両室には空きがあり、定員も条件を満たすという初期状態を用意します。

観点この課題で確かめる条件確認する記録
仕事の結果新規予約は今回の一件だけで、日時・利用者が指定どおりである試験用予約一覧の実行前後の差分
選択の条件選ばれた部屋はAまたはBで、定員が4人以上会議室台帳と予約内容
変えてはいけない状態他の予約は変更・削除されていない実行前後の予約一覧の差分
利用者への説明確定した日時と部屋を伝えている最後の返答
許容する違いAとBのどちらを選んでもよく、自然な言い換えを認める上の条件と返答の意味の対応

この表は、すべてのシステムに共通する採点表ではありません。例えば「部屋Aを予約する」が利用者の要求なら、Bは許容される別解ではなくなります。逆に、入力にない部屋の優先順位を採点器だけが知っていると、要求を満たした結果を誤って落とします。

参照解と許容される別解

参照解は、条件を満たすことを確かめた解の見本です。この例なら「部屋Aの予約を一件作成し、その日時と部屋を返答する」という結果を一つ用意できます。ただし、その見本を唯一の正解にする必要はありません。

比較するときは、固定する値と、条件で表す値を分けます。日付・開始時刻・終了時刻・利用者は一致が必要です。部屋はAまたはBという集合で表せます。システムが発行する予約IDは毎回変わり得ます。この架空サービスで返答にIDを含める場合は、特定の文字列との一致ではなく、そのIDが実在する今回の予約を指すことを条件にします。IDを返すこと自体は、今回の依頼の必須条件ではありません。

ここで「IDはどんな値でもよい」とだけ書くと、存在しないIDを返しても通ってしまいます。許容範囲を広げるときも、何との関係を保つ必要があるかまで書くと、単なる完全一致から実務上の意味へ判定を移せます。

正解条件を点検する手順

採点コードを書く前に、条件の文章だけで結果を分類できるかを試します。次は本稿の課題を点検するための作業例です。

  1. 要求から条件を導きます。 日時、人数、予約件数などを抜き出し、どの発言や参照可能な規則を根拠にしたかを対応させます。採点側だけの隠れた要求を加えません。
  2. 成立する結果を作ります。 Aを選ぶ参照解に加えて、Bを選ぶ結果も用意し、両方が条件を満たすか確認します。まだエージェントを動かす必要はありません。
  3. 一か所だけ誤った結果を作ります。 たとえば二重予約(A と B を両方作る)は「新規予約は今回の一件だけ」で、他人の予約の削除は「変えてはいけない状態」で、差分がないまま「A を予約しました」と返す結果は「仕事の結果」で不合格になると、表の行と対応させて書きます。
  4. 判断の割れる箇所を直します。 「適切な案内」のように読み手で解釈が変わる表現は、日時と部屋の通知など、この課題に必要な観察対象へ書き換えます。文体の良さを測るなら、別の評価項目として残します。
  5. 判定方法と理由を記録します。 状態の比較で分かる項目と、返答の意味を読む項目を分けます。不合格時に、失敗した条件と確認した記録へ戻れる形にします。

合否と判定不能の区別

この課題を、全条件を満たせば合格とする方式で採点する場合でも、項目別の結果を残しておくと修正箇所が分かります。予約自体は正しいが返答の時刻が間違っている場合と、予約が一件もない場合を、同じ「失敗」の一語で消さないためです。部分点を使うなら、その重みや合格条件は目的に合わせて別途決めます。

判定に必要な実行後の予約一覧を取得できなかった場合は、成功したとも、予約が存在しないとも判断できません。この作業例では「判定不能」とし、欠けた記録を理由に残します。エージェントの誤りと、評価のための記録を集められなかった問題を混ぜないための扱いです。集計時にも判定不能の件数を隠さず、合格率の分母をどう決めたかを併記します。

架空の会議室予約課題での判定です。実行後の予約一覧が取れなければ成否を決めず判定不能とし、集計でも件数を示します。取れた場合は項目別に照合し、全項目を満たせば合格、一部でも未達なら失敗した条件を記録して不合格とします(図 3.2.1 会議室予約課題の判定の分かれ方)。

会議室予約課題の判定の分かれ方実行後の予約一覧を取得できたかで判定不能と条件照合に分かれ、照合した項目がすべて満たされれば合格、一部未達なら失敗した条件を残して不合格とする。取得不可取得済み全て満たす一部未達試行の終了予約一覧を取得判定不能件数と理由を併記項目別に条件照合合格不合格と失敗条件
図 3.2.1 会議室予約課題の判定の分かれ方

別解を落とさない予約の判定

同じ依頼でも、課題の条件が変われば許容する別解も変わります。

ただし「部屋が満室なら予約せず知らせる」という課題では、空きのある別の日へ移した予約を合格にしません。与えた日時を守ることも条件だからです。さらに「予約した」と返答しても保存先を読めなければ、成功は未確認です。

記録の形は「入力」「初期状態」「満たす条件」「変更禁止の対象」「観測方法」の五つに分けられます。観測方法に予約一覧の実行前後の比較を指定しておくと、正しい予約と同時に他人の予約を消した実行も検出できます。これは特定の予約製品の仕様ではなく、判定条件の設計例です。

採点条件で起きる失敗

返答に「予約しました」が含まれるだけで合格にすると、状態を変えずに完了を宣言した結果を見逃します。逆に、検索、空室確認、予約の呼び出し順まで常に固定すると、すでに有効な空室情報がある別の解き方を落とす場合があります。特定の操作や順番が必要な業務規則なら、その理由を要求として明記し、単なる実装例と区別します。

この例で最も避けたいのは、予約件数だけを見て「一件だから成功」と判断することです。日時、対象者、選択条件、他の予約への影響、返答との一致を、それぞれ検証できる条件にします。期待結果を具体化するときは、何を見れば正しい仕事だと判断できるかを、一つずつ条件として残します。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する