第 3 章 評価データ3.1
評価データの作り方
AIエージェントの評価課題を、利用者の依頼、初期状態、成功条件から作る手順です。会議室予約の架空例で、通常・例外・保留の課題と採点の落とし穴を説明します。
要点
- 評価データは、試したい利用者の依頼と、実行前の状態、成功の条件を揃えて作ります。
- 実際に起きた失敗や手動で確認している場面から、代表的な課題を選びます。
- 操作すべき場面に加えて、操作せずに確認を求めるべき場面も含めます。
- 件数だけを増やさず、人が同じ条件から同じ合否を判断できるかを確かめます。
評価データセットは、エージェントがこなすべき仕事を、繰り返し試せる課題として集めたものです。質問と模範回答を並べるだけでは、ファイルや予約の状態を変えるエージェントを十分に評価できません。どの状態から始め、何が変われば成功かまで決める必要があります。
Anthropicの評価ガイドは、手動で確かめている動作や利用者が報告した失敗から課題を作ること、明確な成功条件を置くこと、動作すべき場合とすべきでない場合の両方を含めることを勧めています。また、試行ごとの環境分離と、正しい別解を落とさない採点を重視しています。以下では、これらを架空の会議室予約サービスに適用して説明します。実際の運用結果を示す事例ではありません。
課題にする仕事の境界
会議室予約エージェントの役割を、「希望条件を確認し、許可された会議室を予約すること」とします。まず、評価したい境界を短い文章にします。例えば「希望に合う空室があれば予約し、日付が不明なら予約前に確認する」です。
「自然に会話できること」だけでは、予約ができていない丁寧な返答を合格にしてしまうかもしれません。一方、「決められた順に空室検索を呼ぶこと」だけでは、必要な情報がすでにある場面でも同じ操作を強制してしまいます。仕事の成果と、守るべき制約を分けて書きます。
代表例から課題を作る手順
次の手順は、この架空サービス向けの作業例です。完成した課題は、エージェントを実行しなくても、人が入力と状態を読んで合否の基準を説明できる形を目指します。
- 失敗や手動確認の場面を選びます。 「日付を取り違えた」「予約済みなのに再度作成した」など、異なる原因を選びます。同じ失敗の言い換えだけを大量に集めないようにします。
- 依頼と必要な履歴を書きます。 「来週の会議室を取って」のような表現を試す場合は、試行の基準日時も固定します。例えば基準日時を2026-11-04(水)10:00とすれば「来週火曜」の期待日付は2026-11-10で、週を月曜始まりで数えるかは課題の注記に書きます。会話履歴が要るなら、どの発言までを入力に含めるかを決めます。
- 初期状態を作ります。 試験用の空室一覧、利用者の権限、既存の予約を用意します。本番の予約を書き換える必要はありません。課題ごとに必要な状態を複製できるようにします。
- 成功条件と禁止条件を書きます。 予約を作る課題では、対象の日時と会議室が一致し、不要な予約が増えていないことを確認します。確認を求める課題では、曖昧な点を尋ね、予約状態を変えないことを条件にします。
- 人が解けるかを点検します。 作成者以外の2人に入力・初期状態・候補の実行結果と採点基準を渡し、独立して合否と理由を書いてもらいます。食い違ったら、必要な条件や観測結果が記録に欠けていないかを確かめます。業務上必要な規則は、エージェントにも参照できる形で与えます。
- 課題の出所と版を残します。 元になった失敗の分類、作成日、初期状態の版、判定条件の変更理由を記録します。実際の会話を素材に使う場合は、そのまま配布せず、利用可能な範囲と機密情報の扱いを確認します。
通常・例外・保留を揃えた課題例
同じ予約という仕事でも、正しい結果は一つではありません。次の表では、操作する場面と操作を控える場面を対にしています。室名や状況は説明用に作ったものです。
| 課題 | 初期状態と依頼 | 成功の条件 | 防ぎたい失敗 |
|---|---|---|---|
| 通常の予約 | 指定日時の会議室Aが空いており、利用者に予約権限がある | 指定条件の予約が作られ、結果を伝える | 返答だけで予約が作られない |
| 日付の確認 | 依頼に日付がなく、履歴からも特定できない | 日付を尋ね、予約は作らない | 推測した日時で予約する |
| 空室なし | 指定条件に合う部屋がない | 空きがない事実を伝え、許可なく条件を変えて予約しない | 別の時刻や部屋を勝手に確定する |
| 既存予約の確認 | 同じ依頼に対応する予約がすでにある | 既存の予約を確認し、重複を増やさない | 再送された依頼で二重予約する |
この表の行数は、必要なデータセット件数の基準ではありません。ここで確認しているのは、選んだ仕事の境界を課題で表せるかです。別の利用者権限、時間帯の表記、変更や取り消しを製品が扱うなら、それらは別の課題候補になります。
件数より先に確かめる偏り
初期の課題では、利用者が頻繁に頼む仕事と、失敗したときに影響の大きい仕事のどちらも見えるようにします。この例なら、空室がある予約だけを増やしても、情報不足のときに止まれるかは分かりません。
作成後は、課題を業務の種類と失敗の種類で一覧にします。「通常の予約ばかり」「確認を求める課題がない」といった空白を見つけるためです。自然な利用頻度を再現する集合と、特定の失敗を厳しく探す集合を混ぜる場合は、それぞれの内訳を残します。全体の合格率だけでは、どの仕事が改善したのかを読み取りにくくなります。
図 3.1.1 課題の偏りを確かめる手順は、件数より先に行う確認の順序を示します。課題を作った後、業務の種類と失敗の種類で一覧にし、通常の予約ばかりで確認を求める課題がないといった空白を見つけます。自然な利用頻度の集合と特定の失敗を探す集合を混ぜる場合は、それぞれの内訳を残します。
必要な件数をこのページで一律に決めることはできません。対象の仕事と、検出したい違いが異なるからです。最初の集合は課題の解釈が揃うかを確認するために使い、運用中に見つかった未収録の失敗を加えていきます。
一つの依頼から境界条件を作る例
架空の会議室予約では、通常ケースを「11月10日の10時から1時間、4人、空室あり」と置きます。そこから一度に一条件だけ変えると、失敗の理由を比べやすくなります。
| ケース | 変える条件 | 期待する観測 |
|---|---|---|
| 通常 | 変更なし | 条件を満たす予約が1件できる |
| 人数不足 | 部屋の定員を3人にする | 予約を作らず、定員を満たす別候補を示すか確認を求める |
| 日時未指定 | 入力から開始時刻を除く | 時刻を質問し、予約は作らない |
| 重複送信 | 同じ依頼IDを再送する | 予約件数が増えない |
各行には初期の予約一覧、入力、成功条件、変えてはいけない予約を保存します。全行を同じ入力文の言い換えだけで増やしても、これらの条件は増えません。また、この4件の通過を予約業務全体の十分な試験件数とみなさず、実際に扱う時間帯や権限の違いは別の軸として管理します。
採点を歪める失敗例
一つ目は、模範の会議室名との完全一致だけで採点することです。依頼が「条件を満たす空室ならどこでもよい」なら、条件に合う別の部屋も正解です。特定の部屋だけを正解にしたいなら、その制約を依頼にも含める必要があります。
二つ目は、前の試行で作った予約を次の試行に残すことです。通常の予約課題が、途中から空室のない課題に変わってしまいます。初期状態を毎回戻し、エージェントの違いと環境の違いを分けます。
三つ目は、実行環境の故障をそのまま能力不足と数えることです。試験用の予約サービスが応答しなかった場合、課題の狙いが障害時対応でなければ、まず試行が成立したかを確認します。失敗の記録には、エージェントの判断、採点条件、試験環境のどこに原因がありそうかを残します。
評価データを育てる出発点は、多数の質問を作ることではありません。一つの仕事について、入力、状態、合否の理由が追える課題を作ることです。データセットと判定基準の区別は評価データセットとルーブリックで確認できます。
次のように一件へまとめると、採点器に渡す条件が明確になります(架空の形式例)。
id: room-date-missing-v1
source: synthetic
reference_time: "2026-11-05T09:00:00+09:00"
request: "4人の会議室を10時から1時間予約して"
initial_state: "日付を特定できる会話履歴なし、予約一覧は空"
expected_reply: "利用日を尋ねる"
expected_state: "予約一覧は空のまま"
fail_if: "日付を推測して予約を作る"自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する