第 3 章 評価データ · 導入
評価データ
AI エージェントの評価データを扱う章です。作り方、期待結果の定義、保守、公開ベンチマークの使いどころを扱います。
要点
- この章では、評価に使うデータの作り方と育て方を扱います。
- 本番の失敗から集め始める方法と、件数の目安の考え方を示します。
- 評価ケースごとの正解の定め方と、正解が複数ある場合の扱いを説明します。
- データの追加・削除・版の管理という保守の方法と、SWE-bench や τ-bench など公開ベンチマークの位置づけと限界も整理します。
この章の節
この章の目的
以下は、架空の経費精算エージェントの設計例です。本番で「出張の日当を交通費として申請してよいか」と聞かれ、交通費として案内してしまった記録があったとします。これを評価ケースにするときは、次の四つを一件の中に書きます。
- 入力:問い合わせ文そのもの
- 期待結果:正解は二つです。日当の費目を案内すること、または規程の該当箇所を示して確認を促すことで、どちらも合格にします。交通費として申請してよいと案内した場合は不合格にします。
- 根拠:期待結果のもとにした規程の版
- 追加した日と理由:本番での誤案内
規程が改定されたら、このケースを直すか外すかを決め、変えた版を残します。正解の定め方は 3.2、追加と削除の記録は 3.3 で扱います。同じ問いを公開ベンチマークで代わりに使えるかは 3.4 で扱います。
図 3.0.1 評価データを扱う三つの工程と公開ベンチマークは、この章が扱う事柄の並びを示します。評価データの章は、データの収集、期待結果の定義、保守の三つの工程と、公開ベンチマークで足りるかどうかの見極め方を扱います。
読者と想定する状況
評価データを初めて用意する人、すでにあるデータが古くなって困っている人が対象です。どの節からでも単独で読めます。
図 3.0.2 評価データの工程に含まれる論点は、各事柄に含まれる論点を示します。評価データの章では、データの収集、期待結果の定義、保守、公開ベンチマークの四つの事柄が、それぞれ具体的な論点を含みます。
他の章で扱う事柄
採点器の作り方は第 4 章、結果の統計的な読み方は第 5 章、本番の失敗を分析して評価に戻す循環は第 7 章で扱います。



