第 3 章 評価データ · 導入

評価データ

AI エージェントの評価データを扱う章です。作り方、期待結果の定義、保守、公開ベンチマークの使いどころを扱います。

要点

  1. この章では、評価に使うデータの作り方と育て方を扱います。
  2. 本番の失敗から集め始める方法と、件数の目安の考え方を示します。
  3. 評価ケースごとの正解の定め方と、正解が複数ある場合の扱いを説明します。
  4. データの追加・削除・版の管理という保守の方法と、SWE-bench や τ-bench など公開ベンチマークの位置づけと限界も整理します。

この章の節

  1. 評価データの作り方のサムネイル3.1 評価データの作り方本番の失敗から始める、件数の目安の考え方
  2. 評価ケースごとの期待結果の定義のサムネイル3.2 評価ケースごとの期待結果の定義正解の定め方、複数解の扱い
  3. 評価データの保守のサムネイル3.3 評価データの保守追加・削除・版の管理
  4. 公開ベンチマークの使いどころのサムネイル3.4 公開ベンチマークの使いどころSWE-bench、τ-bench などの位置づけと限界

この章の目的

以下は、架空の経費精算エージェントの設計例です。本番で「出張の日当を交通費として申請してよいか」と聞かれ、交通費として案内してしまった記録があったとします。これを評価ケースにするときは、次の四つを一件の中に書きます。

  • 入力:問い合わせ文そのもの
  • 期待結果:正解は二つです。日当の費目を案内すること、または規程の該当箇所を示して確認を促すことで、どちらも合格にします。交通費として申請してよいと案内した場合は不合格にします。
  • 根拠:期待結果のもとにした規程の版
  • 追加した日と理由:本番での誤案内

規程が改定されたら、このケースを直すか外すかを決め、変えた版を残します。正解の定め方は 3.2、追加と削除の記録は 3.3 で扱います。同じ問いを公開ベンチマークで代わりに使えるかは 3.4 で扱います。

図 3.0.1 評価データを扱う三つの工程と公開ベンチマークは、この章が扱う事柄の並びを示します。評価データの章は、データの収集、期待結果の定義、保守の三つの工程と、公開ベンチマークで足りるかどうかの見極め方を扱います。

評価データを扱う三つの工程と公開ベンチマーク評価データの章は、データの収集、期待結果の定義、保守の三つの工程と、公開ベンチマークで足りるかどうかの見極め方を扱います。データを集める期待結果を定義するデータを保守する公開の指標を見極める
図 3.0.1 評価データを扱う三つの工程と公開ベンチマーク

読者と想定する状況

評価データを初めて用意する人、すでにあるデータが古くなって困っている人が対象です。どの節からでも単独で読めます。

図 3.0.2 評価データの工程に含まれる論点は、各事柄に含まれる論点を示します。評価データの章では、データの収集、期待結果の定義、保守、公開ベンチマークの四つの事柄が、それぞれ具体的な論点を含みます。

評価データの工程に含まれる論点評価データの章では、データの収集、期待結果の定義、保守、公開ベンチマークの四つの事柄が、それぞれ具体的な論点を含みます。公開ベンチマークSWE-bench・τ-bench位置づけと限界保守追加・削除・版の管理期待結果正解の定め方複数解の扱い集める本番の失敗から始める件数の目安
図 3.0.2 評価データの工程に含まれる論点

他の章で扱う事柄

採点器の作り方は第 4 章、結果の統計的な読み方は第 5 章、本番の失敗を分析して評価に戻す循環は第 7 章で扱います。