---
title: "評価データ"
description: "AI エージェントの評価データを扱う章です。作り方、期待結果の定義、保守、公開ベンチマークの使いどころを扱います。"
canonical: https://knowledge.uniquex.co.jp/agent-evaluation/evaluation-data
type: "章の導入"
kind: "chapter"
answer: "この章では、評価に使うデータの作り方と育て方を扱います。本番の失敗から集め始める方法と、件数の目安の考え方を示します。評価ケースごとの正解の定め方と、正解が複数ある場合の扱いを説明します。データの追加・削除・版の管理という保守の方法と、SWE-bench や τ-bench など公開ベンチマークの位置づけと限界も整理します。"
definitions: []
domain: "agent-evaluation"
chapter: 3
section: null
keywords: ["評価データ"]
aliases: []
entities: []
tags: []
sources: []
author: "UNIQUEX 編集部"
reviewer: ""
published: 2026-10-12
updated: 2026-10-28
verified: 2026-10-12
---

# 評価データ

> この章では、評価に使うデータの作り方と育て方を扱います。本番の失敗から集め始める方法と、件数の目安の考え方を示します。評価ケースごとの正解の定め方と、正解が複数ある場合の扱いを説明します。データの追加・削除・版の管理という保守の方法と、SWE-bench や τ-bench など公開ベンチマークの位置づけと限界も整理します。

## この章の目的 [#この章の目的]

以下は、架空の経費精算エージェントの設計例です。本番で「出張の日当を交通費として申請してよいか」と聞かれ、交通費として案内してしまった記録があったとします。これを評価ケースにするときは、次の四つを一件の中に書きます。

- 入力：問い合わせ文そのもの
- 期待結果：正解は二つです。日当の費目を案内すること、または規程の該当箇所を示して確認を促すことで、どちらも合格にします。交通費として申請してよいと案内した場合は不合格にします。
- 根拠：期待結果のもとにした規程の版
- 追加した日と理由：本番での誤案内

規程が改定されたら、このケースを直すか外すかを決め、変えた版を残します。正解の定め方は 3.2、追加と削除の記録は 3.3 で扱います。同じ問いを公開ベンチマークで代わりに使えるかは 3.4 で扱います。

図 3.0.1 評価データを扱う三つの工程と公開ベンチマークは、この章が扱う事柄の並びを示します。評価データの章は、データの収集、期待結果の定義、保守の三つの工程と、公開ベンチマークで足りるかどうかの見極め方を扱います。

![評価データの章は、データの収集、期待結果の定義、保守の三つの工程と、公開ベンチマークで足りるかどうかの見極め方を扱います。](https://knowledge.uniquex.co.jp/figures/eval-m-ch3-flow.svg "図 3.0.1 評価データを扱う三つの工程と公開ベンチマーク")

図 3.0.1 評価データを扱う三つの工程と公開ベンチマーク

## 読者と想定する状況 [#読者と想定する状況]

評価データを初めて用意する人、すでにあるデータが古くなって困っている人が対象です。どの節からでも単独で読めます。

図 3.0.2 評価データの工程に含まれる論点は、各事柄に含まれる論点を示します。評価データの章では、データの収集、期待結果の定義、保守、公開ベンチマークの四つの事柄が、それぞれ具体的な論点を含みます。

![評価データの章では、データの収集、期待結果の定義、保守、公開ベンチマークの四つの事柄が、それぞれ具体的な論点を含みます。](https://knowledge.uniquex.co.jp/figures/eval-m-ch3-map.svg "図 3.0.2 評価データの工程に含まれる論点")

図 3.0.2 評価データの工程に含まれる論点

## 他の章で扱う事柄 [#他の章で扱う事柄]

採点器の作り方は第 4 章、結果の統計的な読み方は第 5 章、本番の失敗を分析して評価に戻す循環は第 7 章で扱います。


## 更新履歴

- 2026-10-12: 初版（書籍型の目次に合わせた章の導入ページ）
- 2026-10-27: 実行環境の説明を整理。
- 2026-10-27: 日本語表現を校正し、助詞・語順・主語と述語の対応を改善
- 2026-10-28: 入力例、判定の分岐、結果として残す記録を具体化。
