---
title: "指標と統計"
description: "AI エージェントの評価結果の読み方を扱う章です。成功率と信頼性、ばらつきと信頼区間、版の比較の統計的検証、費用と時間の指標を扱います。"
canonical: https://knowledge.uniquex.co.jp/agent-evaluation/metrics-and-statistics
type: "章の導入"
kind: "chapter"
answer: "この章では、評価結果の数字の読み方を扱います。一回の成功と、繰り返したときの一貫性を区別して、成功率と信頼性の指標を示します。一回の結果で判断してよいかを、複数回の試行と誤差の幅から考えます。モデルや設定を比べて改善と言えるかの統計的な検証と、速さと費用の指標も扱います。"
definitions: []
domain: "agent-evaluation"
chapter: 5
section: null
keywords: ["指標と統計"]
aliases: []
entities: []
tags: []
sources: []
author: "UNIQUEX 編集部"
reviewer: ""
published: 2026-10-12
updated: 2026-11-05
verified: 2026-10-12
---

# 指標と統計

> この章では、評価結果の数字の読み方を扱います。一回の成功と、繰り返したときの一貫性を区別して、成功率と信頼性の指標を示します。一回の結果で判断してよいかを、複数回の試行と誤差の幅から考えます。モデルや設定を比べて改善と言えるかの統計的な検証と、速さと費用の指標も扱います。

## この章の目的 [#この章の目的]

評価の数字は、集計の仕方と読み方で意味が変わります。たとえば一回ずつ試して 80% 成功したという結果は、同じ課題を繰り返したときの一貫性までは教えてくれません。この章は、成功率と信頼性の違い、結果のばらつき、版の比較、費用と時間の見方を扱います。

図 5.0.1 指標と統計を扱う四つの事柄は、この章が扱う事柄の並びを示します。指標と統計の章は、成功率と信頼性、結果のばらつき、版の比較、費用と時間の順に、数字の読み方を扱います。

![指標と統計の章は、成功率と信頼性、結果のばらつき、版の比較、費用と時間の順に、数字の読み方を扱います。](https://knowledge.uniquex.co.jp/figures/eval-m-ch5-flow.svg "図 5.0.1 指標と統計を扱う四つの事柄")

図 5.0.1 指標と統計を扱う四つの事柄

## 読者と想定する状況 [#読者と想定する状況]

評価結果を集計して判断する人、モデルや設定の変更で改善したかを確かめたい人が対象です。どの節からでも単独で読めます。

図 5.0.2 指標と統計の事柄に含まれる論点は、各事柄に含まれる論点を示します。指標と統計の章では、成功率と信頼性、ばらつき、版の比較、費用と時間の四つの事柄が、それぞれ具体的な論点を含みます。

![指標と統計の章では、成功率と信頼性、ばらつき、版の比較、費用と時間の四つの事柄が、それぞれ具体的な論点を含みます。](https://knowledge.uniquex.co.jp/figures/eval-m-ch5-map.svg "図 5.0.2 指標と統計の事柄に含まれる論点")

図 5.0.2 指標と統計の事柄に含まれる論点

## 同じ八割を課題ごとの記録へ分ける [#同じ八割を課題ごとの記録へ分ける]

架空の評価で、10課題を各5回実行し、50回中40回成功したとします。記録には「成功40／実行50」だけでなく、課題ごとの成功回数と、判定不能の回を分母に含めたかも残します。毎回失敗する課題が2件ある場合（残る8課題は5回とも成功）は、少なくとも1回成功した課題も毎回成功した課題も8/10です。すべての課題が5回中4回成功する場合は、少なくとも1回成功が10/10、毎回成功が0/10です。繰り返しても安定した結果が要る仕事なら毎回成功の割合を、やり直しが許される仕事なら少なくとも1回成功の割合を判断に使います。

安定して完了できる課題を知りたいなら、[成功率の単位](/agent-evaluation/success-rate-and-reliability-metrics)を決めます。少数課題の結果を全体へ広げたいなら、[反復と区間推定](/agent-evaluation/evaluation-variability-and-confidence-intervals)を確認します。再試行を許して成功が増えた場合には、[費用と所要時間](/agent-evaluation/measuring-agent-cost-and-time)も同じ試行IDで集計します。成功数だけで再試行の設定を選ばないことが、この章を使う場面です。

## 他の章で扱う事柄 [#他の章で扱う事柄]

採点器の作り方は第 4 章、合否の閾値の置き方は第 6 章、リリースの可否の判断は第 8 章で扱います。


## 更新履歴

- 2026-10-12: 初版（書籍型の目次に合わせた章の導入ページ）
- 2026-10-27: 実行環境の説明を整理。
- 2026-10-27: 重複する説明を整理
- 2026-10-28: 入力例、判定の分岐、結果として残す記録を具体化。
- 2026-11-05: 本文と更新履歴の説明を簡潔化
