第 5 章 指標と統計5.2

評価結果のばらつきと信頼区間

AI エージェントの評価結果が揺れる原因と、信頼区間の読み方を説明します。架空の成功件数を使い、Wilson 法の計算例、独立性の前提、反復と課題数の違い、比較の限界を整理します。

要点

  1. 評価結果は、選んだ課題、モデルの生成、採点や実行環境によって変わります。
  2. 信頼区間は、標本の取り方と計算方法の前提の下で、推定値の不確かさを幅として示します。
  3. 同じ課題の反復や関連する課題を独立な新しい課題と数えると、幅を狭く見積もることがあります。
  4. 成功件数と分母、独立に選んだ単位、計算方法を併記し、区間だけから本番の成功やモデル間の優劣を断定しません。

定義

ばらつき(variability)
課題や実行を取り直したときに、成功率や点数が変わることです。
信頼区間(confidence interval)
限られた観測から推定する値の不確かさを、下限と上限で示す方法です。
母集団(population)
結果を知りたい対象全体です。
標本(sample)
母集団の中から観測した一部です。
点推定(point estimate)
成功件数を対象の試行数で割った一つの値です。

評価結果のばらつき(variability)は、課題や実行を取り直したときに、成功率や点数が変わることです。信頼区間(confidence interval)は、限られた観測から推定する値の不確かさを、下限と上限で示す方法です。区間を付けるには、何を推定したいかと、何を独立した観測として数えるかを先に決めます。

架空の社内問い合わせ対応を考えます。AI エージェントが手順書を検索し、案内で解決できなければ担当窓口へ引き継ぎます。「必要事項を記載した引き継ぎが受理された」を成功条件として、相談の受付から受理の確認までを一試行とします。以下の数値は計算の説明用に作ったもので、実際の性能や推奨する試験件数ではありません。実際に評価する対象と資料は、所有者または管理者の許可を得た範囲に限ります。

評価結果が変わる要因

同じ「点数が変わった」でも、変化の原因によって追加すべき確認は異なります。まず、課題の選び方、同じ課題の実行、採点を分けます。課題は入力と成功条件の組、採点器は結果に基準を当てはめる仕組みです。

変わるもの問い合わせでの例確認する方向
選ばれた課題手順が明確な相談だけの日と、情報不足の相談が多い日評価対象の集団と課題の選び方
同じ課題の実行同じ相談でも、必要な情報を聞き返す場合と聞き忘れる場合がある同じ条件での反復結果
採点同じ案内を採点し直すと判定が変わる保存した同じ出力と採点基準の照合
実行環境試験用の検索先が使えず、案内まで進まない実行失敗とモデルの失敗の分離

これは架空例の原因を整理した表で、四つが常に独立して起こるという分類ではありません。Anthropic の評価設計も、モデルによる採点の非決定性や、試行間に残った状態が評価へ影響する点を扱っています(評価と採点の設計)。非決定性とは、同じ入力でも結果が一意に決まらない性質です。

案内文を生成し直すことと、保存した案内文を採点し直すことも別です。前者だけを増やしても、採点基準の誤りを直したことにはなりません。採点器と人の判断の照合は4.3で説明しています。

標本と推定したい集団

成功率をどこまで一般化するかを明らかにするため、母集団と標本を区別します。母集団(population)は結果を知りたい対象全体、標本(sample)はその中から観測した一部です。ここでは「同じ業務手順と利用条件の下で受け付ける問い合わせ」を母集団と考えます。

成功率の点推定(point estimate)は、成功件数を対象の試行数で割った一つの値です。二十件で十六件成功したなら 16 ÷ 20 = 80% ですが、別の二十件を選んだときにも十六件成功するとは限りません。どの相談を選んだかの違いを含めて、母集団での成功しやすさを推定したい場面があります。

一方、固定した課題一覧で一度観測した割合を記述するだけなら、その集計値自体は確定しています。そこへ区間を付ける際には、「同じ一覧を生成し直したときの揺れ」を扱うのか、「一覧にない同種の課題までの成績」を推定するのかを決めます。課題を選び直した不確かさと、同じ課題の生成の揺れは同じではありません。

手元で作りやすい相談だけを集めた標本に計算式を当てても、本番の相談全体を代表することにはなりません。対象範囲と抽出方法を記録する考え方は3.1、課題と採点基準の関係は1.4でも扱っています。

信頼水準と区間の読み方

区間を読む際は、その数字が何についての幅かを確認します。信頼水準(confidence level)は、同じ方法で標本を取り直して区間を繰り返し作るとき、真の値を含む区間が得られる割合に関する設定です。NIST は、95%信頼区間を「得られた一つの区間に真の値が95%の確率で入る」という意味とは区別しています(Confidence Limits for the Mean、Purpose)。

信頼水準は、推定の前提が成り立つ場合に、同じ手順を多数回繰り返したときの区間の性質を表すものです。すでに得た区間について、個々の回答の95%が正しいと示す値でもありません。近似式の場合、実際に真の値を含む割合は標本数などによって変わります。

また、区間が狭いことと、成功率が高いことは別です。低い成功率を精密に推定している場合もあります。区間の幅は精度を読む材料であり、仕事を任せてよいという判定そのものではありません。

成功率の Wilson 区間の計算例

結果が合否の二値で定まる単純な場合なら、成功件数と試行数から区間を計算できます。ここでは二項モデル(binomial model)を置きます。一定の成功確率を持つ独立した試行で、成功または失敗を数えるモデルです。NIST は、二項分布が各試行で同じ成功確率を仮定することを説明しています(Binomial Distribution)。

以下では、決めた問い合わせの集団から独立に一件ずつ選び、同じモデル・道具・採点基準で一回ずつ実行したと仮定します。各試行は成功か失敗かを判定でき、未実行や採点不能はないものとします。固定の難問を何度も複製した結果には、この仮定をそのまま当てはめません。

Wilson 法は、二項モデルの割合について区間を計算する方法の一つです。次の値は NIST の式に架空の成功件数を代入した、両側95%の Wilson 区間です。両側とは下限と上限の両方を求める設定を指します。計算には標準正規分布の係数約1.96を用い、最後に百分率の小数第一位へ丸めました(Confidence intervals、Wilson 法の式)。

架空の観測成功率の点推定両側95% Wilson 区間
二十試行で十六成功80%58.4%〜91.9%
二百試行で百六十成功80%73.9%〜85.0%
二十試行ですべて成功100%83.9%〜100.0%

最初の二行は点推定が同じでも、区間の幅が異なります。三行目では、観測した全件が成功していても、真の成功確率を100%に確定できません。この表はそれぞれの仮定の下での計算であり、二百試行なら十分、という必要件数の指定ではありません。

追計算する際は、成功件数を x、試行数を n として p̂ = x / n を計算し、参照先の Wilson 法の上下限式へ同じ信頼水準とともに入れます。単に成功率の上下へ一定の幅を足す計算ではありません。NIST は、よく使われる対称な近似区間では不可能な負の下限が出る場合や、小標本・少数失敗での区間の扱いも説明しています。ここでは方式を混ぜず、表の全行を Wilson 法で統一しています。

反復回数と課題数の違い

区間が実際より狭く見えないよう、同じ課題の反復を独立した新しい課題として数えないことが大切です。独立性は、単に実行IDが別であることではなく、何を選び直したかに関わる仮定です。

たとえば、同じ一つの手順書から作った相談が多数あるなら、手順書の読み違いによってまとめて失敗する可能性があります。このように共通の元資料や条件を持つまとまりをクラスター(cluster)と呼びます。Anthropic の統計に関する公式説明は、関連する課題のまとまりを無視すると標準誤差を過小評価し得ると述べています。標準誤差(standard error)は、平均などの推定値が標本の取り方でどれほど揺れるかを表す量です(A statistical approach to model evaluations、Recommendation 2)。

同じ相談を何度も実行すれば、その相談での生成の揺れを確かめられます。しかし、新しい種類の相談を確認したことにはなりません。同資料の Recommendation 3 は、反復した結果を課題ごとにまとめて扱う考え方を示しています。たとえば各課題の成功率を先に計算し、課題を選び直す不確かさを評価します。その値が0と1の間の割合になった場合、先ほどの二値の試行を数える Wilson 区間へ、そのまま流し込むことはできません。

関連する課題や不均等な反復がある場合は、課題・元資料・会話などのまとまりを記録し、その標本設計に合う推定法を選びます。集約する重みや独立とみなす単位が不明なまま、全実行件数だけで狭い区間を報告するのは避けます。

二つの相談を囲む枠が、元の資料を共有する関係です。各相談から伸びる線は反復の集約先へ進み、同じ相談の回答を増やすことと、相談の種類を増やすことを分けて示します(図 5.2.1 反復を課題ごとにまとめる単位)。

反復を課題ごとにまとめる単位共通の手順書から作った相談AとBを一つのまとまりとして囲み、それぞれの反復結果を課題別の成功率へ集約してから不確かさを評価する関係。共通の手順書反復反復課題別課題別割合なら相談A相談B相談Aの反復結果相談Bの反復結果課題ごとの成功率課題の選び直しを評価Wilsonへ直接入れない
図 5.2.1 反復を課題ごとにまとめる単位

十課題を五回ずつ反復した架空の結果で標準誤差を比べる

以下は、計算を説明するための架空の数値です。十件の課題をそれぞれ五回ずつ実行し、合計五十回のうち四十回成功したとします。課題ごとの成功回数は 5、5、5、5、5、4、4、3、2、2 です。

五十回を独立した試行とみなすと、成功率は 40 ÷ 50 = 0.80 です。二項モデルの標準誤差は √(0.80 × 0.20 ÷ 50) ≈ 0.057 になります。

課題ごとに先にまとめると、成功率は 1.0 が五件、0.8 が二件、0.6 が一件、0.4 が二件です。平均は 0.80 で、全体の成功率と同じです。課題を選び直す揺れとしての標準誤差は、次の順に求めます。

  1. 平均との差の二乗を合計すると 0.56 です。
  2. 課題数から一を引いた 9 で割ると、分散は約 0.0622 です。
  3. その平方根をとると、標準偏差は約 0.249 です。
  4. 課題数の平方根で割ると、標準誤差は 0.249 ÷ √10 ≈ 0.079 です。

平均は同じでも、標準誤差は約 0.057 と約 0.079 で違います。この例では、五回とも成功する課題と、五回中三回失敗する課題に分かれており、成否が課題ごとに偏っています。同じ課題内の結果に依存がある設計では、五十回を独立な情報として扱えません。この数値だけで依存の有無を証明するものではありません。課題が十件しかない場合、この標準誤差からどの方式で区間を作るかは、別に検討が必要です。

報告には、たとえば「成功 40/実行 50、課題 10 件・各 5 回、課題別成功率の平均 0.80、課題間の標準誤差 約 0.079(標本標準偏差 ÷ √課題数)」のように、数えた単位と計算方法を書きます。

比較と追加評価へのつなぎ方

二つのモデルを比べる場合、各モデルの区間を横に並べるだけでは、差の不確かさを十分に表せません。同じ課題を解かせたなら、課題ごとに結果を対応させて差を見ます。この対応のある比較(paired comparison)は、片方だけが解けた課題と、両方が解けた課題の関係を保つ方法です。Anthropic の Recommendation 4 も、同じ課題上の差を分析することを勧めています。

区間が重なることだけで同等と決めたり、点推定が少し高いことだけで優れていると決めたりしません。差についての区間が広ければ、改善か後退かを判断する材料が足りない可能性があります。また、統計的に差を見分けられても、現場で意味のある改善幅かどうかは別の問いです。

この問い合わせ評価では、次の順に追加確認を決められます。

  1. 判定と欠測を確認します。 採点不能や実行失敗を成功または失敗にどう割り当てたかを確かめます。除外した場合は理由と件数を報告し、観測できた範囲だけの割合だと示します。
  2. 増やす単位を決めます。 同じ相談で揺れるなら反復を、未確認の相談が多いなら課題の種類を増やす方向で計画します。反復だけで対象範囲の不足は埋まりません。
  3. 比較条件と必要な精度を決めます。 対象集団、比較する版、採点基準、見分けたい差を先に定め、件数と終了条件を計画します。終了条件を途中で変更した場合は、計画からの変更として記録し、その条件でも区間の前提を満たすか見直します。
  4. 結果と限界を一緒に残します。 成功件数と分母、独立に選んだ単位、反復数、信頼水準、区間の方式、未確認の条件を記録します。

信頼区間が扱うのは、置いた前提の下での推定の揺れです。採点器の系統的な誤り、対象集団の偏り、公開後の環境変更まで自動的に含む幅ではありません。数字の幅を確認することと、評価の設計が仕事を正しく表しているかを確認することを組み合わせます。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する

参考文献

  1. NIST/SEMATECH. 7.2.4.1. Confidence intervals — NIST/SEMATECH e-Handbook of Statistical Methods、公開Web版、更新日表示なし、2026年10月9日取得、Wilson法の式・小標本の区間・Terminology Note(参照日 2026-10-09)
  2. NIST/SEMATECH. 1.3.5.2. Confidence Limits for the Mean — NIST/SEMATECH e-Handbook of Statistical Methods、公開Web版、更新日表示なし、2026年10月9日取得、Purposeの区間と信頼水準の解釈(参照日 2026-10-09)
  3. NIST/SEMATECH. 1.3.6.6.18. Binomial Distribution — NIST/SEMATECH e-Handbook of Statistical Methods、公開Web版、更新日表示なし、2026年10月9日取得、Probability Mass Function・Parameter Estimation(参照日 2026-10-09)
  4. Anthropic. A statistical approach to model evaluations (2024) — Anthropic、2024年11月19日公開、Recommendation 1–5(参照日 2026-10-09)
  5. Anthropic. Demystifying evals for AI agents (2026) — Anthropic、2026年1月9日公開、The structure of an evaluation・Types of graders for agents・Step 2・4・5(参照日 2026-10-09)

更新履歴

  • 初版。数値は架空の例でWilson法と集計を検算済み。実評価は行っていない。
  • 用語集に定義を追加
  • 実行環境の説明を整理。
  • 日本語表現を校正し、助詞・語順・主語と述語の対応を改善
  • 主題の関係を説明する図を追加
  • 入力例、判定の分岐、結果として残す記録を具体化。
  • 本文と更新履歴の説明を簡潔化

Markdown 版