第 5 章 指標と統計5.1

成功率と信頼性の指標

AI エージェントの一回の成功率と、繰り返して成功する信頼性を区別します。架空の問い合わせ結果から、pass@k、pass^k、試行の単位、分母、比較の条件を説明します。

要点

  1. 成功率は、対象にした試行のうち、事前に決めた成功条件を満たした割合です。
  2. 複数回の試行では、少なくとも一回成功する pass@k と、すべて成功する pass^k を区別します。
  3. 課題、試行回数、初期状態、採点基準、未実行の扱いを揃えなければ、同じ名前の指標でも比較できません。
  4. 観測した成功率は、未知の問い合わせや本番での一貫した成功を保証する値ではありません。

定義

成功率(success rate)
評価対象にした試行のうち、成功と判定された試行の割合です。
信頼性(reliability)
決めた条件の仕事を、繰り返しても成功させられる程度です。
独立(independent)
ある試行の結果を知っても、別の試行の成功確率が変わらないという仮定です。
同分布(identically distributed)
同じ条件の確率的な仕組みから結果が生まれるという仮定です。

成功率(success rate)は、評価対象にした試行のうち、成功と判定された試行の割合です。ここでいう信頼性(reliability)は、決めた条件の仕事を、繰り返しても成功させられる程度を指します。一度うまく動いたことと、任せるたびに同じ条件を満たすことは、別の観点で測ります。

架空の社内問い合わせを考えます。AI エージェントが「共有資料を閲覧できない」という相談を受け、手順書を探して案内します。担当者の権限変更が必要なら、所定の窓口へ相談を引き継ぎます。案内が自然でも、引き継ぎ先に記録が届かなければ、この課題は成功としません。以下のデータと判断の例は説明用に作ったもので、製品の実測値や合格基準ではありません。実際の評価は、所有者または管理者が許可した資料と試験環境で行います。

成功を数える単位

割合を計算する前に、何を一件の仕事として、どこまで確認するかを決めます。課題(task)は入力と成功条件を組にした試験ケース、試行(trial)はその課題を一度実行することです。採点器(grader)は、出力や操作後の状態に基準を当てて成否を決める仕組みです。Anthropic の評価設計も、課題・試行・採点器・最終状態を区別しています(評価の構成要素)。

この問い合わせなら、相談の受付から案内または引き継ぎの完了までが一試行です。その間に検索を何回使っても、問い合わせを複数件成功させたとは数えません。また、引き継ぎ後に担当者が行う権限変更まで評価対象にするなら、終点と確認方法を別に決める必要があります。評価単位の整理は2.1でも説明しています。

成功条件は、判定できる事実へ分けます。たとえば「担当窓口へ必要事項が届いた」と「利用者へ引き継いだことを案内した」の両方を必須にします。文章の読みやすさだけが高得点でも、必須の引き継ぎを行っていない試行は成功にしません。期待結果の決め方は3.2で扱っています。

同じ結果から分かれる三つの割合

一回の成功率だけでは、複数回のうち一度だけ成功する課題と、毎回成功する課題を見分けにくくなります。そこで、同じ架空データを試行単位と課題単位の両方から見ます。相談の内容や必要な引き継ぎが異なる四課題を、それぞれ初期状態へ戻して三回ずつ試したと仮定します。

課題一回目二回目三回目成功した試行数
A成功成功成功3
B成功失敗成功2
C失敗成功失敗1
D失敗失敗失敗0

例えば課題Dを、担当窓口への引き継ぎが必要な架空の問い合わせとします。三回とも回答のリンクは正しくても引き継ぎ記録が届かなければ、各試行は失敗となり成功数は0です。

全十二試行のうち成功は六試行なので、試行全体の成功率は 6 ÷ 12 = 50% です。一方、三回のうち一度でも成功した課題は A・B・C の三件で 3 ÷ 4 = 75%、三回とも成功した課題は A だけなので 1 ÷ 4 = 25% です。どの値も同じデータから得られたもので、違うのは数え方です。

τ-bench の論文は、同じ課題を独立に繰り返す場合に、少なくとも一回成功する確率を pass@k、全回成功する確率を pass^k と区別しています。k は一課題あたりに見る試行回数です。課題ごとの値を平均して評価セットの指標にします(Yao ほか、ICLR 2025、§3、p.5)。

指標確かめること架空データでの値
一試行の成功率一回任せた場合、どれだけ成功したか50%
pass@3 の観測値三回のうち一度は解けた課題がどれだけあるか75%
pass^3 の観測値三回とも成功した課題がどれだけあるか25%

ここでは各課題をちょうど三回試したため、該当する課題の割合で計算できます。この四課題だけで、未知の相談にも同じ割合が成り立つとは言えません。また、三回は計算を追うための設定で、十分な試行回数の推奨値ではありません。

候補を複数作り、正しいものを確実に選べる仕事なら、少なくとも一つ解ける能力は役立ちます。しかし、pass@3 は成功した候補を選んで利用者へ渡す仕組みまで測っていません。問い合わせの窓口で利用者が一度だけ受け取る回答を、「三回のどこかでは正しかった」で正当化することはできません。

独立した反復と再試行の違い

反復の指標を読むには、試行同士の関係を確かめます。独立(independent)とは、ある試行の結果を知っても、別の試行の成功確率が変わらないという仮定です。同分布(identically distributed)とは、同じ条件の確率的な仕組みから結果が生まれるという仮定です。τ-bench の指標定義は、一課題内の試行にこの二つの仮定を置いています。

計算だけの別の架空例として、一課題の真の成功確率を毎回 p = 0.8 と仮定します。三試行が独立なら、全回成功する確率は 0.8 × 0.8 × 0.8 = 51.2%、少なくとも一回成功する確率は 1 − 0.2 × 0.2 × 0.2 = 99.2% です。後者は「三回とも失敗する確率」を全体から引いています。これは仮定した確率からの計算で、観測した成功率を真の確率と断定したものではありません。

実際の問い合わせで、一回目の失敗を覚えて二回目に別の案内を試すなら、同じ条件からの独立した再実行ではありません。前回作った引き継ぎ記録を再利用する場合も同様です。そのとき測っているのは、記憶や修正を含む再試行の方針です。一回ごとに初期状態を戻す評価と、失敗を受けてやり直す評価を同じ指標名だけで比べないようにします。

繰り返す回数は結果を見る前に決めます。成功したところで都合よく打ち切った記録から「全回成功」を算出したり、成功まで繰り返した最後の一回だけ残したりすると、当初の指標とは異なる値になります。時間上限や中断条件を含め、どの手順で試行を増やしたかを残します。

多くの試行から k 回の指標を推定する場合

実行した回数 n が、指標で見たい回数 k より多い場合もあります。τ-bench は、一課題の全試行から k 回を選ぶ組合せを使い、全回成功する組や、少なくとも一回成功する組の割合を計算する推定法を示しています(§3、p.5)。これは観測した一回成功率を単純に k 乗する計算とは異なります。架空にn=5回中c=4回成功、k=3なら、全回成功の推定値はC(4,3)/C(5,3)=4/10=40%です。少なくとも一回成功の推定値は1−C(1,3)/C(5,3)=100%です(3個を選べないC(1,3)は0)。単純な0.8の3乗=51.2%とは異なります。これは同じ課題の独立同分布の試行を仮定する推定で、将来の成功を保証する値ではありません(τ-bench、3節)。

どの推定法を使ったか、n と k はいくつか、課題ごとに何回実行したかを報告に添えます。重なり合う組合せが多数できても、独立に新しい試行を増やしたことにはなりません。評価ツールの表示を使う場合も、名称だけで同じ計算だと判断せず、その定義を確認します。

失敗の情報を次へ引き継ぐ場合は、記憶や修正を含む再試行方針の結果です。引き継がない場合も、初期状態への復帰と独立性を確認してから指標を適用します。どちらも同じ課題の繰り返しですが、条件を区別して比較します(図 5.1.1 独立した反復と再試行の分かれ目)。

独立した反復と再試行の分かれ目失敗の情報を次の試行に引き継ぐ再試行と、毎回初期状態へ戻して独立性を確認する反復とでは、指標の前提が異なります。はいいいえ同じ課題を反復失敗の情報を次に引き継ぐ?記憶や修正を含む再試行毎回初期化し独立性を確認独立反復の指標を適用再試行方針として測定条件を区別して比較
図 5.1.1 独立した反復と再試行の分かれ目

分母と課題の偏り

指標の差がモデルの差なのか、集計対象の差なのかを分けるため、分母を固定します。基本の成功率は「成功した試行数 ÷ 対象にした試行数」です。ただし、未実行や採点不能があると、何を対象にしたかの説明が必要になります。

この問い合わせ評価なら、モデルが案内を誤った失敗と、試験用の窓口へ接続できず止まった実行失敗を別に記録できます。採点できた試行だけの成功率を出す場合は、対象外にした件数・理由と、予定した試行数も並べます。未確認を成功へ加えたり、難しい課題の欠測を黙って除外したりしません。これは架空の評価を読める形にする集計案であり、全製品共通の除外規則ではありません。

課題によって反復回数が違う場合、全試行をまとめて成功率を計算すると、何度も試した課題の影響が大きくなります。課題を同じ重さで扱いたいなら、課題ごとの成功率を先に求めて平均します。本番で多い相談に重みを付けるなら、その重みの根拠と集計期間を別に示します。四課題の例では反復回数が等しいので、試行全体の割合と課題別成功率の平均が一致しています。

欠測がある結果の分母を残す

架空の評価で40試行を予定し、試験基盤の不調による未実行3、採点不能2、採点済み35、そのうち成功21だったとします。採点済みだけなら21/35=60%、予定数に対する確認済みの成功は21/40=52.5%です。未確認5件がすべて成功だったとしても26/40=65%です。52.5〜65%は信頼区間ではなく、未確認の成否を両極端に置いた範囲です。

報告には60%だけを出さず、未実行3件と採点不能2件の理由も並べます。既に失敗を確認した試行は「未確認」へ移しません。一試行ごとに課題ID、試行番号、初期化の確認、採点基準の版、成否または未確認の区分、判断の根拠を残します。特定の難しい課題だけが採点不能なら、採点済みだけの率は全体を代表しない可能性があります。

指標から判断できる範囲

信頼性の値を使う際は、何が確認済みかを説明できる記録を揃えます。この問い合わせの例では、次の順に確認すると、計算の問題と動作の問題を分けられます。

  1. 成功の意味を確かめます。 案内の生成、引き継ぎの受理、相談全体の解決のどれを数えたかを確認します。
  2. 試行の条件を確かめます。 課題、モデル、指示、道具、採点基準の版、初期状態、試行回数を揃えます。
  3. 分母と反復の内訳を読みます。 未実行・採点不能・除外を確認し、課題別の成功と失敗へ戻ります。
  4. 利用場面に合う指標を選びます。 正しい候補が一つあればよいのか、利用者へ返す一回を安定させたいのかを区別します。

採点器が誤っていれば、成功率は誤った判定を正確に集計した値にもなります。τ-bench 自体も、定めた報酬を満たすことが業務規則を含む成功の十分条件とは限らない点を述べています(§3、pp.4–5)。採点器の仕組みは4.2、人の判定との照合は4.3で説明しています。

また、反復して成功したことは、対象外の課題、利用者、環境への保証ではありません。割合だけで採用可否を決めず、失敗の内容、推定の不確かさ、測定していない範囲を併記して判断します。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する