第 5 章 指標と統計 · 導入

指標と統計

AI エージェントの評価結果の読み方を扱う章です。成功率と信頼性、ばらつきと信頼区間、版の比較の統計的検証、費用と時間の指標を扱います。

要点

  1. この章では、評価結果の数字の読み方を扱います。
  2. 一回の成功と、繰り返したときの一貫性を区別して、成功率と信頼性の指標を示します。
  3. 一回の結果で判断してよいかを、複数回の試行と誤差の幅から考えます。
  4. モデルや設定を比べて改善と言えるかの統計的な検証と、速さと費用の指標も扱います。

この章の節

  1. 成功率と信頼性の指標のサムネイル5.1 成功率と信頼性の指標一回の成功と繰り返しの一貫性
  2. 評価結果のばらつきと信頼区間のサムネイル5.2 評価結果のばらつきと信頼区間複数回の試行、誤差の幅
  3. 費用と時間の指標のサムネイル5.4 費用と時間の指標精度と費用の両立

この章の目的

評価の数字は、集計の仕方と読み方で意味が変わります。たとえば一回ずつ試して 80% 成功したという結果は、同じ課題を繰り返したときの一貫性までは教えてくれません。この章は、成功率と信頼性の違い、結果のばらつき、版の比較、費用と時間の見方を扱います。

図 5.0.1 指標と統計を扱う四つの事柄は、この章が扱う事柄の並びを示します。指標と統計の章は、成功率と信頼性、結果のばらつき、版の比較、費用と時間の順に、数字の読み方を扱います。

指標と統計を扱う四つの事柄指標と統計の章は、成功率と信頼性、結果のばらつき、版の比較、費用と時間の順に、数字の読み方を扱います。成功率と信頼性を測るばらつきを読む版の違いを比べる費用と時間を測る
図 5.0.1 指標と統計を扱う四つの事柄

読者と想定する状況

評価結果を集計して判断する人、モデルや設定の変更で改善したかを確かめたい人が対象です。どの節からでも単独で読めます。

図 5.0.2 指標と統計の事柄に含まれる論点は、各事柄に含まれる論点を示します。指標と統計の章では、成功率と信頼性、ばらつき、版の比較、費用と時間の四つの事柄が、それぞれ具体的な論点を含みます。

指標と統計の事柄に含まれる論点指標と統計の章では、成功率と信頼性、ばらつき、版の比較、費用と時間の四つの事柄が、それぞれ具体的な論点を含みます。費用と時間精度と費用の両立版の比較条件をそろえる本番での A/B 試験ばらつき複数回の試行誤差の幅成功率と信頼性一回の成功繰り返しの一貫性
図 5.0.2 指標と統計の事柄に含まれる論点

同じ八割を課題ごとの記録へ分ける

架空の評価で、10課題を各5回実行し、50回中40回成功したとします。記録には「成功40/実行50」だけでなく、課題ごとの成功回数と、判定不能の回を分母に含めたかも残します。毎回失敗する課題が2件ある場合(残る8課題は5回とも成功)は、少なくとも1回成功した課題も毎回成功した課題も8/10です。すべての課題が5回中4回成功する場合は、少なくとも1回成功が10/10、毎回成功が0/10です。繰り返しても安定した結果が要る仕事なら毎回成功の割合を、やり直しが許される仕事なら少なくとも1回成功の割合を判断に使います。

安定して完了できる課題を知りたいなら、成功率の単位を決めます。少数課題の結果を全体へ広げたいなら、反復と区間推定を確認します。再試行を許して成功が増えた場合には、費用と所要時間も同じ試行IDで集計します。成功数だけで再試行の設定を選ばないことが、この章を使う場面です。

他の章で扱う事柄

採点器の作り方は第 4 章、合否の閾値の置き方は第 6 章、リリースの可否の判断は第 8 章で扱います。