第 5 章 指標と統計5.4

費用と時間の指標

AIエージェントの費用と時間を、一件の仕事と成功条件にそろえて測る考え方です。利用量と料金、応答時間と完了時間、失敗分を含む集計を架空例で区別します。

要点

  1. 費用と時間は、一件の仕事の始点と終点を決め、成功率と同じ試行に対応させて測ります。
  2. モデルの呼び出しだけでなく、集計対象にした検索や再試行も含め、利用量と適用料金を分けて残します。
  3. 所要時間は、計測範囲と成功・失敗の内訳とともに示します。
  4. 測っていない費用や引き継ぎ後の作業まで含めた総合的な優劣は断定しません。

費用と時間の指標は、期待する成果を得るために、どれだけの支払いと待ち時間が必要だったかを示す値です。モデルの一回の呼び出しが安くても、検索や再生成を何度も繰り返せば、一件の仕事にかかる負担は変わります。まず仕事の単位と完了条件を決め、同じ試行の成功・失敗と対応させて測ります。

架空の資料案内エージェントを考えます。依頼を受け、資料を検索し、根拠を確かめて案内を返す仕組みです。以下の記録方法と比較例は、この仕組み向けの設計案です。実測値、料金表、全製品共通の合格基準ではありません。

一件の仕事に含める範囲

この例では、依頼の受付から最終的な案内または適切な保留の通知までを一試行とします。途中で検索や生成をやり直しても、新しい依頼が成功したとは数えません。成功は、事前に定めた条件を満たしたかで判定します。根拠がない課題では、断定せず不足を伝えることが成功になる場合もあります。

AI Agents That Matterは、正確さと費用を合わせて評価すること、繰り返しの呼び出しによる改善を費用抜きで比べないことを論じています(2.1節・3節)。この考え方を踏まえ、本稿では各依頼に「結果、全体の所要時間、利用量、対象費用」をひも付けます。呼び出し単位の記録は原因の分析に使い、仕事全体の値と区別します。

見る値この案内サービスでの範囲一緒に残す条件
依頼全体の所要時間受付から最終通知までの経過時間成功・失敗・時間切れ、同時に処理した件数
モデルの応答時間モデルへ要求してから応答を受け取るまで呼び出したモデルと接続先、入出力の長さ
利用量入出力のトークン数、検索などの呼び出し回数再試行や再利用した結果を含む内訳
依頼全体の対象費用今回集計するモデルと外部機能の費用の合計適用した料金と日付、含めなかった費用

トークンは、モデルが文章を扱う単位です。トークン数は支払額そのものではありません。呼び出し回数も、長い入力と短い入力の違いを表せないため、トークン数、呼び出し回数、支払額を同じ指標として扱わないようにします。

図 5.4.1 一件の仕事の一試行の流れは、この例の一試行に含まれる処理を示します。依頼を受け付け、資料を検索し、根拠が足りるかを確かめて、足りれば案内を返し、不足なら保留を通知します。

一件の仕事の一試行の流れ依頼の受付から資料の検索と根拠の確認を経て、根拠が足りれば案内を返し、不足なら保留を通知するまでが一試行です。足りる不足依頼を受け付ける資料を検索する根拠は足りるか案内を返す保留を通知
図 5.4.1 一件の仕事の一試行の流れ

利用量と金額を分ける記録

費用を比較するときは、対象の利用量と、その金額を算出した条件を別に残します。AI Agents That Matterは、提供元や時点で料金が変わることを踏まえ、金額に加えて入出力トークン数も報告し、料金を変えて再計算できるようにすることを提案しています(4節)。過去の論文に記載された金額を、現在の見積もりへそのまま使うことはできません。

案内サービスなら、モデル別の入出力利用量と検索の利用量を分け、集計時に適用した料金条件を添えます。割引や結果の再利用が適用される構成では、その条件も記録します。課金の内訳を取得できなかった呼び出しは、無料として扱わず、未確認または根拠を付けた見積もりとして区別します。

一回の実行費用と、導入や調整にかかった費用も別です。論文は、設定の最適化にかかる一時的な費用と、実行のたびに増える費用を分けています(3節)。この例の評価では、課題作成や設定調整の作業を別枠で記録し、一件の実行費用だけで導入全体が安いと結論しません。人の作業、基盤の維持、外部機能を含むかは明記し、含めていないものまで「総費用」と呼ばないようにします。

待ち時間の始点と終点

時間は、どこからどこまで測ったかで意味が変わります。案内サービスが最初の文字を表示した時点と、根拠を確認して最終回答を返した時点は同じではありません。利用者が作業を進められるまでの時間を知りたいなら、受付から最終通知までを測り、最初の表示までの時間は別の値にします。

HELMは、モデルの応答時間に、提供側の計算機、実装、資源待ちなどが影響すると説明しています。そのうえで、モデルを比較するために条件を調整した時間と、提供環境の変動を除いた時間を分けています(4.9.2節)。この区別を踏まえると、実際の接続先で測った時間を、そのままモデル固有の速さとは言えません。

本稿の例では、利用者が待つ時間と、検索・生成それぞれの時間を残します。並列に呼び出す処理があるなら、各呼び出しの時間を足した値は、受付から終了までの経過時間とは一致しない場合があります。また、同時実行数や接続先、結果の再利用条件が変われば、同じ設定の比較として読めなくなるため、条件を添えます。

早く終了した失敗を、速く成功した処理と混ぜて改善と判断しないことも必要です。成功・失敗・時間切れを分け、予定した件数と測定できた件数を示します。時間切れまでの記録しかない試行では、実際の完了時間は未確認です。観測できた時間を完了時間へ置き換えません。

成功率と並べた比較の読み方

資料案内の設定Aは一度の検索で回答し、設定Bは根拠が不足した場合に追加検索すると仮定します。Bは正しく案内できる課題が増える一方、利用量と待ち時間も増えた、という架空の結果を考えます。このとき、成功率だけを見ればB、費用だけを見ればAがよく見えますが、何を受け入れる判断なのかが分かりません。

同じ課題集合、同じ成功条件で、成功率、対象費用、所要時間を並べます。成功の条件を満たす候補の中で、追加の負担に見合う改善かを検討するためです。単一の総合点へ先に足し込むと、成功しなくなった代わりに安くなった候補を見逃しかねません。

集計の補助として、次の二つを区別する方法があります。ここでの式は、この例の集計案であり、論文が定めた共通指標ではありません。

  • 依頼一件あたりの対象費用は、実行した全依頼の対象費用を、実行した依頼数で割ります。
  • 成功一件あたりの対象費用は、失敗分も含む全依頼の対象費用を、成功した依頼数で割ります。

後者から失敗分の費用を除くと、成功するまでに消費した負担を小さく見せてしまいます。成功がなければ、成功一件あたりの値は算出できません。どちらも、今回の課題集合についての集計であり、将来の全利用者の費用を保証する値ではありません。再試行を含む成功率の数え方は5.1で扱っています。

設定 A と B を同じ50依頼で比べる

以下は架空の数値例です。料金も実在の料金表ではありません。同じ50依頼を設定 A と B で一回ずつ実行し、次の結果を得たとします。

項目設定 A(検索1回)設定 B(不足時に追加で検索)
成功・失敗・時間切れ35・12・342・5・3
対象費用の合計(失敗・時間切れを含む)1,000円1,800円
依頼一件あたりの対象費用1,000 ÷ 50 = 20円1,800 ÷ 50 = 36円
成功一件あたりの対象費用1,000 ÷ 35 ≒ 28.6円1,800 ÷ 42 ≒ 42.9円
成功した依頼の所要時間の中央値8秒14秒

判断に使う値は、B へ切り替えたときの増分です。成功は7件増え、対象費用は800円増えました。増えた成功一件あたりの負担は、800 ÷ 7 ≒ 114.3円です。この額を、成功しなかった依頼を人が引き継ぐ負担と比べるなら、その負担は別に測る必要があります。この表からは出せません。待ち時間は、成功した依頼の中央値で6秒延びています。ただし成功した依頼は A が35件、B が42件で集合が違うため、両方で成功した依頼に絞った中央値も並べて比べます。利用者が待てる上限を事前に決めているなら、その上限を超えて成功した件数も数えます。

時間切れの3件は、どちらの設定でも完了時間が分からないので、中央値には入れず件数として並べます。B では失敗が12件から5件へ7件減りました。そのうち何件が追加の検索で根拠を得た結果かは、呼び出し単位の記録で確かめます。どちらも50依頼を一回ずつ実行した結果です。7件の差がばらつきの範囲に収まるかどうかは、5.2の方法で確かめてから結論を出します。

判断に残す未測定の条件

候補を比較するときは、実行日、課題と採点の版、モデルと設定、再試行の上限、料金の根拠、時間の計測範囲を一緒に保存します。一度の差だけで安定した改善とは言えないため、ばらつきの扱いは5.2と対応させます。

ここで決まるのは、定めた評価条件での負担の読み方です。本番の利用の偏り、未取得の費用、人が引き継いだ後の作業まで測ったことにはなりません。本番での継続監視は7.1で扱います。何を含めた値かを説明できれば、安さや速さを成果と切り離さずに判断できます。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する