第 3 章 評価データ3.4

公開ベンチマークの使いどころ

SWE-benchとτ-benchを例に、公開評価を候補選びへ使う方法と限界を説明します。得点の実行条件を確かめ、自分の業務で残る確認へつなげます。

要点

  1. 公開ベンチマークは、共通の課題で候補を比べ、評価方法を学ぶ材料になります。
  2. 得点は課題、採点、モデルとツールの構成、試行条件と一緒に読みます。
  3. 自分の業務に必要な規則や成果を測っていなければ、別の課題で補います。
  4. 公開順位だけで採用や品質を保証せず、未測定の範囲を残すことが基本です。

公開ベンチマークは、比較のために課題と採点方法を公開した評価の枠組みです。ほかの開発者と共通の課題を使えるため、候補の特徴を調べる出発点になります。ただし、その得点が、自分の業務でも同じ成功率になることを示すわけではありません。

たとえば、社内の備品申請を手伝うエージェントを選ぶとします。利用者との会話だけでなく、申請条件の確認や下書きの保存が必要です。コード修正の得点が高いという情報だけでは、この仕事を任せられるかは判断できません。まず「何の課題を、どの条件で解いた結果か」へ戻って読みます。

課題と採点対象から選ぶ

有名なベンチマークを順に試す前に、自分が確かめたい仕事と対応させます。SWE-benchでは、実在のソフトウェア開発で報告された課題をもとに、コードを管理するリポジトリと課題の説明を渡し、修正を求めます。修正を適用して、課題に対応するテストが通るかを判定します(Jimenezら、SWE-bench、Abstract・2.2節)。

τ-benchは、利用者役の言語モデルとの会話と、データを読み書きするツール、業務の方針を組み合わせます。終了時のデータベース状態と、返答に必要な情報が含まれているかを採点します(Yaoら、ICLR 2025、3節)。次の表は、これらの方式を自分の評価へ持ち帰る際の整理です。実測による優劣ではありません。

公開評価の例参考にできる問い自分の用途で残る確認
SWE-bench与えられたコードと課題から、テストを通る修正を作れるか自社の言語・構成・変更規則でも機能するか、対象テスト外の要求を満たすか
τ-bench会話とツールを使い、決められた状態と返答へ到達できるか自社の手続き・権限・利用者の説明の仕方でも適切に処理できるか

どちらも、課題がどのように作られ、何を成功と数えるかを学ぶ材料になります。同時に、点数の意味はその採点範囲に限られます。τ-benchの論文も、採点を通っていても、確認を得ずに処理するなどの方針違反が残り得ると述べています。得点だけから業務規則の完全な順守を認定することはできません(同、Reward、pp.4–5)。

図 3.4.1 公開評価の例と自分の用途で残る確認は、公開評価の例ごとに、自分の用途で残る確認を示します。SWE-bench では自社の言語・構成・変更規則でも機能するか、τ-bench では自社の手続き・権限・利用者の説明の仕方でも適切に処理できるかという確認が残ります。

公開評価の例と自分の用途で残る確認公開評価の例ごとに、自分の用途で残る確認が対応します。SWE-bench自社の言語・構成・変更規則τ-bench自社の手続き・権限・説明の仕方
図 3.4.1 公開評価の例と自分の用途で残る確認

順位と一緒に読む実行条件

ランキングの一行を比較するには、何を動かしたかを確かめます。モデルは文章や判断を生成する部品で、エージェントには、それを呼ぶ指示、使えるツール、再試行の規則なども含まれます。構成が異なる結果を、モデル単体の能力差と即断しないようにします。

AI Agents That Matterは、正確さだけでは、呼び出しを増やして得た改善と、より効率のよい方式を区別できないと論じています。また、モデルの研究と、製品に使う構成を選ぶ評価では、費用の扱いも異なると指摘します(2.1節・4節)。公開結果を選定資料にするときは、少なくとも次を確認します。

  • 課題の版と範囲。同じ名前でも、全課題か一部か、どの時点のデータかを読む。
  • 実行する構成。モデル、指示、ツール、利用できる情報が自分の想定とどこで違うかを読む。
  • 試行の条件。やり直しの回数、費用や時間の上限、失敗や未実行の扱いを読む。
  • 採点の意味。回答、保存状態、テスト結果のどれを見ているか、何を見ていないかを読む。

これは読者向けの確認案で、すべての公開評価に同じ報告形式があるという説明ではありません。条件が示されていない箇所は、同じだと推定せず「比較できない」と残します。SWE-benchにも課題を絞ったLiteがあるため、名称だけで同じ集合だと扱わないことが大切です(2.4節)。

自分の仕事へ持ち帰る比較例

架空の備品申請では、公開評価を「対話とツールを組み合わせる候補を探す材料」として使います。その後、許可を得た試験用データと環境で、自社の条件を表す課題を別に用意します。以下は本稿の設計例であり、ベンチマークに収録された課題や、導入実績ではありません。

通常の課題では、利用者から希望の備品と期間を聞き取り、申請の下書きを保存できるかを見ます。情報不足の課題では、期間を推測して保存せず、必要な確認を求めることを成功条件にします。権限がない課題では、別の利用者の申請を変更せず、扱えない理由を適切に案内できるかを確かめます。

こうすると、公開得点が高い候補でも、社内ルールの解釈に弱いと分かるかもしれません。逆に、公開評価では扱わない業務に適した候補を、低い得点だけで落とすことも避けられます。実際にどちらの結果になるかは未測定です。公開課題と社内課題の成績は別に示し、異なる成功条件の数値を一つの平均へ混ぜません。課題そのものの作り方は3.1で扱っています。

比較不能を選定メモへ書き込む例

架空の候補Aが公開課題100件を各1回で80%成功、候補Bが別の50件を最大3回で90%成功と報告していたとします。「Bが10ポイント高い」と選ぶ前に、課題集合と試行回数が異なるため直接比較できない、と記録します。足りない資料はBの1回目の結果と、共通課題での条件です。公開結果の出典URL、版、閲覧日もその行に残します。

次の確認として、自作の備品申請20件を通常10・情報不足5・権限不足5へ分け、両候補を同じ条件で測る計画を立てられます。権限外の変更が一件でも起きた候補は保留する、などの条件を実行前に決めます。通常の合格数、適切に確認へ回した数、権限外変更数、採点不能数を別々に報告します。この20件は選定方法の説明用であり、業務全体の安全性や信頼性を示せる件数ではありません。

公開結果が答えないこと

公開課題への調整を重ねるほど、その課題には合っていても、別の仕事には通用しない可能性に注意が必要です。AI Agents That Matterは、課題に特化した近道や過学習を問題として挙げ、どこまで一般化したいかに応じて評価対象を分けるよう論じています(5節)。公開されていること自体が欠陥なのではなく、公開結果から言える範囲を広げすぎないことが要点です。

候補を絞る段階では、既存の課題を使う利点があります。採用を決める段階では、自分の仕事で必要な品質、費用、待ち時間、扱ってよい操作を別に確認します。公開結果で未測定の項目を合格にせず、次に確かめる条件として残します。評価データへの答えの混入や調整用・確認用の分離は2.4で詳しく説明しています。

図 3.4.2 公開結果を選定に使う流れは、公開結果を使う順序を示します。確かめたい仕事を決めて公開評価で候補を絞り、実行条件を読みます。条件が示されていなければ比較できないと残し、いずれの場合も自社の課題で確認して、未測定の項目は次の確認へ回します。

公開結果を選定に使う流れ確かめたい仕事から候補を絞り、実行条件が示されていなければ比較できないと残し、自社の課題で確認して未測定の項目を次の確認へ回します。いいえはい確かめたい仕事を決める公開評価で候補を絞る実行条件を読む条件は示されているか比較できないと残す比較の材料にする自社の課題で確認未測定は次の確認へ
図 3.4.2 公開結果を選定に使う流れ

ここで紹介した論文の版は、評価の読み方を説明するための出典です。現在の首位、最新の派生ベンチマーク、特定製品の性能を網羅した一覧ではありません。公開ベンチマークは比較を始める共通の物差しとして使い、業務への適性は、その業務に対応する確認で補います。

上の20件の計画を実行した架空の結果が、候補Aは通常10/10・情報不足5/5・権限不足5/5、候補Bは通常10/10・情報不足5/5・権限不足4/5で一件を無許可に更新、だったとします。事前に定めた条件に従いBを保留し、ケースIDと更新差分を残します。Aもこの20件以外は未確認であり、この結果だけで業務全体への採用を決めません。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する