第 2 章 評価の設計2.2
エージェントの種類別の評価の観点
検索回答、問い合わせ、コード修正、画面操作、自動化で何を評価するかを比較します。公開評価の設計と架空の課題例を分け、各指標で分からない範囲も説明します。
要点
- 評価観点は、任せる仕事と外部に残る結果から決めます。
- 検索回答では根拠の取りこぼしと回答の整合、問い合わせでは対話と処理結果、コードや画面操作では対象に残った変更を分けて見ます。
- 複数段階の自動化では途中失敗や再実行も確認候補にします。
- 種類は重なり得るため、一つの名前や得点を、全体の品質を保証するものとはみなしません。
定義
- ベンチマーク
- 比較のために条件や採点方法をそろえた課題群です。
- 検索拡張生成(RAG)
- 検索で得た情報をモデルへ渡し、それを使って回答を作る構成です。
エージェントの評価観点は、利用するモデル名よりも、任せる仕事と外部に残す結果から決めます。資料を探して答える仕事、利用者と相談して手続きを進める仕事、コードや画面上のデータを書き換える仕事では、成功を裏づける記録が違います。
例えば、架空の社内資料を案内するシステムでも、保存場所を答えるだけなら回答と参照資料を見ます。指定された場所へ複製する役割まで持たせるなら、実際の複製先と内容も確認します。「対応しました」という同じ返答があっても、任せた仕事により採点対象は変わります。
仕事の種類と評価対象の対応
種類の名前は、何を観察するかを整理する入口です。以下は、公開資料の評価設計を参考にした、架空の比較表です。ベンチマークとは、比較のために条件や採点方法をそろえた課題群です。この表はベンチマーク共通の分類、推奨製品の順位、測定済みの性能を表すものではありません。
| 主な仕事の種類 | 架空の課題 | 主に見る対象 | 合わせて確かめる点 |
|---|---|---|---|
| 検索を使う回答 | 備品の貸出ルールを調べて答える | 必要な資料が検索されたか、回答を資料で支えられるか | 質問への答えが抜けていないか、根拠のない補足をしていないか |
| 問い合わせ対応 | 希望を聞き取り、貸出申請の下書きを作る | 対話で集めた条件、適用する規則、保存した下書き | 必要な条件を尋ねたか、できない依頼の扱いが適切か |
| コーディング | 日付表示の不具合を修正する | コードの差分とテスト結果 | 対象の不具合が直ったか、既存の振る舞いを壊していないか |
| 画面操作 | 試験用の文書一覧で題名を変更する | 操作対象と画面・保存データの状態 | 別文書を変更していないか、保存を確認したか |
| 複数段階の自動化 | 新着資料を分類し、作業一覧の下書きへ反映する | 一連の処理後の状態と未完了の記録 | 途中失敗を完了と誤認しないか、再実行で重複を作らないか |
これらは排他的な種類ではありません。問い合わせ対応の中で資料を検索し、画面操作も行うことがあります。その場合は、一つの分類名に押し込めず、検索、対話、更新それぞれの判定を用意します。最終状態、経路、一手という採点範囲の違いは2.1で整理しています。
図 2.2.1 評価観点を決める流れは、観点を決める順序を示します。まず任せる仕事を確かめ、次に外部に残る結果を確かめ、見る対象を選び、複数の仕事を含む場合は検索、対話、更新など仕事ごとに判定を分け、含まない場合は一つの判定を用意します。
検索を使う回答で分ける観点
検索拡張生成(RAG)は、検索で得た情報をモデルへ渡し、それを使って回答を作る構成です。評価では、必要な根拠を取り出す段階と、取り出した根拠から答える段階を分けると、直す場所を見つけやすくなります。
RagasのContext Recallは、必要な情報をどれだけ検索で拾えたかを見る指標です。比較の基準となる参照情報を必要とし、言語モデルを使う方式では参照回答の主張を検索結果で支えられるかを調べます。一方、Faithfulnessは、生成した回答の主張を検索結果で支えられるかを見ます。前者は取りこぼし、後者は根拠との整合に注目しています(Ragas「Context Recall」「Faithfulness」)。
架空の貸出ルールに「対象となる人」と「貸出期間」が書かれているとします。検索結果が期間の説明しか含まず、回答も期間だけを正しく述べたなら、検索結果に沿う回答でも、必要な情報はそろっていません。質問が対象者も尋ねていた場合には、回答の不足を別に捉える必要があります。
また、検索結果に書かれた内容と一致するだけでは、その資料が最新であることや、資料自体が正しいことまでは分かりません。これは指標が比較する範囲から来る限界です。試験で使う資料の版と、どの情報を正しいと置いたかを残し、一つの得点を、回答全体の品質を保証するものと読み替えないようにします。
対話と手続きの両方を含む仕事
問い合わせ対応では、文章の感じのよさと、依頼を正しく処理できたかを分けます。利用者が最初から必要な情報をすべて伝えるとは限らないため、何を聞き取り、どの規則に従い、どの状態を残したかを見る設計が考えられます。
τ-benchは、利用者役の言語モデルとの対話、業務用の操作ツール、従うべき方針を組み合わせた評価です。対話終了時のデータベース状態と目標状態を比較し、返答に必要な情報が含まれるかも判定します。ただし、論文はこの判定を通っても方針違反が残る場合を明記しています。これは返答と処理結果を採点する具体例であり、規則の完全な順守や実利用者の満足まで保証する方式ではありません(Yaoら、τ-bench、第3節)。
架空の貸出申請なら、希望日を聞かずに下書きを確定した場合と、条件が不足しているため質問して保留した場合を分けます。保留が正しい課題を用意せず、すべての依頼で下書き作成だけを成功にすると、不足を勝手に補う振る舞いを高く評価しかねません。この確認方法は、説明用の設計案です。
コードと画面操作に残る成果
書き換える仕事では、モデルの完了報告と、対象に残った変更を別々に確認します。コード修正なら変更後の挙動、画面操作なら更新した対象や保存内容が、結果を調べる手掛かりになります。
SWE-benchでは、コードを管理するリポジトリと、不具合や機能追加を依頼するissueの説明を与えてコード修正を求めます。修正を適用し、課題に対応するテストの通過を解決の判定に用いる方式です。その結果を、テストで扱っていない要求まで満たした証明とは扱いません(Jimenezら、SWE-bench、第2.2節)。
WebArenaは、Web上の課題を機能的な正しさで評価します。情報を答える課題と、ページへの移動や内容・設定を操作する課題では、見る対象が異なります。後者では、保存データ、画面の状態、ページ内容などを調べます。操作列の見た目だけで、仕事の成否を決める設計ではありません(Zhouら、WebArena、第3.2節)。
架空の日付表示の修正なら、対象の表示を確かめるテストと、変更しないはずの表示を確かめるテストを分けられます。文書の題名変更なら、指定した文書だけが更新され、別の文書は変わっていないことを確認できます。これらは上の方式を参考にした課題例であり、両ベンチマークに収録された実例ではありません。
検索・条件確認・下書き保存を含む一件を三つに分けて採点する
以下は、表の後で述べた「種類が重なるとき」に検索・対話・更新の判定を分ける架空の設計例です。利用者が「来週火曜にプロジェクターを借りたい」と依頼します。エージェントは貸出ルールを検索し、条件を聞き取り、申請の下書きを保存します。試験用の貸出ルール(版 v2)には、対象者が社員であることと、貸出期間が最長三日であることが書かれているとします。
- 検索の判定:検索結果に、v2 の「対象者」と「貸出期間」の両方の記述が含まれるか。
- 条件確認の判定:社員であることを試験用の利用者属性で確認し、貸出期間が依頼に足りなければ利用者へ尋ねたか。属性が欠けるときは社員と決めつけず、担当者の確認へ回します。
- 更新の判定:次の四点を確かめます。下書きの日付が来週火曜であること、備品がプロジェクターであること、状態が確定ではなく下書きであること、他の下書きが変わっていないこと。
架空の一試行で、検索は合格、条件確認は不合格(利用者属性を確認しなかった)、更新は合格だったとします。三つを平均して「三分の二」とまとめると、どこを直すかが読めません。記録には検索・条件確認・更新の三つの判定を並べ、修正の対象は属性確認の手順だと書きます。
同じ課題の別版として、試験用の利用者属性が「社外の協力会社」となっている場合も用意します。このときは下書きを作らず、対象外であることを伝えるのを期待結果にします。
複数段階の自動化に加える失敗条件
複数段階の自動化は、検索、判断、外部データの更新などを一つの仕事としてつなぐ構成です。途中まで正しく進んでも、最後の更新が失敗すれば依頼全体は未完了です。また、同じ依頼を再実行して下書きが増殖するなら、一回の成功だけでは問題が見えません。
資料分類の架空課題では、最初に新着資料を読み、分類を決め、作業一覧の下書きへ反映することにします。この設計に対しては、正常終了に加え、保存先が応答しない場合、処理の途中で止まった場合、同じ入力を再び与えた場合を確認候補にできます。どこまで終わり、何が未確認で、再開時に何を調べるかを記録します。この組合せは独自の試験案であり、「自動化型」の公的な評価規格ではありません。
実行を伴う評価は、許可を得た試験環境だけで行います。ここでの例は架空の資料と下書きに限定しており、実際の申請や送信を前提にしていません。成功条件と変更してはいけない対象を課題ごとに明示し、確認できなかった項目は未確認のまま残すことで、種類の名前を具体的な評価へつなげられます。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する