第 2 章 評価の設計2.4

評価設計の落とし穴

AIエージェントの評価で、答えの混入、保留データの不足、目的と指標のずれ、比較条件の変更が結論をどうゆがめるかを説明します。架空の資料検索サービスを例に、結果から言える範囲を整理します。

要点

  1. 評価設計の落とし穴は、得点が上がっても、本来確かめたい能力が上がったとは限らないことです。
  2. 答えが評価側から混ざっていないか、未見のどのような課題に対応できると主張するのか、指標が仕事の目的を捉えているかを確認します。
  3. 比較の条件と失敗の扱いも固定し、変更した部分を記録します。
  4. 高得点を一般的な能力保証へ広げず、測定した条件に結論を限定します。

定義

評価の妥当性
評価の結果が、本来確かめたい事柄を捉えているかという性質です。
保留セット(holdout set)
調整に使わず、別の入力で結果を確かめるために残す評価データです。
過学習(overfitting)
調整に使った例には合う一方、その外では期待どおりに働かない状態です。

評価の妥当性とは、その結果が本来確かめたい事柄を捉えているかという性質です。採点が毎回同じでも、答えを見せた課題や、仕事の成功と無関係な指標を使えば、望む能力は確かめられません。HELMも、指標やデータが意図する対象を表すことと、測定が安定することを区別しています(11.2節)。

架空の資料検索サービスを考えます。質問に応じて社内資料を探し、該当する案内を作る仕組みです。開発中に使った問い合わせではよく答えるようになりました。ここから「新しい問い合わせにも使える」と判断する前に、得点が高くなった理由を点検します。以下はこの例の評価設計であり、実験や導入の実績ではありません。

評価用の答えが入り込む経路

答えの漏れは、モデルの学習データだけの問題ではありません。評価用の正解が、入力例、検索する資料、補助ファイル、開発者が書いた個別処理に入り込むと、想定した方法で問題を解かなくても得点できる場合があります。AI Agents That Matterは、試験問題に関する知識をエージェントへ直接組み込める点と、試験への過度な適応を指摘しています(5節)。

資料検索の例では、業務で使う正規の案内文書を読ませることと、今回の評価問題にだけ対応する正解一覧を読ませることを分けます。資料を参照する仕事なのに参照をすべて禁じれば、別の能力を測ることになります。何が仕事の入力で、何が採点側だけに置く情報かを決めることが先です。

この例では、入力資料の一覧と評価用の正解を別に管理し、検索対象へ正解一覧が混ざっていないか確認します。似た問い合わせを言い換えただけの課題も、別の能力を確かめたと扱わないようにします。開発で使った例から独立している範囲を記録し、単にファイル名が違うことを独立の根拠にしません。

一方、利用するモデルの事前学習データをすべて確認できるとは限りません。HELMも、学習データへの評価問題の混入を直接確定することの難しさは残るとしています(11.1節)。確認できた経路と不明な経路を分け、漏れがないと断定しないことが必要です。

ひし形では、資料検索サービスに読ませる情報が業務で使う入力かどうかで管理先を分けます。どちらの側も、検索対象に評価用の正解一覧が混ざっていないかの照合へ進みます。照合できるのは管理している経路だけで、モデルの事前学習データは残るため、最後は漏れがないと断定しない扱いになります(図 2.4.1 参照情報の区分と漏れの確認範囲)。

参照情報の区分と漏れの確認範囲評価で参照させる情報を仕事の入力と採点側だけの正解に分け、検索対象への混入を確認する。それでも事前学習データは確認しきれないため、漏れなしと断定しない関係。はいいいえ照合照合なおそのため参照させる情報仕事の入力?入力資料として管理採点側だけに置く検索対象への正解混入を確認事前学習分は確認しきれない漏れなしと断定しない
図 2.4.1 参照情報の区分と漏れの確認範囲

保留する単位と一般化したい範囲

保留セット(holdout set)は、調整に使わず、別の入力で結果を確かめるために残す評価データです。過学習(overfitting)は、調整に使った例には合う一方、その外では期待どおりに働かない状態を指します。

保留する単位は、「どのような新しい課題に対応できると言いたいか」で変わります。AI Agents That Matterは、エージェントに期待する汎用性が広いほど、保留側にも課題や領域の違いが必要になると論じています(5節)。次は、資料検索サービスへ当てはめた設計例です。

評価から言いたいこと保留側へ残す違いの例それだけでは言えないこと
同じ案内業務の新しい質問に答えられる開発で使っていない質問と、その根拠資料の組別の業務にも対応できること
資料の構成が変わっても探せる見出しや配置が異なる資料を含む課題外部サイトや未確認の形式でも使えること
案内以外の仕事にも対応できる調整に使っていない種類の仕事あらゆる仕事で役立つこと

同じ雛形から作った質問を二つの集合へ散らしても、資料の構成変化に対応できるかは分かりません。逆に、案内業務だけが対象なら、無関係な仕事までできることを合格条件にする必要もありません。主張する範囲と、保留側に置いた違いを対応させます。

保留結果を見て指示や検索方法を直した場合、その例は調整に使ったことになります。この例では、その履歴を残して最後の確認範囲を見直します。集合の作成と更新の具体手順は3.1と3.3に委ねます。

採点しやすい特徴と仕事の目的

測りやすい特徴を、測りたい能力の代わりに置くときにも注意が必要です。HELMは、評価値が改善目標になるからこそ、その値が意図する対象を捉えているかを確かめる重要性を述べています(11.2節)。

案内文に期待する語が含まれるかは、機械で調べやすい項目です。しかし、その語を含む誤った案内もあります。この例で目的が「有効な手続きを案内できること」なら、単語の出現だけでは足りません。反対に、正しい別の表現を不合格にしていないかも確認します。

評価条件の点検には、得点と仕事の成否が食い違いそうな例を使えます。たとえば「期待語はあるが適用条件を取り違えた案内」と「期待語とは違うが内容は正しい案内」を架空に用意し、判定がどうなるべきかを説明します。これは採点器を複雑にする作業ではなく、何を採点するかを問い直す作業です。期待結果の定義は3.2で扱います。

この問題は、LLM採点だけに限りません。人やルールでも、目的と違うものを数えれば起こります。LLM特有の採点の偏りは4.2で分けて確認します。

比較条件と失敗の扱いを動かさない

同じ名前の評価セットでも、試した課題や許した動作が違えば、得点をそのまま比べられません。AI Agents That Matterは、評価スクリプト、課題の部分集合、環境とのやり取りの差が、再現や比較を難しくすることを報告しています(6節)。

この例では、旧設定と新設定に同じ課題、参照資料、採点規則を使います。再試行を増やす変更を評価するなら、その変更を比較対象として明示します。モデルの更新と同時に再試行も増やし、得点差をモデルだけの効果として説明しません。

時間切れや記録不足の課題を、集計時に黙って取り除くことも避けます。成功、不成功、判定不能を区別し、どの課題をどの理由で集計へ含めたかを残します。環境の固定方法は6.3、ばらつきの扱いは5.2で説明しています。

同じ規程の言い換えを別セットに置かない

架空の備品貸出データで、同じ規程v2をもとに「何日借りられるか」「貸出の上限期間を知りたい」という二つの問いを作ったとします。一方を開発用、もう一方を保留用に置くと、新しい規程への対応力ではなく、既に見た規程の言い換えへの対応力を測ることになります。

未知の部署の規程へ一般化したいなら、分割キーを質問文のIDでなく部署・規程の組にします。保留用の規程そのものや、その答えを採点説明へ写した資料も、開発用から除きます。検索の索引にあるファイル名を一覧にし、正解一覧の文の一部で索引を検索して、見つかった写しは索引から外してから全問を実行し直します。分割表には規程ID、版、部署、用途を残し、同じ規程が両側へ入ったら評価前に分割を直します。一方、同じ規程内の表現の揺れを測りたい場合は、この言い換えを使えます。何へ一般化したいかを先に固定すると、漏れと正当な類似課題を区別できます。たとえば保留の20問のうち6問が開発用と同じ規程で、残る14問も開発用と同じ部署の別の規程だったなら、報告には「開発用と別の規程の14問で評価した。未知の部署の規程は未評価」と件数を添えて書きます。

結論を確かめた条件へ戻す

評価結果を読むときは、先に次の対応を確かめます。許可を得た試験環境で、架空の入力と資料を使って点検するための例です。

  • 想定する仕事と、課題に含めた仕事が対応している。
  • 調整で見た情報と、保留した情報を区別できる。
  • 採点には合格するものの誤っている結果と、正しい別解の扱いを説明できる。
  • 設定、資料、採点規則、除外や失敗の記録が残っている。

ここが曖昧なまま試行回数を増やしても、測っている対象のずれは解消しません。まず設計のずれを確かめ、その後で結果のばらつきや差を検討します。公開ベンチマークの高得点も、自分の業務の条件で測った結果とは限りません。結論には、確認できた課題と条件、まだ試していない範囲を併記します。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する