第 2 章 評価の設計 · 導入

評価の設計

AI エージェントの評価を設計する章です。採点の粒度、エージェントの種類別の観点、正確さ以外の観点、設計の落とし穴を扱います。

要点

  1. この章では、評価を始める前に決めておく設計の事柄を扱います。
  2. 何をどの粒度で採点するかを、最終状態だけを見るか、あるいは過程も見るかという観点から検討します。
  3. エージェントの種類(RAG・問い合わせ・コーディング・操作・自動化)ごとに見る観点が変わることを示し、正確さに加えて較正・頑健性・公平性・有害性・効率を同時に測る考え方を説明します。
  4. 答えの漏れや保留セットの不足といった設計の落とし穴も整理します。

この章の節

  1. 最終状態・経路・一手という採点の粒度のサムネイル2.1 最終状態・経路・一手という採点の粒度最終状態だけか過程も見るか、ツール呼び出し単位から全体まで
  2. エージェントの種類別の評価の観点のサムネイル2.2 エージェントの種類別の評価の観点RAG・問い合わせ・コーディング・操作・自動化
  3. 正確さ以外に測る観点のサムネイル2.3 正確さ以外に測る観点較正・頑健性・公平性・有害性・効率を同時に測る考え方
  4. 評価設計の落とし穴のサムネイル2.4 評価設計の落とし穴答えの漏れ、保留セットの不足、採点のしやすさへの引きずられ(採点器の偏りは 4.2)
  5. HyperFrames と Remotion の動画制作と修正の比較のサムネイル2.5 HyperFrames と Remotion の動画制作と修正の比較同じ指示で作った短い商品動画を、仕上がりと価格・表示時刻の修正で比較する

この章の目的

評価は、測りたいものを決めないまま始めると、数字が出ても何を改善すればよいか分かりません。たとえば社内の問い合わせエージェントなら、最終的な回答だけを採点するのか、途中で呼んだツールまで見るのかで、見つかる問題が変わります。この章は、評価を実行する前に決めておく設計の事柄(粒度・観点・避けたい落とし穴)を扱います。

図 2.0.1 評価設計で決める四つの事柄は、この章が扱う事柄の並びを示します。評価の設計の章は、採点の粒度、種類別の観点、正確さ以外の観点、設計の落とし穴の順に、設計で決める事柄を扱います。

評価設計で決める四つの事柄評価の設計の章は、採点の粒度、種類別の観点、正確さ以外の観点、設計の落とし穴の順に、設計で決める事柄を扱います。採点の粒度を決める種類別の観点を選ぶ正確さ以外の観点を足す設計の落とし穴を避ける
図 2.0.1 評価設計で決める四つの事柄

読者と想定する状況

評価をこれから設計する人、すでにある評価の測り方を見直したい人が対象です。どの節からでも単独で読めます。

図 2.0.2 評価設計の事柄に含まれる論点は、各事柄に含まれる論点を示します。評価の設計の章では、採点の粒度、種類別の観点、正確さ以外の観点、落とし穴の四つの事柄が、それぞれ具体的な論点を含みます。

評価設計の事柄に含まれる論点評価の設計の章では、採点の粒度、種類別の観点、正確さ以外の観点、落とし穴の四つの事柄が、それぞれ具体的な論点を含みます。落とし穴答えの漏れ保留セットの不足採点しやすさへの偏り正確さ以外較正・頑健性公平性・有害性・効率種類別の観点RAG・問い合わせ・自動化コーディング・操作採点の粒度最終状態・経路・一手
図 2.0.2 評価設計の事柄に含まれる論点

会議室予約の取り消しで四つの事柄を決める

以下は架空の設計例です。社内の問い合わせエージェントに「明日10時の会議室予約を取り消して」と頼む課題で、四つの事柄を順に決めます。

  • 粒度:試験用の予約台帳から該当の一件が消えたか(最終状態)と、取り消す前に依頼者本人の予約か確かめたか(経路)を分けて採点します。
  • 正確さ以外:他人の予約を消していないか(有害性)と、ツールを何回呼んだか(効率)を別の欄に記録します。
  • 種類別の観点:予約を書き換える問い合わせなので、返答文だけでなく試験用台帳の最終状態を見ます。取り消し対象が二件あれば、特定できるまで確認へ回すことも期待結果にします。
  • 落とし穴:開発中に何度も試した課題とは別に、保留セット(開発中には見ず、採点にだけ使う課題の組)を分けておきます。

他の章で扱う事柄

採点器の種類と偏りは第 4 章、指標の計算と統計は第 5 章、評価データの作り方は第 3 章で扱います。