第 4 章 採点 · 導入

採点

AI エージェントの採点を扱う章です。ルール・AI モデル・人による方式の比較、LLM 採点の限界、一致度の検証、ルーブリックの作成を扱います。

要点

  1. この章では、評価結果に点を付ける採点器の種類と、採点器を信頼できるかの確かめ方を扱います。
  2. ルール・AI モデル・人による採点方式の向き不向きを比べます。
  3. LLM に採点を任せるときの採点プロンプト、偏り、再現性の限界を説明します。
  4. 自動採点と人手採点の一致度の測り方とずれの直し方、採点基準(ルーブリック)の粒度と書き方も示します。

この章の節

  1. ルール・AI モデル・人による採点方式の比較のサムネイル4.1 ルール・AI モデル・人による採点方式の比較それぞれの向き不向き
  2. LLM による採点の仕組みと限界のサムネイル4.2 LLM による採点の仕組みと限界採点プロンプト、偏り、再現性
  3. 自動採点と人手採点の一致度の検証のサムネイル4.3 自動採点と人手採点の一致度の検証一致率の測り方、ずれの直し方
  4. 採点基準(ルーブリック)の作成のサムネイル4.4 採点基準(ルーブリック)の作成採点基準の粒度と例

この章の目的

同じ回答でも、誰が採点するかで点が変わると、評価の数字は信用できません。たとえば回答の丁寧さを LLM に採点させるなら、その採点が人の判断とどれだけ合うかを確かめてから使う必要があります。この章は、採点方式の選び方、LLM 採点の限界、一致度の検証、採点基準の書き方を扱います。

図 4.0.1 採点を扱う四つの事柄は、この章が扱う事柄の並びを示します。採点の章は、採点方式の選択、LLM 採点の限界、人手採点との一致度の確認、採点基準の作成の順に、採点の事柄を扱います。

採点を扱う四つの事柄採点の章は、採点方式の選択、LLM 採点の限界、人手採点との一致度の確認、採点基準の作成の順に、採点の事柄を扱います。採点方式を選ぶLLM 採点の限界を知る人手との一致度を測る採点基準を書く
図 4.0.1 採点を扱う四つの事柄

読者と想定する状況

採点方式を選ぶ人、LLM による採点を使い始める人、採点のばらつきに困っている人が対象です。どの節からでも単独で読めます。

図 4.0.2 採点の事柄に含まれる論点は、各事柄に含まれる論点を示します。採点の章では、採点方式、LLM 採点、一致度、採点基準の四つの事柄が、それぞれ具体的な論点を含みます。

採点の事柄に含まれる論点採点の章では、採点方式、LLM 採点、一致度、採点基準の四つの事柄が、それぞれ具体的な論点を含みます。採点基準粒度・例一致度一致率の測り方ずれの直し方LLM 採点採点プロンプト偏り・再現性採点方式ルールAI モデル人
図 4.0.2 採点の事柄に含まれる論点

返信文の採点で、どの節が要るか

以下は架空の設計例です。返金の問い合わせへの返信を採点する場面を考えます。エージェントが返信とは別に、返金期限を「日数:14、起算日:商品の到着日」のような項目で出力する設計なら、試験用規程の「到着から14日以内」とルールで照合できます。「14日」の文字列だけでは、誤った起算日を見逃します。この観点にはルールによる採点が向いています(採点方式の比較)。「相手の不満に応じた言い方か」は表現が多様なので、LLM による採点の候補になります。その場合は、元の問い合わせと観点を採点プロンプトに渡し、長さなど内容以外の特徴による偏りを点検します(順序の偏りは、二案を比べる採点で確かめます)(LLM 採点の限界)。使い始める前に、人が判定した返信と突き合わせ、どの観点で判定が食い違うかを記録します(一致度の確認)。食い違いが「丁寧」の解釈の差から来ているなら、採点基準の水準を書き直します(ルーブリックの作成)。

他の章で扱う事柄

採点した結果の集計と統計は第 5 章、何を採点の粒度にするかの設計は第 2 章、評価データの作り方は第 3 章で扱います。