第 4 章 採点4.2

LLM による採点の仕組みと限界

LLM採点器へ渡す材料と基準、回答の順序や長さによる偏り、同じ条件で結果を確かめる方法を、架空の要約課題で説明します。

要点

  1. LLMによる採点は、文章を扱う大規模言語モデルに、評価対象と基準を渡して判定を得る方式です。
  2. 意味や表現を扱える一方、回答の順序や長さに影響され、採点器自身が誤ることもあります。
  3. 元の資料と採点基準をそろえ、項目ごとの判定と根拠を確認します。
  4. 同じ入力を採点し直したときの揺れと、人が確かめた判定とのずれを残し、点数だけで正しさを保証しないことが必要です。

定義

LLMによる採点(LLM-as-a-Judge)
文章を扱う大規模言語モデルを採点器として使い、与えた基準に照らして回答を判定する方式です。
採点プロンプト
採点器へ渡す指示文で、何を評価し、何を根拠に、どんな形で判定するかを記します。

LLMによる採点(LLM-as-a-Judge)は、文章を扱う大規模言語モデルを採点器として使い、与えた基準に照らして回答を判定する方式です。要約が元の文書に沿っているか、といった意味の確認に利用できます。ただし、採点結果もモデルが生成する出力です。採点を任せたことと、正しさを確認できたことを分けて扱います。

架空の課題として、会議メモを担当者向けに要約する場面を考えます。元のメモには「資料の修正は水曜まで。公開日は未定」とあり、要約案には「資料を水曜までに修正し、同日に公開する」とあります。採点器には元のメモと要約案を渡し、日程の正確さを判定させます。「読みやすいか」だけを尋ねると、公開日を付け足した誤りを確認する基準が欠けます。この課題と以下の表・手順は説明用の独自例で、実測結果ではありません。

採点器に渡す材料と基準

採点プロンプトとは、採点器へ渡す指示文です。何を評価し、何を根拠に、どんな形で判定するかを記します。ルーブリックは、そのうち採点の観点と水準を定めた基準です。両者の関係は1.4でも説明しています。

要約課題では、次のように材料を分けると、判定を読み返す際に不足を見つけやすくなります。

渡すものこの課題での内容
課題と資料会議メモを要約する依頼と、元のメモ全文
評価対象実際に生成された要約案
基準日程を変えない、未定を確定扱いしない、資料にない予定を加えない
出力の形各項目の合否と、根拠となるメモ・要約案の該当箇所

G-Evalは、課題と基準の指示、モデルが作る評価手順、採点値を計算する処理を組み合わせた研究です。上の表は、その方式を再現する実装ではありません。基準と対象を明示する考え方を参考に、読者が判定を照合できる材料を整理したものです(Liuら、EMNLP 2023、Method)。

この例で確かめるのは、メモと要約の整合です。メモに書かれた予定が現実に正しいかまで、同じ判定で確認したことにはなりません。また、「不合格」と返っても、それだけで採点の正しさは確定しません。メモの「公開日は未定」と、要約が付け加えた公開日とを照らし合わせます。これは、確認可能な該当箇所を出力に求め、内部の思考過程を取得できることを前提にしない運用例です。

判定の形と用途

採点結果の使い方によって、回答一つを採点するか、二つを比べるかを選びます。Zhengらは単一回答の採点、回答同士の比較、参照解を添えた採点を整理しています。参照解の利用は他の方式とも組み合わせられます(NeurIPS 2023、3.1節)。

要約案を配布してよいか確認する例なら、必要条件ごとの合否が判断に結びつきます。一方、二つの要約案から読みやすい方を選ぶ例なら、同じ基準で比較する形が考えられます。後者で「より良い」と選ばれても、公開日を誤った案同士の比較かもしれません。相対的な勝敗を、そのまま配布条件の充足とみなさないことが要点です。

OpenAIの公式文書も、対比較や合否による判定と、人の判定との照合を勧めています(Evaluation best practices)。この推奨は、特定の課題で誤りがなくなる保証ではありません。参照解を用意する際も、一つの言い回しだけを正解に固定すると、意味の等しい要約を落としかねません。許容する結果の整理は3.2で扱っています。

採点を歪める偏りと判断の誤り

採点器には、内容の良し悪し以外の特徴に引きずられる問題があります。Zhengらは回答の提示位置や長さへの偏り、数学・推論課題の採点の限界を報告しています(3.3節)。以下の要約課題への当てはめは本稿の説明例です。

確認する問題要約課題での確認例
提示位置への偏り二案の順序だけを入れ替えたとき、選ばれる案が変わるか
長さへの偏り必要事項の正確さを見ず、長い説明を高く評価していないか
採点そのものの誤り「水曜」は修正期限なのに、公開日の根拠として扱っていないか

同論文は、モデルが自分の生成した回答を好む可能性も調べています。ただし、データの制約などから、その偏りがあると確定できない旨を記しています。すべてのモデルが必ず自分をひいきすると一般化しないことも、研究結果を使う際の注意点です。

順序を入れ替えて判定を照合する方法は同論文3.4節で検討されています。ただし、順序に対して安定した判定でも、同じ誤りを一貫して見逃すことはあり得ます。この要約例なら、両順序で公開日を誤った案が選ばれた際には、基準と元のメモとの照合が別に必要です。

ひし形は、二つの要約案の提示順を入れ替えても同じ案が選ばれるかの分岐です。「いいえ」なら位置の偏りを疑います。「はい」でも採点が正しいとは確定しません。両順序で公開日を誤った案を選ぶこともあるため、最後に基準と元のメモを照らし合わせる確認が別に残ります(図 4.2.1 順序入れ替えで分かることと残る確認)。

順序入れ替えで分かることと残る確認二案の提示順を入れ替えて採点し、選ぶ案が変われば位置の偏りを疑う。変わらなくても同じ誤りを見逃し得るため、基準と元のメモで別に照合する流れ。いいえはいただし別途二案を両順序で採点選ぶ案は同じ?位置の偏りを疑う順序に対し安定同じ誤りを見逃し得る基準とメモを照合
図 4.2.1 順序入れ替えで分かることと残る確認

公開日の付け足しを見つける採点プロンプト

以下は架空の設計例です。特定のモデルや製品で実行した結果ではありません。「採点器に渡す材料と基準」の表にある基準を、項目ごとに合否と根拠を返す指示へ書き下すと、次のようになります。

あなたは要約の日程の正確さだけを判定します。読みやすさや文体は判定しません。
[会議メモ] {memo}
[要約案] {summary}
次の3項目それぞれについて、合格か不合格かを答えてください。
根拠として、メモと要約案の該当箇所をそのまま引用してください。
該当文がなければ「該当なし」と書いてください。
1. メモの期限を変えていない
2. メモで未定の事項を確定として書いていない
3. メモにない予定を加えていない
出力は JSON にし、項目番号、判定、メモの引用、要約案の引用を含めてください。

冒頭の例で期待する判定は、項目2と項目3が不合格です。ここでは未定の確定化と予定の追加を別観点として記録するため、一つの誤りが両方に現れます。一致率の分母は独立した誤り件数ではなく、観点ごとの判定数です。根拠の引用は、要約案が「同日に公開する」、メモが「公開日は未定」です。採点器が項目2を合格にし、根拠に「資料の修正は水曜まで」だけを引用した場合は、修正期限と公開日を取り違えたと読めます。

運用前の確認も、架空の数で示します。要約案20件を人が3項目ずつ判定すると、判定は60個になります。採点器の判定と照合して54個が一致すれば、一致率は 54 ÷ 60 = 90% です。残る6個の不一致は、率に埋もれさせず、どの項目で起きたかを一覧にします。仮に6個のうち5個が項目2なら、「未定」の定義(メモに「未定」「調整中」「別途通知」とある事項)を指示に加えて版を上げます。そのうえで、同じ60個の判定で修正の効きを確かめ、さらに調整に使わなかった別の例でも照合します。一致率の目安は、対象業務での誤りの重さに合わせて決めます。この90%を合格の基準として扱わないでください。偶然の一致を除いた見方は一致度の確認で扱います。

再現性を確かめる記録

再現性の確認では、同じ評価条件を再現できるようにすることと、判定がどの程度そろうかを見ることを分けます。Zhengらも、採点モデルが変わると単一回答の点数が変動し得ると述べています(3.1節)。モデルや基準を変えた前後の点数を、要約するAIだけの改善として読まないために、採点側の条件も残します。

この課題を導入するときの作業例は次のとおりです。自分たちが利用を許可された資料と試験環境で行います。

  1. 材料と採点条件を保存します。 メモ、要約案、基準、採点プロンプトの版、採点モデルの識別子、実行時の設定を記録します。参照解を使ったかも残します。
  2. 同じ材料を採点し直して比較します。 合否が変わった項目は、点数の平均に埋もれさせず、個々の結果を残します。対比較なら回答の順序も記録します。
  3. 人が確かめた判定と照合します。 この例では未定の公開日が付け足された箇所を確認します。採点器と人の判定が違えば、資料・基準・判定理由のどこでずれたかを調べます。
  4. 採点器の変更前後を区別します。 基準を直したら版を更新し、保存した同じ材料で再確認します。前の版の点数を無条件に新しい版へ引き継ぎません。

この記録をそろえても、LLM採点器の誤りがなくなるわけではありません。どの条件で、どの項目を確認し、何が未確認なのかを追える状態にするための手順です。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する