第 4 章 採点4.4

採点基準(ルーブリック)の作成

AIエージェントへの曖昧な要求を、観察できる採点条件と段階へ変える手順です。架空の案内作成を例に、境界例、判定不能、試し採点による基準の修正を説明します。

要点

  1. ルーブリックは、評価する観点と、各段階に当たる結果の条件を記した採点基準です。
  2. 「正確で分かりやすい」のような要求を、確認できる情報と出力の特徴へ分けて書きます。
  3. 段階の境目には具体例を置き、許容する言い換えと、欠落や誤りを区別します。
  4. 試し採点で判断が割れた箇所を調べ、基準と確認用の例を整えてから版を固定します。

定義

ルーブリック(rubric)
評価する観点と、各段階に当たる結果の条件を記した採点基準です。
評価ケース(test case)
一つの課題と判定に必要な資料のまとまりです。

ルーブリック(rubric)は、評価する観点と、各段階に当たる結果の条件を記した採点基準です。たとえば社内案内を作るエージェントに「正確で分かりやすく」と求めても、文章の短さを重視する人と、必要情報の有無を重視する人では採点が変わります。まず利用者が案内を読んで行うことを決め、必要な情報を挙げ、その情報の欠落や誤りを段階へ対応づけます。

以下は、設備の保守案内を作る架空のエージェントを使った設計例です。試し採点は、所有者または管理者の許可を得た対象と、評価用に用意した資料で行います。

採点する対象と資料の固定

何を採点するかが揃っていないと、詳しいルーブリックがあっても結果を比べられません。この例では、エージェントが取得した通知をもとに作る、社員向けの最終案内文だけを対象とします。通知を検索する能力や、通知そのものの正しさは別の確認事項です。

架空の元通知には、「保守は土曜に実施する」「利用再開の時刻は未定である」「再開は総務からの通知で知らせる」とあります。依頼は、この通知から保守日、再開時刻の扱い、社員が再開を確認する方法をまとめることです。良い案内なら、社員は土曜の保守を把握し、再開時刻を決めつけず、総務の通知で再開を確認できます。

採点に渡す資料は、依頼文、元通知、評価する案内文です。この組を評価ケース(test case)、つまり一つの課題と判定に必要な資料のまとまりとして保存します。採点者が元通知を読めなければ、案内が元通知に忠実かは確かめられません。資料不足を文章の品質の低さと混同しない準備が必要です。

要求を採点条件へ変える手順

要求を分ける目的は、点数の理由を出力のどこにあるか示せるようにすることです。次の順に決めると、段階の名前だけが先に増えることを避けられます。

  1. 利用者が必要とする結果を書く。 この例では、保守日と再開の確認方法を誤解なく把握できることです。文字数や敬語の多さを、この結果の代わりにしません。
  2. 確認する観点を分ける。 元通知と矛盾しない「事実の忠実さ」と、依頼された情報を含む「情報の充足」を分けます。正しいことだけを書いた短い文でも、必要な項目が欠ける場合があるためです。
  3. 各段階を観察できる条件で書く。 「良い」「普通」「悪い」だけでなく、どの情報があり、どの誤りがあると該当するかを書きます。中間段階に意味のある違いを説明できなければ、無理に段階を増やしません。
  4. 重なりと優先順位を決める。 情報の欠落と矛盾が同時にある場合も、観点ごとの条件で採点します。同じ問題を複数の観点で数える設計にするなら、その理由を明記します。

次の表は、この架空の課題のために作ったルーブリックです。一般の案内業務に共通する基準ではありません。「情報の充足」は情報に言及しているかを扱い、内容の正誤は「事実の忠実さ」で扱います。

観点満たす条件部分的に満たす条件満たさない条件
事実の忠実さ案内に書いた事実が元通知と一致し、未定事項を確定扱いしていないこの例では中間段階を設けない元通知と矛盾する、または元通知にない事実を確定事項として加える
情報の充足保守日、再開時刻の扱い、再開の確認方法のすべてに言及するこのうち一部に言及するが、残りが欠けるいずれにも言及していない

たとえば「保守は土曜です」だけなら、事実の忠実さは満たしますが、情報の充足は部分的です。「土曜に保守し、夕方には使えます。再開は総務の通知でも確認できます」なら、必要な項目には言及していても、未定の時刻を確定させているため、事実の忠実さを満たしません。

「読みやすさ」を別に採点する場合も、「読みやすい」という印象だけでは条件になりません。この課題なら、再開を確認する手段が明示されているかを先に見ます。それはすでに情報の充足に含まれるため、同じ内容を別の観点名で重ねない設計にしています。文体そのものを要件にするなら、箇条書きの指定など、依頼に明示した条件を追加します。

段階の境目と判定不能の扱い

境界例は、隣り合う段階の違いを確かめるための出力例です。代表的な正解文だけでなく、一部を変えた文を比べると、採点者が何を見分ける必要があるかが分かります。

この例で比べる違い採点上の扱い理由
「再開時刻は未定」と「再開時刻はまだ決まっていません」同じ条件を満たす言い回しが異なっても、元通知の意味を保つ
再開時刻が未定であることは書くが、総務の通知に触れない情報の充足は部分的再開の確認方法が欠ける
再開時刻を推測で確定させる事実の忠実さを満たさない元通知が決めていない事実を加えている
採点時に元通知を読み込めない事実の忠実さは判定不能採点に必要な根拠が欠け、真偽を確かめられない

判定不能は、段階の最下位とは異なります。前者は採点側の情報不足、後者は必要な情報を見たうえでの不適合です。元通知に「未定」と書かれていることと、元通知そのものがないことも区別します。判定不能の理由と不足資料を残し、根拠が揃うまでは適合したと扱いません。

図 4.4.1 採点できないときの判定不能の扱いは、採点の途中での分岐を示します。採点者が元通知を読めるときは条件に当てはめて段階を決め、読めないときは判定不能とし、理由と不足資料を記録して、根拠が揃うまで適合したと扱いません。

採点できないときの判定不能の扱い元通知を読めるときは条件に当てはめて段階を決め、読めないときは判定不能として理由と不足資料を記録し、根拠が揃うまで適合と扱いません。はいいいえ採点を始める元通知を読めるか条件に当てはめる段階を決める判定不能とする理由と不足資料を記録揃うまで適合扱いしない
図 4.4.1 採点できないときの判定不能の扱い

Anthropicの評価ガイドは、曖昧な基準を避け、観点を分けた採点と、情報不足時に判断を保留できる設計を勧めています。この例では、それを条件表と判定不能の別記として具体化しています。(Anthropic、Step 2・Step 5)

採点方法への引き渡し

作った基準は、人が読む場合も自動採点に渡す場合も、観点、段階、参照資料の対応を保ちます。採点器(grader)は、出力や記録を調べて評価結果を返す仕組みです。たとえば必須項目の存在を調べるプログラムや、文章の意味を比較する言語モデルが該当します。

LLM(大規模言語モデル)は、多量の文章から学習し、文章を生成・解釈するモデルです。これを採点器に使う場合は、依頼文、元通知、案内文の役割を区別して渡します。そのうえで「記載事実を元通知と照合する」「必要項目への言及を確認する」のように、採点時に行う確認を記します。観点ごとの結果と、判断を支える短い根拠箇所を保存すると、後から誤判定を調べられます。

G-Eval論文のMethodは、評価課題と基準、評価手順、採点処理を組み合わせる方式を示しています。DeepEvalの公式文書も基準と評価手順を区別し、得点範囲ごとの期待する結果を指定する機能を説明しています。この機能は原論文にないDeepEvalの追加機能であり、論文と実装を同一の仕様として扱えません。(G-Eval、EMNLP 2023 §2、DeepEval、Evaluation Steps・Rubric)

観点ごとの評価を、実行全体の合否へどうまとめるかは別に定めます。この例なら、未定の時刻を断定した案内を、他の項目が揃っているから合格にする設計は、最初に置いた「再開時刻を決めつけない」という要求と食い違います。単純に平均する前に、必ず満たす条件を確認します。

境目を確かめる三つの案内文

架空の備品受取案内で、事実を「受取日は11月5日、場所は総務窓口、受取時に本人確認書類が必要」と固定します。「要求を採点条件へ変える手順」の二つの観点を使い、情報の充足は日・場所・持ち物への言及とします。

回答例判定例と理由
11月5日に総務窓口へ、本人確認書類を持って来てください事実の忠実さ・情報の充足とも満たす(日・場所・持ち物がそろう)
総務窓口へ受け取りに来てください事実の忠実さは満たす。情報の充足は部分的(日と持ち物が欠ける)
11月6日に総務窓口へ、本人確認書類を持って来てください情報の充足は満たすが、日付が事実と違うため事実の忠実さを満たさない

これは説明用の採点例です。「必要項目を三つ書いた」という形式だけで3行目を合格にしないことが要点です。二人の採点者が違う判定をしたら、好みを平均する前に、不足と誤りを同じ観点に混ぜていないかを調べます。

試し採点と基準の固定

基準の文面を整えた後は、想定した違いを採点で区別できるかを確かめます。次はこの例での確認手順であり、採点の一致や性能を実測した結果ではありません。

  1. 期待する判断を付けた例を用意する。 正しく揃った案内、情報が欠けた案内、事実が矛盾した案内、資料不足のケースを分けます。基準を調整する例とは別に、修正後の確認に使う例を取り分けます。
  2. 判断が異なる理由を調べる。 元通知の読み違い、段階の説明の曖昧さ、採点器の誤りを分けます。たとえば架空の試し採点で「再開時刻は未定のため、決まり次第お知らせします」が、採点者 A では情報の充足を満たす、B では部分的と割れたら、境界例の表では保守日と総務の通知への言及が欠ければ部分的と定めているため、Aの読み違いを直し、採点者向けの説明を補います。正しい言い換えが落ちた場合は、特定の文言の一致を要求していないか確認します。
  3. 条件と境界例を一緒に直す。 答えの一覧を増やすだけでなく、なぜその段階になるかを条件へ戻します。変更後は、取り分けた例でも期待した区別ができるか確認します。
  4. 同じ条件を再利用できる形で保存する。 ルーブリックの版、参照資料、採点方法、境界例、未解決の判断を記録します。採点器にモデルを使った場合は、その識別子と設定も残します。

最後に、各観点で見る資料が揃っていること、条件の重なりや抜けが処理されていること、判定不能の扱いが書かれていることを確認します。例で一致しただけで、未経験の課題にも妥当な基準になったとは限りません。運用で新しい違いが見つかったら、その具体的な出力を手掛かりに基準の適用範囲を見直します。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する