第 4 章 採点4.1
ルール・AI モデル・人による採点方式の比較
AI エージェントの採点方法を、確認する対象、費用、結果の安定性、判断の妥当性で比較します。架空の備品予約を例に、ルール・AI モデル・人による判断の分担を説明します。
要点
- 採点方式は、確認したい条件と、その判断に使える資料に基づいて選びます。
- 値や状態の一致はルールで調べ、文章の意味は AI モデルや人に基準を示して判断させる方法があります。
- 実行費用の低さ、毎回同じ点になること、目的に合った採点であることは別の性質です。
- 観点ごとに方法を組み合わせ、判定できなかったケースと理由を残します。
定義
- ルール
- あらかじめ書いた条件をプログラムで検査する採点方式です。
- モデル採点
- 文章を扱う AI モデルに資料と基準を渡して判断させる採点方式です。
- 人手採点
- 人が同じ資料と基準を読んで判断する採点方式です。
採点器(grader)は、エージェントの出力や処理後の状態を調べ、決めた基準に沿って結果を返すプログラムや人です。備品を予約するエージェントなら、「予約が保存されたか」と「利用者への案内が分かるか」は、異なる資料を使う判断です。前者には台帳、後者には依頼文と案内文が必要です。採点方式を選ぶ前に、この対象を分けると、得点が何を表しているか説明しやすくなります。
以下では、架空の備品予約を使って三つの方式を比べます。実在の業務の性能や費用を測った結果ではなく、評価を設計するための例です。方式の優劣を一列に並べず、同じ観点に照らして担当を決めます。
採点対象と方式の対応
利用者から「練習用の備品Aを火曜午前に予約し、受け取り場所を知らせてください」と頼まれたとします。評価用台帳では備品Aが空いており、案内資料には受け取り場所が「受付」と書かれています。エージェントは試験用台帳を更新し、利用者に案内文を返します。
この処理には、少なくとも次の三つの確認があります。ルールは、あらかじめ書いた条件をプログラムで検査する方式です。モデル採点は、ここでは文章を扱う AI モデルに資料と基準を渡して判断させる方式を指します。人手採点は、人が同じ資料と基準を読んで判断する方式です。
| 確認する対象 | この例で使う資料 | 選択肢と理由 |
|---|---|---|
| 予約された備品と時間帯 | 処理後の台帳と期待する値 | ルールで一致を検査できる。完了を伝える文章だけでは台帳の更新を確かめられない |
| 案内が受け取り場所を正しく伝えること | 元の案内資料と返答文 | 言い換えを許すならモデルや人が意味を照合する。単語の有無だけでは、否定や誤った説明を見落とす |
| 依頼そのものに足りない条件 | 依頼文、利用規則、利用者の意図を確認した記録 | 判断基準を作る担当者が不足を整理する。採点者が黙って条件を補うと、同じ結果を比較できない |
Inspectの公式文書も、文字列の一致、別モデルによる回答の評価、形式の検査などを異なる採点方法として示しています。たとえば特定の文字列が含まれることを調べる機能と、自由な回答をモデルで評価する機能では、確認できる条件が異なります。(Inspect、Scorers)
実際の評価では、取得できる資料にも制約があります。台帳の保存結果が読めないなら、モデルに「保存できたと思うか」と尋ねても、保存の事実を確かめたことにはなりません。必要な観測点を用意するか、その観点を判定不能として扱います。
三つの方式の比較
比較で混同しやすいのは、費用、決定性、妥当性です。決定性は、同じ入力と規則から同じ結果が出る性質です。妥当性は、得点が本来確かめたい事柄を捉えているかという性質です。毎回同じ点数が出ても、間違った条件を測っていれば目的を満たしません。
次の表は、選定時に確認する項目を整理したものです。処理速度や費用の実測順位ではありません。モデルの利用形態、課題、採点件数によって費用は変わるため、準備と反復の両方を見ます。
| 比較する観点 | ルール | AI モデル | 人 |
|---|---|---|---|
| 条件の表し方 | 値の一致、範囲、件数など、実行可能な検査へ落とす | 参照資料と文章で書いた基準を渡す | 参照資料と基準を共有し、判断の理由を記録する |
| 準備と維持の費用 | 検査コードと期待値の作成、仕様変更への追従 | 採点用の指示と例の準備、誤判定の確認、モデル変更時の再確認 | 基準の説明、試し採点、判断が割れた箇所の調整 |
| 反復時の費用 | 検査を実行する計算資源と、失敗を調べる手間 | 推論の費用や待ち時間と、必要な再確認 | 採点と再確認に使う作業時間 |
| 結果の安定性の確認 | 時刻や外部状態も含めた入力を固定して確かめる | モデル・指示・設定を記録し、同じ資料への判断の揺れを調べる | 担当者間や時期による判断の差を調べる |
| 妥当性で注意する点 | 確認しやすい値だけを、業務の成功の代わりにしていないか | 筋の通った説明や高得点が、実際の成功を裏づけているか | 経験や期待を、資料にない正解として持ち込んでいないか |
たとえば返答に「受付」という語があれば合格にするルールは、「受付では受け取れません」という誤った案内も通します。ルールが不向きなのは、ここで文字列の存在を意味の正しさの代わりにしたためです。台帳の備品IDの一致を調べるルールまで、同じ理由で避ける必要はありません。
反対に、台帳の値を正しく読み取れるなら、すべてをモデルの印象で採点する必然性はありません。確定できる条件を直接調べたうえで、案内文の意味のように残った判断をモデルや人へ渡す構成が考えられます。モデル採点の仕組みと偏りは 4.2 で説明しています。
人手判断と正しさの区別
人が付けた点数も、資料と基準から生まれた判断です。人同士が一致していれば基準を同じように理解している可能性はありますが、それだけで基準が目的に合っているとは言えません。ArtsteinとPoesioの一致度の論文は、評価者が同じ偏りを共有していれば、一致していても誤り得ると説明しています。(Artstein・Poesio、2008、2.1節)
備品予約の例でも、全員が「受付の案内が丁寧なら成功」と判断し、台帳の未更新を見なければ、採点は揃っていても予約の成功を測れていません。人の判断を比較の基準に使う場合は、何を読んで判断したか、意見の違いをどう扱ったかを残します。
担当者の役割には、個々の出力への採点だけでなく、期待する結果を定めることもあります。「火曜午前」が利用規則上どの時間帯を指すか未確定なら、その不足を解消する必要があります。モデルにも人にも、未確定の条件を推測して点数に埋め込ませない設計にします。一致度を確かめる具体的な方法は 4.3 に分けています。
一件の予約を三方式で分担する例
前節とは別の架空の備品予約で、依頼を「11月5日の10時から1時間、端末を1台借りたい」とします。採点を一人や一つのモデルへまとめる前に、次のように結果を分けられます。
| 判定する項目 | 渡す証拠 | 採点方式の例 |
|---|---|---|
| 日時と台数が合う | 保存された予約の項目 | コードで一致を確認 |
| 他の予約を消していない | 実行前後の予約一覧の差分 | コードで変更範囲を確認 |
| 案内だけで受け取りに行ける | 依頼、案内文、受取場所の情報 | 明示した基準で人またはLLMが確認 |
予約保存の証拠が欠けたときは、案内文が自然でも業務全体を合格にしません。一方、受取場所の表現だけが違う場合は、文字列の完全一致で落とす前に、同じ場所を指しているかを確認します。採点器が食い違ったら多数決だけで決めず、どの証拠の読み方が違うかを記録すると、基準の修正箇所を絞れます。
観点ごとに組み合わせる設計例
備品Aの架空の予約課題に戻ると、台帳の一致をルールで確認し、案内文は元資料との意味の整合をモデルで確認する構成にします。モデルには依頼文、案内資料の該当箇所、返答文、基準の文だけを渡し、台帳の値は渡しません。判断が割れた例や資料不足は担当者へ戻します。これは一つの設計例であり、人の再確認を全件に必須とする普遍的な方式ではありません。
| 観点 | 採点結果として残すもの | 結果が揃わない場合 |
|---|---|---|
| 台帳の備品・時間帯・件数 | 期待値、観測値、一致の成否 | 台帳を取得できなければ検査エラー。値が違えば不適合 |
| 案内と元資料の整合 | 条件ごとの判断、判断に使った短い根拠箇所 | 資料がない場合は保留。誤った案内なら不適合 |
| 依頼と基準の明確さ | 未確定条件と、決めた担当者の記録 | 条件が決まるまで当該観点の採点を確定しない |
この例で予約が保存されていなければ、案内文の点数が高くても予約処理は成功にしません。必ず満たす条件を先に決め、異なる観点の点数を機械的に平均して欠落を隠さないようにします。条件と段階の書き方は 4.4 を参照できます。
図 4.1.1 観点ごとの採点の流れは、備品予約の設計例での順序を示します。台帳の値をルールで検査し、一致しなければ不適合にします。一致したら案内を元資料とモデルで照合し、誤った案内なら不適合、資料がなければ担当者へ戻し、整合していれば結果を記録します。
方式を決めた後は、台帳が一致し案内が「受付」の結果(合格)、台帳の備品が B の結果(不適合)、案内が「受付の窓口で受け取れます」の結果(合格)、案内資料を採点に渡さない結果(担当者へ戻す)を用意し、期待どおりに分かれるか確かめます。安定して採点できた範囲と未確認の範囲を分けて残すことで、得点を品質保証と取り違えずに改善へ使えます。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する