第 3 章 評価データ3.3
評価データの保守
評価課題の追加、修正、利用停止と版の管理を説明します。架空の申請サービスを使い、変更前後の結果を比較できる条件と、古い課題を残すか外すかの判断を示します。
要点
- 評価データの保守は、仕事や環境の変化に合わせて課題を更新し、何を使って測ったかを追える状態に保つことです。
- 課題の追加、正解の修正、利用停止を分け、変更理由と対象の版を記録します。
- モデルを比べるときは同じ課題と採点条件を使い、データの入れ替えによる点数の変化を能力の改善と混同しません。
- 古い課題も目的と利用条件を確認し、再発を見つけるために残すものと、現在の集計から外すものを決めます。
定義
- 評価データの保守
- 評価に使う課題を追加・修正・整理し、変更の理由と測定時の内容を追えるようにする作業です。
- 版管理(versioning)
- 後から変更前の内容を識別し、どの組合せを使ったかを確かめられるようにすることです。
評価データの保守は、評価に使う課題を追加・修正・整理し、変更の理由と測定時の内容を追えるようにする作業です。評価データセット(evaluation dataset)は、入力、実行前の状態、成功条件を持つ課題の集まりです。一つの課題を一回実行することを試行(trial)、その記録を採点する仕組みを採点器(grader)と呼びます。保守では、質問文だけでなく、初期状態と採点条件も一緒に扱います。
架空の社内サービスで、AIが貸出端末の希望を確認し、受取窓口へ申請するとします。窓口の変更、確認すべき項目の追加、新しい問い合わせの発見があるたびに、評価課題も見直します。以下は説明用の設計であり、運用実績ではありません。実際の評価は、所有者または管理者の許可を得た対象とデータの範囲で行います。
課題の変更と測り方の変更
変更の目的を分けると、点数が動いた理由を読み違えにくくなります。新しい失敗への対応、業務の変更、評価自体の誤りの訂正では、同じ「課題更新」でも残す説明が異なります。
| 起きたこと | 保守の判断例 | 残す理由 |
|---|---|---|
| 希望日が不明なまま申請する失敗を見つけた | 日付を確認してから進む課題を追加する | 既存の集合で確認できていなかった行動 |
| 受取窓口が変わった | 参照用の窓口一覧と期待結果を改訂する | いつの業務条件を評価する課題か |
| 正しい別の窓口を選んでも採点器が落とす | 課題の条件と採点を照合して修正する | モデルの誤りではなく、採点の不備だったこと |
| 同じ失敗の言い換えばかり増えた | 課題をまとめるか、同じ種類だと分かる印を付ける | 特定の失敗が全体の割合を過度に左右しないため |
| 使えなくなった資料が課題に含まれる | 利用を止め、代替可能か確認する | 対象外とした理由と、確認できなくなった範囲 |
Anthropicの評価設計は、曖昧な課題や正しい解を拒む採点を見直すこと、評価集合を継続的に保守し、担当を置くことを勧めています(Step 2・6〜8)。この表の分類と申請の例は、その考え方を保守判断へ当てはめた独自の整理です。
期待結果が変わると、以前は合格だった返答が不合格になることもあります。その変化をモデルの後退と呼ぶ前に、仕事のルールが変わったのか、採点の誤りを直したのかを確認します。一つの課題の正解を定める考え方は3.2で説明しています。
版ごとに固定する内容
版管理(versioning)は、後から変更前の内容を識別し、どの組合せを使ったかを確かめられるようにすることです。「最新版」という名前だけでは、昨日の評価が何を読んだか分かりません。課題そのものの版と、課題を集めたデータセット全体の版を区別します。
DVCの公式文書は、データ、コード、モデルの版を対応付け、過去の入力と処理を特定する仕組みを説明しています。データ本体と管理用の情報を分けて扱う方式も示しています(Versioning Data and Models)。特定の道具を必須にする必要はありませんが、データの内容を特定できる記録は必要です。
申請サービスでは、次の情報を一組にして保存する設計が考えられます。これはDVCの設定項目をそのまま示した表ではありません。
| 管理する単位 | 記録する内容の例 |
|---|---|
| 個々の課題 | 課題ID・改訂番号・変更理由の記入例:loan-007・012・019はr1→r2(新窓口へ対応)、loan-041・042は追加(日付未確認の失敗を収録)、loan-023は停止(申請様式廃止)。以下のv3→v4の架空例に対応 |
| 実行前の条件 | 入力と必要な会話、試験用の申請一覧、窓口資料、基準日時 |
| 判定 | 成功条件、禁止条件、許容する別解、採点器の版 |
| データセット全体 | 採用した課題IDと改訂番号の一覧、対象業務、課題の分類、利用停止の一覧 |
| 評価結果 | 使ったデータセット、モデル、指示、道具、採点器の版と試行の記録 |
例えば、同じ「窓口を選ぶ」課題IDでも、旧窓口を扱う版と新窓口を扱う版は分けます。一方、希望日がない新しい課題は別IDにすれば、既存課題の修正と追加を見分けられます。番号の付け方よりも、同じIDと版がいつの間にか別内容を指さないことが大切です。
保存時はデータの利用条件にも従います。本番の会話全文を評価用の保管場所へ無条件に複製する設計にはしません。分析に必要な条件を確認し、架空の利用者や試験用の申請へ置き換えられる部分を分けます。識別情報を伏せた結果、利用者の権限や日付の関係まで失われたなら、元と同じ課題だとは扱えません。
追加候補から利用中の版へ進める手順
課題の追加と評価への採用を分けると、未確認の正解や壊れた試験環境を、正式な比較へ混ぜずに済みます。この例では、追加の理由を確かめてから、課題、採点、集合全体の順に点検します。
- 不足する場面を特定します。 新しい業務条件や未収録の失敗を、既存の課題一覧と照合します。同じ依頼の言い換えだけなのか、日付不足のように異なる判断が要るのかを分けます。
- 候補の条件を揃えます。 入力、初期状態、成功条件を用意し、業務の分かる担当者が正解を説明できるか点検します。資料が足りず正解を決められない候補は、理由を付けて保留します。
- 採点と実行環境を点検します。 条件を満たす見本と、必要項目だけ欠けた見本で採点を確かめます。試行後の申請が次の試行へ残らないことも確認します。
- 集合の内訳を確認します。 通常の申請、確認が必要な依頼、申請できない場面などの増減を読みます。課題を追加しただけで、利用頻度の分布を再現したとはしません。
- 変更を確認して版を確定します。 変更した人、確認した人、理由、対象課題、未確認事項を残します。誰が確認したかは実際の記録に基づいて残し、確認が終わっていなければその状態を示します。
課題を調整するために使う集合と、採否の最後の確認用に残す集合も区別します。Google Cloudの一般的な機械学習手順は、学習・検証・テスト用のデータを分けて評価する流れを示しています(Data science steps for ML)。ここではその分離の考え方を、指示や採点基準の調整にも当てはめます。同じ問い合わせを言い換えて両方に入れるだけでは、別の場面で確認したことになりません。
最後の確認用の結果を見て繰り返し調整した場合は、その集合も調整に使ったと記録します。未見の問い合わせ全体への性能保証としては使わず、別に用意した場面で確認する範囲を決めます。
図 3.3.1 調整用の集合と最後の確認用の集合は、二つの集合の役割を示します。調整用の集合は指示と採点基準の調整に使い、確認用の集合は採否の最後の確認に使い、確認用の結果を見て調整した場合はその集合も調整に使ったと記録します。
新規課題の基本的な作り方は3.1でも扱っています。
修正や利用停止が比較に与える影響
モデルの前後比較では、両者を同じ有効な評価条件で測ります。旧モデルを古い集合、新モデルを更新した集合で測った点数だけを並べても、モデルの違いと課題の違いを分けられません。
申請の例では、比較対象の両モデルを更新後の同じ集合で評価します。以前から条件が変わっていない課題と、新規・改訂した課題の結果も分けて残します。採点器だけを修正した場合、必要な記録が揃っていれば保存済みの結果を同じ新採点器で採点し直せます。課題の入力や業務条件が変わった場合は、古い実行結果へ新しい正解だけを当てるのではなく、変更後の条件で実行する必要があります。
Google Cloudの手引きは、現行モデルとの比較に加え、データの条件群ごとの成績や、実行した版と生成物の記録を挙げています(Data and model validation・Metadata management)。ここでの「変わらない課題」と「改訂した課題」の分離は、この申請サービスで比較理由を説明するための設計です。採点の誤りを訂正した旧集計は、そのまま有効な過去実績として残さず、訂正前と訂正後を明記します。
課題を外す場合も、失敗するからという理由だけでは不十分です。現在の業務に不要なのか、重複なのか、利用条件を満たさなくなったのかを記録します。現在の評価対象から外すことと、保存したデータ本体を削除することは別です。保存や削除は管理者が定めた条件に従い、再現性のためという理由で利用できないデータを無期限に残しません。残せる範囲の変更履歴と、再評価できなくなった範囲を報告へ付けます。
窓口の変更を v3 から v4 へ反映した記録
以下は架空の申請サービスでの設計例で、数値も架空です。データセット v3 には40課題がありました。受取窓口が二つから三つに増えたことへの対応に、ほかの見直しも合わせて、「版ごとに固定する内容」の表に記した改訂3件・追加2件・停止1件をv4にまとめます。
v4 の課題数は 40 − 1 + 2 = 41 です。v3 から変わらない課題は 40 − 3 − 1 = 36 です。現行モデルと変更候補をどちらも v4 で測り、次のように分けて報告します。
| 区分 | 現行モデル | 変更候補 |
|---|---|---|
| 変わらない36課題 | 33成功 | 34成功 |
| 改訂・追加の5課題 | 2成功 | 4成功 |
| 合計41課題 | 35成功(約85%) | 38成功(約93%) |
この表から言えるのは、差の多くが改訂・追加した5課題で生じたことです。変わらない36課題での1件の差は、課題ごとにどれが入れ替わったかを見ないと、改善か揺れかを判断できません。現行モデルが成功し、候補が失敗した課題があれば、回帰の候補として一件ずつ読みます。v3 で記録した現行モデルの成績は、v4 の数字と同じ表に並べず、別の版の値として注記します。loan-023 を外したため、廃止された様式の扱いは確認できなくなりました。このことも報告の未確認事項に書きます。
継続して役に立つ集合の確認
保守が完了したと言えるのは、課題数が増えたときではなく、対象業務と測れる範囲を説明できる状態になったときです。容易に通る課題も、以前できたことの後退を調べる回帰評価(regression evaluation)として役立つ場合があります。Anthropicは能力を測る評価と回帰を調べる評価を区別しています。両者の目的は1.3で説明しています。
この例の版を使い始める前には、次の記録を揃えます。
- 追加・修正・利用停止の理由と、対象の課題が分かる
- 課題、初期状態、採点器、集合全体の版を特定できる
- 変更した業務条件と、維持する条件の両方を確認している
- 未確認の正解、判定不能、除外した課題を隠していない
- 比較したモデルが同じ評価条件を使ったかを説明できる
- 保守を担当する人と、次に見直すきっかけが決まっている
見直すきっかけには、業務規則の変更、道具や資料の更新、未収録の失敗、採点への異議があります。頻度や担当の分け方は対象業務に合わせて決めます。集合を固定し続けることも、毎回入れ替えることも、それだけで評価の信頼性を保証する方法ではありません。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する