第 7 章 本番の監視と失敗の分析7.3

失敗の分析と評価への反映

AIエージェントの失敗を、観測事実、原因候補、再現条件に分けて調べる手順です。架空の申請漏れから評価課題を作り、修正後の確認と運用への引継ぎまで説明します。

要点

  1. 失敗の分析では、利用者への返答と実際の結果を分け、残った記録から何が起きたかを確かめます。
  2. エージェントの判断、道具や環境、課題や採点の不備を切り分け、原因が不明なものを推測で確定しません。
  3. 再現に必要な条件を試験用に整え、同じ問題を見つけられる課題へ変換します。
  4. 修正後はその課題と従来の仕事を同じ条件で評価し、本番での監視や未解決の問題も引き継ぎます。

定義

失敗の分析
期待した結果と実際の結果の差を記録し、その差を生んだ条件や処理を調べる作業です。
トレース(trace)
実行の経過を結び付けた記録です。

失敗の分析は、期待した結果と実際の結果の差を記録し、その差を生んだ条件や処理を調べる作業です。分析を評価へ反映するとは、見つけた問題を繰り返し確認できる課題にして、変更後にも同じ問題が残っていないかを調べることです。修正したという記録と、改善を確かめたという記録は分けます。

架空の社内サービスで、AIが貸出端末の希望を受け付け、窓口へ申請するとします。利用者には「申請済み」と返したのに、窓口の一覧には申請がありませんでした。担当者は利用者への影響に対応したうえで、依頼、道具の呼び出し、結果の確認を調べ、試験用の申請環境で再現を試みます。その後で課題を加え、修正前後を比較する流れを考えます。実際の事故や導入実績を示す例ではありません。

観測した失敗と原因候補の分離

調査の入口では、「起きたこと」と「理由の推測」を別に書きます。原因を先に決めると、都合のよい記録だけを集めたり、別の箇所を直した結果を改善と判断したりするおそれがあります。

申請漏れの例で最初に確かめるのは、依頼が何を求め、いつの一覧を見て、どの申請がないと判断したかです。反映に時間がかかる仕組みなのか、別の窓口を見ていないかも確認します。「登録されていない」と「登録状態の記録を取得できない」は同じ事実ではありません。

区分架空例で残す記録
期待指定条件の申請が窓口へ受理され、受理結果を利用者へ伝える
観測完了の返答、照合した申請一覧、照合時刻、対応する依頼の識別子
影響利用者の受取手続きが進められないなど、確認できた影響
原因候補申請操作をしなかった、道具が失敗した、結果を取り違えた、一覧の取得が不完全だった
未確認道具の応答が保存されていないなど、判断に足りない情報

実行の経過を結び付けた記録をトレース(trace)と呼びます。この例では、利用者の依頼、呼び出した道具、その応答、最後の返答、結果の状態を対応付けます。Anthropicの評価設計も、実行記録と実行後の状態を区別しています。言葉では完了していても、環境に望む結果が残っているとは限りません(The structure of an evaluation)。どの範囲を採点するかは2.1で説明しています。

調査の範囲と扱う記録

影響への対応と評価課題の作成は、別の仕事として進めます。利用者への影響が続いている場合、原因を完全に説明できるまで対応を待つ設計にはしません。米国国立標準技術研究所(NIST)のAI Risk Management Framework(AI RMF)は、AIのリスクを管理するための任意の枠組みです。影響や可能性に応じた対応の優先づけと、問題の追跡・復旧を扱っています(MANAGE 1.2・4.1〜4.3)。以下の具体的な手順を定めた規則ではありません。

この架空サービスでは、影響への対応担当と分析担当を決めます。分析には、許可された範囲の記録だけを使います。実ユーザーの申請を何度も送信して再現するのではなく、試験用の利用者、窓口、保存領域を用意します。評価や検査は、所有者または管理者の許可を得た対象に限ります。

記録の不足を理由に、入力全文を無条件に保存する方針へ変えません。必要な時刻、処理結果、版、対応関係を先に整理し、内容が必要な箇所だけを取り扱い条件に従って確認します。NISTはAIのプライバシー上のリスクの検討と記録も挙げています(MEASURE 2.10)。この例では、原記録へのアクセス範囲と、評価課題として共有できる情報を分けます。

氏名を架空名へ置き換えるだけで十分とは限りません。依頼者の権限や、過去に同じ申請をしたという関係が原因に関わるなら、その関係を試験データへ残す必要があります。保持できない情報のため再現できない場合は、似た条件で仮説を試したものとして扱い、元の失敗を完全に再現したとは記録しません。

原因を絞る確認の順序

原因の確認では、処理を追えるところから順に比較します。課題(task)は入力と成功条件を持つ一つの試験です。試行(trial)はその課題を一回実行すること、採点器(grader)は記録へ基準を当てて合否を判定する仕組みです。採点器の不合格が、必ずしもエージェントの誤りを表すとは限りません。

  1. 課題と成功条件を確かめます。 依頼の内容と、その時点の窓口規則を照合します。後から変わった規則で過去の応答を裁いたり、利用者に示していない条件を追加したりしません。
  2. 結果の記録を確かめます。 完了の返答と申請一覧を対応付け、記録の欠落や照合先の違いを調べます。根拠が足りなければ、成功・失敗を無理に確定しません。
  3. 道具へ渡った情報と応答を追います。 申請操作の有無、渡した対象、応答が受理・失敗・不明のどれだったかを確認します。後続の処理が何を根拠に完了としたかを調べます。
  4. 試験環境と採点を切り分けます。 試験用窓口の停止や、前の試行の申請が残っていないかを確認します。実際には受理された別解を、採点器が誤って落としていないかも調べます。
  5. 原因候補を比較できる条件へ変えます。 同じ初期状態で、道具の応答や指示の版など一つの条件を変え、観測結果の違いを確認します。変えた条件と結果の対応が見えても、それだけで他の原因がないとは断定しません。

Anthropicは、実行記録と採点を読んでエージェントの誤りと採点の不備を区別すること、各試行を初期状態へ戻すことを重視しています(Step 4〜6)。上の順序は、この申請漏れを調べるための独自の手順です。正しい出力を落とす採点への対応は、4.3の判定の照合も参考になります。

同じ症状でも、直す場所は変わります。道具が失敗したのに完了と返したなら、道具の不具合と、失敗を伝えない応答の両方が候補です。入力の形式が合わないなら、そのまま追加学習へ進む前に受け渡しを調べます。Google Cloudの手引きも、入力形式の異常とデータの傾向の変化を分けています(Data and model validation)。すべてを「モデルが弱い」という一つの分類にまとめません。

失敗から再確認できる課題への変換

評価へ入れるのは、元の会話のコピーではなく、確認したい問題と必要な条件を持つ課題です。分析の詳細は制限された記録へ残し、評価側には許可された試験材料と、その課題を加えた理由を渡します。

この例で「道具が未受理を返したのに、AIが完了と伝えた」ことを確認できたと仮定します。課題では、試験用の道具が未受理を返す状態を作り、完了と断定せず、受理されていないことを伝える条件を置けます。一方、実際に受理された場合には受理を伝える課題も残します。常に「分かりません」と返せば通る評価にしないためです。

課題に持たせるものこの架空例の内容
防ぎたい失敗受理を確認できていないのに完了を断定する
入力と初期状態架空の貸出依頼、未登録の一覧、試験用窓口の応答条件
期待結果道具の結果と返答が一致し、不要な重複申請を作らない
採点の材料窓口への操作、応答、実行後の一覧、利用者への返答
比較する別条件受理された場合、結果が不明な場合、確認が必要な情報不足の場合
追跡する情報元の問題への参照、課題の目的と版、確認した原因、残る仮説

特定の文言や道具の順序を唯一の正解にせず、業務上必要な結果と制約を採点します。Anthropicは、行動すべき場合とすべきでない場合の両方を試すことを勧めています(Step 3・5)。期待結果の組み立ては3.2、入力と初期状態の作成は3.1で扱っています。

原因を特定できない問題を、確定した再発防止課題に見せることもしません。現象だけを確認する課題を作れる場合は、その目的と未解決の原因を明記します。必要な記録がなく課題が成立しない場合は、調査の保留と追加確認の必要性を記録します。新しい課題の採用、修正、利用停止は版を分け、元の問題と課題を後から対応付けられるようにします。

上から順に読みます。ひし形で原因を確認できたかを判断し、確認済みなら再発を確かめる課題へ、未確定なら目的を明記した現象課題か調査保留へ進みます。修正の確認は、問題の課題と回帰評価の両方に合格した場合だけとします(図 7.3.1 原因の確認状況で変わる課題化)。

原因の確認状況で変わる課題化観測した失敗から原因候補を出し、原因を確認できたかで再確認課題と現象課題・保留へ分かれ、修正後は問題課題と回帰評価の両方で確かめる流れ。確認済み未確定両方合格観測した失敗原因候補原因を確認再確認課題を作成現象課題か調査保留問題を再試験回帰評価も実行修正を確認
図 7.3.1 原因の確認状況で変わる課題化

完了報告と保存結果が食い違う一件の切り分け

架空の貸出申請で、記録が「保存要求を送った→応答待ちが期限切れ→利用者へ完了と返答」となった場合を考えます。この記録だけでは、保存そのものが失敗したか、保存後の応答だけが失われたかは分かりません。原因を「モデルが失敗を無視した」と確定する前に、申請IDに対応する保存先の状態を調べます。

保存先で確認できた状態次の評価ケースの成功条件
同じ申請IDが1件存在再作成せず、保存済みの内容を確認して案内する
申請が存在しないと確認できた窓口の規則で再申請が認められる場合だけ再作成し、申請が1件だけになったことを確認する
保存先も照会できない完了を断定せず、未確認の状態と引継ぎ先を残す

修正前後には、この3条件を別々に流します。どれも単に「エラーを返したか」では採点せず、重複申請、根拠のない完了報告、未確認の放置がないかを見ます。保存失敗と観測失敗を分けることで、再試行が問題を増やす修正を避けられます。

修正後の比較と運用への引継ぎ

修正は、問題の課題が通ることと、従来の仕事を壊していないことの両方で確かめます。以前できていた動作の後退を調べる評価を回帰評価(regression evaluation)と呼びます。申請漏れを減らす修正が、正しく受理された申請まで保留し続ける変更になっていないかも確認します。

修正前と修正後には、同じ有効な課題、初期状態、採点条件を使います。実行ごとに結果が揺れることがあるため、試行数と各結果を残し、成功した一回だけを選びません。すべての製品に共通する試行数や合格率は、この例から決められません。

架空例として、未受理の課題が修正前0/5から修正後5/5になっても、回帰評価で修正前に通っていた課題が新たに1件落ちたなら、その記録を読んで原因を分け、同じ条件の回帰評価に合格するまで修正を確認済みとしません。どちらか一方だけでは、修正を確認したとは記録しません。

直したものが採点器なら、モデルが改善したと報告せず、判定の訂正として説明します。必要な記録が揃う場合は、保存済みの結果を修正後の採点器で比較できます。環境の故障を直した場合も、試験が成立するようになったことと、エージェントの能力が変わったことを区別します。

Google Cloudは現行モデルとの比較、条件群ごとの成績、実行した版や生成物の履歴を扱っています(Data and model validation・Metadata management)。申請の例でも、課題だけでなく、モデル、指示、道具、採点器、初期状態の組を結果へ結び付けます。

最後に、分析から何を引き継ぐかを確認します。

  • 観測した事実、確認した原因、未解決の仮説を区別している
  • 修正した箇所と、追加・変更した課題が対応している
  • 失敗を見つける課題と、正しく動く別条件の結果がある
  • 修正前後の条件、試行の記録、判定不能の理由が残っている
  • 適用する範囲、保留する範囲、運用で確認する項目が決まっている
  • 問題への対応担当と、次の確認を引き受ける担当が分かる

評価に通った後も、元の利用条件に戻ったときの確認は残ります。NISTは利用者からの問題報告を評価へ取り入れることと、実利用での改善・低下の記録を挙げています(MEASURE 3.3・4.3)。一つの失敗を再現して修正できたことを、未確認の依頼全体に当てはめず、運用で得た次の問題を同じ分析へ戻します。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する