第 7 章 本番の監視と失敗の分析7.1

本番環境で監視する指標

AI エージェントの本番監視で見る指標を、仕事の完了、品質の兆候、応答時間やエラーに分けて説明します。記録の範囲、分母、確認頻度、通知後の判断を架空の問い合わせで具体化します。

要点

  1. AI エージェントの本番監視では、仕事が完了したかを示す指標と、回答品質の兆候を示す指標、応答時間やエラーを組み合わせます。
  2. 各指標には対象の単位、分母、集計期間、記録できた範囲を添え、版や仕事の種類が違う集団を混ぜて判断しません。
  3. 利用者の反応やAI採点は補助的な信号として扱い、正解が確認できた割合とは区別します。
  4. 入力全文の保存を前提にせず必要な記録を選び、直ちに対応する異常と定期的に見直す変化を分けます。

定義

本番監視(production monitoring)
利用者が使っているシステムの状態を継続的に記録し、問題や変化を見つける活動です。
オフライン評価(offline evaluation)
用意した試験データに採点を適用する評価です。
オンライン評価(online evaluation)
本番の実行記録に採点を適用する評価です。
メタデータ(metadata)
本文ではなく記録を分類する付帯情報です。
サンプリング(sampling)
対象を間引いて選ぶことです。

本番監視(production monitoring)とは、利用者が使っているシステムの状態を継続的に記録し、問題や変化を見つける活動です。AI エージェントは、依頼に応じて道具や手順を選び、仕事を進めます。そのため、回答が返ったことと、依頼が解決したことを分けて確かめる必要があります。

架空の社内問い合わせ対応を考えます。「共有資料を閲覧できない」という相談に対し、エージェントが手順書を検索し、案内を返します。担当者による権限変更が必要なら、問い合わせを引き継ぎます。画面にすばやく返事が出ても、引き継ぎ先に記録が届かなければ仕事は終わっていません。一方で、担当者へ適切に引き継いだ処理を、エージェント単独で解決しなかったという理由のみで失敗と数えるのも不適切です。以下はこの架空の仕組みに対する独自の監視設計例で、実測値や全サービス共通の基準ではありません。

仕事の完了と品質の兆候

最初に決めるのは、利用者の依頼がどの状態になれば完了と呼べるかです。この例では「案内が役立ったことを確認できた」と「必要な担当者への引き継ぎが受理された」を別の結果として記録します。「解決しました」という回答文だけを完了の証拠にしません。最終状態と途中の操作の違いは2.1でも説明しています。

オフライン評価(offline evaluation)は用意した試験データに、オンライン評価(online evaluation)は本番の実行記録に採点を適用する評価です。この実行場面の違いと、採点で参照正解を使うかどうかは別の区分です。参照正解を使う採点を reference-based、使わない採点を reference-free と呼びます。LangSmith の概念文書は、参照正解を使わない採点をオフライン・オンラインの両方で使えると説明しています。本番の問い合わせでは参照できる正解がないこともあるため、採点結果を異常や品質の傾向を調べる信号として扱います(LangSmith の Evaluation concepts)。

そこで、確定した結果と、調べるきっかけになる信号を区別します。この例では一連の問い合わせを一件とし、発言の数とは分けて集計します。

指標の候補記録するもの読み取れることと限界
結果を確認できた割合対象の問い合わせ数と、完了・未完了・未確認の件数完了判定の根拠が届いている範囲が分かる。未確認は成功へ含めない
引き継ぎの結果引き継ぎが必要だった件数、受理・失敗・待機の件数担当者へ渡せたかを確認できる。受理は相談全体の解決を意味しない
回答の根拠の点検採点した回答の数、手順書と整合したか、採点不能か根拠のない案内の候補を探せる。採点の正しさは別途確認が必要
利用者の反応評価が寄せられた件数と内容の分類不便だった場面を探せる。反応がない問い合わせの満足度は分からない

問い合わせを受け付けた時点と、結果が確定する時点が離れる場合は、まだ処理中の件数も表示します。同じ集計期間でも、受付直後の問い合わせが多い時間帯では未確認が増えます。結果が揃っていない状態を、品質が低下したと即断しないためです。

図 7.1.1 問い合わせ一件の結果の記録の分け方は、一件の結果をどう記録するかを示します。結果が未確定なら処理中として表示し、確定した後は引き継ぎが不要なら案内の完了を記録し、必要なら受理・失敗・待機を記録します。受理は相談全体の解決とは別に扱います。

問い合わせ一件の結果の記録の分け方問い合わせ一件は、結果が未確定なら処理中として数え、確定した後は引き継ぎの要否で案内の完了か引き継ぎの結果を記録します。未確定確定不要必要問い合わせ一件確定したか処理中引き継ぎの要否案内完了受理・失敗・待機受理は解決と別
図 7.1.1 問い合わせ一件の結果の記録の分け方

大規模言語モデル(LLM)による採点を加えるなら、その値には「AI による判定」と分かる名前を付けます。資料との整合を採点しているのか、案内の分かりやすさを採点しているのかも明示します。採点方式の限界は4.2、人の判定との照合は4.3で扱っています。利用者の指摘も、回答した人に偏る可能性があります。Anthropic は、利用者の反応が少なく自己選択を伴う点を、本番監視と組み合わせる際の限界として挙げています(Anthropic の評価手法の整理)。

応答時間と処理の詰まり

仕事が進まないときに、案内内容とシステムの動作を切り分けられる指標を用意します。Google SRE の監視の章は、応答時間、要求量、エラー、処理能力の余裕という観点を示し、平均値だけでは遅い要求を捉えられないと説明しています(Google SRE の Monitoring Distributed Systems)。

問い合わせ対応へ当てはめると、次の観察が役立ちます。下表の対象や区分は、この例のための設計案です。

観点問い合わせ対応で見るもの切り分けに使う読み方
待ち時間受付から最初の表示まで、案内や引き継ぎの終了までの時間表示開始が速くても、処理全体が終わらない状況を分ける
要求量受け付けた問い合わせ数、同時に処理している件数遅延の増加と利用の増加が重なっているかを見る
エラー検索失敗、外部機能の失敗、時間切れ、再試行の回数どの工程が依頼の完了を妨げたかを探す
処理能力の余裕実行待ちの件数、利用可能な同時実行枠処理しきれずに待機が積み上がっていないかを見る
利用量と費用モデルや道具の呼び出し回数、使用量、処理ごとの費用同じ仕事に必要な資源が増えたかを調べる

待ち時間は平均だけでなく、時間帯ごとの分布を見ます。たとえば、待ち時間を区間に分け、各区間の件数を調べると、普段は速いが一部だけ極端に遅い状態を見つけられます。成功した処理と失敗した処理も分けます。即座にエラーを返す処理が増えたときに、平均時間の短縮を改善と誤認しないためです。

モデルの使用量には、文章を処理する単位であるトークン(token)が使われます。使用量と費用は同じ値ではありません。モデル別の入出力使用量や、検索などの道具の費用を分け、適用した料金条件と対応させます。この例なら、検索の再試行による呼び出し増加と、案内文が長くなったことによる使用量増加を区別できます。

比較できる記録の持ち方

指標の値と一緒に、何をどこまで観察できたかを残します。メタデータ(metadata)は、本文ではなく記録を分類する付帯情報です。この例なら、実装とモデルの版、問い合わせの種類、結果の区分が当たります。顧客名や入力文を区分名へ埋め込む必要はありません。

割合を表示する指標では、分子と分母を明記します。たとえば「点検で問題候補となった回答数」を「点検した回答数」で割った値は、点検対象での割合です。問題が疑われる回答を優先して点検したなら、その値を問い合わせ全体の不良率とは呼べません。対象を間引いて選ぶサンプリング(sampling)を使う場合は、選び方、採取できた件数、欠けた範囲も記録します。

比較するときは、同じ種類の仕事と版を揃えます。新しい版の公開と同時に、難しい権限変更の相談が増えた場合、全体の引き継ぎ率だけでは変更の影響と相談内容の変化を分けられません。集計対象の構成を確認したうえで、同じ種類の問い合わせを見比べます。こうした監視値の変化だけで因果関係が証明できるわけではありません。

本文を保存する範囲

件数や所要時間の監視を始めるために、入力全文を一律に保存する必要はありません。詳細な点検に使うトレース(trace)は、問い合わせに対する呼び出しや応答を関連づけた実行記録です。本文や道具の返り値には機密情報が入り得るため、集計用の記録と、閲覧者を絞った点検用の記録を分けて設計します。

LangSmith の公式文書は、入出力を記録から外す方法、メタデータを除去・変換する方法、機密部分を伏せる方法を用意しています。記録そのものを行わない選択にも触れています(LangSmith の機密情報の記録防止)。問い合わせの例では、識別情報を伏せた案内文を点検に使うとしても、検索結果や引き継ぎ先の情報まで必要かを別々に判断します。

保存する情報の目的、閲覧できる担当、保存期間、採点へ渡す外部サービスを決めます。伏せた結果、根拠の資料が足りなくなったなら、その採点は未確認のまま残します。自動で情報を伏せる処理を入れたことだけで、漏れがなくなったと扱いません。

確認頻度と通知の分け方

集める頻度、集計する期間、人が確認する頻度は別に決めます。どれも一律に短くすると、意味のある変化が現れる前に通知が増えます。Google SRE の章は、観察したい現象に合わせて計測の細かさを変えることと、緊急の通知を利用者への影響と対処可能性に結びつけることを勧めています。

頻度は、問題に気づかないままでも許容できる時間の長さから考えます。引き継ぎが止まると相談が積み残される仕組みなら、その増加を担当が対処できる間隔で検知する必要があります。案内文の分かりやすさのように、記録を読んで判断する項目は、点検できる量と担当の時間を確保した定期確認へ回します。確認間隔を決めたあと、通知が遅すぎた例や、判断材料が揃わない例を使って見直します。

この例では、次のように確認の契機と担当の行動を対応させます。全指標へ同じ通知を設定するのではなく、何が起きたら何を確かめるかを先に書きます。

確認の契機見る変化担当が取る行動の例
利用者の処理が止まり始めたとき引き継ぎ失敗、待機の増加、時間切れ担当へ通知し、影響範囲と継続できる機能を確認する
新しい版の公開直後同じ種類の問い合わせの結果と待ち時間公開前後の版、接続先、計測条件を照合する
定期的な品質点検根拠のない案内の候補、未確認の増加必要な記録を抽出し、採点と実際の内容を照合する
継続的な運用見直し相談内容の変化、費用、使われない指標評価ケースや監視項目の不足・過剰を見直す

完了率の低下を利用者の構成から分ける

次は架空の一日集計です。旧版の日は通常申請80件中72件、例外申請20件中10件が完了し、合計82/100でした。新版の日は通常申請40件中36件、例外申請60件中30件が完了し、合計66/100でした。全体は下がっていますが、種類別では通常90%、例外50%で同じです。

この場合、全体の16ポイント低下だけで新版の性能劣化と断定しません。種類別の分母と完了数、配布版、受付時刻を残して構成の変化を調べます。同時に、未完了の中身が適切な保留か障害かも分けます。権限を越えた更新のような重大な事象は、完了率の構成変化とは別に、「1件でも記録されたら担当へ通知」のような条件で知らせます。これは架空の通知設計です。誤検出は調べますが、実際の権限違反を通知量だけで無視しません。比較表には、確定した件だけを分母にした値と、受け付けた全件を分母にした値を並べます。たとえば別の架空の日に受付120件のうち完了90件・失敗6件・未確認24件なら、90/96≒93.8%と90/120=75%は別の値です。比較表を作る担当は、集計期間と受付を数える条件をそろえたうえで、版を戻す必要があるかを判断する担当へ渡します。

異常を見つけたときの判断

監視の目的は、悪化を知らせるだけでなく、次に確認すべき対象を絞ることです。問い合わせの例で「引き継ぎが届かない」という信号が増えたなら、次の順で確認できます。

  1. 記録が届いているかを確かめます。 引き継ぎが失敗したのか、結果を収集する処理が止まったのかを分けます。観測が途切れた状態を成功として扱いません。
  2. 影響する仕事と版を絞ります。 すべての問い合わせか、担当者へ渡すものだけかを見ます。公開直後に始まっていても、原因を新しいモデルと決めつけません。
  3. 結果と工程を照合します。 回答は終了しているが引き継ぎ先がエラーを返していたなら、案内文の点数を調整しても解決しません。外部機能の失敗と、失敗時の案内の両方を調べます。
  4. 修正後の確認方法を決めます。 再現可能な条件は試験用の評価ケースに移し、本番では同じ指標がどう変わったかを追います。実データを試験環境へ自動で複製する前提にはしません。

本番監視だけでは、観測していない問題や、まだ結果が確定していない問い合わせの正しさは分かりません。どの指標から何が言えるか、どこから先は記録の点検が必要かを明示すると、数値を改善の判断へつなげられます。

自社での取り組みについて相談する

AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する

参考文献

  1. Anthropic. Demystifying evals for AI agents (2026) — Anthropic、2026年1月9日公開、How evals fit with other methods for a holistic understanding of agents(参照日 2026-10-09)
  2. LangChain. LangSmith: Evaluation concepts — LangChain、ページ固有の版・更新日表示なし、2026年10月9日取得、Offline and online evaluations・Evaluation lifecycle・Targets for online evaluation・Examples・Reference-free vs reference-based evaluators(参照日 2026-10-09)
  3. Rob Ewaschuk. Monitoring Distributed Systems — Google SRE、Site Reliability Engineering 第6章の公開Web版、2026年10月9日取得、The Four Golden Signals・Worrying About Your Tail・Choosing an Appropriate Resolution for Measurements・Tying These Principles Together(参照日 2026-10-09)
  4. LangChain. Prevent logging of sensitive data in traces — LangChain、ページ固有の版・更新日表示なし、2026年10月9日取得、冒頭・Hide inputs and outputs・Hide metadata(参照日 2026-10-09)

更新履歴

  • 初版。公式資料の確認済み箇所を根拠に編集。問い合わせと監視設計は架空の説明例。実環境での計測は行っていない。
  • 評価の実行場面と参照正解の有無を区別する説明へ修正
  • 用語集に定義を追加
  • 実行環境の説明を整理。
  • 日本語表現を校正し、助詞・語順・主語と述語の対応を改善
  • 入力例、判定の分岐、結果として残す記録を具体化。

Markdown 版