---
title: "本番の監視と失敗の分析"
description: "AI エージェントの本番での監視と失敗の分析を扱う章です。監視する指標、トレースと計測の規約、失敗の分析と評価への反映、利用者のフィードバックを扱います。"
canonical: https://knowledge.uniquex.co.jp/agent-evaluation/monitoring-and-failure-analysis
type: "章の導入"
kind: "chapter"
answer: "この章では、本番で何を見て、どう直し、どう評価へ戻すかを扱います。本番で記録する項目と見る頻度を示し、トレースと計測の共通の形（OpenTelemetry GenAI 規約など）に触れます。失敗の分類、再現、評価データへの反映、修正後の再評価という改善の循環を説明します。利用者のフィードバックの収集と評価への接続も扱います。"
definitions: []
domain: "agent-evaluation"
chapter: 7
section: null
keywords: ["本番の監視","失敗の分析"]
aliases: []
entities: []
tags: []
sources: []
author: "UNIQUEX 編集部"
reviewer: ""
published: 2026-10-12
updated: 2026-11-05
verified: 2026-10-12
---

# 本番の監視と失敗の分析

> この章では、本番で何を見て、どう直し、どう評価へ戻すかを扱います。本番で記録する項目と見る頻度を示し、トレースと計測の共通の形（OpenTelemetry GenAI 規約など）に触れます。失敗の分類、再現、評価データへの反映、修正後の再評価という改善の循環を説明します。利用者のフィードバックの収集と評価への接続も扱います。

## この章の目的 [#この章の目的]

事前の評価に通っても、本番では想定しなかった失敗が起きます。たとえば特定の問い合わせで繰り返し失敗していると分かったら、その失敗を分類して再現し、評価ケースに加えてから直すと、同じ失敗の再発を評価で見張れます。この章は、本番の観測から失敗の分析、評価データへの反映までの活動を扱います。

図 7.0.1 本番の失敗を評価へ戻す流れは、この章が扱う事柄の並びを示します。本番の監視と失敗の分析の章は、指標の監視、失敗の分類と再現、評価データへの反映、修正後の再評価の順に、改善の循環を扱います。

![本番の監視と失敗の分析の章は、指標の監視、失敗の分類と再現、評価データへの反映、修正後の再評価の順に、改善の循環を扱います。](https://knowledge.uniquex.co.jp/figures/eval-m-ch7-flow.svg "図 7.0.1 本番の失敗を評価へ戻す流れ")

図 7.0.1 本番の失敗を評価へ戻す流れ

## 読者と想定する状況 [#読者と想定する状況]

本番運用を担当する人、本番の失敗を評価の改善に結びつけたい人が対象です。どの節からでも単独で読めます。

図 7.0.2 本番の監視と失敗の分析に含まれる論点は、各事柄に含まれる論点を示します。本番の監視と失敗の分析の章では、監視、トレースと計測、失敗の分析、フィードバックの四つの事柄が、それぞれ具体的な論点を含みます。

![本番の監視と失敗の分析の章では、監視、トレースと計測、失敗の分析、フィードバックの四つの事柄が、それぞれ具体的な論点を含みます。](https://knowledge.uniquex.co.jp/figures/eval-m-ch7-map.svg "図 7.0.2 本番の監視と失敗の分析に含まれる論点")

図 7.0.2 本番の監視と失敗の分析に含まれる論点

## 完了率が下がった日の切り分け [#完了率が下がった日の切り分け]

架空の申請支援で、一日の完了が90/100件から70/100件へ減ったとします。すぐにモデルを替える前に、未完了30件を「保存先のエラー12件」「情報不足の保留10件」「原因未確定8件」に分けます。これは説明用の件数です。

保存先のエラーは発生時刻とサービス応答を突き合わせます。保留は必要情報を適切に聞き返した結果なのか、既に渡した情報を読めなかったのかを調べます。原因未確定の8件は、成功へもモデルの誤りへも勝手に振り分けず、原因未確定として件数・期間・再現できたかを残します。[監視する指標](/agent-evaluation/production-monitoring-metrics)で変化を捉えたら、保留のうち既に渡した情報を読めなかった件を[失敗の分析](/agent-evaluation/analyzing-failures-and-improving-evaluations)にかけ、利用者の文面を使わずに作り替えた入力と期待結果を評価ケースにして、修正前の版で不合格になることを確かめます。再現できなかった件は、未再現として件数と期間を残します。修正後は、そのケースと既存の回帰セットを再実行します。記録には分類名、元の件数と期間、再現の条件、ケースの識別子、修正前後の判定を残します。

## 他の章で扱う事柄 [#他の章で扱う事柄]

評価を CI で回す仕組みは第 6 章、評価データの保守は第 3 章、リリースの可否の判断は第 8 章で扱います。


## 更新履歴

- 2026-10-12: 初版（書籍型の目次に合わせた章の導入ページ）
- 2026-10-27: 実行環境の説明を整理。
- 2026-10-27: 重複する説明を整理
- 2026-10-28: 入力例、判定の分岐、結果として残す記録を具体化。
- 2026-11-05: 本文と更新履歴の説明を簡潔化
