第 6 章 回帰試験と CI · 導入
回帰試験と CI
AI エージェントの回帰試験と CI を扱う章です。評価を CI に組み込む手順、合否の基準と閾値、評価の実行環境を扱います。
要点
- この章では、変更で既存の動きを壊さないための仕組みを扱います。
- 評価を CI に組み込み、リリース前に何を自動で確かめるかを示します。
- 実行ごとの合否の基準と閾値の置き方と、その見直し方を説明します。
- 評価を動かす環境の隔離、再現性、外部依存の扱いも整理します。
この章の節
6.1 評価を CI に組み込む手順Promptfoo固定版による受付fixture、全件成功gate、GitHub Actionsと公開参照実装
6.2 合否の基準と閾値一回の実行の合否と閾値の見直し(リリースの可否は 8.2)
6.3 評価の実行環境隔離、再現性、外部依存の扱い
6.4 評価の OSS を同じエージェントで比べた結果promptfoo・Inspect AI・DeepEval・Ragas ほかを、同じ検証用エージェントと同じ 20 件で動かした結果
6.5 LLM 採点を含む評価の実行時間の短縮promptfoo 0.124.1 で、採点の並列数を決める 3 つの上限と採点モデルの思考を変えて、実行時間を測った記録(費用と時間の指標は 5.4、実行環境は 6.3)
この章の目的
プロンプトやモデルを変えるたびに手作業で確かめていては、壊れたことに気づくのが遅れます。たとえば変更を提案するたびに、決めた評価ケースが自動で走り、基準を下回れば止まる仕組みがあれば、壊れた変更が公開される前に分かります。この章は、評価を CI に組み込む手順、合否の基準、実行環境を扱います。
読者と想定する状況
評価を自動化したい人、CI の合否基準の決め方に迷っている人が対象です。どの節からでも単独で読めます。
図 6.0.1 回帰試験と CI の事柄に含まれる論点は、各事柄に含まれる論点を示します。回帰試験と CI の章では、CI への組み込み、合否と閾値、実行環境の三つの事柄が、それぞれ具体的な論点を含みます。
採点APIの時間切れで緑にしない
架空のPR評価で、必須ケース10件のうち8件が合格し、残り2件は採点APIの時間切れだったとします。完了した8件だけを分母にすると100%ですが、「全10件が採点済みで合格」という条件は満たしていません。CIには合格数だけでなく、予定件数、実行件数、採点エラー数を照合する処理が必要です。
原因が外部サービスの停止なら、業務ロジックの不合格とは区別して記録します。それでも未確認のまま CI を合格にせず、変更を止めます。必須ケースが1件でも不合格なら、判定不能の有無にかかわらず同じく止めます。再実行する際は対象commit、データセット版、採点基準版を固定し、新しい試行IDを付けます。この例では採点モデルと設定も固定し、10件をまとめて再実行した結果で判定します。旧結果と別条件の結果を足し合わせません。実装例はCIへの組み込みにあります。
他の章で扱う事柄
リリースの可否の判断は第 8 章、指標の計算と統計は第 5 章、評価データの作り方は第 3 章で扱います。