第 6 章 回帰試験と CI · 導入

回帰試験と CI

AI エージェントの回帰試験と CI を扱う章です。評価を CI に組み込む手順、合否の基準と閾値、評価の実行環境を扱います。

要点

  1. この章では、変更で既存の動きを壊さないための仕組みを扱います。
  2. 評価を CI に組み込み、リリース前に何を自動で確かめるかを示します。
  3. 実行ごとの合否の基準と閾値の置き方と、その見直し方を説明します。
  4. 評価を動かす環境の隔離、再現性、外部依存の扱いも整理します。

この章の節

  1. 評価を CI に組み込む手順のサムネイル6.1 評価を CI に組み込む手順Promptfoo固定版による受付fixture、全件成功gate、GitHub Actionsと公開参照実装
  2. 合否の基準と閾値のサムネイル6.2 合否の基準と閾値一回の実行の合否と閾値の見直し(リリースの可否は 8.2)
  3. 評価の実行環境のサムネイル6.3 評価の実行環境隔離、再現性、外部依存の扱い
  4. 評価の OSS を同じエージェントで比べた結果のサムネイル6.4 評価の OSS を同じエージェントで比べた結果promptfoo・Inspect AI・DeepEval・Ragas ほかを、同じ検証用エージェントと同じ 20 件で動かした結果
  5. LLM 採点を含む評価の実行時間の短縮のサムネイル6.5 LLM 採点を含む評価の実行時間の短縮promptfoo 0.124.1 で、採点の並列数を決める 3 つの上限と採点モデルの思考を変えて、実行時間を測った記録(費用と時間の指標は 5.4、実行環境は 6.3)

この章の目的

プロンプトやモデルを変えるたびに手作業で確かめていては、壊れたことに気づくのが遅れます。たとえば変更を提案するたびに、決めた評価ケースが自動で走り、基準を下回れば止まる仕組みがあれば、壊れた変更が公開される前に分かります。この章は、評価を CI に組み込む手順、合否の基準、実行環境を扱います。

読者と想定する状況

評価を自動化したい人、CI の合否基準の決め方に迷っている人が対象です。どの節からでも単独で読めます。

図 6.0.1 回帰試験と CI の事柄に含まれる論点は、各事柄に含まれる論点を示します。回帰試験と CI の章では、CI への組み込み、合否と閾値、実行環境の三つの事柄が、それぞれ具体的な論点を含みます。

回帰試験と CI の事柄に含まれる論点回帰試験と CI の章では、CI への組み込み、合否と閾値、実行環境の三つの事柄が、それぞれ具体的な論点を含みます。実行環境隔離再現性外部依存合否と閾値一回の実行の合否閾値の見直しCI への組み込み受付 fixture全件成功の gateGitHub Actions
図 6.0.1 回帰試験と CI の事柄に含まれる論点

採点APIの時間切れで緑にしない

架空のPR評価で、必須ケース10件のうち8件が合格し、残り2件は採点APIの時間切れだったとします。完了した8件だけを分母にすると100%ですが、「全10件が採点済みで合格」という条件は満たしていません。CIには合格数だけでなく、予定件数、実行件数、採点エラー数を照合する処理が必要です。

原因が外部サービスの停止なら、業務ロジックの不合格とは区別して記録します。それでも未確認のまま CI を合格にせず、変更を止めます。必須ケースが1件でも不合格なら、判定不能の有無にかかわらず同じく止めます。再実行する際は対象commit、データセット版、採点基準版を固定し、新しい試行IDを付けます。この例では採点モデルと設定も固定し、10件をまとめて再実行した結果で判定します。旧結果と別条件の結果を足し合わせません。実装例はCIへの組み込みにあります。

他の章で扱う事柄

リリースの可否の判断は第 8 章、指標の計算と統計は第 5 章、評価データの作り方は第 3 章で扱います。