CI
評価を CI に組み込み、合否と閾値を決める。(5 件の記事)
AI エージェントの評価
- 評価に使う OSS の役割と選び方
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals が、AI エージェントの評価のどの部分を受け持つかを整理し、確かめたいことや開発の段階に応じた選定基準を表にまとめます。
AI エージェントの評価 · 解説
- 評価の OSS を同じエージェントで比べた結果
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。
AI エージェントの評価 · 解説
- 評価を CI に組み込む手順
Promptfoo 0.124.1とGitHub Actionsで、AIエージェントの引き継ぎ処理を変更時に検査する例です。固定入力、採点、失敗時の記録、必須チェックまでを具体的な設定でつなぎます。
AI エージェントの評価 · 手順
- 合否の基準と閾値
AIエージェントの一回の実行を合格とする条件と、採点結果から合否を判定する閾値の決め方を説明します。必須条件、境界値、判定不能、調整後の確認と見直しを扱います。
AI エージェントの評価 · 手順
- LLM 採点を含む評価の実行時間の短縮
promptfoo 0.124.1 で 2 件 × 採点 10 項目の評価を流し、採点の同時実行を決める 3 つの上限と採点モデルの思考を変えて、所要時間と、採点モデルが受けた同時実行の数を測った記録です。
AI エージェントの評価 · 検証の記録