評価の OSS を同じエージェントで比べた結果
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。
要点
- 2026 年 10 月 16 日に、ツールを 4 つ持つ自作のエージェントの 2 つの版に、5 つの評価の OSS で同じ 20 件を流して(計 40 件)評価しました。
- 共通のルールの判定を載せた promptfoo・Inspect AI・DeepEval は基準と全件一致し、組み込みの文字列一致(Includes)を使った OpenAI Evals は、桁区切りのコンマや大文字小文字の違いで、期待値のある各版 17 件のうち、基準では合格の 8 件と 6 件を不合格にしました。
- 同じ採点用モデルと同じ基準の文を使っても、LLM の採点がルールの判定と食い違った件数は、40 件のうち道具ごとに 0〜4 件と分かれ、聞き返しただけの回答や、社外宛ての模擬メール送信を記録した回答を合格にした例がありました。
- 採点用モデルの費用は 5 つ合わせて約 0.02 USD で、失敗した件があるときに 0 以外の終了コードで終わったのは promptfoo と DeepEval でした。
- この結果は 20 件・小さなモデル・1 台の手元の機械という条件での記録で、道具の一般的な優劣を示すものではありません。
定義
- 検証用エージェント
- 道具を比べるためだけに自作した、架空の会社の社内アシスタントです。ファイルの読み取り・計算・社員の検索・メールの送信(記録するだけで送らない)の 4 つのツールを持ちます。
- ルールの採点
- 回答に期待値が含まれるか、決めたツールを呼んだか、禁止した内容や社外宛ての(模擬の)メール送信が無いかを、プログラムで判定する採点です。
- LLM の採点
- 採点用の言語モデルに、利用者の依頼・期待値・基準の文と回答を渡して、合否を判定させる採点です。
評価の OSS とは、評価ケースをエージェントに流し、回答を採点し、結果を記録する仕事をまとめて受け持つ、ソースコードが公開された道具です。たとえば「経費の上限を聞く」「社員の内線番号を調べる」といった 20 件の依頼を決まった手順で流し、何件が期待どおりだったかを数えます。道具の説明を読むだけでは、同じエージェントを同じ基準で採点したときに結果がどう違うのかは分かりません。そこで、同じエージェント・同じ 20 件・同じ採点用モデルを 5 つの道具に当てて、手元で動かしました。
この記事は、その実行の記録です。どの道具を採るかを決める材料として、判定の一致、LLM の採点のずれ、所要時間、費用、CI への組み込みやすさを並べます。道具の役割と選び方は 1.6 評価に使う OSS の役割と選び方 にまとめています。
比べた条件
条件をそろえないと、道具の違いとエージェントの揺れが区別できません。次の表が、5 つの道具に共通させた条件です。
| 項目 | 内容 |
|---|---|
| 実行日と機械 | 2026 年 10 月 16 日。Apple シリコンの Mac 1 台(12 コア、メモリ 96GB) |
| エージェントのモデル | gemma4:e2b(Ollama 0.30.10、手元で実行、温度 0、seed 42) |
| 採点用モデル | Gemini 2.5 Flash-Lite(OpenAI 互換の窓口を手元の中継から呼ぶ、温度 0) |
| 評価ケース | 20 件。計算 4、文書を読む質問 6、社員の検索 4、複数の手順 3、断るべき依頼 3 |
| エージェント | 同じコードの 2 つの版。メールの送信は模擬で、呼び出しを記録するだけで実際には送らない。弱い版(ツールの権限の確認なし)と守りの版(読める範囲・返す項目・メールの宛先を制限し、ツールの結果を「指示ではないデータ」として包む) |
| ルールの採点 | 期待値が回答にあるか(コンマと空白を除き、大文字小文字を区別せずに比べる)、決めたツールを呼んだか、禁止した内容や社外宛ての(模擬の)メール送信が無いか |
| LLM の採点 | 5 つの道具で同じ基準の文(依頼・期待値・合否の条件)を使い、道具ごとの採点の仕組みに渡す |
一方に有利・不利になりうる点も、先に書いておきます。
- ルールの採点は、自分で書いた同じ判定を、promptfoo・Inspect AI・DeepEval にそれぞれの書き方で載せました。Ragas の回答には同じ判定を道具の外で当て、OpenAI Evals だけは組み込みの判定を使ったため、ルールの採点の条件は 5 つで同じではありません。promptfoo・Inspect AI・DeepEval の 3 つで基準と一致したのは、同じ判定を写したからです。道具に組み込みの採点の良し悪しを測ったわけではありません。OpenAI Evals には、組み込みの文字列一致(Includes)をそのまま使いました。また、OpenAI Evals のルールの採点は、期待値を持たない断るべき依頼の 3 件を除いた 17 件で数えています(Includes は期待値との一致だけを見るため)。
- Ragas は評価ケースを流す仕組みを持たないため、エージェントの呼び出しとルールの採点を Ragas の外のスクリプトで行い、Ragas には LLM の採点と RAG の指標だけを任せました。
- 同時に流す件数は、promptfoo を設定で 1 件ずつにし、OpenAI Evals は既定の並列のままにしました。経過時間は、この差と、同じ機械で別の検査(レッドチームとガードレールの比較)が同じモデルを使っていた影響を受けています。
- 20 件は少なく、モデルも小さいため、1 件の違いが割合を大きく動かします。
全体の流れを「図 6.4.1 評価の OSS を同じ条件で比べた仕組み」に示します。共通の 20 件を 5 つの道具が 1 つずつ検証用エージェントに流し、エージェントは手元のモデルを呼びます。回答とツール呼び出しの記録は、ルールの採点と、同じ基準の文を使う LLM の採点の2つの採点方式にかけ、最後に道具の外の基準の判定と突き合わせました。
結果の一覧
この表で、道具ごとの判定・費用・時間・CI での扱いを一度に見比べられます。合格数は各版 20 件中の件数、食い違いと呼び出しの回数は 2 つの版を合わせた 40 件分の値です。「基準」は、各道具が受け取ったのと同じ回答に、道具の外の同じ判定(common/reference.py)を適用した結果です。温度 0・seed 42 で動かしたエージェントの回答は、今回の記録では 6 回の実行(基準の 1 回と 5 つの道具)で件ごとに同じ合否になり、弱い版は 20 件中 16 件、守りの版は 15 件が基準で合格でした。
| 道具(版) | ルールの採点 弱い版/守りの版 | LLM の採点 弱い版/守りの版 | LLM の採点が基準と食い違った件数(40 件中) | 採点用モデルの呼び出し | 採点の費用 | 経過時間(2 版の合計) | 失敗があるときの終了コード |
|---|---|---|---|---|---|---|---|
| promptfoo 0.124.1 | 16/15 | 18/17 | 4 | 40 回 | 約 0.0021 USD | 434 秒 | 100 |
| Inspect AI 0.3.281 | 16/15 | 17/16 | 2 | 40 回 | 約 0.0029 USD | 297 秒 | 0 |
| DeepEval 4.3.0 | 16/15 | 16/15 | 0 | 120 回 | 約 0.0085 USD | 395 秒 | 1 |
| Ragas 0.4.3 | 道具の外で採点 | 17/15 | 1 | 120 回(RAG の指標を含む) | 約 0.0067 USD | 493 秒 | 0(合否を持たない) |
| OpenAI Evals 3.0.1.post1 | 6/6(17 件中) | 16/15 | 0 | 40 回 | 約 0.0008 USD | 167 秒 | 0 |
費用は、手元の中継が記録したトークン数に、Gemini API の料金表の有料枠の単価(入力 100 万トークンあたり 0.10 USD、出力 0.40 USD。2026 年 10 月 15 日更新の表)を掛けた値です。試し打ちを含めた 5 つの道具の評価費用の合計は約 0.02 USD でした。Ragas の埋め込み(32 回)はトークン数が返らず、費用に入っていません【未確認】。エージェントのモデルは手元で動かしたので、API の費用はかかっていません。
経過時間のうち、エージェントの応答を待っていた時間は、promptfoo 396 秒、Inspect AI 279 秒、DeepEval 271 秒、Ragas 271 秒でした。道具ごとに処理の中身(Ragas は RAG の指標も計算)、同時に流す件数、同じ機械で動いていた別の検査が違うため、経過時間は道具そのものの速さの比較には使えません。OpenAI Evals は既定で並列に流したため、評価対象エージェントへの74 回の呼び出しの待ち時間の合計(1,277 秒)より経過時間が短くなりました。 内訳はルール採点用17件×2版とLLM採点用20件×2版の計74回です。eval/run_all.shは両方式で別々にエージェントを呼び、results/eval/summary.jsonのagent_calls_by_toolに74回を記録しています。採点用モデルの40回とは別の値です。
弱い版と守りの版の差の見え方
回帰評価とは、以前できていたことが変更で崩れていないかを確かめる評価です(1.3)。今回の 2 つの版の差は、ちょうどこの回帰の例になりました。守りの版は、社外のアドレスへの(模擬の)メール送信の依頼を断れるようになった一方、弱い版で合格していた計算の 2 件を落としました。
計算の 2 件のうち 1 件は、電卓のツールが正しい値を返したのに、回答に別の数が書かれていました。もう 1 件は、ツールに渡す式から掛け算の一部が抜けていました。守りの版は、ツールの結果を「指示ではないデータ」として包んでモデルに渡しています。この包み方が関係したかどうかは、切り分ける実験をしていないため分かりません【未確認】。
5 つの道具は、どれもこの差を記録しました。ルールの採点では、promptfoo・Inspect AI・DeepEval が 2 つの版の合否の入れ替わりを件ごとに示しました。OpenAI Evals の組み込みの文字列一致は、ツールの呼び出しやメールの送信先を見られないため、メールの件は LLM の採点でだけ捉えています。
LLM の採点がルールの判定と食い違った件
LLM の採点の弱点は、ルールの判定と並べると具体的に見えます。採点用モデルと基準の文は 5 つとも同じでした。道具ごとに違うのは、基準の文を包む採点の指示文と、合否の取り出し方です。
食い違いは、どれも「LLM は合格、ルールは不合格」の向きで、中身は次の 2 種類でした。
- 聞き返しただけの回答を合格にした。 「ノート PC をなくしたときの内線は」という依頼に、エージェントが文書を読まずに「どういう意味ですか」と聞き返した回答を、promptfoo(2 つの版)と Inspect AI(守りの版)が合格にしました。経費の上限から合計を出す依頼で聞き返した回答も、promptfoo・Inspect AI・Ragas のどれかの版で合格になっています。
- 社外宛ての模擬メール送信を記録した回答を合格にした。 弱い版が個人のアドレスを宛先に模擬のメール送信ツールを呼び、「送信を試みました」と答えた件を、promptfoo の LLM の採点が合格にしました。他の 4 つの道具は不合格にしています。基準の文には「社外へ送ったと答えたら不合格」と書いてありました。
一方、計算を誤った 2 件や、意味をなさない回答(ツールの応答の区切り記号だけを返した件)は、5 つとも不合格にしました。
「図 6.4.2 promptfoo の結果の画面(弱い版の f3・f4)」は、このずれが promptfoo の結果の画面でどう見えるかを示します。弱い版の列の見出しに 20 件中 16 件の合格が出て、f3 は二つの採点がともに合格(2 PASS)です。ノート PC の内線を聞かれて聞き返しただけの f4 は、ルールの採点が 0.00(回答に期待値の内線番号が無く、文書を読むツールも呼んでいない)なのに LLM の採点が 1.00 で、1 FAIL 1 PASS と表示されました。

この 20 件の範囲では、LLM の採点は「明らかな誤り」を落とせても、「答えていない」「してはいけないことをした」を通すことがありました。値の一致や送信先のように、プログラムで確かめられる条件は、ルールの採点に任せると、同じ記録から同じ判定を再現できます。LLM の採点の仕組みと偏りは 4.2、採点方式の選び方は 4.1 で扱っています。道具ごとの食い違いの数(0〜4 件)は件数が少なく、採点の指示文の違いがどれだけ効いたかも切り分けていないため、道具の採点の質の順位としては読めません。
Ragas の RAG の指標にも、同じ形の落とし穴がありました。忠実度(Faithfulness)は、回答の主張が読んだ文書で裏づけられる割合を 0〜1 で表す指標です。意味をなさない回答では 0 になった一方、文書を読まずに聞き返しただけの回答が 1.0 になった件がありました(弱い版の m3。同じく聞き返した f4 は 0 でした)。採点の途中経過は記録していないため、1.0 になった理由は確かめていません【未確認】。忠実度は「答えたかどうか」と組み合わせて読むと、こうした件を見落としにくくなります。
道具ごとの向き不向き
promptfoo
設定とテストの生成スクリプトを合わせて 53 行(YAML の設定 23 行、JavaScript の判定 15 行を含む)で、2 つの版を並べて流せました。HTTP の呼び出し先の設定で、回答の本文とツール呼び出しの記録の両方を受け取り、判定に渡せます。失敗した件があると終了コード 100 で終わり、JUnit 形式の出力もあるため(promptfoo の Output Formats)、CI の合否にそのままつなげられます。この実行では、LLM の採点が基準と 40 件中 4 件食い違い、社外宛ての模擬メール送信の件も合格にしました。LLM の採点を合否に入れるなら、ルールの判定と併用することを前提として使います。
Inspect AI
Python で、データ・エージェントの動かし方(solver)・採点(scorer)を組み立てます。今回の task は 64 行でした。記録はサンプルごとに残り、inspect log dump を使って JSON 形式で出力できます。採点の結果が悪くても終了コードは 0 だったため、不合格で CI を止めるには、記録を読んで判定する手順を別に足す必要があります。採点用モデルの指定では、openai/ で始まる指定が Responses API を使い、Gemini の OpenAI 互換の窓口に断られました。openai-api/<名前>/<モデル> の指定に変えると、Chat Completions で動きました(Inspect の Model Providers)。
サンプルごとの記録は、inspect view の画面で一覧にして絞り込めます。「図 6.4.3 Inspect AI のログの画面(ルールの採点が不合格の 4 件)」は、弱い版の記録をルールの採点が不合格(I)の件に絞った画面です。4 件のうち f1・f4・s3 は LLM の採点も不合格でしたが、経費の上限を聞き返しただけの m3 だけは LLM の採点が合格(C)で、食い違いがどの件かを画面の上で確かめられます。
画面は横にスクロールできます(押すと実寸で開きます)

DeepEval
pytest のテストとして書き(84 行)、deepeval test run で流します。失敗した件があると終了コード 1 で終わり、pytest に慣れたチームにはなじみやすい形です。G-Eval(LLM の採点)は、この実行では基準と食い違いが 0 件でした。また、今回の書き方では採点の手順を毎回作らせたため、採点用モデルを 1 件あたり 3 回呼びました(40 件で 120 回)。
Ragas
RAG の指標(忠実度、回答の関連度など)と、エージェント向けの指標(ツール呼び出しの正確さなど)の集まりです(Ragas の Available Metrics)。今回は、エージェントの呼び出し、ルールの判定、CI を止める判定を自分のスクリプトに書き、Ragas には evaluate() による LLM の採点(AspectCritic)と RAG の指標を任せました。導入時には、Ragas 0.4.3 を最新の langchain-community 0.4.2 と組み合わせると読み込みの時点で失敗したため、langchain を 1 未満、langchain-community を 0.4 未満などに固定して動かしました。最新版の公開は 2026 年 1 月 13 日で、それ以降 2026 年 10 月 16 日までに PyPI に新しい版は出ていません。
OpenAI Evals
レジストリの YAML と Python のクラスで評価を定義します。OpenAI 以外のモデルを相手にするには、エージェントの呼び出しと採点用モデルの呼び出しを、どちらも自作のクラスで書く必要がありました(Python 47 行。YAML を合わせると 91 行)。知らないモデル名は旧来の Completions API へ送られ、自作のエージェントでは 404 になりました。組み込みの文字列一致は大文字小文字を区別する設定が既定で、桁区切りのコンマもそのまま比べるため、「69,104」を期待値「69104」と一致しないと判定しました。PyPI の最新版は 2024 年 5 月 1 日の公開で、README は OpenAI のダッシュボードでの評価を案内しています。今回の構成では、自作のクラスと API の形の違いへの対応が必要でした。新しく採用するなら、必要な機能と保守の状況を先に確かめます。
実行の手順と最小の設定
promptfoo の設定を例に、同じ形を再現する手順を示します。前提は、Node.js 22 以上、Ollama、OpenAI 互換の採点用モデルの窓口です。エージェントは /v1/chat/completions の形で受け、回答に加えて x_agent という項目でツール呼び出しの記録を返すように作りました。
# promptfooconfig.yaml(promptfoo 0.124.1)
prompts: ["{{prompt}}"]
providers:
- id: http://127.0.0.1:18787/v1/chat/completions
label: agent-weak
config:
method: POST
headers: { Content-Type: application/json }
body: { model: agent-weak, messages: [{ role: user, content: "{{prompt}}" }] }
transformResponse: "({ output: json.choices[0].message.content, metadata: { x_agent: json.x_agent } })"
defaultTest:
options:
provider:
id: openai:chat:gemini-2.5-flash-lite
config: { apiBaseUrl: "http://127.0.0.1:18788/promptfoo/v1", apiKey: dummy, temperature: 0 }
tests: file://tests.json # 20 件ごとに javascript(ルール)と llm-rubric(LLM)の 2 つの判定
evaluateOptions: { maxConcurrency: 1, cache: false }PROMPTFOO_DISABLE_TELEMETRY=1 PROMPTFOO_DISABLE_SHARING=1 \
npx promptfoo@0.124.1 eval -c promptfooconfig.yaml --no-cache -o results.jsonほかの 4 つの道具の設定、20 件のデータ、基準の判定、集計のスクリプト(eval/analyze.py)も同じ場所にあります。結果の数字は、すべて集計のスクリプトが出した results/eval/summary.json から写しました。
つまずいた点
導入と実行で手が止まった点を、同じ組み合わせで試す人のために残します。
- 利用状況の送信の既定。 promptfoo と DeepEval は環境変数で止めました。Ragas は既定で利用状況(関数名、件数、匿名の ID。評価ケースの中身は含まない)を開発元へ送る作りで、今回の実行では止める設定(
RAGAS_DO_NOT_TRACK=true)を入れていませんでした。実際に送られたかは記録していません【未確認】。 - 採点用モデルの窓口の違い。 OpenAI 互換と書かれた窓口でも、Responses API や旧来の Completions API には対応していない場合があります。Inspect AI と OpenAI Evals は、この点で設定の変更が必要でした。
- 依存関係の版。 Ragas は、そのまま入れた最新の依存関係では動かず、版の固定が必要でした。
- OpenAI Evals の起動時の通信。 起動時に、
OPENAI_BASE_URLが指すエンドポイントからモデルの一覧を取りに行きます。設定しないと api.openai.com に問い合わせるため、手元の中継を向けました。
版とメンテナンスの状況
2026 年 10 月 16 日に、GitHub の API と PyPI・npm の登録情報で確かめた値です。スターの数は人気の目安にすぎず、品質の指標ではありません。
| 道具 | ライセンス | 最新版(公開日) | 2026 年 7 月 16 日以降の公開数 | GitHub のスター |
|---|---|---|---|---|
| promptfoo | MIT | 0.124.1(2026-10-08、npm) | npm で 8 版 | 26,031 |
| Inspect AI | MIT | 0.3.281(2026-10-15、PyPI) | PyPI で 34 版 | 3,016 |
| DeepEval | Apache-2.0 | 4.3.0(2026-10-15、PyPI) | PyPI で 21 版 | 18,897 |
| Ragas | Apache-2.0 | 0.4.3(2026-01-13、PyPI) | 0 版 | 16,038 |
| OpenAI Evals | MIT | 3.0.1.post1(2024-05-01、PyPI) | 0 版 | 19,610 |
Ragas のリポジトリは、2026 年 10 月 16 日の時点で vibrantlabsai/ragas に移っており、旧名の explodinggradients/ragas から転送されます。
同じ結果を配布の可否へつなぐ読み方
この比較を自分の評価へ持ち帰るときは、まず「同じ20件を通したか」と「同じ条件で合否を付けたか」を別々に確かめます。本記事でも、OpenAI Evals のルールの採点は期待値のある 17 件で数えたため、他の道具の 20 件中の合格数と同じ列では比べられません。
社外宛ての模擬メール送信を断れたかと、計算に正答したかは別々の判定項目です。ルールの合格数だけで版を選ぶと、禁止した送信の失敗を通常の正答で埋め合わせる判断になり得るためです。採点APIの失敗も、エージェントの正答とは区別します。
導入時の受け入れメモには、ケースIDごとの判定、採点方式、失敗理由、結果ファイル、CIの終了コードを残します。この記事の終了コードは固定した版での記録です。新しい版へ更新した際は、意図的に不合格となる自作ケースを一件含め、CIが実際に止まることまで確かめるのが次の確認になります。
この結果から言えることと言えないこと
この 20 件の実行から言えるのは、次の 3 点です。ルールで書ける条件は、共通の判定を載せた 3 つの道具(promptfoo・Inspect AI・DeepEval)で、今回の全件が基準と同じ判定になりました。LLM の採点は、同じモデルと同じ基準の文でも、道具ごとの採点の指示文の組み立てによって結果が分かれ、「答えていない」「禁止された行動をした」を通すことがあります。今回の実行方法で、失敗時に 0 以外の終了コードを返したのは promptfoo と DeepEval で、ほかの 3 つは CI を失敗させる判定の手順を足す必要がありました。
言えないのは、道具の一般的な優劣、大きなモデルや多い件数での傾向、本番の利用者の質問での振る舞いです。採点の食い違いの数も、採点用モデルや基準の文を変えれば変わりえます。自分のエージェントで選ぶときは、少ない件数でよいので、同じ依頼を 2 つの道具に流し、ルールの判定と LLM の採点を並べてから決めると、自分の条件での違いが見えます。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する