採点
採点方式、採点器の検証、採点基準(ルーブリック)の作り方。(8 件の記事)
AI エージェントの評価
- 自動採点と人手採点の一致度の検証
架空の規程の問答 40 件に正解のラベルを付け、gemini-2.5-flash-lite とローカルの Gemma 4(e2b)で採点して、一致率・Cohen の κ・見逃しの内訳を、採点の指示を 3 通りに変えて測った記録です。
AI エージェントの評価 · 検証の記録
- 評価に使う OSS の役割と選び方
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals が、AI エージェントの評価のどの部分を受け持つかを整理し、確かめたいことや開発の段階に応じた選定基準を表にまとめます。
AI エージェントの評価 · 解説
- 評価の OSS を同じエージェントで比べた結果
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。
AI エージェントの評価 · 解説
- ルール・AI モデル・人による採点方式の比較
AI エージェントの採点方法を、確認する対象、費用、結果の安定性、判断の妥当性で比較します。架空の備品予約を例に、ルール・AI モデル・人による判断の分担を説明します。
AI エージェントの評価 · 解説
- 採点基準(ルーブリック)の作成
AIエージェントへの曖昧な要求を、観察できる採点条件と段階へ変える手順です。架空の案内作成を例に、境界例、判定不能、試し採点による基準の修正を説明します。
AI エージェントの評価 · 手順
- 評価ケースごとの期待結果の定義
AIエージェントの評価で何を正解とするかを、結果・制約・許容される別解に分けて定義します。架空の予約課題を使い、判定条件の書き方と採点の点検方法を示します。
AI エージェントの評価 · 手順
- 評価データセットとルーブリック
評価データセットは課題(入力と成功の条件)の集まり、ルーブリックは採点の観点と水準を定めた基準です。構成要素、両者の関係、実務での扱いを整理します。
AI エージェントの評価 · 用語
- LLM による採点の仕組みと限界
LLM採点器へ渡す材料と基準、回答の順序や長さによる偏り、同じ条件で結果を確かめる方法を、架空の要約課題で説明します。
AI エージェントの評価 · 解説