LLM による採点

LLM を採点器にする仕組み、偏り、再現性。(5 件の記事)

  • 自動採点と人手採点の一致度の検証

    架空の規程の問答 40 件に正解のラベルを付け、gemini-2.5-flash-lite とローカルの Gemma 4(e2b)で採点して、一致率・Cohen の κ・見逃しの内訳を、採点の指示を 3 通りに変えて測った記録です。

    AI エージェントの評価 · 検証の記録

  • 評価の OSS を同じエージェントで比べた結果

    promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。

    AI エージェントの評価 · 解説

  • ルール・AI モデル・人による採点方式の比較

    AI エージェントの採点方法を、確認する対象、費用、結果の安定性、判断の妥当性で比較します。架空の備品予約を例に、ルール・AI モデル・人による判断の分担を説明します。

    AI エージェントの評価 · 解説

  • LLM による採点の仕組みと限界

    LLM採点器へ渡す材料と基準、回答の順序や長さによる偏り、同じ条件で結果を確かめる方法を、架空の要約課題で説明します。

    AI エージェントの評価 · 解説

  • LLM 採点を含む評価の実行時間の短縮

    promptfoo 0.124.1 で 2 件 × 採点 10 項目の評価を流し、採点の同時実行を決める 3 つの上限と採点モデルの思考を変えて、所要時間と、採点モデルが受けた同時実行の数を測った記録です。

    AI エージェントの評価 · 検証の記録