評価の設計

何をどの粒度・観点で測るかの設計と落とし穴。(6 件の記事)

  • HyperFrames と Remotion の動画制作と修正の比較

    同じ指示で作った8秒のお茶の広告を、初稿と修正版の4本で見比べます。価格を1秒早く出すと、片方で文字が重なった理由をコマ送りとコードの変更箇所から説明します。

    AI エージェントの評価 · 検証の記録

  • AIによるデータ分析を支えるオントロジーとセマンティックレイヤー

    2026年の製品発表と研究をもとに、オントロジーとセマンティックレイヤーがAIの集計・業務操作をどう支えるかを図解します。注文と返金の例で、指標の移植、権限、回答の評価までをたどります。

    AI エージェントの評価 · 解説

  • 評価に使う OSS の役割と選び方

    promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals が、AI エージェントの評価のどの部分を受け持つかを整理し、確かめたいことや開発の段階に応じた選定基準を表にまとめます。

    AI エージェントの評価 · 解説

  • 最終状態・経路・一手という採点の粒度

    AIエージェントを最終状態、操作の経路、一回のツール呼び出しといった粒度で採点することの違いを説明します。架空の資料整理を例に、必要な記録と結果の読み分けを示します。

    AI エージェントの評価 · 解説

  • エージェントの種類別の評価の観点

    検索回答、問い合わせ、コード修正、画面操作、自動化で何を評価するかを比較します。公開評価の設計と架空の課題例を分け、各指標で分からない範囲も説明します。

    AI エージェントの評価 · 解説

  • 評価設計の落とし穴

    AIエージェントの評価で、答えの混入、保留データの不足、目的と指標のずれ、比較条件の変更が結論をどうゆがめるかを説明します。架空の資料検索サービスを例に、結果から言える範囲を整理します。

    AI エージェントの評価 · 解説