評価の設計
何をどの粒度・観点で測るかの設計と落とし穴。(6 件の記事)
AI エージェントの評価
- HyperFrames と Remotion の動画制作と修正の比較
同じ指示で作った8秒のお茶の広告を、初稿と修正版の4本で見比べます。価格を1秒早く出すと、片方で文字が重なった理由をコマ送りとコードの変更箇所から説明します。
AI エージェントの評価 · 検証の記録
- AIによるデータ分析を支えるオントロジーとセマンティックレイヤー
2026年の製品発表と研究をもとに、オントロジーとセマンティックレイヤーがAIの集計・業務操作をどう支えるかを図解します。注文と返金の例で、指標の移植、権限、回答の評価までをたどります。
AI エージェントの評価 · 解説
- 評価に使う OSS の役割と選び方
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals が、AI エージェントの評価のどの部分を受け持つかを整理し、確かめたいことや開発の段階に応じた選定基準を表にまとめます。
AI エージェントの評価 · 解説
- 最終状態・経路・一手という採点の粒度
AIエージェントを最終状態、操作の経路、一回のツール呼び出しといった粒度で採点することの違いを説明します。架空の資料整理を例に、必要な記録と結果の読み分けを示します。
AI エージェントの評価 · 解説
- エージェントの種類別の評価の観点
検索回答、問い合わせ、コード修正、画面操作、自動化で何を評価するかを比較します。公開評価の設計と架空の課題例を分け、各指標で分からない範囲も説明します。
AI エージェントの評価 · 解説
- 評価設計の落とし穴
AIエージェントの評価で、答えの混入、保留データの不足、目的と指標のずれ、比較条件の変更が結論をどうゆがめるかを説明します。架空の資料検索サービスを例に、結果から言える範囲を整理します。
AI エージェントの評価 · 解説