指標
成功率・信頼性・ばらつき・費用などの指標の読み方。(6 件の記事)
AI エージェントの評価
- 評価結果のばらつきと信頼区間
AI エージェントの評価結果が揺れる原因と、信頼区間の読み方を説明します。架空の成功件数を使い、Wilson 法の計算例、独立性の前提、反復と課題数の違い、比較の限界を整理します。
AI エージェントの評価 · 解説
- 費用と時間の指標
AIエージェントの費用と時間を、一件の仕事と成功条件にそろえて測る考え方です。利用量と料金、応答時間と完了時間、失敗分を含む集計を架空例で区別します。
AI エージェントの評価 · 解説
- 合否の基準と閾値
AIエージェントの一回の実行を合格とする条件と、採点結果から合否を判定する閾値の決め方を説明します。必須条件、境界値、判定不能、調整後の確認と見直しを扱います。
AI エージェントの評価 · 手順
- 成功率と信頼性の指標
AI エージェントの一回の成功率と、繰り返して成功する信頼性を区別します。架空の問い合わせ結果から、pass@k、pass^k、試行の単位、分母、比較の条件を説明します。
AI エージェントの評価 · 解説
- 本番環境で監視する指標
AI エージェントの本番監視で見る指標を、仕事の完了、品質の兆候、応答時間やエラーに分けて説明します。記録の範囲、分母、確認頻度、通知後の判断を架空の問い合わせで具体化します。
AI エージェントの評価 · 解説
フィジカル AI
- PoC の設計
フィジカルAIのPoCを、確かめる仮説、対象条件、成功基準、期間、終了時の判断に分けて設計します。架空の箱の仕分けで、技術評価と導入判断の違いを説明します。
フィジカル AI · 手順