指標

成功率・信頼性・ばらつき・費用などの指標の読み方。(6 件の記事)

  • 評価結果のばらつきと信頼区間

    AI エージェントの評価結果が揺れる原因と、信頼区間の読み方を説明します。架空の成功件数を使い、Wilson 法の計算例、独立性の前提、反復と課題数の違い、比較の限界を整理します。

    AI エージェントの評価 · 解説

  • 費用と時間の指標

    AIエージェントの費用と時間を、一件の仕事と成功条件にそろえて測る考え方です。利用量と料金、応答時間と完了時間、失敗分を含む集計を架空例で区別します。

    AI エージェントの評価 · 解説

  • 合否の基準と閾値

    AIエージェントの一回の実行を合格とする条件と、採点結果から合否を判定する閾値の決め方を説明します。必須条件、境界値、判定不能、調整後の確認と見直しを扱います。

    AI エージェントの評価 · 手順

  • 成功率と信頼性の指標

    AI エージェントの一回の成功率と、繰り返して成功する信頼性を区別します。架空の問い合わせ結果から、pass@k、pass^k、試行の単位、分母、比較の条件を説明します。

    AI エージェントの評価 · 解説

  • 本番環境で監視する指標

    AI エージェントの本番監視で見る指標を、仕事の完了、品質の兆候、応答時間やエラーに分けて説明します。記録の範囲、分母、確認頻度、通知後の判断を架空の問い合わせで具体化します。

    AI エージェントの評価 · 解説

  • PoC の設計

    フィジカルAIのPoCを、確かめる仮説、対象条件、成功基準、期間、終了時の判断に分けて設計します。架空の箱の仕分けで、技術評価と導入判断の違いを説明します。

    フィジカル AI · 手順