ツール呼び出し

AI が外部のツールや関数を呼び出す動作の設計・承認・評価。(9 件の記事)

  • オープンLLMの自社ホスティングに残るバックドアのリスク

    バックドア研究、モデルの読み込み、実行権限と通信の指針を照合し、オープンLLMの自社ホスティングで減らせるリスクと残るリスク、受け入れ・評価・停止の判断を説明します。

    セキュリティ · 解説

  • レッドチームの OSS を同じエージェントで比べた結果

    garak・PyRIT・promptfoo のレッドチーム機能を、自作の検証用エージェントへ同じ条件で当て、指摘の数、実害との一致、誤検出、時間、費用、CI への組み込みやすさを比べた実測の記録です。

    セキュリティ · 解説

  • ツール呼び出しの承認の設計

    AI が提案した操作を人が確認する仕組みを、承認の要否、確認画面、実行直前の照合、再試行と承認疲れへの対処について説明します。

    セキュリティ · 解説

  • 権限の濫用とツール呼び出しの危険

    AIの誤った提案が実際の操作になる条件を、備品申請の架空例で説明します。機能、権限、自動実行の範囲を分け、被害がどこまで広がるかを考えます。

    セキュリティ · 解説

  • AI エージェントのセキュリティ検査に使う OSS の役割と選び方

    プロンプトインジェクション、ジェイルブレイク、ツールの悪用、情報の漏えいを確かめる OSS を、攻撃を作る検査・入出力の守り・記録との照合の三つの役割に分け、開発中・CI・本番での置き場所と選び方をまとめます。

    セキュリティ · 解説

  • 直接・間接プロンプトインジェクションの仕組み

    LLM が読む内容に含まれる文言が指示として作用する脆弱性について、直接と間接の二つの経路、成立の条件、影響の上限、対策の四つの層を OWASP LLM01(2026) に沿って整理します。

    セキュリティ · 用語

  • 評価に使う OSS の役割と選び方

    promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals が、AI エージェントの評価のどの部分を受け持つかを整理し、確かめたいことや開発の段階に応じた選定基準を表にまとめます。

    AI エージェントの評価 · 解説

  • 評価の OSS を同じエージェントで比べた結果

    promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。

    AI エージェントの評価 · 解説

  • 最終状態・経路・一手という採点の粒度

    AIエージェントを最終状態、操作の経路、一回のツール呼び出しといった粒度で採点することの違いを説明します。架空の資料整理を例に、必要な記録と結果の読み分けを示します。

    AI エージェントの評価 · 解説