ツール呼び出し
AI が外部のツールや関数を呼び出す動作の設計・承認・評価。(9 件の記事)
セキュリティ
- オープンLLMの自社ホスティングに残るバックドアのリスク
バックドア研究、モデルの読み込み、実行権限と通信の指針を照合し、オープンLLMの自社ホスティングで減らせるリスクと残るリスク、受け入れ・評価・停止の判断を説明します。
セキュリティ · 解説
- レッドチームの OSS を同じエージェントで比べた結果
garak・PyRIT・promptfoo のレッドチーム機能を、自作の検証用エージェントへ同じ条件で当て、指摘の数、実害との一致、誤検出、時間、費用、CI への組み込みやすさを比べた実測の記録です。
セキュリティ · 解説
- ツール呼び出しの承認の設計
AI が提案した操作を人が確認する仕組みを、承認の要否、確認画面、実行直前の照合、再試行と承認疲れへの対処について説明します。
セキュリティ · 解説
- 権限の濫用とツール呼び出しの危険
AIの誤った提案が実際の操作になる条件を、備品申請の架空例で説明します。機能、権限、自動実行の範囲を分け、被害がどこまで広がるかを考えます。
セキュリティ · 解説
- AI エージェントのセキュリティ検査に使う OSS の役割と選び方
プロンプトインジェクション、ジェイルブレイク、ツールの悪用、情報の漏えいを確かめる OSS を、攻撃を作る検査・入出力の守り・記録との照合の三つの役割に分け、開発中・CI・本番での置き場所と選び方をまとめます。
セキュリティ · 解説
- 直接・間接プロンプトインジェクションの仕組み
LLM が読む内容に含まれる文言が指示として作用する脆弱性について、直接と間接の二つの経路、成立の条件、影響の上限、対策の四つの層を OWASP LLM01(2026) に沿って整理します。
セキュリティ · 用語
AI エージェントの評価
- 評価に使う OSS の役割と選び方
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals が、AI エージェントの評価のどの部分を受け持つかを整理し、確かめたいことや開発の段階に応じた選定基準を表にまとめます。
AI エージェントの評価 · 解説
- 評価の OSS を同じエージェントで比べた結果
promptfoo・Inspect AI・DeepEval・Ragas・OpenAI Evals を、同じ検証用エージェント・同じ 20 件・同じ採点用モデルで動かし、判定の一致、LLM 採点のずれ、時間、費用、CI への組み込みやすさを比較した実測の記録です。
AI エージェントの評価 · 解説
- 最終状態・経路・一手という採点の粒度
AIエージェントを最終状態、操作の経路、一回のツール呼び出しといった粒度で採点することの違いを説明します。架空の資料整理を例に、必要な記録と結果の読み分けを示します。
AI エージェントの評価 · 解説