ガードレール

入口・出口・ツールの手前に置く守りの設計と、その試験・レッドチーミング。(5 件の記事)

  • 入出力の検査の OSS を同じ入力で比べた結果

    LLM Guard、NeMo Guardrails、Llama Guard 3 1B に、同じ 54 件の入力と 20 件の出力を通し、検出した件数、誤検出、時間、費用、導入でつまずいた点を、実行した条件とともに記録します。

    セキュリティ · 解説

  • レッドチームの OSS を同じエージェントで比べた結果

    garak・PyRIT・promptfoo のレッドチーム機能を、自作の検証用エージェントへ同じ条件で当て、指摘の数、実害との一致、誤検出、時間、費用、CI への組み込みやすさを比べた実測の記録です。

    セキュリティ · 解説

  • 入出力の検証

    架空の問い合わせ 30 件(注入 7 件を含む)を gemini-2.5-flash-lite とローカルの Gemma 4(e2b)に JSON で分類させ、Zod 4.6.5 と Pydantic 2.14.1 で検査して、形式の不備、既定の設定の違い、検査を通る注入の出力を数えた記録です。

    セキュリティ · 検証の記録

  • AI エージェントのセキュリティ検査に使う OSS の役割と選び方

    プロンプトインジェクション、ジェイルブレイク、ツールの悪用、情報の漏えいを確かめる OSS を、攻撃を作る検査・入出力の守り・記録との照合の三つの役割に分け、開発中・CI・本番での置き場所と選び方をまとめます。

    セキュリティ · 解説

  • ガードレールの試験とレッドチーミング

    AI エージェントの守りを、期待する許可・拒否・保留・人への引き継ぎと、実際の状態変化で確かめます。架空の申請支援を例に、試験範囲、観測、判定不能、通常利用への影響を説明します。

    AI エージェントの評価 · 解説