第 8 章 ガードレールとリリース判断 · 導入

ガードレールとリリース判断

AI エージェントの安全の確かめ方とリリース判断を扱う章です。ガードレールの試験とレッドチーミング、リリース判断の基準、公開指針との対応を扱います。

要点

  1. この章では、安全の確かめ方と、出してよいかの判断を扱います。
  2. 入口・出口・ツールの手前に置いた守りが効いていることを、試験とレッドチーミングで示す方法を説明します。
  3. 公開の可否を、能力・回帰・安全の三つで決める考え方を示します。
  4. NIST AI RMFとAISIのガイドについて、版と該当箇所を示しながら、リリース判断と試験記録への使い方を扱います。

この章の節

  1. ガードレールの試験とレッドチーミングのサムネイル8.1 ガードレールの試験とレッドチーミング入口・出口・ツールの手前の守りが効くかの試験(置き方の設計はセキュリティの第 6 章)
  2. リリース判断の基準のサムネイル8.2 リリース判断の基準能力・回帰・安全の三つで決める

この章の目的

評価の結果がそろっても、公開してよいかは別の判断です。たとえば能力の評価が良くても、守りが効いていなければ出せませんし、回帰が起きていれば止める必要があります。この章は、守りが効いていることの試験、公開の可否を決める材料、公開指針との対応を扱います。レッドチーミングは許可を得た対象にだけ行います。

ガードレールとリリース判断の章は、守りの試験、能力・回帰・安全の材料、公開の可否の決定の順に、判断の事柄を扱います。

読者と想定する状況

リリースの可否を判断する人、ガードレールの効き目を確かめたい人、公開指針への対応を説明する必要がある人が対象です。どの節からでも単独で読めます。

図 8.0.1 ガードレールとリリース判断に含まれる論点は、各事柄に含まれる論点を示します。ガードレールとリリース判断の章では、ガードレールの試験、リリース判断、公開指針との対応の三つの事柄が、それぞれ具体的な論点を含みます。

ガードレールとリリース判断に含まれる論点ガードレールとリリース判断の章では、ガードレールの試験、リリース判断、公開指針との対応の三つの事柄が、それぞれ具体的な論点を含みます。公開指針との対応NIST AI RMFAISI のガイドAI 事業者ガイドラインリリース判断能力回帰安全ガードレールの試験入口・出口・ツールの手前レッドチーミング
図 8.0.1 ガードレールとリリース判断に含まれる論点

三つの材料が食い違うときの判断の残し方

以下は架空の設計例です。経費精算を手伝うエージェントの新版で、能力評価の成功率は前の版より上がったとします。一方で、回帰評価の必須ケース「承認前に支払いを確定しない」が1件失敗しました。この場合は、能力の改善で回帰の失敗を帳消しにせず、公開を止めて原因を調べます。安全の試験は、許可を得た試験環境で行います。上限額を超える精算を通すよう促す入力を与え、支払いツールの呼び出しが承認の手前で止まったかを確かめます。確かめる材料は返答ではなく、ツールの呼び出し記録です。判断の記録には次の項目を残します。評価した版、三つの材料それぞれの結果、まだ行っていない試験、判断(公開・保留・中止)、判断した人です。この例なら、能力は前の版より改善、回帰は必須ケース1件失敗、安全は承認の手前で停止を確認、判断は保留(回帰の原因を直して再評価)と残します。

他の章で扱う事柄

守りの置き方の設計はセキュリティ領域の第 6 章、評価を CI で回す仕組みは本領域の第 6 章、指標の計算は第 5 章で扱います。