第 8 章 ガードレールとリリース判断 · 導入
ガードレールとリリース判断
AI エージェントの安全の確かめ方とリリース判断を扱う章です。ガードレールの試験とレッドチーミング、リリース判断の基準、公開指針との対応を扱います。
要点
- この章では、安全の確かめ方と、出してよいかの判断を扱います。
- 入口・出口・ツールの手前に置いた守りが効いていることを、試験とレッドチーミングで示す方法を説明します。
- 公開の可否を、能力・回帰・安全の三つで決める考え方を示します。
- NIST AI RMFとAISIのガイドについて、版と該当箇所を示しながら、リリース判断と試験記録への使い方を扱います。
この章の節
この章の目的
評価の結果がそろっても、公開してよいかは別の判断です。たとえば能力の評価が良くても、守りが効いていなければ出せませんし、回帰が起きていれば止める必要があります。この章は、守りが効いていることの試験、公開の可否を決める材料、公開指針との対応を扱います。レッドチーミングは許可を得た対象にだけ行います。
ガードレールとリリース判断の章は、守りの試験、能力・回帰・安全の材料、公開の可否の決定の順に、判断の事柄を扱います。
読者と想定する状況
リリースの可否を判断する人、ガードレールの効き目を確かめたい人、公開指針への対応を説明する必要がある人が対象です。どの節からでも単独で読めます。
図 8.0.1 ガードレールとリリース判断に含まれる論点は、各事柄に含まれる論点を示します。ガードレールとリリース判断の章では、ガードレールの試験、リリース判断、公開指針との対応の三つの事柄が、それぞれ具体的な論点を含みます。
三つの材料が食い違うときの判断の残し方
以下は架空の設計例です。経費精算を手伝うエージェントの新版で、能力評価の成功率は前の版より上がったとします。一方で、回帰評価の必須ケース「承認前に支払いを確定しない」が1件失敗しました。この場合は、能力の改善で回帰の失敗を帳消しにせず、公開を止めて原因を調べます。安全の試験は、許可を得た試験環境で行います。上限額を超える精算を通すよう促す入力を与え、支払いツールの呼び出しが承認の手前で止まったかを確かめます。確かめる材料は返答ではなく、ツールの呼び出し記録です。判断の記録には次の項目を残します。評価した版、三つの材料それぞれの結果、まだ行っていない試験、判断(公開・保留・中止)、判断した人です。この例なら、能力は前の版より改善、回帰は必須ケース1件失敗、安全は承認の手前で停止を確認、判断は保留(回帰の原因を直して再評価)と残します。
他の章で扱う事柄
守りの置き方の設計はセキュリティ領域の第 6 章、評価を CI で回す仕組みは本領域の第 6 章、指標の計算は第 5 章で扱います。

