第 6 章 守りの設計6.1
信頼境界の描き方
AIアプリケーションの信頼境界を、問い合わせ対応の架空例で図にする手順です。データの出所と操作の権限を分け、境界で必要な検査と設計の限界を整理します。
要点
- 信頼境界は、データや処理に対する信頼の前提が変わり、そのまま受け渡してよいかの確認が必要になる境目です。
- AIアプリケーションでは、部品と保存先を描き、データの出所、読める人、実行できる操作を矢印ごとに書きます。
- 文書を読むデータの流れと、送信などを許可する制御の流れを分け、モデルの提案が実際の操作になる位置を確認します。
- 図に引いた境界を認可や出力検証の実装と結び付け、構成が変わったときに見直します。
定義
- 信頼境界(trust boundary)
- データや処理に対する信頼の前提が変わり、そのまま受け渡してよいかの確認が必要になる境目です。
- 認可
- ある利用者が対象に対してその操作を行ってよいかを判断することです。
信頼境界(trust boundary)は、データや処理に対する信頼の前提が変わり、そのまま受け渡してよいかの確認が必要になる境目です。たとえば、外部から届いた問い合わせをAIが読むことと、その内容に従って顧客へメールを送ることは、別の権限として扱う必要があります。本文を読めたという事実から、送信してよいという判断は導けません。
架空の問い合わせ対応AIを考えます。担当者が問い合わせを選び、AIが本文と社内の案内文書を読んで回答案を作ります。担当者が宛先と内容を確認すると、アプリケーションの送信処理がメールを送ります。この一連の仕事を図にし、「外部の文章がどこで操作の判断に影響するか」「誰がその操作を許可するか」を見えるようにするのが、境界を描く目的です。
図に載せる対象と信頼の意味
最初に、図が説明する仕事を決めます。会社の全システムを一度に描くより、「選んだ問い合わせに回答する」のように始まりと終わりが分かる単位にすると、入口と出口を追えます。脅威モデリング(threat modeling)は、システムの構成から起こりうる問題と対策を整理する活動です。OWASPの手引きでは、その土台となるモデルに、外部の主体、処理、保存先、データの流れ、信頼境界を含めています。
「信頼する」は、その部品が常に正しいという意味にはしません。何に使うために、どこまで受け入れるかを書きます。問い合わせ本文は顧客の要望を知る資料として読めても、社内の閲覧権限を変更する命令としては受け入れません。社内の案内文書も、回答の根拠として参照することと、送信先や操作権限を決めることを分けます。
| 図に置くもの | 架空例での対象 | 書き添える情報 |
|---|---|---|
| 人や外部の主体 | 問い合わせを送る顧客、回答する担当者 | 誰が入力し、誰が操作を依頼するか |
| データの保存先 | 問い合わせの保管場所、社内の案内文書 | 内容を変更できる人、閲覧範囲、保管する情報 |
| 内容を処理する部品 | 検索処理、大規模言語モデル | 入力の出所、生成する回答案、外部へ渡す情報 |
| 権限を使う部品 | 閲覧権限の確認、メールの送信処理 | 誰の権限で何を許可するか、拒否する条件 |
大規模言語モデル(LLM)は、入力された文章などをもとに応答を生成するモデルです。この例では回答案を作る部品であり、送信を許可する責任者ではありません。同じサーバー内の処理でも、回答を生成する部分から送信機能へ移るときは、受け渡すものの意味と必要な権限が変わります。ネットワークの外周だけを境界とすると、この切り替わりを描き落とします。
データと制御を分ける手順
データの流れ(data flow)は、問い合わせ本文や回答案などの情報がどこからどこへ渡るかを表します。制御の流れ(control flow)は、どの処理をどの順序や条件で動かすかを表します。回答案の文面はデータですが、「この宛先へ送信する」と実行を決めるところには制御と権限の判断があります。
次は架空例を使った描き方です。特定の記法や製品を必須とせず、レビューする人が矢印の意味を説明できる形にします。
- 正常な仕事を文章で通します。 担当者による問い合わせの選択から、回答案の作成、確認、送信までを書きます。目的が「回答案を作る」だけなら、送信は範囲に入れません。これで、モデルが提案できる処理と、今回許可した処理の混同を減らします。
- 部品と保存先を箱にします。 画面、検索、モデル、権限の確認、送信、問い合わせの保管先を分けます。外部のモデルサービスを利用する構成なら、その管理者と送られる情報も書きます。内容の処理を外部へ委ねる場所も、確認の対象です。
- データの矢印に出所と用途を書きます。 問い合わせ本文は顧客から来るデータ、案内文書は社内の編集者が更新するデータとして区別します。検索結果になっても、元の文書を誰が書けるかは変わりません。短い回答案に加工した場合も、何を参照して作ったかを追えるようにします。
- 操作の依頼と許可の経路を重ねます。 認可とは、ある利用者が対象に対してその操作を行ってよいかを判断することです。たとえば担当者がその問い合わせを扱えるか、選んだ顧客へ送れるかをアプリケーションで確認する位置を描きます。モデルの提案を、その判断の代わりにはしません。
- 信頼の前提が変わる位置を境界として示します。 外部の内容を取り込む位置、文書を閲覧者へ返す位置、モデルの提案を実際の操作へ変える位置、回答を外部へ送る位置を点検します。それぞれで、通してよい条件、確認する部品、拒否したときの扱いを書き添えます。
CaMeLの研究提案は、信頼する依頼から制御とデータの流れを取り出し、取得したデータの出所や利用制限を追いながら、ツールの実行前に方針を確認する設計を示しています。これは「外部の文章を区切ってモデルに渡す」という表示上の工夫と、実行を制限する仕組みを区別する参考になります。CaMeLを導入すれば任意のアプリケーションが安全になるという意味ではなく、論文が定めた脅威モデルと制約の下での提案です(Debenedettiら、v2、3〜5節)。
問い合わせ対応AIの境界図
図 6.1.1 は、回答案を作る部分と送信の権限を使う部分の関係を、架空例で簡略化して示した図です。下側を流れる問い合わせや検索結果は、モデルによって回答案に変わります。送信に進むには、担当者の依頼・承認だけでなく、アプリケーションが確認する操作権限と出力内容の条件を満たす必要があります。この図は権限の関係を示しており、生成した回答案を担当者へ表示して確認を受ける経路は省略しています。
図 6.1.1 回答案と送信権限の境界では、モデルから送信処理へ直接つながる矢印を置いていません。境界に置いた検査を通して送信する、という設計上の条件を表しています。担当者の依頼も、担当者に与えられた権限を超える操作を許可するものではありません。
図を実装へ結び付けるため、箱の名前だけでなく、境界ごとの確認を表にします。次はこの例で設計する条件であり、一般の製品すべてに同じ承認方法を要求するものではありません。
| 受け渡す位置 | 境界で確認すること | 条件を満たさない場合 |
|---|---|---|
| 保管先から検索処理へ | 担当者が扱える問い合わせと文書だけか | 対象外の情報を回答案へ渡さない |
| 問い合わせ・検索結果からモデルへ | 出所と利用目的を識別できるか | 出所の不明な情報を確定した事実として扱わない |
| モデルの提案から送信処理へ | 対象、宛先、内容が許可した操作と一致するか | 送信を保留し、担当者へ確認を戻す |
| 送信処理から顧客へ | 実際に送る宛先と内容が確認済みのものか | 不一致を解消するまで実行しない |
図の検査は、モデルに「正しい操作だけを選ぶ」と伝える文章だけでは成立しません。OWASP LLM01:2026は、モデルが指示と外部データを同じ入力の流れで扱うことを、信頼境界が崩れる背景として説明しています。プロンプトインジェクションは、入力に含まれる内容が、開発者の意図しない振る舞いをモデルに起こさせる問題です。外部の文章の取り扱いを誤ったときにも、送信の権限まで自動的に渡らない構成を考えます(OWASP LLM01:2026、本文10頁)。仕組みは1.2で詳しく扱っています。
見落としやすい境界と図の限界
図を点検するときは、出所の名前だけで信頼を決めていないかを確認します。「社内文書」「接続済みのツール」「過去の回答」といったラベルだけでは、内容を誰が変更できるかや、その内容を操作の指示として使ってよいかが分かりません。
MCP(Model Context Protocol)は、LLMアプリケーションと外部のデータやツールをつなぐためのプロトコルです。2026-07-28版のSecurity and Trust & Safetyは、同意、アクセス制御、ツールの安全な扱いを実装側の課題として挙げ、プロトコルだけではそれらを強制できないと説明しています。接続が成功したという印を、権限の確認が済んだ印に置き換えないことが大切です。ここではその設計上の区別を参照し、個別実装の仕様適合性は判定していません。
また、後から読む保存先も図に含めます。回答案や検索結果を会話の記録へ保存するなら、「保存する」と「別の会話で再び読む」の両方を描きます。OWASP LLM01:2026は、永続化された内容が後の処理に影響する点も扱っています。今回だけの入力として確認していた内容が、別の利用者や別の依頼で使われる設計になっていないかを見直します。
最後に、境界図は設計の説明であり、実装が正しく制限している証拠ではありません。次の点を確認して、実装の確認や試験へ引き継ぎます。試験は所有者または管理者の許可を得た対象にだけ行います。
- 各データの出所と、それを変更できる主体が分かる
- 文書の閲覧権限と、操作を実行する権限が区別されている
- モデルが提案する内容と、実行を許可する判断の経路が分かれている
- 境界を越える各経路に、確認する条件と担当する部品がある
- 保存後に再利用する経路と、拒否時の処理も説明できる
- 図の対象版と未確認事項が残り、連携先や権限の変更時に見直せる
OWASPの脅威モデリングの手引きは、モデルをシステムとともに更新し、対策をレビュー・検証する流れを示しています。図の完成を終点にせず、実際の処理と一致しているかを確認できる資料として維持します。
境界を実装と結び付ける台帳(架空例)
主な境界の一部を例示します。実際の台帳では図の全境界を記録し、問い合わせ・検索結果からモデルへ渡す箇所と、送信内容・宛先を顧客への送信前に照合する箇所も同じ形式で加えます。次の台帳は問い合わせ対応AIの架空例で、列の構成は独自の運用例です。
| 境界 | 実装の担当箇所 | 確かめた方法 | 判定 | 見直す契機 |
|---|---|---|---|---|
| 保管先から検索処理へ | 検索前の閲覧権限の確認処理 | 担当外の問い合わせを指定すると拒否されるか | 確認済み/未確認 | 部署や担当の割り当ての変更 |
| モデルの提案から送信処理へ | 送信直前の宛先と内容の照合処理 | 承認と異なる宛先の提案が保留されるか | 確認済み/未確認 | 送信機能や承認画面の変更 |
| 会話の記録から次の処理へ | 保存した記録を読み込む処理 | 別の担当者の依頼で過去の記録が読まれないか | 確認済み/未確認 | 保存期間や共有範囲の変更 |
| 外部のモデルサービスへ | 送る情報を組み立てる処理 | 送られる項目が図の記載と一致するか | 確認済み/未確認 | 利用するサービスや契約の変更 |
判定が未確認の行は、図には境界があっても、実装の制限は確かめられていない状態です。担当箇所の欄が空のまま残る行は、図の上だけの境界として扱い、試験の対象に加えます。試験は許可を得た環境で、正常な依頼と担当外の依頼の結果を比べる範囲で行い、確かめた日付と対象の版も台帳に残します。
自社での取り組みについて相談する
AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する