出力の誤りと下流への伝播
AIの誤った回答が、人の判断や後続の処理へ広がる経路を説明します。内容の正確さと出力の取り扱いを分け、根拠や確認済みの状態が失われる危険を整理します。
要点
- AIの出力は、文章として自然でも、内容や根拠が正しいとは限りません。
- その出力を人が判断材料にしたり、別のシステムが操作の条件にしたりすると、誤りが後続へ伝わります。
- 内容の誤りを信じる問題と、出力を無検証でコードや操作として扱う問題は分けて考えます。
- 何を根拠に確認したかという情報を、受け渡しの途中でも保ち、実行側で内容と権限を確認することが、影響を抑える設計につながります。
定義
- 下流
- AI の出力を受け取って次の仕事をする側のことです。
AIの回答は、画面に表示されたところで役割を終えるとは限りません。担当者が判断に使い、別の処理が項目を読み取り、その結果がさらに他の人やシステムへ渡ることがあります。このように、出力を受け取って次の仕事をする側を下流と呼びます。
架空の修理受付サービスを考えます。AIが問い合わせを要約し、必要な部品と訪問日の案を担当者へ示します。ところが、部品の在庫を調べていないのに「在庫確認済み」と書き、担当者がその説明を信じて訪問を確定してしまいました。誤りは文章の中で生じていますが、影響は日程調整や顧客への案内に及びます。以下の例や表は、この伝わり方を説明するためのもので、実在する事故の記録ではありません。
内容の誤りと取り扱いの不備
出力の危険は、何が間違っているかと、それをどう使うかの組合せで決まります。OWASPの2025年版は、もっともらしい誤情報と、その正確さを確かめず依存する過信を説明しています。一方、出力を他の部品へ渡す前の検証や扱いの不足は、Improper Output Handlingという別の項目で整理しています。(Misinformation、Improper Output Handling)
| 問題 | 修理受付で考える架空例 | 主に損なわれるもの |
|---|---|---|
| 内容の誤り | 未確認の在庫を、確かめた事実として案内する | 日程や必要な手配の判断 |
| 根拠の過信 | 資料名が書いてあるだけで、説明まで正しいと認める | 判断の裏づけ |
| 取り扱いの不備 | 生成した文章を、画面の表示や処理の命令として無検証で解釈する | 画面や接続先で許した動作の範囲 |
内容が誤っている文章でも、通常の文字列として表示するだけなら、その文章が直ちにプログラムとして動くわけではありません。反対に、記述が事実として正しくても、渡し先で不適切に解釈されるおそれは残り得ます。これが、内容の正確さと、利用先で安全に扱えることを、同じ検査の結果として扱わない理由です。
もっともらしさと根拠の違い
流暢な説明や詳しい理由は、それ自体では確認の証拠になりません。NISTの生成AIプロファイルは、誤った内容を確信のある表現で提示する現象をConfabulationとして扱い、誤った理由や引用が人の信頼を強める場合にも触れています。ここでは2024年7月版のこの説明を参照しています。(NIST AI 600-1、2.2節)
修理受付の例で、出力に部品カタログの名前が書かれていても、カタログの記載が在庫を証明するわけではありません。部品の仕様を示す資料と、現在の在庫を示す記録は役割が違います。「参照先がある」と「今回の判断を裏づける」を分けて見ます。
この例の出力を整理するなら、問い合わせに書かれた症状、実際に在庫システムから得た結果、AIが推測した必要部品、まだ確認していない点を区別できます。同じ画面に並んでいても、すべてを確定した事実として扱いません。AIが「確認済み」と生成した文言も、在庫照会の実行記録の代わりにはなりません。
誤情報は、攻撃者の入力だけで生じるものではありません。OWASPは、情報の不足や学習データの偏りも原因として挙げています。悪意ある内容を見つける検査だけでは、通常の依頼で生じる取り違えを扱いきれません。(Misinformation、説明)
受け渡しで失われる条件
誤りが広がる経路を見るには、文章が別の形式に変わる場所を追います。修理受付では、自由文の要約から訪問候補の一覧へ、一覧から顧客向けの案内へと情報が移ります。次の表は、途中で確かさが増したように見えてしまう架空の例です。
| 受け渡す場面 | 失われる情報の例 | 下流で生じる取り違え |
|---|---|---|
| 問い合わせから要約へ | 顧客の「たぶん」という留保 | 故障部品が確定したように見える |
| 要約から一覧へ | 在庫はまだ確認していないという注記 | 部品を手配できる前提で日程を決める |
| 一覧から案内へ | 日程は候補であり未確定という状態 | 顧客へ確定した訪問日として伝える |
| 過去の案内から再利用へ | どの依頼・時点の確認だったか | 別の修理にも同じ条件が適用できると考える |
別のAIが同じ要約を読み直し、同じ説明を返したとしても、この例では新しい在庫照会をしたことにはなりません。処理の回数が増えることと、独立した根拠が増えることは別です。後段の回答が丁寧になっても、元の未確認点が解消したかを見ます。
機械で読める形への変換にも同じ注意が必要です。項目名や値の型が正しいことは、値が事実かどうかを表しません。訪問候補が日付の形で出力されても、その日に訪問できる人や部品が揃うことまでは確かめていません。形式が整ったことで、未確認の値が自動処理へ入りやすくなる経路を見落とさないようにします。
縦の線のラベルは、受け渡しで抜け落ちる条件を表します。横に分かれる枝は別のAIによる読み直しで、データを取り直す経路とは区別しています。形式が整った回答でも、失われた条件が戻るとは限らない関係です(図 1.5.1 受け渡しごとに失われる条件)。
出力が操作へ変わる場所
表示や保存、実行では、出力の意味が変わります。OWASPは、モデルの出力をそのままプログラムの実行やデータベースの問い合わせへ渡す危険を説明し、利用先に合わせた検証や出力処理を勧めています。(Improper Output Handling、説明と対策)
修理受付の案内文を見せる場合、通常の文字として表示することと、ページの構造や動作を指定するHTMLとして解釈することは違います。下流が何を解釈するかによって、必要な確認も変わります。具体的な検証の分担は入出力の検証で扱っています。
また、正しい部品番号が出力されたとしても、その利用者が発注してよいとは限りません。出力の検証は、誰が何をしてよいかという認可を置き換えません。誤りが発注や記録の変更まで届く範囲は、権限の濫用とツール呼び出しの危険で説明する機能・権限・自動実行の関係にも左右されます。
影響を把握するための見方
調査では、誤った一文だけでなく、その一文をどこが採用したかを区別します。修理受付の例なら、在庫確認済みという誤った提案、担当者への表示、日程の確定、顧客への送信は別の出来事です。下流で拒否された提案と、実際に送った案内を同じ影響として数えません。
対策を考える材料は、出力を受け取る相手、渡した値、参照した記録、確認した条件、その後の結果です。これらを揃えると、内容の根拠が不足したのか、表示処理の扱いが不適切だったのか、実行の権限が広すぎたのかを分けて検討できます。記録に残す情報の範囲も定め、機密の本文を無制限に集める設計にはしません。
すべての誤りを自動で見つけられるとは限りません。出力に「AIが生成」と表示することや、人が一度読んだことだけで、内容と取り扱いの問題が解決したとはみなしません。どの条件を確かめ、何が未確認で、誤りがどこまで届き得るかを説明できることが、出力を過信しないための基礎になります。
受け渡しで状態を保つ項目(運用例)
条件が失われるのを防ぐには、文章の言い回しに頼らず、値ごとに状態を項目として持たせます。次は修理受付の架空例での運用例です。
| 値 | 状態 | 根拠の記録 | 下流で許す使い方 |
|---|---|---|---|
| 故障部品 | AIの推測 | 問い合わせ本文の該当箇所 | 候補として表示するだけ |
| 在庫 | 照会結果 | 在庫照会の実行記録と時刻 | 運用で決めた有効期間内は日程を検討する材料にできる。期間を過ぎたら再照会する |
| 在庫 | 未確認 | なし | 日程の確定に使わない |
| 訪問日 | 候補 | 担当者の空き状況を照会した記録 | 顧客には候補として伝える |
状態の欄は AI に書かせず、照会を実行した処理が付けます。AI が本文に「確認済み」と書いても、状態は変わりません。後続の処理は、日程の確定や顧客への送信の前にこの欄を読みます。条件を満たさなければ処理を止め、担当者に戻します。
誤りが見つかったときは、どの行がどの状態のまま採用されたかをたどります。そうすれば、提案、表示、確定、送信のどこまで誤りが届いたかを、記録から区別できます。
自社での取り組みについて相談する
AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する