第 3 章 診断の計画3.4

自動診断・手動診断・併用方式の比較

脆弱性診断の自動・手動・併用方式を、検出、結果の精査、業務固有の仕様確認に分けて比較します。発注時に揃える条件と、見積や報告での読み違いを説明します。

要点

  1. 自動診断はツールで検査を進める方式、手動診断は専門家が対象の仕様や結果を判断しながら検査する方式です。
  2. 併用方式では、自動で調べる範囲と専門家が確かめる範囲を組み合わせます。
  3. 選ぶ際は、検出結果の精査と、ツールが指摘していない業務固有の仕様の確認を区別します。
  4. 方式名や指摘件数だけでなく、対象範囲、確認内容、残る未確認事項を揃えて比較します。

定義

検出結果の精査
指摘された候補が本当に問題かを確かめる作業です。
誤検出(偽陽性)
問題がないのに問題ありと判定されたものです。

脆弱性診断の方式を選ぶときは、何をツールが調べ、何を専門家が判断するかを確かめます。自動診断はツールで検査を進める方式、手動診断は専門家が仕様や動作を確認しながら検査する方式です。手動診断でも道具は使うため、道具の有無だけでは区別できません。併用方式では、両者に任せる仕事を決めます。

たとえば、社員が申請し、承認担当が確認する架空の業務アプリを考えます。一般的な検査項目を調べる作業と、「誰がどの申請を閲覧・承認できるか」という固有の仕様を確かめる作業は、別々に計画する必要があります。以下は発注側が確認範囲を整理する例であり、実際の診断結果や攻撃手順ではありません。診断は所有者の許可を得た対象にだけ行います。

方式ごとに受け持つ仕事

比較する際は、弱点の候補を見つける仕事、候補が実際の問題かを精査する仕事、対象に固有の仕様を確かめる仕事を分けます。ツールの指摘を人が確認することと、指摘されていない仕様の問題を専門家が調べることは、同じ作業ではありません。

方式任せる仕事の例発注時に確かめる点
自動診断ツールが対応する検査項目について結果を集める到達できる機能と対象外、結果を誰が精査するか
手動診断仕様と役割分担を理解して検査し、結果を判断するどの機能や仕様を確認し、何を記録に残すか
併用方式自動で集めた結果の精査に加え、固有の仕様を人が確かめる両者の担当範囲と、未確認の箇所の扱い

デジタル庁DS-221は、Webアプリ診断の方式として自動・手動・併用を挙げ、自動診断では仕様に起因する弱点などの検出が難しいと説明しています。また、プラットフォーム診断では、ツールの誤検出の精査や検出できない弱点の確認を人手で補うとしています(DS-221、2.2節)。ここでは政府情報システム向けの参考文書から、方式を比較する観点を取り出しています。個別の組織に対する法的義務を示すものではありません。

検出結果の精査と固有仕様の確認

検出結果の精査は、指摘された候補が本当に問題かを確かめる作業です。問題がないのに問題ありと判定されたものを、誤検出または偽陽性と呼びます。NIST SP 800-115は、自動ツールの結果を検証する必要性を説明し、別のツールと一致しても同じ誤検出が含まれる可能性を指摘しています(7.3節)。使うツールの数を、そのまま確認の確かさとみなすことはできません。

業務固有の仕様の確認では、何が正しい動作かを判断する材料も必要です。申請アプリの例なら、申請者と承認担当がそれぞれ閲覧できる範囲を、役割と状態の表で説明できるようにします。仕様が曖昧なままでは、観測した動作が許されたものかを判断する基準も曖昧になります。

したがって「人手で確認します」という説明だけでは、頼みたい範囲が含まれるとは限りません。ツールの指摘の精査だけなのか、固有の仕様を調べる作業も含むのかを、見積と実施計画で分けて確認します。手動という名称だけで、すべての機能や弱点が調べられるという保証にもなりません。

ひし形を通る枝と、役割・状態の表から始まる枝が合流しています。前者は検出候補の真偽を確かめる仕事、後者は自動検査の指摘がなくても業務上の条件から調べる仕事を表します(図 3.4.1 候補の精査と固有仕様の確認の流れ)。

候補の精査と固有仕様の確認の流れツールが出した弱点の候補を人が精査し、問題と誤検出に分ける流れの図です。役割と状態の表を基準にした固有仕様の確認は、別の経路として示します。出力誤り問題基準発見ツールの検査弱点の候補人が精査誤検出役割と状態の表固有仕様の確認確認済みの問題
図 3.4.1 候補の精査と固有仕様の確認の流れ

同じ条件で見積を比べる手順

費用を比べる前に、何が見積の対象になっているかを揃えます。DS-221は、プラットフォーム診断では対象のIPアドレス数、Webアプリ診断では主に画面数やAPIなどのリクエスト数に応じて費用が変わると説明しています(2.2節)。APIはプログラムから機能を呼び出す接点です。画面だけを数えても、その接点の扱いまで一致したとは判断できません。

次は、申請アプリを依頼するための独自の確認手順です。各社共通の料金体系や、正式な調達要件を定めたものではありません。

  1. 比較する範囲を一つの一覧にします。 申請、閲覧、承認などの機能と利用者の役割を整理します。対象・範囲外の決め方は3.2でも扱っています。
  2. 方式を機能ごとに対応させます。 自動で調べる箇所、人が仕様から確認する箇所、結果だけを精査する箇所を分けます。「併用」という一語で未定の作業を埋めません。
  3. 見積に含む成果物を確認します。 結果の説明、未確認事項、修正後の再確認などについて、どこまで含むかを明記してもらいます。料金の数値を比べるのは、その範囲を揃えた後です。
  4. 残る範囲の扱いを決めます。 今回調べない機能があるなら、対象外として残します。対象外を「問題なし」に含めず、追加確認の必要性を別に判断します。

選定と報告で起きやすい読み違い

自動診断の指摘が少ないと、アプリ全体に問題がないように見えることがあります。けれども、調べた機能、到達できなかった機能、方式が対応しない項目は区別して読む必要があります。指摘件数だけでは、その区別はできません。

逆に指摘が多いサービスを、ただちに優れた診断だと決めることもできません。候補の数と精査済みの問題の数は違います。候補の扱いと確認の根拠を報告で確かめます。報告書の情報の読み分けは5.1を参照できます。

この申請アプリの例では、一般的な検査と固有仕様の確認を併用する計画が比較の出発点になります。そのうえで、各方式が実際に調べる範囲と、残る未確認事項を並べます。名称の違いだけで優劣を決めず、自分たちが確かめたい問いへの答えが得られるかで選びます。

役割と状態の表から確認範囲を書き出す(架空の例)

本文で触れた役割と状態の表を、見積の比較に使える形まで具体化した例です。申請アプリの役割と状態は架空のもので、特定の基準が定める様式ではありません。

申請の状態申請者本人他の申請者承認担当
下書き閲覧・編集できるできないできない
承認待ち閲覧できるできない閲覧・承認できる
承認済み閲覧できるできない閲覧できる

「できない」の欄は、仕様どおりに拒否されるかを確かめる候補になります。表の各欄を一行とする確認一覧を作り、見積を依頼する各社に、欄ごとに自動のみ(精査なし)、自動と結果の精査、仕様に基づく手動確認、対象外のどれで扱うかを書き込んでもらいます。

回答を並べると、たとえばA社は「他の申請者」の列を手動で確認し、B社は自動検査の結果の精査だけを含める、という違いが見えてきます。費用は、この違いを揃えてから比べます。

報告を受けた後も同じ一覧を使います。各欄に「確認済み・問題あり」「確認済み・問題なし」「候補あり・未精査」「指摘なし・精査対象外」「到達できず」「対象外」のどれが付いたかを記録します。自動のみで精査していない欄は「確認済み」にしません。「到達できず」と「対象外」が残った欄は、次回の診断範囲の候補として引き継ぎます。

自社での取り組みについて相談する

AI システムの権限・承認設計やセキュリティ対策について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する