前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。
今回は、『本編』の「I-3. 機械学習システムのセキュリティ」を読み解きました。
AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。
また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。
【目次】
1.ガイドライン全体の構成
『機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-1］
「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」については、以下で記事にリンクを掲載しておりますので、ご参照ください。
『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】
2.今回読んだ範囲の概要
今回は、『本編』の「I-3. 機械学習システムのセキュリティ」を読み解きました。
「機械学習セキュリティの考え方」、「進め方」、「各工程の実施について」について記載されています。
3.「I-3.1. 機械学習セキュリティの考え方」を読み解く
機械学習システムも情報セキュリティと同様に、保有資産を洗い出し、脅威分析結果に基づき、洗い出した保有資産への影響を分析して、リスクに応じた対策を実施するという流れになります。
出所：機械学習システムセキュリティガイドライン Part I.「本編」ページ［I-13］
対策は大きく「緩和策」と「検知・対処」に分かれます。
| 対策の種類 | 説明 |
|---|---|
| 緩和策 |
運用・利用前に攻撃を困難にしたり、効果を抑制する。 基本的には事前に実施する。 |
| 検知・対処 |
運用中の攻撃発見。 対策できなかった脅威や未知の脅威に対する検知・対処の対策。 |
4.「I-3.2. 進め方 」を読み解く
ここでは、機械学習セキュリティの進め方について、「影響分析」からスタートし、「システム仕様レベルでの脅威分析・対策」を経て「検知・対処」に進むフレームワークが提案されています。影響分析はシステムが攻撃を受けた際の被害を評価し、その後、許容できない被害に対してシステム仕様レベルの脅威分析で攻撃可能性を評価します。その結果に基づき、システム仕様上の対策を講じます。対策が不十分であれば、「実際の機械学習システムに対する脅威分析・対策」を行い、未対策脅威に対する「検知・対処」を設計します。実際の検知・対処については、運用・利用時が基本ですが、汚染されたデータ・モデルの混入対策等、AI 構築やシステムへの実装段階でも行われる場合がある。その場合は「計画」の段階で「AI 構築」時の「検知・対処」体制を整えておく必要があるとされています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-14］
上記工程のうち、「システム仕様レベルでの脅威分析・対策」について、「リスク分析編」でシステム開発者が専門知識なしに行う手法が提案されています。また、「検知・対処」について、機械学習システム特有の攻撃に対する検知技術論文を、「対象とする攻撃」と「その攻撃段階」で分類・整理したものを付録の「攻撃検知技術の概要」で紹介されています。
5.「I-3.3. 各工程の実施について 」を読み解く
ここでは、実際の分析や対策を担当する実施者と、対策や検知・対処の実施を決定する責任者が協力する必要がある旨、記載されています。実施者は通常システム開発者で、検知・対処においては運用・利用フェーズで実施されるため、システム開発者とサービス提供者の協力も重要とされています。機械学習セキュリティの専門知識が必要であり、専門家との連携も重要とされています。責任者はリスクが顕在化した際に責任を取る者であり、システム開発の依頼元やサービス提供者が担当し、実施者から提供される分析結果を基に対策や優先度、制約条件決定すると記載されています。
6.おわりに
今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-3. 機械学習システムのセキュリティ」を読み解いてきました。
保有資産を洗い出し、脅威分析結果に基づき、洗い出した保有資産への影響を分析して、リスクに応じた対策を実施するという点では、これまでの情報システムのセキュリティと同様であると考えられますが、検知・対処についてこれまでの情報システムでは、運用・利用時が基本でしたが機械学習システムにおいては、不正データや不正モデルの混入など開発時や導入時にも十分な対策が必要である点に留意が必要と感じました。
では、次回は「I-4. 影響分析」を読み解いていきたいと思います。
