前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。
今回は、『本編』の「I-4. 影響分析」を読み解きました。
AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。
また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。
【目次】
1.ガイドライン全体の構成
『機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-1］
「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」については、以下で記事にしておりますので、ご参照ください。
『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】
2.今回読んだ範囲の概要
今回は、『本編』の「I-4. 影響分析」を読み解きました。
「保護資産の特定」、「関係する主体の整理」、「機械学習システム特有の脅威による影響分析」について記載されています。
3.「I-4.1. 保護資産の特定」を読み解く
「保護資産の特定」は、機械学習システムが関連する資産を特定するプロセスです。これには「機械学習を構成する資産」と「機械学習システムが扱う資産」の２つの側面があると言及されています。「機械学習を構成する資産」については、ENISAの Artificial Intelligence Cybersecurity Challenges で分類・列挙されているデータ、モデル、ステークホルダーなど６つのカテゴリが参考になると記載されています。
4.「I-4.2. 関係する主体の整理」を読み解く
ここでは、保護資産に関連する関係者を整理し、脅威によって影響を受ける主体を特定します。例えば、訓練データの場合、データの提供者が関係者とされています。また、「機械学習システムが扱う資産」については、直接の利用者以外にも影響が及ぶ可能性があるため、例えばレントゲン画像診断システムでは医師だけでなく、診断される患者も含まれることに留意するよう記載されています。
総務省の「AI利活用ガイドライン」にて整理されているAI の利活用において関与が想定される主体も参考になるとされています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-17］
5.「I-4.3. 機械学習システム特有の脅威による影響分析」を読み解く
ここでは、これまでに特定した保護資産、関係主体と特定した脅威を結び付けて、発生する被害の影響を分析するとされています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-18］
１つめは「機械学習システムが扱う資産」と「モデル・システムの誤動作」の結びつけを考え、具体的な脅威シナリオを想定すると記載されています。例えば、標識認識システムを誤認識させることで自動運転車の事故を引き起こすなどの脅威が挙げられます。影響分析は、機械学習特有の攻撃によって「モデル・システムの誤動作」や「モデルの窃取」、「訓練データの窃取」が発生した場合の被害を分析するとされています。機械学習セキュリティの専門知識を持たないシステム開発者やサービス提供者にも可能な手法が「リスク分析編」でまとめられています。
6.おわりに
今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-4. 影響分析」を読み解いてきました。
影響分析にあたり関係主体を整理するにあたっては、利用者についてこれまでのシステム以上に細分化されていたり、データ提供者などのこれまでのシステムではあまり重要視されていなかった関係主体の考慮が必要になったり、関係主体の管理がより複雑になていると感じました。
関係者が多い分、ガイドラインのような統一基準で考えるものさしが、ますます重要になると考えられます。おいていかれないようにガイドライン等についても最新情報に追随できるよう引き続き頑張ります。
では、次回は「I-5. システム仕様レベルでの脅威分析・対策 」を読み解いていきたいと思います。
