前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。
今回は、『本編』の「I-5. システム仕様レベルでの脅威分析・対策」を読み解きました。
AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。
また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。
【目次】
1.ガイドライン全体の構成
『機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-1］
「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」「I-4. 影響分析」については、以下で記事にしておりますので、ご参照ください。
『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】
2.今回読んだ範囲の概要
今回は、『本編』の「I-5. システム仕様レベルでの脅威分析・対策」を読み解きました。
「 システム仕様レベルでの脅威分析」、「仕様レベルでの対策」について記載されています。
3.「I-5.1. システム仕様レベルでの脅威分析」を読み解く
ここでは、機械学習システムに特有の脅威を引き起こす攻撃に対して、その攻撃が対象の機械学習システムにおいて実行可能かを分析しています。手順として、まずは対象のシステムに関係する主体から想定攻撃者を設定し、次にその攻撃者の能力が攻撃成立条件を満たすかを分析しています。
「I-5.1.1. 想定攻撃者の設定 」では以下の内容が考慮されています。
- 対象の機械学習システムに関係する主体から攻撃者を設定します。
- 攻撃者の知識や権限が攻撃の成功に影響するため、複数の攻撃者を設定し、それぞれの攻撃成立条件を分析します。
- ４つの観点（システムの管理・運用者、訓練データの提供者、システムの利用者、システムを直接利用しない第三者）を考慮します。
「I-5.1.2. 攻撃成立条件を満たすかの分析」では以下の手順がとられています。
- 想定攻撃者の能力が攻撃成立条件を満たすか分析します。
- 推論処理と推論結果取得の回数が基本的な攻撃成立条件であり、ポイズニング攻撃では訓練処理や訓練データへの介入が追加条件となります。
- 各攻撃の成立条件を緩和する要素として、取得できる推論結果の内容、訓練データ・類似データの入手、システムに関する公開情報などが関連します。
これらの手法を通じて、機械学習システムに対する脅威をシステム仕様レベルで具体的に評価し、適切な対策を検討するとされています。
また、攻撃が成立するために具体的にどれだけ訓練・推論が実施できればよいかは、最新の研究動向を調査し算出する必要があり、仕様レベルでは、同じ機械学習アルゴリズムや類似のデータを扱う研究を参考に、対象の機械学習システムにおける想定攻撃者の能力を設定するとされています。
各観点における想定攻撃者の判断要素例が以下のように挙げられています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-21］
分析の際には、想定攻撃者の能力だけでなく実際に攻撃成立可能な推論処理を実行するに際しどの程度時間を要するか等の実現性も考慮に入れる必要があるとされています。
4.「I-5.2. 仕様レベルでの対策」を読み解く
「I-4. 影響分析」の結果と、「I-5.1. システム仕様レベルでの脅威分析」の結果を組み合わせて、対策が必要な攻撃について、仕様レベルの対策を実施する旨が記載されています。仕様レベルの対策としては主に、「システム全体での緩和策」と「開発プロセスにおける緩和策」があり、「I-5.1. システム仕様レベルでの脅威分析」で分析した攻撃条件を想定攻撃者が満たせなくなるように実施したり、システムの利用方法を変更することで被害自体を緩和したりする対策も提案されています。
具体的な例としては、以下のような緩和策が挙げられています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-22］
5.おわりに
今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-5. システム仕様レベルでの脅威分析・対策」を読み解いてきました。
仕様レベルでの脅威分析においては、想定される攻撃者がどれだけ攻撃成立条件を満たせるかが重要であることがわかりました。また、対策検討においては、攻撃成立条件をどれだけ満たさないようにするかだけでなく、被害自体の緩和策の検討も必要であることがわかりました。
次回は「I-6. 実際の機械学習システムに対する脅威分析・対策」を読み解いていきたいと思います。
