前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。
今回は、『本編』の最終章となる「I-7. 検知・対処」を読み解きました。
AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。
また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。
【目次】
1.ガイドライン全体の構成
『機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-1］
「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」「I-4. 影響分析」「I-5. システム仕様レベルでの脅威分析・対策」「I-6. 実際の機械学習システムに対する脅威分析・対策」については、以下で記事にしておりますので、ご参照ください。
『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】
2.今回読んだ範囲の概要
今回は、『本編』の「I-7. 検知・対処」を読み解きました。
「機械学習システムセキュリティにおける検知・対処」、「検知」、「対処」について記載されています。
3.「I-7.1. 機械学習システムセキュリティにおける検知・対処」を読み解く
ここでは、一般的なサイバー攻撃対策と同様に、「検知」では攻撃の前兆や兆候を監視し、「対処」では、攻撃や被害が発覚した後の封じ込め・根絶・復旧を行う旨が記載されています。
4.「I-7.2. 検知」を読み解く
検知については、「前兆検知」と「兆候検知」の2つの側面で言及されています。
検知対象とする事象の選定にあたっては、一般的なサイバー攻撃で利用されている攻撃者の行動をモデル化したMITRE ATT&CKフレームワークと同様に、MITRE が機械学習用に公開しているATLASが参考になるとされています。
また、機械学習システム側において検知できる可能性のある攻撃事象の例が、前兆検知、兆候検知のそれぞれに対して、以下のように提示されています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-27］
5.「I-7.3. 対処」を読み解く
「対処」については、攻撃や被害が発生した場合の対処法について説明されています。攻撃事象の例として、「回避攻撃」や「ポイズニング攻撃」などが挙げられ、前兆検知と兆候検知の対処方針が示されています。具体的には、攻撃が発生した際には、一般的なサイバー攻撃対策と同様、「応急対策」「調査」「恒久対策」の3つのフェーズに対処を行うことが推奨されています。
まず、「応急対策」では、被害の拡大を防ぐためにシステムの制限や停止などの緊急的な対策を実施します。攻撃によるシステムの誤動作に対しては、「前処理による緩和」などがあげられており、以下のような対策例が提示されています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-29］
次に、「調査」では、発生している攻撃の目的や手法、被害の範囲などの詳細な調査が挙げられています。また、過去の攻撃との関連性や他の攻撃との組み合わせの可能性も調査対象となっています。攻撃調査についても以下のような例が挙げられています。
出所：機械学習システムセキュリティガイドライン Part I.「本編」
ページ［I-30］
最後に、「恒久対策」では、調査で得られた情報を基に、攻撃に対する防御や緩和策の適用、検知施策の導入などを行うとされています。これにより、システムを安全な状態に戻し、将来の攻撃の再発を防ぐことが期待されています。
5.おわりに
今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-7. 検知・対処」を読み解いてきました。
検知については、アカウントの作成時や入力時など、従来のセキュリティ対策と同様な検知が必要であることがわかりました。
また、対処については、アカウントの停止などの従来の対策に加えて、敵対的サンプルの作成手法の調査や、汚染データの作成手法の特定など、機械学習システム特有の対処も必要であることがわかりました。
これで『本編』は終了となりますが、一般的なサイバーセキュリティ対策と同様であった点も多くこれまでの経験が活かせそうだと感じた半面、機械学習システム特有の内容については引き続き学んでいく必要があると感じました。
次回からは、『リスク分析編』についても読み解いていきたいと思います。
