俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話

俺って、おバカさんなので、とっても優秀な人工知能を作って代わりに頑張ってもらうことにしました。世界の端っこでおバカな俺が夢の達成に向けてチマチマ頑張る、そんな小さなお話です。現在はG検定、E資格に合格し、KaggleやProbSpaceのコンペに参画しながら、Pythonや機械学習、統計学、Dockerなどの勉強中です。学習したことをブログにアウトプットすることで、自分の身に着けていきたいと思います。まだまだ道半ばですが、お時間がありましたら見て行ってください。

第7回AI戦略会議『AI事業者ガイドライン案』を読み解く【はじめに】

今回から、12月21日に開催された第7回AI戦略会議総務省経済産業省の連名で報告された『AI事業者ガイドライン案』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。

今回は、ガイドラインの導入部となる「はじめに」を読み解きました。

AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。

また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。

【目次】

1.ガイドライン全体の構成

AI事業者ガイドライン案』は、別添(付属資料)付録も含めて、大きく5つに分かれています。ガイドラインの用語の定義を中心とした「第1部」、AIの社会的な利用に関する基本理念と指針をまとめAIの利益と社会的リスクへのガバナンス構築の必要性をすべての事業者向けに記載した「第2部」、AIを活用するAI開発者、AI提供者、AI利用者の3主体の留意事項を記載した「第3部」、「第4部」、「第5部」で構成されています。

また、各主体は自身の記載箇所だけでなく、隣接主体に関する事項にも理解を広げることが重要だとされています。

出所:AI事業者ガイドライン案

ページ6

2.今回読んだ範囲の概要

今回は、各箇所に入るまえの導入として「はじめに」を読み解きました。

ガイドラインの位置づけや、ガイドラインの基本的な考え方、AI活用の流れにおける主体の対応などについて言及されています。

3.ガイドラインの位置づけを読み解く

最初に、ガイドラインの位置づけが記載されています。

日本ではSociety 5.0コンセプトを掲げて人間中心のAI社会を目指し、技術利用拡大に伴うリスクも注視され、2019年には「人間中心のAI社会原則」が策定されています。

この原則にもとづき、これまでに総務省主導で「国際的な議論のための AI 開発ガイドライン案」、「AI 利活用ガイドライン~AI 利活用のためのプラクティカルリファレンス~」、経済産業省主導で「AI 原則実践のためのガバナンス・ガイドライン Ver. 1.1」が策定・公表されてきました。

今回のガイドラインは、この3つのガイドラインを参考にしつつ、AI関連技術の発展により、産業イノベーションや社会課題解決が進み、「AIの民主化」によって広範な対話型AI利用が可能になった現在の状況を踏まえ、AI技術の特徴や国内外におけるAIの社会実装に係る議論を反映して、日本の事業者がAIの社会実装およびガバナンスをともに実践するための新たなガイドラインとして策定されているとのことです。

あくまで、事業者向けのガイドラインではありますが、教育・研究機関に属する者や一般消費者にとっても参考となる情報やリスクに関する情報が盛り込まれているとのことです。

出所:AI事業者ガイドライン案

ページ3

4.ガイドラインの基本的な考え方を読み解く

このガイドラインは、以下の3つの考え方と、2つのプロセスの視点で記載されています。

考え方1:事業者の自主的な取り組みの支援

  • AIの利用には社会的なリスクが伴い、そのリスクによる社会的な軋轢がAIの利活用を阻害する可能性がある。一方で、過度な対策を講じることはAI活用自体、もしくはAI活用によって得られる便益を阻害する可能性がある。
  • リスクベースアプローチが重要で、利用分野ごとのリスクを把握し、対策を適切に実施することが求められる。
  • ガイドラインは企業に対し、リスクベースアプローチに基づく対策の方向性を示しており、自主的な取り組みを促している。

考え方2:国際的な議論との協調

  • リスクベースアプローチの考え方はAI先進国間で共有されており、国際的な協調が重要とされている。
  • 国内外の関連する諸原則の動向や内容との整合性を確保している。

考え方3:読み手にとってのわかりやすさ

  • ガイドラインはAI開発・提供・利用における基本的な考え方を示しており、わかりやすい形で情報を提供している。
  • AI活用におけるリスクや対策についての情報は、広く事業者や一般の読み手に向けて提供されている。

プロセス1:マルチステークホルダー:

  • ガイドラインはマルチステークホルダーの関与を重視し、AIガバナンスの改善において広範な利害関係者を巻き込むことを目指している。
  • アジャイル・ガバナンスの思想に基づき、関係者の異なる視点を反映させることで包括的かつ持続可能なアプローチを追求している。

プロセス2:Living Document:

  • ガイドラインはLiving Documentとして位置付けられ、AIの動向や技術の進展に柔軟に対応する仕組みが組まれている。
  • 具体的な体制については今後検討されるが、継続的な更新が事業者や他の関係者に最新の情報を提供することを意図している。

出所:AI事業者ガイドライン案

ページ4

5.一般的なAI活用の流れにおける主体の対応を読み解く

このガイドラインでは、様々な事業活動においてAIを活用する者を対としています。このため、事業活動以外でAIを活用する者又はAIを直接事業に活用せずAIシステム・サービスの便益を享受する(場合によっては損失を被る者)はガイドラインの対象外となっています。(まとめて「業務外利用者」はガイドラインの対象外とされています。)

また、AI活用に必要不可欠なデータを提供する特定の法人や個人(=「データ提供者」)もガイドラインの対象外とされています。

このガイドラインの対象となる事業者は以下の3つに分類され、それぞれ以下のとおり定義されています。

  1. AI 開発者 (AI Developer)
    AI システムを開発する事業者(AI を研究開発する事業者を含む)
    AI モデル・アルゴリズムの開発、データ収集(購入を含む)、前処理、AI モデル学習、検証を通して AIモデルおよび AI モデルのシステム基盤や入出力等を含む AI システムを構築する役割を担う。
  2. AI 提供者 (AI Provider)
    AI システムをアプリケーションや製品もしくは既存のシステムやビジネスプロセス等に組み込んだサービスとして AI 利用者(AI Business User)、場合によっては業務外利用者に提供する事業者AI システム検証、AI システムの他システムとの連携の実装、AI システム・サービスの提供、正常稼働のための AI システムにおける AI 利用者(AI Business User)側の運用サポートや AI サービスの運用自体を担う。AI サービスの提供に伴い、ステークホルダーとのコミュニケーションが求められることもある。
  3. AI 利用者 (AI Business User)
    事業活動において、AI システム又は AI サービスを利用する事業者AI 提供者が意図している適正な利用及び環境変化等の情報を AI 提供者と共有し正常稼働を継続する、必要に応じて提供された AI システムを運用する役割を担う。また、AI の活用において業務外利用者に何らかの影響が考えられる場合2は、当該者に対する AI による意図しない不利益の回避、AI による便益最大化の実現に努める役割を担う。 

出所:AI事業者ガイドライン案

ページ5

AI開発者、提供者、利用者は、それぞれの立場で、ステークホルダーの期待と社会の基本理念に基づいて、なぜAIを進めるかを考え、具体的な指針を確立し、それを実現するアプローチを検討・実践する必要があるとされています。

また、外部環境や技術の進展を考慮しつつ、協力して最適な戦略を構築することがAIの安全かつ安心な利用に向けて重要とされています。

5.おわりに

今回は、『AI事業者ガイドライン案』の「はじめに」を読み解いてきました。

これまで、様々な観点から策定され複数の文書が公開されていたAIガバナンスに関するガイドラインが一つにまとめられて非常にありがたく感じています。

また、事業者の活動主体を改めて開発者、提供者、利用者の3つとして、再定義されたのも議論をするうえで、概念が統一されて有用になると感じました。

次回は、第1部「AIとは」に読み進んでいきたいと思います。

『機械学習システムセキュリティガイドライン Version 2.00』を読む【I-7. 検知・対処】

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。

今回は、『本編』の最終章となる「I-7. 検知・対処」を読み解きました。

github.com

AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。

また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。

【目次】

1.ガイドライン全体の構成

機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-1]

「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」「I-4. 影響分析」「I-5. システム仕様レベルでの脅威分析・対策」「I-6. 実際の機械学習システムに対する脅威分析・対策」については、以下で記事にしておりますので、ご参照ください。

『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】

2.今回読んだ範囲の概要

今回は、『本編』の「I-7. 検知・対処」を読み解きました。

機械学習システムセキュリティにおける検知・対処」、「検知」、「対処」について記載されています。

3.「I-7.1. 機械学習システムセキュリティにおける検知・対処」を読み解く

ここでは、一般的なサイバー攻撃対策と同様に、「検知」では攻撃の前兆や兆候を監視し、「対処」では、攻撃や被害が発覚した後の封じ込め・根絶・復旧を行う旨が記載されています。

4.「I-7.2. 検知」を読み解く

検知については、「前兆検知」と「兆候検知」の2つの側面で言及されています。

検知対象とする事象の選定にあたっては、一般的なサイバー攻撃で利用されている攻撃者の行動をモデル化したMITRE ATT&CKフレームワークと同様に、MITRE が機械学習用に公開しているATLASが参考になるとされています。

また、機械学習システム側において検知できる可能性のある攻撃事象の例が、前兆検知、兆候検知のそれぞれに対して、以下のように提示されています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-27]

5.「I-7.3. 対処」を読み解く

「対処」については、攻撃や被害が発生した場合の対処法について説明されています。攻撃事象の例として、「回避攻撃」や「ポイズニング攻撃」などが挙げられ、前兆検知と兆候検知の対処方針が示されています。具体的には、攻撃が発生した際には、一般的なサイバー攻撃対策と同様、「応急対策」「調査」「恒久対策」の3つのフェーズに対処を行うことが推奨されています。

まず、「応急対策」では、被害の拡大を防ぐためにシステムの制限や停止などの緊急的な対策を実施します。攻撃によるシステムの誤動作に対しては、「前処理による緩和」などがあげられており、以下のような対策例が提示されています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-29]

次に、「調査」では、発生している攻撃の目的や手法、被害の範囲などの詳細な調査が挙げられています。また、過去の攻撃との関連性や他の攻撃との組み合わせの可能性も調査対象となっています。攻撃調査についても以下のような例が挙げられています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-30]

最後に、「恒久対策」では、調査で得られた情報を基に、攻撃に対する防御や緩和策の適用、検知施策の導入などを行うとされています。これにより、システムを安全な状態に戻し、将来の攻撃の再発を防ぐことが期待されています。

5.おわりに

今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-7. 検知・対処」を読み解いてきました。

検知については、アカウントの作成時や入力時など、従来のセキュリティ対策と同様な検知が必要であることがわかりました。

また、対処については、アカウントの停止などの従来の対策に加えて、敵対的サンプルの作成手法の調査や、汚染データの作成手法の特定など、機械学習システム特有の対処も必要であることがわかりました。

これで『本編』は終了となりますが、一般的なサイバーセキュリティ対策と同様であった点も多くこれまでの経験が活かせそうだと感じた半面、機械学習システム特有の内容については引き続き学んでいく必要があると感じました。

次回からは、『リスク分析編』についても読み解いていきたいと思います。

 

『機械学習システムセキュリティガイドライン Version 2.00』を読む【I-6. 実際の機械学習システムに対する脅威分析・対策】

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。

今回は、『本編』の「I-6. 実際の機械学習システムに対する脅威分析・対策」を読み解きました。

github.com

AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。

また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。

【目次】

1.ガイドライン全体の構成

機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-1]

「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」「I-4. 影響分析」「I-5. システム仕様レベルでの脅威分析・対策」については、以下で記事にしておりますので、ご参照ください。

『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】

2.今回読んだ範囲の概要

今回は、『本編』の「I-6. 実際の機械学習システムに対する脅威分析・対策」を読み解きました。

「実モデルに対する脅威分析」、「機械学習要素特有の対策」について記載されています。

3.「I-6.1. 実モデルに対する脅威分析」を読み解く

ここでは、機械学習システムに特有の脅威を引き起こす攻撃に焦点を当て、その攻撃が実際に対象の機械学習システムで成立する可能性を評価することに言及されています。手順としては以下の通りです。

  • 攻撃手法の選定において、対象の機械学習システムの機械学習アルゴリズムや扱うデータの種類を考慮し、発表論文などから適用可能な具体的な攻撃手法を抽出します。
  • 攻撃手法は攻撃者の知識や攻撃対象によって異なるため、対象に適した攻撃手法を選びます。
  • 選ばれた攻撃手法を実装できる度合、攻撃の成功度合いを評価します。

この評価の際に役立つAdversarial Robustness Toolbox(ART)、CleverHans、Counterfitなどのツールも紹介されています。これらのツールは以下の表にまとめられ、対応するフレームワークや使いやすさ、実装されている攻撃手法などから、目的に合ったツールを選択することが重要とされています。

Library Framework License URL
CleverHans JAX, PyTorch, TF2 MIT license https://github.com/cleverhans-lab/cleverhans
ART TF, Keras, PyTorch, MXNet, scikit-learn, XGBoost, LightGBM, CatBoost, GPy, etc. MIT license https://adversarial-robustness-toolbox.readthedocs.io/en/latest/
Foolbox PyTorch, JAX, TF MIT license https://foolbox.readthedocs.io/en/stable/
AdverTorch PyTorch LGPL-3.0, GPL-3.0 licenses found https://github.com/BorealisAI/advertorch
AdvBox

PaddlePaddle, PyTorch, Caffe2,MxNet, Keras, TF

Apache-2.0 license https://github.com/advboxes/AdvBox
DEEPSEC

PyTorch

 

MIT License

https://github.com/ryderling/DEEPSEC

 

4.「I-6.2. 機械学習要素特有の対策」を読み解く

前述の実モデルに対する脅威分析の結果、緩和策の実施の例が以下のように紹介されています。緩和策実施後は、再度 I-6.1 節の脅威分析を行い、効果を評価・確認するよう記載されています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-24]

5.おわりに

今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-6. 実際の機械学習システムに対する脅威分析・対策」を読み解いてきました。

実モデルに対する脅威分析では、評価の際に役立つツールの紹介がされています。まだ使ったことがないので、これから試していきたいと思います。

また、対策についてはそれぞれの攻撃に対して緩和策の例が示されており、参考になりました。しかしながら、あくまでも緩和策なので複数の対策を組み合わせて使っていく必要があると思いました。

次回は「I-7. 検知・対処」を読み解いていきたいと思います。

 

『機械学習システムセキュリティガイドライン Version 2.00』を読む【I-5. システム仕様レベルでの脅威分析・対策】

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。

今回は、『本編』の「I-5. システム仕様レベルでの脅威分析・対策」を読み解きました。

github.com

AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。

また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。

【目次】

1.ガイドライン全体の構成

機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-1]

「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」「I-4. 影響分析」については、以下で記事にしておりますので、ご参照ください。

『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】

2.今回読んだ範囲の概要

今回は、『本編』の「I-5. システム仕様レベルでの脅威分析・対策」を読み解きました。

「 システム仕様レベルでの脅威分析」、「仕様レベルでの対策」について記載されています。

3.「I-5.1. システム仕様レベルでの脅威分析」を読み解く

ここでは、機械学習システムに特有の脅威を引き起こす攻撃に対して、その攻撃が対象の機械学習システムにおいて実行可能かを分析しています。手順として、まずは対象のシステムに関係する主体から想定攻撃者を設定し、次にその攻撃者の能力が攻撃成立条件を満たすかを分析しています。

「I-5.1.1. 想定攻撃者の設定 」では以下の内容が考慮されています。

  • 対象の機械学習システムに関係する主体から攻撃者を設定します。
  • 攻撃者の知識や権限が攻撃の成功に影響するため、複数の攻撃者を設定し、それぞれの攻撃成立条件を分析します。
  • 4つの観点(システムの管理・運用者、訓練データの提供者、システムの利用者、システムを直接利用しない第三者)を考慮します。

「I-5.1.2. 攻撃成立条件を満たすかの分析」では以下の手順がとられています。

  • 想定攻撃者の能力が攻撃成立条件を満たすか分析します。
  • 推論処理と推論結果取得の回数が基本的な攻撃成立条件であり、ポイズニング攻撃では訓練処理や訓練データへの介入が追加条件となります。
  • 各攻撃の成立条件を緩和する要素として、取得できる推論結果の内容、訓練データ・類似データの入手、システムに関する公開情報などが関連します。

これらの手法を通じて、機械学習システムに対する脅威をシステム仕様レベルで具体的に評価し、適切な対策を検討するとされています。

また、攻撃が成立するために具体的にどれだけ訓練・推論が実施できればよいかは、最新の研究動向を調査し算出する必要があり、仕様レベルでは、同じ機械学習アルゴリズムや類似のデータを扱う研究を参考に、対象の機械学習システムにおける想定攻撃者の能力を設定するとされています。

各観点における想定攻撃者の判断要素例が以下のように挙げられています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-21]

分析の際には、想定攻撃者の能力だけでなく実際に攻撃成立可能な推論処理を実行するに際しどの程度時間を要するか等の実現性も考慮に入れる必要があるとされています。

4.「I-5.2. 仕様レベルでの対策」を読み解く

「I-4. 影響分析」の結果と、「I-5.1. システム仕様レベルでの脅威分析」の結果を組み合わせて、対策が必要な攻撃について、仕様レベルの対策を実施する旨が記載されています。仕様レベルの対策としては主に、「システム全体での緩和策」と「開発プロセスにおける緩和策」があり、「I-5.1. システム仕様レベルでの脅威分析」で分析した攻撃条件を想定攻撃者が満たせなくなるように実施したり、システムの利用方法を変更することで被害自体を緩和したりする対策も提案されています。

具体的な例としては、以下のような緩和策が挙げられています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-22]

5.おわりに

今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-5. システム仕様レベルでの脅威分析・対策」を読み解いてきました。

仕様レベルでの脅威分析においては、想定される攻撃者がどれだけ攻撃成立条件を満たせるかが重要であることがわかりました。また、対策検討においては、攻撃成立条件をどれだけ満たさないようにするかだけでなく、被害自体の緩和策の検討も必要であることがわかりました。

次回は「I-6. 実際の機械学習システムに対する脅威分析・対策」を読み解いていきたいと思います。

 

『機械学習システムセキュリティガイドライン Version 2.00』を読む【I-4. 影響分析】

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。

今回は、『本編』の「I-4. 影響分析」を読み解きました。

github.com

AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。

また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。

【目次】

1.ガイドライン全体の構成

機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-1]

「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」「I-3. 機械学習システムのセキュリティ」については、以下で記事にしておりますので、ご参照ください。

『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】

2.今回読んだ範囲の概要

今回は、『本編』の「I-4. 影響分析」を読み解きました。

「保護資産の特定」、「関係する主体の整理」、「機械学習システム特有の脅威による影響分析」について記載されています。

3.「I-4.1. 保護資産の特定」を読み解く

「保護資産の特定」は、機械学習システムが関連する資産を特定するプロセスです。これには機械学習を構成する資産」と「機械学習システムが扱う資産」の2つの側面があると言及されています。「機械学習を構成する資産」については、ENISAの Artificial Intelligence Cybersecurity Challenges で分類・列挙されているデータ、モデル、ステークホルダーなど6つのカテゴリが参考になると記載されています。

4.「I-4.2. 関係する主体の整理」を読み解く

ここでは、保護資産に関連する関係者を整理し、脅威によって影響を受ける主体を特定します。例えば、訓練データの場合、データの提供者が関係者とされています。また、「機械学習システムが扱う資産」については、直接の利用者以外にも影響が及ぶ可能性があるため、例えばレントゲン画像診断システムでは医師だけでなく、診断される患者も含まれることに留意するよう記載されています。

総務省の「AI利活用ガイドライン」にて整理されているAI の利活用において関与が想定される主体も参考になるとされています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-17]

5.「I-4.3. 機械学習システム特有の脅威による影響分析」を読み解く

ここでは、これまでに特定した保護資産、関係主体と特定した脅威を結び付けて、発生する被害の影響を分析するとされています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-18]

1つめは「機械学習システムが扱う資産」と「モデル・システムの誤動作」の結びつけを考え、具体的な脅威シナリオを想定すると記載されています。例えば、標識認識システムを誤認識させることで自動運転車の事故を引き起こすなどの脅威が挙げられます。影響分析は、機械学習特有の攻撃によって「モデル・システムの誤動作」や「モデルの窃取」、「訓練データの窃取」が発生した場合の被害を分析するとされています。機械学習セキュリティの専門知識を持たないシステム開発者やサービス提供者にも可能な手法が「リスク分析編」でまとめられています。

6.おわりに

今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-4. 影響分析」を読み解いてきました。

影響分析にあたり関係主体を整理するにあたっては、利用者についてこれまでのシステム以上に細分化されていたり、データ提供者などのこれまでのシステムではあまり重要視されていなかった関係主体の考慮が必要になったり、関係主体の管理がより複雑になていると感じました。

関係者が多い分、ガイドラインのような統一基準で考えるものさしが、ますます重要になると考えられます。おいていかれないようにガイドライン等についても最新情報に追随できるよう引き続き頑張ります。

では、次回は「I-5. システム仕様レベルでの脅威分析・対策 」を読み解いていきたいと思います。

 

『機械学習システムセキュリティガイドライン Version 2.00』を読む【I-3. 機械学習システムのセキュリティ】

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。

今回は、『本編』の「I-3. 機械学習システムのセキュリティ」を読み解きました。

github.com

AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。

また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。

【目次】

1.ガイドライン全体の構成

機械学習システムセキュリティガイドライン Version 2.00』は、付録も含めて、大きく三つに分かれています。機械学習システム特有の攻撃とその対策を説明した『本編』と、機械学習セキュリティの非専門家に向けた脅威分析・対策を記載した『リスク分析編』と、付録の『攻撃検知技術の概要』になります。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-1]

「I-1. ガイドライン概要」「I-2. 機械学習システム特有の攻撃」については、以下で記事にリンクを掲載しておりますので、ご参照ください。
『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】

2.今回読んだ範囲の概要

今回は、『本編』の「I-3. 機械学習システムのセキュリティ」を読み解きました。

機械学習セキュリティの考え方」、「進め方」、「各工程の実施について」について記載されています。

3.「I-3.1. 機械学習セキュリティの考え方」を読み解く

機械学習システムも情報セキュリティと同様に、保有資産を洗い出し、脅威分析結果に基づき、洗い出した保有資産への影響を分析して、リスクに応じた対策を実施するという流れになります。


出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-13]

対策は大きく「緩和策」と「検知・対処」に分かれます。

対策の種類 説明
緩和策

運用・利用前に攻撃を困難にしたり、効果を抑制する。

基本的には事前に実施する。

検知・対処

運用中の攻撃発見。

対策できなかった脅威や未知の脅威に対する検知・対処の対策。

 

4.「I-3.2. 進め方 」を読み解く

ここでは、機械学習セキュリティの進め方について、「影響分析」からスタートし、「システム仕様レベルでの脅威分析・対策」を経て「検知・対処」に進むフレームワークが提案されています。影響分析はシステムが攻撃を受けた際の被害を評価し、その後、許容できない被害に対してシステム仕様レベルの脅威分析で攻撃可能性を評価します。その結果に基づき、システム仕様上の対策を講じます。対策が不十分であれば、「実際の機械学習システムに対する脅威分析・対策」を行い、未対策脅威に対する「検知・対処」を設計します。実際の検知・対処については、運用・利用時が基本ですが、汚染されたデータ・モデルの混入対策等、AI 構築やシステムへの実装段階でも行われる場合がある。その場合は「計画」の段階で「AI 構築」時の「検知・対処」体制を整えておく必要があるとされています。

出所:機械学習システムセキュリティガイドライン Part I.「本編」 

ページ[I-14]

上記工程のうち、「システム仕様レベルでの脅威分析・対策」について、「リスク分析編」でシステム開発者が専門知識なしに行う手法が提案されています。また、「検知・対処」について、機械学習システム特有の攻撃に対する検知技術論文を、「対象とする攻撃」と「その攻撃段階」で分類・整理したものを付録の「攻撃検知技術の概要」で紹介されています。

5.「I-3.3. 各工程の実施について 」を読み解く

ここでは、実際の分析や対策を担当する実施者と、対策や検知・対処の実施を決定する責任者が協力する必要がある旨、記載されています。実施者は通常システム開発者で、検知・対処においては運用・利用フェーズで実施されるため、システム開発者とサービス提供者の協力も重要とされています。機械学習セキュリティの専門知識が必要であり、専門家との連携も重要とされています。責任者はリスクが顕在化した際に責任を取る者であり、システム開発の依頼元やサービス提供者が担当し、実施者から提供される分析結果を基に対策や優先度、制約条件決定すると記載されています。

6.おわりに

今回は、『機械学習システム セキュリティガイドライン Version 2.00』の『本編』の「I-3. 機械学習システムのセキュリティ」を読み解いてきました。

保有資産を洗い出し、脅威分析結果に基づき、洗い出した保有資産への影響を分析して、リスクに応じた対策を実施するという点では、これまでの情報システムのセキュリティと同様であると考えられますが、検知・対処についてこれまでの情報システムでは、運用・利用時が基本でしたが機械学習システムにおいては、不正データや不正モデルの混入など開発時や導入時にも十分な対策が必要である点に留意が必要と感じました。

では、次回は「I-4. 影響分析」を読み解いていきたいと思います。

 

『機械学習システムセキュリティガイドライン Version 2.00』を読む【まとめ】

日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解きました。

github.com

Part I.「本編」

【I-1. ガイドライン概要】

【I-2. 機械学習システム特有の攻撃】

【I-3. 機械学習システムのセキュリティ】

【I-4. 影響分析】

【I-5. システム仕様レベルでの脅威分析・対策】

【I-6. 実際の機械学習システムに対する脅威分析・対策】

【I-7. 検知・対処】

Part II.「リスク分析編」

【II-1. はじめに】【II-2. 本ガイドラインで扱う機械学習システムについて】

【II-3. 機械学習システムセキュリティの概要】

【II-4. 機械学習システムを守るには】

【II-5. 機械学習システム開発プロセスにおけるリスク分析】

【II-6. AI 開発者向け影響分析】

【II-7. AI 影響分析の実現例】

【II-8. AI 開発者向け脅威分析】

【II-9. AI リスク問診の実現例】

【II-10. セキュリティリスク分析の試行例】

【II-11. まとめ】