E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として、今回は、応用数学の分野のうち、情報理論-エントロピーを振り返ります。
深層学習では、以下の４つが既知のものとして登場してきます。
今回はこれらのうち、２つ目のエントロピーについて、振り返っていきます。
エントロピー
1.エントロピーとは何か
エントロピーとは、ある確率分布に従った事象系において「どの事象が発生したか知ったときに、どの程度情報量を得られそうか」をあらわしています。
「エントロピーが大きい」＝「大きな情報量が得られそう」ということになります。
情報量の定義に立ち戻って考えると、情報量は「確率が低い事象（不確定な事象）が発生すればするほど大きくなる」ので、エントロピーが大きいということは、それだけ不確定な状態であることをあらわします。
このことから、エントロピーは、「事象系の曖昧さ度合をあらわす」と行った表現もされます。
2.エントロピーを求める
エントロピーは、「どの事象が発生したか知ったときに、どの程度情報量を得られそうか」で定義されることから、事象系が以下の確率で発生する時、
それぞれの情報量は、
となり、この各事象の自己情報量の期待値を求めることが、「どの事象が発生したか知ったときに、どの程度情報量を得られそうか」になります。
つまり、エントロピーは以下の通りで求まります。
以上で、E資格の情報理論で頻出の数式の２つ目のエントロピーにたどり着くことができました。
エントロピーの概念が理解できれば、自己情報量と期待値の組み合わせで求めることができるので、比較的理解がしやすかったです。
次回は、カルバック・ライブラー情報量について振り返っていきたいと思います。
今後も、引き続き、復習をかねて、E資格対策を振り返っていきたいと思います。
2019年8月31日（土）にE資格を受験して、合格しました！
E資格対策として勉強の進め方や、参考書などをまとめました。
これから受験される方がいらっしゃいましたらご参考まで。
2019年3月9日（土）にG検定を受験し、見事合格できました！
受験の体験記や勉強法などを別のブログにまとめました。
これから受験される方がいらっしゃいましたらご参考まで。
【E資格対策に使った参考書】
- 人工知能は人間を超えるか ディープラーニングの先にあるもの （角川EPUB選書） [ 松尾豊 ]
- 深層学習教科書 ディープラーニング G検定（ジェネラリスト） 公式テキスト （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ]
- 徹底攻略ディープラーニングG検定ジェネラリスト問題集 [ 明松真司 ]
- 実践機械学習システム [ ウィリ・リチャート ]
- アルゴリズムクイックリファレンス 第2版 [ George T. Heineman ]
- 深層学習【電子書籍】[ 岩澤 有祐 ]
- 入門Python 3 [ ビル・ルバノビック ]
- PythonによるWebスクレイピング 第2版 [ Ryan Mitchell ]
- Think Stats第2版 プログラマのための統計入門 [ アレン・B．ダウニー ]
- 集合知プログラミング [ トビー・セガラン ]
- ITエンジニアのための機械学習理論入門 [ 中井悦司 ]
