機械学習
今回は、クロスバリデーションという手法でモデルの妥当性を検証しました。 学習したデータに対してとても良い精度を出すモデルであっても、予測が必要な新たなデータに対する精度が非常に低い、いわゆる「過学習」という状態になることが良くあります。こう…
今回は、Webからキノコに関するデータをダウンロードして、ランダムフォレストで分類を行いました。 これまでは、数学的に境界を決定して分類するSVM（サポートベクターマシン）という学習モデルを使ってきましたが、今回は、「ランダムフォレスト」という多…
最近、私の中で超話題のかめ＠usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで申し込みました！ px.a8.net 機械学習をやっていると、環境構築に四苦八苦して本来のプログラミングの時間がなくなってしまったり、ちょっとした変更…
今回は、Webから取得したテキストファイルを読み込ませて、それが何語で書かれたテキストなのかを判定しました。 機械学習の一大テーマである自然言語処理の復習です。（そこまで大掛かりなことをやっているわけではないですが・・・。） 今回も Pythonによ…
前回、次は「自然言語」と予告いたしましたが、これまでscikit-learnのライブラリを使っていたSVM（サポートベクターマシン）について、自分なりの理解で解説と、ライブラリを使わない実装に挑戦していきたいと思います！ scikit-learn を使ったSVMについて…
今回は、前回CSVに変換したMNISTの手書き文字画像を、０〜９に分類しました。 機械学習の一大テーマである画像分類の復習です。 今回も Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章…
今回は、週末に開発環境として新しく構築したデスクトップパソコン（ASRock 4x4 Box V1000M/JP）についてレポートしたいと思います。 図1.購入品一式 最近、メインの開発環境がSurfaceとGoogle Claboratoryだけでは、限界になってきたので、デスクトップを新…
今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ ク…
今回は、少しスクレイピングに戻って、画像の文字認識に使うためのMNIST（手書き数字データ）をダウンロードして解凍できるようになりました。機械学習では、圧縮されたデータをダウンロードして処理することもあるので、自動化できるのは非常に効率的です。…
今回は、scikit-learnのSVMを使って、アヤメの品種を分類できるようになりました。花びらの長さや幅などの特徴量から品種を分類するということで、本格的に機械学習となってまいりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scra…
今回は、scikit-learnのSVMを使って、入門編としてXOR演算を学習させました。ついに機械学習の章に入ってきて、テンションも上がります。最近実践中心だったので、基礎からもう一度学び直したいと思います。 Pythonによるスクレイピング＆機械学習開発テクニ…
今回は、yaml で、PythonのデータからYAML形式に変換したり、YAML形式のファイルを解析して要素を出力できるようになりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第３章を参考に…
今回は、Ubuntu 20.04 LTSをインストールして、Python,Seleniumの開発環境を構築しました。 これまで、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]をDockerを利用して取り組んでいたのです…
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第３章を参考にさせていただきながら、urllib.request+jsonで、Web上から、JSONファイルをダウンロードして解析後、要素を出力できる…
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第３章を参考にさせていただきながら、urllib.request+BeautifulSoupで、Web上から、XMLファイルをダウンロードして解析後、要素を出…
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第２章を参考にさせていただきながら、Selenium+PhantomJS（画面なしブラウザ）で、ブログページから記事タイトル一覧を出力できるよ…
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第２章を参考にさせていただきながら、Selenium+PhantomJS（画面なしブラウザ）で、Webページのスクリーンショットを保存できるように…
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]のAppendixを参考にさせていただきながら、Dockerで機械学習の開発環境を作成してみました。 順を追って振り返ってみたいと思います。 D…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として学習した深層学習の分野のうち、ゲート付きRNNのひとつGRU(Gated Reccurent Unit)を振り返ります。 GRU（Gated Reccurent Unit） 1.GRUとは何か 2.GRU全体像 3.リセットゲート（R） 4.仮の出力（…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として学習した深層学習の分野のうち、ゲート付きRNNのひとつLSTM(長短期記憶- Long short-term memory)を振り返ります。 LSTM（長短期記憶- Long short-term memory） 1.LSTMとは何か 2.LSTM全体像 3.…
先日、「ProbSpace」というプラットフォームで開催された「浮世絵作者予測」コンペに参戦したので、振り返っていきたいと思います。 私にとって、画像分類のコンペは初めてでしたが、E資格の課題が画像分類でしたので、その時に得た知識をフル動員して取り組…
昨年合格した、JDLA E資格の復習のつぶやきをまとめました。 来月のE資格を受験される方の参考にしていただければと思います。 今日は、 #E資格 に向けて、順伝播型ネットワークの復習を実施しました。尤度関数や活性化関数の名称と数式を見直しましたが、結…
先日、「ProbSpace」というプラットフォームで開催された「給与推定」コンペに参戦したので、振り返っていきたいと思います。 私にとって、初めて公式の結果が確定したコンペとなり、最終順位は参加310チーム中、46位でした。全体の15％以内に入れたので、ま…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として学習した応用数学の分野のうち、今回は、情報理論-クロスエントロピーを振り返ります。 深層学習では、以下の４つが既知のものとして登場してきます。 自己情報量 エントロピー カルバック・ライ…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として学習した応用数学の分野のうち、今回は、情報理論-カルバック・ライブラー情報量(KLダイバージェンス)を振り返ります。 深層学習では、以下の４つが既知のものとして登場してきます。 自己情報量…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として、今回は、応用数学の分野のうち、情報理論-エントロピーを振り返ります。 深層学習では、以下の４つが既知のものとして登場してきます。 自己情報量 エントロピー カルバック・ライブラー情報量…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として、今回は、応用数学の分野のうち、情報理論-自己情報量を振り返ります。 深層学習では、以下の４つが既知のものとして登場してきます。 自己情報量 エントロピー カルバック・ライブラー情報量(K…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として、今回は、応用数学の分野のうち、対数関数を振り返ります。 高校時代にならったわかったようで、よくわからない関数ですが、深層学習では必要不可欠な関数なので、今一度、定義と法則を振り返っ…
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として、今回は、応用数学の分野のうち、特異値分解を振り返ります。特異値分解は、過去問に言及されている受験者の方のサイト等を拝見する限りでは、前回掲載した、固有値分解とともに頻出問題のよう…
本日、８月３１日に受験したE資格（JDLA Deep Learning for ENGINEER 2019 #2）の結果発表があり、無事合格しました！ 約半年間取り組んできた努力が実りました！ させてくれた家族と会社の皆さんに感謝です。 今後、合格に向けて取り組んできた対策、例題、…
