今回は、Dockerのコンテナについて、理解を深めました。 Dockerのコンテナの起動の仕組みを確認し、起動に合わせてコマンドを実行したり、コンテナを停止したり削除したりできるようになりました。 今回もかめ@usdatascientistさんの「米国AI開発者がゼロか…
今回は、Dockerで構築したTensorFlowの環境で、機械学習(深層学習)に挑戦しました。 今回も Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第4章を参考にさせていただきながら、取り組んで…
今回は、DockerでコンテナからDocker imageを作成して、DockerHubにpushするところまでを学習しました。 かめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しながら進めています。 とても分かりやすく解説いただけますし…
今回は、DockerでUbuntuのコンテナを起動し、ホストに戻ったり、再度コンテナにもどったりする、コンテナの操作方法を学習しました。 かめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しながら進めています。 とても分…
今回は、DockerでTensorFlowが実行できる環境を構築し、簡単な計算を実行しました。 (TensorFlowを使った機械学習(深層学習)は次回以降に実践していきたいと思います。) TensorFlowは、機械学習の一分野である深層学習を実施するにあたり、大規模な数値…
今回は、Dockerの基本的な使い方を学習しました。 私の中で超話題のかめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しています。 とても分かりやすく解説いただけますし、ハンズオン形式で講座が進むので、まさに「手…
今回は、グリッドサーチでハイパーパラメータを調整しました。 これまで、学習モデルは、特に引数を指定しないか、特定の値のみ指定して学習をおこなっていました。この「引数」は、学習時に更新されていくパラメータとは区別して、「ハイパーパラメータ」と…
今回は、クロスバリデーションという手法でモデルの妥当性を検証しました。 学習したデータに対してとても良い精度を出すモデルであっても、予測が必要な新たなデータに対する精度が非常に低い、いわゆる「過学習」という状態になることが良くあります。こう…
今回は、Webからキノコに関するデータをダウンロードして、ランダムフォレストで分類を行いました。 これまでは、数学的に境界を決定して分類するSVM(サポートベクターマシン)という学習モデルを使ってきましたが、今回は、「ランダムフォレスト」という多…
最近、私の中で超話題のかめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで申し込みました! px.a8.net 機械学習をやっていると、環境構築に四苦八苦して本来のプログラミングの時間がなくなってしまったり、ちょっとした変更…
今回は、Webから取得したテキストファイルを読み込ませて、それが何語で書かれたテキストなのかを判定しました。 機械学習の一大テーマである自然言語処理の復習です。(そこまで大掛かりなことをやっているわけではないですが・・・。) 今回も Pythonによ…
前回、次は「自然言語」と予告いたしましたが、これまでscikit-learnのライブラリを使っていたSVM(サポートベクターマシン)について、自分なりの理解で解説と、ライブラリを使わない実装に挑戦していきたいと思います! scikit-learn を使ったSVMについて…
今回は、前回CSVに変換したMNISTの手書き文字画像を、0〜9に分類しました。 機械学習の一大テーマである画像分類の復習です。 今回も Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第4章…
今回は、週末に開発環境として新しく構築したデスクトップパソコン(ASRock 4x4 Box V1000M/JP)についてレポートしたいと思います。 図1.購入品一式 最近、メインの開発環境がSurfaceとGoogle Claboratoryだけでは、限界になってきたので、デスクトップを新…
今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ ク…
今回は、少しスクレイピングに戻って、画像の文字認識に使うためのMNIST(手書き数字データ)をダウンロードして解凍できるようになりました。機械学習では、圧縮されたデータをダウンロードして処理することもあるので、自動化できるのは非常に効率的です。…
今回は、scikit-learnのSVMを使って、アヤメの品種を分類できるようになりました。花びらの長さや幅などの特徴量から品種を分類するということで、本格的に機械学習となってまいりました。 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scra…
今回は、scikit-learnのSVMを使って、入門編としてXOR演算を学習させました。ついに機械学習の章に入ってきて、テンションも上がります。最近実践中心だったので、基礎からもう一度学び直したいと思います。 Pythonによるスクレイピング&機械学習開発テクニ…
今回は、yaml で、PythonのデータからYAML形式に変換したり、YAML形式のファイルを解析して要素を出力できるようになりました。 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第3章を参考に…
今回は、Ubuntu 20.04 LTSをインストールして、Python,Seleniumの開発環境を構築しました。 これまで、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]をDockerを利用して取り組んでいたのです…
今回は、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第3章を参考にさせていただきながら、urllib.request+jsonで、Web上から、JSONファイルをダウンロードして解析後、要素を出力できる…
今回は、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第3章を参考にさせていただきながら、urllib.request+BeautifulSoupで、Web上から、XMLファイルをダウンロードして解析後、要素を出…
今回は、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第2章を参考にさせていただきながら、Selenium+PhantomJS(画面なしブラウザ)で、ブログページから記事タイトル一覧を出力できるよ…
今回は、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第2章を参考にさせていただきながら、Selenium+PhantomJS(画面なしブラウザ)で、Webページのスクリーンショットを保存できるように…
今回は、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]のAppendixを参考にさせていただきながら、Dockerで機械学習の開発環境を作成してみました。 順を追って振り返ってみたいと思います。 D…
前回に引き続き、12月から受講していたGCI 2019 Winter(東京大学グローバル消費インテリジェンス寄付講座)の後半を振り返っていきたいと思います。 gci.t.u-tokyo.ac.jp 今回は、その2として、後半戦(第5回~第6回の講義)からコンペティション、最終…
12月から受講していたGCI 2019 Winter(東京大学グローバル消費インテリジェンス寄付講座)を無事修了できました! 最後の課題(事業提案)が、非常に難関だったので、今月は、なかなブログ更新ができず久しぶりの投稿となりました。(←言い訳) でも、その…
E資格(JDLA Deep Learning for ENGINEER 2019 #2)対策として学習した応用数学の分野のうち、確率統計用語のオッズ比を振り返ります。 オッズ比 1.オッズ比とは何か 2.オッズ比の具体例 オッズ比 1.オッズ比とは何か オッズ比とは、ある事象の起こりやすさ…
E資格(JDLA Deep Learning for ENGINEER 2019 #2)対策として学習した深層学習の分野のうち、ゲート付きRNNのひとつGRU(Gated Reccurent Unit)を振り返ります。 GRU(Gated Reccurent Unit) 1.GRUとは何か 2.GRU全体像 3.リセットゲート(R) 4.仮の出力(…
E資格(JDLA Deep Learning for ENGINEER 2019 #2)対策として学習した深層学習の分野のうち、ゲート付きRNNのひとつLSTM(長短期記憶- Long short-term memory)を振り返ります。 LSTM(長短期記憶- Long short-term memory) 1.LSTMとは何か 2.LSTM全体像 3.…