俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話

俺って、おバカさんなので、とっても優秀な人工知能を作って代わりに頑張ってもらうことにしました。世界の端っこでおバカな俺が夢の達成に向けてチマチマ頑張る、そんな小さなお話です。現在はG検定、E資格に合格し、KaggleやProbSpaceのコンペに参画しながら、Pythonや機械学習、統計学、Dockerなどの勉強中です。学習したことをブログにアウトプットすることで、自分の身に着けていきたいと思います。まだまだ道半ばですが、お時間がありましたら見て行ってください。

開発環境

Pythonによるスクレイピング&機械学習テクニックのまとめ

Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]を参考にさせていただきながら、取り組んだ、スクレイピングと機械学習の記事まとめです。 事前準備編(環境構築) スクレイピング編 機械学習編 …

【第2弾】 rinna社が公開した、日本語に特化した「GPT-2」「BERT」事前学習モデルをつかって昔話創作モデルを実装してみた!

今回も、rinna株式会社が8月25日に公開してくださった、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを使ってモデルを実装してみました。 今回は、昔話の冒頭の文章を与えると、話の続きを創作してくれるモデルです。 corp.rinna.co.jp では、振り…

rinna社が公開した、日本語に特化した「GPT-2」「BERT」事前学習モデルをつかって簡易大喜利を実装してみた!

元女子高生AI「りんな」などで知られるrinna株式会社が8月25日に公開してくださった、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを使って、簡易大喜利(?)モデルを実装してみました。 日本語CC-100と日本語Wikipediaの計75ギガバイトのデータを…

機械学習初心者がデータ分析コンペサイトProbSpaceで総合ランク1位に到達するまでの道のり

機械学習について全くの専門外で初心者だった私がコンペサイトProbspaceのRe:不動産取引価格予測コンペで3位入賞、YouTube動画視聴回数予測コンペで9位入賞するなど、累計で金2銀1銅1を獲得することができ、総合ランクで1位に到達することができました…

Docker学習記録のまとめ(米国AI開発者がゼロから教えるDocker講座)

アメリカでデータサイエンティストを実施されているかめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講した学習記録のまとめです。 私は、Dockerという言葉自体を最近知ったぐらいの知識レベルだったのですが、この講座は…

Dockerのホストとコンテナの関係を理解する(米国AI開発者がゼロから教えるDocker講座)

これまでは、コンテナを起動する際にホストからファイルをコピーしたり、設定等をおこなったりしていましたが、コンテナを起動してからもファイルのやり取りをしたり、コンテナが利用するリソースを制御したりする方法を理解しました。 今回もかめ@usdatasc…

機械学習初心者がコンペサイトProbSpaceで金銀銅を獲得し総合4位に到達するまでの道のり

機械学習について全くの専門外で初心者だった私が先日コンペサイトProbspaceのYouTube動画視聴回数予測コンペで9位入賞し、累計で金銀銅を獲得することができ、総合で4位に到達することができました。 これまでたどってきた道のりを振り返って、良かった点…

Docker daemonとbuild contextについて学ぶ(米国AI開発者がゼロから教えるDocker講座)

これまでは、Dockerfileの中に記載された内容だけでDocker imageを作成してきましたが、Docker daemon や、build contextについて学習し、docker buildについて、さらに理解を深めました。 今回もかめ@usdatascientistさんの「米国AI開発者がゼロから教える…

DockerfileのINSTRUCTION(FROM,RUN,CMD)を学ぶ(米国AI開発者がゼロから教えるDocker講座)

今回は、前回学んだDockerfileのINSTRUCTION(命令)についてさらに理解を深めました。INSTRUCTIONは、FROM、RUN、CMDの三つになります。 今回もかめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しながら進めています。…

Dockerfileについて理解を深める(米国AI開発者がゼロから教えるDocker講座)

今回は、Dockerfileについて、理解を深めました。 これまでは、DockerHubからPullしたDocker imageからコンテナを起動したり、起動したコンテナでの更新を反映したDocker imageとして保存したりしてきましたが、今度は、Dockerfileを使ってDocker image自体…

Dockerのコンテナについて理解を深める(米国AI開発者がゼロから教えるDocker講座)

今回は、Dockerのコンテナについて、理解を深めました。 Dockerのコンテナの起動の仕組みを確認し、起動に合わせてコマンドを実行したり、コンテナを停止したり削除したりできるようになりました。 今回もかめ@usdatascientistさんの「米国AI開発者がゼロか…

DockerでコンテナからDocker imageを作成してDockerHubにpushする(米国AI開発者がゼロから教えるDocker講座)

今回は、DockerでコンテナからDocker imageを作成して、DockerHubにpushするところまでを学習しました。 かめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しながら進めています。 とても分かりやすく解説いただけますし…

Dockerでコンテナを操作する(米国AI開発者がゼロから教えるDocker講座)

今回は、DockerでUbuntuのコンテナを起動し、ホストに戻ったり、再度コンテナにもどったりする、コンテナの操作方法を学習しました。 かめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しながら進めています。 とても分…

TensorFlowで簡単な計算を実行する(Pythonによるスクレイピング&機械学習テクニック)

今回は、DockerでTensorFlowが実行できる環境を構築し、簡単な計算を実行しました。 (TensorFlowを使った機械学習(深層学習)は次回以降に実践していきたいと思います。) TensorFlowは、機械学習の一分野である深層学習を実施するにあたり、大規模な数値…

Dockerでhello-worldをやってみる(米国AI開発者がゼロから教えるDocker講座)

今回は、Dockerの基本的な使い方を学習しました。 私の中で超話題のかめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで受講しています。 とても分かりやすく解説いただけますし、ハンズオン形式で講座が進むので、まさに「手…

グリッドサーチでハイパーパラメータを調整する(Pythonによるスクレイピング&機械学習テクニック)

今回は、グリッドサーチでハイパーパラメータを調整しました。 これまで、学習モデルは、特に引数を指定しないか、特定の値のみ指定して学習をおこなっていました。この「引数」は、学習時に更新されていくパラメータとは区別して、「ハイパーパラメータ」と…

クロスバリデーションでモデルの妥当性を検証する(Pythonによるスクレイピング&機械学習テクニック)

今回は、クロスバリデーションという手法でモデルの妥当性を検証しました。 学習したデータに対してとても良い精度を出すモデルであっても、予測が必要な新たなデータに対する精度が非常に低い、いわゆる「過学習」という状態になることが良くあります。こう…

ランダムフォレストでキノコを分類する(Pythonによるスクレイピング&機械学習テクニック)

今回は、Webからキノコに関するデータをダウンロードして、ランダムフォレストで分類を行いました。 これまでは、数学的に境界を決定して分類するSVM(サポートベクターマシン)という学習モデルを使ってきましたが、今回は、「ランダムフォレスト」という多…

かめ@usdatascientistさんのDocker講座を申し込みました!

最近、私の中で超話題のかめ@usdatascientistさんの「米国AI開発者がゼロから教えるDocker講座」をUdemyで申し込みました! px.a8.net 機械学習をやっていると、環境構築に四苦八苦して本来のプログラミングの時間がなくなってしまったり、ちょっとした変更…

SVMで言語を判定する(Pythonによるスクレイピング&機械学習テクニック)

今回は、Webから取得したテキストファイルを読み込ませて、それが何語で書かれたテキストなのかを判定しました。 機械学習の一大テーマである自然言語処理の復習です。(そこまで大掛かりなことをやっているわけではないですが・・・。) 今回も Pythonによ…

SVM(サポートベクターマシン)の解説&構築に挑戦!

前回、次は「自然言語」と予告いたしましたが、これまでscikit-learnのライブラリを使っていたSVM(サポートベクターマシン)について、自分なりの理解で解説と、ライブラリを使わない実装に挑戦していきたいと思います! scikit-learn を使ったSVMについて…

SVMでMNISTのデータを画像分類する(Pythonによるスクレイピング&機械学習テクニック)

今回は、前回CSVに変換したMNISTの手書き文字画像を、0〜9に分類しました。 機械学習の一大テーマである画像分類の復習です。 今回も Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第4章…

Ryzen Embedded搭載ASRock 4x4 Box V1000M/JPを組み立てる。

今回は、週末に開発環境として新しく構築したデスクトップパソコン(ASRock 4x4 Box V1000M/JP)についてレポートしたいと思います。 図1.購入品一式 最近、メインの開発環境がSurfaceとGoogle Claboratoryだけでは、限界になってきたので、デスクトップを新…

MNISTのデータをCSVに変換する(Pythonによるスクレイピング&機械学習テクニック)

今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ ク…

MNIST(手書き数字データ)のダウンロード/解凍を自動化する(Pythonによるスクレイピング&機械学習テクニック)

今回は、少しスクレイピングに戻って、画像の文字認識に使うためのMNIST(手書き数字データ)をダウンロードして解凍できるようになりました。機械学習では、圧縮されたデータをダウンロードして処理することもあるので、自動化できるのは非常に効率的です。…

scikit-learnのSVMを使ってアヤメの品種を分類する(Pythonによるスクレイピング&機械学習テクニック)

今回は、scikit-learnのSVMを使って、アヤメの品種を分類できるようになりました。花びらの長さや幅などの特徴量から品種を分類するということで、本格的に機械学習となってまいりました。 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scra…

scikit-learnのSVMを使った入門編としてXOR演算を学習させる(Pythonによるスクレイピング&機械学習テクニック)

今回は、scikit-learnのSVMを使って、入門編としてXOR演算を学習させました。ついに機械学習の章に入ってきて、テンションも上がります。最近実践中心だったので、基礎からもう一度学び直したいと思います。 Pythonによるスクレイピング&機械学習開発テクニ…

YAMLを解析して要素を出力(Pythonによるスクレイピング&機械学習テクニック)

今回は、yaml で、PythonのデータからYAML形式に変換したり、YAML形式のファイルを解析して要素を出力できるようになりました。 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第3章を参考に…

Ubuntu(20.04 LTS)をインストールしてPython(Anaconda)の開発環境を構築する

今回は、Ubuntu 20.04 LTSをインストールして、Python,Seleniumの開発環境を構築しました。 これまで、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]をDockerを利用して取り組んでいたのです…

JSONを解析して要素を出力(Pythonによるスクレイピング&機械学習テクニック)

今回は、 Pythonによるスクレイピング&機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第3章を参考にさせていただきながら、urllib.request+jsonで、Web上から、JSONファイルをダウンロードして解析後、要素を出力できる…