グリッドサーチでハイパーパラメータを調整する（Pythonによるスクレイピング＆機械学習テクニック）

機械学習 Python scikit-learn SVM metrics model_selection GridSearchCV pandas 開発環境入門参考書書籍復習

今回は、グリッドサーチでハイパーパラメータを調整しました。これまで、学習モデルは、特に引数を指定しないか、特定の値のみ指定して学習をおこなっていました。この「引数」は、学習時に更新されていくパラメータとは区別して、「ハイパーパラメータ」と…

クロスバリデーションでモデルの妥当性を検証する（Pythonによるスクレイピング＆機械学習テクニック）

機械学習 Python scikit-learn cross_val_score SVM datasets model_selection 開発環境入門参考書書籍復習

今回は、クロスバリデーションという手法でモデルの妥当性を検証しました。学習したデータに対してとても良い精度を出すモデルであっても、予測が必要な新たなデータに対する精度が非常に低い、いわゆる「過学習」という状態になることが良くあります。こう…

機械学習 Python pandas scikit-learn RandomForestClassifier ランダムフォレスト train_test_split metrics 開発環境入門決定木参考書書籍復習

今回は、Webからキノコに関するデータをダウンロードして、ランダムフォレストで分類を行いました。これまでは、数学的に境界を決定して分類するSVM（サポートベクターマシン）という学習モデルを使ってきましたが、今回は、「ランダムフォレスト」という多…

機械学習 Python scikit-learn metrics glob re JSON SVM 開発環境入門参考書書籍復習自然言語処理

今回は、Webから取得したテキストファイルを読み込ませて、それが何語で書かれたテキストなのかを判定しました。機械学習の一大テーマである自然言語処理の復習です。（そこまで大掛かりなことをやっているわけではないですが・・・。）今回も Pythonによ…

機械学習 Python MNIST scikit-learn metrics SVM スクレイピング開発環境入門参考書書籍復習

今回は、前回CSVに変換したMNISTの手書き文字画像を、０〜９に分類しました。機械学習の一大テーマである画像分類の復習です。今回も Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章…

機械学習 scikit-learn SVM Python datasets iris model_selection train_test_split metrics accuracy_score 開発環境入門参考書書籍復習

今回は、scikit-learnのSVMを使って、アヤメの品種を分類できるようになりました。花びらの長さや幅などの特徴量から品種を分類するということで、本格的に機械学習となってまいりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scra…

機械学習 scikit-learn SVM Python 開発環境参考書書籍復習入門

今回は、scikit-learnのSVMを使って、入門編としてXOR演算を学習させました。ついに機械学習の章に入ってきて、テンションも上がります。最近実践中心だったので、基礎からもう一度学び直したいと思います。 Pythonによるスクレイピング＆機械学習開発テクニ…