Python
2021年下半期は、上半期に引き続き、機械学習の積み上げの成果を試すため、データ分析サイトのコンペティションなどに参加しました。 この半期は、実データを用いて社会課題の解決に向けたビジネス提案を実施したり、宇宙関連の記事のデータ分析に参加させて…
Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]を参考にさせていただきながら、取り組んだ、スクレイピングと機械学習の記事まとめです。 事前準備編（環境構築） スクレイピング編 機械学習編 …
データ分析コンペティション「Nishika」で開催された「ケーブルコネクタの種類判別」に参加し、12位で銅メダルの成績を残せました！ 今回のコンペも、私の好きな画像分類のタスクだったので、結果も残せてよかったです。 また、USBケーブルなどのコネクタの…
今回は、衛星データ分析サイトのSolafuneで現在開催されている「市街地画像の超解像化」コンペ（MScup）に向けて参考にしている情報をまとめてみました。 現在参加中の皆様や、これから参加予定の皆様のご参考になれれば幸いです。 【目次】 1.【宙畑】超解…
データ分析好きが集まる交流プラットフォーム「ProbSpace」で開催された「宗教画テーマの分類」に参加し、3位の成績を残せました！ 今回のコンペは、私の好きな画像分類のタスクだったので、結果も残せてよかったです。 また、画像分類のタスクでも、プロ野…
今回も、rinna株式会社が8月25日に公開してくださった、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを使ってモデルを実装してみました。 今回は、昔話の冒頭の文章を与えると、話の続きを創作してくれるモデルです。 corp.rinna.co.jp では、振り…
元女子高生AI「りんな」などで知られるrinna株式会社が8月25日に公開してくださった、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを使って、簡易大喜利（？）モデルを実装してみました。 日本語CC-100と日本語Wikipediaの計75ギガバイトのデータを…
2021年上半期は、昨年に引き続き、機械学習の積み上げの成果を試すため、いろいろなデータ分析サイトのコンペティションに挑戦しました。 中でも、念願のKaggleでの初メダル獲得や、ProbSpaceでの初優勝など、自分内「初」の記録を残せた半期でした。 いろい…
データ分析好きが集まる交流プラットフォーム「ProbSpace」で開催された「次の一投の行方を予測！ プロ野球データ分析チャレンジ」に参加し、１位の成績を残せました！ 現在、オープンレビュー中のため、賞金獲得は未確定ですが、解法について公開させていた…
アジア初の衛星データ解析コンテストプラットフォーム「Solafune 」で開催された「夜間光データから土地価格を予測」に参加し、9位の成績を残せました！ 賞金獲得はなりませんでしたが、前回開催の「衛星画像から空港利用者数を予測」の２位受賞に続き、連続…
衛星データ分析サイトのSolafuneで現在開催されている「夜間光データから土地価格を予測」コンペで現時点で公開されている情報をまとめてみました。 Solafuneでは、KaggleのDiscussionやSIGNATEのフォーラムのような情報共有の場はなく、各自のメディアを利…
2020年は、昨年から取り組み始めた機械学習の積み上げの成果を試すため、いろいろなデータ分析サイトのコンペティションに挑戦しました。 日々の積み上げの結果が実を結び、複数のコンペティションで入賞することができました。 いろいろと環境が激変し、大…
今回は、私が毎年愛用している「ypad」についてご紹介したいと思います。 特に今年は、KaggleやSIGNATEなどのデータ分析コンペでのスケジュール管理にとても役に立ったので具体例を交えながら記載したいと思います。 KaggleやSIGNATEなどのデータ分析コンペ…
データ分析プラットフォームProbspaceの「スパムメール判別」コンペに参加し、10位に入賞しました！ 今回は、初めて本格的に自然言語処理に挑戦したコンペとなりました。 セキュリティに関するドメイン知識はあったのですが、様子が違って、なかなか活かすこ…
今年の10月~11月は、これまでの積み上げが、結果として現れ始めるとともに、あらたな取り組みを開始した２ヶ月でもありました。 CDLEハッカソンでの初のオンライン表彰式や、最後数分まで、首位争いに参加したSolafuneの衛星データコンペなど、エキサイティ…
アジア初の衛星データ解析コンテストプラットフォーム「Solafune 」で開催された「衛星画像から空港利用者数を予測」に参加し、２位の成績を残せました！ SIGNATEの雲画像予測コンペ、Nishikaのサッカー出場時間予測コンペに続き、またもや、僅差での２位と…
データサイエンスコンペティションサイトのNishikaで開催されたJリーグプレイヤーの出場時間予測に参加し、２位の成績を残せました！ 今回は、PublicLBの６位から、PrivateLBでの２位の初めてのShakeUpでの入賞でした。ShakeUpしたということは、汎用性能が…
データ分析プラットフォームProbspaceの対戦ゲームムデータ分析甲子園（通称：スプラトゥーンコンペ、イカコンペ）のに参加し、９位に入賞しました！ 今回もPublicLBでは４位だったのですが、Shake downしてしまい、汎用性をもったモデルの構築の難しさを改…
今回は、KaggleのPublicスコアで初めてコンペ終了まで銅メダル圏内に残ることができました。しかしながら、Privateスコアでは一気に下がり、268位と大きくShakeDownすることになりました。 その原因の一つとして、現在の私のアプローチは、自身の知りうるデ…
今年の８月~９月は、とても濃い２カ月だったので、自身の記録としてまとめていきたいと思います。 ProbSpaceで初のチームマージあり、８月末締め切りのSIGNATE関連の３つのコンペあり、そしてkaggleの鳥コンペでの苦い経験ありのジェットコースターのような…
SIGNATEで開催されたCDLEハッカソン2020の予測性能部門 「画像データに基づく気象予測」(SIGNATE開催)に参加し、２位の成績を残せました！ 今回は、PublicLB、PrivateLBともに２位で、Shakeなしでした。初めての時系列データコンペで、初めての衛星画像デー…
機械学習について全くの専門外で初心者だった私がコンペサイトProbspaceのRe:不動産取引価格予測コンペで３位入賞、YouTube動画視聴回数予測コンペで９位入賞するなど、累計で金２銀１銅１を獲得することができ、総合ランクで１位に到達することができました…
データ分析プラットフォームProbspaceのRe:不動産取引価格予測コンペに参加し、３位に入賞しました！ PublicLBでは、１位だっただけに、非常に悔しい結果でしたが、初めてチームを組ませていただいて、順位としてもこれまでの最高順位となることができ、とて…
機械学習について全くの専門外で初心者だった私が先日コンペサイトProbspaceのYouTube動画視聴回数予測コンペで９位入賞し、累計で金銀銅を獲得することができ、総合で４位に到達することができました。 これまでたどってきた道のりを振り返って、良かった点…
今回は、Dockerで構築したTensorFlowの環境で、機械学習（深層学習）に挑戦しました。 今回も Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んで…
今回は、DockerでTensorFlowが実行できる環境を構築し、簡単な計算を実行しました。 （TensorFlowを使った機械学習（深層学習）は次回以降に実践していきたいと思います。） TensorFlowは、機械学習の一分野である深層学習を実施するにあたり、大規模な数値…
今回は、グリッドサーチでハイパーパラメータを調整しました。 これまで、学習モデルは、特に引数を指定しないか、特定の値のみ指定して学習をおこなっていました。この「引数」は、学習時に更新されていくパラメータとは区別して、「ハイパーパラメータ」と…
今回は、クロスバリデーションという手法でモデルの妥当性を検証しました。 学習したデータに対してとても良い精度を出すモデルであっても、予測が必要な新たなデータに対する精度が非常に低い、いわゆる「過学習」という状態になることが良くあります。こう…
今回は、Webからキノコに関するデータをダウンロードして、ランダムフォレストで分類を行いました。 これまでは、数学的に境界を決定して分類するSVM（サポートベクターマシン）という学習モデルを使ってきましたが、今回は、「ランダムフォレスト」という多…
今回は、Webから取得したテキストファイルを読み込ませて、それが何語で書かれたテキストなのかを判定しました。 機械学習の一大テーマである自然言語処理の復習です。（そこまで大掛かりなことをやっているわけではないですが・・・。） 今回も Pythonによ…
