自然言語処理
2023年上半期は、これまで積み上げてきた知識や技術が結実しはじめ、色々な活動に参加させていただけるようになりました。 やっと、つまみ食い的に取り組んできた内容がつながり始めて、一つの形としてまとまり始めています。立ち止まらず、安心せず、継続的…
今回は、OpenAI(GPT-3)ChatGPTのAPIをGoogle Colaboratoryから呼び出して、質問の回答を得るコードを書いてみました。 まだ、お試し段階ですが、いろいろ使えそうで、夢が広がります! ※当初ChatGPTのAPIを使ったコードと紹介してしまったのですが、私の勘違…
2022年上半期は、データ分析サイト等で確認してきた内容を踏まえて実社会でのネットワークを広げる取り組みを実施してきました。 この半期は、いろいろな記事を書かせていただいたり、論文を発表したりと、新しい取り組みを経験できたとともに、実社会で貢献…
今回も、rinna株式会社が8月25日に公開してくださった、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを使ってモデルを実装してみました。 今回は、昔話の冒頭の文章を与えると、話の続きを創作してくれるモデルです。 corp.rinna.co.jp では、振り…
データ分析プラットフォームProbspaceの「スパムメール判別」コンペに参加し、10位に入賞しました! 今回は、初めて本格的に自然言語処理に挑戦したコンペとなりました。 セキュリティに関するドメイン知識はあったのですが、様子が違って、なかなか活かすこ…
機械学習について全くの専門外で初心者だった私がコンペサイトProbspaceのRe:不動産取引価格予測コンペで3位入賞、YouTube動画視聴回数予測コンペで9位入賞するなど、累計で金2銀1銅1を獲得することができ、総合ランクで1位に到達することができました…
機械学習について全くの専門外で初心者だった私が先日コンペサイトProbspaceのYouTube動画視聴回数予測コンペで9位入賞し、累計で金銀銅を獲得することができ、総合で4位に到達することができました。 これまでたどってきた道のりを振り返って、良かった点…
今回は、Webから取得したテキストファイルを読み込ませて、それが何語で書かれたテキストなのかを判定しました。 機械学習の一大テーマである自然言語処理の復習です。(そこまで大掛かりなことをやっているわけではないですが・・・。) 今回も Pythonによ…