【3位解法】Probspace開催「野菜取引価格の予測」の振り返り。 - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話

データ分析好きが集まる交流プラットフォーム「ProbSpace」で開催された「野菜取引価格の予測」に参加し、3位(金)の成績を残せました！

今回のコンペは、複数項目の時系列データ予測タスクだったのですが、久々に上位争いに食い込める結果を残すことができました。

途中少し間が空いてしまうこともありましたが、最初から最後までじっくりと腰を据えて取り組むことができた良いコンペでした。

では、振り返って参りたいと思います。

今回のコンペは、NEDO（産業技術総合開発機構）、大学、ベンチャー企業などでもモデルの開発が進められている野菜の価格変動を予測するタスクです。

４２品目の野菜について消費地域ごとの３４０個の価格を、過去約４年分の価格と気温や日照時間等の気象情報から予測します。

野菜についてどのような分類をして予測するか、天候情報をどのように加工して、何を選択するかで知恵を絞りました。

全体構成としては、大きく分けて以下の２つの構成で構築し、それぞれの予測値の平均を最終的な提出としました。

野菜を種類（根菜、葉菜類、果実など）に分類し、分類ごとにモデル・特徴量を選択して学習・予測
野菜の価格周期をスペクトラム化しクラスタリングして、クラスごとにモデル・特徴量を選択して学習・予測
※クラスタリングのサンプルコードを以下に公開いたしました。

GitHub - Oregin-ML/Classification_of_vegetable_prices_by_spectrum_image

地域に関しても考慮に入れようか悩んだのですが、今回の価格は生産地ではなく消費地の価格とのことでしたので、地域別の予測はあまり影響しないと仮定して、野菜の種類だけに注目することとしました。

特徴量については、価格の時系列データのほかに天候情報（天候観測所348箇所ごとに、2015/1～2019/11の月次の天候データ）について以下の通り加工し、分類した野菜毎に、選択して学習に利用しました。

【特徴量の加工】

分類	処理内容
元データ	天候情報の元データを日照時間、降水量、降雪量、最高気温、最低気温、平均気温の６つに分類
累積和	日照時間、降水量の合計、降雪量合計、平均気温、最低気温25℃以上日数、最高気温25℃以上日数、最低気温0℃未満日数、最高気温0℃未満日数、日照時間0.1時間未満日数について、累積和を特徴量として追加。累積については、2か月、3か月、4か月、6か月、12か月のパターンで累積和を計算。
差分	最高気温と最低気温の差、平均気温と最低気温の差、最高気温と平均気温の差、最高気温の平均と最低気温の平均の差を特徴量として追加。
閾値以上、以下のフラグ	日照時間につき、100,150,200,250,300を閾値として以上、以下のフラグを特徴量として追加。降水量の合計につき、10,50,100,200,300,400,500を閾値として以上、以下のフラグを特徴量として追加。降雪量の後継につき、5,10,30,50,100,150,200を閾値として以上、以下のフラグを特徴量として追加。最高気温の平均、最低気温の平均、平均気温につき、5,10,15,20,25,30,35を閾値として以上、以下のフラグを特徴量として追加。