ProbSpace給与推定コンペ振り返り - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話

先日、「ProbSpace」というプラットフォームで開催された「給与推定」コンペに参戦したので、振り返っていきたいと思います。

私にとって、初めて公式の結果が確定したコンペとなり、最終順位は参加310チーム中、46位でした。全体の15％以内に入れたので、まずまずの出来だったと思います。

f:id:kanriyou_h004:20191230142705p:plain

ただ、上位陣の解法を拝見すると、自分のコードは、まだまだ、全然できていないなぁと感じました。

では、さっそく時系列に取り組みを振り返っていきます。

（あえて、時系列にしたのは、計画的にとりくめなかった自分の反省を込めて・・。）

特徴量（その１）
- 1.欠損値を確認
- 2.ラベルエンコーディング
アンサンブル学習（スタッキング）のモデルを作成（その１）
特徴量（その２）
特徴量（その３）
アンサンブル学習（スタッキング）のモデルを作成（その２）
アンサンブル学習（スタッキング）のモデルを作成（その３）
- 1.３層目を作ってみる
結果

特徴量（その１）

1.欠損値を確認

データを読み込んで、とりあえず欠損値の有無を確認しました。

# Read Data
train_df = pd.read_csv('train_data.csv', index_col=0)
test_df = pd.read_csv('test_data.csv', index_col=0)

#Check Null
print(train_df.isnull().sum())
print('='*20)
print(test_df.isnull().sum())
position 0
age 0
area 0
sex 0
partner 0
num_child 0
education 0
service_length 0
study_time 0
commute 0
overtime 0
salary 0
dtype: int64
====================
position 0
age 0
area 0
sex 0
partner 0
num_child 0
education 0
service_length 0
study_time 0
commute 0
overtime 0
dtype: int64

確認したところ、欠損値がなく、補完の処理も不要であったので、ここは楽でした。

2.ラベルエンコーディング

「Area」の列が、「東京都」、「大阪」など文字列の情報になっているので、数値データに置き換えました。

# Area
from sklearn import preprocessing
le = preprocessing.LabelEncoder()
df['area'] = le.fit_transform(df['area'])

アンサンブル学習（スタッキング）のモデルを作成（その１）

1.１層目の作成

１層目は、まず、RandomForet,AdaBoost,GradientBoosting,ExtraTree,Baggingの５つをつかってみました。

 from sklearn.ensemble import (RandomForestRegressor, AdaBoostRegressor, 
 GradientBoostingRegressor, ExtraTreesRegressor,BaggingRegressor)

2.２層目の作成

２層目は、LightGBMを使ってみました。

import lightgbm as lgb

3.全体構成その１

全体としては、以下のような感じです。

f:id:kanriyou_h004:20191230150437p:plain

特徴量（その２）

特徴量（その２）では、いくつかの特徴量を新たに追加したのですが、効果を発することなく終わってしまいました。

1.Areaカウントを追加

「Area」について、単純にコード化するのではなく、エリアごとのレコード数をコードの代わりにする列を作ってみました。

# 'area'
train_df['area_count_enc'] = train_df.groupby('area')['overtime'].transform('count')
test_df['area_count_enc'] = test_df.groupby('area')['overtime'].transform('count')

2.Educationを分割

また、「Education」が、２以下と３以上でSalaryの傾向が異なっていたので、２分割にしてみました。

#education を　２以下と３以上の区分に分ける。
train_df['education_2under_3over']=[3 if i >=3 else 1 for i in train_df['education']]
test_df['education_2under_3over']=[3 if i >=3 else 1 for i in test_df['education']]

3.Service_length,commute,study_timeをビンニング

「Service_length」,「commute」,「study_time」については、それぞれ、５、５、４にビンニング処理を実施。

train_df['Categorical_length']=pd.qcut(train_df['service_length'],5)
test_df['Categorical_length']=pd.qcut(test_df['service_length'],5)
train_df['Categorical_length'] = le.fit_transform(train_df['Categorical_length'])
test_df['Categorical_length'] = le.fit_transform(test_df['Categorical_length'])

#以下同様にcommute,study_time

特徴量（その３）

特徴量（その３）では、複数の特徴量を組み合わせたり、対数をとったりしてみました。

これによって、MAEが24を切ることができました。

1.交差項追加

いろいろな列の掛け算をとって、モデルに投入して、精度が上がる組み合わせをOptuna等をつかって探索しました。

 #cros_Feature
 df['commute_x_partner'] = df['commute'] * df['partner']
 df['commute_x_num_child'] = df['commute'] * df['num_child']
 df['position_x_age'] = df['position'] * df['age'] 
#などなどいろいろ追加して試す

2.対数変換

数値の列については、対数をとってみました。

def to_Log(df):
 continuas_col=['age','service_length','study_time','commute','overtime']
 for i,col in enumerate(continuas_col):
 df['Log_'+col]=np.log1p(df[col]+1)

to_Log(train_df)
to_Log(test_df)

ついでに、Salaryも対数変換しました。

うっかり、提出用のデータも対数のまま提出してしまい、提出データの精度がガタ落ちして、何が起こったかわからず、プチパニックになりました。

# 入力データの作成
y_train = np.log1p(train_df['salary'].ravel())

train = train_df.drop(['salary'], axis=1)
x_train = train.values # 学習データ
x_test = test_df.values # テストデータ

提出時は以下を忘れてはいけない。

predicts = np.expm1(model.predict(input_test_df))

3.「東京」、「大阪」は特別扱い

トピックに「東京」、「大阪」を特別扱いするとよいとの記事があったので、さっそく参考にさせていただきました。

  df["Live_in_Tokyo_or_Osaka"] = [1 if (i ==9) | (i==26) else 0 for i in df['area']]

4.Target Encording

「Kaggleで勝つデータ分析の技術 [ 門脇大輔 ]」を拝見して、Target　Encordingにも挑戦してみました。

リークとならないように、平均につかったレコード以外を置き換えていくのがポイントですね。

from sklearn.cross_validation import KFold

kf = KFold(ntrain, n_folds=7, random_state=42)
#=========================================================#
cat_col=['position','area','sex','partner','education']

for c in cat_col:
# 学習データ全体で各カテゴリにおける給料の平均を計算
data_tmp = pd.DataFrame({c: train_df[c],'target':train_df['salary']})
target_mean = data_tmp.groupby(c)['target'].mean()
#テストデータのカテゴリを置換
test_df[c] = test_df[c].map(target_mean)

# 変換後の値を格納する配列を準備
tmp = np.repeat(np.nan, train_df.shape[0])

for i, (train_index, test_index) in enumerate(kf): # NFOLDS回まわる
#学習データについて、各カテゴリにおける目的変数の平均を計算
target_mean = data_tmp.iloc[train_index].groupby(c)['target'].mean()
#バリデーションデータについて、変換後の値を一時配列に格納
tmp[test_index] = train_df[c].iloc[test_index].map(target_mean)

#変換後のデータで元の変数を置換
train_df[c] = tmp

#========================================================#