[Kaggle] Bike Sharing Demand : 자전거 수요 예측

 

시작하며

무려 6년전에 Kaggle 대회로 올라온 자전거 수요 예측 프로젝트!
데이터 분석 역량 테스트를 대비하기 위해 가장 기본적인 Kaggle 대회 부터 연습해보기로 했다.
나의 이러한 연습이 좋게 작용하여 코테에 꼭 합격하길 바라면서 시작하는 공부리뷰 start ~ ! 

 

1. 프로젝트 설명

www.kaggle.com/c/bike-sharing-demand/

Bike Sharing Demand

워싱턴 D.C 의 Capital Bikeshare 프로그램에서 자전거 대여 수요를 예측하기 위한 프로젝트이다. 과거 사용 패턴을 날씨 데이터와 결합하여 수요 예측을 수행해 본다.

 

2. 프로젝트 목표

특정 시간대에 얼마나 많은 사람들이 자전거를 대여하는지 예측한다.

 

3. 데이터 설명

train.csv / test.csv / SampleSubmission.csv 세 가지의 파일이 주어진다. train은 말그대로 학습데이터, test 데이터, 그리고 최종 제출 형식이 담겨있는 Sample 파일이다.

데이터는 아래와 같이 주어진다.

Columns 명	데이터 내용
Datetime	시간 (YYYY-MM-DD 00:00:00)
Season	봄(1) 여름(2) 가을(3) 겨울(4)
Holiday	공휴일(1) 그외(0)
Workingday	근무일(1) 그외(0)
Weather	아주깨끗한날씨(1) 약간의 안개와 구름(2) 약간의 눈,비(3) 아주많은비와 우박(4)
Temp	온도(섭씨로 주어짐)
Atemp	체감온도(섭씨로 주어짐)
Humidity	습도
Windspeed	풍속
Casual	비회원의 자전거 대여량
Registered	회원의 자전거 대여량
Count	총 자전거 대여량 (비회원+회원)

 

4. Library Import / Data Check

4.1 Library Import

우선 데이터를 확인하기 위한 Library를 import 해준다.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import datetime as dt
import scipy

 

4.2 Data 불러오기

train 데이터와 test 데이터를 불러온다.

train = pd.read_csv("tain.csv")
test = pd.read_csv("test.csv")
submission = pd.read_csv("SampleSubmission.csv")

 

4.3 데이터 확인

이제 데이터의 생김새를 살펴보자.

train.columns

test.columns

train 과 test 의 컬럼에 차이가 보인다. train 데이터엔 casual, registered, count 변수가 있지만, test 변수에는 없다. 따라서 우리가 예측해야할 변수는 Count라고 알 수 있다. (Count 변수 = Casual + Registered 라고 명시되어 있었기 때문에 최종적인 결과값을 보유한 Count 가 찐임을 알 수있었당)

train.head()

test.head()

submission.head()

train data 와 test data 는 위와 같이 생겼고, submission은 아래처럼 생겼다. sample submission에서 보이듯 count를 예측하면된다고 Label을 떡하니 명시해준다~

데이터의 datetime을 날짜로 인식해주기 위해서 한가지의 과정을 거쳤다. pandas의 to_datetime 을 활용하여 datetime 컬럼을 날짜로 인식하게끔 형태를 바꾸어 주었다.

train['datetime'] = pd.to_datetime(train['datetime'])
test['datetime'] = pd.to_datetime(test['datetime'])

info()를 출력해보니, datetime 형태로 잘 바뀌었고, 나머지 데이터들의 형태도 확인이 가능했다. 나머지 변수는 전부 정수 혹은 float 형태로 구성되어있는 것을 볼 수있다.

특히 weather, season 등과 같이 대부분의 변수는 '연속'을 의미하는 숫자가 아닌 '그렇다, 아니다'를 의미하는 범주형 변수이기 때문에 추후 형 변환이 필요할 것이라고 생각했다.

train.info()

test.info()

 

이제 데이터의 shape을 확인해 보겠다.

print(train.shape)
print(test.shape)

-- 결과
# (10886 12)
# (6493, 9)

 

4.4 데이터 EDA 진행

앞서 데이터의 shape, dtype 등을 살펴보았다. 이를 기반으로 차근차근 EDA를 진행해보려고 한다. 데이터를 시각화 해복보고, null 값을 처리하는 등 모델링을 위한 사전 준비를 시작해보겠다.

4.4.1 기준별 자전거 수요량 확인해보기 (시각화)

현재 데이터 날짜는 yyyy-mm-dd 00:00:00 형태이다. 이를 년,월,일,시,분,초로 나누어 연도별, 월별.... 의 자전거 수요량이 어떻게 변화하는지 우선적으로 확인해보겠다.

주 단위로도 확인해보기위해 datetime 패키지에서 지원하는 dayofweek도 출력해보았다.

train['year'] = train['datetime'].dt.year
train['month'] = train['datetime'].dt.month
train['day'] = train['datetime'].dt.day
train['hour'] = train['datetime'].dt.hour
train['minute'] = train['datetime'].dt.minute
train['second'] = train['datetime'].dt.second
# dayofweek 는 요일을 가져오는 말
#월(0) 화(1) 수(2) 목(3) 금(4) 토(5) 일(6)
train['dayofweek'] = train['datetime'].dt.dayofweek

test['year'] = test['datetime'].dt.year
test['month'] = test['datetime'].dt.month
test['day'] = test['datetime'].dt.day
test['hour'] = test['datetime'].dt.hour
test['minute'] = test['datetime'].dt.minute
test['second'] = test['datetime'].dt.second
# dayofweek 는 요일을 가져오는 말
#월(0) 화(1) 수(2) 목(3) 금(4) 토(5) 일(6)
test['dayofweek'] = test['datetime'].dt.dayofweek

 

(1) year 별 자전거 수요량

sns.barplot(data = train, x = 'year', y = 'count')

• 년도가 증가함에 따라 갑자기 수요량이 증가했다. 하지만 단 두개의 year만 존재하기 때문에 지속적으로 수요가 증가하는지에 대한 여부는 알 수 없고, 단지 해당 자전거 대여 회사가 성장했다 or 자전거 수요가 늘었다. 까지만 알 수 있다.
• 2012년에 갑자기 자전거가 대유행해서 , 2013년에는 줄어들수도,,, 늘어날수도 있다는 것!
• 어쩃든 주어진 데이터 내에서는 분명히 년도별로 수요량의 차이가 존재함을 알 수 있다. 따라서 예측하는데 year변수를 사용할 수는 있겠다.

(2) month 별 자전거 수요량

sns.barplot(data = train, x = 'month', y = 'count')

• 비교적 12, 1, 2월에 자전거 수요량이 적다
• 6, 7, 8월에 자전거 수요량이 가장 많음을 알 수 있다. 따라서 month 변수도 예측에 사용할 수 있겠다.

(3) day 별 자전거 수요량

sns.barplot(data = train, x = 'day', y = 'count')

• day별로 자전거 수요량이 달라짐을 알 수있다.
• 하지만 명백한 차이가 없기 떄문에 변수에서 제거하거나 제거하지 않거나에 대한 선택은 나중에 해보겠다.

(4) season (계절별)

 sns.barplot(data = train, x = 'season', y = 'count')

• 월별로 출력했을 때 분명, 12,1,2월(겨울)에 가장 수요량이 적었는데, 위 season 그래프와는 다르게 나왔다. 따라서 season을 나누는 경계가 다름을 알 수 있었다.

print(train[train['season'] == 1].month.unique()
print(train[train['season'] == 2].month.unique()
print(train[train['season'] == 3].month.unique()
print(train[train['season'] == 4].month.unique()

• 어쨋든 계절에 따라 수요량의 차이가 존재하기에, season도 예측하는데 사용할 수 있겠다.

(5) 시간대별 point plot

fig, (ax1) = plt.subplot(1,1)
fig.set_size_inches(20, 5) # 가로,세로

sns.pointplot(data = train, x = 'hour', y = 'count', ax = ax1)

• 시간대별로 보았을때, 8시 , 17시경에 가장 자전거 수요량이 많다. (출, 퇴근시간임을 알 수 있다.)

(6) workingday (카테고리형) , 시간대별로 point plot 확인

fig, (ax1) = plt.subplot(1,1)
fig.set_Size_inches(20, 5)

#seaborn에서 카테고리형 데이터를 고려한 그래프를 출력하고 싶으면, hue변수를 추가해준다.
#따라서 시간대별로 holiday == 1일때, holiday =- 0 일때로 출력된다.
sns.pointplot(data = train, x = 'hour', y = 'count', hue = 'workingday', ax = ax1)

• 1: 근무일 / 0: 근무일 아닐 때
• 근무일에는 출퇴근 시간에 수요량이 급증하고, 근무일이 아닐 때에는 오후시간대에 수요량이 증가하는 것을 알 수 있다. 따라서 holiday 변수도 예측에 영향을 줄 것이라고 판단했다.

(7) holiday (카테고리형), 시간대별로 point plot 확인

fig, ax1 = plt.subplot(1,1)
fig.set_size_inches(20, 5)

sns.pointplot(data = train, x = 'hour', y = 'count', hue = 'holiday', ax = ax1)

• 1: 휴일 / 0: 휴일이 아닐때
• 휴일이 아닐때는 출,퇴근시간대에 자전거의 수요가 증가하고, 휴일일 때는 오후 시간대에 증가한다. 따라서 holiday 변수도 에측하는데 사용해보려고 한다.

(8) weather (카테고리형), 시간대별로 point plot 확인

fig, ax1 = plt.subplot(1,1)
fig.set_size_inches(20, 5)

sns.pointplot(data = train, x = 'hour', y = 'count', hue = 'weather', ax = ax1)

• 아주깨끗한날씨(1) 약간의 안개와 구름(2) 약간의 눈,비(3) 아주많은비와 우박(4)
• 1,2번날씨 > 3번날씨 > 4번날씨는 데이터가 거의 없음

(9) dayofweek (카테고리형), 시간대별로 point plot 확인

fig, ax1 = plt.subplot(1,1)
fig.set_size_inches(20, 5)

sns.pointplot(data = train, x = 'hour', y = 'count', hue = ' dayofweek', ax = ax1)

• dayofweek 의 모든 양상은 비슷하게 나타나지만 예측에는 사용해보도록 한다. 

결론적으로 year, month, day, hour, weather, holiday, workingday, dayofweek, season을 추후에 예측에 활용해보도록 한다.

 

4.4.2 변수끼리의 상관관계

corr_data = [['datetime', 'season', 'holiday', 'weather', 'temp', 'atemp', 'humidity', 'windspeed']]
colormap = plt.cm.PuBu
sns.heatmap(corr_data.corr(),
			, linewidths = 0.1
            , square = True
            , annot = True
            , cmap = colormap)

• temp와 atemp의 상관관계가 매우 높아서, 다중공선성이 의심된다. 따라서  temp 변수 하나만 사용할 것이다.

4.4.3 온도, 습도, 바람세기에 대해서 살펴보기 

앞서 카테고리형 변수에 대해서 살펴보았으니, 이제 연속형 변수를 살펴보도록 한다.
Temp, Humidity, Windspeed 의 값 분포를 보기 위해 각각 scatter plot을 그려본다.

fig, (ax1, ax2, ax3) = plt.subplots(ncols = 3, figsize=(12,5))

sns.scatterplot(data = train, x = 'windspeed', y = 'count', ax = ax1)
sns.scatterplot(data = train, x = 'temp', y = 'count', ax = ax2)
sns.scatterplot(data = train, x = 'humidity', y =  'count', ax = ax3)

차례대로 바람세기, 온도, 습도의 데이터 분포를 볼 수 있다. 원래 여기서 나는 별다른 이상한 점을 찾지 못했지만, HONG_YP님의 블로그를 보고 '앗!!!' 하는 엄청난 인사이트를 얻게된다. 이때문에 실제로 캐글의 점수가 상승하는 것을 볼 수 있었다.

HONG_YP 님께서 캐치하신 인사이트는 바로, '바람 세기가 0인 경우는 거의 없지 않나?' 라는 점이었다. 데이터 분포를 보면, windspeed 변수에 0의 값이 상당히 많이 존재한다.

len(train[train['windspeed']==0])
# 결과 : 1313

실제로 출력해보니 windspeed에 0 값이 있는 것은 1313개 였고, 10000여개의 데이터중 1313개면 상당히 많은 부분을 차지한다고 생각할 수 있다. 따라서 windspeed가 0 인 것을 대체하는 feature engineering 과정이 하나 더 필요하다. 

 

5. Feature Engineering

세 가지의 단계로 진행하려고 한다. 데이터의 왜도와 첨도를 살펴보고 조절해 줄것이고, IQR방법으로 이상치를 제거해 준 후, 앞서 언급했던 windspeed 에 대한 feature engineering을 진행할 것이다.

5.1 이상치 제거

5.1.1 연속형 변수에 대한 Boxplot 작성 및 이상치 확인

이상치 제거를 위해 box plot을 먼저 작성해 보겠다. 카테고리형 변수말고 연속형 변수에 대해서 진행해보았다.

fig, (ax1, ax2, ax3, ax4, ax5, ax6) = plt.subplots(nrows = 6, figsize = (12,10))
sns.boxplot(data = train, x = 'windspeed', ax = ax1)
sns.boxplot(data = train, x = 'humidity', ax = ax2)
sns.boxplot(data = train, x = 'temp', ax = ax3)
sns.boxplot(data = train, x = 'casual', ax = ax4)
sns.boxplot(data = train, x = 'registered', ax = ax5)
sns.boxplot(data = train, x = 'count', ax = ax6)

5.1.2 IQR 방식을 사용한 이상치 제거

IQR방식은 4분위 개념으로 출발한다. 전체 데이터를 오름차순으로 정리한 후, 정확히 4등분한다. (25%, 50%, 75%, 100%) 여기서 75%와 25% 지점의 값의 차이를 IQR이라고 부르고, 그 이상과 이하에 해당하는 값을 이상치라고 판단하는 방식이다.  (IQR 설명 : hwi-doc.tistory.com/entry/IQR-%EB%B0%A9%EC%8B%9D%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EC%9D%B4%EC%83%81%EC%B9%98-%EB%8D%B0%EC%9D%B4%ED%84%B0Outlier-%EC%A0%9C%EA%B1%B0 참고)

https://towardsdatascience.com/understanding-boxplots-5e2df7bcbd51

이상치 제거를 위한 함수를 작성해보겠다. 해당 코드는 HONG_YP님의 블로그에 있는 코드를 그대로 사용했다! (맨 아래 링크 첨부)

from collections import Counter

def detect_outliers(data, n, cols):
	outliser_indices = []
    for col in cols:
    	Q1 = np.percentile(data[col], 25)
        Q3 = np.percentile(data[col], 75)
        IQR = Q3 - Q1
        
        outlier_step = 1.5 * IQR
        
        outlier_list_col = data[(data[col] < Q1 - outlier_step) | (data[col] > Q3 + outliser_step)].index
		outlier_indices.extend(outlier_list_col)
	outlier_indices = Counter(outlier_indices)
    multiple_outliers = list(k for k, v in outlier_indices.items() if v > n)
    
    return multiple_outliers
    
Outliers_to_drop = detect_outliers(train, 2, ["temp", "atemp", "casual", "registered", "humidity", "windspeed", "count"]

이상치 drop 하기 전 data 확인

train.shape

이상치 drop 실행!

train = train.drop(Outliers_to_drop, axis = 0).reset_index(drop = True)
train.shape

아주 조금이지만, 이상치가 제거됐음을 확인할 수 있다.

5.2 왜도(skewness)와 첨도(kurtosis) 확인

데이터 분석에서의 왜도와 첨도는 중요하다. 간단하게 정리하자면, 아래와 같고, 왜도와 첨도의 수치를 보고 데이터의 치우침 정도를 알 수 있기 때문이다.

• 왜도
  • 데이터의 분포가 한쪽으로 쏠린것을 의미
  • skew의 수치가 -2~+2 정도가 되어야 치우침이 없는 데이터
  • -2이하는 왼쪽으로 쏠린 데이터 (negative) +2 이상은 오른쪽으로 쏠린 데이터(positive)
    • positive일경우 변환방법 : square root, cube, log(밑10)
    • negative일경우 변환방법 : square, cube root, logarithmic(밑2인log)
• 첨도
  • 분포의 뾰족함이나 평평함에 관련된 것이 아니라 분포의 tail에 대한 모든 것
  • 한쪽 꼬리부분의 극값과 다른쪽 꼬리의 극값과의 차이를 보여줌
  • 아웃라이어를 찾을 때 주로 사용
  • 첨도가 높다 -> 아웃라이어가 많이 있다

(1) 왜도와 첨도를 시각화해서 살펴보기

가장 기본적인 히스토그램 (distplot)을 그려서 데이터를 확인해 보겠다. 

fig, ax = plt.subplot(1,1, figsize = (10, 6))

graph = sns.distplot(train['count'],
					, color = 'b;
                    , label = 'Skewness:{.2f}'.format(train['count'].skew())
                    , ax = ax)
                    
graph = graph.legend(loc = 'best')

print('skewness(왜도): %f' %train['count'].skew())
print('kurtosis(첨도): %f' %train['count'].kurt())

결론적으로 수치상으로는 왜도와 첨도에 문제가 없게 출력된다. 하지만 데이터의 히스토그램을 보아하니, count 가 0에 굉장히 많이 치우쳐저 있는 것을 확인 할 수 있다. 이때 Log scaling을 통해 정규화 시켜주도록 하자.

(여기서 주의할 점은, y값인 count 값에 log를 취해주었으니, 마지막에 나온 예측결과값에는 다시 log를 취해주어야 원래 원하던 값이 나온다!!!!)

(2) count값에 log를 취해주어 정규화 해주기 

#lambda 를 사용해서 로그를 취해준 count값을 count_log 컬럼으로 생성해주자
train['count_log'] = train['count'].map(lambda i:np.log(i) if i > 0 else 0)

fig, ax = plt.subplots(1,1, figsize = (10, 6))
graph = sns.distplot(train['count_log']
			, color = 'b'
            , label = 'skewness: {:2f}'.format(train['count_log'].skew())
            , ax = ax)
graph = graph.legend(loc = 'best')

print("skewness(왜도): %f" %train['count_log'].skew())
print("kurtosis(첨도): %f" %train['count_log'].kurt())

#필요없는 count값 없애주기
train.drop('count', axis = 1, inplace = True)

왜도와 첨도의 수치도 괜찮게 나왔고, 데이터가 0 하나에만 치우쳐져 있는 것이 개선된 것을 확인할 수 있다. 따라서 count_log 값을 예측에 활용할 것이고, 나중에 다시 log를 취해주도록 하자.

5.3 windspeed = 0 대체값 찾기

앞서 언급했던 것처럼, 풍속이 0일때가 거의 없는 것을 고려하여 windspeed 값을 대체해주기로 한다. 

<< 결측값 처리 방법>>

- 결측값을 앞 방향 혹은 뒷 방향으로 채우기
- 결측값을 변수별 평균으로 채우기
- 결측값을 가진 데이터를 삭제하기
- 결측값을 0 이나, 아예 다른 값으로 (-999) 대체하기
- 결측값을 예측된 값으로 대체하기 (머신러닝을 돌려서)

아무래도 windspeed가 null값인 경우를 0으로 처리한 것이라고 생각했기에, 결측치를 채우는 방법중에 하나의 방법인 예측된 값으로 대체하는 방법으로 0을 바꾸어주려고 한다.

• RandomForest 를 활용하여 에측값으로windspeed = 0.0 값을 대체하기

from sklearn.ensemble import RandomForestClassifier

def predict_windspeed(data):
	wind0 = data.loc[data['windspeed'] == 0]
    windnot0 = data.loc[data['windspeed'] != 0]
    
    #풍속이 날씨변수이기 때문에 날씨변수를 활용해서 windspeed를 예측해줄 것
    col = ['season', 'weather', 'temp', 'humidity', 'atemp', 'day']
    windnot0['windspeed'] = windnot0['windspeed'].astype('str')
    
    rf = RandomForestClassifier()
    #windspeed가 0이 아닌 컬럼으로 fit 해줌
    #model.fit(X_train, y_train)
    rf.fit(windnot0[col], windnot0['windspeed'])
 
 	#windspeed가 0인 부분을 예측
    #model.predict(X_test)
    pred_wind0 = rf.predict(X = wind0[col])
    
    #wind0의 windspeed 값을 pred_wind0으로 바꿔주고
    wind0['windspeed'] = pred_wind0
    
    #windnot0과 wind0을 합쳐준다
    data = windnot0.append(wind0)
    data['windspeed'] = data['windspeed'].astype('float')
    
    data.reset_index(inplace = True)
    data.drop("index", inplace = True, axis = 1)
   
    return data

train = predict_windspeed(train)
test = predict_windspeed(test)

 

• windspeed 0인 값 존재여부 확인

train[train['windspeed'] == 0.0]

 

• train과 test의 windspeed 값 시각화

fig, (ax1, ax2) = plt.subplots(2,1)
fig.set_size_inches(20,15)

#갯수를 세야하니 countplot
sns.countplot(data = train, x = 'windspeed', ax = ax1)
sns.countplot(data = test, x = 'windspeed', ax = ax2)

windspeed의 값에서 0.0 이 사라진 것을 확인할 수 있다.

 

5.4 one-hot encoding 범주형 변수 처리

Season	봄(1) 여름(2) 가을(3) 겨울(4)
Holiday	공휴일(1) 그외(0)
Workingday	근무일(1) 그외(0)
Weather	아주깨끗한날씨(1) 약간의 안개와 구름(2) 약간의 눈,비(3) 아주많은비와 우박(4)

해당 변수는 숫자로 된 값이 '수치'를 의미하지 않는다. 따라서 원핫인코딩으로 범주형 변수를 처리해주었다.

#prefix 란, 변수 생성명 앞에 weather_1 이런식으로 생성되게 하는 것
train['weather'] = pd.get_dummies(train, columns = ['weather'], prefix = 'weather')
test['weather'] = pd.get_dummies(test, columns = ['weather'], prefeix = 'weather')

train['season'] = pd.get_dummies(train, columns = ['season'], prefix = 'season')
test['season'] = pd.get_dummies(test, columns = ['season'], prefix = 'season')

train = pd.get_dummies(train, columns = ['holiday'], prefix = 'holiday')
test = pd.get_dummies(test, columns = ['holiday'], prefix = 'holiday')

train.columns

test.columns

 

 

6. Modeling

6.1 train에 사용될 변수를 선택하자

위의 columns 내역을 보고 drop할 컬럼을 선택해주었다.

#submission의 형태를 살펴보았을 때, datetime을 기준으로 예측값을 적엇다.
#따라서 test의 datetime은 미래의 submission 을 위해서 따로 저장해두기로 한다.
test_datetime = test['datetime']

train.drop(['datetime', 'workingday', 'atemp', 'registered', 'casual', 'minute', 'second'], axis = 1, inplace = True)
test.drop(['datetime', 'workingday', 'atemp', 'minute', 'second'], axis = 1, inplace = True) 

일단 workingday는 holiday 와 너무 비슷한 양상을 띄고 있어서 workiingday를 삭제해주기로 했다. 또 temp와 atemp의 상관관계가 매우 높아 다중공선성이 의심됐기 때문에, atemp 변수를 삭제해 주었다. year, month, day 등 시간에 대한 변수가 따로 존재하기때문에 datetime 도 삭제해주고, 초단위, 분단위에 따른 자전거 수요량의 변화는 알기 쉽지 않다고 판단하여 없애 주었다. 따라서 최종적으로 선정하게된 컬럼은 아래와 같다.

train.columns

test.columns

 

6.2 Gradient Boosting 모델 학습

6.2.1 데이터셋 분할

from sklearn.model_selection import train_test_split
from sklearn import metrics

#데이터프레임 형태가 아닌 array 형태여야하기때문에 values를 취해줌
x_train = train.drop('count_log', axis = 1).values
target_label = train['count_log'].values
x_test = test.values

# train : val = 0.8 : 0.2 로 split
x_train, x_val, y_train, y_val = train_test_split(x_train, target_label, test_size = 0.2, random_state = 2000)

배열 형태로 데이터가 잘 나뉘어 진것을 확인할 수 있다.

6.2.2 모델링 및 학습

gradient boosting 모델을 사용하기로 한다. 이 모델의 장단점, 왜 선택하게 되었는지 등에 대한 자세한 포스팅은 추후에 이어나가도록 하겠다.

from sklearn.ensemble import GradientBoostingRegressor

regressor = GradientBoostingRegressor(n_estimators = 2000
					, learning_rate = 0.05
                                    , max_depth = 5
                                    , min_samples_leaf = 15
                                    , min_samples_split = 10
                                    , random_state = 42)
#model.fit(x, y)
regressor.fit(x_train, y_train)

파라미터 튜닝을 통해 더 적합한 매개변수 값을 찾아주는 것이 좋겠지만, 데이터 역량 테스트 시험 특성상 2시간으로 시간이 한정되어 있기에 아직은 연습하지 않았다. 하지만 추후 해당 모델에 gridsearch 를 사용하여 파라미터 튜닝을 해볼 예정이다.

6.2.3 모델 성능 평가

간단하게 accuracy를 출력해보았다. 만약 해당 과정에서 오버피팅이 발생한다면, learning_rate나 max_depth(트리의 깊이)를 작게 수정해서 진행해보도록 해보자. 지금은 test가 더 정확도가 높긴 하지만 차이가 크지 않기에 그냥 진행하겠다.

score_train = regressor.score(x_train, y_train)
score_val = regressor.score(x_val, y_val)

print("train score: %f" %score_train)
print("validation score: %f" %score_val)

7. 예측 및 submission.csv 생성

7.1 예측

앞서 만든 regressor 모델에 x_test 데이터를 넣어 예측을 수행해 보겠다.

pred = regressor.predict(x_test)

7.2 제출 파일 생성

대회에서 업로드해준 submission 파일을 보면, 아래와 같이 생겼다.

sample = pd.read_csv("SampleSubmission.csv")
sample.head()

이 형태와 똑같이 만든 후 제출해야 한다. 
초반에 train과 test에서 사용할 변수를 추려내는 과정에서, test 파일에서의 datetime을 test_datetime 변수에 저장해놓은 것을 기억할 것이다.

따라서 새로운 데이터프레임을 생성하고, 거기에 test_datetime 과, 예측한 결과값인 pred를 넣어준다.

submission = pd.DataFrame()
submission['datetime'] = test_datetime
submission['count_log'] = pred

여기서 가장 중요한 것은, count_log 라는 점이다. 이때 그냥 count로 해서 제출해버리면...끔찍하다..모든게 물거품..
초반에 count에 log를 취해서 정규화 시켜준 것을 꼬오오옥 기억하자.

따라서 마지막으로 count_log에 다시 log를 취해, 원래의 값을 찾아준다.

submission['count'] = np.exp(submission['count_log'])
    
submission.drop('count_log', axis = 1, inplace = True)
submission.head()

submission.to_csv("Bike.csv", index = False)

 

8. kaggle에 제출

www.kaggle.com/c/bike-sharing-demand/submissions

접속해서 로그인 후, Late submission에 들어가서 파일을 드래그하여 업로드 한 후, 바로 평가받을 수 있다.

방금 제출한 파일의 점수를 보면, 0.41826으로 산정되었다. 현재 대회가 마감되어 순위는 볼 수 없다. 본 대회 점수 측정 방식은 RMSE 기준으로, 점수가 낮아야 좋은 것이다. 하지만 내가 모델링한 것은 0.41 정도로 정확히 426등 정도 했겠다. ... 허허.... 모델을 다른 모델을 사용하거나, 파생변수를 생성하는 등 피쳐에 대한 생각을 좀 더 깊게 해본다면 점수는 크게 향상할 수 있지 않을까 싶다. 

 

마치며....

데이터 분석 역량 테스트를 치뤄야 하기 때문에, 데이터를 살펴보는 법, EDA 하고 모델링하는 법까지 쭉 공부해보았다. 수많은 프로젝트를 진행해보면서 참고자료(갓 구글, 책 등) 없이 혼자 머신러닝을 다뤄본적이 없는데...
시험에서는 참고자료 없이 오직 레퍼런스에 의지하여 데이터를 탐색하고, 모델링해야한다는 부담감이 너무너무 크다. 실제로 내가 아는 모델 지식 등을 잘 써먹지 못할까봐 걱정이 앞선다 ㅠㅠ 

지금 이틀 남았는데, 최선을 다해서 모델링과 피쳐 엔지니어링 방법에 대해 익힌 후, 시험에서 무사히 원하는 결과를 얻었으면 좋겠다!!!

세상엔.... AI를 잘다루는 사람이 너무 많다  ʘ̥_ʘ̥ 

아 그리고, 이 글을 작성하는데 간간히 글에서 등장했듯이,  HONG_YP님의 블로그 를 많이 참고했다. windspeed 변수를 갖고 저렇게 생각할 수 있었다는 것과, 왜도와 첨도를 고려해서 count를 정규화 시켜주는 등... 아직 피쳐 엔지니어링에 대해서 배울 점이 참 많은 것 같다. 나 혼자 스스로 데이터로부터 인사이트를 뽑아내는 그날까지 더 열심히 많은 사람의 자료를 찾아보고 공부해봐야겠다는 다짐이 생겼다!

hong-yp-ml-records.tistory.com/77?category=823206

[Bike Sharing Demand] 캐글 자전거 수요예측 Part 4