[데브코스][데이터 분석] Regression 모델 만들기

< 11주차 다양한 데이터 분석과 ML 모델 만들어보기 04 >

 

Regression(회귀) 모델링이란?

: 연속적인 값을 에측하기 위해 사용되는 알고리즘

ex. 주택 가격 예측, 주식 가격 예측 등

 

Linear Regression

: 선형 회귀 -> 정규화 사용하여 과적합 방지

Polynomial Regression

: Linear Regression의 변형 (선형의 한계점 극복)

Decision Tree

: 분류와 회귀 모두 사용 가능. 오버피팅이 쉽게 발생

직관적으로 이해 가능

Grid Search를 통해 트리 구성 가능

-> 주어진 모델의 최적 하이퍼파라미터를 찾기 위해

parameters = {
	'max_depth':(1,2,3,4,5,6,7,8,9,10), # 트리의 최대 깊이. 트리가 너무 깊어지면 과적합발생
	'min_samples_split': [2, 10, 20], # 노드를 분할하기 위해 필요한 최소 샘플 수. 
	'min_samples_leaf': [1, 5, 10], # 리프 노드가 되기 위해 필요한 최소 샘플 수 
	'max_leaf_nodes': [5, 10, 20] # 트리가 가질 수 있는 리프 노드의 최대 개수
}

from sklearn.model_selection import GridSearchCV 
from sklearn.tree import DecisionTreeRegressor

parameters = {
		'max_depth':(1,2,3,4,5,6,7,8,9,10), 
		'min_samples_split': [2, 10, 20],
		'min_samples_leaf': [1, 5, 10], 
		'max_leaf_nodes': [5, 10, 20],
}

regressor = DecisionTreeRegressor()
regressors = GridSearchCV(regressor, parameters, cv=5, scoring='neg_mean_squared_error') regressors.fit(X_train, Y_train)
reg = regressors.best_estimator_

 

Random Forests

: 앙상블 메커니즘 중 하나

다수의 머신러닝 알고리즘을 조합하는 것

Deep Learning

: 운영 비용이 큼

 

Regression 성능 평가

Mean Absolute Error(MAE)

Mean Squared Error(MSE)

Root Mean Squared Error(RMSE)