파이썬 라이브러리를 활용한 머신러닝 5장

모델 평가와 성능 향상

5.1 교차 검증(306p)

k겹 교차 검증

	폴드1	폴드2	폴드3	폴드4	폴드5
분할1	테스트	훈련
분할2
분할3
분할4
분할5

scores = sklearn.model_selection.cross_val_score(LogisticRegression(), iris.data, iris.target cv=5)

5.1.3 계층별 k-겹 교차 검증(그룹간의 비율을 일정하게 유지)

기본값

회귀-> k-겹 교차 검증

분류-> 계층별 k-겹 교차 검증

*분류에 기본 k-겹 교차 검증 이용하기

kfold = sklearn.model_selection.KFold(n_split=5, shuffle=True, random_state=0)    // shuffle : 샘플의 순서를 섞기

scores = cross_val_score(LogisticRegression(), iris.data, iris.target, cv=kfold)

LOOCV

폴드 하나에 샘플 하나만 들어 있는 k-겹 교차검증

임의 분할 교차 검증

데이터를 부분 샘플링 한다.

shffle_split = sklearn.model_selection.ShuffleSplit(test_size=0.5, train_size=0.5, n_splits=10)    // 실수를 입력하면 비율이 된다.

scores = cross_val_score(LogisticRegression(), iris.data, iris.target, cv=shffle_split)

* ShuffleSplit의 계층별 버전 : StratifiedShuffleSplit

그룹별 교차 검증(폴드의 단위가 그룹이 된다.)

groupKFold = sklearn.model_selection.GroupKFold(n_splits=3)

groups = [0, 0, 0, 1, 1, 1, 1, 2, 2, 3, 3, 3]

scores = cross_val_score(LogisticRegression(), X, y, groups, cv=groupKFold)

==> KFold, StratifiedKFold, GroupKFold 를 가장 널리 사용함

5.2 그리드 서치(316p)

5.2.1 간단한 그리드 서치(직접 구현)

5.2.2 매개변수 과대적합과 검증 세트(직접구현)

데이터 = 훈련 + 검증 + 테스트 세트

데이터 세트를 훈련, 검증으로 나눠서 좋은 매개변수를 찾고, 마지막에 테스트세트로 정확도를 측정한다.(결국 테스트세트의 정확도가 높았던 매개변수를 찾는 것임.)

5.2.3 교차 검증을 사용한 그리드 서치

직접구현

SVC에서 gamma(6단계), C(6단계), 5-겹 교차 검증 : 6*6*5 = 180번의 모델을 생성해야 한다.

그리드서치 GridSearchCV

param_grid = {'C' : [,,,], 'gamma' : [,,,]}

grid_search = GridSearchCV(SCV(), param_grid, cv=5)           // 5겹 교차검증

grid_search.fit(X_train, y_train)                                        // X_train데이터를 훈련, 검증 세트로 나누고, 교차검증 및 매개변수를 돌려서 최적의 매개변수 찾음. 또한 최종 모델을 새로 만듬.

grid_search.score(X_test, y_test)

print(grid_search.best_params_)

print(grid_search.best_score_)

print(grid_search.best_estimator_)

비대칭 매개변수 그리드 탐색(조건부...)

예) kernel='linear'이면 C 매개변수만 사용한다.

kernel='rbf' 이면 C와 gamma 모두 사용한다.

param_grid = [

{'kernel' : ['linear'], 'C' : [,,,]}

, {'kernel' : ['rbf'], 'C' : [,,,], 'gamma' : [,,,]}

]

그리드 서치에 다양한 교차 검증 적용

GridSearchCV는 분류에 기본적으로 계층형 k-겹 교차검증을 사용하고

회귀에는 k-겹 교차 검증을 사용한다.

그러나 다른 교차검증 분할기를 사용할 수도 있다(311p)

중첩 교차 검증

데이터 = 훈련 + 테스트

훈련 -> 그리드서치(자체적으로 훈련데이터를 훈련과 검증으로 나눠서 매개변수 찾음)

그런데, 데이터를 훈련 + 테스트로 나누는 과정도 여러번 할 수 있다.

scores = cross_val_score(GridSearchCV(SCV(), param_grid, cv=5), iris.data, iris.target, cv=5)            // 대박!!!  -> 직접구현(333p)

scores

scores.mean()

CPU 병렬화 : n_jobs 매개변수

scikit-learn에서는 병렬화를 중첩해서 사용할 수 없음

spark-sklearn 이용

5.3 평가 지표와 측정

5.3.1 최종 목표를 기억하라

5.3.2 이진 분류의 평가 지표

에러의 종류: 거짓 양성, 거짓 음성

불균형 데이터셋

오차 행렬

음성	TN	FP
양성	FN	TP
	음성으로 예측	양성으로 예측

정확도 = (TP + TN) / 전체

정밀도 = TP / (TP + FP)

양성으로 예측된 것 중에서 진짜 양성이 얼마인가?

재현율 = TP / (TP + FN)

전체 양성 중에서 진짜 양성이 얼마인가? (진짜 양성 비율TPR, 민감도sensitivity, 적중률hit rate)

f-점수 = 2*정밀도*재현율 / (정밀도 + 재현율)

FPR거짓 양성 비율 = FP / (FP + TN)

전체 음성 중에서 양성으로 예측된 것이 얼마인가?

ROC 곡선 = FPR / TPR(재현율)

AUC = ROC 곡선의 면적

* 불균형한 데이터셋에서는 정확도보다 AUC가 훨씬 좋은 지표이다.

5.3.3 다중 분류의 평가 지표

5.3.4 회귀의 평가 지표

scores = cross_val_score(SVC(), digits.data, digits.target==9, scoring="accuracy")   

scores = cross_val_score(SVC(), digits.data, digits.target==9, scoring="roc_auc")