[데이터분석] Machine Learning(머신러닝) 6

학습 셋(Training Set)

모델 생성을 위해 학습 과정에 사용

모델 파라미터 추정을 위해 소모됨

 

검증/개발 셋(Validtion / Development Set)

학습 과정에서 하이퍼 파라미터를 튜닝하는 데에 사용

여러 하이퍼 파라미터로 생성된 모델 중 어떤 것이 성능이 좋은지 평가하는데에 소모됨

 

테스트 셋(Test Set)

생성된 모델의 예측 성능 평가

미래에 타킷 값이 관측되지 않은 데이터라고 가정하고, 예측이 잘 되는지 평가하는 데에 소모됨

 

3-Way Holdout 방법

1. 갖고 있는 데이터를 3개로 분할 -> 학습, 개발, 테스트 셋

 

2. 여러 Hyperparameter Sets으로 후보 모델을 학습

3. Validation Set을 이용하여 모델들을 평가

 

 

4. Training Set과 Validation Set을 합쳐서, 앞서 도출된 Best Hyperparameter Values으로 모델을 재학습

 

5. Test Set 으로 모델 평가

 

6. 모든 데이터로 최종 모델 학습 -> 이 모델을 미래 예측에 사용

 

왜 테스트 셋을 사용 할까?

테스트 셋 은 모델 학습과 튜닝에 전혀 이용되지 않으므로

향후 발생할 데이터처럼 타깃(y)이 관측이 되지 않았다고 가정하여 평가한다.