머신러닝에서 훈련/검증/테스트 세트로 나누는 이유

일반적으로 머신러닝을 모델링하는 방법의 순서는 아래와 같다.

1. 훈련(Train): 모델을 학습시키는데 사용하며, 기출문제를 푼다고 생각하면 된다.
2. 검증(Validation): 모델이 잘 학습되었는지 인증는데 사용, 모의고사를 푼다 생각하면 된다
3. 시험(Test): 모델의 일반화 성능을 평가할 때 사용한다, 수능을 푼다고 생각하면 된다.

훈련 작업과 검증작업은 좋은 모델이 나올때까지 반복작업을 하더라도 문제가 없지만 테스트 데이터를 반복적으로 사용하게 된다면 데이터 누수 문제가 발생하여 모델 성능을 잘못 평가하기 때문에 피해야한다.