7-2. Learning and test data sets

우리가 학습을 할때 그냥 모든 데이터를 학습 시킨 후,  그 데이터를 이용해서 다시 검증을 하게 된다면 그게 올바른 검증일까? 당연히 아니다. 왜냐? 공부했던 문제로 다시 시험을 보면 당연히 다 맞추기 때문이다. 우리는 이러한 문제를 해결하기 위해 데이터 셋을 학습 셋과 테스트 셋으로 나누며 검증을 하게 된다.

위와 같은 방법에서 더 나아가 데이터 셋을 3등분한다. 같게 등분하는 것은 아니고 3가지의 부분으로 나눈다. 학습, 검증, 테스트 이렇게 나누는데 검증은 그냥 모의고사라 생각하면되고 test 가 수능이라고 생각하면 쉽다. 이러한 방식으로 하게 된다면 더욱 확실한 성능에 대한 평가가 가능해지며 학습능력도 더욱 좋아지게 된다.

다음은 데이터 셋이 너무 많은 경우 한번에 학습을 하기 힘들때 사용하는 방법이다. 한번에 메모리에 올리기 힘든 경우에 많이 사용하는 방법이다.

online learning 이란 계속 이어서 학습을 시키는 것을 의미 한다. 예를 들어 100만개의 데이터를 10만개씩 나누어 학습을 하는 방법을 말한다. 

끝