컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 4-2. Validation

컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 4-2. Validation

본 내용은 Edwith의 컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석을 요약 정리한 내용으로 DGIST 박상현 교수님과 Edwith, STAR-MOOC에 그 저작권이 있음을 미리 공지합니다.

URL : https://www.edwith.org/medical-20200327/lecture/63138/

Train / Validation / Test sets

Validation : Training data에서 Training set과 Validation set으로 나눠 검증을 하기 위한 과정

Overfitting : Training set에서의 loss는 감소하지만 Validation set에서의 loss가 감소하다 증가하는 구간 

주관적인 비율로 나누지만 일반적으로 Training set이 더 많은 portion을 가집니다. (5:5, 7:3, 9:1)

만약 data set의 양이 많다면 작은 비율이라도 많은 validation set의 양을 가집니다. ex) training data set = 1000000, validation set = 10000

Cross Validation

K-Fold : K개로 구획을 나눠 K번의 학습을 진행하는데 K번째 학습에서 K번째의 data set을 validation으로 사용합니다.

제일 좋은 결과를 선택하여 사용합니다.

Data 수가 아주 적은 경우 사용하는 기법 : Leave one out