컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 4-3. Overfitting / Regularization

본 내용은 Edwith의 컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석을 요약 정리한 내용으로 DGIST 박상현 교수님과 Edwith, STAR-MOOC에 그 저작권이 있음을 미리 공지합니다.

Overfitting

Test sample에 대한 좋은 Prediction을 희망하지만 고차원의 값을 통해 Complexity가 높은 상태로 Training set을 훈련시킨다면 Overfitting 문제가 생깁니다.

Training set에서는 error가 가장 낮으나 Test set에서는 오히려 error가 증가하는 구간

훈련이 덜 된 구간 : Underfitting

Overfitting을 해결하기 위한 방안 : Regularization

대표적으로 L1, L2 norm을 통한 Regularization이 가능(다른 방안 또한 가능)

Underfitting : High Bias

Overfitting : High Variance

Data가 들어오면 High Bias인지 High Variance인지를 먼저 판단하여 진행함

High Bias(Train Error가 높음)

-> Complex Model 사용하여 해결

-> Train Error Rate 감소

High Variance(Validation/Test Error가 높음)

-> Regularization 사용 또는 Data 증가

-> Validation/Test Error Rate 감소