컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 4-6. Evaluation of classification model

본 내용은 Edwith의 컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석을 요약 정리한 내용으로 DGIST 박상현 교수님과 Edwith, STAR-MOOC에 그 저작권이 있음을 미리 공지합니다.

Evaluation of Classification Model

ex)

Binary Classifier에 대한 Prediction은 0~1의 값이 나온다고 가정했을 때

0.5를 Decision Boundary로 하여

Prediction > 0.5의 경우 Positive Prediction

Prediction < 0.5의 경우 Negative Prediction

으로 분류하는 것을 통해 Real Positive와 Real Negative가 정확히 분류되기를 희망합니다.

그러나 현실은 정확히 분류되지 않습니다.

Confusion Matrix를 통해 Real과 Prediction간의 관계를 확인할 수 있습니다.

Recall : FN이 낮아야만 Recall이 높아집니다.

Specificity

Precision : FP가 낮아야만 Precision이 높아집니다.

Accuracy : FP, FN이 낮아야만 Accuracy가 높아집니다.

상황에 따라 중요하게 여기는 척도가 다릅니다.

ex) 의료의 경우 Normal을 Cancer로 진단하는 것보다 Cancer가 Normal로 진단하는 것이 훨씬 위험하기 때문에 Cancer 환자를 잡기 위해 초점을 많이 맞춥니다. 이럴 때 Accuracy measure를 쓰면 문제가 됩니다.

때문에 Screening test에 대하여 Sensitivity(Recall) 값이 100%가 되도록 해야합니다.

즉, False Negative 값이 작도록 하는 것

= Positive지만 Negative로 분류하는 것

= cancer지만 Normal로 판별하는 것

Screening test 선별검사 : 특정 질병이 있는 사람을 건강한 사람과 구별하기 위하여 시행하는 검사로, 대개 민감도가 높고 비교적 간단하게 시행할 수 있어야 합니다. 선별검사에서 이상이 나타난 경우, 정밀한 검사를 통하여 질병의 유무를 진단해야 합니다.

그 외 metric

1. ROC Curve(Receiver Operating Characteristics Curve)

- x축 : 1-TNR(Specificity), y축 : TPR(Recall)

2. AUC(Area Under a ROC Curve)

AUC가 1에 가까울수록 좋은 것(면적이 클수록 사각형에 가까움)

x축(1-TNR)의 값이 작을 때는 TNR이 1에 가까울 것입니다. 이 말은 FP가 0에 가깝다는 의미. 여기서 좋은 classifier라면 Recall 값이 크겠지만 나쁜 classifier라면 Recall 값이 작을 것입니다.

반대로 x축(1-TNR)의 값이 1에 가까울 때는 TNR이 0에 가까울 것입니다. 이 말은 FP의 값이 크다는 의미입니다.

F1 Score : Harmonic mean of Recall and Precision

Recall과 Precision의 Harmonic mean(조화 평균)

Recall은 FN와 연관이 깊고 Precision은 FP와 연관이 깊습니다.

다만 FN과 FP는 둘 다 높을 때가 가장 좋으나 그 지점을 찾기 어려운 단점이 있습니다.

F1 Score는 Class가 imbalance한 data에 대한 measure하기위해 많이 사용합니다.