컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 5-1. Feature selection using L1 regularization

본 내용은 Edwith의 컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석을 요약 정리한 내용으로 DGIST 박상현 교수님과 Edwith, STAR-MOOC에 그 저작권이 있음을 미리 공지합니다.

어떤 이유로 암인지를 판정한 것인지 또한 중요합니다.

5주차에서는 여러 특징들 중 분류를 하는데 중요한 역할을 하는 특징들을 선택, 결정에 중요한 역할을 한 부위를 추출하는 법에 대해 알아볼 것입니다.

Feature Selection

Free Surfer를 통한 다양한 feature들을 뽑을 수 있습니다.

많은 feature -> overfitting 문제 야기

regularization을 통해서도 feature를 뽑아낼 수 있습니다.

L2 Regularization 대신 L1 Regularization을 사용하면 일부 parameter를 0에 가깝도록 줄이는 것이 가능

절대값 w를 >0일 때 미분 값 1, <0일 때 미분 값 -1, 0일 때 미분 값 0

sgn(w)

이에 따라 w update 시 regularization term 미분값으로 양수일 때는 w가 작아지고 음수일 때는 w가 커집니다.

Lasso Regression이라 부르기도 합니다.

Sparse Representation

이를 통해 몇몇 w를 0으로 만들어주는 효과를 보입니다.

원점이 아닌 곳의 cost function의 경우

1) Regularization이 없는 경우 : Gradient Descent를 통한 cost function을 구할 것입니다.

2) L2 norm Regularization이 있는 경우 : L2_norm의 cost가 minimize하는 방향으로 갈 수 있습니다. (원점을 기준으로 여러 방심원들의 모양)

3) L1 norm Regularization이 있는 경우 : L1_norm의 cost가 minimize하는 방향으로 갈 수 있습니다. (원점을 기준으로 여러 마름모들의 모양)

L1 Regularization을 통해 특정 parameter w를 0으로 만들면서 cost를 minimize할 수 있는 w를 찾을 수 있습니다.

이를 통한 특정 패턴을 추출이 가능합니다.