컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 5-4. Class Activation Map
컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 5-4. Class Activation Map
본 내용은 Edwith의 컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석을 요약 정리한 내용으로 DGIST 박상현 교수님과 Edwith, STAR-MOOC에 그 저작권이 있음을 미리 공지합니다.
URL : https://www.edwith.org/medical-20200327/lecture/63146/
Class Activation Map
Black Box 구조로 인하여 왜 결과가 나오는지 어떤 동작이 이뤄지는지 동작원리에 대해 알아보기 위한 연구가 이뤄지고 있습니다.
이런 연구 중 하나로 Class Activation Map이라는 것이 존재
Learning Deep Features for Discriminative Localization, CVPR 2016
마지막 Conv를 통과시킨 후 FC를 통과시키면 공간 정보가 사라지기 때문에 이를 극복하고자 Global Average Pooling을 사용하기 시작
Global Average Pooling
각 채널별 Feature map 전체를 Average Pooling하여 만든 node들은 채널의 개수와 같을 것입니다. 즉, 1개의 node는 1개의 feature map 전체의 Average Pooling한 값 1개
GAP를 통해 구한 node를 output layer와 연결함으로써 학습을 진행합니다.
Class Activation Map의 중요 Idea : GAP를 통해 생성한 channel별 feature map과 weight간의 관련성을 기반으로 유의미한 패턴들을 추출할 수 있다는 것
k 채널 x,y에 위치한 값을 다음과 같이 표기 : $f_k(x,y),F^k=\sum_{x,y}f_k(x,y)$
Abnormal에 대한 판단한 값을 $S_c$라고 표기 : $S_c=\sum_{x,y} \sum_k w_k^c f_k(x,y)$
이를 토대로 새로운 Activation Map을 얻는 것
Applications
Activation된 곳을 보고 Class 판별했다는 것을 알 수 있습니다.
우측 사진은 3차원 상으로 눈을 찍은 OCT 영상
CheXNet : Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning 2017
