컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석 3-5 Advanced CNNs(ResNet, InceptionNet, DenseNet)
본 내용은 Edwith의 컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석을 요약 정리한 내용으로 DGIST 박상현 교수님과 Edwith, STAR-MOOC에 그 저작권이 있음을 미리 공지합니다.
URL : https://www.edwith.org/medical-20200327/lecture/63135/
Residual Network
layer가 많다면 error가 줄 것이라 생각하지만 실제로는 overfitting 문제를 야기하기 때문에 layer 수가 많다는 것이 꼭 좋은 것은 아니었습니다.
(Plain network의 보통 Test 시 확인이 가능한데 layer가 많을 때 Training에서도 좋은 것이 아님을 확인할 수 있습니다.)
그러나 ResNet은 152개의 layer에서도 좋은 성능을 보이는 논문입니다.
skip connection을 통한 좋은 결과를 확인할 수 있습니다.
He et al., 2015. Deep residual networks for image recognition
Inception Network
GoogLeNet이라고도 불립니다.
중간 중간 cost 계산을 확인할 수 있습니다.
Inception Module
다양한 filter들에 대한 결과로 같은 size의 Inception Module concatenate를 함으로써 구하는 Module입니다.
이 Module에서 주목해야 하는 것 중 하나는 1x1 Convolution의 존재입니다.
이는 parameter를 줄이기 위한 방안입니다. 이는 결국 Computation problem과 연관된 문제입니다.
ex) input image : 28x28x192일 때
5x5x32 conv를 바로 사용하면 parameter 수는 5x5x32x192
그러나 1x1x16 이후 5x5x32 conv를 사용하면
parameter 수는 1x1x16x192 + 5x5x32x16
1x1 conv를 사용하는 또 다른 이유는 1x1 conv를 통과시킨 후 non-linear한 activation function을 사용함으로써 더 복잡한 decision boundary를 만들고 싶을 때 사용하기도 합니다.
1x1을 통과시킨 후 다른 크기의 filter를 가지는 conv를 통과시키는 구조. 즉, 줄어들었다가 늘어나는 구조를 Bottleneck layer라 합니다.
Szegedy et al., 2014 Going Deeper with Convolutions
https://arxiv.org/abs/1409.4842
Lin et al., 2013 Network in network
Dense Network
feature map들을 계속 concatenation함으로써 붙여 늘리는 방법론
skip connection을 dense하게 구성함으로써 성능을 늘릴 수 있음을 제시
parameter를 줄여주는 장점이 있습니다.
Huang, Gao, et al., 2017, Densely connected convolutional networks
