"Image Super-Resolution using Gradient Profile Prior" 요약 - CVPR 2008
"Image Super-Resolution using Gradient Profile Prior" 요약 - CVPR 2008
2021.05.11 기준 954회 citation
저자 Jian Sun, Zongben Xu, Heung-Yeung Shum(현 기준 Microsoft)
Summary에 앞서 해당 논문은 Deep Learning 기반 모델이 아니기 때문에 해당 논문의 큰 특징만을 살피는 식으로 정리해보도록 하겠습니다.
핵심
핵심 사용 : gradient profile prior을 Image Super-Resoluiton에 사용함
장점 1. 더 날카로운 shape 묘사한다.
장점 2. ringing(울리는?) 또는 jaggy(둘쭉날쭉한) artifact가 드물게 나온다.
2. Gradient Profile Prior
저자들이 사용한 방법
1) 지역적 이미지 구조들에 따른 이미지 gradient
2) HR 이미지와 LR 이미지간 image gradient의 통계적 의존성
(1) 분산의 제곱 루트를 사용하여 gradient profile의 sharpness를 측정한다.
날카로운 이미지 gradient profile일 수록 분산은 작다. (Figure 1 참조)
(2) 모든 edge 픽셀들의 sharpness를 추정하기 위해 아래 energy를 최소화한다.
(3) 이미지에서 gradient profile의 규칙성을 찾는다. 이 때 general exponential family distribution인 Generalized Gaussian Distribution(GGD)를 사용하여 gradient profile의 분포에 맞춘다.
...
(?) Pearson의 $\chi^2$ hypothesis-test를 사용하여 fitted 분포의 적합성을 측정한다.
3. Gradient Prior for Image Super Resolution
Super resolution 적용에 앞서 우선 gradient profile을 선행한다.
3.1 Gradient field transformation
최종적으로 구성된 이미지에 poisson equation을 사용
3.2 HR Image reconstruction
HR 이미지 재구성에 있어 gradient domain 제약을 사용한다.
각 식에 대한 해석은 다음과 같다.
Reconstruction Constraint : High resolution과 Gaussian filter의 convolution operator를 사용한 후 down-sample한 것을 LR 이미지와의 차이 제곱을 한다
Gradient Contraint : transformed HR gradient field = $\bigtriangledown I_h^T$
경사하강법을 이용한 learning based methods Super Resolution을 진행한다.
(c)가 저자들의 이미지이고 (d)는 Ground Truth 이미지인데 gradient field에서의 결과는 GT에 가깝고 실제 이미지 역시 Ground Truth에 가깝다.
저자들의 방식 : transformed gradient field에 의해 guide된 날카로운 HR 이미지 생성
4. 실험
색이 있는 이미지의 경우 grayscale channel에서의 이미지 super resolution만 수행하고 upsample을 bicubic interpolation을 사용한다.
gradient 기반 재구성 방법이 더 적은 artifact와 더불어 Ground Truth에 가까운 이미지 생성을 진행했다.
5. 결과
gradient constraint를 통해 세부사항을 더 날카롭게 하고 edge에 따라 생기는 ringing, jaggy artifact를 억제한다.
noisy LR image의 경우 노이즈 때문에 gradient가 부정확할 수 있기 때문에 denoise, super resolution한 이후 upsample하는 방식을 제안한다.
