PR-113 "The Perception Distortion Tradeoff" Review (2018 CVPR)(Image Restoration)

1. Citations & Abstract 읽기

Citations : 2021.12.22 기준 352회

저자

Yochai Blau and Tomer Michaeli - Technion–Israel Institute of Technology, Haifa, Israel

Abstract

이미지 복원 알고리즘은 일반적으로 몇몇 왜곡 측정 (예를 들어 PSNR, SSIM, IFC, VIF) 또는 인지된 지각적 품질을 정량화하기 위한 인간 의사 점수로 평가된다. 이 논문에서, 우리는 왜곡과 지각적 품질이 상충한다는 것을 수학적으로 증명한다. 구체적으로, 우리는 진짜 이미지들로부터 이미지 복원 알고리즘의 결과를 정확히 구별하기 위한 최적의 확률을 연구한다. 우리는 평균 왜곡이 감소함에 따라 이 확률이 증가해야한다는 것을 보인다. (더 나쁜 지각적 품질을 가르킴. (?, 평균 왜곡이 감소하는데 왜 지각적 품질이 나빠....)) 일반적인 믿음과 달리, 이 결과는 어떠한 왜곡 측정에도 유효하며 PSNR 이나 SSIM 기준의 문제만이 아니다. 그러나 실험적으로 보여주듯이, 몇몇 측정의 경우 (예를 들어 VGG feature들 간 거리) 덜 심각하다. 우리는 또한 GAN이 인식 왜곡 경계에 접근하는 원칙적인 방법을 제공한다는 것을 보여준다. 이것은 낮은 수준의 비전 작업에서 관찰된 성공에 대한 이론적 뒷받침을 구성한다. 우리들의 분석을 기반으로, 우리는 이미지 복원 방법을 평가하는 새로운 방법론을 제안하고 최근 초고해상도 알고리즘 간의 광범위한 비교를 수행한다.

be at odds with ~와 불화하다

hold true 진실이다. 유효하다. 딱 들어맞다.

개인적 정리

제안 : 이미지 복원에 있어 왜곡과 지각적 품질이 상충함을 수학적으로 증명하고 최적의 복원 및 초고해상도 평가 방법론을 제안함.

결과 : 증명과 방법론의 유효성과 타당성을 확인

PR 113: The Perception Distortion Tradeoff

Tensorflow Korea 논문읽기 모임 PR12의 113번째 발표는 The Perception Distortion Tradeoff입니다.

www.slideshare.net

알고리즘을 제안하는 것이 아니라 현상을 기술하는 논문

Perception-Distortion Trade-off

Low Distortion & Good Perceptual Quality 모두를 가지는 것은 어렵다

Image Prediction - Super Resolution, Inpainting, Dehazing, Denoising, Deblurring

Task들의 최종목표

1) GT image와 비슷함 = High PSNR = Low Distortion (Error)

2) Good perceptual Quality

의문 : Ground Truth 이미지와 멀어져도 지각적 질이 좋아지는 것이 좋은 것인가

Definition: Distortion

How similar to Ground Truth? 얼마나 원본 이미지와 비슷한가

Full Reference Metric - MSE, SSIM, MS-SSIM, IFC, VIF, Perceptual Loss

Definition: Perceptual Quality

The Degree to Which it Looks Like a Natural Image

확률의 Divergence 개념으로

Perceptual Quality - No-Reference Metric(BRISQUE, BLIINDS-2, NIQE, Ma et al.), Real & Fake Test, Divergence in GANs (Total Variation, Jenson-Shannon Divergence, Wasserstein Distance, Any f-Divergence)

NIQE : Natural Image 통계 기반 추출로 모델을 구성 vs Noise 있는 Image 통계 기반 모델 구성 차이