아이공의 AI 공부 도전기

PR-125 " ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKS

" Review (2017 ICLR)(GAN)

 

 

     

 

1. Citations & Abstract 읽기

Citations : 2022.01.11 기준 1129회

저자

Junbo Zhao, Michael Mathieu and Yann LeCun - Department of Computer Science, New York University, Facebook Artificial Intelligence Research

Abstract

 

우리는 데이터 매니폴드 근처 지역에 낮은 에너지를 주고 다른 지역에는 높은 에너지를 주는 에너지 함수로써의 discriminator를 바라보는 EBGAN을 소개한다. 확률론적 간과 비슷하게 generator는 최소한의 에너지로 대조 샘플을 생성하도록 훈련되는 반면 discrimiantor는 생성된 샘플들에 높은 에너지를 할당하도록 훈련한다. discriminator를 에너지 함수로 바라보는 것은 logistic 출력을 사용하는 일반적인 이진 분류기뿐 아니라 다양한 아키텍쳐와 손실 함수를 사용하는 것이 가능하게 한다. 그 중에서도, 우리는 에너지가 discriminator 대신 reconstruction error를 포함하는 Auto-Encoder 아키텍처를 사용하여 EBGAN 프레임워크의 인스턴스화를 보여준다. 우리는 EBGAN의 이런 형태가 훈련 중 일반 GAN보다 더 안정적인 동작을 보여준다는 것을 보인다. 우리는 또한 단일 크기 아키텍처가 고해상도 이미지 생성할 수 있도록 훈련되어짐을 보여준다.

 

contrastive 대조하는

in place of ~을 대신해서

 

개인 정리

Energy Function을 활용한 Generator와 Discriminator간의 관계성으로 더 안정적인 학습이 가능하게 한 EBGAN을 소개함.

 

2. 발표 정리

공식 논문 링크

https://openreview.net/pdf?id=ryh9pmcee 

https://arxiv.org/abs/1609.03126

 

Energy-based Generative Adversarial Network

We introduce the "Energy-based Generative Adversarial Network" model (EBGAN) which views the discriminator as an energy function that attributes low energies to the regions near the data manifold and higher energies to other regions. Similar to the probabi

arxiv.org

 

Presentation Slide

https://www.slideshare.net/MingukKang/ebgan

 

Ebgan

PR12 ENERGY BASED GAN PPT

www.slideshare.net

Contents

https://youtu.be/8PoewOpK6b4

 

 

Energy based 수학적으로 어려움.

알고보면 쉽다.

 

Supervised Energy based model

최종 output에 대한 loss를 Energy로 판별하여 활용

 

Unsupervised Energy based model

Energy Surface에 존재하는 manifold 상의 표현으로 활용

slide 7

Auto-encoder의 구조를 가지는 Decoder로 loss를 사용

Discriminator 관점

real image에 대한 energy를 낮게 주는 방향으로

fake image에 대한 energy를 높게 주는 방향으로

 

Generator 관점

fake image에 대한 energy를 낮게 주는 방향으로

 

 

Energy가 높으면 불안정한 상태 /  낮으면 안정한 상태

 

batch를 크게 할 수 있다는 장점

Data-manifold 학습이 잘 됨

 

 낮은 에너지가 목표

 value function이 m보다 작게됨

 

샌드위치 정리에 의해 optimal value function은 같을 때 성립

 

Regularization

높은 에너지 -> 낮은 에너지

Pulling-away Term(PT)를 활용하여 mode collapse 일부 예방

 

  

공유하기

facebook twitter kakaoTalk kakaostory naver band
loading