[부스트코스] GAN & Conditional Generative Model

1. Conditional Generative Model

1-0. GAN(Generative Adversarial Networks)

GAN의 구조

위조 지폐범이 생성 모델로 가짜 데이터 생성

경찰이 데이터의 진위 여부를 판별

학습을 통해 생성 모델과 판별 모델의 성능을 높여 전반적 성능을 높인다(D와 G의 적대적 상호 작용)

 

 

GAN의 목적 함수

실제 이미지를 잘 예측했다면, D(x) = 1 이므로 log(D(x)) = 0

만약에 fake 이미지로 예측 했다면, D(x) = 0 이므로, log(D(x)) = - infinity

 

만약에 fake 이미지가 input일 때 실제 이미지로 예측 했다면 D(x) = 1이므로, log(1-D(x) ) = - infinity 가 되고,

제대로 예측 했다면 log(1-D(x)) = 0

 

Discriminator의 objective function은 최대 값이 0, 최소 값은 - infinity 이며,

우리가 원하는 것은 항상 제대로 예측하는 discriminator가 되는 것, 즉 항상 최대값인 0의 성능

 

그렇다면 지금까지와는 다르게 최대 기울기를 향해 학습(gradient ascending)으로 진행

 

 

1-1. Conditional generative model

Translating an image given condition

서로 다른 두 도메인을 translation 하는 GM

하나의 정보(조건)가 주어질 때 특정 결과가 나오는 확률을 CGM 이라 한다

일반 모델과 비교

GM은 랜덤하게 생성만 가능

 

CGM은 주어진 스케치(조건)에 부합하며 랜덤하게 생성 

예시

저음질 음원을 고음질 음원으로 업샘플링 하기, 글씨 개선하기, GPT(Generative Pre-trained Transfer)등이 있다

 

1-2. Conditional GAN and  image translation

GAN과 Conditoin GAN의 차이점

입력으로 조건(condition)이 추가되어 생성되는 결과물이 달라질 수 있다

1-3. Example: Super resolution

GAN을 활용한 이미지 변환 

스타일 변환기, 해상도를 업그레이드, 색상 입력 등이 있다

 

super resolution

저해상도 이미지를 입력 받아 고해상도로 출력

 

 

구조

입력은 저해상도, 출력은 고해상도

판별기가 고해상도 이미지의 통계적 특성과 비교하여 upscaling model을 생성

 

 

다른 방식

L1 or L2 loss 를 사용하여 CNN 형성

 

 

해상도는 높아지지만 blurry한 이미지다

다른 값들과 오차가 전반적으로 작은 데이터를 선택한다

픽셀의 차이를 사용하므로 고해상도에 적용할 경우 좋은 성능을 기대하기 어렵다

 

2. Image Translation GANs

2-1. Pix2Pix

2-2. CycleGAN

2-3. Perceptual loss

3. Various GAN Applications

 

---

 

아래 사이트를 정리한 자료입니다

컴퓨터 비전의 모든 것 > 오리엔테이션 : 부스트코스 (boostcourse.org)

5강 Advanced Models

 

GAN의 기초(GAN,DCGAN,WGAN,CGAN) (velog.io)