AI 재미있는 사이트 2. NVIDIA GAUGAN

NVIDIA GAUGAN 소개

이미지 합성 또는 GAN이라는 생성 모델을 활용한 재미있는 사이트들은 매우 많습니다. 저는 오늘 그중에서도 Segmentation을 통한 그림으로 이미지가 즉각적으로 생성되는 NVIDIA의 GAUGAN에 대해 소개해보고자 합니다.

재미있게 즐길 수 있는 사이트이기에 가벼운 마음으로 보고 사용해보시는 것을 추천드리고 싶습니다.

사이트 URL : nvidia-research-mingyuliu.com/gaugan/

nvidia-research-mingyuliu.com

우선 GAUGAN 논문이 궁금하신 분이 있을 수 있기 때문에 아래 URL에 남겨두도록 하겠습니다.

논문의 이름은 Segmentic Image Synthesis with Spatially-Adaptive Normalization으로 2019 CVPR에서 발표된 논문입니다.

논문 URL : arxiv.org/abs/1903.07291

Semantic Image Synthesis with Spatially-Adaptive Normalization

We propose spatially-adaptive normalization, a simple but effective layer for synthesizing photorealistic images given an input semantic layout. Previous methods directly feed the semantic layout as input to the deep network, which is then processed throug

arxiv.org

해당 논문 발표 당시 많은 연구자들은 NVIDIA의 기술력과 창의력에 감탄하며 즐거운 시간을 가졌다고 들었습니다. 바로 우리는 그 실험은 지금 해보게 되는 것이죠.

해당 논문에 대한 블로그는 아래와 같습니다.

blogs.nvidia.com/blog/2019/07/30/gaugan-ai-painting/

Over Half-Million Images Created with GauGAN AI Art Tool | NVIDIA Blog

From amateur doodlers to leading digital artists, creators are producing masterpieces with GauGAN, NVIDIA Research's AI painting web app.

blogs.nvidia.com

NVIDIA GAUGAN Demo 사용법

사용법은 매우 간단합니다. NVIDIA측에서 사용법에 대해 Youtube 영상을 만들었고 실제로 간단히 따라 하면 됩니다. 이후는 창의성을 발휘하여 진행할 수도 있습니다. 물론 2019년도에 만든 Demo Guide이기 때문에 약간의 변화가 있지만 아래 제가 사용법에 대해 간단히 적었으니 참조 부탁드립니다.

URL : www.youtube.com/watch?v=NKFrg9HMYaY&feature=emb_logo&ab_channel=NVIDIA

An Artist’s New Tool: How the World’s Leading Creators Use GauGAN - NVIDIA Youtube

1) Check box에 체크하기

이전 버전과 다른 점이라고 한다면 우선은 NVIDIA에서 제공하는 app 사용에 따른 상업적 활용에 동의해야 한다는 점입니다. 당연히 공짜로 app을 사용하는데 이 정도야 ㅎ

위에 보이시는 사진에서 빨간 행이 있을 것입니다. 왼쪽 하얀 박스를 클릭하면 체크가 되니 체크!

2) 바꾸고자 하는 카테고리와 Segmentation 도구 선택

좌상단을 확인하면 Building, Ground, Landscape, Plant 카테고리가 존재하고 그 하위 카테고리로 또 추가 항목들이 존재할 것입니다. 가령 예를 들어 Building 카테고리에는 Bridge, Fence, House, Platform, Roof, Wall-brick, Wall-stone, Wall-wood가 존재합니다. 다른 항목들 역시 마찬가지입니다.

해당 항목을 선택했다면 이제 도구를 선택할 차례입니다.

상단부터 '새로 열기', '붓', '채우기', '되돌리기'의 이미지를 확인하실 수 있습니다.

여기서 우리는 해당 카테고리에 맞게 선택하면 되지만 제가 생각하기에 붓을 가장 많이 사용하는 것 같습니다. 더불어 만약 붓을 사용할 때 사이즈나 모양을 바꾸고 싶다면 최상단을 이용하여 바꾸실 수 있습니다.

추가로 색은 변경이 불가능하며 각 카테고리마다 색이 정해져 있습니다. 때문에 겹칠 일은 없습니다.

TIP

붓을 사용한 곳에 채우기를 하고 싶다면 반드시 새어나가는 곳이 없도록 막혀있어야 합니다. 그렇지 않다면 배경 전체가 채워질지도 모릅니다.

3) Segmentation 박스에 칠해보기

저는 돌을 한 번 칠해보겠습니다.

Landscape - Rock을 선택

Brush 선택(마름모 모양에 60 사이즈 선택)

해당 결과는 어떻게 나올까요

아주 멋지게도 돌과 바다가 잘 융화되어 그림이 생성되었습니다.

저는 여기에 잡초를 선택하여 돌 위에 한 번 그려보겠습니다.

생각보다 잘 나오지 않네요. 아마도 배경이 너무 어두워서 그런 것 같습니다. 하단에서 Custom Style 배경을 선택해봅시다. 2번째가 밝아 보이니 2번째를 선택해서 결과를 보면 어떨까요

확실히 밝아지니 bush가 잘 보입니다. 좀 더 멋있어진 느낌이 드는 것은 착각일까요.

이번에는 나무를 배경으로 설정한 후 시작해보겠습니다.

우선은 새로 열기를 하여 채우기로 Plant-Tree를 아래에 채워 넣어 보았습니다.

벌써부터 그럴듯해 보이는군요.

Hill 언덕도 넣고, Rivier 강도 넣고, Cloud 구름도 넣고 하다 보니 아래와 같이 되었네요.

물론 만능이 아니고 App으로 제공되었기 때문에 뭉개지는 현상은 일어날 수밖에 없습니다. 그럼에도 강의 묘사라던지 나무들의 표현이 봐줄만하네라고 할 정도의 결과물을 얻을 수 있는 것 같습니다.

4) 저장

상황에 따라 다르겠지만 자신이 만든 Segmentation과 결과물을 저장하고 싶을지 몰라 NVIDIA에서는 저장 기능도 넣어두었네요.

gaugan_output (7).jpg

0.07MB

위에서는 제가 잠깐 넘어가듯 말씀드렸지만 Style Transfer 기술 또한 적용할 수 있어 랜덤박스 배경을 통해 Style 변형이 가능합니다. 이를 다른 Custom 이미지로도 가능하여 저는 절규하는 몽크를 넣어봤는데 그다지 이쁘지는 않네요. 그러나 다른 것들을 시도해봄으로써 즐거움을 느껴볼 수도 있을 것 같습니다.