VAE란?
VAE는 생성된 그림의 후보정 필터 역할을 합니다. VAE를 적용하면 적용하지 않은 그림보다 더 또렷하고 이쁜 그림이 완성됩니다. 각 모델마다 맞는 VAE가 다르기 때문에 모델을 바꿔줄 때에는 VAE도 바꿔줄 필요가 있습니다.
이 포스팅에서는 가장 널리 쓰이는 VAE 2가지를 다운로드하는 방법과 적용방법에 대해 알려드리겠습니다.
VAE 다운로드
1. kl-f8-anime2.ckpt
vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main
Git LFS Details SHA256: df3c506e51b7ee1d7b5a6a2bb7142d47d488743c96aa778afb0f53a2cdc2d38d Pointer size: 134 Bytes Size of remote file: 405 MB Git Large File Storage (LFS) replaces large files with text pointers inside Git, while storing the file contents on
huggingface.co
가장 널리 쓰이며 대부분의 2D 그림 모델에 호환이 되는 VAE입니다.
2. 840000-ema-pruned.ckpt
Yukihime256/840000 at main
Detected Pickle imports (4) "torch.IntStorage", "torch._utils._rebuild_tensor_v2", "collections.OrderedDict", "torch.FloatStorage" What is a pickle import?
huggingface.co
가장 널리 쓰이며 대부분의 실사 그림 모델에 호환이 되는 VAE입니다.
VAE 적용 방법
Settings - Stable Diffusion - SD VAE에 들어갑니다.
기본값은 None 혹은 Automatic으로 되어있을 껍니다.
WebUI\repo\models\VAE 폴더에 다운로드 받은 VAE를 넣어줍니다.
VAE설정 메뉴 오른쪽의 새로고침 버튼을 누르면 다운 받은 VAE를 적용할 수 있는 것을 확인할 수 있습니다.
Apply Setting를 누른 뒤 Reload UI를 눌러주면 적용이 끝납니다.
VAE를 사용했는데 변화가 없는 경우
일부 모델은 모델 안에 자체적으로 VAE가 병합되어있는 경우가 있습니다.
위의 부분이 체크되어있다면 모델에서 기본으로 쓰는 VAE를 우선하기 때문에 앞서 설정했던 VAE가 무시될 수 있습니다. 최근에 나오는 모델의 경우 VAE가 자체적으로 병합되어 있는 경우도 많기 때문에 체크설정을 해두시는 것을 권장합니다.
어떤 VAE를 적용해야할 지 모르는 경우
각각의 모델마다 필요로 하는 VAE가 다를 경우 대부분 모델 설명란에 추가적인 설명을 적어놓습니다. 이전 글에서 소개드린 오렌지믹스의 경우를 살펴보겠습니다.
WarriorMama777/OrangeMixs · Hugging Face
AOM3 Counterfeit2.5 Add SUM @ 1.0 0,0.6,0.6,0.6,0.6,0.6,0,0,0,0,0.6,0.1,0.6,0.6,0.6,0.6,0.6,0.5,0.1,0.1,0.6,0.6,0.2,0.6,0.6,0.6 AOM3A3
huggingface.co
Model card에 해당 모델에 대한 설명이 들어있습니다.
Ctrl + F를 눌러 VAE를 검색하면 필요한 VAE에 대한 설명을 쉽게 찾을 수 있습니다. 설명에 따르면 orangemix.vae.pt가 필요하다고 합니다.
Files and versions - VAEs에 들어가 orangemix.vae.pt를 다운로드하여 적용하면 됩니다.
