[WebUI] 스테이블 디퓨전 모델 Checkpoint, Vae, LoRA, embedding 사용 방법 및 간단한 정리(초보자용)

안녕하세요  

 

오늘은 Stable diffusion 사용에 있어서 베이스 모델이 아닌 체크포인트나 로라를 사용방법에 대해 알아볼까 합니다.

 

일단 기본적으로 WebUI 설치를 하면 아마 1.5base 버전이있긴 하지만, 

 

막상 뽑아보면 원하는 수준의 이미지를 prompt 만으로 만들어 내는 것이 쉽지 않아 체크포인트(모델)을 사용합니다.

 

이런것을 보통 Fine-tuned model(미세 조정 모델) 이라고 합니다.

 

사용이유 

- 특정 분야 이미지에 대해 좀 더 편향된 이미지 생성을 위해서

 

사용 용어 정리

 

현재 사용중인 기능 관련 용어에 대한 초간단 정리(틀리면 님말이 맞지만, 그래도 알려주시면 수정하도록 하겠습니다.)

 

checkpoint - 이미지 장르, 그림체 같이 넓은 범위에 대한 설정을 위해 사용

vae - 이미지 보정(요새 필수로 사용하지 않는 체크포인트도 있음)

LoRA - 특정 피사체를 좀 더 편향되게 생성할 수 있게 해줌

embedding - 모델에 영향을 주지않고 프롬프트 학습을 시키는 방법(textinversion 과 같은말)

 

일반적으로 미세조정을 하기 위해 추가학습, 드림부스를 사용합니다.

 

모델 다운 일반적으로 받는 사이트

 

보통 아래 두개 페이지를 통해서 체크포인트와 로라를 받아 사용하고 있습니다.

 

1.https://civitai.com/

Civitai: The Home of Open-Source Generative AI

2.https://huggingface.co/

Hugging Face – The AI community building the future.

 

특정 체크 포인트 추천 기준

- 다운로드 수 많은거 

- 유툽, 블로그에서 자주 사용하는 모델 

 

테스트로 몇개만 써보고 본인 취향에 맞추어 디벨롭하면 될듯? 합니다.

 

저장경로

 

저장경로 (D drive -> stable-diffusion-webui 이순서로 폴더가 들어갈 수 있는 상태라고 가정했을 때)

대부분

D:\stable-diffusion-webui\models 이경로에 있고 

 

체크포인트 저장경로

D:\stable-diffusion-webui\models\Stable-diffusion

로라(lora) 저장경로

D:\stable-diffusion-webui\models\Lora

VAE 저장경로

D:\stable-diffusion-webui\models\VAE

 

embedding(text inversion) 만

D:\stable-diffusion-webui\embeddings 이경로에 있음

 

WebUI에서 사용성을 위한 설정

 

보통 checkpoint만 선택 가능하지만 Userinterface 설정하는 곳에 가서 

 

Quicksettings list에서 추가 진행하면 된다.

 

위 사진에서 위에서 아래순으로 체크한 부분을 눌러서 넘어가면 됨

순서: Settings - User interface - Quicksettings list

 

그럼 상단에 위와 같이 선택할 수 있는 부분이 생김

 

사실 로라 같은  경우는 프롬프트에서 넣는 방법이 더 편하기 때문에 필수적이라고 생각하지 않음

 

사용방법

 

이미 위 사진에도 나와있지만 상단에서 사용할 모델선택 or 아래 박스에서 선택 사용하면됨 

 

사용방법 간단한 정리

내가 설정한 기준(설정은 본인 입맞에 맞추어 바꾸면 됨)

 

chceckpoint, Lora - 제일 윗부분 + 바로 위에 사진에서 표시한 부분에서 모델 선택 가능

VAE - 제일 상단에서 선택

embedding(text inversion)  -  바로 위에 사진에서 표시한 부분에서 선택 가능

 

다 설정했으면 prompt 입력을 하고 generate 하면됨

 

seed 부분이 -1이면 랜덤이기 때문에 같은 입력에도 계속 다른 이미지 생성을하니

 

어느정도 원하는 그림이 나오면 seed 고정을하고 prompt를 활용하면 좋을 듯하다

 

이미지 저장경로

 

이미지는 나와 같은 경우 아래 경로에 저장된다. 

D:\stable-diffusion-webui\outputs\txt2img-images\2023-12-11

 

 D -  stable-diffusion-webui - outputs - txt2img-images - 생성날짜 에 들어가면 있음

 

추가로 알아두면 좋은 내용

 

로라 같은 경우 모델 선택을 안해도

prompt 상에서

이런식으로 작성 하면됨 <lora:more_details:1>

혹은 위 사진에 있는 Lora 들어가서 카드누르면 같은 문구가 나와서 작성을 해줌

 

embedding(Textual inversion)

은 카드 누르니까 해당 카드단어가 바로 나온다.

 

생성한게 항상 잘 나오지는 않는다점을 알아두길...

 

그럼 다음에 이어서 webui 관련 글로 찾아오도록 하겠습니다.