[ComfyUI] 스테이블 디퓨전 ComfyUI LoRa 사용하기(LoRA 여러개 사용하기 포함)

안녕하세요 

 

오늘은 ComfyUI Lora 사용법에 대해 알아보려고 합니다. 

 

첫글에서 이미 A11에서 사용하는 모델 디렉토리 공유를 하고 있기 때문에 lora 또한 사용이 가능해서 \

 

어떻게 사용하는지 알아보도록 하겠습니다.

 

Load Lora 생성하기

 

1.화면에서 빈부분에 더블클릭 하면 아래와 같은 페이지가 나옴

 

2. lora 타이핑해서 위에꺼 선택

 

3. 생성완료

 

노드에 LoRA 연결하기

 

생성을 하였으니 이제 노드에 연결해보겠습니다.

 

1. checkpoint에 있는 MODEL, CLIP 을 Load LoRA 왼쪽에 있는 model, clip 에 연결 

 

2. LoRA에서 나오는 MODEL은 KSampler model에 CLIP은 prompt(positivve, negative)에 각각 연결

 

대충 이런식으로 연결되어 있음 (보기 쉽게 정리하려고 좀 움직여 봤는데 잘 보일지 모르겠네요...)

 

일단 글로 한번더 정리 

 

체크포인트

MODEL, CLIP - Load LoRA 에 연결

VAE - VAE Decorde 에 연결

 

로라

MODEL - KSampler model 에 연결

CLIP - CLIP Text Encoder 에 연결

 

CLIP Text Encoder 

CONDITIONING - 각각에 맞는 KSampler positive, negative에 연결

 

Empty Latenet Image -  KSampler latent image 에 연결

 

KSampler 왼쪽(들어오는 부분)

위에 4개 이미 연결되어있음

KSampler 왼쪽(나가는 부분)

LATENT - VAE Decode smaples에 연결

 

VAE Decode(들어오는 부분)

연결되어 있음

VAE Decode(나가는 부분)

IMAGE - Save Image 에 있는 image에 연결

 

이러면 일단 LoRA까지 A11 처럼 사용하여 이미지 생성을 할 수 있습니다.

LoRA 1개 사용 이미지(LCM 로라만 사용해서 사실 큰 이펙트는 없습니다)

 

LoRA 여러개 사용하기

 

A11에서는 태그를 사용해서 보통 로라를 여러개 사용하는 방식을 이용하고 있는데 여기서는 일단 UI 상으로 사용법이 있습니다

 

1. Lora 창을 하나 더 생성(복붙가능)

 

요사진 처럼 로라를 연속하여 연결을 해주고 마지막 로라에서  노드를 prompt 와 KSampler model 쪽으로 빼주면 됩니다

 

LoRA 2개 사용 이미지(LCM + more_deltails 사용)

로라를 추가한거 제외하고 바꾼점은 없지만 나름 detail해진 것을 확인할 수 있습니다.

 

추가로 해본 것

LoRA 3개 사용 이미지(LCM + more_deltails + Explosive dust 사용)

 

 

대충 이런식으로 생성이 가능하다 프롬프트 창이 쓰기 은근히 귀찮은 느낌이 없지않아 있긴하다

 

그럼 다음에 또 다른 ComfyUI 관련 내용 작성을 통해 찾아오도록 하겠습니다.