[WebUI] ControlNet 사용해서 이미지 포즈 바꾸어보기~!

안녕하세요 ~! 

 

오늘은 ControlNet을 사용해보려고함

 

ControlNet은 이미지 생성시 나오는 포즈를 바꾸는데 일반적으로 사용하고 있음

 

사용방법

 

1. Extension에서 Controlnet 추가

 

사진처럼 Extensions에가서 아래 url 추가해주고 install 눌러서 설치 진행하면됨

 

https://github.com/Mikubill/sd-webui-controlnet.git

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

 

위 사진처럼 설치가 되어있는지 확인 가능함

체크한 부분이 새로 생긴 것을 확인할 수 있음 

 

열면 대략 이런식으로 생겼음

 

 

2. ControlNet Preprocessor에 사용할 모델 다운 (아래 링크에서 원하는 모델 사용을 하면됨)

모델이 전처리를 사용해서 이미지를 재구성 하는 모델

 

일단 테스트차원에서 openpose, canny, depth 정도만 받았음 

Canny: 스케치 같이 따와서 진행하는듯?

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

lllyasviel/ControlNet-v1-1 at main

3. 적용해보기

 

적용하기 전 먼저 포즈에 사용할만한 이미지를 찾아보자.

 

 

사용순서

1. 이미지 업로드

2. Enable 체크

3. 전처리 모델 선택 

4. 모델이 작동되는지 확인하기(마지막 체크박스 가운데 있는 불꽃모양 클릭)

5. prompt 입력 

(나의 경우 퀄리티 관련된 프롬프트만 입력하고 진행하였음)

 

Canny 비교 결과: 

 

이 이미지는 잘 안되서 확인해보면

얼굴 근처 선을 잘 못따서 그럴지도?

일단 기본적인 프롬프트로 전신 생성을 하면 일반적으로 얼굴같은 경우는 자주 박살나서 나오긴... ㅋㅋ

 

Depth 사용

여기부터는 비교사진보단 어떻게 나오는지 보겠음

 

마지막은 거의 그냥 새로운 이미지가... 사실 저것도 얼굴이 뭉게졌는데 보정해서 뽑았음

 

아주 검게 나오는 부분(멈) 하얀부분(가까움으로) 잡고 생성하는듯?

 

Openpose 사용

이건 인체 포즈만 참조하여 생성함

요걸쓰면 또 하트를 못만드는구만...

 

MLSD: 이미지에서 직선부분만 추출해내서 이미지를 재구성(건축, 인테리어 이미지에 주로 사용한다고함)

직선 위주의 이미지에 사용한다는말

 

Segmentation: 이미지에서 색을 분리하여 추출하고 추출된 이미지로 새로운 이미지 생성

여러색이 있는 주로 풍경에 사용

위 이미지를 나름대로 segment 하여 색으로 나눠 이미지 생성을 하는 듯 함

 

 

그림보단 사진이 표현이 잘되는듯함

 

 

그럼 다음에 또 다른 글로 찾아오도록 하겠습니다.