[WebUI] IP Adapter 사용하여 이미지 생성해보기~!

안녕하세요 오늘은 IP Adapter를 사용해보도록 하겠습니다. 

 

해당 깃헙 

https://github.com/tencent-ailab/IP-Adapter

GitHub - tencent-ailab/IP-Adapter: The image prompt adapter is designed to enable a pretrained text-to-image diffusion model to

 

사용방법

 

IP Adapter 사용은 ControlNet을 통해 사용함

ControlNet을 켜보면 아래 체크한 것 과 같이 IP-Adapter에 체크

다른 ControlNet과 마찬가지로 해당하는 모델을 다운 받아야함

 

1. 모델다운로드

https://huggingface.co/h94/IP-Adapter/tree/main/models

h94/IP-Adapter at main

나는 1.5버전 사용을 할예정이라 

models 디렉토리에 있는 safetensor 파일을 다받았음

 

2. 모델 저장은 ControlNet 모델 저장되어 있는 경로에 해주면 됨

나의 경우는 아래 경로에 저장을 하였음

D:\stable-diffusion-webui\extensions\sd-webui-controlnet\models 

 

3. 이미지 사용할 이미지 생성 혹은 구해오기 

생성이미지1, 일반이미지1(GTA5 이미지), 애니메이션이미지(원피스) 이렇게 일단 적용해보려고 준비했음

 

처음에 encoder다운을 받는 시간이 있기 때문에 시간이 좀 걸린다

 

4. 설정

프롬프트는 로라사용하는 프롬프트 제외하고 작성하지 않고 아래와 같이 설정한 상태로 이미지 생성을 진행

 

결과

 

원본이미지와 비교하면 나름 비슷한 느낌을 가져오는 것 같기는함

 

위에는 현재 1.5 모델을 사용중인데 다운 받은 것중에 1.5 plus 와 light 가 있는데 

plus는 이미지에서 더 많은 정보를 가져와 사용하고 

light는 프롬프트의 영향을 좀 더 많이 받는다고 함 

그래서 일단 또 몇개 해봄

Plus 모델

왼쪽 = 원본, 오른쪽 = 생성

 

 

프롬프트를 사용하여 선글라스를 씌워보자

 

Light 모델 사용 + 프롬프트 추가하기

                                                                    선구리                                                     선구리 + 모자

 

프롬프트에 선글라스랑 모자만 추가해서 그런지 아래와 같이 나오기도 하지만 사람이 나오기도함  

 

ControlNet 추가해서 사용하기

아래 사진처럼 원하는 느낌 + 포즈

아래 결과들은 프롬프트에 따로 작성을 하지는 않았음 위예시와 같이 로라 적용을 위한 프롬프트만 작성

 

 

사용한 이미지

 

왼쪽이미지(IP Adapter)                                                    오른쪽 이미지(Openpose)

 

결과

 

 

나쁘진 않은데 뭔가 내가 원한만큼은 적용이 안되는듯한 느낌... 

 

아마 아직 적용법을 잘 몰라서 그럴수도 있을 것 같긴함 

 

그럼 다음에 또 다른글로 찾아오도록 하겠습니다.