[WebUI] WebUI SadTalker를 사용해서 말하는 아바타 만들기~!

안녕하세요 ~! 

 

오늘은 SadTalker라는 extension을 사용하여 말하는 아바타를 만들어 보려고 합니다.

 

SadTalker에 대한 간단한 설명

이미지 1장 + 오디오파일 1개를 섞어 말을하는 영상을 생성해내는 툴이라고 보면됨

 

 

설치전!

ffmpeg 를 먼저 설치하면 나와 같은 순서대로 했을 때 나올 에러를 먼저 해결하고 넘어갈 수 있음 

ffmpeg는 아래 설치방법이 있으니 참고하면됨

1. Extensions 설치순서

1. WebUI - Extensions - Available - sadtalker 검색 후 설치 

주로 URL 로 설치를 하지만 해당 방법도 결국은 동일한 방법이나 여러 방법을 알면 도움이 될지도...

아래 사진처럼 나온다

 

URL로 설치를 하고 싶다면 주소에 이거 넣으면 됨

https://github.com/OpenTalker/SadTalker.git

GitHub - OpenTalker/SadTalker: [CVPR 2023] SadTalker：Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Singl

2. 설치되면 됬다고 나오고 재시작 하라고하니 재시작 해준다.

 

3. SadTalker가 추가된 것이 보이고 해당 탭에 들어가면 요렇게 생긴게 나옴

 

바로 이미지 때려박고 시작하고 싶지만... 설명서를 보자

Pre-Trained Models 을 받아서 하는 것 같음

4. Pre-Trained Model 다운

모델 다운로드 링크:https://drive.google.com/file/d/1gwWh45pF7aelNP_P78uDJL8Sycep-K7j/view

sadtalker.zip

1.5G 정도되고 압축을 풀면 아래와 같이 되어있음

 

요걸 그럼 이제 모델 저장하는 경로쪽에 옮겨 줘야함

5. 모델 저장 경로

경로는 내기준 아래와 같음 

- D:\stable-diffusion-webui\models 여기로 이동

- SadTalker 이름으로 폴더 생성

- 이안에 다 때려박으면 

 

D:\stable-diffusion-webui\models\SadTalker 이경로에 아래와 같이 파일들이 있을것임

처음에 뭘 넣을지 망설인다면 

 

D:\stable-diffusion-webui\extensions\SadTalker\examples
요 경로에 가면 샘플 오디오, 이미지가 준비되어 있음

 

일단 이렇게 넣고 해보았음

만약 처음에 나랑 같은 순서로 하다가 에러가나면 재시작하면됨

 

그럼 처음이라그런지 느려서 cmd 확인해보니 이거저거 엄청 받는다

 

또 오류가...

 

ffmpeg 라고 받으라고 한게 있는데 바로 스치듯 무시해버렸는데 그러면 안됬나봄 

 

ffmpeg 다운 및 설치하기

 

https://ffmpeg.org/download.html

Download FFmpeg

 

난 여기들어가서 받았음 

https://www.gyan.dev/ffmpeg/builds/

Builds - CODEX FFMPEG @ gyan.dev

 

 

위 사이트 들어가서 내려가다봄년 이게 나옴 나는 여기서 체크한 부분 파일을 받음

 

압축풀고 해당 폴더를 옮긴다 여러개 읽어보니 보통 program files 밑에 둔다고 하니 나도 그렇게 하겠음

 

C:\Program Files\ 가서 ffmpeg 폴더 만들고 압축푼거 옮겨서 넣음

그럼 ffmpeg 폴더안에 이렇게 되어 있음

환경 변수 추가까지 해주면됨 

추가방법: 시스템속성 - 환경변수 - 사용자변수 - Path 편집 - C:\Program Files\ffmpeg\bin 추가

 

그리고 다시 WebUI 에서 진행 시켜보았음 

 

오!? 됨 

 

위에는 너무 얼굴만 잡혀서 나오는 것 같아서 옵션에서 full로 바꿔 봤음(아래는 이미지만 뜯음)

 

일단 영상 생성이 되니 다른 옵션을 한번 변경하여 사용해보자

아래 세팅 값이 있는데 

궁금했던 것 몇개를 해봄(얼굴화면 기준)

Pose style: 큰변화 없음

Still Mode: 큰변화 없음

GFPGAN as Face enhancer: 여기부턴 용량이 좀 남다르다... 그런데 확실히 더 잘나옴

 

시도해본 이미지 GFPGAN을 제외하면 큰변화가 없어서 변화가 느껴지는 두가지만

 Pose + Still Mode(다른것들도 비슷) 

 

 

 GFPGAN

 

대략 이런 차이가 생기고 화질이 올라가는듯...? 업로드 하니 사이즈도 다름

 

애니메이션 그림도 되나 해봤는데 역시나 얼굴인식이 되지 않으면 작동하지 않는듯함 

그래서 되는걸 준비해봄

 

 

 

그럼 다음에 또 다른 글로 찾아오도록 하겠습니다.