[메타코드] 생성형 AI 입문 완성강의 - Deforum을 사용해서 동영상 생성해보기

이번 글은 AI 생성이미지를 활용해 동영상을 만드는 방법에 대해서 배워보겠습니다.

앞서 배운 제작 기술을 통해 제작한 이미지는 많은 활용처가 있겠지만, 동영상에도 활용을 해볼 수 있다는 것 알고 계셨나요? 이번 글부터는 여러 가지 동영상 생성 tool을 이용해서 이러한 AI 생성이미지를 활용한 동영상 만들기를 알아보도록 하겠습니다.

 

 

Deforum 이란?

---

 

동영상 생성에는 많은 종류의 tool을 활용 할 수 있지만 먼저 그중에 Deforum에 대해서 설명해드리려고 합니다.

Deforum스테이블디퓨전에서 애니메이션을 제작하기 위한 오픈소스 소프트웨어입니다. image2image 기능을 사용해서 한 장의 이미지를 가지고 프레임단위로 새로운 이미지를 여러 장 만든 뒤 자연스럽게 이어 붙이는 형태로 제작합니다. 긴 영상을 제작하는 것은 무리가 있으며 짧은 숏폼형태의 영상을 제작하는데 좋은 소프트웨어입니다.

 

Deforum 설치

---

 

Deforum의 설치 과정에 대해서 알아보겠습니다.

1. Anaconda Prompt를 실행하신뒤 activate diffusion을 입력해 디퓨전을 실행합니다.
2. 각자 여러분의 환경에 있는 webui에 접속합니다.
3. Extensions에 들어가셔서 Available - Load from - 빈칸에 Deforum을 입력합니다.
4. 설치를 진행하고 webui를 재시작합니다.

*Deforum이 검색이 안되면 수동 설치를 진행합니다. Extensions - Install from URL에 들어가 URL창에 아래 URL을 넣고 설치를 진행합니다.

https://github.com/deforum-art/sd-webui-deforum 

GitHub - deforum-art/sd-webui-deforum: Deforum extension for AUTOMATIC1111's Stable Diffusion webui

 

설치가 정상적으로 완료 되었다면, webui 상단탭에 Deforum이 생성되어 있습니다.

 

Deform 동영상 제작방법

---

 

Deforum탭에서는 동영상을 만들기 위한 여러 가지 세팅을 해주셔야 합니다. 주로 세팅해야 되는 탭에 대해서 알아보겠습니다. Run 탭에서는 원하시는 Sampler를 선택하신 뒤 아래 Restore face를 활성화합니다. Restore face는 각 프레임을 생성하면서 캐릭터의 얼굴 부분의 복원하는 기능입니다. Keyframes 탭에서는 2D 3D의 선택, 카메라의 무빙이나 영상에 사용될 총프레임의 개수를 선택합니다. Strength schedule 은 프레임별로 Denoising strength 값을 설정해 주는것이라고 이해하시면 되겠습니다. Keyframes 탭 - Motion 부분은 2D,3D별로 설정값이 다릅니다. 아래에서 따로 설명하도록 하겠습니다.

Prompts 탭 에서는 각 프레임별로 생성될 (연결될) 이미지의 프롬프트를 입력합니다. ”(프레임번호)”:”(프롬프트내용)” 의 방식으로 입력하시면 됩니다. 0 프레임을 시작으로 60 프레임에 다른 프롬프트를 입력한다면 0에서 생성된 이미지와 60에서 생성된 이미지까지의 연결과정이 동영상에 반영된다고 생각하시면 됩니다.

Init 탭에서는 시작이미지를 설정합니다. 시작이미지를 따로 URL에서 불러올수도있고 파일로 첨부할 수도 있습니다. 영상 0 프레임에서 시작될 이미지를 만들어서 업로드하시면 되겠습니다.

최종적으로 셋팅된 값들로 동영상을 Generate 하시면 스테이블디퓨전이 동영상을 제작하게 됩니다. 제작시간은 컴퓨터 사양에 따라 다른데 맥스 300 프레임 FPS 15 정도의 영상을 제작하는데 10~30분 정도의 시간이 소요되게 됩니다.

완성된 동영상은 스테이블디퓨전 폴더에 outputs - img2img - Deforum폴더에서 확인하실 수 있습니다. mp4동영상 파일과 사용된 프레임당 사용된 이미지들이 전부 저장되어 있습니다.

 

Motion Settings - 2D

---

 

2D를 사용하시는경우의 Motion 셋팅법을 간단히 알아보겠습니다.

Zoom의 경우 : (프레임):(설정값) 으로 이루어지며 설정값이 0보다 낮을 시 줌아웃, 0보다 높을 경우 줌인을 하게 됩니다.

Angel의 경우 : (프레임):(설정값) 으로 이루어지며 중심을 기준으로 이미지를 회전시킵니다. 양수일 경우 반시계 방향, 음수일 경우 시계방향으로 영상이 회전합니다. 값의 크기에 따라 회전속도에 영향을 미칩니다.

Translation X,Y의 경우 : (프레임):(설정값)으로 이루어지며 X는 좌우(양수 오른쪽 음수 왼쪽), Y는 상하(양수 아래, 음수 위쪽)로 이동시킵니다.

2D Transform Center의 경우 : (설정값,설정값)으로 이루어지며 각각 x축과 y축입니다. 이미지 이동의 기준을 설정하는 값입니다. 기본값은 (0.5,0.5) 입니다. x축은 왼쪽에서 오른쪽, y축은 위아래입니다.

아래 이미지를 참조 바랍니다.

 

Motion Settings - 3D

---

 

3D 모션의 경우 x축과 y축으로만 움직이는 2d에 비해 조금 복잡합니다. 카메라로 실제로 촬영하는 것으로 방향을 생각하시면 이해하시기 편합니다.

세팅값은 2D와 동일하지만 Translation의 경우 양수는 카메라를 우측으로 움직이기 때문에 이미지는 좌측으로 이동하게 됩니다. 이러한 점이 2D와는 다르기 때문에 잘 생각하셔서 세팅값을 결정하시면 되겠습니다. Translation의 경우 카메라를 앞으로 이동시키는 것이라고 생각하시면 됩니다. X축 Y축 Z 축으로 나누어서 값을 주시면 됩니다. 2D 모션의 zoom과 비슷한 효과입니다.

Rotation는 각각 X축 Y축 Z 축으로 카메라를 회전시키는 값입니다. *설정값의 기본은 (프레임):(설정값)이며 프레임별로 , 로 구분하여 여러 가지 값을 설정하여 사용할 수 있습니다. 

*https://stable-diffusion-art.com/deforum/ 사이트를 참고하시고 모션 설정값에 대해서 자세히 알아보시기 바랍니다.

 

기타 Settings - 프레임, 사운드트랙

---

 

Output 탭에 가시면 동영상 자체의 프레임과 사운드 트랙을 설정할 수 있습니다.

FPS는 초당 프레임 횟수입니다. FPS가 클수록 더 부드러운 움직임을 가진 영상을 생성합니다. 앞서 설정한 Maxframes이 300이고 FPS가 60이라면 약 5초가량의 동영상이 생성되게 됩니다. FPS가 높고 Maxframes이 적다면 부드럽지만 엄청 짧은 영상이 생성되게 됩니다.

사운드트랙의 경우에는 영상에 넣고자 하는 사운드를 파일이나 영상으로 넣을 수 있습니다. 적절한 사운드 파일을 이용하셔서 더 좋은 영상을 만들어 보시길 바랍니다.

 

이번 글은 Deforum을 활용한 동영상 생성에 대해서 알아보았습니다. 생성과정이 생각보다 쉽지만은 않고 초기 설정에 연구를 많이 하셔야 좋은 영상을 얻을 수 있습니다. 여러 가지 방법을 시도해 보시면서 본인에게 맞는 Deforum사용 방법을 익히시길 바랍니다.

다음 글에는 MovetoMove를 통해 기존에 있던 영상을 AI로 만드는 방법에 대해서 배워보도록 하겠습니다. 감사합니다~!

 

---

[이전 글 목록]

2024.03.18 - [AI/GenAI - Image] - [메타코드] 생성형 AI 입문 완성강의 - Text2Image & ControlNet

2024.03.19 - [AI/GenAI - Image] - [메타코드] 생성형 AI 입문 완성강의 - Image2Image

2024.03.20 - [AI/GenAI - Image] - [메타코드] 생성형 AI 입문 완성강의 - Inpaint

2024.03.21 - [AI/GenAI - Image] - [메타코드] 생성형 AI 입문 완성강의 - Dreambooth를 활용한 나만의 모델 학습하기

2024.03.22 - [AI/GenAI - Image] - [메타코드] 생성형 AI 입문 완성강의 - Lora를 통한 모델학습

 

본 글은 메타코드 서포터즈 활동을 위해서 강의를 제공받아 작성하였습니다.

메타코드M은 빅데이터, AI 강의를 제공하는 플랫폼이자 IT 현직자 모임을 위한 커뮤니티입니다. 이곳에서는 다양한 IT 분야의 전문 지식과 실무 기술을 배울 수 있는 온라인 강의를 제공하고, 같은 분야에 관심이 있는 사람들과 소통할 수 있는 공간을 제공합니다. 빅데이터 자격증, 데이터 분석, 프로그래밍, 인공지능 등 다양한 분야의 강의와 현직자 커리어 특강을 통해 IT 분야의 전문 지식과 실무 기술을 배우고 커리어를 발전시킬 수 있습니다.

 SD 강의

https://mcode.co.kr/video/list2?viewMode=view&idx=84

메타코드M

 

https://www.youtube.com/@mcodeM

메타코드M