이번 글에서는 MovetoMove 방식보다 영상 아웃풋이 더 부드럽게 나오고 퀄리티도 좋은 Temporal-kit에 대해서 알아보겠습니다. MovetoMove에 비해 설치할 것도 많고, 준비과정도 까다롭지만 최대한 순서대로 자세히 설명하려고 하니, 차근차근 따라와 주시면 되겠습니다. ebsynth,ffmpeg 설치 우선 Temporal-kit 영상의 퀄리티를 높이기 위한 ebsynth를 설치하도록 하겠습니다. ebsynth는 동영상을 프레임을 보강해서 더 자연스럽게 만들어주는 프로그램입니다. 설치는 간단합니다. https://ebsynth.com/에 접속하셔서 설치파일을 다운로드 합니다. 설치한 경로에서 다운로드 완료된 파일을 압축 풀기하여 설치프로그램을 실행하여 설치합니다. 다음으로 ffmpeg를 다운..

지난 글에 배웠던 Deforum에 이어 다른 방식의 영상 생성 방법을 배워보겠습니다. 아래에서 배워볼 MovetoMove는 유튜브에서 많이 보셨던 연예인의 안무영상을 다른 캐릭터로 합성한듯한 영상을 만들어주는 Temporal kit의 근간이 된 tool입니다. Temporal kit에 대해서는 다음시간에 알아보도록 하고, 오늘은 MovetoMove와 AnimateDiff에 대해서 알아보도록 하겠습니다. MovetoMove의 설치 우선 첫 번째로 mov2mov의 설치에 대해서 알아보겠습니다. webUI에 접속합니다. (접속방법에 대한 설명은 앞서 많이 다뤘기 때문에 생략합니다) Extensions - Available - Load from을 클릭합니다. 검색창에 mov2mov를 검색하고 설치합니다. Ins..

이번 글은 AI 생성이미지를 활용해 동영상을 만드는 방법에 대해서 배워보겠습니다. 앞서 배운 제작 기술을 통해 제작한 이미지는 많은 활용처가 있겠지만, 동영상에도 활용을 해볼 수 있다는 것 알고 계셨나요? 이번 글부터는 여러 가지 동영상 생성 tool을 이용해서 이러한 AI 생성이미지를 활용한 동영상 만들기를 알아보도록 하겠습니다. Deforum 이란? 동영상 생성에는 많은 종류의 tool을 활용 할 수 있지만 먼저 그중에 Deforum에 대해서 설명해드리려고 합니다. Deforum스테이블디퓨전에서 애니메이션을 제작하기 위한 오픈소스 소프트웨어입니다. image2image 기능을 사용해서 한 장의 이미지를 가지고 프레임단위로 새로운 이미지를 여러 장 만든 뒤 자연스럽게 이어 붙이는 형태로 제작합니다. 긴..

오늘 글은 지난번에 배워보았던 모델학습의 연장선입니다. 지난 글에서 언급한 DreamBooth보다 조금 더가벼운 모델인 Lora를 통한 모델 학습법입니다. DreamBooth는 모델 사진이 20장에서 많게는 100장까지도 쓰지만 Lora를 통한 모델학습은 비교적 적은 수의 사진만으로도 모델을 학습시킬 수 있어, 용량이 적고 남들에게 공유하기 쉽다는 장점이 있습니다. 그럼 지금부터 Lora를 통한 모델 학습법을 배워보도록 하겠습니다. Lora의 설치법(kohya) Anaconda Prompt로 새로운 가상환경을 만듭니다. (python 3.10) Conda create -n lora pyton=3.10 명령어를 입력합니다. 설치 확인을 묻는 Proceed가 뜨면 “y”를 입력합니다. conda activa..

지난 3개의 글에서는 Stable Diffusion에서 Txt2Img, Img2Img, ControlNet, Inpaint를 어떻게 사용하는지에 대해 배웠습니다. 이번 글은 남들이 만든 모델이 아니라 자신의 취향에 맞는, 용도에 맞는 모델을 어떻게 만드는지 배워보도록 하겠습니다. SD에서 모델 학습이란 모델 학습은 어떻게 보면 SD의 꽃이라고도 할 수 있는 핵심적인 부분입니다. 학습에 필요한 사진들은 많으면 많을수록 모델의 성능이 올라가지만, 이번 시간에서는 간단하게 20장에서 30장 정도의 사진을 DreamBooth를 이용해 모델 학습을 해보겠습니다. 모델 학습에는 GPU의 사양이 중요하니 GPU 성능이 부족한 경우 Colab을 이용할 수 있습니다. DreamBooth 설치 방법 SD에서 모델 학습에 ..

저는 NLP만 많이 했는데 최근에 이미지 생성 분야 또한 관심을 가지고 있었습니다. 메타코드 Stable Diffusion 강의 서포터즈에 선정되어서 활동을 2주 동안 하고자 합니다. (좋은 기회 감사합니다!!) 오늘은 Stable Diffusion에서 text to image로 이미지를 생성할 때, 활용할 수 있는 ControlNet 기능들에 대해 알아보도록 하겠습니다. (Stable Diffusion, 이하 SD 설치하는 글은 너무 많아서 생략하고자 합니다. 설치가 되어있다고 가정하고 설명하겠습니다.) ControlNet DALLE나 Midjourney에서 이미지 생성을 할 경우, 모델의 포즈를 지정하려고 하면 소위 말하는 프롬프트를 깎는 시행착오가 필요합니다. 하지만 시간을 들여 프롬프트를 깎아낸다..