AI 립싱크, 내 컴퓨터로 직접 생성하기

블로그와 쇼츠 영상을 만들다 보면 때로는 직접 출연하기 부담스러울 때가 있습니다. 하지만 인공지능(AI) 기술을 활용하면 이러한 고민을 해결하고, 마치 사람이 직접 말하는 것처럼 자연스러운 립싱크 영상을 제작할 수 있습니다. 특히, AI 공모전이나 쇼츠 영상에 활용할 만한 고품질 콘텐츠를 만들고 싶다면, 로컬 컴퓨터에서 직접 구동하는 AI 모델을 활용하는 것이 좋은 대안이 될 수 있습니다.

이번 포스트에서는 복잡한 과정 없이 초보자도 쉽게 따라 할 수 있도록, 컴퓨터에서 직접 립싱크 영상을 만드는 방법을 단계별로 자세히 안내해 드리고자 합니다. 이 글을 통해 여러분의 영상 제작에 날개를 달아줄 AI 립싱크 영상 제작의 비밀을 함께 파헤쳐 보겠습니다.

피노키오와 완(Wun) 모델 설치, 시작 전 필수 점검 사항

AI 립싱크 영상을 제작하기 위해서는 먼저 필요한 프로그램들을 컴퓨터에 설치해야 합니다. 이번 가이드에서는 피노키오(Pinokio)라는 오픈소스 브라우저를 통해 완(Wun) 2.1 모델을 설치하고 구동하는 방법을 사용합니다. 이 방법은 GPU 성능이 낮아도 최적화된 UI를 제공하기 때문에 비교적 낮은 사양의 PC에서도 실행할 수 있다는 장점이 있습니다.

설치에 앞서, 원활한 작업을 위한 컴퓨터 사양을 점검하는 것이 중요합니다. 완(Wun) 2.1 모델은 최소 5GB 이상의 VRAM을 권장하지만, 안정적인 구동을 위해서는 8GB 이상의 VRAM이 있는 GPU가 권장됩니다. 또한, 모델과 관련 파일들이 상당한 하드 용량을 차지하므로, 최소 60GB 이상의 저장 공간을 확보해야 합니다. 이는 AI 모델의 방대한 데이터 때문이며, 설치 과정에서 약 41.69GB 정도의 용량을 소비할 수 있습니다. 이 점을 반드시 확인하신 후 다음 단계로 넘어가시기 바랍니다.

단계별 AI 립싱크 영상 제작 가이드: 피노키오 설치부터

이제 본격적으로 AI 립싱크 영상 제작을 위한 설치 및 구동 과정을 단계별로 설명해 드리겠습니다.

1. 1단계: 피노키오(Pinokio) 설치
   

   피노키오는 다양한 오픈소스 AI 기술을 쉽게 설치하고 실행할 수 있도록 도와주는 브라우저입니다. 공식 홈페이지에서 사용 중인 운영체제(Windows 또는 Mac)에 맞는 설치 파일을 다운로드합니다. 설치 과정에서 경고 메시지가 나타날 수 있지만, '더 많은 정보(More info)'를 클릭하고 '실행(Run anyway)' 버튼을 눌러 진행하면 됩니다.

2. 2단계: 완(Wun) 2.1 모델 설치
   

   피노키오 설치 후, 완 2.1 모델을 설치합니다. 피노키오 내 검색 기능을 활용해 'Wun 2.1'을 찾거나, 공식 사이트에서 원클릭 설치 버튼을 누르면 됩니다. 다운로드 및 설치 과정이 자동으로 진행되며, 완료 메시지가 나타날 때까지 기다리면 됩니다. 이 과정은 시간이 다소 소요될 수 있습니다.

3. 3단계: 멀티톡(Multitalk) 워크플로 실행
   

   설치가 완료된 후, 피노키오에서 완 2.1 모델을 실행합니다. 'Start' 버튼을 누르면 웹 UI가 열리고, 다양한 워크플로 중 ‘베이스 멀티톡(Base Multitalk)’을 선택합니다. 이 워크플로가 바로 립싱크 기능을 담당하는 핵심 도구입니다.

멀티톡(Multitalk) 워크플로 설정: 이미지와 음성을 동기화하는 법

이제 멀티톡(Multitalk)을 활용하여 립싱크 영상을 제작하는 방법을 살펴보겠습니다.

1. 이미지 및 오디오 파일 업로드
   

   먼저 립싱크할 인물의 이미지를 업로드하고, 준비된 음성 파일을 추가합니다. 오디오 파일은 구글 AI 스튜디오와 같은 텍스트 음성 변환(TTS) 서비스를 통해 제작할 수 있습니다. 오디오 파일의 특정 구간만 사용하고 싶다면, 워크플로 내 자르기(Trim) 기능을 활용해 원하는 부분을 선택할 수 있습니다.

2. 세부 설정 조정
   

   이 단계에서는 영상의 품질과 효율성을 결정하는 중요한 설정들을 조정합니다.

   • 프롬프트(Prompt) 입력: "아이(인물)가 카메라를 보며 웃으며 말한다"와 같이 AI가 참고할 만한 설명을 입력합니다.
   • 해상도 및 비율: 480p 해상도와 16:9 비율이 가장 효율적입니다. 고해상도 작업은 더 높은 VRAM을 요구하고 시간이 오래 걸릴 수 있습니다.
   • 프레임 설정: 보통 1초에 25프레임을 기준으로 합니다. 비디오 길이에 맞춰 프레임을 설정하고, 필요에 따라 조정합니다.
3. 고급 설정: 속도와 메모리 최적화
   

   제작 시간을 단축하고 메모리 사용을 효율적으로 관리하기 위한 팁입니다.

   • 캐시(Cache) 적용: 'Advanced' 모드에서 'Tea cache'를 적용하면 작업 속도를 높일 수 있습니다.
   • 슬라이딩 윈도우(Sliding Window) 조정: 8GB VRAM과 같이 메모리가 부족할 경우, 이 값을 줄여서 영상을 여러 개의 작은 조각으로 나누어 생성하도록 설정합니다. 예를 들어, 기본값인 129에서 69(약 2초 분량)로 줄이면 메모리 부족 오류를 피할 수 있습니다. 이는 큰 물건을 작은 그릇에 나누어 담는 것과 같은 원리입니다.

생성 및 추가 팁: 프로처럼 활용하기

모든 설정을 마치고 'Generate' 버튼을 누르면 AI 립싱크 영상 생성이 시작됩니다. 진행 상황은 터미널 창을 통해 확인할 수 있으며, 처음 모델을 구동할 때는 시간이 더 오래 걸릴 수 있습니다.

이 외에 몇 가지 유용한 팁을 알려드립니다.

• 사용량 확인: 메인 화면의 'Configuration'에서 'Enable' 설정을 하면 CPU와 GPU 사용량을 실시간으로 모니터링할 수 있습니다.
• 설정값 저장: 자주 사용하는 설정을 파일로 저장해 두면 다음 작업 시 'Import' 기능을 통해 손쉽게 불러올 수 있습니다.
• 저사양 PC를 위한 최적화: 'Configuration'의 'Performance' 탭에서 'Very low VRAM' 프로필을 선택하면 낮은 사양에서도 안정적으로 AI 모델을 구동할 수 있습니다.

마지막으로, 업데이트나 초기화(Reset) 버튼을 누를 때는 신중해야 합니다. 잘못된 업데이트는 프로그램 오류를 유발할 수 있으며, 초기화는 모든 설정을 지우므로 중요한 파일은 다른 폴더에 미리 백업해 두는 것이 좋습니다.

AI 립싱크 영상, 성공적인 제작을 위한 핵심 요약

내 컴퓨터에서 AI 립싱크 영상을 직접 제작하는 것은 더 이상 전문가만의 영역이 아닙니다. 이 가이드를 통해 초보자도 쉽게 따라 할 수 있는 주요 단계와 팁을 다시 한번 확인해 보세요.

1. 필수 프로그램 설치: 피노키오 브라우저와 완(Wun) 2.1 모델을 설치하며, 충분한 VRAM과 하드 용량을 확보해야 합니다.
2. 멀티톡 워크플로 활용: 멀티톡(Multitalk)을 통해 이미지와 오디오를 업로드하고, 프롬프트, 해상도, 프레임 등 세부 설정을 조정합니다.
3. 성능 최적화: 메모리가 부족할 경우 슬라이딩 윈도우 값을 줄이고, 속도 향상을 위해 티 캐시(Tea cache)를 활용합니다.
4. 추가 팁: AI 립싱크 영상 제작 시, 작업량을 실시간으로 확인하고 자주 쓰는 설정을 저장해두면 효율적인 작업이 가능합니다.

자주 묻는 질문

컴퓨터 사양을 고려한 최적의 설정으로, 여러분만의 독창적인 AI 립싱크 영상을 만들어 보시기 바랍니다. 이 가이드가 여러분의 영상 제작에 큰 도움이 되기를 바라며, 궁금한 점은 언제든지 댓글로 남겨주세요.