로컬 AI로 영상의 물체를 교체하는 방법

짧은 답

KwaFlux에서 동영상 속 물체를 교체한다는 것은 물체는 그대로 두고 그 뒤의 배경을 바꾸는 일입니다. 한 프레임에서 물체를 클릭하면 SAM2가 추적하고, 배경을 투명, 단색, 갤러리, 블러 중에서 고릅니다. 사람이 아닌 대상용이며 사람은 인물 교체를 씁니다. 물체를 지우는 것은 다른 도구입니다. 물체 배경 교체를 쓰세요.

물체 배경 교체가 인물 교체를 이길 때

• 대상이 병, 간판, 차 또는 다른 소품이지 초상이 아님
• 원하는 것은 클릭 추적 마스크이지 인물용 바디 컷아웃가 아님
• After Effects 없이 알파 또는 간단한 플레이트 교체가 필요함

여전히 합성기가 필요한 것

• 심한 가림, 모션 블러, 배경처럼 보이는 대상
• 다층 VFX 또는 추적된 카메라 이동
• 다른 사람 그래프용 알파 ProRes 4444 / WebM이 필요함

모듈을 돌리는 방법

1. 클립을 가져오고 분리할 물체를 클릭
2. 투명·단색·갤러리·블러를 고르고 어려운 프레임에서 1초/3초/5초 미리보기
3. 로컬로 내보내거나 합성을 포맷 변환으로 내보내기

어려운 프레임에서 플레이트를 확인하기

어떤 배경을 고르느냐는 납품 방식의 선택이지 화질 단계가 아닙니다. '투명'은 알파를 남겨 다른 편집자가 추적한 물체를 다른 배경 위에 올릴 수 있게 합니다. '단색'은 물체 뒤를 한 가지 색으로 채웁니다. '갤러리'는 고른 정지 이미지를 놓습니다. '흐림'은 원래 장면을 남기고 클릭한 범위 밖을 부드럽게 흐리게 하므로, 소품은 그대로 두고 거리 풍경만 뒤로 물러나게 하고 싶을 때 좋습니다. 표시하는 것은 편집 중인 영상 속 물체, 예를 들어 병, 간판, 차량이고, 그 주변 영역을 바꿉니다.

SAM2는 클릭한 물체를 샷 전체에서 따라갑니다. 윤곽이 물체와 같은 색의 벽이나 테이블로 번지면 주석 패널에서 실행 취소, 다시 실행, 다시 생성을 할 수 있습니다. 1초, 3초, 5초 무료 미리보기는 어려운 순간에 맞추세요. 방향이 바뀌는 곳, 다른 소품 뒤를 지나는 곳, 가장자리가 선명해야 하는데 무너지는 프레임입니다. 차분한 첫 프레임은 윤곽이 번지는 것을 감춥니다. 미리보기에는 계정이 필요 없습니다. 내보내기, 변환, 파일 복구, 링크에서 파일 다운로드에는 로그인과 유료 플랜이 필요합니다. 두 단계 모두 내 컴퓨터에서 처리되며 클립을 업로드할 필요가 없습니다.

AI 오브젝트 제거는 빈자리를 채워 지나가는 사람이나 세워 둔 쓰레기통을 사라지게 합니다. 물체 배경 교체는 선택한 물체를 남기고 그 뒤의 배경을 바꾸거나, 알파를 넘겨줍니다. 병을 없애려면 제거를, 병을 깔끔한 배경 위에 두려면 이 모듈을 쓰세요. 인물은 여전히 AI 스마트 컷아웃이 맡습니다. 그쪽 알파 마스크가 머리카락과 몸에 맞춰 조정되어 있기 때문입니다. 손에 든 소품은 클릭 대상으로 삼을 수 있지만, 이 모듈로 사람을 분리하려고 하지는 마세요.

합성 프로그램이 필요한 경우는 정지 화면에서 배경이 깔끔해 보인다고 쉬워지지 않습니다. 크게 가려지는 대상, 모션 블러, 배경에 녹아드는 대상은 여전히 어렵습니다. 여러 겹의 효과와 카메라 추적이 필요한 샷은 여전히 다른 앱에서 짜야 하는 작업입니다. 협업 상대가 알파가 포함된 ProRes 4444나 WebM을 원하면 알파를 내보내 상대의 프로젝트에서 합성을 마무리하게 하세요. 이미 확인을 마친 합성 결과물은 포맷 변환으로 코덱을 바꿀 수 있으며, 이 단계도 로컬에서 처리됩니다.

쓸모 있는 처리는 일부러 짧게 합니다. 클립을 가져와 물체 윤곽이 또렷한 프레임에서 한 번 클릭하세요. 첫 마스크에 테이블, 하늘, 비슷한 다른 소품까지 들어갔다면, 내보내기에서 저절로 정리되기를 기대하지 말고 다시 생성해 다시 클릭하세요. 그다음 넘겨줄 방식에 맞는 배경을 고릅니다. 다른 사람이 합성할 거라면 '투명', 이 파일이 완성본이라면 '단색'이나 '갤러리', 물체는 장면에 남기고 주변만 뒤로 물리고 싶다면 '흐림'입니다. 움직임이 가장 심한 구간에서 미리보기를 확인하세요. 거기서 가장자리가 버티면 로컬에서 내보내고, 버티지 못하면 클릭 위치를 바꾸거나 그 샷을 합성 프로그램으로 넘기세요.

편집할 권리가 있는 영상만 다루세요. 클릭으로 고르는 것은 그 샷 안의 물체입니다. 흔한 용도는 제품 촬영, B롤, 사용자 제작 콘텐츠로, 소품이나 차량 하나를 내 GPU에서 추적하고 원본 파일은 내보낸 파일 옆에 남겨 둡니다. 이 페이지의 이미지는 클립을 불러오고 아직 아무것도 표시하지 않은 모듈 화면이라 교체 결과가 없습니다. 직접 만든 1초, 3초, 5초 미리보기로 판단하세요.

직접 찾아봐야 할 실패는 색이 비슷한 경우입니다. 어두운 바 앞의 어두운 병, 흐린 하늘 앞의 흰 간판, 노면과 색이 비슷한 차는 마스크가 흔들리기 쉽습니다. 경계가 뚜렷한 프레임에서 물체를 클릭한 뒤 경계가 흐린 프레임으로 옮겨 가 그곳에서 짧은 미리보기를 돌리세요. 다시 생성해도 그 경계를 지키지 못한다면, 솔직한 다음 단계는 같은 마스크를 더 길게 내보내는 것이 아니라 합성 프로그램으로 넘기는 것입니다.

• 편집 중인 클립에서 소품, 간판, 차를 클릭합니다
• 투명, 단색, 갤러리, 블러는 배경의 종류이지 등급이 아닙니다
• 물체가 가려지거나 배경과 색이 가까운 곳에서 짧은 미리보기를 봅니다
• 사라져야 하면 제거, 남아야 하면 이 모듈입니다
• 어려운 프레임이 버틴 뒤에 내보내고, 원본 파일은 남겨 둡니다