움직임을 견디는 딥페이크 영상

딥페이크 영상의 작업 단위는 프레임입니다. 초도 아니고 메가바이트는 더더욱 아닙니다. 초당 24프레임으로 찍은 12초 클립은 288번의 개별 얼굴 교체이고, 같은 12초를 초당 60프레임으로 찍으면 720번입니다. 디스크 위에서 두 파일의 크기는 같을 수 있지만, 뒤쪽은 두 배 반의 시간이 듭니다. 무엇을 올릴지 정할 때는 초가 아니라 프레임을 세십시오.

그래서 잘라내기가 가장 효율이 높은 결정입니다. 대부분의 촬영본은 아이디어를 몇 초 안에 담고, 나머지는 아무도 필요로 하지 않는 자리입니다. 남는 프레임 하나하나가 아무 이유 없이 쓰이는 처리 시간입니다. 컷까지 자른 다음 렌더링하십시오. 대략의 기준은 이렇습니다. 10초짜리 딥페이크 동영상은 약 1분, 1분짜리 촬영본은 몇 분, 2분을 넘어가면 실제로 쓸 컷들로 나누는 편이 낫습니다.

깜빡임은 블렌딩 문제가 아닙니다. 그것을 블렌딩 문제로 다루는 도구에서 깜빡임이 끈질기게 남는 이유가 여기 있습니다. 원인은 검출입니다. 몇몇 프레임에서 얼굴이 흐려지거나, 너무 많이 돌아가거나, 절반이 그림자에 들어갑니다. 검출기가 확신을 갖지 못하면 그 프레임들은 바뀌지 않은 채 지나가고, 딥페이크 영상은 스트로브처럼 번쩍입니다. 30프레임 중 교체되지 않은 한 프레임은 정지 화면에서는 보이지 않지만 움직이면 눈에 박힙니다. 사람의 시각이 한 장 안의 디테일보다 시간에 따른 변화를 훨씬 예민하게 잡아내도록 만들어졌기 때문입니다.

확실한 원인은 세 가지입니다. 카메라 이동이나 빠른 회전에서 오는 모션 블러, 한쪽 눈이 코 뒤로 사라지는 급한 측면 각도, 피사체가 조명을 지나갈 때 얼굴을 가로지르는 그림자입니다. 셋 다 모델이 아니라 촬영본의 성질입니다. 그래서 흔들림 없이 고르게 조명된 컷은 첫 시도에서 안정적인 딥페이크 영상을 내놓고, 혼합 조명 아래 핸드헬드 테이크는 몇 번을 다시 돌려도 그러지 못합니다.

판단하기 전에 딥페이크 영상을 4분의 1 속도로 돌려보고, 화면 전체를 멍하니 보는 대신 정해진 순서로 확인하십시오. 먼저 고개를 돌리는 구간의 헤어라인입니다. 블렌드 마스크가 끝나는 자리이고, 후광이나 딱딱한 경계가 스스로 드러나는 자리입니다. 다음은 눈을 깜빡일 때의 눈, 말할 때의 치아, 머리가 움직일 때의 목 이음매, 그리고 귀입니다. 모델은 귀를 뭉개서 측면에서는 버티지 못하는 형태로 만들어 놓기 일쑤입니다.

마지막은 전달입니다. 어느 플랫폼에 올리든 파일은 다시 인코딩되고, 압축은 블렌딩된 경계 주변의 고주파 디테일을 가장 심하게 깎습니다. 내 플레이어에서 멀쩡하던 결과물이 소셜 플랫폼을 거치고 나면 턱 주변에 블록 노이즈가 보이기도 합니다. 허용되는 최고 품질로 내보내고, 줄이는 일은 플랫폼에 맡기십시오.