페이스캠 클립을 위한 스트리머 얼굴 합성

웹캠 영상에는 거의 언제나 얼굴을 가로지르는 무엇이 있고, 렌더링이 버티는지는 그것이 정합니다. 흔한 셋은 헤드셋 암, 붐 마이크, 키보드 위의 손입니다. 다른 것을 만지기 전에 오클루더 모델을 켜십시오. 오클루전을 무시한 스트리머 얼굴 합성은 헤드폰 컵 위에 떠 있는 얼굴을 만들고, 그것은 마스크 블러를 얼마나 올려도 나중에 고쳐지지 않습니다. 손이 턱을 지나는 프레임을 확인하십시오. 실패는 거기서 먼저 보입니다.

크로마키는 여기서 방해가 아니라 도움이 됩니다. 깔끔한 키는 머리 주변에 대비가 큰 경계를 주므로, 몸을 앞으로 기울이거나 의자를 돌려도 검출이 안정적으로 유지됩니다. 헤어라인에 초록 테두리가 남은 망친 키는 반대로 작동합니다. 그 테두리가 피부로 읽히고, 마스크가 그쪽으로 늘어나고, 이음매가 빛납니다. 얼굴 교체를 돌리기 전에 편집 프로그램에서 키를 고치십시오. 앞단의 색 작업 10초가 뒷단의 헛된 작업 세 건을 아껴 줍니다.

원형 웹캠 크롭은 화면에서 작아 보이지만, 그 안의 얼굴은 보통 자기 프레임에서 큽니다. 좋은 경우입니다. 나쁜 경우는 전체 화면 게임플레이 녹화에서 페이스캠이 구석에 가로 240픽셀로 박혀 있는 것입니다. 그 구석을 잘라 내고, 크롭만 가지고 스트리머 얼굴 합성을 돌려 검출기에 실제 픽셀을 주십시오. 그 뒤에 바뀐 페이스캠을 편집 프로그램에서 게임플레이 위로 다시 합성하면 됩니다.

해상도 불일치는 많이들 헷갈립니다. 6000픽셀 소스를 1080p 클립에 붙여도 도움이 되지 않습니다. 얼굴 교체 영역이 대상에 맞춰 다시 샘플링되면서 남는 디테일이 버려지기 때문입니다. 도움이 되는 것은 얼굴이 자기 프레임에서 충분한 비중을 차지하는 소스입니다. 얼굴 향상은 합성 영역 안의 질감을 다시 세우고 프레임 향상은 그 주변 전체를 끌어올려, 뭉개진 녹화 안에서 결과물만 면도날처럼 선명해지는 일을 막아 줍니다. 둘 다 추가 크레딧이 아니라 시간만 씁니다.

프레임 사이의 깜빡임은 방송 클립의 대표적인 실패이고, 거의 언제나 그 영상에 비해 검출 점수가 너무 높다는 뜻입니다. 빠른 고개 회전에서 나온 모션 블러가 한 프레임을 임계값 아래로 떨어뜨리면, 두 프레임 동안 합성이 사라지고 눈은 그것을 즉시 알아챕니다. 점수를 조금 낮추면 회전을 통과해 추적이 유지됩니다. 스트리머 얼굴 합성이 깜빡이는 것은 모델 문제보다 임계값 문제인 경우가 훨씬 많습니다.

게스트 캠이나 채팅 아바타가 화면에 있어 엉뚱한 얼굴을 잡는다면, 셀렉터를 다중 얼굴 모드에서 빼내고 원하는 얼굴에 레퍼런스 위치를 지정한 뒤 레퍼런스 거리를 좁히십시오. 헤어라인에 단단한 선이 보이면 마스크가 너무 좁다는 뜻이니 마스크 블러를 올리고 패딩을 조금 더하십시오. 한 번에 한 가지만 바꾸십시오. 스트리머 딥페이크를 손보면서 두 가지를 동시에 바꾸면 어느 쪽이 일했는지 배우지 못합니다.