Замена лица в аниме с реальными фото и CG

FaceFusion оценивает области снимка против паттернов, которые выучил с фотографий, затем ставит 68 точек на область, которая побеждает. Лицо с плоской заливкой ломает оба этапа сразу. Нос — линия, а не объём, рот может быть шириной в несколько пикселей, один глаз занимает четверть черепа. Поэтому замена лица в аниме на плоском рисунке часто не возвращает никакой детекции — это приходит как тишина вместо очевидно плохого снимка, и именно это людей путает.

Когда детекция всё же срабатывает на рисунке, точки лица склонны падать не туда. Модель ставит челюсть туда, где была бы человеческая челюсть, пока подбородок цели в другом месте, поэтому область обмена оказывается низкой, широкой или слегка повёрнутой. Ни один параметр это надёжно не чинит, и притворяться обратным тратит ваши кредиты. Это честное следствие нацелить фотографический процесс замены лица в аниме на материал, который никто его не учил читать.

Два контрола делают почти всю работу в трудной замене лица в аниме. Опустите порог детектора, чтобы модель приняла более слабое совпадение, и поднимите размер детектора, чтобы он инспектировал кадр в большем разрешении. Добавьте углы детектора, когда голова наклонена, — что стилизованный рисунок делает постоянно. Если после этого ничего не регистрируется, смените модель детектора, прежде чем трогать что-либо ещё: детекторы расходятся между собой сильнее, чем подсказывают их номера.

Как только лицо найдено, опустите вес обмена. Обмен на полную силу вываливает фотографическую деталь в нарисованный кадр, и шов становится очевидным, а более мягкое смешивание сохраняет что-то от исходного стиля и читается гораздо лучше. Поднимите размытие маски, чтобы смягчить линию волос, и оставьте улучшение лица выключенным: восстанавливать реалистичные поры — противоположность тому, чего хочет стилизованная цель. Меняйте одно значение за попытку, иначе не узнаете, что сработало.

Направление важнее любого параметра. Нести настоящее фотографическое лицо в стилизованную или костюмную сцену работает, потому что цель всё ещё хранит подлинную геометрию головы, чтобы детектор её нашёл, даже под сильным стилем и гримом. Заменённое лицо затем наследует позу и свет цели, и целое держится. Почти вся хорошая замена лица в аниме, которую вы произведёте, следует этому направлению, поэтому идите туда сначала и относитесь к остальному как к запасному ресурсу.

Обратное — поднять нарисованное лицо и наложить его на фотографию — направление, которое разочаровывает. Источник должен быть изображением, и когда это изображение — плоский рисунок, детектор часто не читает на нём никакого лица, поэтому задача никогда не стартует. А когда стартует, вы получаете сглаженное приближение вместо персонажа, которого кто-то узнаёт. Относитесь к обратной замене лица в аниме как к эксперименту, а не как к плану, и держите запасной фотографический источник.