AI動画フェイススワップ、1フレームずつ
ソース顔1枚と、それを入れたいクリップをアップロードしてください。全フレームで検出、ランドマーク検出、ブレンドを個別に行うため、動画フェイススワップは動きの中でも崩れず、ちらつきません。
静止画はモデルに1つの問題を渡します。動画フェイススワップは1フレームごとに1つの問題を渡し、さらに難しい条件を重ねます。フレーム同士が互いに整合していなければなりません。単体では説得力のある24枚のスワップも、フレーム間で顎の線が1ピクセルずれれば偽物に見えます。人の目は細部の判断よりも動きの検出にはるかに優れているからです。この時間的な安定性への要求があるため、クリップは費用が高く、時間もかかり、静止画では不要だった準備が結果に直結します。
内部では各フレームをデコードし、顔を走査し、ランドマークを取り、スワップし、ブレンドして新しいファイルに書き出します。エンジンはRunPod上のFaceFusionです。だから静止画の数秒に対して、動画フェイススワップは通常1〜5分かかります。既定では前後のフレームの情報を引き継ぎません。各フレームを個別に検出するため、ハードカットにも耐えますが、検出が不安定になるとちらつきとして表面化します。
ここには実在の人物のプリセット名簿はなく、選べる顔のライブラリもありません。ソース顔は画像としてアップロードし、ターゲット画像または動画もご自身で用意します。どちらの素材も利用者が責任を負います。動画フェイススワップはクリップの長さに関係なく一律30クレジット、画像は10クレジットです。無料アカウントには初回に10クレジット、さらに毎日10クレジットが付与されるため、1本のクリップには有料プラン、または数日分の貯めたクレジットが必要です。
動画フェイススワップのパイプラインが実際に行うこと
全フレームで個別に検出
最初のフレームから前方に補間したトラッキングではなく、各フレームが独自の検出、ランドマーク検出、ブレンドを受けます。400フレーム目は399フレーム目を何も知らないため、ハードカットや遮蔽があっても連続性は崩れません。
ちらつきを止める設定
ちらつきはブレンドの問題ではなく検出の問題です。境界線上のフレームも拾えるように検出スコアを下げ、小さな顔には検出サイズを上げます。さらにセレクターを参照顔モードにして参照フレーム番号を固定すれば、動画フェイススワップ全体で同一人物に固定できます。
エンコーダーまで届く出力制御
詳細設定パネルでは出力動画のエンコーダー、プリセット、品質、スケール、FPSを指定できます。だから出力が、入力より圧縮された状態で戻ってくることはありません。音声はそのまま通過するため、出力音声エンコーダーと音量も同じパネルにあります。
クレジットを使う前にトリミング
フレームトリミングの開始と終了で、必要なショットだけに素材を絞れます。同じ30クレジットでフレーム数が減るため、しっかり詰めた動画フェイススワップは約1分で戻ってきます。
フレーム数に比例する補正処理
顔補正はスワップ領域のテクスチャを作り直し、フレーム補正はクリップ全体を高解像度化します。どちらも追加クレジットはかかりません。ただし1フレームごとに処理時間が増え、動画ではそれがフレーム数だけ倍になるため、必要なときだけ有効にしてください。
動画フェイススワップを3ステップで実行する方法
ソース顔をアップロードする
ソースは10MBまでの静止画です。正面を向いた鮮明な顔1つ、両目が見えているものを選びます。ここで決まった人物像が以降の全フレームに適用されるため、鮮明さがクリップ全体に効きます。
ターゲットをアップロードしてトリミングする
100MBまでのMP4またはMOVを入れます。8秒でも80秒でも料金は同じなので、動画フェイススワップを開始する前にフレームトリミングの開始と終了を設定してください。
実行して待つ
ほとんどのクリップは1〜5分で完了します。ページは3秒ごとに状態を確認し、15分で待機を打ち切ります。元の音声はそのまま、ウォーターマークなしのフル解像度でファイルをダウンロードできます。
動画フェイススワップは30クレジット、画像は10クレジットです。無料アカウントなら3日分の毎日のクレジット、または有料プランが必要です。
クリップが静止画に勝つ場面
形式の違いは結果を大きく左右します。以下は、追加のクレジットと待ち時間に見合う動画フェイススワップの用途で、いずれも自分が権利を持つ映像から始まります。
会話とリアクションのカット
話し、まばたきし、反応する顔は、静止した肖像よりずっと多くの情報を漏らします。だからうまく決まったときのフェイススワップは、動画のほうが説得力があります。テイクは短く、カメラは固定してください。
制作向けのルックテスト
キャスティングのモックアップやピッチ用のリールには、静止した俳優ではなく動く俳優が必要です。粗いスワップでも5分で答えが出て、描いたコンセプト画より正直に伝わります。
ファン編集と再編集
シーンの配役変更、コスプレ映像の仕上げ、誰も出資しなかったクロスオーバー予告の制作は、この形式で最も多い用途です。1話まるごと処理せず、笑いの要点があるショットだけをトリミングしてください。
ショート動画
縦型動画は速く流れ、粗さも許されます。9秒のカットはシーン全体に比べてフレーム数がわずかで、処理時間を抑えたまま動画フェイススワップでネタは十分に伝わります。
自分の顔を別の場所へ
最も地味で、最も多い用途です。自分がその場にいなかった映像に自分の顔を入れます。行けなかった旅行のクリップ、参加できなかった集合動画、居合わせたかったテイクです。
動画に逆らわず、動画に沿って作る
クレジットを使う前にトリミングと画角を決める
30クレジットは1秒ではなく1ジョブ分です。だから最初の判断は、本当に必要なフレームがどこかということです。フレームトリミングの開始と終了はそのために存在します。動画フェイススワップを開始する前に、狙いを伝えるショットまで素材を削ってください。10秒のカットは約1分で戻り、2分のシーンは15分の待機上限に近づきますが、料金は全く同じです。まずトリミング、次にパラメーターです。
画角は静止画よりも重要です。被写体が動くと顔の大きさが変わるからです。ショットの冒頭で画面いっぱいだった顔が、終わりには40ピクセルまで縮む素材は、前半はきれいに置き換わり、後半で崩れます。顔が使える大きさを保つ区間までトリミングするか、小さな顔も拾えるように検出サイズを上げてください。引きの説明ショットは、このモデルに渡せる中で最も難しい素材です。
ちらつきの原因と止め方
ちらつきがブレンドの段階で生まれることは、ほとんどありません。原因は検出です。いくつかのフレームで顔が検出スコアのしきい値を下回り、そのフレームがスワップされずに通過し、連続再生でちらつきます。検出スコアを下げれば、境界線上のフレームも戻ってきます。モーションブラー、急な横顔への振り向き、顔にかかる影がよくある3つの原因で、どれも別のスワップモデルではなく、低いしきい値で解決します。
不安定さのもう1つの原因は、複数の人物が映るショットでの人物の入れ替わりです。セレクターが多数の顔のままだと、被写体が画面から出た瞬間にエンジンが別人へスワップを渡すことがあります。セレクターを参照顔モードにし、被写体がはっきり写るフレームを参照フレーム番号に設定してから、参照位置と参照距離を調整すれば、動画フェイススワップの間ずっと対象が固定されます。
エンコーダーで成果を台無しにしない
動画フェイススワップは必ず再エンコードします。パイプラインはソースをデコードし、ピクセルを書き換え、新しいファイルを書き出します。つまり元の素材が既に持っていた劣化の上に、2世代目の非可逆圧縮が乗ります。出力動画のエンコーダー、プリセット、品質が、その2度目の圧縮の代償を決めます。きれいな素材で品質を低いまま残すことは、技術的には完璧なスワップを元素材より悪く見せる最短の方法です。
フレームレートにも同じ注意が必要です。出力FPSは変更しない限りソースに従い、変更すると再サンプリングが起きます。顔の処理が完璧でも、スワップの不具合に見えるジャダーが出ることがあります。明確な理由がなければFPSは触らないでください。ソースが本当に甘い場合は、フレーム補正がクリップ全体を高解像度化し、顔補正がスワップ領域のテクスチャを作り直します。代償はクレジットではなく、1フレームあたりの処理時間です。
30クレジットを使う前に確認すること
期待を下回る動画フェイススワップは、ほぼ必ず入力の問題です。モデルは静止画で動くものと同じで、ジョブごとに劣化することはありません。変わるのは映像です。顔がどれだけ横を向いているか、画面のどれだけを占めるか、モーションブラーがどれだけ強いか、そして何人が検出を取り合うかです。
クリップは画像の3倍の費用がかかり、時間は100倍かかります。だから無駄な実行は痛いです。下のリストに15秒使ってください。同じ動画フェイススワップを2度待つより、いまショットを詰めるか、別のソース写真を選ぶほうが安く済みます。
- ソース顔は10MB未満の鮮明な正面向きの静止画である
- ターゲット動画はMP4またはMOVで、100MB未満である
- フレームトリミングの開始と終了が、必要なショットだけを含む
- トリミング範囲の全体で顔が使える大きさを保っている
- 複数の人物が映る場合はセレクターが参照顔モードである
- 映像の権利と、顔についての本人の同意を持っている
すべてのクリップに適用される規則
このページに実在の人物のプリセット名簿はありませんし、今後も作りません。名前を指定した公人を1クリックで置き換えられる仕組みは、この種のツールが嫌がらせの装置になる道筋です。だからソース顔は常に利用者が用意し、常に利用者が責任を負います。実在の人物の肖像を本人の同意なく性的な内容に使うことは、明確に禁止します。実際には起きていない出来事の、未編集の本物の記録として通用させるために作った出力も禁止します。動く映像はまさにその点で最も危険な形式なので、はっきり書いておきます。
パロディ、批評、ファン作品、企画や制作の素材、そして自分自身の肖像は、この道具の想定内です。編集した映像は、手元を離れるときに編集済みと明示してください。法律は速く動いています。肖像権とパブリシティ権、同意のない性的画像に関する法律、選挙をめぐる合成メディアの規則は、いずれも今日、実際の罰則を伴います。実在の人物を狙い、性的に扱い、または欺くために使われたアカウントは利用資格を失います。動画フェイススワップに写った本人からの削除要請には、私たちは必ず応じます。
動画フェイススワップのよくある質問
動画フェイススワップが30クレジットで、画像が10クレジットなのはなぜですか？
処理がフレーム単位だからです。30fpsの1秒は、検出30回、ランドマーク検出30回、ブレンド30回、そして全体の再エンコードになります。静止画はそれぞれ1回だけです。30クレジットはクリップの長さに関係なく一律なので、長いクリップほど1フレームあたりは割安です。毎日の無料クレジットだけでは1回分に届きません。
声は変わりますか？
変わりません。変わるのは顔だけです。音声はそのまま通過し、音の設定は出力音声エンコーダーと音量だけです。このパイプラインに音声のクローン生成、リップシンク、音声合成はありません。
動画フェイススワップにはどれくらい時間がかかりますか？
多くの素材で1〜5分です。所要時間はファイルサイズよりフレーム数で決まります。ページは3秒ごとに状態を確認し、15分で打ち切るため、非常に長い映像や高フレームレートの映像は先にトリミングしてください。
アップロードできるファイルは何ですか？
ソース顔は画像で、10MBまでです。ターゲット画像または動画は、画像が10MBまで、動画はMP4かMOVで100MBまでです。それ以外はクレジットを消費する前に拒否されます。
動画フェイススワップがちらつくのはなぜですか？
一部のフレームで検出が顔を見失っています。まず検出スコアを下げ、顔が小さく写っている場合は検出サイズを上げてください。スワップが別人に飛ぶ場合は、セレクターを参照顔モードにして、参照フレーム番号で固定します。
出力にウォーターマークは入りますか？
どのプランでも入りません。ファイルは指定した解像度とスケールで、重ねものなしに戻ります。アップロードは自分のアカウントに限定した署名付きの非公開ストレージに置かれ、結果はジョブ履歴に残り、公開も学習データへの利用もされません。
先に静止画で試せますか？
試せます。むしろ試すべきです。同じツールが10クレジットで画像のターゲットを受け付けます。動画フェイススワップに踏み込む前に、そのソース顔が使えるかを安く確かめられます。1フレームで人物像を決めてから、クリップを流してください。
その他のフェイススワップツール
同じ動画フェイススワップのエンジンを、別の種類の素材に向けたものです。