フェイスカメラのクリップ向け配信者フェイススワップ
顔と、それを入れたい録画クリップまたはスクリーンショットをアップロードしてください。配信者フェイススワップのエンジンは、リングライトの反射、ヘッドセットのアーム、グリーンバックの縁を手作業のマスクなしで処理します。
配信の映像は、特定の意味で難しい素材です。フェイスカメラはリングライトの下でレンズのすぐ近くに座り、RGBのキーライトが片方の頬にマゼンタを投げ、ヘッドセットのアームがあごを半分に切ります。配信者フェイススワップはそれらを同時に乗り越える必要があり、だからこそ一般的な写真編集ソフトはウェブカメラの素材を諦めて、顔ではなく浮いたマスクを返してきます。このページのエンジンは、先にフレームを読み、後からブレンドします。
ここのすべてはRunPodのGPU上のFaceFusionで動きます。サイトの他の部分と同じ処理系を、配信者の素材に向けたものです。円形に切り抜いたウェブカメラ、フェイスカメラの枠、チャットのオーバーレイ、通知のバナー、TikTokやYouTubeショート向けの縦の再構図などです。横長のVODと9対16のクリップは、構図が違うだけの同じ仕事で、効いてくるパラメーターはほとんど変わりません。
ここは注意して読んでください。多くの人が抱いてくる期待であり、そしてそれは間違っています。これはオフラインで、アップロードして待つ道具です。リアルタイムのモードも、仮想カメラも、OBSのプラグインもありません。つまり、ここで作った配信者フェイススワップがあなたのライブ出力に出ることは決してありません。実在の人物のライブラリもプリセット顔もありません。ソース顔とターゲット画像または動画は、毎回あなたが用意します。
配信者フェイススワップがウェブカメラ映像を扱える理由
ヘッドセットに耐える遮蔽処理
ヘッドセットのアーム、ブームマイク、キーボードに置いた手、フレームを横切るマグは、すべて顔の前にあります。オクルーダーのモデルがその画素を前景として印を付け、スワップをその後ろに回すので、使える配信者フェイススワップと自分のヘッドホンの上に塗られた顔の差が生まれます。
RGBとリングライトへの耐性
配信者の照明は、設計として色付きで方向性があります。配信者フェイススワップは移植した顔をターゲットのフレームに合わせて再ライティングするので、紫のキーライトの下に中立なスタジオの肖像を貼ることがなくなり、額と首の色がようやく一致します。
クレジットを使う前にフレームトリミング
VODは数時間続き、良い切り抜きは9秒です。フレームトリミングの設定はジョブの開始前に欲しい範囲だけを切り出すので、動画の配信者フェイススワップは1時間の無音ではなく、その瞬間に30クレジットを使います。
FaceFusionのパラメーターをすべて公開
詳細設定パネルは実際の操作をすべて出しています。スワップモデルと重み、ピクセルブースト、検出モデル、サイズ、検出スコア、顔の角度、ランドマーカーの選択、セレクターのモードと参照位置、オクルーダーとパーサーのモデル、マスク領域とマスクぼかし、出力のエンコーダー、倍率、FPSです。
非公開のストレージ、ウォーターマークなし
アップロードしたファイルはアカウントに紐づいた署名付きのR2ストレージに入り、結果はジョブ履歴に残ります。配信者フェイススワップの成果物が公開されたり、他の利用者に見せられたり、学習データとして戻されたりすることはなく、どのプランでもウォーターマークは入りません。
配信者フェイススワップの実行手順
ソース顔をアップロードする
入れたい顔の鮮明な正面向きの画像を1枚選びます。両目が見えていて、サングラスはなく、できればソース顔にヘッドセットも入っていないものです。ソース顔は画像でなければならず、ここでは画素数より鮮明さが効きます。
クリップか静止画をアップロードする
スワップを入れたいフェイスカメラのフレーム、または録画クリップを入れてください。画像は10MBまで、動画は100MBまでです。ターゲット画像または動画が、ポーズと照明と切り抜きを決めます。
レンダリングしてダウンロードする
画像の配信者フェイススワップは10クレジットで、数秒で戻ってきます。動画は30クレジットで、通常1〜5分で終わり、ファイルが用意できるまでページが状態を確認し続けます。
無料のアカウントには10クレジットのウェルカムクレジットが1回入り、その後は毎日さらに10クレジットが入ります。有料プランを考え始める前に、静止画を1枚か2枚試せる量です。
配信者が実際に作っているもの
配信者フェイススワップは形であって、目的ではありません。次に挙げるのは得意な仕事で、どれもすでに使う権利を持っている映像と顔から始まります。
切り抜きとショート動画
VODから9秒の場面を切り出し、顔を入れ替え、縦向きで投稿します。短尺の編集はこの種の配信者フェイススワップの用途として圧倒的に量が多く、先にフレームトリミングを使えばクレジットの消費も正直な量に収まります。
エモートとパネルの絵
パネルのヘッダー、サブスクのバッジ、リアクションのエモートには、たまたま録画していないポーズの自分の顔が要ります。描いた土台やポーズを取った土台に顔を入れるほうが、小さな素材1つのために撮影を組むより速く終わります。
顔が要るサムネイル
サムネイルの顔がクリックを運びますが、必要な表情は手元の映像にほとんど入っていません。配信者フェイススワップなら、2回目の収録なしで正しいポーズに正しい顔を乗せられます。
コラボと共演の企画
共同のホストを自分のオーバーレイに入れ、模擬のゲスト枠を作り、日程が許さなかった共演を組み立てます。関係する全員が先に同意する必要があり、これは技術ではなく人間関係の問題です。
自分の顔を整える
もっとも静かな使い方です。まばたきした、動いた、あるいは照明を直す前の状態で写ったフレームを、自分のより良い静止画をソース顔にして修復します。
配信の映像できれいな結果を得る方法
顔ではなく、ヘッドセットから始める
ウェブカメラの映像には、ほぼ必ず顔を横切るものがあり、それがレンダリングの成否を決めます。よくあるのはヘッドセットのアーム、ブームマイク、キーボードに置いた手の3つです。ほかを触る前にオクルーダーのモデルをオンにしてください。遮蔽を無視した配信者フェイススワップはヘッドホンのカップの上に浮いた顔を作り、あとからマスクぼかしをいくら足しても直りません。手があごを通るフレームを確認してください。失敗はそこに最初に出ます。
グリーンバックはここでは味方になります。きれいに抜けていれば、頭の周りに高いコントラストの輪郭ができるので、身を乗り出しても椅子を回しても検出が安定します。抜けが甘くて生え際に緑の縁が残ると逆になります。縁が肌として読まれ、マスクがそこまで伸び、継ぎ目が光ります。配信者フェイススワップを走らせる前に、編集ソフトで抜けを直してください。上流の10秒の色調整が、下流の3回の無駄なジョブを救います。
顔が意味を持つ大きさで写す
円形に切り抜いたウェブカメラは画面上では小さく見えますが、その枠の中では顔が大きく写っているのが普通で、これは良い状態です。悪いのは、全画面のゲーム映像の隅にフェイスカメラが横240ピクセルで置かれている場合です。その隅を切り出し、切り出した部分だけに配信者フェイススワップを走らせて検出に本物の画素を渡し、それから入れ替えたフェイスカメラを編集ソフトでゲーム映像に重ね直してください。
解像度の不一致は誤解されやすい点です。1080pのクリップに対して6000ピクセルのソース顔は役に立ちません。スワップした領域はターゲットに合わせて縮小され、余分な細部は捨てられます。効くのは、顔がそのフレームの中で十分な面積を占めているソース顔です。顔補正はスワップした領域の質感を作り直し、フレーム補正はその周囲全体を持ち上げるので、ぼやけた映像の中に配信者フェイススワップだけが刃のように鋭く座る状態を避けられます。どちらも追加のクレジットはかからず、余分な時間だけかかります。
ちらつくときは、設定を一つだけ変える
フレーム間のちらつきは配信のクリップで代表的な失敗で、ほぼ必ず検出スコアがその映像には高すぎることを意味します。素早く頭を振ったときのモーションブラーで1フレームがしきい値を下回り、スワップが2フレーム消え、目はすぐそれを捕まえます。スコアを少し下げれば、振り向きの間も追従が保たれます。ちらつく配信者フェイススワップは、モデルの問題であるよりも、はるかに多くしきい値の問題です。
ゲストのカメラやチャットのアバターが画面に入っていて、道具が違う顔を掴む場合は、セレクターを複数顔モードから切り替え、欲しい顔に参照位置を置き、参照距離を狭めてください。生え際に硬い線が出るのはマスクが狭すぎるので、マスクぼかしを上げ、余白を少し足します。1回の試行で変えるパラメーターは1つにしてください。同時に2つ変えると、どちらが効いたのか何も分かりません。
クレジットを使う前に確認すること
できの悪い配信者フェイススワップは、ほぼすべてエンジンではなく入力に原因があります。モデルが2つのジョブの間に静かに悪くなることはありません。変わるのはあなたが渡したフレームで、配信の映像は2つのクリップの間で、スタジオ撮影が2回の撮影の間で変わるよりずっと大きく変わります。
先にこのリストを走らせてください。15秒で終わり、ヘッドセットが原因だったと気づくまでに多くの人が燃やす3回から4回の失敗を防げます。原因はスワップモデルではありませんでした。
- ソース顔は正面向きで鮮明、何にも遮られていない
- ヘッドセットや手が顔を横切るならオクルーダーがオン
- 全画面のゲーム映像からフェイスカメラを先に切り出した
- グリーンバックの抜けがきれいで生え際に緑の縁がない
- ターゲットは画像10MBまたは動画100MB以内である
- フレームトリミングを本当に欲しい範囲に設定した
同意が最初に来ます
このページに実在の人物の名簿はなく、今後も置きません。プリセット顔もなく、名前を付けたサムネイルもなく、検索できる配信者の一覧もありません。すべての配信者フェイススワップのソース顔はあなたが用意し、その責任を負うのはあなたです。それはここではほとんどどこよりも重い意味を持ちます。配信者は同意のないディープフェイクの被害でもっとも頻繁に狙われる人々であり、その傾向はよく記録されています。実在の人物の容姿から作った性的な内容は、本人の同意がなければ全面的に禁止します。公人にも例外はなく、毎晩顔を配信している人にも例外はなく、ファン制作を装ったものにも例外はありません。
編集していない本物の写真や録音として、起きていない出来事を通そうとする成果物も禁止します。対象が配信者でも、視聴者でも、通行人でも同じです。配信者フェイススワップという形が向いているのは、パロディ、批評、ファン制作、企画と制作の資料、そして自分自身の容姿です。編集した素材が自分の端末を離れるときは、編集済みだと明記してください。法律の側も理論上の話ではありません。容姿とパブリシティの権利、同意のない性的画像に関する法律、選挙をめぐる合成メディアの規則は、いずれも今や実際の罰則を伴います。実在の人物への嫌がらせ、性的な扱い、詐欺に使われたアカウントは利用できなくなり、描かれた本人からの削除要請には対応します。
配信者フェイススワップのよくある質問
配信者フェイススワップはライブやOBSで動きますか？
いいえ。これはオフラインで、アップロードして待つ道具です。リアルタイムのモードも、仮想カメラも、OBSのプラグインもありません。録画したクリップか静止画を送り、GPUがレンダリングし、ファイルをダウンロードします。ここのどれも、あなたのライブ出力の中には入れられません。
無料ですか？
どのアカウントにも10クレジットのウェルカムクレジットが1回入り、毎日さらに10クレジットが無料で入ります。画像のスワップは10クレジット、動画は30クレジットなので、毎日編集するなら有料プランが必要です。どのプランでも出力にウォーターマークは入りません。
配信者の顔は最初から入っていますか？
いいえ。プリセットも実在の人物のライブラリもありません。作業が遅れているからではなく、設計としてそうしています。毎回、ソース顔とターゲット画像または動画の両方をあなたがアップロードします。これがこの道具をワンクリックの嫌がらせ装置に変えない歯止めです。
動画の配信者フェイススワップはどのくらいかかりますか？
たいてい1〜5分です。クリップの長さとフレームレートで決まります。1フレームごとに検出とブレンドを行うからです。ページは3秒ごとに状態を確認し、15分で打ち切ります。先に範囲を切り詰めれば、待ち時間もクリップと一緒に縮みます。
どんなファイルをアップロードできますか？
ソース顔は画像でなければなりません。ターゲットは10MBまでの画像か、100MBまでの動画です。静止画はJPEG、PNG、WebP、動画はMP4かMOVです。それ以外は、クレジットを消費する前に拒否されます。
配信者フェイススワップが貼り付けたように見えるのはなぜですか？
可能性の高い順に。ヘッドセットか手が顔を遮っていてオクルーダーがオフ、フェイスカメラがフレームの中で小さすぎる、キーライトの向きがソース顔とターゲットで食い違っている、生え際のマスクぼかしが狭すぎる、です。
アップロードしたファイルは保存されますか？
ファイルはあなたのアカウントだけが書き込める非公開の署名付きストレージに入り、結果はすべてダウンロードできるようジョブ履歴に残ります。公開されることも、他の利用者に見せられることも、将来のモデルの学習データに使われることもありません。
他のフェイススワップの道具
この配信者フェイススワップと同じエンジンを、別の種類の素材に向けたものです。