フェイスカメラのクリップ向け配信者フェイススワップ

ウェブカメラの映像には、ほぼ必ず顔を横切るものがあり、それがレンダリングの成否を決めます。よくあるのはヘッドセットのアーム、ブームマイク、キーボードに置いた手の3つです。ほかを触る前にオクルーダーのモデルをオンにしてください。遮蔽を無視した配信者フェイススワップはヘッドホンのカップの上に浮いた顔を作り、あとからマスクぼかしをいくら足しても直りません。手があごを通るフレームを確認してください。失敗はそこに最初に出ます。

グリーンバックはここでは味方になります。きれいに抜けていれば、頭の周りに高いコントラストの輪郭ができるので、身を乗り出しても椅子を回しても検出が安定します。抜けが甘くて生え際に緑の縁が残ると逆になります。縁が肌として読まれ、マスクがそこまで伸び、継ぎ目が光ります。配信者フェイススワップを走らせる前に、編集ソフトで抜けを直してください。上流の10秒の色調整が、下流の3回の無駄なジョブを救います。

円形に切り抜いたウェブカメラは画面上では小さく見えますが、その枠の中では顔が大きく写っているのが普通で、これは良い状態です。悪いのは、全画面のゲーム映像の隅にフェイスカメラが横240ピクセルで置かれている場合です。その隅を切り出し、切り出した部分だけに配信者フェイススワップを走らせて検出に本物の画素を渡し、それから入れ替えたフェイスカメラを編集ソフトでゲーム映像に重ね直してください。

解像度の不一致は誤解されやすい点です。1080pのクリップに対して6000ピクセルのソース顔は役に立ちません。スワップした領域はターゲットに合わせて縮小され、余分な細部は捨てられます。効くのは、顔がそのフレームの中で十分な面積を占めているソース顔です。顔補正はスワップした領域の質感を作り直し、フレーム補正はその周囲全体を持ち上げるので、ぼやけた映像の中に配信者フェイススワップだけが刃のように鋭く座る状態を避けられます。どちらも追加のクレジットはかからず、余分な時間だけかかります。

フレーム間のちらつきは配信のクリップで代表的な失敗で、ほぼ必ず検出スコアがその映像には高すぎることを意味します。素早く頭を振ったときのモーションブラーで1フレームがしきい値を下回り、スワップが2フレーム消え、目はすぐそれを捕まえます。スコアを少し下げれば、振り向きの間も追従が保たれます。ちらつく配信者フェイススワップは、モデルの問題であるよりも、はるかに多くしきい値の問題です。

ゲストのカメラやチャットのアバターが画面に入っていて、道具が違う顔を掴む場合は、セレクターを複数顔モードから切り替え、欲しい顔に参照位置を置き、参照距離を狭めてください。生え際に硬い線が出るのはマスクが狭すぎるので、マスクぼかしを上げ、余白を少し足します。1回の試行で変えるパラメーターは1つにしてください。同時に2つ変えると、どちらが効いたのか何も分かりません。