ステージとMV映像のための歌手フェイススワップ
入れたい顔と、入れたい演奏映像を用意してください。歌手フェイススワップのエンジンは、ビートに合わせて動く頭部を追跡し、点滅するステージ照明の中でも位置を保ちます。
音楽映像は、フェイススワップのエンジンに渡される素材のなかで最も難しいものです。演者はビートに合わせて動き、照明は1小節ごとに色を変え、マイクは撮影のほとんどの時間あごの線を横切ります。歌手フェイススワップは、それらすべてを1フレームずつ順番に乗り越え、移植した顔を頭からずらさずに保つ必要があります。このページはRunPodのGPU上でFaceFusionを動かし、まさにその問題に合わせて調整しています。
入れたい顔を画像としてアップロードし、次に入れたいターゲット画像または動画をアップロードします。ライブの一場面、ミュージックビデオの一部、リリックビデオのサムネイル、アルバムのジャケット、ミックステープのスリーブなどです。画像のスワップは10クレジットで、数秒で終わります。動画の歌手フェイススワップは30クレジットで、通常は1〜5分で戻ってきます。クリップ全体に1回の処理を引き延ばすのではなく、1フレームごとに検出、位置合わせ、ブレンドを行うからです。
ここには何も読み込まれていません。プリセット顔はなく、実在のアーティストのライブラリもなく、クリックを待つサムネイルに名前が付くこともありません。歌手フェイススワップの素材は2つともあなたが用意するので、何を作るかを決めるのはあなたであり、両方のファイルの権利を持つ責任もあなたが負います。これは意図した制約であり、制作の道具と嫌がらせのために作られたものを分ける線です。
音楽素材に特化したフェイススワップ設計
ストロボとカラーゲルへの耐性
ステージの照明機材は片側からマゼンタ、反対側からシアンを浴びせ、半小節だけ暗転します。エンジンは移植した顔をフレームごとに再ライティングするので、歌手フェイススワップが照明の色が変わるたびに白く飛ぶことはありません。
口が開いたままでも崩れません
歌えば口は撮影のほとんどの時間開いています。詳細設定パネルのマスク領域でターゲット側の口の内側を残せるので、その演奏に属する歯と舌はそのまま生き、顔の残りだけが置き換わります。この一つの操作が、崩れた歌手フェイススワップの原因をほかの何よりも多く直します。
マイクや手が顔の前にあっても大丈夫
マイクがあごを横切り、手が耳を覆い、髪が片目にかかります。オクルーダーとパーサーのモデルが顔の前にあるものを判定し、フェイススワップをその後ろに保つので、マイクがあごににじむことはありません。
クレジットを使う前にフレームトリミング
4分のセットは、全部が欲しい場合でも8秒だけ欲しい場合でも同じGPU時間を使います。フレームトリミングはジョブの開始前にクリップを切り詰めるので、動画の歌手フェイススワップは残す部分だけをレンダリングします。出力FPSとエンコーダーの設定と組み合わせてください。
非公開のアップロード、ウォーターマークなし
ファイルはアカウントに紐づいた署名付きのR2ストレージに入り、完成した成果物はジョブ履歴にフル解像度で残ります。あなたが作ったものが公開されたり、ギャラリーに並んだり、学習データに使われたりすることはなく、ウォーターマークも一切入りません。
アップロードからダウンロードまで3ステップ
ソース顔をアップロードする
入れたい顔の鮮明な画像を1枚選びます。正面向きで、両目が見えていて、口に何もかかっていないものです。歌手フェイススワップのソース顔は必ず静止画で、動画は使えません。画素数よりも鮮明さのほうが効きます。
演奏素材を追加する
ターゲットを入れます。画像なら10MBまで、動画なら100MBまでです。ライブの一場面、ミュージックビデオの一部、ジャケット、サムネイルなど。ターゲット画像または動画が、最終的なポーズと照明と構図を決めます。
レンダリングしてダウンロードする
静止画は10クレジットで数秒で戻ります。動画の歌手フェイススワップは30クレジットで、通常1〜5分必要です。GPUが動いている間ページが状態を確認し、ウォーターマークのないファイルを渡します。
どのアカウントも10クレジットのウェルカムクレジットから始まり、さらに毎日10クレジットが無料で入ります。有料プランを考える前に、静止画の歌手フェイススワップを毎日1回試せる量です。
実際に作られているもの
歌手フェイススワップは器であり、中に何を入れるかが重要です。次の5つは、すでに使う許可を持っている素材から始める、誠実な使い方です。
ミュージックビデオのファン編集
好きな映像を別のボーカルで組み直したり、レーベルが実現しなかった共演を完成させたりできます。ファン編集はこの種の道具を開く最大の理由であり、振り付けとの噛み合いで成否が決まります。
アルバムとミックステープのジャケット
ジャケットの絵には、正確なポーズと正確なライティングの顔が必要で、素材集にそれはありません。自分で組んだ構図への歌手フェイススワップは、今週締め切りのリリースのために2回目の撮影を組むより速いです。
リリックビデオのサムネイル
サムネイルは最初の1フレームの顔で決まります。撮影で撮れなかった表情を、配信側が実際に表示する切り抜きの形で用意でき、スタジオを午後いっぱい借り直す必要もありません。
パロディと批評
ある演者の顔を別の演者のステージに乗せる冗談には長い歴史があり、公人への風刺は多くの地域で広い保護を受けます。意図を明確にし、編集済みだとファイルに明記すれば、パロディの歌手フェイススワップはその伝統の中に収まります。
ステージに立つ自分の顔
もっとも静かで、そしてよくある使い方です。演奏したことのないステージに自分を入れます。バンドの宣材のモックアップ、撮影に来られなかったメンバー、シャワーでしか歌わない人への誕生日用の編集などです。
ステージ映像でスワップを保つコツ
勝負を決めるのは照明です
ライブの照明が、ステージ素材のスワップが失敗する最大の理由です。日中や柔らかいスタジオの主光で撮ったソース顔は、中立な肌の色と均一な影を持ちます。一方でターゲットのフレームは、舞台左からの強いマゼンタと、逆方向から差すシアンの逆光を抱えています。エンジンはフレームごとに再ライティングしますが、ソース顔が与える情報からしか作れません。ソース顔の光の向きがターゲットの向きとおおむね合っていれば、歌手フェイススワップは有利に始まります。
ストロボと暗転は別の問題です。強いフラッシュの下で撮れたフレームには使える情報がほとんどなく、ほぼ真っ暗なフレームにはそれ以下しかありません。顔補正をオンにしてスワップした領域に復元処理をかけ、会場の後方のスマートフォンで撮った甘い映像にはフレーム補正も足してください。どちらも追加のクレジットはかからず、余分な時間だけかかります。ライブのステージから取った素材では両方オンのままにしてください。
口、マイク、顔を横切るもの
歌っている最中のボーカルは口を大きく開けており、それが音楽素材のもっとも特徴的な部分です。スワップは顔の領域を置き換えますが、ターゲット側の口の内側は受け継ぎます。歌っている母音と一致する歯と舌が本物に見えるので、通常はそれが望ましい形です。マスク領域を開いて、口を除外したままにしてください。閉じた口のソース顔を開いた口のターゲットに乗せるのが、典型的な失敗した歌手フェイススワップです。
もう一つの定数はマイクです。手持ちのマイクはライブの大半であごと下唇を横切り、ヘッドセットのブームは頬を横切ります。オクルーダーとパーサーのモデルがそれを扱いますが、マイクがあごににじむ場合は下側のマスク領域の余白を増やし、検出スコアを少し下げてトラッカーの追従を保ってください。オクルーダーの有無が、きれいな結果と顔に溶けたマイクの差になります。
一度に変えるのは一つだけ
歌手フェイススワップの髪の生え際に継ぎ目が見えるのは、マスクが狭すぎるからで、直すのはマスクぼかしです。動いている演者でフレーム間に顔がちらつくのは、検出スコアが高すぎるからです。少し下げて、モーションブラーの中でもモデルに追跡させてください。マイクスタンドの後ろのギタリストにスワップが飛ぶ場合は、セレクターを参照顔モードに切り替え、欲しい顔に参照位置を固定してください。
最後によくある原因が解像度の不一致です。720pのステージ映像に対して巨大なソース顔は役に立ちません。スワップした領域はターゲットに合わせて縮小され、余分な細部は捨てられます。効くのは、顔がそのフレームの中で十分な面積を占めているソース顔です。1回の試行で変えるパラメーターは1つにしてください。そうしないと、良い結果が出ても6つの設定のどれが効いたのか分からなくなります。
レンダリングの前に確認すること
できの悪い歌手フェイススワップは、ほぼすべてモデルではなく素材に原因があります。エンジンがジョブの間に静かに悪くなることはなく、詳細設定パネルは最初から無理なソース顔を救えません。変わるのは、あなたが渡す2つのファイルだけです。
クリップに30クレジットを使う前に、このリストを読んでください。15秒で終わり、多くの人が同じことをゆっくり学ぶために燃やす3回から4回の失敗を防げます。
- ソース顔は鮮明で正面向きの静止画である
- ソース顔の口の形がターゲットと合っている
- ソース顔の光の向きがステージの照明と合っている
- マスク領域がターゲット側の口の内側を残している
- ターゲットは画像10MBまたは動画100MB以内である
- アップロードする2つのファイルの権利と同意がある
このページのすべてのスワップに適用される規則
このページに実在のアーティストの名簿はなく、今後も置きません。すべての歌手フェイススワップは、あなた自身が用意したソース顔から始まります。つまり、それが誰の顔なのかについて答える責任は、あなたにあります。実在の人物の容姿を使った性的な内容は、本人の同意がなければ全面的に禁止します。公人であっても例外はありません。編集していない本物の写真や録音として通そうとするものも、同じく禁止します。開催されていない公演の偽のライブ映像や、演者の口に入れた作り物の発言を本物として広める行為は、まさにこの道具の用途ではありません。
用途はこうです。パロディ、批評、ファン制作、企画と制作の資料、そして自分自身の容姿です。編集した素材が自分の端末を離れるときは、編集済みだと明記してください。キャプションは無料で、疑問を最初に片づけます。ここでの法律も理論上の話ではありません。容姿とパブリシティの権利、同意のない性的画像に関する法律、選挙をめぐる合成メディアの規則は、いずれも今や実際の罰則を伴います。実在の人物を性的に扱い、欺き、標的にするために使われたアカウントは利用できなくなり、描かれた本人からの削除要請には対応します。
歌手フェイススワップのよくある質問
声は変わりますか？
いいえ。この道具は顔だけを入れ替えます。元の音声トラックはそのまま通るので、歌手フェイススワップは歌声を録音されたままに残します。音声のクローン生成はありません。詳細設定パネルで設定するのは音声のエンコーダーと音量で、これは多重化であり合成ではありません。
実在のアーティストが最初から入っていますか？
プリセットもなく、名前を付けたサムネイルもなく、公人のライブラリもありません。毎回、ソース顔とターゲット画像または動画をあなたがアップロードします。これは設計上の決定であり、欠けている機能ではありません。
動画の歌手フェイススワップはどのくらいかかりますか？
ほとんどのクリップで1〜5分です。長さとフレームレートで決まります。1フレームごとに検出とブレンドを行うからです。ページは裏で状態を確認し、15分で打ち切ります。4分のセットのうち8秒だけ必要なら、まずフレームトリミングを使ってください。
料金はいくらですか？
画像の歌手フェイススワップは10クレジット、動画は30クレジットです。新しいアカウントには10クレジットのウェルカムクレジットと、毎日10クレジットの無料分が入るので、軽い利用なら費用はかかりません。顔補正とフレーム補正は無料でオンにでき、処理時間だけが増えます。
どんなファイルをアップロードできますか？
ソース顔は画像でなければなりません。ターゲットは10MBまでの画像か、100MBまでの動画です。静止画はJPEG、PNG、WebP、動画はMP4とMOVです。それ以外は、歌手フェイススワップがクレジットを消費する前に拒否されます。
口の形がおかしく見えるのはなぜですか？
ほぼ必ず口の不一致です。閉じた口のソース顔を、歌っている最中のターゲットに乗せた場合です。似た口の形のソース顔を探し、それからマスク領域がターゲット側の口の内側を置き換えずに残しているか確認してください。
アップロードしたファイルは保存されますか？
ファイルはGPUのワーカーが読めるように、アカウントに紐づいた非公開の署名付きストレージに置かれ、完成した歌手フェイススワップは削除するまでジョブ履歴に残ります。公開されることも、他の利用者に見せられることも、モデルの学習に使われることもありません。
他のフェイススワップのページ
この歌手フェイススワップと同じエンジンを、別の種類の素材に合わせて調整したものです。