ローカル AI で映像の物体を置き換える

短い答え

KwaFlux で動画の中の物体を差し替える場合、物体はそのまま残し、その後ろの背景を入れ替えます。1 フレームで物体をクリックすると SAM2 が追跡し、背景を透明、単色、ギャラリー、ぼかしから選びます。人物以外の被写体向けで、人物は人物置き換えを使います。物体を消すのは別のツールです。使うのは 物体の背景置換 です。

物体の背景置換と人物置き換え、どちらを使うか

• 対象はボトル、看板、車などの小道具であり肖像ではない
• 欲しいのはクリック追跡マスクであり、人物向けボディマットではない
• After Effects なしでアルファまたは簡単なプレート差し替えが必要

まだコンポジターが必要なもの

• 強い遮蔽、モーションブラー、背景に似た対象
• 多層 VFX や追跡カメラ移動
• 他人のグラフ向けにアルファ付き ProRes 4444／WebM が必要

モジュールの使い方

1. クリップを取り込み、切り出したい物体をクリック
2. 透明・単色・ギャラリー・ぼかしを選び、難しいフレームで 1秒／3秒／5秒プレビュー
3. ローカルで書き出すか、合成を フォーマット変換 へ送る

難しいフレームでプレートを確認する

どの背景を選ぶかは納品の形の選択で、画質の段階ではありません。「透明」はアルファを残すので、ほかの編集者が追跡した物体を別の背景に載せられます。「単色」は物体の後ろを 1 色で塗ります。「ギャラリー」は選んだ静止画を置きます。「ぼかし」は元のシーンを残し、クリックした範囲の外側をやわらかくぼかします。小道具はそのままに、通りの景色だけを後ろに引かせたいときに便利です。マークするのは編集中の映像の中の物体、たとえば瓶、看板、車で、その周りの領域を差し替えます。

SAM2 はクリックした物体をショット全体で追跡します。輪郭が同じ色の壁や机にはみ出したら、注釈パネルで取り消し、やり直し、再生成ができます。1 秒・3 秒・5 秒の無料プレビューは、難しい瞬間に合わせてください。向きが変わるところ、別の小道具の後ろを通るところ、輪郭がくっきりしているはずなのに崩れるコマです。落ち着いた冒頭のコマでは、はみ出しが見えません。プレビューにアカウントは要りません。書き出し、変換、ファイル修復、リンクからのファイルダウンロードには、サインインと有料プランが必要です。どちらの工程もお使いのパソコンで処理され、クリップをアップロードする必要はありません。

AIオブジェクト除去は穴を埋めて、通行人や置かれたゴミ箱を消すためのものです。物体の背景置換は、選んだものを残してその後ろの背景を替えるか、アルファを書き出します。瓶を消したいなら除去を、瓶をすっきりした背景の上に置きたいならこのモジュールを使ってください。人物は引き続きAIスマートカットアウトの担当で、そちらのマットは髪や体に合わせて調整されています。人が手に持っている小道具はクリックの対象にできますが、このモジュールで人物を切り抜こうとはしないでください。

合成ソフトが必要なケースは、静止画で背景がきれいに見えたからといって簡単にはなりません。大きく隠れる被写体、動きのブレ、背景に溶け込む対象は、やはり難しいままです。何層にも重ねるエフェクトやカメラトラッキングを伴うショットは、引き続き別のアプリで組み立てる作業です。協力先がアルファ付きの ProRes 4444 や WebM を求めるなら、アルファを書き出して、相手のプロジェクトで合成を仕上げてもらいましょう。問題ないと確認できた合成済みのファイルは、フォーマット変換でコーデックを変えられます。この工程もローカルで行います。

役に立つ処理は、あえて短く済ませます。クリップを読み込み、物体の輪郭がはっきりしたコマで 1 回クリックします。最初のマスクに机や空、似た別の小道具まで入ってしまったら、書き出しで落ち着くのを期待せず、再生成してクリックし直してください。次に、受け渡し方に合った背景を選びます。ほかの人が合成するなら「透明」、このファイルを完成品にするなら「単色」か「ギャラリー」、物体を場面に残したまま周りだけを引かせたいなら「ぼかし」です。いちばん動きの激しい区間でプレビューを確かめ、そこで輪郭が保たれていればローカルで書き出します。保たれなければクリックする位置を変えるか、そのショットを合成ソフトに回します。

扱うのは、編集する権利のある映像だけにしてください。クリックで選ぶのは、そのショットの中にある物体です。よくある使い方は商品の撮影、B ロール、ユーザー投稿の動画で、小道具や車を 1 つ、お使いの GPU で追跡し、元のファイルは書き出したファイルの横に残しておきます。このページの画像は、クリップを読み込んでまだ何もマークしていないモジュールの画面なので、置き換えの結果は写っていません。ご自分の 1 秒・3 秒・5 秒のプレビューで判断してください。

自分から探しにいくべき失敗は、色が似ている場面です。暗いカウンターの前の暗い瓶、曇り空を背にした白い看板、路面と同じような色の車は、マスクがぶれやすくなります。境界がはっきりしたコマで物体をクリックし、次に境界が分かりにくいコマまで動かして、そこで短いプレビューを回してください。再生成してもその境界が保てないなら、次にやるべきは同じマスクで長く書き出すことではなく、合成ソフトに回すことです。

• 編集中のクリップで小道具、看板、車をクリックする
• 透明、単色、ギャラリー、ぼかしはプレートの種類であり、順位ではない
• 物体が隠れるか、背景と色が近いところで短いプレビューを見る
• 消すべきときは除去、残すべきときはこの作業台
• 難しいフレームが保ってから書き出し、元ファイルは残す