AI 動画高画質化を速くする方法：ワークフロー、設定、ハードウェア

要点

AI 動画の高画質化に時間がかかるのは、ニューラルネットワークがすべてのフレームのすべての画素を、多くの場合は何度も処理するからです。速くするには、処理する量を減らし（クリップを短く、出力サイズを小さく、ステップを少なく）、処理が GPU で動いていることを確かめ、アプリのパフォーマンス設定でほかの処理と GPU を奪い合わないようにします。

• AI 高画質化の処理時間は「出力画素数 × フレーム数 × 処理ステップ数」で増えます。このうちどれか 1 つを減らすほうが、どんな設定よりも効きます。
• 今回のテストでは、4K の処理時間は 720p の 10 倍、1080p の 4.2 倍でした。アップスケールは納品するサイズまでにとどめましょう。
• 処理の前に、必要な部分だけを切り出します。ストリームコピーでのカットなら数秒で終わり、画質も落ちません。
• アップスケールの前に元のサイズで修復し、フレームレートの変更は最後に回します。フレーム数が 2 倍になると、その後のステップの処理量もすべて 2 倍になるからです。
• AI は GPU で動かし、ハードウェアデコードをオンにして、リソースモードを適切に選びます。今回のテストでは、ハードウェアデコードの CPU 時間はソフトウェアデコードの約 2% でした。

時間はどこにかかっているか

AI 高画質化のジョブは 3 つの段階に分かれます。

1. ソースをフレームにデコードする。
2. フレームごとに AI モデルを実行する。安定させるために前後のフレームも使うことがよくあります。
3. 結果を動画ファイルにエンコードする。

時間の大半を占めるのは真ん中の段階です。そのコストは、1 フレームあたりの出力画素数、フレーム数、AI ステップ数（修復、アップスケール、補間）の 3 つを掛け合わせた分だけ増えます。どれか 1 つを半分にすれば、時間もおよそ半分になります。

サイズがどれほど効くかを示すため、負荷の高い画素単位のフィルター（FFmpeg の non-local means ノイズ除去）を、同じ 48 フレームに 4 つの出力サイズでかけて時間を計りました。4K は 66.8 秒で、720p の 10 倍、1080p の 4.2 倍と、ほぼ画素数どおりの差になりました。AI モデルも同じで、生成する画素が増えるほど処理量も増えます。

変える前にまず測る

進捗バーから当て推量をするのはやめましょう。クリップのなかでいちばん処理が重い部分を、実際に使うツールと出力サイズのまま短くプレビューし、時間を計ります。KwaFlux のプレビューはアカウント不要で、長さは 1 秒、3 秒、5 秒から選べます。詳しくは無料プレビューで KwaFlux を試す方法をご覧ください。

そのうえで、出力サイズ、ステップ、設定のいずれか 1 つだけを変えて、同じプレビューをもう一度レンダリングします。短いプレビューには起動時間も含まれるので、1 本のプレビュー時間にクリップの長さを掛けて見積もるのではなく、同じ長さのプレビュー同士で比べてください。

必要な部分だけを処理する

20 分の録画のうち 90 秒だけが必要なら、先にその 90 秒を切り出します。ストリームコピーでのカットは再エンコードをしないので、数秒で終わり、中身も変わりません。

ffmpeg -ss 00:01:00 -to 00:02:30 -i input.mp4 -c copy part.mp4

ストリームコピーでは、カットの開始位置がいちばん近いキーフレームになります。前後に 1〜2 秒の余裕を残しておき、細かいトリミングはあとから編集ソフトで行いましょう。

納品するサイズで出力する

クリップの長さの次に効くのが出力サイズです。

スマートフォンで見られる動画や 1080p で投稿する動画なら、4K にアップスケールしても時間が 4 倍になるだけで、視聴者に見える違いはありません。各サイズの意味は2K 解像度とはをご覧ください。

処理の順番を整える

ステップを 1 つ挟むごとに、その後のステップの処理量が掛け算で増えます。

• アップスケールの前に修復する。 ノイズや圧縮による劣化は、4K にしてから取り除くより元のサイズで取り除くほうが軽く済み、アップスケーラーもきれいなフレームのほうがうまく働きます。詳しくは修復してからアップスケールをご覧ください。
• フレームレートの変更は最後に。 30 fps を 60 fps に補間するとフレーム数が 2 倍になり、そのあとのステップはどれも 2 倍の処理をすることになります。
• 不要なステップは省く。 各ステップのありとなしでプレビューを出し、違いが見えなければ外しましょう。
• 高速なモードがあれば使う。 夜景 の 高速 エンハンスモードや、フレーム補間の 高速 のように、速い設定を用意しているツールもあります。両方をプレビューしてください。

処理を GPU で動かす

AI モデルは、CPU より GPU のほうが何倍も速く動きます。

• AI プロセッサを自動か GPU にする。 KwaFlux では 設定 › パフォーマンスとリソース › AI プロセッサ で使うハードウェアを選びます。たいていは GPU のほうが速く、変更は次のプレビューや書き出しから反映されます。
• CPU への切り替え通知に気をつける。 GPU が使えないかメモリが足りないと、KwaFlux は「今回はCPU推論で実行します。所要時間は大幅に増えます」と表示します。待ち続けるより、原因を取り除いてからジョブをやり直しましょう。
• GPU を 2 つ積んだノートパソコンではディスクリート GPU を使う。 KwaFlux は対応するディスクリート GPU で書き出し、内蔵グラフィックスには書き出しに使わないと表示します。Windows では、設定 › システム › ディスプレイ › グラフィック で、アプリごとに優先する GPU を指定できます。
• 電源につなぐ。 ノートパソコンの GPU は、バッテリー駆動中や高温時に速度が落ちます。

GPU によって速さが変わる理由は、AI 動画高画質化に必要な GPUをご覧ください。

パフォーマンス設定を使う

KwaFlux の 設定 › パフォーマンスとリソース には、速度に効く項目がまとまっています。

どのモードも GPU メモリとシステムメモリについてアプリの安全な上限を超えないので、全速も安心して試せます。その代わり、実行中はパソコンの反応が鈍くなります。

ハードウェアデコードがいちばん効くのは、4K の HEVC や AV1 のソースです。4K HEVC 10 ビットの 20 秒をソフトウェアでデコードすると CPU は 32 コア秒ふさがりましたが、ハードウェアデコードでは 0.6 コア秒で済みました。どちらも数秒で終わりますが、AI の書き出し中は、その CPU 時間がほかのすべての処理から奪われます。

出力をさらに コンバーター にも通すなら、GPU 加速のオプションで H.264 と HEVC をグラフィックカードでエンコードできます。速度と画質のトレードオフはソフトウェアエンコードとハードウェアエンコードの違いをご覧ください。

メモリを空ける

• GPU メモリ。 大きなサイズで出力するには、ビデオメモリが大量に必要です。KwaFlux に「GPU メモリが不足しています」と表示されたら、出力解像度を下げる、高速なプリセットを使う、別の GPU を選ぶ、あるいはゲームやほかの動画ツールなど GPU を多く使うアプリを閉じてください。
• システムメモリ。 メモリが逼迫すると、KwaFlux は失敗を避けるためにタスクを 1 レーンに抑えます。ほかのアプリを閉じれば速度は戻ります。
• ディスク。 複数ステップのジョブは一時ファイルを書き込みます。高速な SSD の空き容量を確保しておきましょう。

ステータスバーにはビデオメモリの使用量と実行中の AI ストリーム数が表示されるので、変更が効いたかどうかを確認できます。

Mac の場合

macOS 13 以降の Apple Silicon 搭載 Mac では、KwaFlux は起動後に GPU アクセラレーションコンポーネント を自動で準備し、準備ができると各機能が速くなります。それまでは処理が 標準モード で動くため、時間がかかります。インストール直後に長いジョブを始めるなら、先にコンポーネントの準備ができているか確認するか、時間がかかることを承知で標準モードで始めてください。macOS 12 では、処理は標準モードで動きます。

よくあるトラブルと対処

まとめ

いちばん早く終わる書き出しは、処理する量がいちばん少ない書き出しです。必要な部分だけを切り出し、アップスケールは納品するサイズまでにとどめ、修復をアップスケールより先に行い、フレームレートの変更は最後に回しましょう。そのうえで処理を GPU で動かし、ハードウェアデコードをオンにして、書き出しを待つのか、横で作業を続けるのかに合わせてリソースモードを選んでください。

ご自身の素材で時間を計る

KwaFlux はご自身の GPU でAI動画エンハンサーとAI画質修復を実行します。AI 処理はご自身の GPU 上で実行され、メディアファイルが処理のためにアップロードされることはありません。Windows 10（64 ビット、バージョン 1809 以降）、Windows 11、Apple Silicon 搭載の macOS 12 以降で動きます。プレビューにアカウントは不要です。長さは、動画のモジュールで 1・3・5 秒、手ぶれ補正で 5・15・30 秒、画像は全体、音声は冒頭 5〜30 秒です。ログインと有料プランが必要なのは、書き出し、変換、ファイル修復、リンクからのファイルダウンロードだけです。