AI アップスケールとバイキュービック・Lanczos の違い：実際に何が変わるのか

AI アップスケールも従来のアップスケールも、小さなフレームを大きなフレームにする点は同じです。違うのは、新しい画素がどこから来るかです。バイキュービックや Lanczos は隣接する画素から計算するので、画像は大きくなっても細かくはなりません。AI アップスケーラーは学習で覚えたパターンから細部を予測します。

そのため、エッジや髪、質感がソースよりくっきりすることがあり、まれに実在しない細部が描き足されます。どちらが合うかは、拡大の幅とソースの状態で決まります。

• 従来のアップスケール（ニアレストネイバー、バイリニア、バイキュービック、Lanczos）は、新しい画素をそれぞれ周囲の画素から計算します。画像は大きくなりますが、新しい情報は生まれません。
• AI アップスケールは学習済みモデルで自然に見える細部を予測し、たいていノイズや圧縮による劣化も同時に減らします。
• Lanczos はバイキュービックよりくっきり見える一方、硬いエッジに沿って薄いハローが出るリスクが高めです。ニアレストネイバーが向いているのはドット絵くらいです。
• AI の追加処理時間が報われるのは、2 倍以上の拡大、圧縮やノイズの多いソース、線画です。きれいな映像を少しリサイズするだけなら、良い従来型スケーラーで足りることがよくあります。
• どちらの方式でも、カメラが捉えなかった細部は取り戻せません。結果は、その動画を見る予定の画面で 100% 表示にして判断してください。

アップスケールは、画像や動画のピクセル数を増やす処理です。たとえば 1280 × 720 を 1920 × 1080 にします。どのアップスケールも、もともと存在しなかった画素を埋める必要があります。1080p のフレームは 2,073,600 画素、720p は 921,600 画素なので、720p から 1080p へのアップスケールでは画素の約 56% が新しく作られます。

テレビ、ブラウザ、編集アプリは、動画が表示領域より小さいたびにアップスケールしており、そのほとんどが従来型スケーラーです。HandBrake のドキュメントはその代償を指摘しています。720p 未満の動画はたいてい画面いっぱいに引き伸ばされ、小さな欠点まで拡大されてしまう、というものです。

従来の方式はどれも補間のルール、つまり周囲のソース画素がそれぞれ新しい画素にどれだけ寄与するかを決める式です。FFmpeg のスケーラーのドキュメントに一般的なものが載っています。

• ニアレストネイバー（点サンプリング）。 いちばん近いソース画素をそのままコピーします。結果はブロック状になりますが、画素の硬いエッジは硬いまま残ります。整数倍（2 倍、3 倍、4 倍）で拡大するドット絵やレトロゲームのキャプチャには、まさにそれが必要です。
• バイリニア。 近くの画素を直線的に混ぜます。なめらかで柔らかい仕上がりです。
• バイキュービック。 近くの画素になめらかな 3 次曲線を当てはめます。バイリニアよりシャープで、汎用の定番です。FFmpeg の既定値で、Mitchell-Netravali 型の曲線として設定されています。
• Lanczos。 より広い範囲に重みを付ける窓付き sinc フィルターです（FFmpeg の既定は 3 タップ）。バイキュービックよりエッジがくっきり残り、コントラストの高いエッジに沿って薄い明暗の縁取りが出ることがあります。これはリンギングと呼ばれます。
• そのほか。 エリア平均は主に縮小用です（FFmpeg は、拡大時はバイリニアと同等だと記しています）。ガウシアンやスプラインは上の方式の中間に位置します。

違いよりも大事なのは共通点です。どの方式でも、出力画素はすべて入力画素の加重平均です。だから従来型で拡大した 720p の動画は、大きなキャンバスの上でも 720p に見えます。エッジはなめらかにもくっきりにもなりますが、新しい質感は現れず、ソースのノイズや圧縮ブロック、ぼけもほかのすべてと一緒に大きくなります。

AI アップスケーラーは超解像モデルとも呼ばれ、低解像度と高解像度の画像のペアで学習したニューラルネットワークです。学習の中で、低解像度のパッチにはどんな高解像度のパターンが対応しやすいか、つまりレンガ積みやまつげ、木の葉が画素を増やすとどう見えるかを覚えます。実行時には、そのパターンをお手元のフレームに当てはめて予測します。

そこから 3 つのことが言えます。

1. 自然に見える細部を加えます。 エッジはきれいに出て、質感はどの補間よりも密に見えます。
2. たいてい拡大しながら汚れも落とします。 劣化した入力で学習したモデルは、ノイズや圧縮ブロック、甘さを減らすことも覚えます。KwaFlux の スマート修復 はこれを意図して行います。クリップごとの画質検出の結果を読み、ノイズ除去、シャープ化、色と明るさの調整、アップスケール、顔と細部の復元を必要に応じて組み合わせます。
3. 細部は予測です。 ソースに十分な情報がないと、モデルは実際にあったものではなく、それらしく見えるものを描きます。小さな顔、遠くの文字、細かい繰り返し模様で最初に表れます。

動画には 4 つ目があります。フレーム間の一貫性です。質感をフレームごとに予測すると、再生中にちらちら揺らぐことがあります。多くの動画向けモデルは隣接フレームを使って細部を安定させていますが、それでもプレビューで最初に確認すべき点です。

補足： 「AI アップスケール」と「AI 高画質化」は重なり合っています。多くのアップスケーラーは修復とリサイズを 1 回で行うので、同じクリップが元のサイズのままでもきれいに見えることがあります。ほかは何も変えずにフレームを大きくしたいだけなら、従来型スケーラーが素直な選択です。

• きれいな映像を少しリサイズするとき。 シャープで露出の合ったカメラの素材を 1080p から 1440p にする程度なら、バイキュービックや Lanczos 以上が必要になることはまれです。
• どうせ画面側で拡大されるとき。 視聴者のテレビやプレーヤーがいずれにせよ拡大するなら、同じ種類の計算で事前に拡大してもファイルが大きくなるだけです。
• 編集タイムラインとプロキシ。 クリップをプロジェクトの解像度に合わせるだけなら、細部よりサイズが大事です。
• ドット絵とレトロゲームのキャプチャ。 ニアレストネイバーで 2 倍、3 倍、4 倍にすれば、画素は 1 つ残らず四角いままです。

• 2 倍以上の拡大： 720p から 1440p、1080p から 4K、SD から HD。拡大が大きいほど、従来型スケーラーが引き伸ばしてぼかす範囲が広がります。具体例は 720p を 1080p にアップスケールする方法 をご覧ください。
• 傷んだソース。 圧縮ブロック、センサーノイズ、甘いピントは補間で大きくなります。AI アップスケールはたいてい拡大の途中でそれらを減らします。
• アニメと線画。 きれいなエッジとベタ塗りは、目が最初にチェックするところです。アニメ向けに調整したモデルは線を細く保ち、平らな面をきれいに埋めます。
• 長く残す映像。 家族の動画やアーカイブなら、追加の処理時間がかかるのは一度きりです。ごく小さなソースから現実的に何が期待できるかは、480p から 4K へ：AI が取り戻せるもの をお読みください。

スケーラーについて読むだけでは限界があります。細部の多いショット（髪、木の葉、布地、小さな文字）を 1 つ選び、納品するサイズで比べてください。

KwaFlux では

1. 画質修復を開きます。 サイドバーで 画質エンハンス に進み、スマート修復 カード、または映像に合ったシーン修復のカード（アニメ映像 など）を開きます。
2. クリップを読み込み、出力サイズを設定します。 書き出し設定 で 解像度 を目標の値、たとえば 1080p や 4K にします。
3. プレビューをレンダリングします。 細部の多いショットで 1秒プレビュー、3秒プレビュー、5秒プレビュー のいずれかを選びます。
4. 同サイズの基準と比べます。 ビフォーアフター表示の 修復前（同サイズ） は、ソースを従来のスケーリングで出力解像度まで拡大したものです。AI の結果をこれと並べると、同じ寸法のまま、単純なリサイズを超えてモデルが加えたものがわかります。
5. スコアを読み、最後は自分の目で。 設定 › プレビュー で プレビュー後に画質を自動比較 をオンにすると、KwaFlux が変化を採点します。鮮明さ、クリーンさ、審美、技術 に加えて、解像度の向上 と ソースとの近似度 (VMAF) です。読み方はアプリ自身のヒントにあります。VMAF には「高いほど変化が少なく、画質が良いという意味ではありません」と表示され、パネルには、これらは客観的なアルゴリズム指標であり最終判断はご自身の目で、という注記があります。採点の仕組みは 動画の画質をどう採点しているか をご覧ください。

FFmpeg で（無料）

バイキュービック版と Lanczos 版を作り、左右に並べます。

ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=bicubic" -c:v libx264 -crf 16 -an bicubic.mp4
ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=lanczos" -c:v libx264 -crf 16 -an lanczos.mp4
ffmpeg -i bicubic.mp4 -i lanczos.mp4 -filter_complex hstack -c:v libx264 -crf 16 compare.mp4

-2 はアスペクト比を保ち、高さを偶数に丸めます。CRF を低め（16）にしておくと、見比べたい違いをエンコーダーが隠してしまうのを防げます。compare.mp4 を開き、細部の多いショットで一時停止して 100% 表示で見てください。左がバイキュービック、右が Lanczos です。

補足： FFmpeg の scale フィルターでアルゴリズムを選ぶ方法としては、flags=lanczos が昔から使われてきました。現在のスケーラーのドキュメントでは、flags によるアルゴリズム指定は非推奨とされ、別の scaler オプションに置き換えられています。お使いのビルドが何を受け付けるかは ffmpeg -h filter=scale で確認してください。

ヒント： 実際に視聴されるサイズで比べてください。デスクトップのモニターで 100% 表示にすると明らかな違いがスマートフォンでは消えることもあれば、ノートパソコンでは見えないハローが 65 インチのテレビでは気になることもあります。

• 捉えられなかった細部を取り戻すこと。 読めない文字は読めないままです。AI モデルは文字のような形を描くことがあり、ぼけたままにしておくより悪い結果になります。
• 大きなピンぼけをシャープなショットに変えること。 軽い甘さは改善しますが、大きく外れたピントは戻りません。
• 動きをなめらかにすること。 アップスケールで増えるのは画素で、フレームではありません。動きをなめらかにしたいなら フレーム補間 です。
• 以前の処理で焼き付いたアーティファクトを元に戻すこと。 スマートフォンや以前の書き出しでかかったシャープネスのかけすぎによるハローや強いノイズ除去は、もう画像の一部です。AI はその一部を和らげることはできても、元に戻すことはできません。

従来型スケーラーは、手元の画素をどう引き伸ばすかを決めます。AI アップスケーラーは、足りない画素がおそらくどう見えていたかを決めます。ソースがきれいで拡大が小さいときは前者を、拡大が大きいかソースが傷んでいるときは後者を使い、書き出しを決める前に両方を並べて比べてください。

KwaFlux はご自身の GPU でAI動画エンハンサーを実行します。AI 処理はご自身の GPU 上で実行され、メディアファイルが処理のためにアップロードされることはありません。Windows 10（64 ビット、バージョン 1809 以降）、Windows 11、Apple Silicon 搭載の macOS 12 以降で動きます。プレビューにアカウントは不要です。どのクリップでも 1・3・5 秒のプレビューを出せます。ログインと有料プランが必要なのは、書き出し、変換、ファイル修復、リンクからのファイルダウンロードだけです。