视频的时间一致性：修复后的画面为什么会闪烁、游移和出鬼影

要点速览

时间一致性，是指同一个物体在前后两帧里看起来应该一样，除非它真的发生了变化。视频处理常常从四个方面破坏它：整体亮度闪烁、细纹理游移或爬动、运动物体后面拖出尾迹，以及补帧产生的双影。四种问题的成因各不相同，所以修法也各不相同。

• 时间一致性是指：同一个物体在前后帧里看起来应该一样，除非它真的变了。处理过程会以四种方式破坏它：闪烁、游移、尾迹和双影。
• 大多数闪烁和游移的根源，是逐帧单独处理：帧与帧之间的细微差别，会导致处理器做出不同的判断。
• 帧平均能去掉噪点，却会把所有运动的东西抹开。在我们的测试里，对运动的航拍镜头做简单平均，得分比加噪的输入还低；自适应滤镜则高出 2.7 dB。
• 补帧时混合两帧会产生双影；在平稳的航拍镜头上，运动补偿补帧得分 35.5 dB，混合只有 29.6 dB，但到了晃动的素材上，它的优势就没了。
• 时间上的问题要按原始帧率、在播放状态下判断，单看一帧全都看不出来。

时间一致性是什么

一张静态图片只需要单独看着对就行；视频里的每一帧不但要看着对，还要和前后帧一致，因为人眼对变化非常敏感：同一处纹理这一帧不动、下一帧挪了位置，即使每帧单看都没问题，连起来也会显得在闪动。

顿挫和丢帧更多是时间节奏的问题，而不是一致性问题，见怎样修复卡顿、一顿一顿的视频。

逐帧处理为什么会闪烁

图像模型和滤镜并不知道第 101 帧接在第 100 帧后面。逐帧单独运行时，它们每一帧都重新判断一次。而噪点、压缩和细微的运动在每一帧里都不一样，所以判断也会不一样：锐化器强调的边缘略有不同，生成式模型编出的毛孔和树叶略有不同，自动调色挑的色阶也略有不同。Lai 等人在 2018 年的论文里一句话概括了这个问题：把图像处理算法分别用在每一帧上，结果往往在时间上前后不一致。

有三条出路：

• 用能同时看到多帧的模型。 多帧和循环修复模型会把相邻帧对齐，复用它们一致的部分，所以细节出现一次就会稳定下来。它们的原理和失效的情形见AI 修复为什么有塑料感。
• 事后再把结果稳住。 关于“盲时间一致性”的研究，会同时读入原视频和逐帧处理的结果，输出一个更稳定的版本。Lai 的方法用短期和长期时间损失训练一个循环网络；Deep Video Prior 只用这一段视频本身训练网络，不需要大数据集，也不需要光流。
• 降低强度。 逐帧处理对画面改得越少，能闪的东西就越少。这就是为什么轻度设置在播放时往往更安稳，哪怕强设置单看一帧更好看。

视频生成器产出的片段里，纹理爬动很常见，做法见怎样减轻 AI 生成视频的闪烁。

亮度闪烁与 deflicker 滤镜

整个画面的闪烁通常来自素材本身，而不是后期处理：

• 光源。 索尼的闪烁说明里提到，较老的荧光灯每秒闪烁 100 或 120 次，LED 照明则可能每秒闪烁几百到几千次。快门速度和闪烁周期对不上时，每一帧就会抓到光源的不同时刻。
• 胶片。 胶片扫描的每一帧都是单独曝光的，曝光和密度的细小差别在播放时就会一明一暗；完整的清理流程见8mm 和 16mm 胶片扫描。
• 自动调整。 自动曝光、自动白平衡，以及任何逐帧的自动色阶滤镜，都可能在帧与帧之间来回摇摆。

FFmpeg 的 deflicker 滤镜会测量每一帧的平均亮度，算出相邻若干帧的移动平均，再把每一帧往这个平均值上拉。我们给一段自带样片加上强烈的闪烁，再测量相邻两帧平均亮度的跳变幅度：

窗口越宽，平滑得越多，但也会把你想保留的亮度变化抹平，比如淡入淡出、云影掠过、有人开了灯。先用默认的 5 帧窗口：

ffmpeg -i input.mp4 -vf "deflicker=size=5:mode=pm" -c:v libx264 -crf 18 -c:a copy deflickered.mp4

deflicker 只能把整帧的亮度拉平。画面里滚动的横纹它修不了，那是卷帘快门在光源闪烁的半途中曝光造成的；这种情况，真正的解决办法是拍摄时让快门速度和光源匹配。

时域降噪与重影尾迹

时域降噪之所以有效，是因为噪点每一帧都在变，而场景大体不变。问题就出在“大体”二字上：凡是有东西在动的地方，对同一个像素位置做跨帧平均，就会把已经移走的物体也混进来，在它身后留下一个影子。

我们给一段平稳的航拍镜头加上噪点，对比简单的帧平均，和一种在像素变化太大时就停止平均的自适应时域滤镜：

简单平均的得分比不处理还低：噪点确实少了，但运动的地面被抹开，损失比收获更大。换成运动更快的主体，尾迹一眼就能看到。

所以，要用能适应运动的时域滤镜，时间强度保持中等，并且检查运动物体的边缘，而不只是平坦的背景：

ffmpeg -i input.mp4 -vf "atadenoise=0a=0.1:0b=0.2:1a=0.1:1b=0.2:2a=0.1:2b=0.2" -c:v libx264 -crf 18 -c:a copy denoised.mp4

这些阈值决定了 atadenoise 什么时候认为像素变了、停止平均。阈值越高，去掉的噪点越多，出尾迹的风险也越大。降噪在空间上的那一半，见去噪、去块、锐化、校色。

补帧：重复帧、混合、运动补偿和 AI

补帧会生成摄像机没有拍下的帧，用来提高帧率或做慢动作。生成中间帧有四种做法：

• 重复帧 把前一帧再放一遍。没有编造任何东西，但运动和原来一样一顿一顿。
• 混合 把前后两帧叠在一起。所有运动的东西都会以一半的浓度出现两次，这就是双影。
• 运动补偿补帧 估计每一块像素往哪里移动，再把它画在路径的中点上。估计准确时，结果是位置正确、轮廓清晰的单个物体；估计失败的地方，比如边缘、遮挡和重复图案，边缘就会被扭弯、碎片会被撕开。
• AI 补帧 用网络估计运动并合成新帧。RIFE 直接估计中间光流，能在 GPU 上实时运行；FILM 用单个网络专门处理帧间的大幅运动。

为了量化前三种方法，我们从两段自带样片里删掉部分帧，用 FFmpeg 重新生成，再和真实的帧对比：

两点结论。在平稳的运动上，运动补偿的得分明显更高，比混合高出约 6 dB。在晃动的手持镜头上，每种方法都很吃力，因为补帧的前提是两帧之间的运动是平滑的，而晃动每一帧都在改变方向。如果镜头在晃，先用视频防抖或其他防抖工具稳住画面，再补帧。

下面是 FFmpeg 的运动补偿模式，并打开了场景切换检测，免得在镜头切换处生成变形过渡：

ffmpeg -i input.mp4 -vf "minterpolate=fps=60:mi_mode=mci:mc_mode=aobmc:me_mode=bidir:vsbmc=1:scd=fdiff" -c:v libx264 -crf 18 -c:a copy smooth60.mp4

它在 CPU 上很慢：在我们的笔记本上，把 5 秒 24 fps 的 1080p 转成 60 fps 用了 134 秒。混合版本很快，用在双影不明显的慢速摇镜头上也够了：

ffmpeg -i input.mp4 -vf "framerate=fps=60" -c:v libx264 -crf 18 -c:a copy blend60.mp4

补帧瑕疵往往集中在那几类地方：快速挥动的手脚、旋转的车轮、栅栏之类的重复图案、互相遮挡的物体，以及镜头切换处。到底该不该提高帧率，见怎样把视频转成 60 fps。

怎样检查时间一致性

这些问题都没法从单张画面上判断。下面三项检查能发现大部分问题：

1. 按原始帧率、在 100% 缩放下播放。 看平坦区域有没有纹理爬动，看运动边缘有没有尾迹，看新生成的帧有没有双影。
2. 画出每一帧的平均亮度。 曲线平滑就没事，锯齿状就是闪烁：

ffmpeg -i input.mp4 -vf "signalstats,metadata=print:key=lavfi.signalstats.YAVG:file=yavg.txt" -f null -

生成的文本文件列出了每一帧的平均亮度（YAVG），可以直接放进表格软件画图。

3. 看相邻两帧的差值。 在静止的场景里，处理后的片段变化不应该比原片多。纹理游移会在平坦区域里亮成一片细碎的斑点：

ffmpeg -i input.mp4 -vf "tblend=all_mode=difference,eq=contrast=4" -c:v libx264 -crf 18 -an diff.mp4

对原片和处理结果各跑一遍同样的命令，再做对比。

正在发生的变化

• 视频模型正在取代图像模型。 视频超分和修复如今会在很多帧之间传递信息，而不只是成对处理；基于扩散的放大器会加入时间层，或者直接从视频生成模型出发，让细节在时间上保持一致地生成。
• 补帧越来越快，也越来越能处理大幅运动。 实时光流估计（RIFE）和面向大幅运动的单网络设计（FILM），让补帧从离线实验走进了播放器和剪辑软件。
• 一致性开始被测量，而不是被假定。 盲时间一致性的研究给出了量化闪烁的方法，它正在成为和清晰度并列报告的指标。

在 KwaFlux 里怎样处理

• 智能修复参考相邻帧。 在AI 画质修复里，智能修复 会参考相邻帧，而不是每一帧都从头重建。场景修复 的各个类型是逐帧处理的，所以导出前要在播放状态下预览。
• 补帧放在最后。 画质修复工作台依次执行 去隔行、画质修复和智能补帧，所以新帧是从修复后的画面生成的。可以选 2x（默认）、3x、4x，或者在 30 到 144 fps 之间选一个 自定义 目标帧率，补帧挡位可选 通用 或 快速。
• 画质检测会给流畅度打分。 它的 流畅度 一项衡量“是否卡顿、抖动、闪烁，以及帧率是否够用”，还会建议一个补帧的目标帧率。
• 按真实帧率预览。 AI 预览默认最高 15 fps；判断闪烁或游移之前，先选 跟随源帧率。开了补帧的预览按输出帧率播放。
• 先修素材本身的闪烁。 灯光或胶片造成的亮度闪烁，先在导入前用上面的 deflicker 命令处理，再修复和补帧。

问题排查

做不到的事

• 任何补帧都找不回摄像机没拍到的运动。 新帧只是估计，快速或被遮挡的运动只能靠猜。
• deflicker 修不了卷帘快门造成的横纹， 也修不了画面各处不一样的亮度变化。
• 时域平滑分不清快速运动和噪点。 推得太狠，运动的细节就会被抹开。
• 多帧模型能减轻游移，但消除不了。 在对齐失败的地方，比如水面、烟雾和人群，问题依然会出现。

结语

时间一致性，是“看起来被处理过”和“看起来就是这么拍的”之间的分界线。在源头修好闪烁，选择能跨帧工作的滤镜和模型，强度保持适中，每个结果都按原始帧率在播放状态下判断。

KwaFlux 在你自己的 GPU 上运行智能补帧。AI 处理在你自己的 GPU 上运行，媒体文件不会为了处理而上传。可在 Windows 10（64 位，1809 或更新版本）、Windows 11，以及搭载 Apple Silicon 的 macOS 12 或更新版本上运行。预览不需要账号：任意片段都能渲染 1、3 或 5 秒的预览。仅在导出、转换、文件修复和从链接下载文件时需要登录并购买付费方案。