Windows 与 Mac 的硬件视频编解码：D3D11、CUDA、Vulkan、OpenGL 和 Metal 管线详解

要点速览

硬件视频解码和编码，是把最吃力的编解码工作从 CPU 交给 GPU 上的专用引擎。在 Windows 上，软件通过 D3D11VA、D3D12、NVIDIA 基于 CUDA 的 SDK、AMD AMF、Intel oneVPL 或 Vulkan Video 调用这些引擎；在 Mac 上则通过 VideoToolbox。结果是 CPU 负载更低、导出更快，画面也能一直留在显存里。

• GPU 里有专门的视频引擎（NVIDIA 的 NVDEC 和 NVENC、Intel Quick Sync、AMD VCN、Apple 的媒体引擎），解码和编码不占用图形核心。
• Windows 上有好几种 API 可以调用它们：D3D11VA 和 D3D12 视频接口、NVIDIA 基于 CUDA 的 SDK、AMD AMF、Intel oneVPL 和 Media SDK，以及 Vulkan Video；Mac 用的是 VideoToolbox。
• 真正的收益往往是 CPU 负载更低：在我们的测试里，用硬件解码 4K H.264，占用的 CPU 时间比软件解码少了约 95%。
• 硬件编码速度快，但同样的画质要花更多码率。我们的 GPU HEVC 编码在 VMAF 上追平了 x265，速度快 3.3 倍，码率多用了 15%。
• 零拷贝管线让画面在解码、处理、显示和编码之间一直留在显存里，并在 D3D11、CUDA、OpenGL、Vulkan 和 Metal 之间搭桥。

一帧画面经历了什么

每个视频软件都要走同样的四步：解码，把压缩文件还原成一帧帧画面；处理，比如缩放、调色、跑 AI 模型；然后 显示 到屏幕上，或者 编码 成新文件。每一步都可以在 CPU 或 GPU 上做，而两者之间的每一次交接都要花时间。

一帧画面比大多数人想的要大。一帧 10 bit 4:2:0 的 4K 画面（也就是 GPU 常用的 P010 格式）要占 3,840 × 2,160 × 1.5 个采样 × 2 字节，约 24.9 MB。按每秒 60 帧算，如果画面在系统内存和显存之间来回搬，每个方向每秒就要搬 1.5 GB。解码、处理和编码都在 GPU 上完成、不绕这一圈的管线叫作零拷贝，现代视频软件的速度大多来自这里。

GPU 里的视频引擎

视频解码和编码，和游戏渲染、AI 模型用的并不是同一批核心。GPU 里另有专门的固定功能模块：

NVIDIA 说得很直接：它的 GPU 里有独立于 CUDA 核心的硬件解码器和编码器。由此有两个结果。其一，硬件编解码几乎不拖慢 GPU 上的其他工作，AI 模型运行的同时，视频引擎可以解码后面的帧。其二，引擎能做什么是刻在硅片上的：支持哪些编码格式、位深和色度格式，取决于 GPU 的代际。比如 NVIDIA 的支持矩阵里，4:2:2 编码是 Blackwell 这一代才新增的。在认定某种格式能硬件加速之前，先查一下厂商的支持矩阵。

Windows 和 Mac 上的编解码 API

同一个视频引擎，通常可以经由好几种 API 调用。它们各有所长：

硬件处理不了的格式，仍然要靠软件解码和编码（libavcodec、x264、x265、SVT-AV1）兜底，它们也是画质上的参照标准。

五条管线：D3D11、CUDA、OpenGL、Vulkan 和 Metal

解码产出画面，管线决定这些画面放在哪里、接下来交给谁处理。每一种图形或计算 API，都是一种不同的管线：

• D3D11 是 Windows 上处理视频的主力。解码器直接写进 D3D11 纹理，视频处理器负责转换和缩放，交换链负责显示。它成熟稳定，所有 Windows GPU 都支持，是硬件解码画面最自然的归宿。
• CUDA 是 NVIDIA 的计算平台。NVDEC 解出的画面可以留在 CUDA 显存里处理，再直接交给 NVENC。NVIDIA 提供了 CUDA 与 Direct3D 11 的互操作 API，所以 CUDA 的结果不必经过系统内存，就能变成 D3D11 纹理。
• OpenGL 是跨平台移植性很强的图形 API，在播放器和剪辑软件里仍然很常见。在 Windows 上，它通过互操作扩展与 D3D11 共享纹理：NVIDIA 的 WGL_NV_DX_interop2，或者不分厂商的 GL_EXT_memory_object_win32，后者能把 D3D11 的显存直接导入 OpenGL。
• Vulkan 是现代的显式 API：图形、计算，再加上 Vulkan Video 的解码和编码，都在一处，而且不分厂商。VK_KHR_external_memory_win32 扩展让 Vulkan 能在 Windows 上和 D3D11 共享显存。
• Metal 是 Apple 在 Apple 芯片上提供的图形与计算 API。按照 Apple 的说法，芯片的统一内存让各个部件不必在不同内存池之间复制，就能访问同一份数据，所以经 VideoToolbox 解码的画面，不用跨越总线就能被处理和显示。

难的不是哪一个 API，而是 API 之间的边界。用 CUDA 解码、用 OpenGL 显示的画面需要一座桥；如果这座桥退回到系统内存中转，GPU 解码的优势就丢了。

实测结果

我们测试的是一台普通笔记本：Intel Core i7-1360P 处理器，Intel Iris Xe 核显，使用 FFmpeg 8.1。FFmpeg 在这台机器上列出了三条硬件路径：D3D11VA、D3D12VA 和 Vulkan。

解码 5 秒 4K H.264（121 帧，25 Mbps）：

CPU 把解码分摊到很多线程上，所以 H.264 解得很快，但为此花掉了约 4.5 秒的 CPU 时间。三条硬件路径用时差不多，CPU 时间却少了约 95%，处理器可以腾出来干管线里的其他活。

以 4 Mbps 为目标编码 5 秒细节丰富的 1080p 素材：

GPU 的 HEVC 编码器在 VMAF 上追平了 x265，速度快 3.3 倍，但码率多用了约 15%；它的 H.264 编码器比 x264 多用了 26% 的码率，得分还更低。这是常见的取舍：硬件编码器为速度和功耗而调校，软件编码器为每比特的画质而调校。在这个驱动版本上，FFmpeg 的 Vulkan Video 编码器没能启动，这也提醒我们，支持情况因 GPU 和驱动而异。VMAF 衡量的是什么，见我们怎样给画质打分。

KwaFlux 怎样用上每一条路径

KwaFlux 不把宝押在一种 API 上。它的媒体引擎为每一条解码和编码路径都配了插件，并在各条管线之间搭好了桥，所以能在每台电脑上找到可用的硬件路线，让画面一直留在 GPU 上。

• 八条解码路径，按顺序尝试。 在 Windows 上，引擎配置依次尝试 D3D11VA、D3D12VA、NVIDIA NVDEC、AMD AMF、Intel oneVPL、Intel Media SDK 和 Vulkan Video，只有它们都处理不了时才用软件解码。
• 六条编码路径。 编码时，依次尝试 NVIDIA NVENC、AMD AMF、Intel oneVPL、Media SDK 和 Vulkan Video，最后才是软件编码。它的编码器列表里还包含 Apple 的 VideoToolbox 编码器。
• 四种渲染后端。 画面用 D3D11、OpenGL、Vulkan 或 Metal 绘制。默认的“自动”由引擎选择，当前平台不支持的后端会退回自动选择。
• 不经系统内存的桥。 NVDEC 的画面通过 CUDA 的 D3D11 互操作进入 D3D11；D3D11 和 OpenGL 通过 WGL_NV_DX_interop2 或 GL_EXT_memory_object_win32 共享纹理；Vulkan 通过 VK_KHR_external_memory_win32 与 D3D11 共享显存；D3D12 和 D3D11 通过共享的 DXGI 句柄交换画面。某台电脑上 OpenGL 找不到高效的桥时，播放器会改用 D3D11，而不是每一帧都复制一遍。
• 一个任务只用一块 GPU。 在有两块 GPU 的笔记本上，引擎按显卡的 LUID 匹配适配器，所以解码、处理和显示不会让画面在核显和独显之间来回跑。
• 出错时恢复，而不是崩溃。 如果 Windows 重置了显卡驱动（TDR），播放器会重建 D3D11 设备。每座桥都有 CPU 兜底路径，GPU 编码器启动不了的导出会改用软件编码。
• AI 能在各家较新的 GPU 上运行。 在 Windows 上，AI 处理通过 ONNX Runtime 加 DirectML 运行，Intel、AMD 和 NVIDIA 支持 DirectX 12 的 GPU 都能用。在 macOS 13 或更新版本上，GPU 加速组件会通过 Apple 的 Core ML 运行受支持的功能。硬件方面的细节见AI 视频增强需要什么显卡和在 Mac 上使用 KwaFlux。

有两个设置可以调整它。设置 › 性能 › 硬件加速解码 用来开关硬件解码（重启应用后生效）；AI 处理器 用来为 AI 任务选择自动、GPU 或 CPU。在转换器里，高速转换 › GPU 加速 会用显卡编码 H.264 和 HEVC。它默认关闭：KwaFlux 注明它速度更快，但同码率下画质略低于软件编码，这和我们的测试结果一致。每个文件都会显示 GPU 编码 标记；如果 GPU 编码器没能启动，则显示 已改用软件编码。

怎样检查你自己的电脑

列出 FFmpeg 能用的硬件路径：

ffmpeg -hide_banner -hwaccels

对比软件解码和硬件解码占用的 CPU 时间。-benchmark 输出的那一行会列出用户态（utime）、内核态（stime）和实际耗时（rtime）：

ffmpeg -hide_banner -benchmark -i input.mp4 -an -f null -

ffmpeg -hide_banner -benchmark -hwaccel d3d11va -hwaccel_output_format d3d11 -i input.mp4 -an -f null -

通过 D3D12 用 GPU 编码 HEVC，再以相同目标码率用 x265 编码做对比：

ffmpeg -hide_banner -loglevel error -y -init_hw_device d3d12va=gpu -filter_hw_device gpu -i input.mp4 -vf "format=nv12,hwupload" -c:v hevc_d3d12va -rc_mode VBR -b:v 4M -maxrate 6M -c:a copy gpu_hevc.mp4

ffmpeg -hide_banner -loglevel error -y -i input.mp4 -c:v libx265 -preset medium -b:v 4M -c:a copy cpu_hevc.mp4

然后分别和源文件对比打分。有些 FFmpeg 版本没有内置模型，所以要先从 Netflix 的 VMAF 仓库下载 vmaf_v0.6.1.json，放在同一个文件夹里：

ffmpeg -hide_banner -i gpu_hevc.mp4 -i input.mp4 -lavfi "[0:v][1:v]libvmaf=model=path=vmaf_v0.6.1.json" -f null -

如果码率相近时，硬件编码的得分和软件编码差不多，就可以把它用在草稿和快速分享上；需要存档的文件仍然用软件编码。编码格式本身怎么选，见H.264、H.265 与 AV1 对比。

问题排查

做不到的事

• 硬件解码不会让画面变好。 硬件解码器输出的画面和软件解码一样，只是换了干活的地方。
• 按每比特的画质算，硬件编码比不过慢速的软件预设。 它赢在速度和功耗。
• 没有哪块 GPU 能加速所有编码格式。 支持范围由芯片代际和驱动决定。
• 零拷贝需要硬件配合。 两种 API 或两块 GPU 之间无法共享显存时，画面只能走较慢的 CPU 路线。

结语

硬件解码和编码，说到底是在决定活在哪里干：交给专用引擎而不是 CPU，理想情况下还让画面一直留在显存里。想要更流畅的操作就打开硬件解码，速度比最后那点压缩效率更重要时就用 GPU 编码，两者都在你自己的电脑上实测一下。

KwaFlux 在你自己的 GPU 上解码、处理和编码视频，转换器和每个 AI 模块都是如此。媒体文件不会为了处理而上传。可在 Windows 10（64 位，1809 或更新版本）、Windows 11，以及搭载 Apple Silicon 的 macOS 12 或更新版本上运行。导入文件和试用软件都不需要账号。仅在导出、转换、文件修复和从链接下载文件时需要登录并购买付费方案。