Decodificación y codificación de vídeo por hardware en Windows y Mac: D3D11, CUDA, Vulkan, OpenGL y Metal

Lo esencial

La decodificación y la codificación de vídeo por hardware ceden el trabajo pesado del códec a motores de función fija de la GPU en lugar de a la CPU. En Windows, las aplicaciones llegan a esos motores mediante D3D11VA, D3D12, el SDK de NVIDIA basado en CUDA, AMD AMF, Intel oneVPL o Vulkan Video; en un Mac, mediante VideoToolbox. El resultado es menos carga de CPU, exportaciones más rápidas y fotogramas que pueden quedarse en la memoria de la GPU.

• Las GPU llevan motores de vídeo dedicados (NVDEC y NVENC de NVIDIA, Quick Sync de Intel, VCN de AMD, el motor multimedia de Apple) que decodifican y codifican al margen de los núcleos gráficos.
• Windows llega a ellos a través de varias API: D3D11VA y vídeo de D3D12, el SDK de NVIDIA basado en CUDA, AMD AMF, Intel oneVPL y Media SDK, y Vulkan Video. Los Mac usan VideoToolbox.
• La ganancia real suele ser una menor carga de CPU: en nuestra prueba, decodificar H.264 en 4K por hardware consumió en torno a un 95 % menos de tiempo de CPU que hacerlo por software.
• La codificación por hardware es rápida, pero gasta más bits para la misma calidad. Nuestra codificación HEVC por GPU igualó la puntuación VMAF de x265 3,3 veces más rápido, con un 15 % más de bits.
• Una cadena sin copias mantiene los fotogramas en la memoria de la GPU entre la decodificación, el procesado, la visualización y la codificación, con puentes entre D3D11, CUDA, OpenGL, Vulkan y Metal.

Qué le pasa a un fotograma

Toda aplicación de vídeo recorre las mismas cuatro etapas: decodificar el archivo comprimido en fotogramas, procesarlos (escalado, color, modelos de IA) y después mostrarlos en pantalla o codificarlos en un archivo nuevo. Cada etapa puede ejecutarse en la CPU o en la GPU, y cada traspaso entre ambas cuesta tiempo.

Los fotogramas son más grandes de lo que la mayoría imagina. Un fotograma 4K en 10 bits 4:2:0 (el formato P010 que usan las GPU) ocupa 3840 × 2160 × 1,5 muestras × 2 bytes, unos 24,9 MB. A 60 fotogramas por segundo, eso son 1,5 GB cada segundo, en cada sentido, si los fotogramas van y vienen entre la memoria del sistema y la de la GPU. Una cadena que decodifica, procesa y codifica en la GPU sin ese viaje de ida y vuelta se llama «sin copias» (zero-copy), y de ahí sale la mayor parte de la velocidad del software de vídeo actual.

Los motores de vídeo de su GPU

La decodificación y la codificación de vídeo no se ejecutan en los mismos núcleos que dibujan los juegos o ejecutan los modelos de IA. Las GPU llevan bloques de función fija separados para ellas:

NVIDIA lo dice claramente: sus GPU contienen decodificadores y codificadores por hardware separados de los núcleos CUDA. De ahí se siguen dos consecuencias. La primera, que decodificar y codificar por hardware apenas ralentiza el resto del trabajo de la GPU, así que un modelo de IA puede ejecutarse mientras el motor de vídeo decodifica los fotogramas siguientes. La segunda, que lo que un motor puede hacer está fijado en el silicio: la compatibilidad con códecs, profundidades de bits y formatos de croma depende de la generación de la GPU. La matriz de compatibilidad de NVIDIA, por ejemplo, presenta la codificación 4:2:2 como novedad de su generación Blackwell. Consulte la matriz de su fabricante antes de dar por hecho que un códec está acelerado.

Las API de decodificación y codificación en Windows y Mac

A un mismo motor de vídeo se suele poder llegar a través de varias API. Cada una tiene sus puntos fuertes:

La decodificación y la codificación por software (libavcodec, x264, x265, SVT-AV1) siguen siendo la alternativa para todo lo que el hardware no puede asumir, y la referencia de calidad.

Las cinco cadenas: D3D11, CUDA, OpenGL, Vulkan y Metal

La decodificación produce fotogramas; la cadena decide dónde viven y quién trabaja con ellos a continuación. Cada API gráfica o de cálculo es un tipo de cadena distinto:

• D3D11 es el caballo de batalla del vídeo en Windows. Los decodificadores escriben directamente en texturas D3D11, el procesador de vídeo las convierte y las escala, y la cadena de intercambio las muestra. Es madura, funciona en cualquier GPU con Windows y es el destino natural de los fotogramas decodificados por hardware.
• CUDA es la plataforma de cálculo de NVIDIA. Los fotogramas decodificados por NVDEC pueden quedarse en memoria CUDA para procesarse y pasar directamente a NVENC. NVIDIA documenta una API de interoperabilidad CUDA–Direct3D 11, de modo que los resultados de CUDA pueden convertirse en texturas D3D11 sin una copia a través de la memoria del sistema.
• OpenGL es la API gráfica más portable y sigue siendo habitual en reproductores y editores. En Windows comparte texturas con D3D11 mediante extensiones de interoperabilidad, WGL_NV_DX_interop2 de NVIDIA o la independiente del fabricante GL_EXT_memory_object_win32, que importa memoria D3D11 en OpenGL.
• Vulkan es la API explícita moderna: gráficos, cálculo y, con Vulkan Video, decodificación y codificación en un mismo sitio, con cualquier fabricante. La extensión VK_KHR_external_memory_win32 permite que Vulkan comparta memoria con D3D11 en Windows.
• Metal es la API de GPU de Apple para gráficos y cálculo en Apple silicon. Según Apple, la memoria unificada del chip permite que todas sus partes accedan a los mismos datos sin copiarlos entre bancos de memoria, así que un fotograma decodificado con VideoToolbox puede procesarse y mostrarse sin cruzar un bus.

Lo difícil no es ninguna API en concreto, sino las fronteras entre ellas. Un fotograma decodificado con CUDA pero mostrado con OpenGL necesita un puente, y un puente que recurre a la memoria del sistema tira por la borda la ventaja de decodificar en la GPU.

Qué mostraron nuestras pruebas

Probamos un portátil corriente: un Intel Core i7-1360P con gráficos integrados Intel Iris Xe, con FFmpeg 8.1. FFmpeg mostró tres vías por hardware en él: D3D11VA, D3D12VA y Vulkan.

Decodificación de 5 segundos de H.264 en 4K (121 fotogramas a 25 Mbps):

La CPU decodificó el H.264 deprisa repartiendo el trabajo entre muchos hilos, pero para ello consumió unos 4,5 segundos de tiempo de CPU. Las tres vías por hardware terminaron más o menos igual de rápido con en torno a un 95 % menos de tiempo de CPU, lo que deja el procesador libre para todo lo demás de la cadena.

Codificación de 5 segundos de metraje 1080p con mucho detalle, con un objetivo de 4 Mbps:

El codificador HEVC de la GPU igualó la puntuación VMAF de x265 3,3 veces más rápido, pero necesitó en torno a un 15 % más de bits para conseguirlo; su codificador H.264 usó un 26 % más de bits que x264 y aun así puntuó por debajo. Es el intercambio de costumbre: los codificadores por hardware están afinados para la velocidad y el consumo, y los de software, para la calidad por bit. Con este controlador, los codificadores Vulkan Video de FFmpeg no llegaron a arrancar, un recordatorio de que la compatibilidad cambia según la GPU y el controlador. Cómo puntuamos la calidad de vídeo explica qué mide VMAF.

Cómo usa KwaFlux cada vía

KwaFlux no apuesta por una sola API. Su motor multimedia incluye un plugin para cada vía de decodificación y de codificación, y puentes entre las cadenas, de modo que puede elegir en cada equipo una ruta por hardware que funcione y mantener los fotogramas en la GPU.

• Ocho vías de decodificación, probadas por orden. En Windows, la configuración del motor prueba D3D11VA y luego D3D12VA, NVIDIA NVDEC, AMD AMF, Intel oneVPL, Intel Media SDK y Vulkan Video, y solo decodifica por software cuando ninguna de ellas puede con el archivo.
• Seis vías de codificación. Para codificar, prueba NVIDIA NVENC, AMD AMF, Intel oneVPL, Media SDK y Vulkan Video antes del software. Su tabla de codificadores incluye también los codificadores VideoToolbox de Apple.
• Cuatro backends de renderizado. La imagen se dibuja con D3D11, OpenGL, Vulkan o Metal. El valor por defecto, AUTO, deja que el motor elija, y un backend que la plataforma no admite vuelve a AUTO.
• Puentes que evitan la memoria del sistema. Los fotogramas de NVDEC llegan a D3D11 mediante la interoperabilidad D3D11 de CUDA; D3D11 y OpenGL comparten texturas mediante WGL_NV_DX_interop2 o GL_EXT_memory_object_win32; Vulkan comparte memoria con D3D11 mediante VK_KHR_external_memory_win32; D3D12 y D3D11 intercambian fotogramas mediante handles DXGI compartidos. Cuando en un equipo OpenGL no dispone de un puente eficiente, el reproductor pasa a D3D11 en lugar de copiar cada fotograma.
• Una GPU por trabajo. En portátiles con dos GPU, el motor empareja los adaptadores por su LUID, de modo que la decodificación, el procesado y la visualización no hacen rebotar fotogramas entre la GPU integrada y la dedicada.
• Recuperación, no cierres inesperados. Si Windows reinicia el controlador gráfico (TDR), el reproductor reconstruye su dispositivo D3D11. Cada puente tiene una vía por CPU, y una exportación cuyo codificador de GPU no puede arrancar se codifica por software.
• IA en cualquier GPU reciente. En Windows, el procesamiento de IA se ejecuta con ONNX Runtime y DirectML, que funciona en GPU DirectX 12 de Intel, AMD y NVIDIA. En macOS 13 o posterior, el componente de aceleración GPU ejecuta las funciones compatibles mediante Core ML de Apple. Qué GPU necesita y KwaFlux en Mac tratan la parte del hardware.

Dos ajustes le permiten orientarlo. Ajustes › Rendimiento › Decodificación por hardware activa o desactiva la decodificación por hardware (se aplica tras reiniciar), y Procesador de IA elige Automático, GPU o CPU para el trabajo de IA. En el Conversor, Conversión rápida › Aceleración por GPU codifica H.264 y HEVC en la tarjeta gráfica. Viene desactivada por defecto: KwaFlux advierte de que es más rápida, pero de calidad algo inferior a la codificación por software con el mismo bitrate, lo que coincide con nuestra prueba. Cada archivo muestra una insignia Codificado en GPU, o Codificado por software si el codificador de la GPU no pudo arrancar.

Cómo comprobar su propio equipo

Liste las vías por hardware que FFmpeg puede usar:

ffmpeg -hide_banner -hwaccels

Compare el tiempo de CPU de la decodificación por software y por hardware. La línea de -benchmark muestra el tiempo de usuario (utime), de sistema (stime) y real (rtime):

ffmpeg -hide_banner -benchmark -i input.mp4 -an -f null -

ffmpeg -hide_banner -benchmark -hwaccel d3d11va -hwaccel_output_format d3d11 -i input.mp4 -an -f null -

Codifique HEVC en la GPU mediante D3D12 y compárelo con x265 con el mismo objetivo:

ffmpeg -hide_banner -loglevel error -y -init_hw_device d3d12va=gpu -filter_hw_device gpu -i input.mp4 -vf "format=nv12,hwupload" -c:v hevc_d3d12va -rc_mode VBR -b:v 4M -maxrate 6M -c:a copy gpu_hevc.mp4

ffmpeg -hide_banner -loglevel error -y -i input.mp4 -c:v libx265 -preset medium -b:v 4M -c:a copy cpu_hevc.mp4

Después puntúe cada uno frente a la fuente. Descargue antes vmaf_v0.6.1.json del repositorio VMAF de Netflix en la misma carpeta, porque algunas compilaciones de FFmpeg no incluyen un modelo integrado:

ffmpeg -hide_banner -i gpu_hevc.mp4 -i input.mp4 -lavfi "[0:v][1:v]libvmaf=model=path=vmaf_v0.6.1.json" -f null -

Si la codificación por hardware puntúa cerca de la de software con un bitrate similar, úsela para borradores y para compartir rápido; reserve la codificación por software para las copias de archivo. Para elegir el códec en sí, consulte H.264 vs H.265 vs AV1.

Problemas habituales

Lo que esto no puede hacer

• La decodificación por hardware no mejora la imagen. Los decodificadores producen los mismos fotogramas que el software; solo cambia dónde se hace el trabajo.
• La codificación por hardware no supera a un preset de software lento en calidad por bit. Gana en velocidad y consumo.
• Ninguna GPU acelera todos los códecs. La compatibilidad la fijan la generación del chip y el controlador.
• Trabajar sin copias exige hardware compatible. Cuando dos API o dos GPU no pueden compartir memoria, los fotogramas toman la ruta más lenta por la CPU.

Conclusión

La decodificación y la codificación por hardware tratan de dónde se hace el trabajo: en motores de función fija en lugar de en la CPU y, a ser posible, sin que los fotogramas salgan de la memoria de la GPU. Active la decodificación por hardware para trabajar con más fluidez, use la codificación por GPU cuando la velocidad importe más que exprimir hasta el último bit de eficiencia, y mida ambas en su propio equipo.

KwaFlux decodifica, procesa y codifica vídeo en su propia GPU, en el Conversor y en cada módulo de IA. Sus archivos multimedia no se suben para procesarlos. Funciona en Windows 10 (64 bits, versión 1809 o posterior), Windows 11 y macOS 12 o posterior en Apple Silicon. Importar archivos y explorar la app no requieren cuenta. Iniciar sesión con un plan de pago solo hace falta para exportar, convertir, reparar un archivo o descargar un archivo desde un enlace.