Coherencia temporal en vídeo: por qué el metraje restaurado parpadea, centellea y deja imágenes fantasma

Lo esencial

La coherencia temporal significa que un objeto se ve igual de un fotograma al siguiente salvo que cambie de verdad. El procesado de vídeo la rompe de cuatro formas habituales: parpadeo de brillo, textura fina que centellea o hierve, estelas detrás de los objetos en movimiento e imágenes dobles al interpolar fotogramas. Cada una tiene su causa, así que cada una pide su propia solución.

• La coherencia temporal significa que un objeto se ve igual de un fotograma a otro salvo que cambie de verdad. El procesado la rompe de cuatro maneras: parpadeo, centelleo, estelas e imágenes dobles.
• Procesar cada fotograma por separado es la causa de fondo de casi todo el parpadeo y el centelleo, porque las pequeñas diferencias entre fotogramas llevan a decisiones distintas.
• Promediar fotogramas elimina ruido, pero emborrona todo lo que se mueve. En nuestra prueba, el promedio simple sobre una toma de dron en movimiento puntuó peor que la entrada con ruido; un filtro adaptativo puntuó 2,7 dB más.
• Mezclar fotogramas para interpolar produce imágenes dobles; la interpolación con compensación de movimiento logró 35,5 dB en una toma de dron suave, frente a 29,6 dB de la mezcla, y perdió su ventaja con metraje tembloroso.
• Juzgue los problemas temporales a la frecuencia de imagen de origen y en movimiento. Un solo fotograma los oculta todos.

Qué significa coherencia temporal

Una imagen fija solo tiene que verse bien una vez. Un fotograma de vídeo tiene que verse bien y además cuadrar con los fotogramas que lo rodean, porque el ojo es muy sensible al cambio: una textura que está quieta en un fotograma y se mueve en el siguiente se percibe como centelleo aunque cada fotograma, por separado, se vea correcto.

El judder y los fotogramas perdidos son más problemas de tiempo que de coherencia; cómo arreglar un vídeo que va a tirones los trata.

Por qué parpadea el procesado fotograma a fotograma

Los modelos de imagen y los filtros no saben que el fotograma 101 sigue al 100. Si se aplican a cada fotograma por separado, toman una decisión nueva cada vez. El ruido, la compresión y los pequeños movimientos varían entre fotogramas, así que las decisiones también: un filtro de enfoque realza bordes ligeramente distintos, un modelo generativo inventa poros y hojas ligeramente distintos, y un etalonaje automático elige niveles ligeramente distintos. Lai y sus colegas lo resumieron en su artículo de 2018: aplicar algoritmos de procesado de imagen a cada fotograma de forma independiente a menudo da resultados incoherentes en el tiempo.

Hay tres salidas:

• Use un modelo que vea varios fotogramas. Los modelos de restauración multifotograma y recurrentes alinean los fotogramas vecinos y reutilizan aquello en lo que coinciden, de modo que el detalle aparece una vez y se queda en su sitio. Por qué la restauración con IA parece de plástico describe cómo funcionan y dónde fallan.
• Estabilice el resultado después. La investigación sobre coherencia temporal ciega toma el vídeo original y el resultado fotograma a fotograma y produce una versión más estable. El método de Lai entrena una red recurrente con pérdidas temporales de corto y largo plazo; Deep Video Prior entrena una red con ese único vídeo, sin un gran conjunto de datos ni flujo óptico.
• Baje la intensidad. Cuanto menos cambia la imagen un proceso por fotograma, menos hay que pueda parpadear. Por eso los ajustes suaves a menudo se ven más tranquilos en movimiento que los fuertes, aunque los fuertes luzcan más en un fotograma fijo.

Para clips de generadores de vídeo, donde la textura que hierve es frecuente, consulte cómo reducir el parpadeo en vídeos generados por IA.

El parpadeo de brillo y el filtro deflicker

El parpadeo de todo el fotograma suele venir de la fuente, no del procesado:

• Iluminación. La guía de Sony sobre el parpadeo señala que los fluorescentes antiguos parpadean 100 o 120 veces por segundo, mientras que la iluminación LED puede parpadear cientos o miles de veces por segundo. Cuando la velocidad de obturación no casa con el ciclo, los fotogramas captan la luz en momentos distintos.
• Película. Cada fotograma de un escaneo de película se expuso por separado, y las pequeñas diferencias de exposición y densidad laten al reproducirse; escaneos de película de 8 mm y 16 mm cubre la limpieza completa.
• Ajustes automáticos. La exposición automática, el balance de blancos automático o cualquier filtro de niveles automáticos por fotograma pueden ir dando bandazos de un fotograma a otro.

El filtro deflicker de FFmpeg mide el brillo medio de cada fotograma, calcula una media móvil sobre los fotogramas vecinos y acerca cada fotograma a ella. Añadimos un parpadeo fuerte a un clip de muestra incluido y medimos cuánto saltaba el brillo medio entre fotogramas consecutivos:

Una ventana más amplia suaviza más, pero también aplana cambios de brillo que sí quiere, como un fundido, una nube que pasa o una luz que se enciende. Empiece con el tamaño por defecto de 5 fotogramas:

ffmpeg -i input.mp4 -vf "deflicker=size=5:mode=pm" -c:v libx264 -crf 18 -c:a copy deflickered.mp4

El deflicker iguala el fotograma entero. No puede arreglar las bandas que recorren la imagen, que se deben a un obturador rodante que capta la luz a mitad de pulso; para esas, la solución de verdad es ajustar la velocidad de obturación a la luz durante el rodaje.

Reducción de ruido temporal y estelas fantasma

La reducción de ruido temporal es potente porque el ruido cambia de un fotograma a otro y la escena, en su mayor parte, no. El problema está en ese «en su mayor parte»: allí donde algo se mueve, promediar la misma posición de píxel a lo largo de varios fotogramas mezcla un objeto que ya se ha desplazado y deja un fantasma detrás.

Añadimos ruido a una toma de dron suave y comparamos el promedio simple de fotogramas con un filtro temporal adaptativo que deja de promediar donde un píxel cambia demasiado:

El promedio simple puntuó peor que no hacer nada: el ruido bajó, pero el emborronado del paisaje en movimiento costó más de lo que ahorró. Con un sujeto más rápido, las estelas saltan a la vista.

Así que use filtros temporales que se adapten al movimiento, mantenga moderada su intensidad temporal y revise los bordes en movimiento, no solo el fondo plano:

ffmpeg -i input.mp4 -vf "atadenoise=0a=0.1:0b=0.2:1a=0.1:1b=0.2:2a=0.1:2b=0.2" -c:v libx264 -crf 18 -c:a copy denoised.mp4

Los umbrales deciden cuándo atadenoise considera que un píxel ha cambiado y deja de promediarlo. Umbrales más altos eliminan más ruido y arriesgan más estelas. Para la parte espacial de la reducción de ruido, consulte reducir ruido, quitar bloques, enfocar y corregir el color.

Interpolación de fotogramas: duplicar, mezclar, compensar el movimiento, IA

La interpolación de fotogramas crea fotogramas que la cámara no grabó, para subir la frecuencia de imagen o para ralentizar el movimiento. Hay cuatro formas de construir el fotograma intermedio:

• Duplicar repite el fotograma anterior. No se inventa nada nuevo, pero el movimiento sigue igual de brusco que antes.
• Mezclar combina los dos fotogramas vecinos. Todo lo que se mueve aparece dos veces, a media intensidad: la imagen doble.
• La interpolación con compensación de movimiento estima hacia dónde se mueve cada bloque de píxeles y lo dibuja a mitad de ese recorrido. Bien hecha, da un único objeto nítido en el lugar correcto; donde la estimación falla, en bordes, oclusiones y patrones repetidos, los bordes se doblan y aparecen fragmentos rotos.
• La interpolación con IA estima el movimiento con una red y sintetiza el fotograma. RIFE estima directamente los flujos intermedios y funciona en tiempo real en una GPU; FILM usa una sola red pensada para movimientos grandes entre fotogramas.

Para medir los tres primeros, eliminamos fotogramas de dos clips de muestra incluidos, los reconstruimos con FFmpeg y comparamos los fotogramas reconstruidos con los reales:

Dos lecciones. Con movimiento suave, la compensación de movimiento iba muy por delante: unos 6 dB más que la mezcla. Con metraje tembloroso grabado a mano, todos los métodos sufrieron, porque la interpolación da por hecho que el movimiento entre dos fotogramas es suave, y el temblor invierte la dirección de un fotograma a otro. Si la cámara tiembla, estabilice primero la toma con Estabilización de vídeo u otro estabilizador y luego interpole.

El modo con compensación de movimiento de FFmpeg, con detección de cambio de escena para que no haga morphing entre planos al pasar un corte:

ffmpeg -i input.mp4 -vf "minterpolate=fps=60:mi_mode=mci:mc_mode=aobmc:me_mode=bidir:vsbmc=1:scd=fdiff" -c:v libx264 -crf 18 -c:a copy smooth60.mp4

En CPU es lento: en nuestro portátil, convertir 5 segundos de 1080p a 24 fps en 60 fps llevó 134 segundos. La versión por mezcla es rápida y sirve para paneos lentos en los que las imágenes dobles apenas se ven:

ffmpeg -i input.mp4 -vf "framerate=fps=60" -c:v libx264 -crf 18 -c:a copy blend60.mp4

Los artefactos de interpolación se concentran en sitios previsibles: manos y pies rápidos, ruedas que giran, vallas y otros patrones repetidos, objetos que pasan unos por delante de otros y cortes de escena. Para saber cuándo merece la pena subir la frecuencia de imagen, consulte cómo convertir un vídeo a 60 fps.

Cómo comprobar la coherencia temporal

Ninguno de estos fallos se puede juzgar con un fotograma fijo. Tres comprobaciones detectan la mayoría:

1. Mire a la frecuencia de imagen de origen, al 100 % de zoom. Fíjese en las zonas planas para ver si la textura hierve, en los bordes en movimiento para ver estelas y en los fotogramas nuevos para ver imágenes dobles.
2. Represente el brillo medio de cada fotograma. Una línea suave está bien; un diente de sierra es parpadeo:

ffmpeg -i input.mp4 -vf "signalstats,metadata=print:key=lavfi.signalstats.YAVG:file=yavg.txt" -f null -

El archivo de texto recoge la luminancia media (YAVG) de cada fotograma, lista para un gráfico en una hoja de cálculo.

3. Observe la diferencia entre fotogramas consecutivos. En una escena quieta, un clip procesado no debería cambiar más que la fuente. El centelleo aparece como un moteado en las zonas planas:

ffmpeg -i input.mp4 -vf "tblend=all_mode=difference,eq=contrast=4" -c:v libx264 -crf 18 -an diff.mp4

Ejecute los mismos comandos sobre la fuente y sobre el resultado, y compare.

Qué está cambiando

• Los modelos de vídeo sustituyen a los de imagen. La superresolución y la restauración de vídeo propagan ya la información a lo largo de muchos fotogramas en lugar de procesar pares, y los escaladores basados en difusión añaden capas temporales o parten de generadores de vídeo para que el detalle se genere de forma coherente en el tiempo.
• La interpolación es cada vez más rápida y maneja movimientos más grandes. La estimación de flujo en tiempo real (RIFE) y los diseños de una sola red para movimientos grandes (FILM) llevaron la interpolación de los experimentos de procesamiento diferido a los reproductores y editores.
• La coherencia se mide, no se da por supuesta. La investigación sobre coherencia temporal ciega dio al sector formas de cuantificar el parpadeo, y se está convirtiendo en una métrica que se publica junto a la nitidez.

Cómo lo aborda KwaFlux

• La Reparación inteligente trabaja a partir de los fotogramas vecinos. En Reparación de calidad, Reparación inteligente se apoya en los fotogramas vecinos en lugar de reconstruir cada fotograma de nuevo y por su cuenta. Los tipos de Reparación por escena trabajan fotograma a fotograma, así que previsualícelos en movimiento antes de exportar.
• La Interpolación de fotogramas va al final. El banco de trabajo de Reparación de calidad aplica Desentrelazado, luego Reparación de calidad y después Interpolación de fotogramas, de modo que los fotogramas nuevos se crean a partir de la imagen ya reparada. Elija 2x (el valor por defecto), 3x, 4x o un objetivo Personalizado de 30 a 144 fps, con el modo General o Rápido.
• La detección de calidad puntúa la fluidez. Su eje Fluidez abarca «tirones, temblores, parpadeo y si la cadencia de fotogramas es suficiente», y puede sugerir una frecuencia de imagen de destino para la interpolación.
• Previsualice a la frecuencia de imagen real. Las vistas previas de IA están limitadas por defecto a 15 fps; elija Igualar el origen antes de juzgar el parpadeo o el centelleo. Las vistas previas con interpolación se reproducen a la frecuencia de imagen de salida.
• Corrija primero el parpadeo de la fuente. Para el parpadeo de brillo causado por la iluminación o la película, ejecute el comando deflicker de arriba antes de importar, y luego repare e interpole.

Problemas habituales

Lo que esto no puede hacer

• Ninguna interpolación recupera un movimiento que la cámara no grabó. Los fotogramas nuevos son estimaciones, y el movimiento rápido u oculto se adivina.
• El deflicker no arregla las bandas del obturador rodante ni los cambios de brillo que varían dentro del fotograma.
• El suavizado temporal no distingue el movimiento rápido del ruido. Si se fuerza lo suficiente, el detalle en movimiento se emborrona.
• Los modelos multifotograma reducen el centelleo, pero no pueden eliminarlo donde falla la alineación, como en el agua, el humo o las multitudes.

Conclusión

La coherencia temporal es lo que separa un vídeo que parece procesado de uno que parece rodado. Corrija el parpadeo en la fuente, elija filtros y modelos que miren a través de los fotogramas, mantenga una intensidad moderada y juzgue cada resultado en movimiento a la frecuencia de imagen de origen.

KwaFlux ejecuta la Interpolación de fotogramas en su propia GPU. El procesamiento de IA corre en su propia GPU y sus archivos multimedia no se suben para procesarlos. Funciona en Windows 10 (64 bits, versión 1809 o posterior), Windows 11 y macOS 12 o posterior en Apple Silicon. Las vistas previas no requieren cuenta: renderice una vista previa de 1, 3 o 5 segundos de cualquier clip. Iniciar sesión con un plan de pago solo hace falta para exportar, convertir, reparar un archivo o descargar un archivo desde un enlace.