Consistência temporal em vídeo: por que a imagem restaurada pisca, cintila e deixa fantasmas

O essencial

Consistência temporal significa que um objeto parece igual de um quadro para o seguinte, a menos que ele mude de verdade. O processamento de vídeo costuma quebrá-la de quatro jeitos: flicker de brilho, textura fina que cintila ou “anda”, rastros atrás de objetos em movimento e imagem dupla na interpolação de quadros. Cada um tem a sua causa, então cada um pede a sua correção.

• Consistência temporal significa que um objeto parece igual de um quadro para o outro, a menos que ele mude de verdade. O processamento a quebra de quatro jeitos: flicker, cintilação, rastros e imagem dupla.
• Processar cada quadro isoladamente é a raiz da maior parte do flicker e da cintilação, porque pequenas diferenças entre quadros levam a decisões diferentes.
• Tirar a média de quadros remove ruído, mas borra tudo o que se move. No nosso teste, a média simples em uma cena de drone em movimento ficou pior que a entrada com ruído; um filtro adaptativo ficou 2,7 dB melhor.
• Misturar quadros na interpolação gera imagem dupla; a interpolação com compensação de movimento marcou 35,5 dB em uma cena de drone suave, contra 29,6 dB da mistura, e perdeu a vantagem em imagens tremidas.
• Avalie problemas temporais na taxa de quadros da fonte, em movimento. Um quadro parado esconde todos eles.

O que é consistência temporal

Uma imagem parada só precisa parecer certa uma vez. Um quadro de vídeo precisa parecer certo e combinar com os quadros em volta, porque o olho é muito sensível a mudanças: uma textura que fica parada em um quadro e se mexe no seguinte é lida como cintilação, mesmo que cada quadro pareça bom sozinho.

Judder e quadros perdidos são mais problemas de tempo que de consistência; como corrigir vídeo travando ou engasgando trata deles.

Por que o processamento quadro a quadro pisca

Modelos e filtros de imagem não sabem que o quadro 101 vem depois do 100. Rodando em cada quadro separadamente, eles tomam uma decisão nova a cada vez. Ruído, compressão e pequenos movimentos variam entre quadros, então as decisões também variam: um filtro de nitidez realça bordas um pouco diferentes, um modelo generativo inventa poros e folhas um pouco diferentes, e uma correção de cor automática escolhe níveis um pouco diferentes. Lai e colegas resumiram isso no artigo de 2018: aplicar algoritmos de processamento de imagem a cada quadro de forma independente muitas vezes gera resultados inconsistentes ao longo do tempo.

Há três saídas:

• Use um modelo que enxergue vários quadros. Modelos de restauração multiquadro e recorrentes alinham os quadros vizinhos e reaproveitam o que eles têm em comum, então o detalhe aparece uma vez e fica no lugar. Por que a restauração com IA fica com cara de plástico explica como eles funcionam e onde falham.
• Estabilize o resultado depois. A pesquisa sobre consistência temporal cega pega o vídeo original e o resultado quadro a quadro e produz uma versão mais estável. O método de Lai treina uma rede recorrente com perdas temporais de curto e de longo prazo; o Deep Video Prior treina uma rede só com aquele vídeo, sem um grande conjunto de dados nem fluxo óptico.
• Reduza a intensidade. Quanto menos um processo quadro a quadro muda a imagem, menos há para piscar. É por isso que ajustes leves muitas vezes parecem mais calmos em movimento que os fortes, mesmo quando os fortes ficam mais bonitos em um quadro parado.

Para clipes de geradores de vídeo, onde a textura que “anda” é comum, veja como reduzir o flicker em vídeo gerado por IA.

Flicker de brilho e o filtro deflicker

O flicker do quadro inteiro costuma vir da fonte, não do processamento:

• Iluminação. O guia de flicker da Sony observa que lâmpadas fluorescentes mais antigas piscam 100 ou 120 vezes por segundo, enquanto a iluminação LED pode piscar centenas ou milhares de vezes por segundo. Quando a velocidade do obturador não acompanha o ciclo, os quadros pegam a luz em momentos diferentes.
• Filme. Cada quadro de um filme digitalizado foi exposto separadamente, e pequenas diferenças de exposição e densidade pulsam na reprodução; digitalizações de filme 8 mm e 16 mm cobre a limpeza completa.
• Ajustes automáticos. Exposição automática, balanço de branco automático ou qualquer filtro de nível automático por quadro pode ficar “caçando” de um quadro para o outro.

O filtro deflicker do FFmpeg mede o brilho médio de cada quadro, calcula uma média móvel sobre os quadros vizinhos e ajusta cada quadro na direção dela. Adicionamos um flicker forte a um clipe de exemplo que vem com o app e medimos o quanto o brilho médio saltava entre quadros consecutivos:

Uma janela mais larga suaviza mais, mas também achata mudanças de brilho que você quer manter, como um fade, uma nuvem passando ou uma luz que se acende. Comece com o tamanho padrão de 5 quadros:

ffmpeg -i input.mp4 -vf "deflicker=size=5:mode=pm" -c:v libx264 -crf 18 -c:a copy deflickered.mp4

O deflicker equaliza o quadro inteiro. Ele não corrige faixas que rolam pela imagem, que vêm de um obturador rolante pegando a luz no meio do pulso; para essas, a correção de verdade é ajustar a velocidade do obturador à luz na hora de gravar.

Redução de ruído temporal e rastros fantasmas

A redução de ruído temporal é poderosa porque o ruído muda de quadro para quadro e a cena, na maior parte, não. O problema está nesse “na maior parte”: onde algo se move, tirar a média da mesma posição de pixel ao longo dos quadros mistura um objeto que já saiu dali e deixa um fantasma para trás.

Adicionamos ruído a uma cena de drone suave e comparamos a média simples de quadros com um filtro temporal adaptativo, que para de tirar a média onde um pixel muda demais:

A média simples ficou pior do que não fazer nada: o ruído caiu, mas o borrão na paisagem em movimento custou mais do que economizou. Com um objeto mais rápido, os rastros saltam aos olhos.

Então use filtros temporais que se adaptam ao movimento, mantenha a intensidade temporal moderada e confira as bordas em movimento, não só o fundo liso:

ffmpeg -i input.mp4 -vf "atadenoise=0a=0.1:0b=0.2:1a=0.1:1b=0.2:2a=0.1:2b=0.2" -c:v libx264 -crf 18 -c:a copy denoised.mp4

Os limiares decidem quando o atadenoise considera que um pixel mudou e para de tirar a média dele. Limiares mais altos removem mais ruído e arriscam mais rastros. Para o lado espacial da redução de ruído, veja reduzir ruído, remover blocos, dar nitidez e corrigir a cor.

Interpolação de quadros: duplicar, misturar, compensar movimento, IA

A interpolação de quadros cria quadros que a câmera não gravou, para aumentar a taxa de quadros ou deixar o movimento em câmera lenta. Há quatro formas de fazer o quadro intermediário:

• Duplicar repete o quadro anterior. Nada novo é inventado, mas o movimento continua tão truncado quanto antes.
• Misturar combina os dois quadros vizinhos. Tudo o que se move aparece duas vezes, com metade da intensidade: a imagem dupla.
• Interpolação com compensação de movimento estima para onde cada bloco de pixels se move e o desenha no meio desse caminho. Bem feita, o resultado é um único objeto nítido no lugar certo; onde a estimativa falha, em bordas, oclusões e padrões repetidos, as bordas entortam e surgem fragmentos rasgados.
• Interpolação com IA estima o movimento com uma rede neural e sintetiza o quadro. O RIFE estima diretamente os fluxos intermediários e roda em tempo real em uma GPU; o FILM usa uma rede única feita para movimentos grandes entre quadros.

Para medir os três primeiros, tiramos quadros de dois clipes de exemplo que vêm com o app, reconstruímos os quadros com o FFmpeg e comparamos os quadros reconstruídos com os reais:

Duas lições. Em movimento suave, a compensação de movimento ficou muito à frente: cerca de 6 dB acima da mistura. Em imagem tremida na mão, todos os métodos sofreram, porque a interpolação supõe que o movimento entre dois quadros é suave, e o tremor inverte de direção de um quadro para o outro. Se a câmera treme, estabilize a cena primeiro com a Estabilização de vídeo ou outro estabilizador e só depois interpole.

O modo com compensação de movimento do FFmpeg, com detecção de mudança de cena para não fazer morphing entre cortes:

ffmpeg -i input.mp4 -vf "minterpolate=fps=60:mi_mode=mci:mc_mode=aobmc:me_mode=bidir:vsbmc=1:scd=fdiff" -c:v libx264 -crf 18 -c:a copy smooth60.mp4

Na CPU, é lento: no nosso notebook, 5 segundos de 1080p a 24 fps levaram 134 segundos para virar 60 fps. A versão por mistura é rápida e serve para panorâmicas lentas, em que a imagem dupla é difícil de ver:

ffmpeg -i input.mp4 -vf "framerate=fps=60" -c:v libx264 -crf 18 -c:a copy blend60.mp4

Os artefatos de interpolação se concentram em lugares previsíveis: mãos e pés rápidos, rodas girando, cercas e outros padrões repetidos, objetos passando uns na frente dos outros e cortes de cena. Para saber quando vale aumentar a taxa de quadros, veja como converter vídeo para 60 fps.

Como verificar a consistência temporal

Nenhuma dessas falhas pode ser avaliada em um quadro parado. Três verificações pegam a maioria delas:

1. Assista na taxa de quadros da fonte, em 100% de zoom. Procure textura que “anda” nas áreas lisas, rastros nas bordas em movimento e imagem dupla nos quadros novos.
2. Faça um gráfico do brilho médio de cada quadro. Uma linha suave está ok; um dente de serra é flicker:

ffmpeg -i input.mp4 -vf "signalstats,metadata=print:key=lavfi.signalstats.YAVG:file=yavg.txt" -f null -

O arquivo de texto lista a luma média (YAVG) de cada quadro, pronta para virar um gráfico em uma planilha.

3. Olhe a diferença entre quadros consecutivos. Em uma cena parada, um clipe processado não deve mudar mais que a fonte. A cintilação acende como pontinhos nas áreas lisas:

ffmpeg -i input.mp4 -vf "tblend=all_mode=difference,eq=contrast=4" -c:v libx264 -crf 18 -an diff.mp4

Rode os mesmos comandos na fonte e no resultado e compare.

O que está mudando

• Modelos de vídeo substituem modelos de imagem. A super-resolução e a restauração de vídeo agora propagam informação por muitos quadros em vez de processar pares, e os upscalers baseados em difusão acrescentam camadas temporais ou partem de geradores de vídeo para que o detalhe seja gerado de forma consistente ao longo do tempo.
• A interpolação está ficando mais rápida e lida com movimentos maiores. A estimativa de fluxo em tempo real (RIFE) e as arquiteturas de rede única para movimentos grandes (FILM) levaram a interpolação dos experimentos offline para players e editores.
• A consistência é medida, não presumida. A pesquisa sobre consistência temporal cega deu à área formas de quantificar o flicker, que está virando uma métrica divulgada ao lado da nitidez.

Como o KwaFlux lida com isso

• O Reparo inteligente trabalha com quadros vizinhos. No Reparo de qualidade, o Reparo inteligente se apoia nos quadros vizinhos em vez de reconstruir cada quadro desde o início. Os tipos do Reparo por cena trabalham quadro a quadro, então gere a prévia deles em movimento antes de exportar.
• A Interpolação de quadros roda por último. A área de trabalho do Reparo de qualidade roda o Desentrelaçamento, depois o Reparo de qualidade e depois a Interpolação de quadros, então os quadros novos são feitos a partir da imagem já reparada. Escolha 2x (o padrão), 3x, 4x ou um destino Personalizado de 30 a 144 fps, no modo Geral ou Rápido.
• A detecção de qualidade dá nota à fluidez. O eixo Suavidade cobre “travamentos, trepidação, cintilação e se a taxa de quadros é suficiente”, e a detecção pode sugerir uma taxa de quadros de destino para a interpolação.
• Gere a prévia na taxa de quadros real. As prévias de IA são limitadas a 15 fps por padrão; escolha Acompanhar a origem antes de avaliar flicker ou cintilação. Prévias com interpolação rodam na taxa de quadros de saída.
• Corrija primeiro o flicker da fonte. Para flicker de brilho vindo de luzes ou de filme, rode o comando deflicker acima antes de importar e depois repare e interpole.

Problemas comuns

O que isso não resolve

• Nenhuma interpolação recupera um movimento que a câmera não gravou. Os quadros novos são estimativas, e o movimento rápido ou escondido é adivinhado.
• O deflicker não corrige faixas de obturador rolante nem mudanças de brilho que variam pelo quadro.
• A suavização temporal não separa movimento rápido de ruído. Se você forçar demais, o detalhe em movimento borra.
• Modelos multiquadro reduzem a cintilação, mas não a eliminam onde o alinhamento falha, como em água, fumaça ou multidões.

Conclusão

A consistência temporal é o que separa um vídeo com cara de processado de um vídeo com cara de filmado. Corrija o flicker na fonte, escolha filtros e modelos que olhem através dos quadros, mantenha a intensidade moderada e avalie cada resultado em movimento, na taxa de quadros da fonte.

O KwaFlux executa a Interpolação de quadros na sua própria GPU. O processamento de IA roda na sua própria GPU e os seus arquivos de mídia não são enviados para processamento. Roda no Windows 10 (64 bits, versão 1809 ou mais recente), no Windows 11 e no macOS 12 ou mais recente em Apple Silicon. As prévias não exigem conta: renderize uma prévia de 1, 3 ou 5 segundos de qualquer clipe. O login com um plano pago só é necessário para exportar, converter, reparar um arquivo ou baixar um arquivo de um link.