Upscaling com IA vs bicúbico e Lanczos: o que realmente muda

O upscaling com IA e o upscaling tradicional transformam quadros pequenos em quadros grandes. A diferença está em de onde vêm os pixels novos. O bicúbico e o Lanczos os calculam a partir dos pixels vizinhos, então a imagem fica maior, mas não mais detalhada. Um upscaler com IA prevê detalhes a partir de padrões que aprendeu no treinamento.

Por isso, bordas, cabelo e texturas podem sair mais nítidos que na fonte e, de vez em quando, inventados. Qual deles serve depende do tamanho do salto e do estado da fonte.

• O upscaling tradicional (vizinho mais próximo, bilinear, bicúbico, Lanczos) calcula cada pixel novo a partir dos pixels ao redor. A imagem fica maior, mas nenhuma informação nova aparece.
• O upscaling com IA usa um modelo treinado para prever detalhes finos plausíveis e, em geral, reduz ruído e danos de compressão ao mesmo tempo.
• O Lanczos parece mais nítido que o bicúbico, com mais risco de halos discretos ao longo de bordas duras. O vizinho mais próximo serve para pixel art e pouca coisa além disso.
• A IA compensa o tempo extra de processamento em saltos de 2x ou mais, em fontes comprimidas ou com ruído e em traços de desenho. Para redimensionamentos pequenos de vídeos limpos, um bom escalonador tradicional costuma bastar.
• Nenhum dos dois tipos recupera detalhes que a câmera não captou. Avalie os resultados com 100% de zoom na tela a que o vídeo se destina.

O upscaling aumenta as dimensões em pixels de uma imagem ou vídeo, por exemplo de 1280 × 720 para 1920 × 1080. Todo upscaling precisa preencher pixels que não existiam. Um quadro 1080p tem 2.073.600 pixels e um quadro 720p tem 921.600, então cerca de 56% dos pixels em um upscaling de 720p para 1080p são novos.

Sua TV, seu navegador e seu app de edição fazem upscaling o tempo todo, geralmente com um escalonador tradicional, toda vez que um vídeo é menor que a área em que é exibido. A documentação do HandBrake aponta o custo disso: vídeos abaixo de 720p costumam ser ampliados para preencher a tela, o que aumenta até imperfeições pequenas.

Cada método tradicional é uma regra de interpolação: uma fórmula que diz quanto cada pixel próximo da fonte contribui para um pixel novo. A documentação do escalonador do FFmpeg lista os mais comuns.

• Vizinho mais próximo (amostragem por ponto). Copia o pixel mais próximo da fonte. O resultado fica serrilhado, mas as bordas duras dos pixels continuam duras, que é exatamente o que pixel art e capturas de jogos retrô precisam quando ampliadas por um número inteiro (2x, 3x, 4x).
• Bilinear. Mistura os pixels mais próximos em linha reta. Suave e macio.
• Bicúbico. Ajusta uma curva cúbica suave pelos pixels próximos. Mais nítido que o bilinear e a escolha habitual para uso geral. É o padrão do FFmpeg, configurado como uma curva no estilo Mitchell-Netravali.
• Lanczos. Um filtro sinc com janela que pondera uma vizinhança maior (três taps por padrão no FFmpeg). Mantém as bordas mais nítidas que o bicúbico e, ao longo de bordas de alto contraste, pode acrescentar contornos claros ou escuros discretos, o chamado ringing.
• Outros. A média por área serve principalmente para reduzir (o FFmpeg observa que ela equivale ao bilinear no upscaling); o gaussiano e o spline ficam entre as opções acima.

O que eles têm em comum importa mais do que aquilo em que diferem: cada pixel de saída é uma média ponderada de pixels de entrada. É por isso que um vídeo 720p ampliado de forma tradicional ainda parece 720p em uma tela maior. As bordas ficam mais suaves ou mais nítidas, mas nenhuma textura nova aparece, e qualquer ruído, bloco de compressão ou desfoque da fonte cresce junto com o resto.

Um upscaler com IA, muitas vezes chamado de modelo de super-resolução, é uma rede neural treinada com pares de imagens em baixa e alta resolução. No treinamento, ela aprende quais padrões de alta resolução costumam corresponder a um trecho em baixa resolução: como tijolos, cílios ou folhagem tendem a parecer com mais pixels. Na hora de rodar, ela prevê esses padrões para os seus quadros.

Isso tem três consequências:

1. Ela acrescenta detalhes plausíveis. As bordas saem limpas e as texturas parecem mais densas do que qualquer interpolação consegue deixá-las.
2. Ela geralmente limpa enquanto amplia. Modelos treinados com entradas degradadas também aprendem a reduzir ruído, blocos de compressão e falta de nitidez. O Reparo inteligente do KwaFlux faz isso de propósito: ele lê o resultado da detecção de qualidade de cada clipe e combina redução de ruído, nitidez, correção de cor e brilho, upscaling e restauração de rostos e detalhes finos conforme a necessidade.
3. O detalhe é uma previsão. Quando a fonte não tem informação suficiente, o modelo desenha algo que parece certo em vez do que estava lá. Rostos pequenos, textos distantes e padrões finos repetitivos são onde isso aparece primeiro.

O vídeo acrescenta uma quarta: a consistência entre quadros. Se a textura é prevista quadro a quadro, ela pode cintilar durante a reprodução. Muitos modelos de vídeo usam os quadros vizinhos para manter o detalhe estável, e ainda assim é a primeira coisa a observar em uma prévia.

Observação: "upscaling com IA" e "aprimoramento com IA" se sobrepõem. Muitos upscalers reparam e redimensionam em uma só passada, e é por isso que o mesmo clipe também pode parecer mais limpo no tamanho original. Se você só quer um quadro maior sem mais nenhuma mudança, um escalonador tradicional é a ferramenta honesta.

• Redimensionamentos pequenos de vídeos limpos. Passar de 1080p para 1440p com um arquivo de câmera nítido e bem exposto raramente precisa de mais que bicúbico ou Lanczos.
• A tela vai redimensionar de qualquer jeito. Se a TV de quem assiste ou o player vai redimensionar o vídeo de todo modo, pré-redimensionar com o mesmo tipo de cálculo só aumenta o tamanho do arquivo.
• Linhas do tempo de edição e proxies. Quando um clipe só precisa bater com a resolução do projeto, o tamanho importa mais que o detalhe.
• Pixel art e capturas retrô. O vizinho mais próximo em 2x, 3x ou 4x mantém cada pixel quadrado.

• Saltos de 2x ou mais: 720p para 1440p, 1080p para 4K, SD para HD. Quanto maior o salto, maior a parte do quadro que um escalonador tradicional precisa espalhar. Veja como fazer upscaling de 720p para 1080p para um exemplo prático.
• Fontes danificadas. Blocos de compressão, ruído do sensor e foco suave ficam maiores com a interpolação. O upscaling com IA geralmente os reduz no caminho.
• Anime e traços de desenho. Bordas limpas e cores chapadas são o que o olho confere primeiro. Um modelo ajustado para animação mantém as linhas finas e preenche as áreas chapadas de forma limpa.
• Vídeos que você vai guardar. Em vídeos de família e arquivos, o tempo extra de processamento é gasto uma vez só. Para expectativas realistas com fontes muito pequenas, leia 480p para 4K: o que a IA consegue recuperar.

Ler sobre escalonadores só leva você até certo ponto. Escolha uma cena com detalhes finos (cabelo, folhagem, tecido, texto pequeno) e compare no tamanho em que vai entregar.

No KwaFlux

1. Abra o Reparo de qualidade. Na barra lateral, vá até Aprimoramento de qualidade e abra o cartão Reparo inteligente ou um cartão de Reparo por cena que combine com o seu material, como Anime.
2. Importe o clipe e defina o tamanho de saída. Em Exportação, defina Resolução como o seu alvo, por exemplo 1080p ou 4K.
3. Renderize uma prévia. Escolha Prévia 1s, Prévia 3s ou Prévia 5s na cena com detalhes.
4. Compare com uma referência do mesmo tamanho. Na visão antes/depois, a referência Antes (mesmo tamanho) é a fonte ampliada para a resolução de saída com redimensionamento convencional. Colocar o resultado da IA ao lado dela mostra o que o modelo acrescenta além do simples redimensionamento, com as mesmas dimensões.
5. Leia as notas e depois os seus olhos. Com Comparar qualidade após a pré-visualização ativado em Configurações › Pré-visualização, o KwaFlux pontua a mudança: Nitidez, Limpeza, Estética e Técnico, além de Ganho de resolução e Semelhança com a origem (VMAF). As próprias dicas do app dizem como lê-las: o VMAF vem com a legenda “Mais alto significa menos mudanças, não qualidade melhor”, e o painel observa que são métricas algorítmicas objetivas e que a palavra final é da sua própria percepção. Para saber como a pontuação funciona, veja como pontuamos a qualidade de vídeo.

Com FFmpeg (grátis)

Crie uma versão bicúbica e uma Lanczos e depois coloque as duas lado a lado:

ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=bicubic" -c:v libx264 -crf 16 -an bicubic.mp4
ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=lanczos" -c:v libx264 -crf 16 -an lanczos.mp4
ffmpeg -i bicubic.mp4 -i lanczos.mp4 -filter_complex hstack -c:v libx264 -crf 16 compare.mp4

-2 mantém a proporção e arredonda a altura para um número par. Um CRF baixo (16) impede que o codificador esconda as diferenças que você está tentando ver. Abra compare.mp4, pause na cena com detalhes e observe com 100% de zoom: à esquerda está o bicúbico, à direita o Lanczos.

Observação: flags=lanczos é a forma consagrada de escolher um algoritmo no filtro scale do FFmpeg. A documentação atual do escalonador marca a seleção de algoritmo por flags como obsoleta em favor de uma opção scaler separada, então rode ffmpeg -h filter=scale para ver o que a sua versão aceita.

Dica: compare no tamanho em que as pessoas vão assistir. Uma diferença óbvia com 100% de zoom em um monitor de mesa pode sumir em um celular, e um halo que você não vê em um notebook pode incomodar em uma TV de 65 polegadas.

• Recuperar detalhes que não foram captados. Texto ilegível continua ilegível. Um modelo de IA pode desenhar formas parecidas com letras, o que é pior do que deixá-lo suave.
• Transformar um desfoque forte em uma imagem nítida. Uma leve falta de nitidez melhora; um foco muito errado não volta.
• Deixar o movimento mais fluido. O upscaling acrescenta pixels, não quadros. Para um movimento mais fluido, o caminho é a interpolação de quadros.
• Desfazer artefatos deixados por um processamento anterior. Halos de nitidez exagerada e redução de ruído forte de um celular ou de uma exportação anterior agora fazem parte da imagem. A IA consegue suavizar alguns deles, não revertê-los.

Os escalonadores tradicionais decidem como esticar os pixels que você tem. Os upscalers com IA decidem como os pixels que faltam provavelmente eram. Use o primeiro quando a fonte estiver limpa e o salto for pequeno, o segundo quando o salto for grande ou a fonte estiver danificada, e compare os dois lado a lado antes de partir para a exportação.

O KwaFlux executa o seu Aprimorador de vídeo IA na sua própria GPU. O processamento de IA roda na sua própria GPU e os seus arquivos de mídia não são enviados para processamento. Roda no Windows 10 (64 bits, versão 1809 ou mais recente), no Windows 11 e no macOS 12 ou mais recente em Apple Silicon. As prévias não exigem conta: renderize uma prévia de 1, 3 ou 5 segundos de qualquer clipe. O login com um plano pago só é necessário para exportar, converter, reparar um arquivo ou baixar um arquivo de um link.