Como deixar a melhoria de vídeo com IA mais rápida: fluxo de trabalho, configurações e hardware

O essencial

Melhorar vídeo com IA é lento porque uma rede neural processa cada pixel de cada quadro, muitas vezes mais de uma vez. Para acelerar, processe menos (um clipe mais curto, um tamanho de saída menor, menos etapas), confira se o trabalho roda na sua GPU e use as configurações de desempenho do app para que nada mais dispute com ela.

• O tempo da melhoria com IA cresce com pixels de saída × quadros × etapas. Reduzir qualquer um dos três economiza mais que qualquer configuração.
• No nosso teste, processar em 4K levou 10 vezes o tempo de 720p e 4,2 vezes o de 1080p. Faça upscaling só até o tamanho que você vai entregar.
• Reduza o clipe à parte de que você precisa antes de processar; um corte por cópia de stream leva segundos e não perde nada.
• Repare no tamanho da fonte antes do upscaling e mude a taxa de quadros por último, porque dobrar os quadros dobra o trabalho de todas as etapas seguintes.
• Mantenha a IA na GPU, ative a decodificação por hardware e escolha o modo de recursos certo; no nosso teste, a decodificação por hardware usou cerca de 2% do tempo de CPU da decodificação por software.

Para onde vai o tempo

Uma tarefa de melhoria com IA tem três fases:

1. Decodificar a fonte em quadros.
2. Rodar o modelo de IA em cada quadro, muitas vezes com os quadros vizinhos para dar estabilidade.
3. Codificar o resultado em um arquivo de vídeo.

A fase do meio domina. O custo dela cresce com três fatores multiplicados entre si: o número de pixels de saída por quadro, o número de quadros e o número de etapas de IA (reparo, upscaling, interpolação). Cortar qualquer um pela metade corta o tempo mais ou menos pela metade.

Para mostrar o quanto o tamanho pesa, cronometramos um filtro pesado por pixel (o redutor de ruído non-local means do FFmpeg) nos mesmos 48 quadros em quatro tamanhos de saída. O 4K levou 66,8 segundos, 10 vezes o tempo do 720p e 4,2 vezes o do 1080p, de acordo com a quantidade de pixels. Os modelos de IA se comportam do mesmo jeito: o trabalho cresce com os pixels que eles geram.

Meça antes de mudar qualquer coisa

Não tire conclusões pela barra de progresso. Renderize uma prévia curta da parte mais difícil do clipe, com exatamente as ferramentas e o tamanho de saída que você pretende usar, e cronometre. No KwaFlux, as prévias não exigem conta e têm 1, 3 ou 5 segundos; veja teste o KwaFlux com as prévias grátis.

Depois, mude uma coisa de cada vez (tamanho de saída, uma etapa, uma configuração) e renderize a mesma prévia de novo. Prévias curtas incluem o tempo de inicialização, então compare prévias da mesma duração em vez de multiplicar uma delas pela duração do clipe.

Processe só a parte de que você precisa

Se você precisa de 90 segundos de uma gravação de 20 minutos, corte esses 90 segundos antes. Um corte por cópia de stream não recodifica, então leva segundos e não muda nada:

ffmpeg -ss 00:01:00 -to 00:02:30 -i input.mp4 -c copy part.mp4

Com cópia de stream, o corte começa no quadro-chave mais próximo, então deixe um ou dois segundos de margem e faça o corte preciso no editor depois.

Escolha o tamanho de saída que você vai entregar

Depois da duração, o tamanho de saída é a maior alavanca.

Se o vídeo vai ser visto no celular ou publicado em 1080p, fazer upscaling para 4K quadruplica o tempo por algo que o público não vai ver. Para entender o que cada tamanho significa, veja o que é resolução 2K.

Coloque as etapas na ordem certa

Cada etapa multiplica o trabalho das etapas que vêm depois dela.

• Repare antes do upscaling. Tirar ruído e danos de compressão no tamanho da fonte custa menos que em 4K, e o upscaler trabalha melhor em um quadro limpo; veja reparar e depois ampliar.
• Mude a taxa de quadros por último. Interpolar de 30 fps para 60 fps dobra os quadros, então qualquer etapa que venha depois faz o dobro do trabalho.
• Pule as etapas de que você não precisa. Renderize uma prévia com e sem cada etapa; se não der para ver a diferença, deixe a etapa de fora.
• Use modos mais rápidos quando houver. Algumas ferramentas têm um ajuste mais rápido, como o modo de melhoria Rápido da Cena noturna ou o nível Rápido da interpolação de quadros. Gere prévias dos dois.

Mantenha o trabalho na GPU

Os modelos de IA rodam muitas vezes mais rápido em uma GPU do que em uma CPU.

• Deixe o processador de IA em Automático ou GPU. No KwaFlux, Configurações › Desempenho e recursos › Processador de IA escolhe o hardware; a GPU costuma ser mais rápida, e a mudança vale a partir da próxima prévia ou exportação.
• Fique atento ao aviso de uso da CPU. Se a GPU estiver indisponível ou sem memória, o KwaFlux avisa que a execução "usa inferência por CPU e vai demorar bem mais". Resolva a causa e reinicie a tarefa em vez de esperar.
• Use a GPU dedicada em notebooks com duas. O KwaFlux exporta em GPUs dedicadas compatíveis e marca os gráficos integrados como não usados nas exportações. No Windows, Configurações › Sistema › Tela › Elementos Gráficos define qual GPU um app prefere.
• Ligue na tomada. GPUs de notebook ficam mais lentas na bateria e quando esquentam.

Para saber o que deixa uma GPU mais rápida que outra, veja qual GPU você precisa para melhorar vídeos com IA.

Use as configurações de desempenho

No KwaFlux, Configurações › Desempenho e recursos reúne os controles que importam para a velocidade:

Nenhum modo passa dos limites seguros do app para memória da GPU e memória do sistema, então dá para testar a Velocidade total sem medo; o preço é que o computador responde menos enquanto ela roda.

A decodificação por hardware faz mais diferença com fontes 4K em HEVC e AV1. Decodificar 20 segundos de 4K HEVC de 10 bits por software ocupou a CPU por 32 segundos-núcleo; por hardware, foram 0,6. As duas terminaram em poucos segundos, mas, durante uma exportação com IA, esse tempo de CPU sai de todo o resto.

Se a saída também passa pelo Conversor, a opção de aceleração por GPU dele codifica H.264 e HEVC na placa de vídeo; veja codificação por software vs por hardware para entender a troca entre velocidade e qualidade.

Libere memória

• Memória da GPU. Saídas grandes precisam de muita memória de vídeo. Se o KwaFlux avisar "Memória da GPU insuficiente", reduza a resolução de saída, use uma predefinição mais rápida, escolha outra GPU ou feche outros apps que pesam na GPU, como jogos e outras ferramentas de vídeo.
• Memória do sistema. Quando a memória está apertada, o KwaFlux reduz a tarefa a uma única via para não falhar; fechar outros apps devolve a velocidade.
• Disco. Tarefas com várias etapas gravam arquivos temporários; mantenha espaço livre em um SSD rápido.

A barra de status mostra o uso de memória de vídeo e quantos fluxos de IA estão rodando, para você ver se uma mudança ajudou.

No Mac

Em Macs com Apple Silicon e macOS 13 ou posterior, o KwaFlux prepara o componente de aceleração por GPU automaticamente depois de abrir, e os recursos ficam mais rápidos quando ele fica pronto. Até lá, o processamento roda no modo padrão, que é mais lento. Se você for começar uma tarefa longa logo depois de instalar, confira antes se o componente está pronto, ou comece no modo padrão sabendo que vai demorar mais. No macOS 12, o processamento roda no modo padrão.

Problemas comuns

Conclusão

A exportação mais rápida é a que processa menos: fique só com a parte de que você precisa, faça upscaling só até o tamanho que vai entregar, repare antes de ampliar e mude a taxa de quadros por último. Depois, mantenha o trabalho na GPU, ative a decodificação por hardware e escolha o modo de recursos que combina com o que você vai fazer: esperar a exportação ou trabalhar ao lado dela.

Cronometre no seu próprio material

O KwaFlux executa o upscaling de vídeo com IA e o reparo de qualidade com IA na sua própria GPU. O processamento de IA roda na sua própria GPU e os seus arquivos de mídia não são enviados para processamento. Roda no Windows 10 (64 bits, versão 1809 ou mais recente), no Windows 11 e no macOS 12 ou mais recente em Apple Silicon. As prévias não exigem conta: 1, 3 ou 5 segundos nos módulos de vídeo; 5, 15 ou 30 segundos na estabilização de vídeo; a imagem inteira nas fotos; e os primeiros 5 a 30 segundos no áudio. O login com um plano pago só é necessário para exportar, converter, reparar um arquivo ou baixar um arquivo de um link.