Upscaling IA vs bicubique et Lanczos : ce qui change vraiment

L’upscaling IA et l’upscaling classique transforment tous deux de petites images en grandes. La différence tient à l’origine des nouveaux pixels. Le bicubique et Lanczos les calculent à partir des pixels voisins : l’image devient plus grande, pas plus détaillée. Un upscaler IA prédit les détails à partir de motifs appris à l’entraînement.

Contours, cheveux et textures peuvent donc ressortir plus nets que dans la source, et parfois être inventés. Le bon choix dépend de l’ampleur de l’agrandissement et de l’état de la source.

• L’upscaling classique (plus proche voisin, bilinéaire, bicubique, Lanczos) calcule chaque nouveau pixel à partir des pixels qui l’entourent. L’image grandit, mais aucune nouvelle information n’apparaît.
• L’upscaling IA utilise un modèle entraîné pour prédire des détails fins plausibles, et il réduit en général le bruit et les dégâts de compression au passage.
• Lanczos paraît plus net que le bicubique, avec plus de risque de légers halos le long des contours francs. Le plus proche voisin convient au pixel art, et à peu de chose d’autre.
• L’IA justifie son temps de traitement supplémentaire pour les agrandissements de 2x ou plus, pour les sources compressées ou bruitées et pour le dessin au trait. Pour de petits redimensionnements d’images propres, un bon algorithme classique suffit souvent.
• Aucune des deux méthodes ne peut récupérer des détails que la caméra n’a pas captés. Jugez le résultat à 100 % de zoom, sur l’écran auquel la vidéo est destinée.

L’upscaling augmente les dimensions en pixels d’une image ou d’une vidéo, par exemple de 1280 × 720 à 1920 × 1080. Chaque upscaling doit remplir des pixels qui n’existaient pas. Une image 1080p compte 2 073 600 pixels et une image 720p 921 600 : lors d’un passage de 720p à 1080p, environ 56 % des pixels sont donc nouveaux.

Votre téléviseur, votre navigateur et votre logiciel de montage font de l’upscaling en permanence, le plus souvent avec un algorithme classique, chaque fois qu’une vidéo est plus petite que la zone où elle s’affiche. La documentation de HandBrake en souligne le prix : les vidéos en dessous de 720p sont en général agrandies pour remplir l’écran, ce qui amplifie la moindre imperfection.

Chaque méthode classique est une règle d’interpolation : une formule qui fixe la part de chaque pixel source voisin dans un nouveau pixel. La documentation du scaler de FFmpeg liste les plus courantes.

• Plus proche voisin (échantillonnage ponctuel). Copie le pixel source le plus proche. Le résultat est en blocs, mais les contours francs des pixels restent francs, ce dont le pixel art et les captures de jeux rétro ont justement besoin quand on les agrandit d’un facteur entier (2x, 3x, 4x).
• Bilinéaire. Mélange les pixels les plus proches en ligne droite. Doux et un peu flou.
• Bicubique. Fait passer une courbe cubique lisse par les pixels voisins. Plus net que le bilinéaire, c’est le choix polyvalent habituel. C’est l’algorithme par défaut de FFmpeg, configuré sous forme de courbe de type Mitchell-Netravali.
• Lanczos. Un filtre sinc fenêtré qui pondère un voisinage plus large (trois coefficients par défaut dans FFmpeg). Il garde des contours plus nets que le bicubique et, le long des contours très contrastés, il peut ajouter de légers liserés clairs ou sombres, qu’on appelle souvent « ringing ».
• Autres. La moyenne par zone sert surtout à réduire la taille (FFmpeg précise qu’elle équivaut au bilinéaire pour agrandir) ; les filtres gaussien et spline se situent entre les options ci-dessus.

Leur point commun compte plus que leurs différences : chaque pixel de sortie est une moyenne pondérée de pixels d’entrée. C’est pourquoi une vidéo 720p agrandie de façon classique ressemble encore à du 720p sur une toile plus grande. Les contours deviennent plus doux ou plus nets, mais aucune nouvelle texture n’apparaît, et le bruit, les blocs de compression ou le flou de la source grandissent avec le reste.

Un upscaler IA, souvent appelé modèle de super-résolution, est un réseau de neurones entraîné sur des paires d’images en basse et en haute résolution. Pendant l’entraînement, il apprend quels motifs en haute résolution correspondent d’habitude à un fragment en basse résolution : l’allure d’un mur de briques, de cils ou d’un feuillage avec plus de pixels. À l’exécution, il prédit ces motifs pour vos images.

Cela a trois conséquences :

1. Il ajoute des détails plausibles. Les contours ressortent propres et les textures paraissent plus denses qu’aucune interpolation ne peut les rendre.
2. Il nettoie en général en même temps qu’il agrandit. Les modèles entraînés sur des entrées dégradées apprennent aussi à réduire le bruit, les blocs de compression et le flou. La Réparation intelligente de KwaFlux le fait volontairement : elle lit le résultat de la détection de qualité de chaque clip et combine selon les besoins débruitage, accentuation, correction des couleurs et de la luminosité, upscaling et restauration des visages et des détails fins.
3. Les détails sont une prédiction. Quand la source ne contient pas assez d’informations, le modèle dessine quelque chose qui a l’air juste plutôt que ce qui était là. Les petits visages, le texte lointain et les motifs fins répétitifs sont les premiers endroits où cela se voit.

La vidéo en ajoute une quatrième : la cohérence d’une image à l’autre. Si la texture est prédite image par image, elle peut scintiller pendant la lecture. Beaucoup de modèles vidéo s’appuient sur les images voisines pour garder des détails stables, et c’est malgré tout la première chose à vérifier dans un aperçu.

À noter : « upscaling IA » et « amélioration IA » se recoupent. Beaucoup d’upscalers réparent et redimensionnent en une seule passe, ce qui explique qu’un même clip puisse paraître plus propre même à sa taille d’origine. Si vous voulez seulement une image plus grande sans autre changement, l’algorithme classique est l’outil honnête.

• Petits redimensionnements d’images propres. Passer de 1080p à 1440p avec un fichier caméra net et bien exposé demande rarement plus que le bicubique ou Lanczos.
• L’écran va de toute façon mettre à l’échelle. Si le téléviseur du spectateur ou le lecteur va agrandir la vidéo quoi qu’il arrive, la pré-agrandir avec le même type de calcul ajoute du poids au fichier et pas grand-chose d’autre.
• Timelines de montage et proxys. Quand un clip doit simplement correspondre à la résolution d’un projet, la taille compte plus que les détails.
• Pixel art et captures rétro. Le plus proche voisin en 2x, 3x ou 4x garde chaque pixel carré.

• Agrandissements de 2x ou plus : 720p vers 1440p, 1080p vers 4K, SD vers HD. Plus l’agrandissement est grand, plus un algorithme classique doit étaler l’image. Voir comment upscaler du 720p en 1080p pour un exemple détaillé.
• Sources abîmées. Les blocs de compression, le bruit du capteur et la mise au point floue grossissent avec l’interpolation. L’upscaling IA les réduit en général au passage.
• Anime et dessin au trait. Des contours propres et des aplats de couleur sont ce que l’œil vérifie en premier. Un modèle réglé pour l’animation garde des traits fins et remplit proprement les aplats.
• Les images que vous allez garder. Pour les vidéos de famille et les archives, le temps de traitement supplémentaire n’est dépensé qu’une fois. Pour des attentes réalistes avec des sources très petites, lisez de 480p à 4K : ce que l’IA peut récupérer.

Lire sur les algorithmes ne mène pas très loin. Choisissez un plan riche en détails fins (cheveux, feuillage, tissu, petit texte) et comparez à la taille de livraison.

Dans KwaFlux

1. Ouvrez Réparation de qualité. Dans la barre latérale, allez dans Amélioration de la qualité et ouvrez la carte Réparation intelligente, ou une carte de Réparation par scène qui correspond à vos images, comme Anime.
2. Importez le clip et réglez la taille de sortie. Dans Export, réglez Résolution sur votre cible, par exemple 1080p ou 4K.
3. Rendez un aperçu. Choisissez Aperçu 1s, Aperçu 3s ou Aperçu 5s sur le plan détaillé.
4. Comparez avec une référence de même taille. Dans la vue avant/après, la référence Avant (même taille) est la source agrandie à la résolution de sortie par une mise à l’échelle classique. Placer le résultat IA à côté montre ce que le modèle apporte au-delà d’un simple redimensionnement, à dimensions identiques.
5. Lisez les scores, puis fiez-vous à vos yeux. Avec Comparer la qualité après l’aperçu activé dans Paramètres › Aperçu, KwaFlux évalue le changement : Netteté, Propreté, Esthétique et Technique, plus Gain de résolution et Similarité à la source (VMAF). Les indications de l’application disent comment les lire : le VMAF porte la mention « Plus élevé signifie moins de changements, pas une meilleure qualité », et le panneau rappelle qu’il s’agit de mesures algorithmiques objectives et que c’est votre propre perception qui tranche. Pour le fonctionnement de la notation, voir comment nous évaluons la qualité vidéo.

Avec FFmpeg (gratuit)

Créez une version bicubique et une version Lanczos, puis placez-les côte à côte :

ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=bicubic" -c:v libx264 -crf 16 -an bicubic.mp4
ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=lanczos" -c:v libx264 -crf 16 -an lanczos.mp4
ffmpeg -i bicubic.mp4 -i lanczos.mp4 -filter_complex hstack -c:v libx264 -crf 16 compare.mp4

-2 conserve le format d’image et arrondit la hauteur à un nombre pair. Un CRF bas (16) empêche l’encodeur de masquer les différences que vous cherchez à voir. Ouvrez compare.mp4, mettez en pause sur le plan détaillé et regardez à 100 % de zoom : à gauche le bicubique, à droite Lanczos.

À noter : flags=lanczos est la façon historique de choisir un algorithme dans le filtre scale de FFmpeg. La documentation actuelle du scaler indique que la sélection de l’algorithme par les flags est dépréciée au profit d’une option scaler distincte : lancez ffmpeg -h filter=scale pour voir ce qu’accepte votre version.

Astuce : comparez à la taille à laquelle les gens regarderont. Une différence évidente à 100 % de zoom sur un moniteur de bureau peut disparaître sur un téléphone, et un halo invisible sur un ordinateur portable peut gêner sur un téléviseur de 65 pouces.

• Récupérer des détails qui n’ont pas été captés. Un texte illisible reste illisible. Un modèle IA peut dessiner des formes qui ressemblent à des lettres, ce qui est pire que de le laisser flou.
• Transformer un gros flou de mise au point en plan net. Un léger flou s’améliore ; une mise au point vraiment ratée ne revient pas.
• Rendre le mouvement plus fluide. L’upscaling ajoute des pixels, pas des images. Pour un mouvement plus fluide, c’est l’interpolation d’images.
• Annuler les défauts incrustés par un traitement antérieur. Les halos de surnettoyage et la réduction de bruit poussée d’un téléphone ou d’un export précédent font désormais partie de l’image. L’IA peut en atténuer certains, pas les inverser.

Les algorithmes classiques décident comment étirer les pixels dont vous disposez. Les upscalers IA décident à quoi ressemblaient probablement les pixels manquants. Utilisez les premiers quand la source est propre et l’agrandissement faible, les seconds quand l’agrandissement est grand ou la source abîmée, et comparez-les côte à côte avant de lancer un export.

KwaFlux exécute son Améliorateur vidéo IA sur votre propre GPU. Le traitement IA tourne sur votre propre GPU et vos fichiers média ne sont pas envoyés pour être traités. KwaFlux fonctionne sous Windows 10 (64 bits, version 1809 ou plus récente), Windows 11 et macOS 12 ou plus récent sur Apple Silicon. Les aperçus ne demandent pas de compte : rendez un aperçu de 1, 3 ou 5 secondes sur n’importe quel clip. Une connexion avec un forfait payant n’est requise que pour exporter, convertir, réparer un fichier ou télécharger un fichier depuis un lien.