AI 업스케일링 vs Bicubic·Lanczos: 실제로 무엇이 달라질까

AI 업스케일링과 일반 업스케일링은 둘 다 작은 프레임을 큰 프레임으로 바꿉니다. 차이는 새 픽셀이 어디서 오느냐입니다. Bicubic과 Lanczos는 이웃 픽셀로 계산하므로 화면은 커지지만 디테일이 늘지는 않습니다. AI 업스케일러는 학습한 패턴으로 디테일을 예측합니다.

그래서 가장자리, 머리카락, 질감이 원본보다 선명해질 수 있고, 가끔은 없던 것이 만들어지기도 합니다. 어느 쪽이 맞는지는 확대 폭과 소스 상태에 달려 있습니다.

• 일반 업스케일링(nearest neighbor, bilinear, bicubic, Lanczos)은 새 픽셀 하나하나를 주변 픽셀로 계산합니다. 화면은 커지지만 새로운 정보는 생기지 않습니다.
• AI 업스케일링은 학습된 모델로 그럴듯한 미세 디테일을 예측하고, 보통 노이즈와 압축 손상도 함께 줄입니다.
• Lanczos는 bicubic보다 선명해 보이지만, 경계가 뚜렷한 곳에 희미한 헤일로가 생길 위험이 더 큽니다. Nearest neighbor는 픽셀 아트 말고는 쓸 곳이 많지 않습니다.
• AI는 2배 이상 확대할 때, 압축되었거나 노이즈가 많은 소스, 선화에서 추가 처리 시간만큼의 값을 합니다. 깨끗한 영상을 조금 키울 때는 좋은 일반 스케일러로 충분한 경우가 많습니다.
• 어느 쪽도 카메라가 담지 못한 디테일을 되살리지는 못합니다. 결과는 영상을 실제로 볼 화면에서 100% 배율로 판단하세요.

업스케일링은 이미지나 영상의 픽셀 크기를 늘리는 것입니다. 예를 들어 1280 × 720을 1920 × 1080으로 바꾸는 것입니다. 모든 업스케일링은 없던 픽셀을 채워야 합니다. 1080p 프레임은 2,073,600 픽셀, 720p 프레임은 921,600 픽셀이므로 720p를 1080p로 업스케일링하면 픽셀의 약 56%가 새로 생깁니다.

TV, 브라우저, 편집 앱은 영상이 표시 영역보다 작을 때마다 업스케일링을 하며, 보통 일반 스케일러를 씁니다. HandBrake 문서는 그 대가를 짚습니다. 720p 미만 영상은 대개 화면에 맞게 크게 확대되어 사소한 결함까지 커진다는 것입니다.

일반 방식은 각각 하나의 보간 규칙, 즉 주변의 원본 픽셀이 새 픽셀에 얼마나 기여할지 정하는 공식입니다. FFmpeg의 스케일러 문서에 흔히 쓰는 방식이 정리되어 있습니다.

• Nearest neighbor(포인트 샘플링). 가장 가까운 원본 픽셀을 복사합니다. 결과는 계단처럼 각지지만 픽셀 경계가 또렷하게 유지되므로, 정수배(2배, 3배, 4배)로 키우는 픽셀 아트와 레트로 게임 캡처에 딱 맞습니다.
• Bilinear. 가까운 픽셀을 직선으로 섞습니다. 매끄럽고 부드럽습니다.
• Bicubic. 주변 픽셀에 매끄러운 3차 곡선을 맞춥니다. Bilinear보다 선명하고 범용으로 흔히 씁니다. FFmpeg의 기본값이며 Mitchell-Netravali 방식의 곡선으로 설정되어 있습니다.
• Lanczos. 더 넓은 범위를 가중하는 윈도 sinc 필터입니다(FFmpeg 기본값은 3탭). Bicubic보다 가장자리를 선명하게 유지하지만, 대비가 큰 가장자리에 링잉이라 부르는 희미한 밝거나 어두운 윤곽선이 생길 수 있습니다.
• 기타. Area 평균은 주로 다운스케일링용입니다(FFmpeg 문서는 업스케일링할 때는 bilinear와 같다고 설명합니다). Gaussian과 spline은 위 방식들의 중간쯤입니다.

차이점보다 공통점이 더 중요합니다. 출력 픽셀은 모두 입력 픽셀의 가중 평균입니다. 그래서 일반 방식으로 업스케일링한 720p 영상은 더 큰 캔버스 위에서도 여전히 720p처럼 보입니다. 가장자리는 더 매끄럽거나 선명해지지만 새 질감은 생기지 않고, 소스의 노이즈, 압축 블록, 흐림도 다른 모든 것과 함께 커집니다.

흔히 초해상도 모델이라 부르는 AI 업스케일러는 저해상도와 고해상도 이미지 쌍으로 학습한 신경망입니다. 학습 과정에서 저해상도 조각이 대개 어떤 고해상도 패턴에 해당하는지, 즉 벽돌, 속눈썹, 나뭇잎이 픽셀이 많을 때 어떻게 보이는지를 배웁니다. 실행할 때는 내 프레임에 대해 그 패턴을 예측합니다.

여기서 세 가지 결과가 나옵니다.

1. 그럴듯한 디테일이 더해집니다. 가장자리는 깔끔하게 나오고, 질감은 어떤 보간으로 만든 것보다 촘촘해 보입니다.
2. 보통 확대하면서 정리도 합니다. 손상된 입력으로 학습한 모델은 노이즈, 압축 블록, 흐림을 줄이는 법도 배웁니다. KwaFlux의 스마트 복구는 일부러 이렇게 동작합니다. 클립마다 화질 검사 결과를 읽고, 필요에 따라 노이즈 제거, 샤프닝, 색과 밝기 보정, 업스케일링, 얼굴과 미세 디테일 복구를 조합합니다.
3. 디테일은 예측입니다. 소스에 정보가 충분하지 않으면 모델은 실제로 있던 것이 아니라 그럴듯해 보이는 것을 그립니다. 작은 얼굴, 멀리 있는 글자, 촘촘하게 반복되는 무늬에서 먼저 드러납니다.

영상에는 네 번째가 더해집니다. 프레임 간 일관성입니다. 질감을 프레임마다 따로 예측하면 재생할 때 일렁일 수 있습니다. 많은 영상 모델이 이웃 프레임을 활용해 디테일을 안정적으로 유지하지만, 미리보기에서 가장 먼저 살펴볼 부분이기도 합니다.

참고: "AI 업스케일링"과 "AI 화질 개선"은 겹치는 부분이 있습니다. 많은 업스케일러가 복구와 크기 조정을 한 번에 하기 때문에, 같은 클립이 원래 크기에서도 더 깨끗해 보일 수 있습니다. 다른 것은 바꾸지 않고 프레임만 키우고 싶다면 일반 스케일러가 정직한 도구입니다.

• 깨끗한 영상을 조금 키울 때. 선명하고 노출이 잘 맞은 카메라 파일을 1080p에서 1440p로 키울 때는 bicubic이나 Lanczos 이상이 필요한 경우가 드뭅니다.
• 화면이 어차피 스케일링할 때. 시청자의 TV나 플레이어가 어차피 영상을 스케일링한다면, 같은 종류의 계산으로 미리 키워 봐야 파일 용량만 늘 뿐 얻는 것이 거의 없습니다.
• 편집 타임라인과 프록시. 클립을 프로젝트 해상도에 맞추기만 하면 될 때는 디테일보다 크기가 중요합니다.
• 픽셀 아트와 레트로 캡처. Nearest neighbor로 2배, 3배, 4배 키우면 모든 픽셀이 네모나게 유지됩니다.

• 2배 이상 확대할 때: 720p에서 1440p, 1080p에서 4K, SD에서 HD. 확대 폭이 클수록 일반 스케일러가 뭉개서 채워야 하는 부분이 많아집니다. 실제 예시는 720p를 1080p로 업스케일링하는 방법을 참고하세요.
• 손상된 소스. 압축 블록, 센서 노이즈, 초점이 흐린 화면은 보간하면 함께 커집니다. AI 업스케일링은 보통 키우는 과정에서 이를 줄입니다.
• 애니메이션과 선화. 눈이 먼저 확인하는 것은 깔끔한 선과 플랫 컬러입니다. 애니메이션에 맞춘 모델은 선을 가늘게 유지하고 평평한 영역을 깔끔하게 채웁니다.
• 오래 간직할 영상. 가족 영상과 기록물이라면 추가 처리 시간은 한 번만 들이면 됩니다. 아주 작은 소스에서 현실적으로 기대할 수 있는 것은 480p에서 4K로: AI가 되살릴 수 있는 것을 읽어 보세요.

스케일러에 대해 읽는 것만으로는 한계가 있습니다. 머리카락, 나뭇잎, 천, 작은 글자처럼 디테일이 많은 장면 하나를 골라 실제로 납품할 크기에서 비교하세요.

KwaFlux에서

1. 화질 복구를 엽니다. 사이드바에서 화질 향상으로 가서 스마트 복구 카드나 애니메이션처럼 영상에 맞는 장면 복구 카드를 엽니다.
2. 클립을 가져오고 출력 크기를 정합니다. 내보내기 설정에서 해상도를 목표 크기, 예를 들어 1080p나 4K로 설정합니다.
3. 미리보기를 렌더링합니다. 디테일이 많은 장면에서 1초 미리보기, 3초 미리보기 또는 5초 미리보기를 고릅니다.
4. 같은 크기의 기준과 비교합니다. 전후 비교 화면에서 복원 전(동일 크기)(Before (same size)) 기준은 원본을 일반 스케일링으로 출력 해상도까지 키운 것입니다. AI 결과를 그 옆에 두면 같은 크기에서 단순한 크기 조정 외에 모델이 무엇을 더했는지 보입니다.
5. 점수를 읽고, 그다음 눈으로 봅니다. 설정 › 미리보기에서 미리보기 후 화질 자동 비교를 켜면 KwaFlux가 변화에 점수를 매깁니다. 선명도, 깨끗함, 미학, 기술에 더해 해상도 향상과 원본과의 유사도 (VMAF)를 보여 줍니다. 읽는 법은 앱의 안내에 나와 있습니다. VMAF에는 "값이 높을수록 변화가 적으며, 화질이 더 좋다는 뜻은 아닙니다"라는 설명이 붙어 있고, 패널은 이 값들이 객관적인 알고리즘 지표이며 최종 판단은 직접 보고 하라고 안내합니다. 점수를 매기는 방식은 영상 화질 점수를 매기는 방법을 참고하세요.

FFmpeg로(무료)

bicubic 버전과 Lanczos 버전을 만든 뒤 나란히 붙입니다.

ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=bicubic" -c:v libx264 -crf 16 -an bicubic.mp4
ffmpeg -i input.mp4 -vf "scale=1920:-2:flags=lanczos" -c:v libx264 -crf 16 -an lanczos.mp4
ffmpeg -i bicubic.mp4 -i lanczos.mp4 -filter_complex hstack -c:v libx264 -crf 16 compare.mp4

-2는 화면비를 유지하고 높이를 짝수로 맞춥니다. CRF를 낮게(16) 잡으면 보려는 차이를 인코더가 가려 버리지 않습니다. compare.mp4를 열어 디테일이 많은 장면에서 멈추고 100% 배율로 보세요. 왼쪽이 bicubic, 오른쪽이 Lanczos입니다.

참고: flags=lanczos는 FFmpeg scale 필터에서 알고리즘을 고르는 오래된 방법입니다. 현재 스케일러 문서는 flags로 알고리즘을 고르는 방식을 사용 중단 예정으로 표시하고 별도의 scaler 옵션을 권하므로, ffmpeg -h filter=scale을 실행해 내 빌드가 무엇을 받는지 확인하세요.

팁: 사람들이 실제로 볼 크기에서 비교하세요. 데스크톱 모니터에서 100% 배율로 뚜렷한 차이가 휴대폰에서는 사라질 수 있고, 노트북에서는 안 보이던 헤일로가 65인치 TV에서는 거슬릴 수 있습니다.

• 담기지 않은 디테일을 되살리기. 읽을 수 없는 글자는 계속 읽을 수 없습니다. AI 모델이 글자처럼 생긴 모양을 그릴 수도 있는데, 그냥 흐릿하게 두는 것보다 나쁩니다.
• 심하게 초점이 나간 화면을 선명한 화면으로 바꾸기. 약한 흐림은 나아지지만, 초점이 크게 빗나간 화면은 돌아오지 않습니다.
• 움직임을 더 부드럽게 만들기. 업스케일링은 픽셀을 더하지 프레임을 더하지 않습니다. 더 부드러운 움직임은 프레임 보간의 몫입니다.
• 이전 처리로 굳어진 아티팩트 되돌리기. 휴대폰이나 이전 내보내기에서 생긴 과도한 샤프닝 헤일로와 강한 노이즈 제거는 이제 이미지의 일부입니다. AI가 일부를 누그러뜨릴 수는 있지만 되돌리지는 못합니다.

일반 스케일러는 가진 픽셀을 어떻게 늘릴지 정합니다. AI 업스케일러는 빠진 픽셀이 원래 어떤 모습이었을지 추정합니다. 소스가 깨끗하고 확대 폭이 작으면 앞의 것을, 확대 폭이 크거나 소스가 손상되었으면 뒤의 것을 쓰고, 내보내기 전에 둘을 나란히 비교하세요.

KwaFlux는 AI 영상 초고화질을 사용자 GPU에서 실행합니다. AI 처리는 사용자 GPU에서 실행되며 미디어 파일이 처리를 위해 업로드되지 않습니다. Windows 10(64비트, 버전 1809 이상), Windows 11, Apple Silicon 탑재 macOS 12 이상에서 실행됩니다. 미리보기에는 계정이 필요 없습니다. 어떤 클립이든 1·3·5초 미리보기를 렌더링할 수 있습니다. 내보내기, 변환, 파일 복구, 링크에서 파일 다운로드에만 로그인과 유료 플랜이 필요합니다.