AI 복원 영상이 플라스틱처럼 보이는 이유: 손실 함수, GAN, 디퓨전, 그리고 피하는 방법

핵심 요약

AI 복원 결과가 플라스틱처럼 보이는 것은 모델이 실제 질감을 다시 만드는 속도보다 지우는 속도가 빠를 때입니다. 피부는 밀랍처럼 되고, 머리카락은 몇 가닥 덩어리로 뭉치고, 그레인과 나뭇잎은 매끈한 면으로 번집니다. 화면은 깨끗해 보이지만 어딘가 인공적입니다. 원인은 잘 알려져 있습니다. 학습 손실 함수, 모델 계열, 그리고 영상과 맞지 않는 학습 데이터입니다.

• '플라스틱 같다'는 것은 복원 과정에서 모공, 머리카락, 그레인, 나뭇잎 같은 미세 질감이 평균화되어 사라졌거나, 장면과 맞지 않는 지어낸 질감으로 바뀐 상태를 말합니다.
• 픽셀 오차(L1 또는 L2)만으로 학습한 모델은 그럴듯한 정답들의 평균을 예측하고, 평균은 매끈합니다. GAN과 디퓨전 모델은 질감을 다시 더하지만 그중 일부는 지어낸 것입니다.
• Blau와 Michaeli는 어떤 왜곡 척도를 쓰든 낮은 왜곡과 높은 사실감이 서로 반대 방향으로 당긴다는 것을 증명했습니다. 그래서 어떤 점수 하나로도 어느 결과가 자연스러운지 알 수 없습니다.
• 내 영상과 맞지 않는 학습 데이터, 그리고 얼굴을 평범한 얼굴 쪽으로 끌어당기는 얼굴 사전 지식이 나머지 두 가지 큰 원인입니다.
• 100% 배율과 재생 상태에서 판단하고, 강도를 낮추거나 원본과 섞고, 그레인을 남기거나 다시 더하고, 업스케일링 전에 먼저 복구하세요.

AI 복원에서 '플라스틱 같다'는 무슨 뜻일까?

플라스틱 같은 결과란 표면이 실제 장면보다 더 매끈하거나 균일하게 복원된 이미지입니다. 피부, 천, 머리카락, 나뭇잎이 실물처럼 보이게 해 주던 작고 불규칙한 질감을 잃습니다. 윤곽선은 오히려 또렷한 경우가 많습니다. 아래 FFmpeg 테스트에서도 강한 노이즈 제거와 샤프닝을 함께 걸자 체커보드 경계는 딱딱하게 남고 그 사이의 미세 질감은 사라졌습니다. 매끈하게 채운 면을 날카로운 경계가 감싸고 있으면 눈은 이를 밀랍이나 CG로 읽습니다.

모델 계열별 실패 방식

L1·L2 손실을 쓰는 CNN 회귀

열화된 픽셀 하나는 수많은 선명한 원본과 모두 맞아떨어집니다. 가장자리는 한 픽셀 왼쪽에 있었을 수도, 오른쪽에 있었을 수도 있고, 피부 한 조각의 모공은 셀 수 없이 많은 배치가 가능합니다. L2(MSE) 손실로 학습한 네트워크는 이 가능성들의 평균을 예측할 때 보상을 받고, 서로 다른 위치에 놓인 선명한 질감을 여럿 평균하면 매끈해집니다. L1은 중앙값을 예측해 가장자리에는 도움이 되지만, 위치가 불확실한 질감은 여전히 서로 상쇄됩니다. SRGAN 저자들은 MSE로 최적화한 결과가 고주파 디테일이 부족해 지각적으로 만족스럽지 못한 경우가 많다고 분명히 말합니다.

GAN: 적대적 손실로 만드는 질감

SRGAN은 복원 이미지와 실제 사진을 구별하도록 학습하는 판별기를 더하고, 픽셀이 아닌 지각적 유사도에 기반한 콘텐츠 손실을 썼습니다. 저자들은 그 효과를 해답을 자연 이미지 다양체 쪽으로 밀어 주는 것이라고 설명합니다. 결과는 더 선명해 보이지만 그 질감은 복원된 것이 아니라 그럴듯하게 생성된 것입니다. 생성기는 확신이 없을 때도 질감 비슷한 무언가를 만들어야 하고, 지어낸 패턴과 거친 가장자리는 바로 여기서 생깁니다. 순수 합성 데이터로 학습한 Real-ESRGAN은 실제 영상에 있는 링잉과 오버슈트도 시뮬레이션해 이를 제거하도록 학습합니다.

트랜스포머와 순환형 비디오 모델

SwinIR, Restormer 같은 트랜스포머는 합성곱 대신 어텐션을 써서 멀리 떨어진 픽셀 사이의 상호작용까지 포착합니다. Restormer는 표준 어텐션의 연산량이 해상도에 따라 제곱으로 늘어나기 때문에 복원용 트랜스포머는 더 효율적인 어텐션 구조를 쓴다고 설명합니다. 플라스틱 느낌을 결정하는 것은 구조 자체가 아니라 손실 함수입니다. 비디오에서는 BasicVSR++ 같은 순환형 모델이 광학 흐름으로 유도한 변형 정렬로 클립 전체에 특징을 앞뒤로 전파합니다. 덕분에 프레임은 디테일을 지어내는 대신 이웃 프레임에서 실제 디테일을 빌려 올 수 있습니다. 빠른 움직임이나 가림처럼 정렬이 실패하는 곳에서는 빌려 온 디테일이 번지거나 고스팅이 생깁니다.

디퓨전 복원

디퓨전 모델은 학습한 사전 지식에서 출발해 노이즈를 반복적으로 걷어 내며 복원하고, 가장 설득력 있는 미세 디테일을 만들어 냅니다. 그 강점이 곧 위험이기도 합니다. Upscale-A-Video 저자들은 디퓨전 샘플링의 무작위성 때문에 시간적 일관성을 지키기 어렵다고 지적하며, 복원과 생성 사이의 균형을 잡도록 노이즈 레벨을 조절할 수 있게 했습니다. STAR는 정지 이미지로 학습한 이미지 디퓨전 모델이 시간적 일관성에 약하고, 큰 생성 백본은 충실도를 떨어뜨릴 수 있다고 말합니다. 비용도 한계입니다. SeedVR2 저자들은 디퓨전 비디오 복원의 추론 비용이 감당하기 어려울 만큼 크다고 보고, 그래서 이를 한 단계로 증류했습니다.

인지·왜곡 트레이드오프

Blau와 Michaeli는 왜곡(출력이 실제 이미지에서 얼마나 먼가)과 지각 품질(출력을 실제 이미지와 얼마나 구별하기 어려운가)이 서로 충돌한다는 것을 증명했습니다. 평균 왜곡이 줄어들수록 출력은 실제 이미지와 구별하기 쉬워집니다. 이 결과는 PSNR이나 SSIM만이 아니라 어떤 왜곡 척도에도 성립하며, 저자들은 GAN이 이 한계에 원리적으로 다가가는 방법이라는 점도 보여 줍니다.

합성 영상으로 이 현상을 재현해 봤습니다. 미세 질감이 있는 테스트 클립을 절반 해상도로 낮추고 노이즈와 강한 압축을 더한 뒤, 모델 대신 FFmpeg 필터로 두 가지 방식의 '복원'을 했습니다. 하나는 강한 노이즈 제거와 샤프닝, 다른 하나는 약한 노이즈 제거 후 그레인을 다시 더한 것입니다. 깨끗한 원본과 비교한 점수는 다음과 같습니다.

과도하게 매끈해진 버전은 원래 질감의 약 15분의 1만 남기고도 두 픽셀 지표에서 모두 이겼습니다. 그레인 버전은 질감 에너지를 대부분 지켰지만 점수는 가장 낮았습니다. 무작위 그레인은 원래 패턴과 픽셀 단위로 일치하지 않기 때문입니다. 설정을 시험하려고 일부러 클립을 열화시킨 경우처럼 깨끗한 기준 영상이 있다면 명령 하나로 측정할 수 있습니다.

ffmpeg -i restored.mp4 -i reference.mp4 -lavfi "[0:v][1:v]psnr" -f null -

지표는 결과의 우열을 가리는 데가 아니라 큰 재작성을 잡아내는 데 쓰세요. 유사도 점수가 개선이 아니라 변화량을 재는 이유는 영상 화질을 점수로 매기는 방법에서 설명합니다.

열화 불일치와 얼굴 정체성 변화

열화 불일치. 모델은 학습한 손상만 되돌릴 수 있습니다. Real-ESRGAN은 실제 손상이 단순한 다운샘플링보다 복잡하다는 점에 착안해 블러, 리사이즈, 노이즈, 압축을 여러 번 겹치는 고차 열화 모델로 답했습니다. 인터레이스 흔적, 심한 크로마 노이즈, 특이한 압축, 필름 그레인처럼 학습 데이터 밖의 손상이 영상에 있으면, 모델은 그것을 디테일로 여겨 선명하게 만들거나 모든 것을 노이즈로 보고 질감까지 함께 지워 버릴 수 있습니다.

얼굴 정체성 변화. 얼굴 복원 모델은 강한 사전 지식을 씁니다. GFPGAN은 사전 학습된 얼굴 GAN을, CodeFormer는 얼굴 부위를 학습한 코드북에서 항목을 예측합니다. 두 논문 모두 결과를 품질과 충실도 사이의 균형으로 설명하고, CodeFormer는 그 균형을 조절 항목으로 제공합니다. 사전 지식이 강할수록 작거나 흐릿한 얼굴은 매끈한 피부, 고른 치아, 평범한 눈을 가진 그럴듯한 평균 얼굴 쪽으로 끌려갑니다. 무엇을 확인해야 하는지는 영상 속 얼굴 복원하는 방법을 참고하세요.

2026년에 달라지는 점

• 한 단계 디퓨전. 증류와 적대적 사후 학습으로 디퓨전 복원을 한 단계로 줄입니다. SeedVR2는 다단계 방식과 비슷하거나 더 나은 결과를 보고합니다. 추론 비용이 낮아지면 긴 클립에도 디퓨전식 디테일을 현실적으로 쓸 수 있지만, 충실도 문제는 그대로 남습니다.
• 시간 사전 지식. 이미지 모델을 프레임마다 돌리는 대신, 최신 비디오 초해상도는 비디오 사전 지식을 씁니다. Upscale-A-Video의 시간 레이어와 순환형 잠재 전파, STAR의 텍스트-비디오 백본이 그 예입니다.
• 기기 내 NPU. Microsoft의 Copilot+ PC 가이드는 초당 40조 회 이상의 연산을 하는 NPU를 소개하며, 상당수가 INT8 같은 정수 연산을 쓰기 때문에 모델을 더 낮은 정밀도 형식으로 변환해 실행한다고 설명합니다.

플라스틱 같은 결과를 알아보는 법

소스와 결과의 같은 부분을 잘라 비교하세요. 소스는 최근접 이웃 방식으로 확대해야 실제 픽셀이 보입니다.

ffmpeg -ss 2 -i source.mp4 -ss 2 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=neighbor,crop=480:270:760:400[a];[1:v]crop=480:270:760:400[b];[a][b]hstack" -frames:v 1 compare.png

차이 맵을 보면 복원이 무엇을 지우고 더했는지 알 수 있습니다. 중간 회색은 변화 없음, 평평한 면에 보이는 구조는 노이즈나 질감이 지워졌다는 뜻, 새로운 패턴은 지어낸 디테일입니다.

ffmpeg -ss 2 -i source.mp4 -ss 2 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=bicubic,format=gray[a];[1:v]format=gray[b];[b][a]blend=all_mode=grainextract,eq=contrast=4" -frames:v 1 diff.png

테스트에서 과도하게 매끈해진 버전의 차이 맵에는 평평한 면에 있던 소스의 노이즈와 블록, 그리고 체커보드 영역의 질감이 모두 지워진 흔적이 드러났습니다.

피하는 방법

방법 1. 강도를 낮추거나 원본과 섞습니다. CodeFormer의 충실도 조절이나 Upscale-A-Video의 노이즈 레벨처럼 많은 복원 도구가 강도나 충실도 조절 항목을 제공합니다. 문제를 해결하는 가장 낮은 설정을 쓰세요. 조절 항목이 없는 도구라면 출력을 소스와 섞습니다.

ffmpeg -i source.mp4 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=lanczos,format=yuv420p[a];[1:v]format=yuv420p[b];[b][a]blend=all_expr='A*0.7+B*0.3'" -c:v libx264 -crf 16 -c:a copy blended.mp4

복원 결과 70%, 업스케일링한 소스 30%를 남기는 설정입니다. 테스트에서 이렇게 섞으면 질감이 조금 돌아왔지만(자체 측정값 0.35 대비 0.63) 소스 노이즈도 일부 함께 돌아왔으므로, 가벼운 경우에 알맞습니다.

방법 2. 그레인을 남기거나 마지막에 다시 더합니다. 그레인은 밀랍 같은 느낌을 가리고 인코더가 지킬 질감을 줍니다. 휘도에만 미세한 시간 그레인을 더하고 x264를 그레인에 맞게 튜닝하세요.

ffmpeg -i restored.mp4 -vf "noise=c0s=6:c0f=t" -c:v libx264 -crf 16 -tune grain -c:a copy regrained.mp4

c0s=6은 휘도 노이즈 강도, c0f=t는 매 프레임 노이즈가 바뀌게 하는 설정입니다. x264의 grain 튜닝은 디블로킹과 양자화 데드존을 낮춰 미세한 그레인이 인코딩 후에도 남게 합니다. 테스트에서 질감 측정값은 0.35에서 3.5로 올랐고, 깨끗한 원본은 5.1이었습니다. 되살린 디테일이 아니라 새로 더한 그레인입니다. 먼저 그레인과 노이즈를 구별하려면 그레인 vs 노이즈 vs 압축 아티팩트를 참고하세요.

방법 3. 업스케일링 전에 복구합니다. 소스 해상도에서 압축 블록과 노이즈를 먼저 없앤 뒤 업스케일링하세요. 블록과 노이즈를 디테일로 보는 업스케일러는 그것을 키우고 선명하게 만듭니다.

방법 4. 재생 상태에서 판단합니다. 반짝이는 질감은 정지 화면에서는 보이지 않습니다. 소스와 결과를 소스 프레임 레이트로 나란히 놓고 100% 배율로 보세요.

ffmpeg -i source.mp4 -i restored.mp4 -filter_complex "[0:v]scale=1280:720:flags=neighbor[a];[a][1:v]hstack" -c:v libx264 -crf 16 side_by_side.mp4

팁: 얼굴, 글자, 나뭇잎부터 확인하세요. 지어낸 디테일이 가장 눈에 잘 띄고, 가장 용납하기 어려운 곳입니다.

KwaFlux는 어떻게 다루나

• 스마트 복구는 이웃 프레임을 활용합니다. 화질 복구의 스마트 복구는 클립을 분석해 노이즈 제거, 샤프닝, 색과 밝기 보정, 업스케일링, 얼굴과 미세 디테일 복구를 조합합니다. 이웃 프레임을 활용하므로 앞에서 설명한 다중 프레임 방식의 복원 도구에 해당합니다.
• 장면 복구 유형은 프레임 단위로 처리합니다. 애니메, 야경, 안개 제거, 비 제거, 채색, 필름 그레인 제거는 각각 한 가지 손상을 겨냥합니다. 맞지 않는 영상에 장면 유형을 쓰는 것이 밀랍 같은 얼굴의 흔한 원인입니다. 선택 방법은 어떤 복구 유형을 고를까에서 다룹니다.
• 내보내기 전에 미리 봅니다. 1·3·5초 미리보기를 렌더링하세요. AI 미리보기는 기본적으로 15 fps로 제한되므로, 움직임이나 반짝임을 판단하기 전에 원본 프레임레이트를 고르세요.
• 유사도 점수는 경고 신호로 봅니다. 미리보기 후 화질 자동 비교를 켜면 미리보기마다 원본과의 유사도 (VMAF) 등의 점수가 나옵니다. 앱은 이 점수를 "값이 높을수록 변화가 적으며, 화질이 더 좋다는 뜻은 아닙니다"라고 설명합니다. 점수가 크게 떨어지면 많이 재작성됐다는 뜻이니 100% 배율로 확인해 볼 만합니다.
• 원하는 그레인은 지킵니다. 필름 그레인 제거는 원래 그레인을 지우는 기능입니다. 그레인이 영상의 분위기라면 이 유형을 건너뛰고, 결과가 너무 깨끗해 보이면 내보낸 뒤 위의 FFmpeg 명령으로 그레인을 다시 더하세요.

문제 해결

할 수 없는 것

• 카메라가 담지 못한 디테일을 되살리는 복원 도구는 없습니다. 그럴듯한 디테일을 예측할 뿐입니다.
• 모든 장면에 맞는 설정 하나는 없습니다. 질감이 풍부한 영상과 평평한 그래픽은 서로 다른 방향으로 실패합니다.
• 지표로는 자연스러운 결과를 고를 수 없습니다. 픽셀 점수는 매끈하게 만드는 쪽에 점수를 주므로, 판단은 눈으로 해야 합니다.
• 그레인을 더한다고 질감이 복원되지는 않습니다. 밀랍 같은 느낌을 가려 줄 뿐입니다.

마치며

AI 복원이 플라스틱처럼 보이는 것은 평균화가 질감을 이기거나, 지어낸 질감이 장면과 맞지 않을 때입니다. 충실도를 지키는 설정을 고르고, 100% 배율과 재생 상태에서 비교하고, 깨끗하지만 질감 없는 프레임은 성공이 아니라 경고로 받아들이세요.

KwaFlux는 화질 복구를 사용자 GPU에서 실행합니다. AI 처리는 사용자 GPU에서 실행되며 미디어 파일이 처리를 위해 업로드되지 않습니다. Windows 10(64비트, 버전 1809 이상), Windows 11, Apple Silicon 탑재 macOS 12 이상에서 실행됩니다. 미리보기에는 계정이 필요 없습니다. 어떤 클립이든 1·3·5초 미리보기를 렌더링할 수 있습니다. 내보내기, 변환, 파일 복구, 링크에서 파일 다운로드에만 로그인과 유료 플랜이 필요합니다.