화질 저하가 눈에 띄지 않게 동영상 용량 줄이는 법: H.264 vs H.265 vs AV1

핵심 요약

눈에 띄는 화질 저하 없이 동영상을 압축하려면, 원본에서 출발해 최신 코덱으로 한 번만 다시 인코딩하고, 화질 설정은 눈으로 확인한 값을 쓰세요. 어디서든 재생돼야 하는 파일이라면 H.264가 안전한 선택입니다. 대상 기기가 디코딩할 수만 있다면 H.265나 AV1이 비슷한 화질에서 대개 더 작은 파일을 만듭니다.

코덱을 먼저 고른 다음, 차이가 보일 때까지 비트레이트를 한 단계씩 낮추거나 CRF를 한 단계씩 올리고, 차이가 보이면 한 단계 되돌리세요.

• 파일 크기는 비트레이트 × 재생 시간입니다. 동영상을 작게 만들려면 비트레이트를 낮추거나, 더 효율적인 코덱으로 바꾸거나, 해상도나 프레임 레이트를 낮춥니다.
• H.264, H.265, AV1은 모두 손실 압축입니다. 현실적인 목표는 파일은 작아지되, 실제로 볼 크기에서는 아무도 차이를 알아채지 못하는 것입니다.
• H.264는 재생 호환성이 가장 넓습니다. H.265와 AV1은 더 낮은 비트레이트로 비슷한 화질을 내도록 설계됐지만, 더 새로운 디코더가 필요하고 인코딩에도 시간이 더 걸립니다.
• 화질 설정은 인코더 사이에서 그대로 통하지 않습니다. x264의 CRF 23은 x265나 SVT-AV1의 CRF 23과 다릅니다.
• 원본에서 압축하고, 어두운 장면과 빠른 움직임을 확인하고, 이미 압축된 파일을 다시 압축하지 마세요.

동영상 압축이란?

동영상 압축은 시청자가 알아채기 어려운 정보를 덜어내, 더 적은 비트로 동영상을 인코딩하는 과정입니다.

파일이 최종적으로 얼마나 커질지는 세 가지가 정합니다.

• 비트레이트: 인코더가 1초에 쓰는 비트의 양입니다. 크기 ≈ 비트레이트 × 재생 시간. 8 Mbps라면 1분짜리 영상은 8 × 60 ÷ 8 = 60 MB입니다.
• 코덱: 화면을 인코딩하는 방식입니다. 새로운 코덱일수록 더 적은 비트로 비슷한 화질을 내도록 설계됐습니다.
• 해상도와 프레임 레이트: 픽셀과 프레임이 많을수록 같은 화질에 더 많은 비트가 필요합니다.

컨테이너(MP4, MKV, MOV, WebM)는 포장일 뿐입니다. 다시 인코딩하지 않고 컨테이너만 바꾸면 크기는 거의 그대로입니다.

참고: 말 그대로 "화질 손실 없이"라고 하면 화면의 모든 비트를 보존하는 인코딩을 뜻하는데, 이렇게 하면 파일은 작아지기는커녕 더 커집니다. 이 글에서 다루는 것은 모두 보통 시청 크기에서 눈에 보이지 않을 만큼 작은 손실입니다.

H.264 vs H.265 vs AV1: 어떤 코덱을 골라야 할까?

모든 상황에 맞는 코덱은 없습니다. 다음 두 질문을 이 순서대로 던져 보고 정하세요.

1. 어디서 재생되나요? 재생 기기를 통제할 수 없다면 H.264를 고르세요.
2. 인코딩을 얼마나 기다릴 수 있나요? AV1과 H.265는 인코딩 시간을 들여 더 작은 파일을 얻는 방식입니다.

시작하기 전에: 가장 깨끗한 원본에서 압축하기

어떤 설정보다 중요한 습관이 두 가지 있습니다.

• 가지고 있는 파일 중 화질이 가장 높은 파일에서 시작하세요. 손실 재인코딩을 할 때마다 조금씩 더 잃습니다. 메신저나 소셜 미디어용으로 이미 압축된 파일을 다시 압축하면 손실이 겹겹이 쌓입니다.
• 가능하면 노이즈부터 정리하세요. 인코더에게 노이즈와 그레인은 미세한 디테일처럼 보이므로, 이를 보존하는 데 비트를 씁니다. 압축 전에 노이즈를 줄이면 인코더가 그 비트를 정말 중요한 화면에 쓸 수 있습니다. AI로 영상 노이즈 제거하는 방법을 참고하세요.

방법 1. KwaFlux 변환기로 압축하기

KwaFlux의 변환기는 복구와 화질 향상에 쓰는 바로 그 앱 안에서 포맷, 코덱, 비트레이트를 일괄 변환합니다.

1. 변환기를 엽니다. 사이드바의 도구 그룹에서 변환기를 클릭하면 포맷 변환 페이지가 열립니다.
2. 파일을 추가합니다. 파일 추가를 클릭하거나 파일을 끌어다 놓습니다. 목록에서 파일을 클릭하면 오른쪽에서 설정할 수 있습니다. 여러 파일을 선택하면 같은 설정을 한꺼번에 적용할 수 있습니다.
3. 출력 포맷을 고릅니다. 비디오 탭에서 호환성이 가장 넓은 MP4를 고르거나, 브라우저 재생용이라면 WEBM을 고릅니다. 그다음 HD 1080P나 HD 720P 같은 프리셋을 고릅니다.
4. 비디오 설정을 열고 코덱을 정합니다. MP4의 비디오 인코더에는 H.264, H.265 / HEVC, AV1이 있습니다. WebM에는 VP8, VP9, AV1이 있습니다.
5. 해상도와 비트레이트를 정합니다. 해상도를 고른 다음, 그 해상도의 목록에서 비디오 비트레이트를 고릅니다. MP4의 HD 1080P 프리셋은 H.264, 3 Mbps로 시작하는데, 작은 파일용 설정입니다. 1080p에서 H.264와 AV1은 1~30 Mbps, H.265는 1~20 Mbps를 제공합니다. 현재 비트레이트가 없는 코덱이나 해상도로 바꾸면, KwaFlux는 그 목록의 기본값으로 옮깁니다. H.264와 AV1은 8 Mbps, H.265는 5 Mbps입니다. 프리셋은 30 fps로 시작하므로, 일부러 바꾸려는 게 아니라면 프레임 레이트를 원본과 같게 맞추세요.
6. 예상 크기를 확인하고 시작합니다. 페이지에 예상 출력 크기가 표시됩니다. 모두 시작을 클릭하면, 끝난 파일은 변환 완료에 나타납니다.

팁: 컨테이너만 문제라면(예를 들어 편집 프로그램은 MOV를 원하는데 가진 파일은 MP4라면), 새 포맷에서 소스와 동일을 고르고 비디오 설정에서 코덱을 원본이 이미 쓰고 있는 코덱으로 맞춘 뒤, 고속 변환의 고속 모드를 켜 둔 채로 두세요. 그러면 KwaFlux는 비디오 스트림을 다시 인코딩하지 않고 그대로 복사하며, 파일에 고속 모드 가능이 표시됩니다. 방법 3에 나오는 FFmpeg의 -c copy도 같은 일을 합니다.

편집용 컨테이너와 코덱에 대해서는 로컬에서 동영상 포맷 변환하기를 참고하세요.

방법 2. HandBrake로 압축하기(고정 화질)

HandBrake는 무료 오픈 소스 프로그램이며, 기본 프리셋은 고정 화질 방식을 씁니다. 영상 전체의 화질을 일정하게 유지하고, 파일 크기는 내용에 따라 달라집니다.

1. Open Source(소스 열기)로 동영상을 열고, 목표 해상도에 가까운 프리셋을 고릅니다.
2. Video(비디오) 탭에서 Video Encoder(비디오 인코더)를 고릅니다. H.264 (x264), H.265 (x265), AV1 (SVT-AV1) 중 하나입니다.
3. Framerate(프레임 레이트)는 Same as source(소스와 동일)로 둡니다.
4. Constant Quality(고정 화질)를 설정합니다. HandBrake 문서는 다음 범위에서 시작하라고 권합니다(RF가 낮을수록 화질이 높고 파일이 큽니다).

5. HandBrake의 Preview(미리보기)로 짧은 구간을 인코딩해 원본과 비교합니다.
6. Start Encode(인코딩 시작)를 클릭합니다.

HandBrake 문서는 RF 값을 인코더끼리 비교할 수 없다는 점도 짚습니다. RF 25로 인코딩한 x264 결과물은 RF 25로 인코딩한 x265나 SVT-AV1 결과물과 같아 보이지 않습니다.

방법 3. FFmpeg로 압축하기(CRF)

FFmpeg는 같은 인코더를 명령줄에서 쓸 수 있게 해 주므로, 일괄 처리와 스크립트에 편리합니다.

H.264(HandBrake의 1080p 권장 범위 안의 값):

ffmpeg -i input.mp4 -c:v libx264 -crf 22 -preset slow -c:a aac -b:a 160k output_h264.mp4

H.265(x265의 CRF 기본값은 28, 범위는 0~51):

ffmpeg -i input.mp4 -c:v libx265 -crf 28 -preset medium -tag:v hvc1 -c:a aac -b:a 160k output_h265.mp4

SVT-AV1로 인코딩하는 AV1(SVT-AV1 자체의 기본값은 CRF 35와 프리셋 8이며, 프리셋 숫자가 클수록 인코딩이 빠릅니다):

ffmpeg -i input.mp4 -c:v libsvtav1 -crf 35 -preset 8 -c:a aac -b:a 160k output_av1.mp4

조정하는 법:

• CRF를 낮추면 화질이 높아지고 파일이 커집니다. 올리면 파일이 작아집니다. 몇 단계씩만 움직이세요.
• 느린 프리셋은 효율적인 인코딩 방법을 찾는 데 시간을 더 써서, 같은 CRF에서 대개 더 작은 파일을 만듭니다.
• -tag:v hvc1은 H.265 스트림에 Apple 플레이어가 기대하는 표시를 붙여, MP4 파일이 QuickTime과 iPhone에서 열리도록 돕습니다.

컨테이너만 바꾸면 된다면 인코더는 건너뛰세요. -c copy는 스트림을 디코딩하거나 인코딩하지 않고 새 파일로 옮깁니다.

ffmpeg -i input.mp4 -c copy output.mov

디코딩도 인코딩도 하지 않으므로 화면은 바뀌지 않습니다. FFmpeg 문서에 따르면 스트림 복사가 모든 경우에 되는 것은 아닙니다. 예를 들어 대상 컨테이너에 필요한 정보가 원본에 없을 때가 그렇습니다. 복사에 실패하면 위의 명령 중 하나로 다시 인코딩하세요.

목표 파일 크기에 맞추는 법

플랫폼이나 이메일이 파일 크기를 제한한다면, 그 한도에서 거꾸로 계산하세요.

1. 목표 크기를 메가비트로 바꿉니다. MB × 8입니다. 100 MB라면 800 Mb입니다.
2. 재생 시간(초)으로 나눕니다. 5분짜리 영상이라면 800 ÷ 300 ≈ 2.67 Mbps(전체)입니다.
3. 오디오 비트레이트를 뺍니다. 오디오가 128 kbps라면 비디오에는 약 2.54 Mbps가 남습니다.
4. 컨테이너와 비트레이트 변동을 위해 약 5%의 여유를 둡니다. 약 2.4 Mbps입니다.

KwaFlux 변환기에서는 이 숫자 이하에서 가장 가까운 비트레이트를 고르고, 목록에 그만큼 낮은 값이 없다면 해상도를 낮추세요. FFmpeg에서는 2패스 인코딩으로 크기를 정확하게 맞춥니다.

ffmpeg -y -i input.mp4 -c:v libx264 -b:v 2400k -preset slow -pass 1 -an -f null NUL
ffmpeg -i input.mp4 -c:v libx264 -b:v 2400k -preset slow -pass 2 -c:a aac -b:a 128k output_100mb.mp4

macOS나 Linux에서는 NUL을 /dev/null로 바꾸세요.

눈에 띄는 화질 저하를 확인하는 법

압축한 파일을 처음 몇 초만 보고 판단하지 마세요. 인코더가 힘들어하는 장면을 확인하세요.

• 어두운 그러데이션과 하늘: 밴딩과 계단 모양의 블록이 생겼는지 봅니다.
• 미세한 질감: 나뭇잎, 물, 머리카락, 천. 뭉개졌는지 봅니다.
• 빠른 움직임과 필름 그레인: 나타났다 사라지는 블록이 있는지 봅니다.
• 글자와 윤곽선: 글자 주변에 링잉이나 번짐이 있는지 봅니다.

원본과 압축한 파일을 100% 줌으로 비교한 다음, 사람들이 실제로 쓸 기기에서도 보세요. 객관적인 점수가 필요하다면 VMAF로 화질을 평가하는 방법을 참고하세요.

업로드할 때는 플랫폼이 파일을 다시 인코딩한다는 점을 기억하세요. 1080p 24~30 fps에 8 Mbps처럼 YouTube가 권장하는 H.264 업로드 비트레이트를 쓰면 플랫폼이 깨끗한 원본으로 작업할 수 있습니다. 작고 심하게 압축된 파일을 올리면, 플랫폼은 이미 압축된 화면을 한 번 더 압축하게 됩니다.

흔한 실수

마치며

압축을 잘하는 비결은 결국 작은 결정을 차곡차곡 쌓는 데 있습니다. 원본에서 시작하고, 시청자가 재생할 수 있는 코덱을 고르고, 한 번에 설정 하나만 바꾸고, 까다로운 장면을 확인하세요. 한 번 순서를 잡아 두면 비슷한 파일에 계속 그대로 쓸 수 있습니다.

KwaFlux의 변환기는 복구와 화질 향상에 쓰는 바로 그 앱 안에서, 내 컴퓨터로 동영상과 오디오의 포맷, 코덱, 비트레이트를 일괄 변환합니다. 미디어 파일이 처리를 위해 업로드되지 않습니다. Windows 10(64비트, 버전 1809 이상), Windows 11, Apple Silicon 탑재 macOS 12 이상에서 실행됩니다. 파일 가져오기와 앱 둘러보기에는 계정이 필요 없습니다. 내보내기, 변환, 파일 복구, 링크에서 파일 다운로드에만 로그인과 유료 플랜이 필요합니다.