Windows와 Mac의 하드웨어 영상 디코딩·인코딩: D3D11, CUDA, Vulkan, OpenGL, Metal 정리

핵심 요약

하드웨어 영상 디코딩과 인코딩은 무거운 코덱 작업을 CPU 대신 GPU의 고정 기능 엔진에 맡기는 것입니다. Windows에서 앱은 D3D11VA, D3D12, NVIDIA의 CUDA 기반 SDK, AMD AMF, Intel oneVPL, Vulkan Video를 통해, Mac에서는 VideoToolbox를 통해 이 엔진에 접근합니다. 그 결과 CPU 부하가 줄고, 내보내기가 빨라지고, 프레임이 GPU 메모리에 머물 수 있습니다.

• GPU에는 그래픽 코어와 별도로 디코딩과 인코딩을 맡는 전용 비디오 엔진(NVIDIA NVDEC·NVENC, Intel Quick Sync, AMD VCN, Apple 미디어 엔진)이 들어 있습니다.
• Windows는 여러 API로 이 엔진에 접근합니다. D3D11VA와 D3D12 비디오, NVIDIA의 CUDA 기반 SDK, AMD AMF, Intel oneVPL과 Media SDK, Vulkan Video입니다. Mac은 VideoToolbox를 씁니다.
• 실제 이득은 CPU 부하 감소인 경우가 많습니다. 테스트에서 4K H.264 하드웨어 디코딩은 소프트웨어 디코딩보다 CPU 시간을 약 95% 덜 썼습니다.
• 하드웨어 인코딩은 빠르지만 같은 화질에 비트를 더 씁니다. GPU HEVC 인코딩은 x265와 같은 VMAF 점수를 3.3배 빠르게 냈지만 비트를 15% 더 썼습니다.
• 제로 카피 파이프라인은 디코딩, 처리, 표시, 인코딩 사이에서 프레임을 GPU 메모리에 둡니다. D3D11, CUDA, OpenGL, Vulkan, Metal 사이를 잇는 브리지가 이를 가능하게 합니다.

프레임은 어떤 과정을 거칠까?

모든 영상 앱은 같은 네 단계를 거칩니다. 압축 파일을 프레임으로 디코딩하고, 스케일링, 색, AI 모델 같은 처리를 한 뒤, 화면에 표시하거나 새 파일로 인코딩합니다. 단계마다 CPU나 GPU 어느 쪽에서든 실행할 수 있고, 둘 사이를 오갈 때마다 시간이 듭니다.

프레임은 생각보다 큽니다. 10비트 4:2:0(GPU가 쓰는 P010 형식)의 4K 프레임 하나는 3,840 × 2,160 × 1.5 샘플 × 2바이트, 약 24.9 MB입니다. 초당 60프레임이면 프레임이 시스템 메모리와 GPU 메모리 사이를 오갈 때 방향마다 매초 1.5 GB가 됩니다. 이런 왕복 없이 GPU에서 디코딩, 처리, 인코딩을 하는 파이프라인을 제로 카피라고 부르며, 최신 영상 소프트웨어의 속도는 대부분 여기서 나옵니다.

GPU 안의 비디오 엔진

영상 디코딩과 인코딩은 게임을 그리거나 AI 모델을 돌리는 코어에서 실행되지 않습니다. GPU에는 이를 위한 별도의 고정 기능 블록이 있습니다.

NVIDIA는 자사 GPU에 CUDA 코어와 별개인 하드웨어 디코더와 인코더가 있다고 분명히 밝힙니다. 여기서 두 가지 결과가 나옵니다. 첫째, 하드웨어 디코딩과 인코딩은 다른 GPU 작업을 거의 느리게 하지 않으므로, 비디오 엔진이 다음 프레임을 디코딩하는 동안 AI 모델을 돌릴 수 있습니다. 둘째, 엔진이 할 수 있는 일은 실리콘에 고정되어 있어 코덱, 비트 심도, 크로마 형식 지원은 GPU 세대에 따라 다릅니다. 예를 들어 NVIDIA 지원표는 4:2:2 인코딩을 Blackwell 세대의 새 기능으로 표시합니다. 코덱이 가속된다고 가정하기 전에 제조사 지원표를 확인하세요.

Windows와 Mac의 디코딩·인코딩 API

비디오 엔진 하나에는 보통 여러 API로 접근할 수 있습니다. API마다 강점이 다릅니다.

소프트웨어 디코딩과 인코딩(libavcodec, x264, x265, SVT-AV1)은 하드웨어가 처리하지 못하는 모든 것의 대안이자 화질의 기준으로 남아 있습니다.

다섯 가지 파이프라인: D3D11, CUDA, OpenGL, Vulkan, Metal

디코딩은 프레임을 만들고, 파이프라인은 그 프레임이 어디에 머물고 다음에 누가 다룰지를 정합니다. 그래픽·연산 API마다 파이프라인의 성격이 다릅니다.

• D3D11은 Windows 영상 처리의 일꾼입니다. 디코더가 D3D11 텍스처에 바로 쓰고, 비디오 프로세서가 변환과 스케일링을 하고, 스왑 체인이 화면에 보여 줍니다. 성숙하고, 모든 Windows GPU에서 작동하며, 하드웨어로 디코딩한 프레임이 자연스럽게 머무는 곳입니다.
• CUDA는 NVIDIA의 연산 플랫폼입니다. NVDEC로 디코딩한 프레임은 CUDA 메모리에 머물며 처리된 뒤 곧바로 NVENC로 갈 수 있습니다. NVIDIA는 CUDA–Direct3D 11 상호 운용 API를 문서화하고 있어, CUDA 결과를 시스템 메모리를 거쳐 복사하지 않고 D3D11 텍스처로 만들 수 있습니다.
• OpenGL은 이식성이 가장 높은 그래픽 API로, 플레이어와 편집 프로그램에서 여전히 흔히 쓰입니다. Windows에서는 상호 운용 확장으로 D3D11과 텍스처를 공유합니다. NVIDIA의 WGL_NV_DX_interop2, 또는 D3D11 메모리를 OpenGL로 가져오는 제조사 중립의 GL_EXT_memory_object_win32입니다.
• Vulkan은 최신 명시적 API입니다. 그래픽, 연산, 그리고 Vulkan Video를 통한 디코딩과 인코딩을 한곳에서, 제조사에 상관없이 처리합니다. VK_KHR_external_memory_win32 확장으로 Windows에서 D3D11과 메모리를 공유할 수 있습니다.
• Metal은 Apple silicon에서 그래픽과 연산을 하는 Apple의 GPU API입니다. Apple은 칩의 통합 메모리 덕분에 모든 구성 요소가 메모리 풀 사이에서 복사하지 않고 같은 데이터에 접근할 수 있다고 설명합니다. 그래서 VideoToolbox로 디코딩한 프레임은 버스를 건너지 않고 처리되고 표시될 수 있습니다.

어려운 부분은 개별 API가 아니라 API 사이의 경계입니다. CUDA로 디코딩하고 OpenGL로 표시하는 프레임에는 브리지가 필요하고, 브리지가 시스템 메모리로 돌아가 버리면 GPU에서 디코딩한 이점이 사라집니다.

테스트 결과

평범한 노트북으로 테스트했습니다. Intel Core i7-1360P와 Intel Iris Xe 내장 그래픽, FFmpeg 8.1입니다. 이 노트북에서 FFmpeg가 표시한 하드웨어 경로는 D3D11VA, D3D12VA, Vulkan 세 가지였습니다.

4K H.264 5초 분량 디코딩(121프레임, 25 Mbps):

CPU는 작업을 여러 스레드에 나눠 H.264를 빠르게 디코딩했지만, 그러느라 CPU 시간을 약 4.5초 썼습니다. 하드웨어 경로 세 가지는 모두 비슷한 속도로 끝내면서 CPU 시간을 약 95% 덜 썼고, 덕분에 프로세서는 파이프라인의 다른 작업에 쓰일 수 있습니다.

디테일이 많은 1080p 영상 5초 분량을 목표 4 Mbps로 인코딩:

GPU의 HEVC 인코더는 x265와 같은 VMAF 점수를 3.3배 빠르게 냈지만 그러려면 비트가 약 15% 더 필요했고, H.264 인코더는 x264보다 비트를 26% 더 쓰고도 점수가 낮았습니다. 흔한 트레이드오프입니다. 하드웨어 인코더는 속도와 전력에, 소프트웨어 인코더는 비트당 화질에 맞춰져 있습니다. 이 드라이버에서는 FFmpeg의 Vulkan Video 인코더가 시작되지 않았는데, 지원 여부가 GPU와 드라이버마다 다르다는 점을 보여 줍니다. VMAF가 무엇을 측정하는지는 영상 화질을 점수로 매기는 방법에서 설명합니다.

KwaFlux가 모든 경로를 활용하는 방식

KwaFlux는 API 하나에 기대지 않습니다. 미디어 엔진에 디코딩·인코딩 경로마다 플러그인이 있고 파이프라인 사이에 브리지가 있어서, 컴퓨터마다 작동하는 하드웨어 경로를 골라 프레임을 GPU에 둘 수 있습니다.

• 차례로 시도하는 디코딩 경로 8가지. Windows에서 엔진 설정은 D3D11VA부터 D3D12VA, NVIDIA NVDEC, AMD AMF, Intel oneVPL, Intel Media SDK, Vulkan Video 순으로 시도하고, 어느 것도 파일을 받지 못할 때만 소프트웨어로 디코딩합니다.
• 인코딩 경로 6가지. 인코딩은 소프트웨어 전에 NVIDIA NVENC, AMD AMF, Intel oneVPL, Media SDK, Vulkan Video를 시도합니다. 인코더 목록에는 Apple의 VideoToolbox 인코더도 들어 있습니다.
• 렌더링 백엔드 4가지. 화면은 D3D11, OpenGL, Vulkan, Metal 중 하나로 그립니다. 기본값인 AUTO는 엔진이 고르게 하며, 플랫폼이 지원하지 않는 백엔드는 AUTO로 돌아갑니다.
• 시스템 메모리를 피하는 브리지. NVDEC 프레임은 CUDA의 D3D11 상호 운용으로 D3D11에 전달되고, D3D11과 OpenGL은 WGL_NV_DX_interop2나 GL_EXT_memory_object_win32로 텍스처를 공유하고, Vulkan은 VK_KHR_external_memory_win32로 D3D11과 메모리를 공유하고, D3D12와 D3D11은 공유 DXGI 핸들로 프레임을 주고받습니다. 어떤 컴퓨터에서 OpenGL에 효율적인 브리지가 없으면, 플레이어는 프레임마다 복사하는 대신 D3D11로 전환합니다.
• 작업당 GPU 하나. GPU가 두 개인 노트북에서는 엔진이 LUID로 어댑터를 맞추므로, 디코딩, 처리, 표시 과정에서 프레임이 내장 GPU와 외장 GPU 사이를 오가지 않습니다.
• 충돌 대신 복구. Windows가 그래픽 드라이버를 재설정하면(TDR) 플레이어가 D3D11 장치를 다시 만듭니다. 모든 브리지에 CPU 경로가 있고, GPU 인코더가 시작되지 않는 내보내기는 소프트웨어로 인코딩합니다.
• 최근 GPU라면 어디서나 AI 실행. Windows에서 AI 처리는 DirectML을 쓰는 ONNX Runtime으로 실행되며, Intel, AMD, NVIDIA의 DirectX 12 GPU에서 작동합니다. macOS 13 이상에서는 GPU 가속 구성 요소가 지원 기능을 Apple Core ML로 실행합니다. 하드웨어 쪽 이야기는 어떤 GPU가 필요할까와 Mac에서 KwaFlux 쓰기에서 다룹니다.

설정 두 가지로 방향을 정할 수 있습니다. 설정 › 성능 › 하드웨어 가속 디코딩은 하드웨어 디코딩을 켜고 끄며(다시 시작한 뒤 적용), AI 프로세서는 AI 작업에 자동, GPU, CPU 중 무엇을 쓸지 정합니다. 변환기에서는 고속 변환 › GPU 가속이 그래픽카드로 H.264와 HEVC를 인코딩합니다. 기본값은 꺼짐입니다. KwaFlux는 이 방식이 더 빠르지만 같은 비트레이트에서 소프트웨어 인코딩보다 화질이 약간 낮다고 안내하며, 테스트 결과와도 일치합니다. 파일마다 GPU 인코딩 배지가 붙고, GPU 인코더가 시작되지 않았다면 소프트웨어 인코딩으로 전환 배지가 붙습니다.

내 컴퓨터 확인하기

FFmpeg가 쓸 수 있는 하드웨어 경로를 나열합니다.

ffmpeg -hide_banner -hwaccels

소프트웨어 디코딩과 하드웨어 디코딩의 CPU 시간을 비교합니다. -benchmark 줄에 사용자(utime), 시스템(stime), 실제 경과(rtime) 시간이 나옵니다.

ffmpeg -hide_banner -benchmark -i input.mp4 -an -f null -

ffmpeg -hide_banner -benchmark -hwaccel d3d11va -hwaccel_output_format d3d11 -i input.mp4 -an -f null -

D3D12로 GPU에서 HEVC를 인코딩하고, 같은 목표값의 x265와 비교합니다.

ffmpeg -hide_banner -loglevel error -y -init_hw_device d3d12va=gpu -filter_hw_device gpu -i input.mp4 -vf "format=nv12,hwupload" -c:v hevc_d3d12va -rc_mode VBR -b:v 4M -maxrate 6M -c:a copy gpu_hevc.mp4

ffmpeg -hide_banner -loglevel error -y -i input.mp4 -c:v libx265 -preset medium -b:v 4M -c:a copy cpu_hevc.mp4

그다음 각각을 소스와 비교해 점수를 매깁니다. 일부 FFmpeg 빌드에는 내장 모델이 없으므로, 먼저 Netflix VMAF 저장소에서 vmaf_v0.6.1.json을 같은 폴더에 내려받으세요.

ffmpeg -hide_banner -i gpu_hevc.mp4 -i input.mp4 -lavfi "[0:v][1:v]libvmaf=model=path=vmaf_v0.6.1.json" -f null -

비슷한 비트레이트에서 하드웨어 인코딩 점수가 소프트웨어와 가깝다면 초안과 빠른 공유에 쓰고, 보관용은 소프트웨어 인코딩으로 남기세요. 코덱 선택 자체는 H.264 vs H.265 vs AV1을 참고하세요.

문제 해결

할 수 없는 것

• 하드웨어 디코딩이 화면을 개선하지는 않습니다. 디코더는 소프트웨어와 같은 프레임을 만들고, 작업 위치만 옮겨 갑니다.
• 하드웨어 인코딩은 비트당 화질에서 느린 소프트웨어 프리셋을 이기지 못합니다. 속도와 전력에서 이깁니다.
• 모든 코덱을 가속하는 GPU는 없습니다. 지원 범위는 칩 세대와 드라이버로 정해집니다.
• 제로 카피에는 맞는 하드웨어가 필요합니다. 두 API나 두 GPU가 메모리를 공유하지 못하면 프레임은 더 느린 CPU 경로를 탑니다.

마치며

하드웨어 디코딩과 인코딩은 작업을 어디서 하느냐의 문제입니다. CPU 대신 고정 기능 엔진에서, 이상적으로는 프레임이 GPU 메모리를 떠나지 않은 채로 처리하는 것입니다. 작업을 매끄럽게 하려면 하드웨어 디코딩을 켜고, 마지막 한 비트의 효율보다 속도가 중요할 때는 GPU 인코딩을 쓰고, 둘 다 내 컴퓨터에서 직접 측정해 보세요.

KwaFlux는 변환기와 각 AI 모듈에서 영상을 사용자 GPU로 디코딩하고, 처리하고, 인코딩합니다. 미디어 파일이 처리를 위해 업로드되지 않습니다. Windows 10(64비트, 버전 1809 이상), Windows 11, Apple Silicon 탑재 macOS 12 이상에서 실행됩니다. 파일 가져오기와 앱 둘러보기에는 계정이 필요 없습니다. 내보내기, 변환, 파일 복구, 링크에서 파일 다운로드에만 로그인과 유료 플랜이 필요합니다.