OBS 인코더 과부하 해결 경험담 - CPU 100%와의 전쟁

안녕하세요, 인코딩마스터입니다. 방송을 시작하고 가장 자주 만났던 에러 메시지가 바로 'Encoding overloaded! Consider turning down video settings or using a faster encoding preset'이었어요. 이 빨간 경고가 뜨면 방송 화면이 뚝뚝 끊기고 시청자들은 버퍼링 지옥에 빠지게 되거든요. 저는 이 문제를 해결하기 위해 정말 많은 시행착오를 겪었는데, 그 과정을 상세하게 공유해드릴게요.

인코더 과부하가 발생하는 원리

인코더 과부하를 이해하려면 먼저 인코딩이 뭔지 알아야 해요. 방송에서 인코딩이란 카메라나 게임 화면의 원본 영상을 실시간으로 압축하는 과정이에요. 원본 1080p 60fps 영상은 초당 약 3Gbps의 데이터인데, 이걸 인터넷으로 전송하려면 6Mbps 정도로 압축해야 하거든요. 이 압축 작업을 CPU가 하면 x264 인코더, GPU가 하면 NVENC/AMF 인코더라고 해요. 문제는 이 압축 작업이 매우 무거운 연산이라는 거예요. 특히 x264 인코더를 사용할 때 CPU가 이 작업을 감당하지 못하면 '인코더 과부하' 경고가 뜨는 거예요. 저는 처음에 이 경고의 의미를 정확히 몰랐는데, 이해하고 나니까 해결 방향이 명확해지더라고요.

x264에서 NVENC로 전환 - 가장 효과적인 해결법

인코더 과부하의 가장 빠른 해결법은 x264에서 NVENC(또는 AMF)로 인코더를 바꾸는 거예요. x264는 CPU 기반이라 게임을 돌리면서 동시에 인코딩하면 CPU가 100%에 달하는 경우가 많은데, NVENC은 GPU의 전용 인코딩 칩을 사용하기 때문에 CPU 부하가 거의 없어요. OBS 설정 > 출력 > 출력 모드를 고급으로 변경 > 스트리밍 탭 > 인코더에서 변경할 수 있어요. NVIDIA GPU를 사용하시면 'NVIDIA NVENC H.264 (new)'를 선택하시고, AMD GPU라면 'AMD HW H.264 (AVC)'를 선택하시면 돼요. 인텔 Arc나 내장 GPU가 있으시면 QuickSync도 옵션이에요. 저는 RTX 3060으로 NVENC을 사용하고 있는데, CPU 사용률이 80%에서 30%로 급감했어요.

x264를 고집해야 한다면 프리셋 조정

일부 상황에서는 x264를 사용해야 할 때가 있어요. 예를 들어 화질을 극한까지 끌어올려야 하거나, GPU가 게임에 100% 할당되어야 하는 경우, 또는 듀얼 PC 방송에서 인코딩 전용 PC를 사용하는 경우가 그래요. 이럴 때는 x264 프리셋을 조정해서 CPU 부하를 줄여야 해요. x264 프리셋은 ultrafast, superfast, veryfast, faster, fast, medium, slow, slower, veryslow 순서로 화질은 좋아지지만 CPU 부하도 커져요. 방송에서는 veryfast를 많이 사용하는데, 이래도 과부하가 걸리면 superfast나 ultrafast로 내리는 게 나아요. 화질은 좀 떨어지지만 끊기는 것보다는 낫거든요. 저는 라이젠 7 5800X에서 faster 프리셋까지 감당할 수 있었는데, 게임에 따라 다르더라고요.

출력 해상도와 FPS 낮추기

인코더 부하는 해상도와 프레임레이트에 정비례해요. 1080p 60fps를 인코딩하는 건 720p 30fps를 인코딩하는 것보다 약 4배 더 무거워요. 그래서 인코더 과부하가 발생하면 출력 해상도를 낮추는 것도 효과적인 방법이에요. 캔버스 해상도는 그대로 두고 출력 해상도만 1280x720으로 바꾸면 인코딩 부하가 크게 줄어요. FPS도 60에서 30으로 낮추면 부하가 절반으로 줄어들고요. 저는 처음에 무조건 1080p 60fps를 고집했는데, 솔직히 대부분의 시청자가 모바일로 보는 요즘 시대에 720p와 1080p의 차이를 느끼는 사람은 많지 않더라고요. 안정적으로 끊김 없이 나가는 게 훨씬 중요해요. 특히 소통 방송처럼 움직임이 적은 콘텐츠는 720p 30fps만 돼도 충분해요.

불필요한 소스와 필터 정리

OBS의 장면(Scene)에 소스가 너무 많으면 렌더링 부하가 늘어나면서 인코딩까지 영향을 줄 수 있어요. 특히 브라우저 소스가 많으면 각각이 크로미움 인스턴스를 생성하면서 CPU와 메모리를 차지하거든요. 저는 알림 위젯, 채팅 위젯, 팔로워 목표 위젯, 최근 후원자 위젯 등 브라우저 소스를 7개나 사용하고 있었는데, 이 중 꼭 필요한 3개만 남기고 나머지를 제거했더니 CPU 사용률이 10% 정도 줄었어요. 비디오 필터도 마찬가지인데, 웹캠에 LUT 필터, 색 보정 필터, 샤프닝 필터를 여러 개 쌓으면 각각이 GPU나 CPU 자원을 소모해요. 필터는 최소한으로 유지하는 게 좋고, 꼭 필요한 색 보정은 웹캠 소프트웨어에서 처리하는 게 OBS 부하를 줄이는 방법이에요.

백그라운드 프로그램 정리 자동화

방송할 때마다 백그라운드 프로그램을 수동으로 끄는 건 번거로운데, 이걸 자동화하는 방법이 있어요. 저는 배치 파일을 만들어서 방송 시작 전에 실행하고 있어요. 이 배치 파일은 크롬, 스팀 오버레이, OneDrive 동기화, 윈도우 검색 서비스 등 방송에 불필요한 프로그램을 자동으로 종료해줘요. 또 윈도우 시작 프로그램에서 방송과 관련 없는 프로그램을 제거하는 것도 중요해요. 작업 관리자 > 시작 프로그램 탭에서 '사용 안 함'으로 설정할 수 있어요. 저는 시작 프로그램을 정리하고 나서 부팅 시간도 빨라지고 방송 중 CPU 여유도 늘어났어요. 백신 프로그램의 실시간 검사도 방송 중에는 부하가 될 수 있는데, 대부분의 백신은 게임 모드나 방해 금지 모드가 있으니 활용해보세요.

인코딩 과부하 실시간 모니터링

OBS에서 인코더 과부하가 발생하면 하단 상태바에 빨간색으로 경고가 표시돼요. 하지만 이건 이미 과부하가 발생한 후에 알려주는 거라서 사전에 감지하려면 추가적인 모니터링이 필요해요. OBS 상단 메뉴의 보기 > 통계에서 실시간으로 인코딩에 소요되는 시간과 렌더링 지연을 확인할 수 있어요. '렌더링에 의해 누락된 프레임'이 0%보다 높으면 인코딩에 문제가 생기기 시작한다는 신호예요. 작업 관리자도 함께 열어두고 CPU 사용률을 모니터링하면 좋은데, 방송 중 CPU 사용률이 80%를 지속적으로 넘으면 인코더 과부하가 발생할 가능성이 높아요. 70% 이내로 유지하는 게 안정적이더라고요.

최종 해결 과정과 교훈

결국 저는 NVENC 인코더로 전환하고, 불필요한 소스를 정리하고, 백그라운드 프로그램을 자동으로 정리하는 시스템을 만들어서 인코더 과부하 문제를 완전히 해결했어요. 가장 큰 교훈은 '방송에 완벽한 화질은 필요 없다'는 거였어요. 안정적으로 끊김 없이 송출되는 게 시청자 경험에서 훨씬 중요하거든요. 실시간 후원 분석 도구로 데이터를 보면, 화질이 좋은 날보다 끊김이 없는 날에 시청 시간과 후원이 더 높게 나오더라고요. 여러분도 인코더 과부하로 고민 중이시라면, 이 글에서 소개한 방법들을 하나씩 시도해보시기 바랍니다. 안정적인 방송을 위한 첫걸음은 자기 시스템의 한계를 인정하고 최적의 설정을 찾는 거예요!