OBS 고급 설정과 인코딩 최적화 - 화질과 성능 두 마리 토끼 잡기

OBS를 처음 깔면 자동 설정 마법사를 돌리잖아요. 근데 이걸로 나오는 세팅이 최적이 아닌 경우가 많더라고요. 저도 처음에는 기본 설정으로 방송했는데, 화질이 뭉개지거나 인코딩 오버로드가 뜨면서 고생했어요. OBS 설정을 하나하나 뜯어보면서 최적화한 과정을 공유할 텐데, 이 세팅으로 같은 PC에서 화질을 확 올릴 수 있었어요.

OBS 설정 메뉴 전체 구조 이해하기

OBS 설정은 일반, 방송, 출력, 오디오, 영상, 핫키, 고급 이렇게 7개 탭으로 나뉘어져 있어요. 초보 때는 출력이랑 영상 탭만 건드렸는데, 실제로는 모든 탭을 다 확인해야 최적의 세팅을 찾을 수 있더라고요. 특히 출력 탭에서 '고급' 모드로 전환하면 숨겨진 설정들이 많이 나오는데, 여기서 인코딩 품질을 세밀하게 조절할 수 있어요. 처음에 이걸 몰라서 기본(간단) 모드로만 썼었는데, 고급 모드로 바꾸고 세팅하니까 같은 비트레이트에서 화질이 확 달라졌어요.

인코더 선택: x264 vs NVENC vs AV1

인코더 선택이 제일 중요한 설정이에요. x264는 CPU로 인코딩하는 거고, NVENC는 엔비디아 GPU로, AMF는 AMD GPU로 인코딩하는 거예요. 요즘은 AV1 코덱도 지원하는데, RTX 40시리즈 이상이면 NVENC AV1을 쓸 수 있어요. 제가 다 테스트해본 결과, 같은 비트레이트에서 화질은 x264 medium > NVENC AV1 > NVENC H.264 순서였어요. 근데 x264 medium은 CPU를 엄청 먹으니까 고사양 CPU가 있어야 하고, NVENC는 GPU 부하가 적어서 게임 프레임에 영향이 거의 없어요. 저는 RTX 4060 Ti라서 NVENC AV1을 메인으로 쓰고 있어요.

비트레이트 최적 값 찾기

비트레이트는 높을수록 화질이 좋지만, 너무 높으면 시청자 인터넷이 못 따라갈 수 있어요. 플랫폼별로 권장 비트레이트가 다른데, 트위치는 6000~8000kbps, 유튜브는 4500~9000kbps, 치지직은 6000kbps 정도예요. 저는 1080p 60fps에 NVENC AV1 6000kbps로 세팅하고 있는데, AV1 코덱이 압축 효율이 좋아서 H.264 8000kbps 정도의 화질이 나와요. 근데 아직 AV1을 지원하지 않는 플랫폼이나 시청자 환경도 있으니까 확인이 필요해요. CBR(고정 비트레이트)로 설정하는 게 방송에는 가장 안정적이에요.

해상도와 프레임 설정

기본(캔버스) 해상도와 출력(스케일링) 해상도를 구분해야 해요. 캔버스 해상도는 OBS 내부에서 작업하는 해상도고, 출력 해상도는 실제 방송에 내보내는 해상도예요. 저는 캔버스를 1920x1080으로 하고 출력도 1920x1080으로 맞추고 있어요. 모니터가 1440p라도 방송 출력은 1080p가 적당해요. 1440p로 방송하면 비트레이트를 엄청 올려야 해서 비효율적이거든요. 프레임은 게임 방송이면 60fps, 토크 방송이면 30fps로 충분해요. 스케일링 필터는 란초스가 화질이 가장 좋았어요.

인코딩 프리셋과 품질 설정

NVENC를 쓸 때 프리셋 옵션이 있는데, Quality, Balanced, Performance 등이 있어요. Quality로 하면 화질은 좋지만 GPU 부하가 올라가고, Performance는 반대예요. 저는 P5(Slow)나 P6 정도로 설정하는데, 이 정도면 화질과 성능의 균형이 좋아요. x264를 쓴다면 프리셋이 ultrafast부터 veryslow까지 있는데, 방송에서는 veryfast~medium이 현실적이에요. medium이 화질이 좋지만 CPU를 많이 먹으니까, 8코어 이상 CPU가 아니면 veryfast나 faster를 추천해요. 프로파일은 high로 설정하고, 키프레임 간격은 2초로 맞추세요.

오디오 설정 최적화

오디오도 신경 써야 할 게 많아요. 샘플레이트는 48kHz가 표준이니까 이걸로 맞추고, 오디오 비트레이트는 160kbps면 충분해요. 320kbps까지 올려도 방송에서는 차이를 거의 못 느껴요. 오히려 영상 비트레이트 확보가 더 중요하니까 오디오는 160으로 두는 게 낫더라고요. 모니터링 설정에서 '모니터링 끄기'로 해야 에코가 안 생겨요. 그리고 마이크랑 데스크톱 오디오 소스를 별도로 관리하면 각각 볼륨 조절이 가능해서 편해요.

고급 탭에서 챙겨야 할 설정

고급 탭에서 프로세스 우선순위를 '보통 이상'으로 올려두면 다른 프로그램보다 OBS가 우선 처리돼서 인코딩이 안정적이에요. 근데 '높음'으로 하면 다른 프로그램이 느려질 수 있으니까 '보통 이상'이 적당해요. 네트워크 설정에서는 '동적으로 비트레이트 변경' 옵션을 켜두면 인터넷이 불안정할 때 자동으로 비트레이트를 낮춰서 끊김을 방지해줘요. 비디오 설정에서 색 형식은 NV12, 색 공간은 709, 색 범위는 부분이 기본인데, 이대로 두는 게 무난합니다.

씬(장면)과 소스 관리 최적화

씬을 너무 많이 만들면 OBS가 무거워질 수 있어요. 안 쓰는 소스는 비활성화하거나 삭제해주는 게 좋아요. 특히 브라우저 소스를 많이 쓰면 메모리를 꽤 먹거든요. 알림 위젯, 채팅 오버레이 같은 브라우저 소스가 5개 이상이면 한번 정리해보세요. 그리고 게임 캡처 소스는 '특정 창 캡처'보다 '전체 화면 애플리케이션 캡처'가 성능이 더 좋아요. 화면 캡처보다 게임 캡처가 GPU 부하가 적으니까 가능하면 게임 캡처를 쓰세요.

실전 테스트와 최종 세팅 공유

제 최종 OBS 세팅을 공유할게요. 인코더: NVENC AV1, 비트레이트: CBR 6000kbps, 프리셋: P5, 캔버스: 1920x1080, 출력: 1920x1080, FPS: 60, 키프레임: 2, 오디오: 48kHz 160kbps. 이 세팅으로 대부분의 게임을 방송하면서 인코딩 오버로드 없이 안정적으로 방송하고 있어요. 화질도 시청자들이 '깨끗하다'고 해주고요. 큰손탐지기에서 방송 퀄리티와 후원 관계를 분석해보면, 화질이 좋은 날일수록 시청자 반응이 좋고 후원도 늘어나는 경향이 확실히 있어요. OBS 세팅 하나하나가 방송 퀄리티에 직결되니까, 시간 투자해서 최적화하는 게 가치 있는 것 같습니다.