GPU 하나로 로컬 AI 모델을 실행하면서 동영상 트랜스코딩도 할 수 있을까요?

Eva Wong 는 테크니컬 라이터 이자 상주 메이커 로 ZimaSpace에서 활동합니다. 평생 기술을 사랑해 온 그녀는 홈랩과 오픈 소스 소프트웨어에 열정을 품고 있으며, 복잡한 기술 개념을 누구나 이해하기 쉬운 실습 가이드로 풀어내는 데 전문성을 갖추고 있습니다. Eva는 셀프 호스팅이 어렵고 부담스러운 일이 아니라 즐거워야 한다고 믿습니다. 그녀는 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 어려움을 풀어내고, 첫 NAS를 조립하는 것부터 Docker 컨테이너를 능숙하게 다루는 것까지 도전하도록 돕습니다.

비디오 엔진, 컴퓨팅 성능, VRAM, 전력, 드라이버에 충분한 여유가 있다면 GPU 하나로 비디오 트랜스코딩과 로컬 AI를 동시에 처리할 수 있는 경우가 많습니다.

미디어 트랜스코딩은 전용 디코드 및 인코드 블록을 사용할 수 있지만, AI 모델은 주로 행렬 또는 범용 컴퓨팅에 의존하며 모델 가중치와 컨텍스트를 VRAM에 유지합니다. 이러한 분리 덕분에 동시 실행이 가능하지만, 완전히 격리되는 것은 아닙니다. 필터, 톤 매핑, 모델 로딩, 메모리 압박, 클럭, 발열, 공유 드라이버 컨텍스트가 한 워크로드를 다른 워크로드의 중단 원인으로 만들 수 있습니다. 실제 카드에서 단계적으로 동시 실행 테스트를 해야 답을 알 수 있습니다.

각 워크로드가 사용하는 GPU 엔진 확인

하드웨어 트랜스코딩 하나를 실행하고 디코드, 인코드, 컴퓨팅, 메모리 컨트롤러, VRAM, 전력 사용량을 기록하세요. 그런 다음 트랜스코딩을 중단하고 동일한 측정 항목으로 대표적인 AI 요청 하나를 실행하세요.

미디어 서버는 고정 기능 비디오 엔진을 사용하고, AI 런타임은 CUDA, ROCm, oneAPI 또는 다른 컴퓨팅 경로를 사용할 수 있습니다. 이 경우 대체로 두 작업을 동시에 실행할 수 있지만, 자막을 영상에 입히거나 크기 조정 및 톤 매핑을 할 때는 비디오 파이프라인의 일부가 범용 컴퓨팅으로 옮겨갈 수 있습니다.

미디어 세션에서 CPU만 사용된다면 동시 사용 테스트 전에 하드웨어 트랜스코딩을 먼저 복구하세요. AI 모델이 VRAM에 들어가지 않아 대부분 CPU에서 실행된다면, GPU 공유 문제는 이미 시스템 메모리와 CPU 용량 전반의 문제로 확대된 것입니다.

안정적인 단일 워크로드 기준값 설정

미디어 스트림만 실행해 시작, 최고 부하 장면, 탐색, 재개까지 측정하세요. 트랜스코딩 속도, 버퍼 상태, GPU 엔진 부하, VRAM, CPU 사용량, 전력을 기록하세요.

사용하려는 양자화 방식, 컨텍스트 크기, 배치 크기, 동시 실행 수로 AI 모델만 실행하세요. 모델 로드 시간, 초당 토큰 수, 첫 토큰 생성 시간, 로드 후 VRAM 사용량, 컨텍스트가 커질 때의 최대 메모리 사용량을 기록하세요. Ollama 사용자는 부분 GPU 오프로딩을 문서화해 왔으며, 이를 GPU에 완전히 상주하는 기준 테스트와 구분해야 합니다.

ZimaSpace의 홈 NAS용 GPU 확인 가이드는 동시 테스트 전에 필요한 주변 하드웨어 및 전력 점검 사항을 안내합니다.

모델과 동영상 파이프라인 모두에 VRAM을 예약하세요

유휴 상태의 VRAM, 모델 상주 시 VRAM, 컨텍스트 증가량, 동영상 디코딩·필터·인코딩 시작 시 추가로 할당되는 메모리를 기록하세요. 그래픽 카드에 표시된 용량만 기준으로 계획하지 말고 여유분을 충분히 확보하세요.

AI 모델은 요청이 끝난 뒤에도 메모리에 상주해 다른 GPU 작업을 막을 수 있습니다. 한 Ollama 이슈에서는 다른 애플리케이션에서 GPU가 필요했을 때 서비스를 다시 시작할 때까지 모델이 VRAM에 남아 있었다고 설명합니다.

합산 최대 부하가 VRAM 한도에 가까워지면 더 낮은 양자화, 더 짧은 컨텍스트, 더 낮은 병렬성, 더 짧은 연결 유지 시간 또는 더 작은 모델을 사용하세요. 시스템 메모리로 넘겨 사용하는 용량을 동일한 용량으로 간주하지 마세요. 지연 시간이 크게 늘고 두 서비스가 모두 불안정해질 수 있습니다.

단계별 동시 부하 테스트 실행

AI 모델을 시작해 메모리에 상주하도록 한 다음 일반 하드웨어 트랜스코딩 하나를 시작하세요. 비트레이트가 높은 장면에서 긴 프롬프트를 입력하거나 AI 요청을 동시에 실행하고, 두 서비스를 몇 분간 관찰하세요.

한 번에 한 요소만 늘리세요. 미디어 스트림 추가, 더 긴 컨텍스트, AI 요청 추가, 자막 번인 또는 HDR 톤 매핑 중 하나를 선택하세요. 트랜스코딩 속도가 실시간보다 느려지거나, 재생 중 버퍼링이 발생하거나, AI 지연 시간이 급증하거나, GPU가 재설정되는 첫 시점을 기록하세요.

관찰된 오류 가능성이 높은 공유 제약 조건 다음 테스트
AI 모델이 로드되지 않음 VRAM 예약 모델을 언로드하거나 모델/컨텍스트 크기를 줄이세요
생성 중에만 동영상 버퍼링 발생 컴퓨팅, 전력 또는 필터 경합 GPU 필터 없이 일반 SDR 트랜스코딩을 테스트하세요
AI 속도는 느려지지만 동영상은 안정적으로 재생됨 컴퓨팅 스케줄링 AI 동시 실행을 제한하거나 재생을 우선시하세요
두 컨테이너 모두 GPU 액세스가 끊김 드라이버 또는 컨텍스트 오류 커널 및 컨테이너 런타임 로그를 확인하세요

실질적인 한계는 대시보드에 잠시 표시되는 세션 수가 아니라, 시작 시와 최대 부하에서 안정적으로 유지되는 마지막 조합입니다.

드라이버 및 컨테이너 컨텍스트 오류에 유의하세요

두 컨테이너에 동일한 물리 GPU가 의도적으로 노출되었는지 확인하고 장치 식별자, 드라이버 라이브러리, 런타임 버전, 권한을 검증하세요. 서로 다른 렌더 노드를 실수로 전달하거나 한 서비스에서 GPU를 숨기지 마세요.

몇 시간 동안 정상 작동한 뒤에도 공유 액세스에 장애가 발생할 수 있습니다. Ollama Docker 보고서에서는 CUDA 컨텍스트 오류가 발생한 뒤 Jellyfin이 NVIDIA 하드웨어 트랜스코딩 기능을 잃었고, Jellyfin 컨테이너를 다시 시작할 때까지 복구되지 않았다고 설명합니다. 이는 서비스 간 GPU 컨텍스트 장애를 보여주는 사례입니다.

AI, 미디어 서버, 컨테이너 런타임, 커널 및 GPU 드라이버 로그를 동일한 시각 기준으로 수집하세요. 컨테이너 하나를 다시 시작하면 서비스가 복구될 수 있지만, 근본적인 해결책은 공유 장애를 유발한 드라이버, 런타임, 모델 메모리 또는 동시성 경계에 있어야 합니다.

모델 상주, 대기열 및 서비스 우선순위 제어하기

모델을 하루 종일 로드된 상태로 유지해야 하는지, 아니면 일정 시간 유휴 상태일 때 언로드할 수 있는지 결정하세요. 모델을 계속 메모리에 상주시켜 두면 첫 토큰까지의 지연 시간을 줄일 수 있지만, 미디어 서버에 버스트 용량이 필요하지 않을 때도 VRAM을 점유합니다.

여러 GPU 애플리케이션이 기술적으로는 하나의 장치를 공유할 수 있지만, 한 애플리케이션이 메모리를 거의 모두 사용하면 서로 심각한 간섭을 일으킬 수 있습니다. NVIDIA 컨테이너 사용자들은 한 컨테이너가 GPU 메모리를 포화시키는 동안 다른 작업도 실행되어야 하는 상황을 구체적으로 제기했습니다.

재생에 더 엄격한 서비스 목표를 적용하세요. AI 병렬 작업 수를 제한하고, 긴 생성을 대기열에 넣고, 가족이 시청하는 시간대 전에 용량을 초과하는 모델을 언로드하거나, 배치 임베딩을 일정에 따라 처리하세요. 일반적인 컨테이너 CPU 우선순위로 GPU 메모리와 실행 동작을 제어할 수 있다고 기대하지 마세요.

작업을 분리해야 할 시점 파악하기

사용하려는 모델이 여유 있게 들어가고, 일반적인 트랜스코딩이 실시간보다 빠르며, AI 지연 시간이 허용 가능하고, 장애가 컨테이너 간에 전파되지 않는다면 GPU 하나를 계속 사용하세요. 테스트한 모델, 컨텍스트, 스트림 수, 필터 경로를 기록하세요.

대형 모델이 VRAM을 거의 모두 사용하거나, 여러 사용자가 동시에 트랜스코딩하거나, HDR 또는 자막 필터에 연산 성능이 필요하거나, AI 요청의 지연 시간에 민감하거나, 드라이버 유지보수 중에도 서비스를 계속 이용할 수 있어야 한다면 작업을 분리하세요.

ZimaSpace의 로컬 AI 경고 징후 체크리스트는 공유 컴퓨팅으로 인해 서버의 핵심 스토리지 및 미디어 안정성이 저하되기 시작할 때 작업을 중단할 기준을 제공합니다.

지원 및 팁

더 읽어보기

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.