요청 사이에 로컬 모델 서버 메모리가 점점 증가하는 원인은 무엇인가?

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

What Causes Local Model Server Memory to Creep Up Between Requests?

로컬 모델 서버 메모리는 일반적으로 캐시와 할당자가 재사용 가능한 블록을 보유하기 때문에 서서히 증가하지만, 해제되지 않는 참조나 네이티브 누수로 인해 실제로 증가할 수도 있습니다.

홈 서버 요청이 끝날 때마다 대시보드에서 RAM 또는 VRAM 사용량이 증가하고 원래 기준으로 돌아오지 않는 것처럼 보일 수 있습니다. 런타임은 KV 블록, 프리픽스 항목, 커널, 그래프, 작업 공간, 해제된 텐서 블록을 보유해 재사용할 수 있습니다. 프롬프트 길이가 일정하지 않으면 풀이 조각화될 수 있고, 로깅, 세션, 이미지 버퍼 또는 확장 기능이 객체를 무기한 보유할 수도 있으므로 이러한 메커니즘은 서로 다른 근거와 제한을 적용해야 합니다.

캐싱 할당자는 해제된 블록을 재사용하기 위해 예약합니다

GPU 프레임워크는 비용이 큰 디바이스 할당을 피하기 위해 해제된 블록을 프로세스 소유 풀에 보관합니다. 애플리케이션 텐서가 사라진 뒤에도 드라이버는 모델 서버가 예약한 풀을 사용 중인 것으로 보고할 수 있습니다. 이러한 차이는 이후의 가정용 테스트에서도 확인할 수 있습니다.

캐시된 GPU 메모리 블록이 CUDA 블록을 반올림하고, 분할하고, 병합하고, 캐시하는 방식을 할당자 분석으로 설명할 수 있습니다. 요청 후 할당된 텐서 메모리는 감소하지만 예약된 메모리는 높게 유지되고, 이후 요청에서 이를 재사용하는 것이 전형적인 신호입니다.

이러한 평탄화 구간이 자동으로 누수를 의미하는 것은 아닙니다. 풀이 다른 서비스의 할당을 막거나, 워밍업 후 동일한 형태의 요청을 반복할 때 계속 확장될 경우 문제가 됩니다. 자동화가 이어지기 전에 중간 결과를 계속 확인할 수 있어야 합니다.

서빙 캐시와 요청 형태는 의도된 작업 집합을 확장합니다

KV 캐시는 활성 컨텍스트에 따라 증가하고, 프리픽스 캐시는 재사용 가능한 프롬프트를 보유하며, 컴파일된 그래프나 커널은 관찰된 배치 형태를 포괄합니다. 새로운 컨텍스트 길이, 모달리티, 동시성 프로필로 인해 요청 사이에 항목이 추가될 수 있습니다. 이러한 경계는 현실적인 운영 조건에서 별도로 측정해야 합니다.

LLM 메모리 조각화에 관한 연구는 LLM 서빙에서 활성화 메모리 공간과 KV 캐시 메모리 공간 사이의 조각화를 확인합니다. 이는 단일 활성 요청이 크지 않더라도 전체 용량이 증가할 수 있는 이유를 설명합니다. 제한된 컨텍스트를 여러 원인이 함께 사용할 때 이러한 실질적 결과가 나타납니다.

캐시 항목 수와 형태 클래스를 기록하세요. 작업 분포가 안정된 뒤 증가가 멈추면 제한된 워밍업에 해당하지만, 전체 요청 수나 고유 세션 ID 수에 비례해 증가하면 누락된 제거 정책을 의심해야 합니다. 이 종속성은 최종 인터페이스에서 명시적으로 유지되어야 합니다.

보유된 CPU 객체와 네이티브 버퍼는 실제 증가를 일으킵니다

요청 기록, 스트리밍 큐, 메트릭 레이블, 토크나이저 출력, 업로드된 이미지, 페이지 고정 호스트 버퍼, 확장 기능 할당은 요청이 완료된 뒤에도 참조된 상태로 남을 수 있습니다. GPU 스냅샷이 안정적으로 보여도 프로세스 RSS는 계속 증가할 수 있습니다. 따라서 결과는 원래 근거와 대조해 확인해야 합니다.

할당된 메모리와 예약된 메모리에 대한 실용적 조사는 할당된 메모리, 예약된 메모리, 프로세스 메모리 신호를 구분합니다. 이러한 계층적 관점은 CPU 측 보유 문제를 GPU 할당자 동작으로 잘못 진단하는 일을 방지합니다. 이 차이는 이후의 가정용 테스트에서도 확인할 수 있습니다.

한 번 증가한 뒤 안정적인 최고점을 유지하는 것이 실패 경계입니다. 캐시 제한, 가비지 컬렉션, 예상되는 풀을 모두 고려한 뒤에도 통제된 동일 요청에서 보유된 할당이 계속 증가하고, 그 스택이 소유자를 가리킬 때만 이를 누수라고 부르세요.

Featured