모델 샤딩이란 무엇이며, 홈 AI 메모리 한계에서 왜 중요한가요?

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

What Is Model Sharding, and Why Does It Matter for Home AI Memory Limits? - Zima Store Online

모델 샤딩은 필요한 모델 상태를 여러 장치에 분산하므로, 하나의 가속기 메모리를 초과하는 모델도 로드하고 실행할 수 있습니다.

가정용 AI 서버에서 중요한 점은 체크포인트가 여러 파일로 제공되었는지가 아니라, 런타임 가중치, 레이어, 텐서 또는 기타 상태가 실제로 서로 다른 장치에 배치되는지입니다. 샤딩은 단일 GPU로는 불가능한 메모리 요구 사항을 여러 장치를 사용하는 실행 가능한 배포로 바꿀 수 있지만, 샤드끼리는 여전히 데이터를 교환하거나 단계 간 작업을 전달해야 합니다. 따라서 인터커넥트 대역폭, 장치 간 불균형, 런타임 지원이 다음 한계가 됩니다.

런타임 샤딩은 모델 상태를 여러 장치에 분산합니다

실행 중인 모델에는 레이어가 실행될 때 사용할 수 있어야 하는 텐서가 포함됩니다. 샤딩은 모든 장치에 전체 상태를 복제하는 대신, 서로 다른 장치가 각기 다른 부분을 소유하도록 배치를 변경합니다.

분산 텐서는 샤딩된 텐서 배치를 사용할 수 있습니다. 이를 통해 분산 차원을 디바이스 메시 전반에 할당하며, 각 랭크에 동일하게 저장하지 않습니다.

직접적인 메모리 이점은 장치별 상주 메모리가 줄어든다는 것입니다. 시스템 수준에서는 이제 모든 연산에 필요한 데이터를 한 장치가 모두 보유하지 않으므로, 조정 작업이 추론의 일부가 됩니다.

체크포인트 샤드는 실행 중인 샤딩 모델과 다릅니다

대형 모델 저장소는 다운로드와 점진적 로딩을 쉽게 하기 위해 체크포인트를 여러 파일로 나누는 경우가 많습니다. 이러한 패키징 방식만으로는 런타임이 로딩을 완료한 후 텐서가 어디에 배치되는지 결정되지 않습니다.

파일 수준 샤딩과 런타임 배치는 서로 별개입니다. 로더가 샤딩된 체크포인트를 여러 장치에 분산 배치할 수 있기 때문입니다.

따라서 가정용 사용자는 디스크에서 수십 개의 `.safetensors` 샤드를 보더라도, 런타임이 여전히 전체 모델을 하나의 GPU에 배치하려고 할 수 있습니다. 반대로 런타임이 로딩 중 체크포인트를 다른 여러 장치 레이아웃으로 재분할할 수도 있습니다.

용량 계획을 세울 때는 저장소의 파일 개수가 추론 토폴로지를 보여 준다고 가정하지 말고, 시작 후 실제 디바이스 맵과 상주 메모리 할당을 확인해야 합니다.

샤딩은 통신 또는 단계 간 작업 전달을 추가합니다

한 장치가 다른 샤드에 필요한 값을 생성하면, 데이터가 인터커넥트를 통해 이동하거나 집단 연산을 통해 동기화되어야 합니다. 정확한 트래픽은 런타임이 레이어 내부에서 텐서를 분할하는지, 서로 다른 장치에 서로 다른 레이어 범위를 배치하는지, 또는 필요할 때만 샤딩된 상태를 모으는지에 따라 달라집니다.

각기 다른 다중 장치 추론 전략은 메모리 배치와 통신 패턴 사이에서 서로 다른 절충점을 가집니다.

이 때문에 두 GPU의 VRAM을 합친 용량이 충분해도 모델을 느리게 서비스할 수 있습니다. PCIe 또는 다른 연결이 로컬 가속기 메모리보다 훨씬 느리다면, 활성값을 이동하거나 부분 결과를 동기화하는 작업이 성능을 좌우할 수 있습니다.

Featured