홈 네트워크에서 모델 샤딩이 작동할지를 결정하는 요인은 무엇인가?

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

What Factors Determine Whether Model Sharding Works Across a Home Network?

모델 샤딩은 메모리 부담 완화 효과가 활성화 전송, 동기화 지연, 참여 컴퓨터 간 속도 불균형을 상쇄할 때에만 홈 네트워크에서 유용합니다.

40GB 모델은 두 대의 홈 컴퓨터 어느 쪽에도 들어가지 않을 수 있지만, 레이어를 두 컴퓨터에 나누면 적재할 수 있습니다. 그러면 모든 토큰이 하나 이상의 파티션 경계를 넘어 네트워크를 통과해야 하므로, 이더넷 지연 시간과 활성화 크기도 추론 성능을 결정하는 요소가 됩니다. 파티션 구성, 양자화, 장치 균형, 동시성, 장애 복구가 샤딩이 실제로 사용할 만한지 아니면 단지 가능한지를 결정합니다.

파티션 전략이 네트워크를 통과하는 데이터를 결정합니다

파이프라인 병렬화는 연속된 레이어를 장치에 할당하고 스테이지 경계에서 활성화를 전송합니다. 텐서 병렬화는 레이어 내부의 연산을 분할하며 일반적으로 빈번한 집단 통신이 필요합니다. 전문가 병렬화는 혼합 전문가 모델에서 토큰을 선택된 전문가에게 라우팅합니다.

분산 트랜스포머 블록은 인터넷으로 연결된 여러 컴퓨터에 트랜스포머 블록을 분산하고, 사용 가능한 피어를 통해 요청을 라우팅합니다. 이 설계는 이기종 분산 추론이 가능하다는 점을 보여주는 동시에, 통신과 가용성이 핵심 제약 조건임을 드러냅니다.

일반적인 가정용 이더넷에서는 통신량이 많은 텐서 분할보다 큰 단위로 나누는 파이프라인 파티션이 대체로 더 안정적입니다. 양자화는 가중치 메모리를 줄이지만 중간 활성화의 크기를 비례해서 줄이지 못할 수 있으므로, 모델 파일 크기만으로 네트워크 수요를 추정할 수는 없습니다. 이 차이는 이후의 가정 내 테스트에서도 확인할 수 있습니다.

대역폭, 지연 시간, 장치 균형이 토큰 속도를 결정합니다

스테이지는 필요한 활성화를 받을 때까지 진행할 수 없습니다. 토큰당 8MB를 전송하는 경우, 1GbE 링크의 이론적 직렬화 하한은 프로토콜 및 연산 오버헤드를 제외하고 약 64밀리초입니다. 더 빠른 링크를 사용하면 이 하한이 낮아집니다.

자동 병렬화 계획은 이기종 장치와 네트워크 링크 전반에서 모델 병렬 실행 계획을 함께 탐색합니다. 이는 최적의 분할이 동일한 레이어 수가 아니라 연산 속도, 메모리, 토폴로지, 통신에 따라 달라지는 이유를 보여줍니다. 자동화를 적용하기 전에 중간 결과를 검토할 수 있어야 합니다.

정상 상태의 처리량은 가장 느린 스테이지가 제한하며, 단일 사용자 토큰 지연 시간은 왕복 경계의 영향을 크게 받습니다. 평균 대역폭 테스트가 양호하더라도 Wi-Fi 변동, 절전 상태, 백그라운드 NAS 전송으로 인해 지연 시간의 꼬리 구간이 길어질 수 있습니다. 이러한 경계는 실제 운영 조건에서 별도로 측정해야 합니다.

상태 조정과 장애 처리가 안정성을 결정합니다

모든 노드는 동일한 모델 버전, 토크나이저, 양자화 구성, 파티션 매니페스트를 사용해야 합니다. 체크섬은 로드 전에 샤드의 무결성을 확인하고, 버전이 지정된 핸드셰이크는 한 컴퓨터가 호환되지 않는 업데이트의 레이어를 제공하는 일을 방지합니다. 여러 소스가 제한된 컨텍스트를 두고 경쟁할 때 이러한 실질적 영향이 나타납니다.

분리형 추론 스테이지는 연산 및 메모리 요구 사항이 서로 다르기 때문에 프리필과 디코딩을 여러 장치에 나눕니다. 이 연구는 배치와 통신이 워크로드에 맞을 때에만 스테이지 분산이 서비스 성능을 높일 수 있음을 보여줍니다. 이 종속성은 최종 인터페이스에서도 명확하게 드러나야 합니다.

장애 경계는 일시적으로 참여하는 노드입니다. 절전 모드에 들어간 노트북, Wi-Fi 로밍, 재부팅으로 스테이지의 유일한 사본에 접근할 수 없게 되면 전체 요청이 중단됩니다. 복제, 재개 가능한 체크포인트, 로컬 폴백을 사용하면 가용성을 높일 수 있지만, 각각 샤딩으로 절약하려던 메모리를 차지합니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

네트워크 링크만이 아니라 분할 자체를 측정하세요

먼저 각 장치를 단독으로 벤치마크한 다음, 모든 파티션 경계의 텐서 형태, 토큰당 바이트 수, 복사 시간, 연산 시간, 최대 메모리 사용량, 동기화 대기 시간을 기록하세요. 유선 및 무선 경로에서 짧은 프롬프트, 긴 프리필, 지속적인 디코딩, 동시 사용자 2명을 테스트하세요.

홈 네트워크 모델 샤드 시나리오와 측정 결과를 연결하세요. 노드 재시작, 버전 불일치, 링크 포화, 느린 참여자 한 대를 시뮬레이션하면서 초당 토큰 수, 첫 토큰 지연 시간, 토큰 간 지연 시간 p95, 복구 동작을 추적하세요.

필요한 모델을 실행할 수 있고 현실적인 경합 상황에서 허용 가능한 꼬리 지연 시간을 유지할 때에만 샤딩을 사용하세요. 통신이 지배적이라면 약한 장치를 더 추가하기보다 더 작은 양자화 모델, 더 거친 파티션, 또는 더 강력한 단일 노드를 선택하세요.