최신 블로그

모델 매개변수는 고정된 상태로 유지되지만, 어텐션 상태는 토큰 수, 레이어 수, 정밀도, 배치 크기 및 동시에 처리되는 가정용 AI 요청 수에 따라 증가합니다.

연속 배칭은 가속기를 계속 가동 상태로 유지하지만, 공정성은 서비스가 측정되고 서로 다른 가정의 요청에 어떻게 배분되는지에 따라 달라집니다.

슬라이딩 윈도우는 최근 토큰 범위만 유지하여 활성 KV 메모리를 제한하고, 전체 기록에 대한 어텐션 대신 예측 가능한 추론 용량을 선택합니다.

프리필은 여러 입력 토큰에 걸쳐 병렬 행렬 연산을 수행하는 반면, 디코드는 한 번에 승인된 토큰 하나씩 진행하며 모델 상태를 반복해서 읽습니다.

추측 디코딩은 여러 미래 토큰을 초안으로 작성한 뒤 함께 검증하여, 정확한 디코딩 결과는 변경하지 않으면서 대상 모델의 순차 처리 단계를 줄입니다.

양자화는 수치적 근사를 도입하므로 품질은 비트 폭, 방법, 보정 데이터, 모델 규모 및 테스트 중인 워크플로에 따라 달라집니다.

KV 캐시는 모델이 모든 트랜스포머 레이어와 활성 요청에서 더 많은 프롬프트 및 출력 토큰을 처리하면서 어텐션 키와 값을 유지하기 때문에 증가합니다.

액셀러레이터 스케줄링은 어떤 사용자가 모델에 진입할지, 각 반복 작업을 어떻게 분배할지, 캐시 상태를 유지할지, 또는 더 오래 걸리고 우선순위가 높은 작업 뒤에서 기다릴지를 결정합니다.