DSpine을 적용한 Qwen3.8-27B: 초안 모델로 추론 속도 높이기

텐센트의 DSpine 공개에는 Qwen3.8-27B용 5레이어 드래프트 체크포인트가 포함되어 있습니다. 이 체크포인트는 타깃 모델이 검증할 토큰 여러 개를 한 번에 제안합니다. 제안된 토큰을 충분히 많이 받아들여 드래프트 모델의 연산 비용을 상쇄할 수 있다면 디코딩 속도를 높일 수 있습니다. 이를 사용하려면 Qwen3.8-27B 타깃 모델과 두 모델을 함께 실행할 수 있는 런타임이 필요합니다.

11월 7일 체크포인트는 SGLang 중심의 설정으로 공개되었습니다. 모델 카드에서는 여러 작업 및 샘플링 조건에서 드래프트 수락률을 DFlash2와 비교합니다. 이러한 측정치는 로컬 테스트의 출발점입니다. 모든 하드웨어에서 일관된 엔드투엔드 속도 향상이 나타난다는 뜻은 아닙니다.

추측 디코딩은 토큰당 연산을 어떻게 바꾸나요?

일반적인 생성 루프는 한 번에 다음 토큰 하나를 생성하며, 각 토큰은 앞선 시퀀스에 따라 결정됩니다. 추측 디코딩 루프에서는 더 저렴한 드래프트 모델이 토큰 묶음을 제안하고, 타깃 모델이 그 제안을 검증합니다. 검증 한 번으로 여러 위치의 토큰을 받아들여 진행할 수 있습니다. 제안이 거부되면 검증기는 가능한 부분을 확정하고 알고리즘의 보정 규칙에 따라 계속 진행합니다.

핵심적인 절충점은 추가 드래프트 작업과 검증 처리 비용을 감수하는 대신, 비용이 큰 타깃 모델의 실행 횟수를 줄이는 것입니다. 드래프트가 자주 빗나가면 추가 비용만 들고 단계마다 더 멀리 진행하지 못합니다. 런타임은 캐시된 상태, 배치 처리, 동기화도 관리해야 합니다. 레이어 간에 이전 단계의 특성을 전달하면서 후보를 병렬로 생성하는 방식은 DSpine 연구 프로젝트에서 확인하세요.

텐센트가 정확히 무엇을 공개했나요?

체크포인트 카드에는 드래프트의 레이어 5개, 블록 크기 16, 8,192토큰 슬라이딩 윈도우가 명시되어 있습니다. 이 슬라이딩 윈도우가 타깃 모델이 지원하는 컨텍스트를 새로 정의하는 것은 아닙니다. 드래프트 구성 요소의 설정을 설명하는 것입니다. 정확한 타깃 모델과 아키텍처는 Qwen3.8-27B 모델 카드에서 확인하세요.

Tencent가 보고한 설정은 SGLang 0.5.22, BF16, FlashAttention 3, 동시 실행 8을 사용합니다. 모델 카드에는 평가에 동적 검증과 ReplaySSM을 사용했다고도 설명되어 있습니다. 결과를 인용할 때는 이러한 세부 정보를 그대로 표시하세요. 대상 모델을 지원하는 패키지라고 해서 이 초안 생성기, 상태 처리 방식 또는 커널 경로까지 자동으로 지원하는 것은 아닙니다. 저장소 안내를 확인하고, 지원되지 않는 플랫폼은 별도의 평가 대상으로 취급하세요.

수용 길이가 높다는 것은 무엇을 의미하나요?

수용 길이는 특정 초안 정책과 작업 부하에서 검증 단계가 생성을 얼마나 진행시킬 수 있는지를 나타냅니다. 일반적으로 수치가 클수록 잠재적 성능 향상에 도움이 되지만, 실제 지연 시간은 검증 비용, 초안 블록 크기, 하드웨어에 따라 달라집니다. 공개된 DSpine 및 DFlash2 구성은 서로 다른 초안 블록 크기를 사용합니다. 따라서 수용 길이만 비교하면 시도당 연산량이 동일하도록 정규화되지 않습니다.

한 번의 검증 단계에서 여러 토큰을 수용하더라도 초안 생성과 검증 과정에서 작은 커널을 여러 번 실행하면 개선 효과가 미미할 수 있습니다. 짧은 답변과 긴 응답을 모두 테스트하세요. 짧은 답변은 대화형 오버헤드를 측정하고, 긴 응답은 추측 실행이 효과를 낼 수 있는 디코딩 단계가 더 많습니다.

내 장비에서 DSpine을 공정하게 비교하려면 어떻게 해야 하나요?

구성 간에 동일한 대상 체크포인트, 정밀도, 입력 프롬프트, 컨텍스트 한도, 디코딩 설정, 런타임 빌드를 사용하세요. 초안 모델을 사용하지 않는 기준 실행을 수행하세요. 지원되는 초안 모드를 추가하고 정확한 설정을 기록하세요. DSpine과 DFlash2를 비교한다면 블록 크기를 문서화하고 두 모델이 각각 의도된 커널과 가속 경로를 사용하는지 확인하세요.

1. 정상 상태 결과를 기록하기 전에 각 모드를 동일한 짧은 프롬프트로 워밍업하세요.
2. 한 번에 사용자 한 명씩 비교한 다음, 호스트에서 일반적으로 처리하는 동시 사용자 수로 반복하세요.
3. 출력 길이, 첫 토큰까지 걸린 시간, 생성 속도, 최대 메모리를 기록하세요.
4. 코드 완성, 여러 파일에 대한 추론, 제한된 도구 출력을 포함하세요. 잘못된 호출과 시간 초과를 기록하세요.
5. 모델이 올바르게 완료하는 작업의 엔드투엔드 완료 시간을 비교하세요.

기본 하드웨어 관련 질문은 Qwen3.8-27B 배포 가이드를 참고하세요. 코딩 작업 조율 관련 글에서는 저장소 및 도구 실행 비용이 생성 속도만 측정하는 테스트보다 더 큰 영향을 줄 수 있는 사례를 소개합니다.

초안 모델에 추가 메모리를 쓸 가치가 있는 경우는 언제인가요?

디코딩이 전체 시간에서 상당한 비중을 차지하고, 타깃 모델이 여유 있게 실행되며, 런타임이 해당 구성을 명시적으로 지원한다면 테스트해 볼 가치가 있습니다. 일부 코드 편집이나 구조화된 응답처럼 결과가 예측 가능한 작업에서는 더 긴 블록이 수락될 수 있습니다. 벤치마크 결과가 모든 작업에 적용된다고 가정하지 말고 실제 작업에서 테스트하세요.

긴 접두어나 도구 호출이 전체 시간의 대부분을 차지한다면 디코딩 경로가 빨라져도 전체 소요 시간은 조금만 줄어들 수 있습니다. GPU 메모리가 거의 가득 찬 상태라면 초안 모델 가중치와 상태가 추가되어 동시 실행에 사용할 수 있는 여유 공간이 줄어들 수 있습니다. 여러 세션을 동시에 실행해야 한다면 단일 스트림의 최대 속도뿐 아니라 전체 처리량과 꼬리 지연 시간도 비교하세요. Flash Next 메모리 가이드에서는 다른 체크포인트의 모델 배치 방식과 캐시 예산 간의 관련 트레이드오프를 다룹니다.

자주 묻는 질문

DSpine 체크포인트만으로 질문에 답할 수 있나요?

Qwen3.8-27B용으로 설계된 초안 구성 요소입니다. 타깃 모델이 제안된 이어지는 내용을 검증합니다.

블록 크기가 16이면 매번 토큰 16개가 수락된다는 뜻인가요?

아니요. 제안 블록에 관한 설명입니다. 수락 여부는 프롬프트, 샘플링 및 초안 모델의 동작에 따라 달라집니다.

이 업데이트는 Ollama에서 자동으로 작동하나요?

DSpine 카드에는 SGLang 평가가 설명되어 있습니다. 타깃 모델과 초안 모델 조합이 지원된다고 가정하기 전에 정확한 런타임을 확인하세요.

수락된 토큰이 더 많은 모델이 오히려 느릴 수도 있나요?

그렇습니다. 추가 계산, 동기화, 상태 관리 및 메모리 부담으로 이점이 상쇄될 수 있습니다.

이렇게 하면 타깃 모델의 가중치 메모리가 줄어드나요?

타깃 모델은 계속 로드된 상태입니다. 초안 모델과 관련 상태가 메모리 오버헤드를 추가할 수 있습니다.

결론

DSpine을 사용해 Qwen3.8-27B 작업에서 타깃 모델을 한 번 실행할 때 여러 개의 추측 토큰을 수락하는 것이 이점을 주는지 테스트하세요. 수락률, 최대 메모리 사용량, 전체 작업 지연 시간을 함께 측정하세요. 초안 모델이 메모리를 모두 소진하지 않으면서 중요한 대화형 또는 배치 지표를 개선한다면, 런타임 복잡성을 추가할 만할 수 있습니다.