Maxwell-V1-Flash 로컬 실행: RAM, VRAM 및 긴 컨텍스트 요구 사항

Eva Wong 는 테크니컬 라이터 이자 상주 메이커 로 ZimaSpace에서 활동합니다. 평생 기술을 사랑해 온 그녀는 홈랩과 오픈 소스 소프트웨어에 열정을 품고 있으며, 복잡한 기술 개념을 누구나 이해하기 쉬운 실습 가이드로 풀어내는 데 전문성을 갖추고 있습니다. Eva는 셀프 호스팅이 어렵고 부담스러운 일이 아니라 즐거워야 한다고 믿습니다. 그녀는 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 어려움을 풀어내고, 첫 NAS를 조립하는 것부터 Docker 컨테이너를 능숙하게 다루는 것까지 도전하도록 돕습니다.

Maxwell-V1-Flash를 로컬에서 실행하려면 원본 체크포인트 파일 약 73.6GB와 호환되는 NVIDIA GPU 환경, 런타임 및 대화 캐시를 위한 충분한 추가 메모리가 필요합니다. 활성 파라미터 3B라는 수치는 토큰마다 사용되는 전문가를 가리키며, 전체 모델을 3B 다운로드로 바꿔 주는 것은 아닙니다. 원본 가중치를 사용한다면 일반 소비자용 24GB 카드보다 96GB급 GPU가 현실적인 시작점이며, 전체 256K 컨텍스트를 사용하려면 별도의 메모리 예산이 필요합니다.

이 가이드에서는 검증된 모델 사양과 계획 수립을 위한 추정치를 구분하고, 희소 어텐션도 긴 컨텍스트에서 메모리를 소비하는 이유를 설명하며, 개발자가 문서화한 로컬 서빙 방법을 안내합니다. 또한 고용량 메모리 추론 서버를 소형 NAS가 대체할 수 있다는 인상을 주지 않으면서 ZimaCube 2가 이 워크플로를 어떻게 지원할 수 있는지 살펴봅니다. 사양 및 배포 지침은 2026년 11월 18일에 확인했으며, 아래 구성은 추정치이지 측정된 최소 요구 사항이 아닙니다.

Maxwell-V1-Flash란 무엇이며, 어떤 사양이 하드웨어에 영향을 미칠까요?

Maxwell Team의 저장소 이름은 Maxwell-V1-Flash지만, 모델 카드에는 모델명이 Maxwell-V1.0-Flash로 표기되어 있습니다. 이 모델은 Apache 2.0 라이선스로 공개된 텍스트 전용 오픈 웨이트 혼합 전문가 언어 모델입니다. 공식 설명에 따르면 임베딩을 제외한 총 파라미터 수는 35B, 토큰당 활성 파라미터 수는 3B입니다. 이 제외 사항은 전체 파라미터 수와 실제로 다운로드해야 하는 파일을 비교할 때 중요합니다.

검증된 사양 로컬 배포에서의 의미
총 35B / 활성 3B, 임베딩 제외 실제 연산량이 줄어도 전문가 가중치에 필요한 저장 공간과 메모리는 줄지 않습니다.
백본 레이어 45개, 쿼리 헤드 32개와 KV 헤드 4개, 헤드 차원 128 이 차원 정보는 주요 어텐션 캐시의 유용한 기준 추정치를 산출하는 데 필요합니다.
라우팅되는 전문가 256개, 토큰당 12개 선택, MoE 레이어당 공유 전문가 2개 전문가 라우팅을 지원하려면 추론 엔진에 아키텍처 지원이 필요합니다.
모델 카드에 명시된 256K 컨텍스트 긴 프롬프트에는 추가 캐시와 프리필 시간, 생성 결과를 저장할 공간이 필요합니다.
블록 희소 어텐션과 매니폴드 제약 하이퍼커넥션 다른 MoE 모델을 지원하는 런타임이라고 해서 자동으로 호환되는 것은 아닙니다.
공식 safetensors 파일 전체 용량은 73,625,607,468바이트입니다 실행 시 할당되는 메모리를 제외하면 약 73.6 십진 GB, 즉 68.6 GiB입니다.

이 내용은 공식 모델 카드, 게시된 구성 및 체크포인트 파일 메타데이터를 바탕으로 합니다. 모델 카드에는 BF16이 주요 가중치 정밀도로 기재되어 있지만, 저장소에는 BF16 및 F32 텐서가 모두 포함되어 있습니다. 따라서 다운로드 용량을 추정할 때는 반올림된 파라미터 수에 바이트 수를 곱하는 것보다 파일 크기를 참고하는 편이 정확합니다.

Maxwell-V1-Flash 모델 저장소의 공식 Maxwell 브랜드 아트워크
Maxwell의 공식 브랜드 아트워크입니다. 저장소 이름은 Maxwell-V1-Flash이고, 모델 카드에는 Maxwell-V1.0-Flash라고 표기되어 있습니다. 출처: Maxwell-V1-Flash 공식 모델 카드.

RAM, VRAM 및 저장 공간은 어느 정도로 준비해야 하나요?

확인한 배포 안내에는 개발자가 게시한 최소 RAM 표가 없습니다. 다음 구성은 체크포인트 용량과 캐시 계산을 바탕으로 한 실용적인 계획 목표치입니다. 벤치마크를 거친 구성은 아니며, GPU 아키텍처, 커널 호환성 및 실제 런타임에 표시되는 메모리가 여전히 결정적인 요소입니다.

워크로드 시스템 RAM 목표치 GPU 메모리 목표치 작업 저장 공간
사용자 1명, 원본 가중치, 초기 8K~16K 테스트 128 GB 96GB급. 80GB 카드는 여유 공간이 더 빠듯하므로 검증이 필요합니다. 로컬 NVMe에 여유 공간 최소 150 GB
사용자 1명, 32K~64K 코딩 또는 문서 세션 128~192 GB 96GB급 또는 검증된 멀티 GPU 구성, 캐시 여유 공간 측정 필요 가중치, 컨테이너 레이어, 로그 및 버전을 위해 여유 공간 200~300 GB
128K~256K 세션 또는 여러 명의 동시 사용자 운영 목표치로 192~256 GB 합산 사용 가능 VRAM 96 GB 초과를 계획하세요. 병렬 런타임 지원 여부에 따라 128~160 GB 이상이면 더 현실적인 예산입니다. 여유 공간 300 GB 이상, 별도의 백업 위치 확보

RAM과 VRAM은 용도가 다릅니다. 시스템 RAM은 로딩, 파일 캐싱, 전처리 및 기타 서비스를 지원합니다. GPU VRAM에는 상주 모델, 어텐션 캐시, 활성화값, 임시 작업 공간 및 런타임 할당 공간이 들어갑니다. 호스트 RAM을 128 GB 추가해도 24GB GPU로 원본 체크포인트를 제공할 수 있게 되는 것은 아닙니다.

마찬가지로 RAM 용량은 여유 공간을 고려한 권장치이지, 모든 로더가 모델 전체를 추가로 한 벌 더 보유해야 한다는 뜻은 아닙니다. 스트리밍 및 메모리 매핑 로딩 방식에 따라 호스트 메모리 사용량의 최고치가 달라질 수 있습니다. 최신 Linux x86-64 시스템, 주변 작업을 처리할 성능의 CPU 코어 약 12~16개, 지원되는 NVIDIA GPU, 로컬 NVMe로 시작하세요. 여기서는 CPU 모델과 코어 수보다 GPU 메모리 및 소프트웨어 호환성 확인이 더 중요합니다.

80GB 가속기에는 원본 가중치와 소형 캐시를 올릴 공간이 있을 수 있지만, 그렇다고 모든 80GB GPU를 사용할 수 있다는 뜻은 아닙니다. 일부 메모리는 런타임이 예약하거나 사용하며, 커스텀 커널에는 추가 아키텍처 요건이 있을 수 있습니다. 해당 카드가 개발자의 이미지와 정확히 호환되는지 확인하고, 그에 맞춰 하드웨어를 구매하기 전에 짧은 컨텍스트로 실행해 보세요.

희소 어텐션도 256K 컨텍스트에서 메모리가 필요한 이유는 무엇인가요?

Maxwell 블록 희소 어텐션(MBSA)은 메인 어텐션 연산에 사용할 제한된 수의 블록을 선택합니다. 공식 설명에 따르면 프리픽스 블록 8개, 로컬 블록 8개, 원격으로 선택되는 블록 최대 16개를 사용하며, 각 블록은 128개 토큰으로 구성됩니다. 따라서 희소 모드에서 KV 그룹당 메인 어텐션 범위는 최대 4,096개 토큰으로 제한됩니다.

전체 이력의 KV 캐시는 계속 유지됩니다. 선택된 블록은 어텐션 연산량을 줄일 뿐, 4,096개 토큰만 저장한다는 뜻은 아닙니다. 참조 구현은 인덱서 키도 유지합니다. 긴 대화나 저장소 분석을 위한 머신의 메모리를 산정할 때 가장 중요한 차이점입니다.

참고로, 공개된 백본 차원을 사용한 일반적인 BF16 메인 KV 계산은 다음과 같습니다.

45개 레이어 × 2(K 및 V) × 4개 KV 헤드 × 128개 차원
× 2바이트 × 캐시된 토큰 수 × 독립 시퀀스 수
캐시된 토큰 수, 단일 시퀀스 예시용 메인 K/V 데이터 용량만 실질적인 의미
8,192 0.70GiB 첫 추론 테스트를 시작하기에 적절한 수준입니다.
32,768 2.81GiB 가중치 외에도 여유 메모리가 필요한 수준입니다.
65,536 5.63GiB 코딩 세션이 길어지면 상당한 메모리 여유분이 소모되기 시작합니다.
131,072 11.25GiB 프리필 지연 시간과 캐시 할당량은 모두 측정해야 합니다.
262,144 22.50GiB 가중치에 이 데이터만 더해도 약 91.1GiB이며, 다른 할당량은 포함하지 않은 수치입니다.

이 계산은 설명을 위한 것이며, vLLM에서 실측한 메모리 할당량이 아닙니다. 인덱서 상태, 보조 경로, 블록 할당, 활성화 피크, CUDA 그래프, 메모리 단편화, 런타임 작업 공간은 포함하지 않았습니다. 캐시 정밀도, 구현 세부 사항, 병렬 배치에 따라 실제 메모리 사용량은 달라질 수 있습니다. 넉넉해 보이는 96GB 구성이라도 안내된 전체 컨텍스트를 처리할 수 있다고 단정해서는 안 됩니다.

또한 출처 간 불일치에 유의하세요. 모델 카드에는 262,144토큰으로 안내되어 있지만, 현재 구성 파일은 max_position_embeddings를 524,288로 설정하고 모델 카드의 사양 표와 다른 RoPE 기준값을 사용합니다. 구성 파일의 값이 더 크다고 해서 512K에서 품질이 검증되었거나 안정적으로 서빙할 수 있다는 뜻은 아닙니다. 이 가이드에서는 안내된 256K 성능을 기준으로 삼고, 검증 중에는 명시적으로 더 작은 서빙 한도를 설정할 것을 권장합니다.

양자화를 적용하면 Maxwell을 VRAM 24GB 또는 32GB GPU에서 실행할 수 있을까요?

가능할 수도 있지만, 더 작은 체크포인트가 있다는 사실만으로 답이 되지는 않습니다. 원본 텐서 크기를 기준으로 4비트 메모리를 계산하면 원시 가중치에 대략 18~19GB가 필요합니다. 실제 양자화 파일에는 스케일과 메타데이터가 포함되며, 일부 텐서는 더 높은 정밀도로 유지됩니다. 캐시와 런타임 메모리도 추가로 필요합니다.

이 계산만으로 24GB에서 제대로 배포할 수 있다고 단정할 수는 없습니다. Maxwell의 전문가 레이어, 하이퍼커넥션, 어텐션 구현, 체크포인트 로더 모두 호환되는 양자화 지원이 필요합니다. 커뮤니티 GGUF, FP8 또는 4비트 저장소를 검토할 때는 구매를 추천하기 전에 정확한 런타임 빌드, 필요한 패치, 지원 GPU, 재현 가능한 생성 예시가 명시되어 있는지 확인하세요.

개발자의 배포 예시는 자체 vLLM 컨테이너와 원본 가중치를 사용합니다. 모든 경우에 통하는 Ollama 명령이나 공식 Q4 메모리 보장을 제공하지는 않습니다. 커뮤니티 변환 모델을 선택한다면 먼저 짧은 프롬프트를 재현하고, 채팅 템플릿과 도구 호출을 확인한 뒤, 원본 모델과 메모리 사용량 및 출력 품질을 비교하세요. 맞춤 저장소를 로드하기 전에 필요한 신뢰성 검사를 알아보려면 커뮤니티 모델, 채팅 템플릿, 원격 코드 확인 가이드를 참조하세요.

소비자용 저사양 GPU에서는 런타임이 검증된 소형 모델로 시작하는 편이 더 수월한 경우가 많습니다. 활성 파라미터 수만 보고 선택하기보다는 AI 모델 하드웨어 요구 사항 디렉터리에서 배포 방식을 비교하세요.

공식 로컬 vLLM 서버는 어떻게 시작하나요?

문서에 명시된 방법은 maxwellmodel/vllm-openai:v0.30.0을 사용하며, 기본 vLLM 이미지라면 무엇이든 작동한다고 가정하지 않습니다. 모델 카드에는 CUDA 13.0 환경에 NVIDIA 드라이버 580 이상이 필요하다고 명시되어 있으며, 구형 드라이버를 위한 CUDA 호환성 환경 변수 옵션도 안내되어 있습니다. 이 옵션을 사용하더라도 GPU와 드라이버가 서로 호환되어야 합니다. NVIDIA의 호환성 요구 사항을 확인하는 일을 대신할 수는 없습니다.

NVIDIA GPU를 사용할 수 있도록 Docker를 설치하고 nvidia-smi로 확인한 다음, Hugging Face CLI를 사용해 공식 저장소를 다운로드하세요:

export MODEL_DIR="$PWD/Maxwell-V1-Flash"
hf download maxwell-model/Maxwell-V1-Flash --local-dir "$MODEL_DIR"

다음은 공식 실행 명령을 로컬 전용 8K 첫 테스트에 맞게 조정한 것입니다. 문서에 명시된 이미지, 블록 크기, 파서를 유지하면서 컨텍스트 크기를 줄이고, 시퀀스 하나만 사용하며, 루프백 주소에 바인딩합니다:

docker run --rm --init \
  --name vllm-maxwell \
  --gpus all \
  --shm-size 8g \
  --network host \
  -v "$MODEL_DIR":/models/Maxwell-V1-Flash:ro \
  --entrypoint vllm \
  maxwellmodel/vllm-openai:v0.30.0 \
  serve /models/Maxwell-V1-Flash \
  --trust-remote-code \
  --block-size 128 \
  --served-model-name Maxwell-V1.0-Flash \
  --host 127.0.0.1 --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 1 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

단일 GPU 설정은 개발자의 예시를 따른 것이며, VRAM 부족 문제를 해결해 주지는 않습니다. 체크포인트를 메모리에 올릴 수 없다면 호환되는 대용량 메모리 시스템을 사용하거나, 병렬 크기를 변경하기 전에 개발자 이미지의 다중 GPU 기능을 검증하세요. 카드 두 개의 용량을 합산한다고 해서 하나의 투명한 메모리 풀로 통합되는 것은 아닙니다.

이 실행 설정은 커스텀 모델 코드를 활성화하므로 저장소와 컨테이너 소스를 검토하고, 모델 리비전과 컨테이너 다이제스트를 기록하며, 자격 증명이나 관련 없는 개인 폴더는 마운트하지 마세요. 읽기 전용 모델 마운트는 체크포인트 디렉터리에 대한 쓰기를 제한합니다. 하지만 GPU에 접근할 수 있는 컨테이너의 모든 기능을 샌드박스로 격리하는 것은 아닙니다.

시작한 뒤 모델 엔드포인트와 간단한 완성을 확인하세요.

curl http://127.0.0.1:8000/v1/models

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Maxwell-V1.0-Flash","messages":[{"role":"user","content":"Explain a NAS snapshot in two sentences."}],"max_tokens":512}'

공식 템플릿에서는 기본적으로 추론 기능이 활성화되어 있습니다. 출력 허용량이 적으면 사용자에게 표시되는 답변보다 먼저 추론에 토큰이 소모될 수 있으므로, 최종 답변이 비어 있다고 해서 모델이 고장 났다고 바로 판단하지 말고 추론 필드와 종료 사유를 확인하세요. 개발자의 지침에 따라 포함된 템플릿을 따르고 다중 턴 에이전트 대화에서 assistant 추론 및 도구 호출 필드를 유지하세요.

긴 컨텍스트와 여러 사용자를 어떻게 테스트해야 하나요?

먼저 반복 가능한 8K 기준값을 기록하세요. 모델 리비전, 이미지 다이제스트, GPU 모델, 드라이버, 정밀도, 시작 시 피크 메모리, 정상 상태 메모리, 첫 토큰까지 걸린 시간, 생성 처리량을 기록합니다. 그런 다음 설정된 한도를 16K 또는 32K로 늘리고, 실제로 의도한 작업량에 근접하는 프롬프트를 테스트하세요. 서버가 높은 한도로 시작된다고 해서 긴 프리필이 성공한다는 뜻은 아닙니다.

한 번에 하나의 변수만 늘리세요. 컨텍스트를 테스트하는 동안 동시 요청 수를 1로 유지한 다음, 컨텍스트를 고정한 상태에서 사용자 수를 늘리세요. 가중치는 공유하더라도 독립적인 128K 세션 두 개에는 하나보다 훨씬 더 많은 캐시가 필요할 수 있습니다. 전체 컨텍스트 예산에서 출력 토큰을 확보하고, 토큰 사용량을 계산할 때 도구 메시지와 추론 기록도 포함하세요.

문서 작업에서는 검색 증강을 활용해 전체 아카이브를 반복해서 전달할 필요를 줄일 수 있습니다. 코딩 에이전트를 사용할 때는 생성된 파일과 종속 항목을 제외하고, 완료한 단계를 요약하며, 작업 디렉터리를 분리해 두세요. 여러 코딩 에이전트를 위한 Git 워크트리 가이드는 저장소를 격리하는 방법을 다룹니다. 각 에이전트의 추론 메모리 요구량까지 없애 주는 것은 아닙니다.

테스트가 실패하면 로더 또는 지원되지 않는 커널 오류인지, 아니면 로딩, 프리필 또는 디코딩 중 메모리 부족이 발생했는지 구분하세요. 디스크 공간을 늘려도 GPU 메모리 할당 실패는 해결할 수 없습니다. 컨텍스트를 줄이면 캐시 부담은 줄어들지만 원본 가중치 크기는 줄지 않습니다. 머신이나 양자화 설정을 바꾸기 전에 오류가 발생한 단계를 기록하세요.

Maxwell-V1.0-Flash에 대한 Maxwell Team 벤치마크 개요. 공식 모델 카드에서 가져와 재현했습니다.
개발자가 보고한 기능 벤치마크를 공식 모델 카드에서 가져와 재현했습니다. 이 결과는 로컬 GPU 메모리나 처리량을 측정한 것이 아닙니다. 출처: Maxwell-V1-Flash 공식 모델 카드.

Maxwell 배포에서 ZimaCube 2는 어떤 역할을 하나요?

완전한 원본 모델만을 이유로 소형 Zima 시스템을 구매하는 것은 현명한 선택이 아닙니다. 문서에 명시된 구성은 메모리 용량이 큰 NVIDIA 추론 환경입니다. ZimaCube 2를 이 체크포인트나 256K 세션 또는 임의의 외부 가속기를 반드시 지원하는 호스트로 소개해서는 안 됩니다.

로컬 AI 워크플로의 스토리지 장치로서의 ZimaCube 2가 맡을 수 있는 보다 현실적인 역할은 모델 아카이브, 문서 모음, 프로젝트 백업, 평가 결과를 별도의 GPU 워크스테이션이나 서버에서 사용할 수 있도록 보관하는 것입니다. 선택한 소프트웨어가 지원한다면, GPU 머신이 생성을 처리하는 동안 스토리지 머신에서 주변 서비스를 호스팅할 수도 있습니다.

예측 가능한 로딩을 위해 활성 체크포인트는 추론 머신의 로컬 NVMe에 두고, 네트워크 스토리지가 VRAM처럼 작동한다고 가정하지 말고 NAS는 버전 관리 아카이브로 사용하세요. 정확한 ZimaCube 2 구성에서 사용 가능한 RAM, 지원 서비스, 네트워킹, 백업 공간, 물리적 확장 요구 사항을 확인하세요. 이는 스토리지 및 서비스에 관한 권장 사항이며, 아래 제품 카드가 Maxwell의 전체 컴퓨팅 요구 사항을 충족한다는 주장이 아닙니다.

FAQ

Maxwell-V1-Flash는 정말 3B 모델인가요?

임베딩을 제외하면 토큰당 약 3B 파라미터를 활성화하지만, 같은 기준으로 전체 파라미터는 약 35B입니다. 전체 전문가 체크포인트에 계속 접근할 수 있어야 합니다. 원본 safetensors 파일의 용량은 약 73.6 GB입니다.

RTX 3090이나 RTX 4090에서 원본 가중치를 실행할 수 있나요?

24GB 카드 한 장에는 원본 체크포인트 전체를 VRAM에 담을 수 없습니다. 더 작은 커뮤니티 변환 모델은 로더와 커널 지원이 검증되어야 합니다. 일반적인 4비트 메모리 계산기를 근거로 호환성을 추정하지 마세요.

80GB GPU가 256K 컨텍스트를 지원하나요?

원본 체크포인트에는 그렇게 계획하지 마세요. 예시로 든 메인 BF16 캐시만 해도 256K에서 22.5 GiB가 추가되어, 추가 할당을 고려하기 전에도 가중치와 캐시를 합한 용량이 약 91.1 GiB에 이릅니다. 짧은 컨텍스트로 하는 실험은 다른 작업 부하입니다.

Ollama, llama.cpp, Apple Silicon 또는 CPU만으로 추론을 실행할 수 있나요?

여기서 확인한 공식 배포 경로는 개발자의 NVIDIA vLLM 이미지입니다. 다른 환경은 각각의 아키텍처에 맞는 근거를 별도로 확인해야 합니다. 다운로드 가능한 변환 모델이 있거나 통합 메모리가 많다는 사실만으로 사용 가능한 런타임이 입증되는 것은 아닙니다.

설정 파일이 512K 지원을 입증하나요?

아니요. 설정 파일의 524,288 위치 설정은 모델 카드에 명시된 256K 지원과 다릅니다. 더 긴 컨텍스트에 의존하기 전에 품질, 런타임 지원, 메모리를 각각 검증하세요.

원본 사양과 런타임 요구 사항은 어디서 확인할 수 있나요?

Maxwell-V1-Flash 모델 카드, 공식 체크포인트 파일, Maxwell GitHub 저장소, vLLM GPU 설치 요구 사항을 확인하세요. 개발자가 고정한 이미지는 업스트림 vLLM 문서와 별도로 확인하세요.

결론

Maxwell-V1-Flash는 실제 연산에 사용되는 규모가 전체 가중치 용량보다 훨씬 작고, 희소 어텐션을 사용하면서도 대화 기록 전체를 유지하므로 진지하게 고려할 만한 로컬 추론 프로젝트입니다. 원본 체크포인트 73.6GB를 기준으로 예산을 잡고, 런타임에 충분한 여유 공간을 확보하세요. 128K–256K 서빙은 별도의 용량 테스트로 다루세요.

개발자가 지원하는 환경, 명시된 8K 한도, 단일 요청으로 시작하세요. 컨텍스트를 늘리거나 하드웨어를 더 구매하기 전에 측정하세요. 공유 스토리지, 백업, 주변 서비스가 아키텍처에 적합하다면 ZimaCube 2를 사용하고, 측정된 모델 요구 사항에 따라 추론 GPU를 선택하세요.

기술 및 AI 허브

더 읽어보기

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.