Ripple-65B 프리뷰 로컬 실행: RAM, VRAM 및 코딩 에이전트 설정

Ripple-65B Preview는 로컬에서 실행할 수 있지만, 실용적인 시작점은 약 39–46 GB 용량의 Ollama 패키지에 더해 런타임, 캐시, 운영 체제에 필요한 메모리까지 갖춘 시스템입니다. VRAM이 24 GB인 그래픽 카드는 패키지 전체를 VRAM에 담을 수 없습니다. 통합 메모리 64 GB를 갖춘 시스템은 선택한 태그와 실제 메모리 압박 정도에 따라 짧은 컨텍스트로 시험 실행해 볼 만한 후보입니다. 메모리 풀이 클수록 코딩 에이전트가 파일, 테스트 출력, 대화 기록을 더 여유롭게 유지할 수 있습니다.

Ricursive Intelligence는 이 65B 밀집형 모델을 Apache 2.0 라이선스로 공개하고 BF16 및 NVFP4 가중치를 배포합니다. Ollama는 v0.40.16에서 Ripple Preview를 추가했습니다. 이 가이드에서는 먼저 시스템과 런타임을 선택한 다음, 실제 코딩 작업을 테스트하는 방법을 살펴봅니다. 아래 메모리 등급은 계획 수립을 위한 판단이며, 공개된 벤치마크 결과는 별도로 표시합니다.

이름이 비슷한 코딩 에이전트와 Ripple은 무엇이 다를까요?

Ripple은 모델입니다. 수정 사항과 도구 호출을 제안할 수 있지만, 실제로 접근할 수 있는 파일과 명령은 코딩 하네스가 제어합니다. 모델을 저장소와 같은 네트워크에서 실행한다고 해서 모델에 Git 접근 권한이 생기는 것은 아닙니다. 작업 공간을 어떻게 마운트할지, 테스트를 어떻게 실행할지, 승인을 요청할지는 하네스가 결정합니다. Ollama 채팅 세션과 터미널 벤치마크를 비교할 때 이 차이가 중요합니다.

공식 모델 카드에 따르면, 이 모델은 처음부터 학습한 65B 밀집형 Transformer로, 레이어 80개와 최대 1,048,576토큰을 지원합니다. 밀집형 아키텍처는 토큰을 생성할 때마다 전체 모델을 사용합니다. 체크포인트를 메모리에 올릴 수 있더라도 메모리 대역폭과 실제 가중치 정밀도는 중요합니다. Ricursive는 자체 테스트 환경에서 Terminal-Bench 2.1 점수 80.52를 기록했다고 밝혔습니다. 다른 실행기, 양자화 방식, 하네스를 사용하면 결과가 달라질 수 있습니다. 벤치마크와 아키텍처에 대한 자세한 내용은 출시 보고서를 참조하세요.

필요한 RAM 또는 VRAM 용량은 어느 정도일까요?

파라미터당 2바이트로 계산하면 파라미터 650억 개에는 런타임 오버헤드를 제외하고 BF16 가중치를 저장하는 데 약 130 GB가 필요합니다. 이는 실제 할당량이 아니라 10진수 GB 단위의 계산입니다. 마찬가지로 비트 수를 4로 곱하면 패킹된 가중치의 대략적인 최소 용량이 나오지만, 스케일, 더 높은 정밀도로 유지되는 텐서, 패키지 메타데이터는 포함되지 않습니다. 다운로드 용량은 실제 아티팩트 크기로 추정하고, 시스템 메모리 예산은 런타임 텔레메트리를 확인하세요.

NVIDIA NVFP4 릴리스와 Ollama 태그는 서로 다른 아티팩트입니다. 해당 형식을 선택하기 전에 공식 NVFP4 카드를 확인하고, 대상 서빙 스택과 GPU 아키텍처를 살펴보세요. 멀티 GPU 호스트에서도 이 체크포인트의 분할을 명시적으로 지원하는 런타임이 필요합니다. 두 GPU의 표기 용량을 합산하는 것만으로는 모델이 탑재되거나 효율적으로 실행되는지 판단할 수 없습니다.

어떤 로컬 런타임을 선택해야 할까요?

가장 간편한 방법은 Ollama 모델 목록과 v0.40.16 또는 호환되는 최신 버전을 함께 사용하는 것입니다. 다운로드하기 전에 목록에서 최신 태그, 패키지 크기, 플랫폼 관련 안내를 확인하세요. 간단히 테스트하려면 다음을 실행하세요:

ollama run ripple-preview
ollama ps

첫 번째 명령은 필요한 경우 모델을 다운로드하고 세션을 시작합니다. 두 번째 명령은 모델 배치와 로드된 컨텍스트를 확인하는 데 도움이 됩니다. Apple 실리콘에서는 Ripple용 전용 MLX 경로가 릴리스에 포함되어 있습니다. 개발자의 NVIDIA 결과를 재현하려면 모델 카드의 최신 지침을 따르고 전체 서빙 구성을 기록하세요. 형식별 결과는 서로 다른 커널, 정밀도, 초안 디코딩을 고려해야 비교할 수 있습니다.

모델 저장 공간, 임시 다운로드, 체크아웃, 테스트 산출물을 위한 여유 공간을 확보하세요. 저장소나 백업도 함께 실행하는 호스트라면 러너 캐시가 실제로 저장되는 드라이브를 확인하세요. 명목상 모델 크기가 여유 있어 보여도 SSD가 거의 꽉 차면 첫 다운로드가 중단될 수 있습니다.

로컬 머신에서 백만 토큰 컨텍스트란 무엇을 의미하나요?

지원되는 컨텍스트 길이는 유용한 첫 설정값이 아닙니다. 코딩 에이전트는 수백 개의 파일, 셸 출력, 이전 대화 내용을 모델에 다시 입력할 수 있습니다. 이런 입력은 캐시 할당량과 첫 생성 토큰이 나오기까지의 시간을 늘립니다. 하네스가 이전 로그를 반복해서 보내면 긴 프리픽스 때문에 피드백 주기도 느려집니다.

의도적으로 입력을 작게 하고 작업 하나만 수행하는 것부터 시작하세요. 저장소 스냅샷을 고정하고, 모델을 불러온 뒤와 가장 긴 프롬프트가 끝난 뒤에 최대 메모리 사용량을 측정하세요. 그런 다음 컨텍스트를 한 단계씩 늘리세요. 실제 상주 메모리나 통합 메모리 압박을 살펴보고, 스왑이 지속적으로 발생하는지 확인하세요. 컨텍스트를 늘리기 전에 불필요한 테스트 로그를 지우세요. 이 로컬 Qwen3.8-27B 배포 가이드의 트레이드오프는 더 가벼운 모델을 위한 유용한 기준이 됩니다.

실제 코딩 세션은 어떻게 테스트하나요?

일회용 체크아웃을 만들고 범위가 명확한 작업을 선택하세요. 실패하는 테스트를 설명하고, 관련 파일을 파악한 뒤, 패치를 제안하도록 하세요. 합성 데이터나 승인된 저장소 데이터만 사용하세요. 하네스에 읽을 수 있는 파일 목록과 로컬 테스트 명령의 간단한 허용 목록을 제공하세요. 결과를 신뢰하기 전에 diff를 검토하고 테스트를 직접 실행하세요. 이 Git worktree 가이드에서는 실험을 기본 체크아웃과 분리하는 방법을 설명합니다.

첫 번째 유용한 답변까지 걸린 시간, 프리필 이후의 생성 속도, 최대 메모리 사용량, 제안된 변경 사항의 테스트 통과 여부를 기록하세요. 실패하거나 중간에 잘린 시도도 비교에 포함하세요. 모델이 5분 동안 그럴듯하지만 쓸 수 없는 패치를 생성한다면, 초당 토큰 수만으로는 문제를 알 수 없습니다. 두 번째 유용한 작업은 파일을 수정하지 않고 작은 diff를 검토하는 것입니다. 이를 통해 같은 장비가 위험도가 낮은 검토 작업에도 유용한지 알 수 있습니다.

로컬 65B 모델을 위해 더 큰 머신을 마련할 가치가 있는 경우는 언제인가요?

충분한 실행 여유가 있고 코딩 동작의 이점을 누릴 수 있는 작업 부하가 있다면 Ripple을 사용하세요. 제약이 있는 데스크톱에서는 가속기 메모리에 상주하는 더 작은 체크포인트가 일상적인 사용에 더 나은 경험을 제공할 수 있습니다. 장시간 실행은 짧은 질문과 따로 고려해야 합니다. 에이전트 세션이 이어지는 동안 대역폭, 스왑과 백그라운드 스토리지 트래픽이 누적되기 때문입니다.

NAS에 저장소 스냅샷과 결과를 보관하는 경우, 스토리지 서비스는 모델의 컴퓨팅 예산과 분리해 두세요. 작업에 필요한 입력만 마운트하고 쓰기 작업은 실험 디렉터리에 준비하세요. 더 큰 비교 대상으로는 Kimi K3를 로컬에서 실행할 때 메모리 요구량을 좌우하는 요소를 참고하세요.

자주 묻는 질문

Ripple을 사용하려면 NVIDIA GPU가 필요한가요?

모든 로컬 실행 방식에 단일 GPU 공급업체가 필요한 것은 아닙니다. Ollama에는 Apple 실리콘용 MLX 경로가 있습니다. NVIDIA 중심의 정밀도 및 가속 지침은 모델 개발자가 지정한 호환 NVIDIA 스택에 적용됩니다.

RTX 4090으로 모델 전체를 메모리에 올릴 수 있나요?

위에서 설명한 Ollama 패키지는 추론 오버헤드를 고려하기 전부터 VRAM 24GB 예산을 초과합니다. CPU 오프로딩은 성능 특성이 다른 별도의 구성입니다.

다운로드 크기가 최대 메모리 사용량과 같은가요?

아니요. 런타임, 메모리 할당기, 도구 프로세스, 어텐션 캐시와 운영체제가 모두 최대 메모리 사용량에 영향을 줍니다. 다운로드 크기는 디스크 공간을 계획할 때 유용한 시작점입니다.

광고된 최대 컨텍스트 길이를 처음부터 설정하는 게 좋나요?

작업을 완료하는 데 필요한 가장 짧은 컨텍스트부터 시작하고, 컨텍스트를 늘려 가며 프리필 시간과 메모리를 측정하세요. 최대 컨텍스트 지원이 실용적인 로컬 처리량을 보장하지는 않습니다.

Terminal-Bench 결과는 내 저장소에서의 성능을 가늠하는 기준인가요?

개발자의 평가 방식을 파악하는 데 활용한 다음, 고정된 하네스와 제한 및 런타임으로 자신의 작업 부하를 테스트하세요. 보고된 벤치마크가 로컬에서도 그대로 재현된다는 보장은 없습니다.

결론

정확한 Ollama 태그 또는 개발자가 지원하는 NVIDIA 형식으로 시작하고, 가중치 파일 외에도 여유 공간을 확보한 뒤 제한된 작업 하나를 테스트하세요. Ripple-65B Preview는 로컬 코딩 모델의 선택지를 넓혀 줍니다. 실제 하드웨어에서 얼마나 유용한지는 메모리와 지연 시간 예산 안에서 쓸 만한 작업을 마칠 수 있는지에 달려 있습니다.