Esegui Ripple-65B Preview in locale: RAM, VRAM e configurazione dell’agente di programmazione

Ripple-65B Preview può essere eseguito in locale, ma per iniziare in modo pratico serve una macchina con memoria sufficiente per un pacchetto Ollama di circa 39–46 GB oltre a runtime, cache e sistema operativo. Una scheda grafica da 24 GB non può contenere tutto il pacchetto nella VRAM. Una macchina con 64 GB di memoria unificata può essere adatta a una prova con contesto breve, in base al tag scelto e alla pressione effettiva sulla memoria. Un pool di memoria più ampio offre a un agente di programmazione più spazio per tenere a disposizione file, output dei test e cronologia della conversazione.

Ricursive Intelligence ha pubblicato questo modello denso da 65B con licenza Apache 2.0 e distribuisce i pesi BF16 e NVFP4. Ollama ha aggiunto Ripple Preview nella versione v0.40.16. Questa guida parte dalla scelta della macchina e del runtime, poi mostra come testare un carico di lavoro di programmazione reale. Le fasce di memoria indicate di seguito sono stime per la pianificazione. I risultati dei benchmark pubblicati sono indicati separatamente.

Cosa distingue Ripple da un agente di programmazione con un nome simile?

Ripple è il modello. Può proporre modifiche e chiamate agli strumenti, mentre un harness di programmazione controlla a quali file e comandi può effettivamente accedere. Eseguire il modello sulla stessa rete di un repository non gli concede l’accesso a Git. È l’harness a decidere come montare l’area di lavoro, eseguire i test e richiedere l’approvazione. Questa distinzione è importante quando si confronta una sessione di chat con Ollama con un benchmark da terminale.

La scheda ufficiale del modello descrive un Transformer denso da 65B, addestrato da zero, con 80 layer e supporto fino a 1.048.576 token. L’architettura densa impiega l’intero modello per ogni token generato. La larghezza di banda della memoria e la precisione effettiva dei pesi sono importanti anche quando il checkpoint entra in memoria. Ricursive riporta un punteggio di 80,52 su Terminal-Bench 2.1 nella propria configurazione di test. Un runner, una quantizzazione e un harness diversi possono cambiare il risultato. Consulta il resoconto del lancio per i dettagli sul benchmark e sull’architettura.

Quanta RAM o VRAM dovresti prevedere?

Con due byte per parametro, 65 miliardi di parametri richiedono circa 130 GB di spazio per i pesi in formato BF16, prima dell’overhead del runtime. Si tratta di un calcolo in GB decimali, non di un’allocazione misurata. Analogamente, moltiplicando per quattro bit si ottiene una stima approssimativa del limite inferiore per i pesi impacchettati, esclusi scale, tensori mantenuti a precisioni superiori e metadati del pacchetto. Per stimare il download, usa le dimensioni dell’artefatto effettivo; per valutare le risorse necessarie della macchina, consulta la telemetria del runtime.

Una versione NVIDIA NVFP4 e un tag Ollama sono artefatti diversi. Prima di scegliere questo formato, consulta la scheda ufficiale NVFP4 e verifica lo stack di servizio e l’architettura GPU a cui è destinato. Un host con più GPU richiede inoltre un runtime che supporti esplicitamente la suddivisione di questo checkpoint. La somma delle capacità dichiarate di due GPU non basta a stabilire che un modello ci stia o funzioni in modo efficiente.

Quale runtime locale scegliere?

Il percorso più semplice è usare la pagina del modello su Ollama insieme alla versione v0.40.16 o una versione successiva compatibile. Consulta la pagina per verificare il tag attuale, le dimensioni del pacchetto e le note sulla piattaforma prima di scaricarlo. Per una prova semplice, esegui:

ollama run ripple-preview
ollama ps

Il primo comando scarica il modello, se necessario, e avvia una sessione. Il secondo aiuta a vedere il posizionamento e il contesto caricato. Sui dispositivi Apple con chip silicon, la versione include un percorso MLX specifico per Ripple. Se invece vuoi riprodurre i risultati NVIDIA dello sviluppatore, segui le istruzioni aggiornate della scheda del modello e acquisisci la configurazione completa del servizio. I risultati tra formati sono comparabili solo tenendo conto delle differenze tra kernel, precisioni e decodifica speculativa.

Lascia spazio per i file del modello, un download temporaneo, il checkout e gli artefatti dei test. Sui sistemi che eseguono anche archiviazione o backup, controlla l'unità che contiene effettivamente la cache del runner. Un SSD quasi pieno può interrompere il primo download anche se le dimensioni nominali del modello sembrano gestibili.

Cosa significa un contesto da un milione di token su una macchina locale?

È il contesto supportato dal checkpoint, non un'impostazione iniziale utile. Un agente di programmazione può fornire al modello centinaia di file, output della shell e la conversazione precedente. Questo input aumenta l'allocazione della cache e il tempo necessario per generare il primo token. I prefissi lunghi rallentano anche il ciclo di feedback se l'harness reinvia ripetutamente i vecchi log.

Inizia con un input volutamente ridotto e un solo compito. Mantieni uno snapshot fisso del repository, raccogli i dati sulla memoria di picco dopo il caricamento e di nuovo alla fine del prompt più lungo, poi amplia il contesto di un passaggio alla volta. Monitora la memoria residente effettiva o la pressione sulla memoria unificata e verifica che lo swap non venga usato in modo prolungato. Elimina i log di test superflui prima di aumentare il contesto. I compromessi descritti in questa guida alla distribuzione locale di Qwen3.8-27B offrono un utile riferimento di partenza per un modello più leggero.

Come si testa una vera sessione di programmazione?

Crea un checkout usa e getta e scegli un'attività circoscritta: spiegare un test non riuscito, identificare i file coinvolti e proporre una patch. Usa solo dati sintetici o approvati del repository. Fornisci all'harness un elenco dei file che può leggere e una breve allowlist di comandi di test locali. Esamina la diff ed esegui i test in modo indipendente prima di fidarti del risultato. Questa guida ai worktree di Git spiega come mantenere separati gli esperimenti dal checkout principale.

Registra il tempo necessario per ottenere la prima risposta utile, la velocità di generazione dopo il prefill, la memoria di picco e se la modifica proposta supera il test. Includi nel confronto anche i tentativi falliti o troncati. Se un modello impiega cinque minuti a generare una patch plausibile ma inutilizzabile, un dato di picco in token al secondo nasconderà il problema. Un secondo test utile consiste nel rivedere una piccola diff senza modificare i file. Ti dirà se la stessa macchina è utile anche per attività di revisione a basso rischio.

Quando vale la pena usare un modello locale da 65B su una macchina più potente?

Usa Ripple se puoi concedergli le risorse necessarie e hai un carico di lavoro che trae vantaggio dalle sue capacità di coding. Su un desktop con risorse limitate, un checkpoint più piccolo che rimane interamente nella memoria dell'acceleratore può offrire un'esperienza migliore nell'uso quotidiano. Le sessioni prolungate vanno valutate a parte rispetto alle richieste rapide: banda, swap e traffico di archiviazione in background si accumulano durante una sessione con un agente.

Se un NAS ospita le snapshot del tuo repository e i risultati, tieni i relativi servizi di archiviazione indipendenti dal budget di calcolo del modello. Monta solo gli input necessari all'attività e salva le modifiche in una directory dedicata agli esperimenti. Per un termine di confronto più ampio, scopri quali fattori determinano i requisiti di memoria di Kimi K3 in locale.

FAQ

Ripple ha bisogno di una GPU NVIDIA?

Non è necessario un singolo produttore di GPU per tutte le modalità di esecuzione locale. Ollama offre un percorso MLX per Apple Silicon. Le istruzioni sulla precisione e l'accelerazione specifiche per NVIDIA si applicano allo stack NVIDIA compatibile indicato dallo sviluppatore del modello.

Una RTX 4090 può contenere il modello intero?

Il pacchetto Ollama descritto sopra supera il limite di 24 GB di VRAM prima ancora di considerare l'overhead dell'inferenza. L'offload sulla CPU è una configurazione distinta, con prestazioni diverse.

La dimensione del download corrisponde alla memoria massima utilizzata?

No. Il runtime, l'allocatore, i processi degli strumenti, la cache dell'attenzione e il sistema operativo incidono tutti sull'uso massimo. La dimensione del download è un utile punto di partenza per pianificare lo spazio su disco.

La lunghezza massima del contesto pubblicizzata è l'impostazione iniziale più adatta?

Inizia con il contesto più breve che consente di completare l'attività, poi misura il tempo di prefill e l'uso della memoria mentre lo aumenti. Il supporto per l'intero contesto non garantisce una velocità pratica in locale.

Terminal-Bench è una stima delle prestazioni sul mio repository?

Usalo per capire la valutazione dello sviluppatore, poi prova il tuo carico di lavoro con un harness, limiti e runtime fissi. Il benchmark riportato non garantisce lo stesso risultato in locale.

Conclusione

Inizia con un tag Ollama esatto o con un formato NVIDIA supportato dallo sviluppatore, lascia un margine oltre il file dei pesi e prova una singola attività circoscritta. Ripple-65B Preview amplia la scelta di modelli di coding locali. Il suo valore sul tuo hardware dipende dalla capacità di completare attività utili entro i limiti di memoria e latenza.