Uruchom Ripple-65B Preview lokalnie: konfiguracja pamięci RAM, VRAM i agenta do programowania

Ripple-65B Preview można uruchomić lokalnie, ale warto zacząć od komputera z pamięcią wystarczającą na pakiet Ollama o rozmiarze około 39–46 GB oraz środowisko uruchomieniowe, pamięć podręczną i system operacyjny. Karta graficzna z 24 GB pamięci nie pomieści całego pakietu w VRAM. Komputer ze zunifikowaną pamięcią 64 GB może nadawać się do krótkiego testu kontekstu, zależnie od wybranego tagu i rzeczywistego obciążenia pamięci. Większa pula pamięci daje agentowi programistycznemu więcej miejsca na pliki, wyniki testów i historię rozmowy.

Ricursive Intelligence udostępniło ten gęsty model z 65 mld parametrów na licencji Apache 2.0 i publikuje wagi BF16 oraz NVFP4. Ollama dodało Ripple Preview w wersji v0.40.16. Ten przewodnik zaczyna od wyboru komputera i środowiska uruchomieniowego, a następnie pokazuje, jak przetestować rzeczywiste zadanie programistyczne. Podane niżej przedziały pamięci to szacunki pomocne w planowaniu. Opublikowane wyniki testów porównawczych są oznaczone osobno.

Czym Ripple różni się od agenta programistycznego o podobnej nazwie?

Ripple to model. Może proponować zmiany i wywołania narzędzi, a środowisko do pracy z kodem kontroluje, do jakich plików i poleceń model faktycznie ma dostęp. Uruchomienie modelu w tej samej sieci co repozytorium nie daje mu dostępu do Gita. To środowisko decyduje, jak podłączyć obszar roboczy, uruchamiać testy i prosić o zgodę. To rozróżnienie ma znaczenie przy porównywaniu sesji czatu w Ollama z testem porównawczym w terminalu.

W oficjalnej karcie modelu opisano gęsty Transformer z 65 mld parametrów, wytrenowany od podstaw, mający 80 warstw i obsługujący do 1 048 576 tokenów. W gęstej architekturze przy generowaniu każdego tokena wykorzystywany jest cały model. Znaczenie mają przepustowość pamięci i efektywna precyzja wag, nawet gdy checkpoint mieści się w pamięci. Ricursive podaje wynik 80,52 w Terminal-Bench 2.1, uzyskany we własnej konfiguracji testowej. Inny program uruchamiający, kwantyzacja i zestaw testowy mogą zmienić wynik. Szczegóły dotyczące testu porównawczego i architektury znajdziesz w raporcie z premiery.

Ile pamięci RAM lub VRAM należy przeznaczyć?

Przy dwóch bajtach na parametr 65 miliardów parametrów oznacza około 130 GB pamięci na wagi BF16, bez uwzględnienia narzutu środowiska uruchomieniowego. To obliczenie w dziesiętnych GB, a nie pomiar faktycznie przydzielonej pamięci. Podobnie mnożenie przez cztery bity daje przybliżoną dolną granicę rozmiaru spakowanych wag, bez uwzględnienia skal, tensorów przechowywanych z wyższą precyzją ani metadanych pakietu. Przy szacowaniu rozmiaru pobieranych danych korzystaj z rozmiaru konkretnego artefaktu, a przy szacowaniu wymaganej pamięci komputera — z telemetrii środowiska uruchomieniowego.

Wersja NVFP4 dla kart NVIDIA i tag Ollama to różne artefakty. Przed wyborem tego formatu sprawdź oficjalną kartę NVFP4 i potwierdź, jaki stos serwowania oraz architekturę GPU obsługuje. Komputer z wieloma GPU wymaga również środowiska uruchomieniowego, które jawnie obsługuje podział tego punktu kontrolnego. Zsumowanie deklarowanych pojemności dwóch GPU nie wystarczy, by stwierdzić, że model się zmieści lub będzie działał wydajnie.

Które lokalne środowisko uruchomieniowe wybrać?

Najprostsza opcja to strona modelu w Ollama w połączeniu z wersją v0.40.16 lub nowszą zgodną wersją. Przed pobraniem sprawdź na stronie aktualny tag, rozmiar pakietu i informacje o obsługiwanych platformach. Aby wykonać prosty test, uruchom:

ollama run ripple-preview
ollama ps

Pierwsze polecenie pobiera model, jeśli jest potrzebny, i uruchamia sesję. Drugie pomaga sprawdzić rozmieszczenie i załadowany kontekst. Wersja na komputery Apple z układem Apple Silicon zawiera specjalną ścieżkę MLX dla Ripple. Jeśli chcesz odtworzyć wyniki dewelopera uzyskane na kartach NVIDIA, skorzystaj z aktualnych instrukcji na stronie modelu i zapisz pełną konfigurację serwowania. Wyniki dla różnych formatów można porównywać dopiero po uwzględnieniu różnic w jądrach, precyzji i dekodowaniu z modelem pomocniczym.

Zostaw miejsce na magazyn modeli, tymczasowo pobierany plik, kopię repozytorium i artefakty testów. Na hostach, które obsługują też magazyn danych lub kopie zapasowe, sprawdź dysk, na którym faktycznie znajduje się pamięć podręczna środowiska uruchomieniowego. Niemal pełny dysk SSD może przerwać pierwsze pobieranie, nawet jeśli nominalny rozmiar modelu wydaje się bezpieczny.

Co oznacza kontekst o długości miliona tokenów na lokalnej maszynie?

To obsługiwany przez dany checkpoint limit kontekstu, a nie przydatne ustawienie początkowe. Agent kodujący może przekazywać modelowi setki plików, wyniki poleceń powłoki i poprzednią rozmowę. Takie dane wejściowe zwiększają alokację pamięci podręcznej i wydłużają czas do wygenerowania pierwszego tokenu. Długie prefiksy spowalniają też pętlę informacji zwrotnej, jeśli środowisko wielokrotnie przesyła stare logi.

Zacznij od celowo niewielkiego zestawu danych wejściowych i jednego zadania. Korzystaj ze stałej migawki repozytorium, zbierz pomiar szczytowego zużycia pamięci po załadowaniu, a następnie ponownie pod koniec najdłuższego promptu. Stopniowo zwiększaj kontekst, krok po kroku. Obserwuj faktyczne zużycie pamięci rezydentnej lub obciążenie pamięci zunifikowanej i sprawdzaj, czy intensywne korzystanie z pliku wymiany się utrzymuje. Przed zwiększeniem kontekstu usuń zbędne logi testów. Opisane w tym przewodniku po lokalnym wdrożeniu Qwen3.8-27B kompromisy stanowią dobry punkt odniesienia dla mniejszego modelu.

Jak przetestować rzeczywistą sesję kodowania?

Utwórz tymczasową kopię repozytorium i wybierz ograniczone zadanie: wyjaśnij, dlaczego test nie przechodzi, wskaż powiązane pliki i zaproponuj poprawkę. Korzystaj wyłącznie z danych z repozytorium syntetycznego lub zatwierdzonego do użycia. Udostępnij środowisku listę plików, które może odczytywać, oraz krótką listę dozwolonych lokalnie poleceń testowych. Przejrzyj diff i niezależnie uruchom testy, zanim zaufasz wynikowi. Ten przewodnik po Git worktree wyjaśnia, jak odseparować eksperymenty od głównej kopii repozytorium.

Zanotuj czas do pierwszej użytecznej odpowiedzi, szybkość generowania po wypełnieniu kontekstu, szczytowe zużycie pamięci oraz to, czy proponowana zmiana przechodzi testy. Uwzględnij w porównaniu nieudaną lub uciętą próbę. Jeśli model przez pięć minut generuje wiarygodną, ale bezużyteczną poprawkę, maksymalna liczba tokenów na sekundę ukryje problem. Drugim przydatnym zadaniem jest przegląd niewielkiego diffu bez edytowania plików. Dzięki temu sprawdzisz, czy ta sama maszyna przyda się do mniej ryzykownych zadań związanych z przeglądem kodu.

Kiedy lokalny model 65B uzasadnia zakup mocniejszego komputera?

Wybierz Ripple, jeśli możesz zapewnić mu odpowiednie zasoby i masz zadanie, w którym przyda się jego sposób pracy z kodem. Mniejszy checkpoint mieszczący się w pamięci akceleratora może zapewnić lepsze codzienne działanie na komputerze o ograniczonych zasobach. Długie zadania wymagają osobnego podejścia niż szybkie pytania: przepustowość, swap i ruch w tle związany z pamięcią masową kumulują się podczas sesji agenta.

Jeśli NAS przechowuje migawki repozytorium i wyniki, oddziel te usługi pamięci masowej od budżetu obliczeniowego modelu. Zamontuj tylko dane wejściowe wymagane przez zadanie, a zapisy kieruj do katalogu eksperymentu. Więcej informacji znajdziesz w artykule co wpływa na lokalne zapotrzebowanie Kimi K3 na pamięć.

FAQ

Czy Ripple wymaga karty NVIDIA?

Nie każda lokalna konfiguracja wymaga GPU jednego producenta. Ollama obsługuje ścieżkę MLX na układach Apple silicon. Instrukcje dotyczące precyzji i akceleracji dla NVIDIA odnoszą się do zgodnego stosu NVIDIA wskazanego przez dewelopera modelu.

Czy karta RTX 4090 pomieści cały model?

Opisany wyżej pakiet Ollama przekracza budżet 24 GB VRAM jeszcze przed uwzględnieniem narzutu podczas inferencji. Offload do CPU to osobna konfiguracja o innym profilu wydajności.

Czy rozmiar pliku do pobrania odpowiada szczytowemu zużyciu pamięci?

Nie. Środowisko uruchomieniowe, alokator, procesy narzędzi, pamięć podręczna mechanizmu attention i system operacyjny mają wpływ na szczytowe zużycie pamięci. Rozmiar pliku do pobrania to przydatny punkt wyjścia do planowania miejsca na dysku.

Czy maksymalna deklarowana długość kontekstu to właściwe ustawienie początkowe?

Zacznij od najkrótszego kontekstu, który pozwala wykonać zadanie, a następnie mierz czas przetwarzania prefiksu i zużycie pamięci, stopniowo go zwiększając. Obsługa pełnego kontekstu nie oznacza, że lokalnie uzyskasz praktyczną przepustowość.

Czy Terminal-Bench pozwala oszacować wyniki dla mojego repozytorium?

Wykorzystaj wyniki do zrozumienia oceny dewelopera, a następnie przetestuj własne obciążenie za pomocą ustalonego zestawu testowego, limitów i środowiska uruchomieniowego. Podany wynik testu porównawczego nie gwarantuje takich samych rezultatów lokalnie.

Wnioski

Zacznij od dokładnego tagu Ollama lub formatu NVIDIA obsługiwanego przez dewelopera, zostaw zapas pamięci ponad rozmiar pliku z wagami i przetestuj jedno ograniczone zadanie. Ripple-65B Preview poszerza wybór lokalnych modeli do kodowania. To, jak sprawdzi się na Twoim sprzęcie, zależy od tego, czy zdoła wykonać przydatną pracę w ramach dostępnej pamięci i budżetu opóźnień.