Ripple-65B Preview lokal ausführen: RAM-, VRAM- und Coding-Agent-Einrichtung

Ripple-65B Preview kann lokal ausgeführt werden. Sinnvoll ist jedoch ein Rechner mit genügend Speicher für ein etwa 39–46 GB großes Ollama-Paket zuzüglich Laufzeitumgebung, Cache und Betriebssystem. Eine Grafikkarte mit 24 GB kann das Paket nicht vollständig im VRAM unterbringen. Ein Rechner mit 64 GB gemeinsam genutztem Speicher kommt für einen Test mit kurzem Kontext infrage, abhängig vom ausgewählten Tag und der tatsächlichen Speicherauslastung. Ein größerer Speicherpool bietet einem Coding-Agenten mehr Platz, um Dateien, Testausgaben und Gesprächsverlauf bereitzuhalten.

Ricursive Intelligence hat dieses dichte Modell mit 65B Parametern unter Apache 2.0 veröffentlicht und stellt BF16- und NVFP4-Gewichte bereit. Ollama hat Ripple Preview in v0.40.16 hinzugefügt. Dieser Leitfaden beginnt mit der Entscheidung für Rechner und Laufzeitumgebung und zeigt anschließend, wie sich eine echte Coding-Aufgabe testen lässt. Die folgenden Speicherklassen sind Richtwerte für die Planung. Veröffentlichte Benchmark-Ergebnisse sind gesondert gekennzeichnet.

Was unterscheidet Ripple von einem ähnlich benannten Coding-Agenten?

Ripple ist das Modell. Es kann Änderungen und Tool-Aufrufe vorschlagen, während ein Coding-Harness steuert, auf welche Dateien und Befehle es tatsächlich zugreifen kann. Das Modell erhält nicht allein dadurch Git-Zugriff, dass es im selben Netzwerk wie ein Repository läuft. Das Harness bestimmt, wie der Arbeitsbereich eingebunden und Tests ausgeführt werden und wann eine Genehmigung angefordert wird. Dieser Unterschied ist wichtig, wenn man eine Ollama-Chat-Sitzung mit einem Terminal-Benchmark vergleicht.

Die offizielle Modellkarte beschreibt einen dichten Transformer mit 65B Parametern, der von Grund auf trainiert wurde, 80 Schichten umfasst und bis zu 1.048.576 Tokens unterstützt. Bei einer dichten Architektur kommt das gesamte Modell bei jedem generierten Token zum Einsatz. Speicherbandbreite und effektive Gewichtspräzision sind auch dann wichtig, wenn der Checkpoint in den Speicher passt. Ricursive gibt für Terminal-Bench 2.1 in seinem eigenen Testaufbau einen Wert von 80,52 an. Ein anderer Runner, eine andere Quantisierung und ein anderes Test-Setup können das Ergebnis verändern. Benchmark- und Architekturdetails finden Sie im Ankündigungsbericht.

Wie viel RAM oder VRAM sollten Sie einplanen?

Bei zwei Byte pro Parameter benötigen 65 Milliarden Parameter ungefähr 130 GB Speicherplatz für BF16-Gewichte, noch ohne Laufzeit-Overhead. Dabei handelt es sich um eine Rechnung mit dezimalen GB, nicht um eine gemessene Speicherbelegung. Ebenso ergibt die Multiplikation mit vier Bit einen groben unteren Grenzwert für gepackte Gewichte, ohne Skalierungsfaktoren, Tensoren mit höherer Präzision oder Paketmetadaten. Verwende für die Einschätzung des Downloads die Größe des tatsächlichen Artefakts und für den Speicherbedarf des Rechners die Laufzeit-Telemetrie.

Eine NVIDIA-NVFP4-Version und ein Ollama-Tag sind unterschiedliche Artefakte. Prüfe die offizielle NVFP4-Modellkarte, bevor du dieses Format auswählst, und vergewissere dich, welche Serving-Umgebung und GPU-Architektur dafür vorgesehen sind. Ein Host mit mehreren GPUs benötigt außerdem eine Laufzeitumgebung, die das Aufteilen dieses Checkpoints ausdrücklich unterstützt. Die beworbenen Kapazitäten zweier GPUs zu addieren, reicht nicht aus, um festzustellen, ob ein Modell darauf passt oder effizient läuft.

Welche lokale Laufzeitumgebung solltest du wählen?

Am unkompliziertesten ist die Ollama-Modellübersicht in Verbindung mit v0.40.16 oder einer kompatiblen neueren Version. Prüfe in der Übersicht vor dem Herunterladen das aktuelle Tag, die Paketgröße und die Hinweise zur Plattform. Für einen einfachen Test führst du Folgendes aus:

ollama run ripple-preview
ollama ps

Der erste Befehl lädt das Modell bei Bedarf herunter und startet eine Sitzung. Mit dem zweiten kannst du die Platzierung und den geladenen Kontext anzeigen. Auf Apple-Silicon-Geräten enthält die Veröffentlichung einen speziellen MLX-Pfad für Ripple. Wenn du stattdessen die NVIDIA-Ergebnisse des Entwicklers reproduzieren möchtest, befolge die aktuellen Anweisungen auf der Modellkarte und erfasse die vollständige Serving-Konfiguration. Ergebnisse verschiedener Formate sind erst vergleichbar, wenn unterschiedliche Kernels, Präzisionen und Draft-Decoding berücksichtigt werden.

Lass Platz für den Modellspeicher, einen temporären Download, deinen Checkout und Testartefakte. Prüfe bei Hosts, auf denen auch Speicher- oder Backup-Dienste laufen, das Laufwerk, auf dem sich der Cache des Runners tatsächlich befindet. Eine fast volle SSD kann einen ersten Download unterbrechen, selbst wenn die nominelle Modellgröße unproblematisch erscheint.

Was bedeutet ein Kontext mit einer Million Tokens auf einem lokalen Rechner?

Das ist das vom Checkpoint unterstützte Kontextlimit, nicht ein sinnvoller erster Einstellungswert. Ein Coding-Agent kann dem Modell Hunderte von Dateien, Shell-Ausgaben und den vorherigen Gesprächsverlauf übergeben. Diese Eingabe erhöht den Cache-Speicherbedarf und die Zeit bis zum ersten generierten Token. Lange Präfixe verlangsamen außerdem die Feedback-Schleife, wenn der Harness wiederholt alte Protokolle sendet.

Beginne mit einer bewusst kleinen Eingabe und einer einzigen Aufgabe. Verwende einen unveränderten Repository-Snapshot, erfasse den maximalen Speicherbedarf nach dem Laden und erneut am Ende des längsten Prompts und erweitere den Kontext dann Schritt für Schritt. Beobachte den tatsächlich belegten Arbeitsspeicher oder die Auslastung des Unified Memory und achte auf anhaltendes Swapping. Lösche unnötige Testprotokolle, bevor du den Kontext vergrößerst. Die Abwägungen in diesem Leitfaden zur lokalen Bereitstellung von Qwen3.8-27B bieten einen nützlichen Ausgangspunkt für ein kleineres Modell.

Wie testet man eine echte Coding-Session?

Erstelle einen Wegwerf-Checkout und wähle eine klar abgegrenzte Aufgabe: einen fehlschlagenden Test erklären, die betroffenen Dateien identifizieren und einen Patch vorschlagen. Verwende nur synthetische oder freigegebene Repository-Daten. Gib dem Harness eine Liste der Dateien, die es lesen darf, und eine kurze Positivliste lokaler Testbefehle. Prüfe den Diff und führe die Tests selbstständig aus, bevor du dem Ergebnis vertraust. In dieser Anleitung zu Git-Worktrees erfährst du, wie du Experimente von einem Haupt-Checkout getrennt hältst.

Erfasse die Zeit bis zur ersten nützlichen Antwort, die Generierungsgeschwindigkeit nach dem Prefill, den maximalen Speicherbedarf und ob die vorgeschlagene Änderung den Test besteht. Berücksichtige fehlgeschlagene oder abgebrochene Versuche im Vergleich. Wenn ein Modell fünf Minuten lang einen plausibel wirkenden, aber unbrauchbaren Patch generiert, verschleiert eine Spitzenrate in Tokens pro Sekunde das Problem. Eine zweite nützliche Aufgabe ist, einen kleinen Diff zu prüfen, ohne Dateien zu bearbeiten. So erkennst du, ob sich dieselbe Maschine auch für risikoärmere Review-Aufgaben eignet.

Wann lohnt sich ein größeres System für ein lokales 65B-Modell?

Nutze Ripple, wenn du ihm genügend Ressourcen zur Verfügung stellen kannst und einen Workload hast, der von seinem Coding-Verhalten profitiert. Ein kleinerer Checkpoint, der vollständig im Beschleunigerspeicher bleibt, kann auf einem leistungsschwachen Desktop im Alltag die bessere Wahl sein. Lange Läufe erfordern eine andere Planung als kurze Fragen: Bandbreite, Swap und Hintergrundzugriffe auf den Speicher summieren sich im Laufe einer Agentensitzung.

Wenn ein NAS deine Repository-Snapshots und Ergebnisse speichert, halte diese Speicherdienste unabhängig vom Rechenbudget des Modells. Binde nur die für den Auftrag erforderlichen Eingaben ein und speichere Ausgaben in einem Experimentverzeichnis. Einen umfassenderen Vergleichspunkt findest du unter den Ursachen für den lokalen Speicherbedarf von Kimi K3.

FAQ

Benötigt Ripple eine NVIDIA-GPU?

Für lokale Anwendungen ist nicht grundsätzlich eine einzige GPU-Marke erforderlich. Ollama bietet einen MLX-Pfad für Apple Silicon. Die auf NVIDIA ausgerichteten Anweisungen zu Präzision und Beschleunigung gelten für den vom Modellentwickler angegebenen kompatiblen NVIDIA-Stack.

Passt das ganze Modell auf eine RTX 4090?

Das oben beschriebene Ollama-Paket überschreitet schon vor dem Inferenz-Overhead ein VRAM-Budget von 24 GB. CPU-Offloading ist eine separate Konfiguration mit einem anderen Leistungsprofil.

Entspricht die Downloadgröße dem Spitzenverbrauch?

Nein. Laufzeitumgebung, Speicherzuweiser, Tool-Prozesse, Attention-Cache und Betriebssystem beeinflussen allesamt den Spitzenverbrauch. Die Downloadgröße ist ein sinnvoller Ausgangswert für die Speicherplatzplanung.

Ist das beworbene maximale Kontextfenster die richtige Anfangseinstellung?

Beginne mit dem kürzesten Kontext, mit dem die Aufgabe abgeschlossen werden kann, und miss dann Prefill-Zeit und Speicherverbrauch, während du ihn vergrößerst. Die Unterstützung des vollen Kontexts garantiert keinen praktikablen lokalen Durchsatz.

Ist Terminal-Bench ein Richtwert für mein eigenes Repository?

Nutze die Bewertung des Entwicklers zur Orientierung und teste dann deinen eigenen Workload mit einem festen Testaufbau, klaren Grenzen und einer festgelegten Laufzeit. Der gemeldete Benchmark ist keine Garantie für die Ergebnisse auf deinem lokalen System.

Fazit

Beginne mit einem exakten Ollama-Tag oder einem vom Entwickler unterstützten NVIDIA-Format, plane zusätzlich zur Größe der Modelldatei genügend Spielraum ein und teste eine klar begrenzte Aufgabe. Ripple-65B Preview erweitert die Auswahl lokaler Coding-Modelle. Ob es sich auf deiner Hardware lohnt, hängt davon ab, ob es innerhalb deines Speicher- und Latenzbudgets nützliche Arbeit erledigen kann.