So misst du die Latenz von Mercury 3 über Tokens pro Sekunde hinaus

Messen Sie Mercury 3 vom Start einer Aufgabe bis zu dem Zeitpunkt, an dem die Ausgabe verwendbar ist. Erfassen Sie die Zeit bis zur ersten Antwort, die Zeit bis zur vollständigen Antwort und die Gesamtzeit einschließlich der Tools. Tokens pro Sekunde beschreibt einen Teil der Generierung; dabei können die Wartezeit vor der Ausgabe und die nach Abschluss des Modells erforderlichen Arbeiten unberücksichtigt bleiben.

Verwenden Sie ein kleines Testbeispiel mit klaren Abnahmekriterien und halten Sie Prompt, Eingabedateien, Tool-Umgebung und Modelleinstellungen fest. Das reicht aus, um grundlegendes Verhalten festzustellen und Engpässe aufzudecken. Erweitern Sie den Test nur, wenn ein Fehler auftritt oder für eine knappe Entscheidung weitere Belege erforderlich sind.

Welche Zeitstempel sollte ich erfassen?

Verwenden Sie für Zeitspannen einen monotonen Client-Timer und notieren Sie, ob Streaming aktiviert ist. Halten Sie beim Vergleich von Anbietern die Bedingungen für den Verbindungsaufbau und die Wiederverwendung von Verbindungen gleich. Leiten Sie das Verhalten beim Empfang des ersten Tokens nicht aus einer Anfrage ohne Streaming ab.

Wie wähle ich einen fairen Test-Prompt aus?

Wählen Sie eine konkrete, klar begrenzte Aufgabe: bestimmte Felder aus einem freigegebenen Dokument extrahieren oder eine kleine Änderung in einem kopierten Repository vornehmen. Verwenden Sie bei jedem Durchlauf dieselbe Eingabe und dieselbe geforderte Ausgabe. Notieren Sie die Modellkennung, die Einstellung für den Aufwand und das Ausgabelimit, damit die Ergebnisse aussagekräftig bleiben.

Die Übersicht zu Mercury 3 erklärt, warum Durchsatzangaben von Anbietern diese Messung auf Aufgabenebene nicht ersetzen.

Wie wirken sich Tools auf das Ergebnis aus?

Trennen Sie die Wartezeit auf das Modell von der Ausführungszeit der Tools. Ein langsamer NAS-Lesezugriff, die Navigation auf einer Seite oder eine externe Suche können eine mehrstufige Aufgabe dominieren. Zählen Sie Wiederholungsversuche, fehlerhafte Tool-Argumente und wiederholte Dateizugriffe, statt die für erfolglose Versuche aufgewendete Zeit zu ignorieren.

Verwenden Sie die Checkliste für den Agent-Harness, um festzustellen, welche Komponente für die jeweilige Verzögerung verantwortlich ist. Macht der Modellaufruf nur einen kleinen Teil der Aufgabe aus, bringt es möglicherweise mehr, den Speicherzugriff oder den Aufgabenzuschnitt zu verbessern, als die Generierungsarchitektur zu ändern.

Wie viele Durchläufe brauche ich?

Ein einzelner Durchlauf eignet sich, um die Verbindung und offensichtliche Korrektheitsprobleme zu prüfen. Einige konsistente Wiederholungen können deutliche praktische Unterschiede aufzeigen, rechtfertigen jedoch keine präzisen Zuverlässigkeitsaussagen oder stabilen Perzentilwerte für die Randbereiche. Erfasse nur dann mehr Beobachtungen, wenn es die Risiken des Einsatzes oder eine knappe Leistungsentscheidung erfordern.

Mache Fehlschläge immer sichtbar. Ein schneller erfolgreicher Durchlauf, der aus mehreren fehlgeschlagenen Versuchen ausgewählt wurde, ist kein repräsentativer Beleg. Die Anleitung zur gezielten Workflow-Prüfung bietet einen unkomplizierten Ansatz zur Abnahme.

Was sollte ich neben der Latenz angeben?

Gib an, ob das Artefakt die Prüfung bestanden hat, welche Nutzungsgebühren angefallen sind, wie viele Tool-Aufrufe es gab und welche manuellen Korrekturen vorgenommen wurden. Nenne außerdem Umgebung und Datum. Wenn ein Durchlauf in einen Timeout lief, erfasse ihn als Timeout, statt ihm einen attraktiv wirkenden Geschwindigkeitswert zuzuweisen.

Bewahre bei NAS-Dateien die Testdaten und die akzeptierte Ausgabe in getrennten Verzeichnissen auf. Nutze den Architekturvergleich, um zu entscheiden, was die Messwerte bedeuten, und die Anleitung zur Dateivorbereitung, damit die Datenexposition beim Pilotprojekt begrenzt bleibt.

Häufig gestellte Fragen

Kann ich Tokens pro Sekunde verschiedener Tokenizer direkt vergleichen?

Betrachte solche Werte mit Vorsicht. Token-Definitionen, Ausgabeinhalte und Messbedingungen können sich je nach Anbieter unterscheiden.

Was, wenn die API kein Streaming unterstützt?

Miss die Dauer bis zur vollständigen Antwort und den Aufgabenerfolg. Behaupte keine Zeit bis zum ersten Token, wenn dein Client diese nicht erfassen kann.

Sollten fehlgeschlagene Durchläufe ausgeschlossen werden?

Nein. Erfasse Timeouts, Wiederholungsversuche und abgelehnte Artefakte, da sie sich auf die praktische Bearbeitungszeit und die Kosten auswirken.

Brauche ich vor einem Pilotprojekt einen umfangreichen Benchmark?

Nein. Beginne mit einer kleinen, repräsentativen Aufgabe und erweitere die Messungen nur, wenn eine relevante Unsicherheit dies erfordert.

Weiterführende Lektüre

• Mercury 3 erklärt: Warum Diffusions-Sprachmodelle für schnelle KI-Workflows wichtig sind
• Diffusions- vs. autoregressive LLMs: Was passt besser zu deinem persönlichen KI-Workflow?

Quellen

• Offizielle Ankündigung und Modelldokumentation — www.inceptionlabs.ai
• Technische Dokumentation und Referenz — docs.inceptionlabs.ai

Titelbild: Offizielles Ankündigungsbild von Mercury 3. Bildquelle.