GPT-6 Astra vs. Claude, Gemini, Qwen und DeepSeek: Wer gewinnt den Pelikan-Fahrradtest?

GPT-6 Astra erzeugt einen der bisher überzeugendsten Pelikane, aber der Pelikan-Fahrradtest wird noch interessanter, wenn man ihn mit Claude Fable 5.1, Gemini 3.8 Flash, Qwen 3.8, DeepSeek V4, Kimi K3 und GLM-5.3-Flash vergleicht. Eine einzeilige Aufforderung, ein SVG eines Pelikans auf einem Fahrrad zu erzeugen, zwingt ein Sprachmodell dazu, Wörter in Code, Geometrie, Anatomie, Objektbeziehungen und eine Szene zu übersetzen, deren Fehler sofort sichtbar sind.

Die neuesten Ergebnisse zeigen, dass es keinen eindeutigen Sieger gibt. GPT-6 Astra hebt die Qualitätsuntergrenze an, Claude kann deutlich mehr Reasoning aufwenden, um Geometrie zu reparieren, Gemini liefert eine außergewöhnliche visuelle Ausarbeitung, Qwen zeigt, wie nahe lokale Modelle herankommen können, und DeepSeek demonstriert, wie stark Reasoning-Einstellungen die Ausgabe eines einzelnen Modells verändern können. Die tool-gestützten Animationen von GLM und DeepSeek zeigen erneut etwas anderes: Sobald ein Agent sein eigenes Ergebnis prüfen und iterativ verbessern kann, misst der Test nicht mehr nur das Modell.

Ergebnisse des Pelikan-Fahrradtests im Überblick

Dies ist keine wissenschaftliche Rangliste. Die öffentlichen Durchläufe wurden zu unterschiedlichen Zeitpunkten mit unterschiedlichen APIs, Reasoning-Einstellungen, Quantisierungen und – in einigen Fällen – unterschiedlichen Tool-Umgebungen durchgeführt.

Der belastbarere Vergleich ist das Verhalten. Hat das Fahrrad einen kohärenten Rahmen? Erreichen die Füße die Pedale? Interagiert der Vogel tatsächlich mit dem Lenker? Korrigiert zusätzliches Reasoning diese Beziehungen oder fügt es lediglich weitere Dekorationen hinzu?

Was misst der Pelican-Bicycle-Test tatsächlich?

Der ursprüngliche Prompt ist bewusst minimal:

Generiere ein SVG eines Pelikans, der Fahrrad fährt.

Eine überzeugende Antwort zu erzeugen, erfordert das gleichzeitige Zusammenspiel mehrerer Fähigkeiten. Das Modell muss gültiges SVG schreiben, ein erkennbares Fahrrad konstruieren, die Anatomie eines Pelikans annähern, den Vogel im richtigen Teil der Szene platzieren und separate Objekte visuell plausibel miteinander interagieren lassen.

Das macht den Test nützlich, um Folgendes zu beobachten:

• Generierung von SVG- und Frontend-Code,
• Objektgeometrie,
• räumliche Komposition,
• anatomische Konsistenz,
• Interaktion zwischen Objekten,
• Befolgung von Anweisungen,
• und die Effizienz des Reasoning-Aufwands.

Er misst nicht direkt faktische Genauigkeit, wissenschaftliches Reasoning, Programmierung auf Repository-Ebene, Zuverlässigkeit von Agenten, Fachwissen oder allgemeine Intelligenz.

Simon Willison, der den Prompt wiederholt über mehrere Modellgenerationen hinweg verwendet hat, ist ebenfalls vorsichtiger geworden. Er betrachtet ihn inzwischen in erster Linie als schnellen Verhaltenstest und als nützliche Möglichkeit, Veröffentlichungen innerhalb derselben Modellfamilie zu vergleichen, nicht als universellen Intelligenz-Benchmark.

Seine Analyse des Kimi-K3-Pelicans warnt ausdrücklich davor, einzelne Pelican-Ausgaben als ernst zu nehmende Modellrangliste zu betrachten.

Diese Einschränkung ist wichtig, weil moderne Modelle inzwischen gut genug sind, dass der visuelle Geschmack das Ergebnis zunehmend beeinflusst. Sobald jede Ausgabe einen erkennbaren Vogel und ein Fahrrad enthält, kann ein schöner Sonnenuntergang oder ein Fischkorb ein Bild intelligenter wirken lassen, selbst wenn ein anderes Modell über eine genauere Geometrie verfügt.

Wie schnitt GPT-6 Astra beim Pelican-Bicycle-Test ab?

Das wichtigste Ergebnis von GPT-6 Astra ist nicht einfach, dass Max beeindruckend aussieht. Entscheidend ist, dass bereits Low einen deutlich besseren Pelican erzeugt als die vorherige GPT-5.6-Familie.

Willison testete Astra mit den Reasoning-Stufen Low, Medium, High, XHigh und Max. Die aufgezeichnete Anzahl der Ausgabetoken stieg von 1.906 bei Low auf 12.638 bei Max.

Willisons stärkste Beobachtung war, dass Astra Low besser aussah als jeder GPT-5.6 Sol Pelican, den er bei beliebigem Reasoning-Level generiert hatte. Dadurch geht es hier weniger um maximales Reasoning als um einen generationsübergreifenden Anstieg der visuellen Programmierfähigkeiten auf Basisebene.

Das Fahrrad wird kohärenter, der Pelikan wird erkennbar in das Fahrzeug integriert, und die gesamte Szene erfordert vom Betrachter weniger Interpretation.

Doch die Aufgabe ist noch nicht vollständig gelöst. Unterhalb von Max positionierte Astra die beiden Beine nicht zuverlässig auf gegenüberliegenden Seiten des Fahrradrahmens.

Genau deshalb bleibt dieser alberne Benchmark nützlich. Eine ausgefeilte Ausgabe kann sofort einen Eindruck von Kompetenz vermitteln, während eine kleine Beziehung wie die Beinposition offenlegt, ob die Szene strukturell konsistent ist.

Astra scheint die Komposition besser zu verstehen, aber der Pelikan-Test kann nicht belegen, dass es ein menschenähnliches physikalisches Modell des Fahrradfahrens aufrechterhält.

GPT-6 Astra erschien ebenfalls in der Entwicklerdemo von OpenAI

Die Entwicklerpräsentation von OpenAI zu GPT-6 Astra enthält beim Demonstrieren umfangreicherer visueller und 3D-Generierung eine weitere Pelikan-Referenz. Dies ist nicht derselbe kontrollierte SVG-Durchlauf und sollte daher als ergänzender Beleg und nicht als Teil des Vergleichs betrachtet werden.

Zusätzliches visuelles GPT-6-Astra-Beispiel aus der Entwicklerpräsentation von OpenAI. Es sollte nicht direkt mit dem kontrollierten SVG-Raster verglichen werden.

Claude Fable 5.1: Führt mehr Nachdenken zu einem besseren Pelikan?

Claude Fable 5.1 zeigt, dass zusätzliche Schlussfolgerungen geometrische Beziehungen verbessern können – aber auch, wie schnell die Kosten einer einfachen visuellen Aufgabe explodieren können.

Low und Medium waren nach ungefähr 23 Sekunden fertig und kosteten jeweils etwa zehn Cent. High benötigte etwa 29,6 Sekunden.

Dann änderte sich die Kurve dramatisch.

Das Max-Ergebnis verbessert wichtige Details tatsächlich. Die beiden Beine sind sichtbar auf beiden Seiten des Fahrradrahmens positioniert, die Füße erreichen die Pedale, ein Flügel reicht bis zum Lenker, und der Fahrradgeometrie wird deutlich mehr bewusste Aufmerksamkeit gewidmet.

Der Schlussfolgerungsverlauf ist besonders aufschlussreich, weil Fable Teile der Zeichnung aktiv neu überdachte. Es bemerkte Probleme an der Geometrie der vorderen Gabel, überlegte die Helmposition im Bereich des Schnabels neu und prüfte wiederholt, ob dekorative Elemente mit dem Rest der Szene kollidieren würden.

Das liefert uns eine seltene sichtbare Verbindung zwischen mehr Schlussfolgerungen und einem intern konsistenteren Artefakt.

Der Kostenunterschied ist jedoch enorm.

Die nützliche Frage ist nicht, ob Max besser ist. Es geht darum, ob ein Pelikan von fast 14 Minuten wertvoll genug ist, um mehr als das 30-Fache der Kosten von Low zu rechtfertigen.

Claudes Pelikan wurde anschließend in einem zweiten Durchgang animiert

Die öffentliche Animation wurde nicht durch den ursprünglichen Pelican-Prompt erstellt. Willison nahm das Max-SVG und gab es mit einer separaten Anweisung an Fable 5.1 zurück, um das vorhandene Artefakt zu animieren.

Dieser zweite Durchlauf verwendete 6.121 Eingabetoken und 26.201 Ausgabetoken und verursachte zusätzliche aufgezeichnete Kosten von etwa 1,37 $.

Da die Animation eine zweite Aufgabe war, sollte sie nicht direkt mit den statischen Ergebnissen anderer Modelle aus einem einzigen Durchlauf verglichen werden. Sie ist dennoch nützlich, um zu zeigen, was passiert, wenn das Modell die Geometrie beibehalten und gleichzeitig Bewegung einführen muss.

Das ursprüngliche animierte Pelikan-Video von Claude Fable 5.1 ansehen.

Gemini 3.8 Flash: Bedeutet visuelles Flair auch besseres Verständnis?

Gemini 3.8 Flash sticht aus einem anderen Grund hervor: Es lässt den Benchmark wie Illustrationsarbeit statt wie eine Geometrieübung wirken.

Das High-Ergebnis zeigt ein türkisfarbenes Cruiser-Fahrrad, einen roten Schal mit weißen Punkten, einen Fischkorb, eine Strandpromenade und einen leuchtenden Hintergrund am Meer.

Es ist auf Anhieb attraktiv.

Damit ist Gemini ein nützliches Beispiel für ein Problem visueller Benchmarks: Menschen belohnen Stil ganz natürlich.

Eine ausgefeiltere Komposition kann intelligenter wirken, bevor wir prüfen, ob sich der Fahrradrahmen korrekt schließt, ob der Fuß tatsächlich das Pedal erreicht oder ob der Körper des Pelikans im Verhältnis zum Sattel konsistent positioniert ist.

Visuelle Ausarbeitung ist eine echte Fähigkeit, aber visuelle Ausarbeitung und physische Konsistenz sind unterschiedliche Fähigkeiten.

Mit der Weiterentwicklung der Modelle misst der Pelikan-Test zunehmend beides. Dadurch sind einfache Ranglisten der Gewinner weniger aussagekräftig, als die konkreten Arten zu untersuchen, in denen die einzelnen Modelle erfolgreich sind oder scheitern.

Qwen 3.8 27B: Kann ein 17-GB-lokales Modell mit den fortschrittlichsten Pelikan-Modellen konkurrieren?

Qwen 3.8 27B könnte für Nutzer lokaler KI das wichtigste Ergebnis sein, weil es sich dabei nicht um ein riesiges, ausschließlich in der Cloud verfügbares Modell handelte.

Willison führte lokal eine etwa 17 GB große, mit Q4_K_M quantisierte Version über LM Studio aus, einschließlich Experimenten auf lokaler Hardware mit viel Arbeitsspeicher.

Das Ergebnis ist ungewöhnlich stimmig für ein Modell, das sich in eine etwa 17 GB große quantisierte Datei packen lässt.

Das Fahrrad hat die erwartete Rahmenform. Die beiden Beine befinden sich auf entgegengesetzten Seiten des Fahrrads – eine für viele Modelle überraschend schwierige räumliche Beziehung. Der Pelikan hat einen klar erkennbaren Kehlsack, sein Flügel reicht bis zum Lenker, und die Bewegungslinien sind dahinter platziert, statt die Szene zu durchschneiden.

Willison bezeichnete es damals als die beste Pelikan-SVG-Datei, die er lokal erzeugt hatte.

Doch es gibt einen wichtigen Haken.

Qwen 3.8 27B zerdachte die Aufgabe massiv.

Auf der standardmäßigen xhigh-Schlussfolgerungsstufe benötigte das Modell etwa 21 Minuten. Es verwendete 22.276 Schlussfolgerungstoken, bevor es 3.223 finale Ausgabetoken erzeugte.

Bei deaktiviertem Schlussfolgern sank die Generierungszeit auf etwas mehr als zwei Minuten, doch die Ausgabe wurde merklich schlechter.

Der Rahmen wurde schwächer, die Füße verfehlten die Pedale, und das Modell unternahm keinen ernsthaften Versuch mehr, den Flügel mit dem Lenker zu verbinden.

Das ergibt nahezu die gegenteilige Geschichte zu GPT-6 Astra.

Astras beeindruckendste Eigenschaft ist, dass Low bereits stark ist. Qwen 3.8 27B zeigt, wie viel visuelle Qualität sich aus vergleichsweise kompakter lokaler Hardware herausholen lässt, wenn das Modell viel Zeit zum Schlussfolgern aufwenden darf.

Es ist kein Beleg dafür, dass ein 17-GB-Modell GPT-6 insgesamt eingeholt hat. Es ist ein Beleg dafür, dass „klein genug für den lokalen Betrieb“ und „in der Lage, anspruchsvolle strukturierte Ausgaben zu erzeugen“ nicht länger unvereinbar sind.

Qwen 3.8 Flash-Next: Was kann ein MoE-Modell mit 6B aktiven Parametern zeichnen?

Qwen 3.8 Flash-Next liefert einen weiteren Datenpunkt für lokale KI aus einer völlig anderen Architektur.

Das Modell verfügt insgesamt über 125 Milliarden Parameter, aktiviert jedoch für jedes Token ungefähr 6 Milliarden Parameter. Dieser Unterschied kann den Rechenbedarf senken, obwohl der vollständige Gewichtssatz weiterhin deutlich größer als 6B ist.

Das Xhigh-Ergebnis zeigt eine ausgearbeitete Szene. Der Pelikan sitzt über einem roten Fahrrad, ein Fisch befindet sich im vorderen Korb, und das Fahrrad selbst behält eine erkennbare Struktur bei, anstatt in unverbundene Bögen und Rohre zu zerfallen.

Interessant an diesem Ergebnis ist nicht, ob es schöner ist als Gemini oder Astra.

Sparse-MoE-Modelle machen einfache Vergleiche anhand der Parameterzahl weniger aussagekräftig.

Ein 125B-Modell mit etwa 6B aktiven Parametern verhält sich nicht wie ein herkömmliches dichtes 6B-Modell und weist auch nicht dieselben Speicher- und Arbeitsspeichereigenschaften auf.

Der Pelikan demonstriert die Leistungsseite dieser Gleichung: Mit relativ geringer aktivierter Rechenleistung kann er dennoch eine überraschend anspruchsvolle strukturierte Szene koordinieren.

Qwen 3.8 Max: Was ändert sich, wenn das Modell deutlich größer wird?

Qwen 3.8 Max bietet einen nützlichen Vergleich im oberen Leistungsbereich innerhalb derselben größeren Modellfamilie.

Das Ergebnis ist sauber und leicht zu analysieren. Die Beine reichen bis in den Pedalbereich, das Fahrrad hat eine konventionelle Form, und die Gesamtszene bleibt einfach genug, damit die Geometrie lesbar bleibt.

Qwen Max unterstreicht jedoch eine weitere Erkenntnis aus dem Test:

Ein größeres Modell sollte nicht automatisch eine höhere Bewertung erhalten, nur weil es größer ist.

Für praktische lokale KI könnte Qwen 3.8 27B tatsächlich der interessantere Pelikan sein, weil er uns etwas darüber sagt, was auf Hardware ausgeführt werden kann, die ein anspruchsvoller Heimanwender realistischerweise besitzen könnte.

Max zeigt eine Modellgrenze. Das lokale 27B-Ergebnis zeigt Fortschritte bei der Bereitstellung.

Kimi K3: Wie viel Schlussfolgern braucht ein Pelikan?

Kimi K3 erzeugte einen weiteren stimmigen Pelikan, doch sein verborgener Rechenaufwand ist möglicherweise interessanter als das Bild.

Der Prompt war nur wenige Wörter lang, doch der aufgezeichnete Durchlauf verwendete 95 Eingabetoken und 16.658 Ausgabetoken.

Von diesen Ausgabetoken waren 13.241 Schlussfolgerungstoken.

Die aufgezeichneten Kosten für diesen Durchlauf betrugen etwa 0,25 $.

Die fertige Szene ist solide: ein erkennbares Fahrrad, ein erkennbarer Pelikan, eine plausible Position des Fahrers, Hintergrunddetails, eine Straße und Bewegungselemente.

Doch die Zahlen enthüllen etwas, das das Bild nicht zeigt.

Ein visuell einfaches Ergebnis kann eine enorme Menge an Arbeit auf Seiten des Modells verbergen.

Das ist für reale Anwendungen relevant. Ein Modell kann bei der Bewertung anhand eines einzelnen erfolgreichen Ergebnisses kostengünstig wirken, aber teuer oder langsam werden, wenn dasselbe Schlussfolgerungsmuster in einem Agenten-Workflow hunderte Male wiederholt wird.

Für Kimi wird der Pelikan fast ebenso sehr zu einem Test der Effizienz beim Schlussfolgern wie zu einem Zeichen-Test.

DeepSeek V4 Pro: Warum sehen verschiedene Schlussfolgerungsstufen wie unterschiedliche Modelle aus?

DeepSeek V4 Pro 0813 lieferte einen der ungewöhnlichsten Vergleiche von Schlussfolgerungsstufen im Archiv.

Niedrig, mittel und hoch wirkten nicht einfach wie zunehmend ausgefeilte Versionen desselben Designs. Sie schienen unterschiedliche visuelle Strategien zu verfolgen.

DeepSeek V4 Pro 0813 mit niedrigem, mittlerem und hohem Schlussfolgerungsaufwand. Quelle: Simon Willisons Test mit DeepSeek V4 Pro.

Niedrig ist relativ klar und minimalistisch. Mittel wird deutlich abstrakter: Gebrochene Radbögen, lockere Linienführung und eine seltsam längliche Form dominieren die Komposition. Hoch schlägt erneut eine andere Richtung ein, kehrt zu einem konventionelleren roten Fahrrad zurück und fügt einen Korb, einen Wimpel und Musiknoten hinzu.

Die Lehre lautet nicht einfach: „Hoch ist besser.“

Der Schlussfolgerungsaufwand scheint zu beeinflussen, für welche visuelle Strategie sich das Modell entscheidet – und nicht nur, wie sorgfältig es eine feste Komposition ausführt.

Das macht DeepSeek V4 Pro zu einer hervorragenden Erinnerung daran, dass ein einziger Screenshot eine sehr schwache Grundlage für die Behauptung ist, ein Modell sei gut oder schlecht im visuellen Programmieren.

Die Sampling-Varianz ist relevant. Die Einstellungen für das Schlussfolgern sind relevant. Auch die API oder der Testaufbau kann eine Rolle spielen. Der Pelikan macht diese Unterschiede sichtbar, weil wir das Ergebnis sofort prüfen können.

DeepSeek V4 Flash: Kann mehr Schlussfolgern ein kaputtes Fahrrad reparieren?

DeepSeek V4 Flash 0731 liefert ein noch klareres Beispiel dafür, wie Reasoning die Geometrie beeinflusst.

Der Standardlauf erzeugte ein stark deformiertes Fahrrad. Die Räder erschienen als unvollständige Bögen, die Rahmenrohre schwebten, ohne miteinander verbunden zu sein, und der Pelikan schwebte über der Szene, statt überzeugend darauf zu fahren.

Anschließend erhöhte Willison den Reasoning-Aufwand auf „Hoch“ und verwendete dieselbe grundlegende Aufgabe.

Das Ergebnis veränderte sich dramatisch.

Die Ausgabe mit hohem Reasoning enthält vollständige Räder, einen erkennbaren Rahmen, einen Kurbelbereich, einen Pelikan, der den Lenker umgreift, und einen Fuß in der Nähe des Pedals.

Dies beweist nicht, dass mehr Reasoning die visuelle Generierung immer verbessert.

Das deutet darauf hin, dass einige fehlerhafte SVG-Ergebnisse eher Koordinationsfehler als ein Beleg dafür sind, dass das Modell überhaupt keine Repräsentation von Fahrradgeometrie besitzt.

Die einzelnen Bestandteile könnten bereits im Modell vorhanden sein; zusätzliches Reasoning kann manchmal dabei helfen, sie korrekt zusammenzusetzen.

Warum DeepSeek V4 Flash denselben Pelikan-Prompt einst vor V4 Pro schlug

Ein früherer DeepSeek-V4-Vergleich führte zu einem weiteren kontraintuitiven Ergebnis.

Quelle: Simon Willisons DeepSeek-V4-Vergleich.

Die Flash-Version hatte nach den Standards des Pelikan-Tests ein ausgezeichnetes Fahrrad: einen erkennbaren Rahmen, eine sichtbare Kette, einen Reflektor, bis zum Lenker reichende Flügel und Füße auf den Pedalen.

Das Pro-Modell behielt ein einigermaßen plausibles Fahrrad bei, erzeugte jedoch einen deutlich seltsameren Pelikan mit übergroßem Körper und uneinheitlicher Anatomie.

Dies sollte nicht als Beleg dafür interpretiert werden, dass Flash generell intelligenter als Pro ist.

Es zeigt etwas Engeres und Nützlicheres:

Modellgröße und der Ruf in Benchmarks garantieren nicht die beste Ausgabe bei einem einzelnen stochastischen visuellen Coding-Prompt.

GLM-5.3-Flash vs. DeepSeek V4 Flash: Was passiert, wenn die Modelle Tools erhalten?

GLM-5.3-Flash führt eine andere Art von Pelikan-Experiment ein.

Ein Community-Vergleich verwendete eine Agentenumgebung statt des einfachen Einzeilentests. Sowohl GLM-5.3-Flash als auch ein experimentelles DeepSeek-V4-Flash-Vision-Setup wurden mit OpenCode, Trellis, Chrome MCP und maximalem Reasoning ausgeführt.

Die Anweisung verlangte von den Modellen, eine vollständige HTML-Seite mit einer 2D-SVG-Animation zu erstellen, und wies sie ausdrücklich an, die Aufgabe als Wettbewerb zu behandeln.

Das verändert, was gemessen wird.

Das Modell erzeugt nicht mehr nur aus einem Prompt ein einziges SVG. Es kann sich mehr Zeit nehmen, Tools verwenden, eine Browserumgebung inspizieren und sich eher wie ein Coding-Agent verhalten.

GLM-5.3-Flash animierter Pelikan

GLM-5.3-Flash-Animation, erstellt mit OpenCode, Trellis, Chrome MCP und maximalem Reasoning. Quelle: ursprünglicher Community-Vergleich.

Das GLM-Ergebnis ist deutlich ambitionierter als die statischen Pelikane oben. Es enthält eine vollständige Szene, ausdrücklich dargestellte Fahrradkomponenten, Bewegung, Pedale und eine umfangreichere Präsentation auf Seitenebene.

Kommentierende aus der Community bevorzugten im Allgemeinen das GLM-Ergebnis; mehrere verwiesen auf die vollständigere Pedal- und Animationsarbeit.

Es gibt weiterhin sichtbare Fehler. Einige Fußbewegungen wirken mechanisch unnatürlich, und zusätzliche Animationen schaffen mehr Möglichkeiten, dass Beziehungen auseinanderfallen.

Das führt zu einer nützlichen Unterscheidung:

Ein funktionsreicheres Ergebnis ist nicht automatisch auch physikalisch korrekter.

Animierter Pelikan mit DeepSeek V4 Flash Vision

DeepSeek-V4-Flash-Vision-Experiment, das unter derselben toolgestützten Umgebung erstellt wurde. Quelle: Methodik und Diskussion des Community-Tests.

Die DeepSeek-Version verfolgt einen anderen Ansatz mit einer Sonnenuntergangskomposition und einer klareren responsiven Darstellung.

Das Community-Feedback bevorzugte im Allgemeinen die mechanische Vollständigkeit von GLM, würdigte DeepSeek jedoch für visuelle Komposition und mobile Darstellung.

Noch wichtiger: Beide Ergebnisse zeigen, wie schnell sich die Bedeutung eines KI-Benchmarks verändert, sobald Tools eingeführt werden.

Das getestete System umfasst nun:

• das Basismodell,
• Reasoning-Konfiguration,
• Agenten-Testumgebung,
• Browser-Tools,
• visuelles Feedback,
• Ausführungszeit,
• und Iterationsstrategie.

Das Ergebnis einfach als „GLM vs. DeepSeek“ zu bezeichnen, verschleiert vieles von dem, was das Artefakt tatsächlich hervorgebracht hat.

Warum One-Shot-Pelikane und agentengestützte Animationen nicht in einer einzigen Rangliste stehen sollten

Diese Unterscheidung ist wichtig genug, um sie ausdrücklich zu machen.

Eine starke agentengestützte Animation ist für moderne Coding-Workflows möglicherweise relevanter als ein SVG aus einem einzigen Durchlauf.

Aber es ist ein anderer Test.

Wenn GPT-6 Astra eine Antwort liefert, während GLM zwanzig Minuten, einen Browser und visuelles Feedback erhält, können wir nicht verantwortungsvoll behaupten, dass die fertige Animation beweist, GLM sei beim ursprünglichen Benchmark besser.

Was sich dadurch zeigt: Modelle werden deutlich leistungsfähiger, wenn sie in Systeme eingebettet sind, die ihre eigene Arbeit prüfen, ausführen und überarbeiten können.

Welches KI-Modell hat den Pelikan-Fahrradtest tatsächlich gewonnen?

Es gibt keinen einzigen wissenschaftlich belastbaren Sieger, aber die aktuellen Ergebnisse zeigen mehrere herausragende Leistungen in verschiedenen Kategorien.

Wenn die Frage einfach lautet, welches aktuelle Modell mit minimalem Reasoning den stärksten Pelikan in einem Durchgang erzeugt, ist GPT-6 Astra schwer zu ignorieren.

Wenn die Frage lautet, welches Ergebnis für Hardware am überraschendsten ist, die tatsächlich auf einem Schreibtisch stehen und lokal laufen kann, wird Qwen 3.8 27B deutlich wichtiger.

Wenn sich der Test von der einmaligen Generierung hin zu einem Workflow mit Coding-Agent, Tools und Iterationen verschiebt, zeigt GLM-5.3-Flash, wie hoch die Leistungsgrenze ausfallen kann.

Das sind drei verschiedene Fragen – genau deshalb würde ein einziger numerischer Gewinner mehr verschleiern, als er erklärt.

Verstehen diese KI-Modelle tatsächlich, was sie zeichnen?

Der Pelikan-Fahrradtest kann kein echtes physikalisches Verständnis beweisen.

Ein Modell kann ein korrekt aussehendes Fahrrad erzeugen, weil sein Training ihm leistungsfähige Repräsentationen von Fahrrädern, Vögeln, SVG-Code und gängigen visuellen Kompositionen vermittelt hat.

Die erfolgreiche Koordination dieser Repräsentationen ist ein Beleg für nützliche räumliche Fähigkeiten.

Das belegt nicht, dass das Modell Gleichgewicht, Schwerkraft, mechanische Belastung, Pedalbewegung oder Fortbewegung auf dieselbe Weise versteht wie ein Mensch.

Die verbleibenden Fehler machen dies besonders deutlich.

Astra kann ein attraktives Fahrrad erstellen und dabei dennoch beide Beine falsch um den Rahmen positionieren. Claudes animierte Räder können Bewegungsprobleme sichtbar machen, die im statischen SVG nicht zu erkennen waren. Qwen kann 22.000 Reasoning-Tokens damit verbringen, eine Szene zu erstellen, die ein anderes Modell viel schneller erzeugt. DeepSeek kann auf einer Reasoning-Ebene ein kaputtes Fahrrad und auf einer anderen ein stimmiges erzeugen.

Diese Modelle werden immer besser darin, visuelle Strukturen aus Sprache zu erstellen.

Ob das als „Verständnis“ bezeichnet werden sollte, hängt davon ab, welches Maß an interner Repräsentation wir für das Wort voraussetzen.

Warum die chinesischen Open-Modelle der interessanteste Teil dieses Tests sind

Die wichtigste Veränderung seit früheren Versionen des Pelikan-Tests besteht möglicherweise nicht darin, dass GPT-6 einen besseren Vogel erzeugt.

Es geht vielmehr darum, dass offene und lokal einsetzbare Modelle inzwischen Ergebnisse erzeugen, die noch vor kurzer Zeit überraschend wie Frontier-Leistungen gewirkt hätten.

Qwen 3.8 27B kann lokal aus einem quantisierten Modell von etwa 17 GB einen zusammenhängenden Pelikan erzeugen. Qwen 3.8 Flash-Next kombiniert eine große Gesamtkapazität an MoE-Parametern mit deutlich geringerem aktivem Rechenaufwand. DeepSeek V4 Flash kann sich von einem fehlerhaften visuellen Ergebnis erholen, wenn zusätzliches Reasoning aktiviert wird. GLM-5.3-Flash kann in einer browsergestützten Coding-Agent-Schleife arbeiten und ein anspruchsvolles animiertes Artefakt erzeugen.

Das bedeutet keineswegs, dass sie GPT-6 Astra oder Claude Fable 5.1 universell eingeholt haben.

Das bedeutet, dass die Lücke zunehmend von der jeweiligen Aufgabe abhängt.

Bei den schwierigsten Reasoning-Problemen können Frontier-Cloud-Modelle weiterhin einen deutlichen Vorteil haben.

Bei strukturierter Generierung, Programmierung, privaten Workflows und zunehmend anspruchsvollen lokalen Agenten wird die Frage weniger eindeutig.

Der Pelikan-Test macht denselben Trend, der sich in der lokalen KI abspielt, eher zufällig sichtbar: Die Frontier verschiebt sich ständig, aber das außerhalb der Frontier verfügbare Fähigkeitsniveau entwickelt sich fast ebenso schnell.

Was lernen wir aus den Pelikanen?

Das klarste Ergebnis ist nicht, dass eine KI nun endlich gelernt hat, wie ein Pelikan Fahrrad fahren sollte.

Es geht vielmehr darum, dass die grundlegende Qualität codegenerierter visueller Artefakte schnell steigt, während die Unterschiede zwischen den Modellen subtiler werden.

GPT-6 Astra zeigt, dass eine starke strukturierte visuelle Generierung inzwischen sogar bei geringem Reasoning-Niveau möglich ist. Claude Fable 5.1 demonstriert, wie viel zusätzliche Rechenleistung für die Reparatur von Geometrie eingesetzt werden kann. Gemini 3.8 Flash zeigt, wie stark eine überzeugende ästhetische Komposition das menschliche Urteil beeinflussen kann. Qwen 3.8 27B zeigt, was mit einer kompakten lokalen Bereitstellung möglich ist. Kimi K3 macht die versteckten Kosten intensiven Reasonings sichtbar, während DeepSeek demonstriert, wie instabil einzelne visuelle Generierungen weiterhin sein können.

GLM-5.3-Flash fügt das letzte Teil hinzu: Sobald ein Modell Browser-Tools, visuelles Feedback und die Möglichkeit zur Iteration erhält, misst der Benchmark ein KI-System statt eines isolierten Modells.

Dadurch ist der Pelikan-Fahrrad-Test als Rangliste weniger nützlich, aber als Mikroskop umso nützlicher.

Er macht den Unterschied sichtbar zwischen:

• ein Modell, das gültiges SVG schreiben kann,
• ein Modell, das räumliche Beziehungen beibehalten kann,
• ein Modell, das mehr Rechenleistung für die Reparatur von Fehlern aufwenden kann,
• ein lokales Modell, das sich der Ausgabe von Frontier-Modellen annähern kann,
• und ein Agentensystem, das sein eigenes Artefakt untersuchen und verbessern kann.

GPT-6 Astra erzeugt derzeit möglicherweise einen der überzeugendsten Pelikane, doch die größere Geschichte ist, dass Claude, Gemini, Qwen, DeepSeek, Kimi und GLM inzwischen auf immer anspruchsvollere Weise scheitern – und erfolgreich sind.

Der Vogel ist nach wie vor absurd. Der Benchmark ist unvollkommen. Als visuelle Momentaufnahme, wie schnell sich das Verhalten von Modellen verändert, bleibt der Pelikan-Fahrrad-Test jedoch überraschend aufschlussreich.