GPT-6 Astra versus Claude, Gemini, Qwen en DeepSeek: wie wint de pelikaan-fietstest?

GPT-6 Astra produceert een van de meest overtuigende pelikanen tot nu toe, maar de Pelican Bicycle Test wordt interessanter wanneer deze wordt vergeleken met Claude Fable 5.1, Gemini 3.8 Flash, Qwen 3.8, DeepSeek V4, Kimi K3 en GLM-5.3-Flash. Een verzoek van één regel om een SVG van een pelikaan op een fiets te genereren, dwingt een taalmodel om woorden te vertalen naar code, geometrie, anatomie, relaties tussen objecten en een scène waarin fouten direct zichtbaar zijn.

De nieuwste resultaten laten zien dat er geen duidelijke winnaar is. GPT-6 Astra verhoogt de kwaliteitsbodem, Claude kan aanzienlijk meer redeneertijd besteden aan het repareren van geometrie, Gemini voegt uitzonderlijk visueel vakmanschap toe, Qwen laat zien hoe dicht lokale modellen kunnen komen en DeepSeek demonstreert hoeveel redeneerinstellingen de uitvoer van één model kunnen veranderen. Door tools ondersteunde animaties van GLM en DeepSeek onthullen opnieuw iets anders: zodra een agent zijn eigen artefact kan inspecteren en itereren, meet de test niet langer alleen het model.

Resultaten van de Pelican Bicycle Test in één oogopslag

Dit is geen wetenschappelijk klassement. De openbare runs zijn op verschillende tijdstippen uitgevoerd, met verschillende API's, redeneerinstellingen, kwantiseringen en—in sommige gevallen—verschillende toolomgevingen.

De beter verdedigbare vergelijking is gedragsmatig. Heeft de fiets een coherent frame? Bereiken de voeten de pedalen? Interageert de vogel daadwerkelijk met het stuur? Corrigeert extra redeneervermogen die relaties, of voegt het alleen meer decoratie toe?

Wat meet de Pelican-fietstest eigenlijk?

De oorspronkelijke prompt is bewust minimaal:

Genereer een SVG van een pelikaan die op een fiets rijdt.

Een overtuigend antwoord produceren vereist dat verschillende vaardigheden tegelijk samenwerken. Het model moet geldige SVG schrijven, een herkenbare fiets construeren, de anatomie van een pelikaan benaderen, de vogel op het juiste deel van de scène plaatsen en afzonderlijke objecten visueel plausibel met elkaar laten interageren.

Daarom is de test nuttig om het volgende te observeren:

• SVG- en frontendcodegeneratie,
• objectgeometrie,
• ruimtelijke compositie,
• anatomische consistentie,
• interactie tussen objecten,
• het volgen van instructies,
• en efficiëntie van de redeneerinspanning.

Het meet niet rechtstreeks feitelijke nauwkeurigheid, wetenschappelijke redeneervaardigheid, codering op repositoryschaal, betrouwbaarheid van agents, professionele kennis of algemene intelligentie.

Simon Willison, die de prompt herhaaldelijk bij verschillende modelgeneraties heeft gebruikt, is er ook voorzichtiger mee geworden. Hij beschouwt deze nu voornamelijk als een snelle gedragstest en een nuttige manier om releases binnen dezelfde modelfamilie te vergelijken, in plaats van als een universele benchmark voor intelligentie.

Zijn Pelican-analyse van Kimi K3 waarschuwt expliciet tegen het behandelen van afzonderlijke Pelican-uitvoer als een serieuze modellenranglijst.

Die beperking is belangrijk, omdat moderne modellen inmiddels goed genoeg zijn dat visuele smaak steeds meer invloed heeft op het resultaat. Zodra elke uitvoer een herkenbare vogel en fiets bevat, kan een prachtige zonsondergang of vismand ervoor zorgen dat één afbeelding slimmer aanvoelt, zelfs wanneer een ander model geometrisch nauwkeuriger is.

Hoe presteerde GPT-6 Astra op de Pelican-fietstest?

Het belangrijkste resultaat van GPT-6 Astra is niet simpelweg dat Max indrukwekkend oogt. Het is dat Low al een veel sterkere Pelican oplevert dan de vorige GPT-5.6-familie.

Willison testte Astra op de redeneerniveaus Low, Medium, High, XHigh en Max. Het door hem geregistreerde aantal outputtokens steeg van 1.906 bij Low naar 12.638 bij Max.

Willisons sterkste observatie was dat Astra Low er beter uitzag dan elke GPT-5.6 Sol Pelican die hij op welk redeneerniveau dan ook had gegenereerd. Daardoor gaat dit minder over Max-redeneren en meer over een generatiesprong in de visuele codeervaardigheid als basisniveau.

De fiets wordt samenhangender, de pelikaan raakt herkenbaar geïntegreerd met het voertuig en de hele scène vereist minder interpretatie van de kijker.

Maar de taak is nog steeds niet perfect opgelost. Onder Max plaatste Astra de twee poten niet betrouwbaar aan tegenovergestelde zijden van het fietsframe.

Precies daarom blijft deze onzinnige benchmark nuttig. Een gepolijst resultaat kan onmiddellijk een indruk van bekwaamheid wekken, terwijl een kleine relatie, zoals de plaatsing van de poten, blootlegt of de scène structureel consistent is.

Astra lijkt de compositie beter te begrijpen, maar de Pelican-test kan niet aantonen dat het een menselijk fysiek model van fietsen onderhoudt.

GPT-6 Astra verscheen ook in de ontwikkelaarsdemo van OpenAI

De ontwikkelaarspresentatie van OpenAI over GPT-6 Astra bevat nog een verwijzing naar Pelican, terwijl rijkere visuele en 3D-generatie wordt gedemonstreerd. Dit is niet dezelfde gecontroleerde SVG-run en moet daarom als aanvullend bewijs worden beschouwd, niet als onderdeel van de vergelijking.

Aanvullend visueel voorbeeld van GPT-6 Astra uit de ontwikkelaars presentatie van OpenAI. Het mag niet rechtstreeks worden vergeleken met de gecontroleerde SVG-grid.

Claude Fable 5.1: Leidt meer nadenken tot een betere Pelican?

Claude Fable 5.1 laat zien dat extra redeneren geometrische relaties kan verbeteren, maar ook hoe snel de kosten van een eenvoudige visuele taak kunnen oplopen.

Low en Medium waren in ongeveer 23 seconden klaar en kostten elk ongeveer tien cent. High deed er ongeveer 29,6 seconden over.

Daarna veranderde de curve drastisch.

Het resultaat van Max verbetert details die ertoe doen. De twee poten zijn zichtbaar aan weerszijden van het fietsframe geplaatst, de voeten bereiken de pedalen, een vleugel reikt tot aan het stuur en aan de geometrie van de fiets is veel doelgerichter aandacht besteed.

De redeneerspoor is bijzonder onthullend, omdat Fable delen van de tekening actief opnieuw overwoog. Het merkte problemen op in de geometrie van de voorvork, dacht opnieuw na over de plaatsing van de helm rond de snavel en controleerde herhaaldelijk of decoratieve elementen niet met de rest van de scène zouden botsen.

Dat geeft ons een zeldzame zichtbare verbinding tussen meer redeneervermogen en een intern consistenter werkstuk.

Maar het kostenverschil is enorm.

De nuttige vraag is niet of Max beter is. Het gaat erom of een Pelican van bijna 14 minuten waardevol genoeg is om meer dan 30 keer de kosten van Low te rechtvaardigen.

Claude's Pelican werd vervolgens in een tweede stap geanimeerd

De openbare animatie is niet gemaakt met de oorspronkelijke Pelican-prompt. Willison nam de SVG van Max en stuurde die terug naar Fable 5.1 met een afzonderlijke instructie om het bestaande werkstuk te animeren.

Voor die tweede bewerking gebruikte het 6,121 invoertokens en 26,201 outputtokens, en kwamen er geregistreerde kosten van ongeveer $1,37 bij.

Omdat de animatie een tweede taak was, moet deze niet rechtstreeks worden gerangschikt tegenover statische eenmalige resultaten van andere modellen. Het is desondanks nuttig om te laten zien wat er gebeurt wanneer het model geometrie moet behouden en tegelijkertijd beweging moet toevoegen.

Bekijk de originele geanimeerde Pelican van Claude Fable 5.1.

Gemini 3.8 Flash: Betekent visuele flair ook beter begrip?

Gemini 3.8 Flash valt om een andere reden op: het laat de benchmark meer op illustratiewerk lijken dan op een geometrische oefening.

Het resultaat met de instelling High bevat een turquoise cruiserfiets, een rode sjaal met stippen, een vismand, een boulevard aan zee en een gloeiende achtergrond aan de kust.

Het is direct aantrekkelijk.

Dat maakt Gemini een nuttig voorbeeld van een probleem met visuele benchmarks: mensen belonen van nature stijl.

Een verfijndere compositie kan intelligenter aanvoelen voordat we controleren of het fietsframe correct sluit, of de voet daadwerkelijk het pedaal bereikt en of het lichaam van de pelikaan consistent ten opzichte van het zadel is gepositioneerd.

Visuele verfijning is een echte vaardigheid, maar visuele verfijning en fysieke consistentie zijn verschillende vaardigheden.

Naarmate modellen beter worden, meet de Pelican-test steeds vaker beide aspecten. Daardoor zijn eenvoudige ranglijsten van winnaars minder betekenisvol dan het bekijken van de specifieke manieren waarop elk model slaagt of faalt.

Qwen 3.8 27B: Kan een lokaal model van 17 GB concurreren met Pelikanen van topmodellen?

Qwen 3.8 27B is mogelijk het belangrijkste resultaat voor gebruikers van lokale AI, omdat dit geen enorm model was dat uitsluitend in de cloud beschikbaar is.

Willison draaide lokaal een gequantiseerde Q4_K_M-versie van ongeveer 17 GB via LM Studio, inclusief experimenten op lokale hardware met veel geheugen.

Het resultaat is uitzonderlijk coherent voor een model dat kan worden verpakt in een gequantiseerd bestand van ongeveer 17 GB.

De fiets heeft de verwachte framevorm. De twee benen bevinden zich aan tegenovergestelde kanten van de fiets, een verrassend moeilijke ruimtelijke relatie voor veel modellen. De pelikaan heeft een duidelijke keelzak, zijn vleugel reikt tot het stuur en de bewegingslijnen zijn achter de scène geplaatst in plaats van erdoorheen te lopen.

Willison beschreef dit als de beste Pelican-SVG die hij tot dat moment lokaal had gegenereerd.

Maar er is een belangrijk addertje onder het gras.

Qwen 3.8 27B dacht veel te lang na over de taak.

Op het standaardniveau voor xhigh-redenering deed het model er ongeveer 21 minuten over. Het gebruikte 22,276 redeneertokens voordat het 3,223 outputtokens produceerde.

Toen de redeneermogelijkheid werd uitgeschakeld, daalde de generatietijd tot iets meer dan twee minuten, maar de uitvoer werd merkbaar slechter.

Het frame werd zwakker, de voeten misten de pedalen en het model deed niet langer een serieuze poging om de vleugel met het stuur te verbinden.

Dit levert bijna het tegenovergestelde verhaal op van GPT-6 Astra.

Astra's indrukwekkendste eigenschap is dat Low al sterk is. Qwen 3.8 27B laat zien hoeveel visuele kwaliteit uit relatief compacte lokale hardware kan worden gehaald als het model veel tijd krijgt om te redeneren.

Het is geen bewijs dat een model van 17 GB GPT-6 in het algemeen heeft ingehaald. Het is wel bewijs dat ‘klein genoeg om lokaal te draaien’ en ‘in staat om geavanceerde gestructureerde uitvoer te produceren’ niet langer elkaar uitsluiten.

Qwen 3.8 Flash-Next: wat kan een MoE-model met 6B actieve parameters tekenen?

Qwen 3.8 Flash-Next biedt een tweede datapunt voor lokale AI vanuit een heel andere architectuur.

Het model heeft in totaal 125 miljard parameters, maar activeert voor elk token ongeveer 6 miljard parameters. Dat onderscheid kan de benodigde rekenkracht verminderen, ook al blijft de volledige set gewichten veel groter dan 6B.

Het xhigh-resultaat is een gepolijste scène. De pelikaan zit boven een rode fiets, een vis ligt in de voordrager en de fiets zelf behoudt een herkenbare structuur in plaats van uiteen te vallen in losse bogen en buizen.

Wat dit resultaat interessant maakt, is niet of het mooier is dan Gemini of Astra.

Het punt is dat sparse MoE-modellen eenvoudige vergelijkingen op basis van het aantal parameters minder bruikbaar maken.

Een 125B-model met ongeveer 6B actieve parameters gedraagt zich niet als een conventioneel dicht 6B-model en heeft ook niet dezelfde opslag- en geheugeneigenschappen.

De pelikaan laat de capaciteitskant van die vergelijking zien: met relatief weinig actieve rekenkracht kan het nog steeds een verrassend geavanceerde gestructureerde scène coördineren.

Qwen 3.8 Max: wat verandert er wanneer het model veel groter wordt?

Qwen 3.8 Max biedt een nuttige vergelijking aan de bovenkant binnen dezelfde bredere modelfamilie.

Het resultaat is schoon en eenvoudig te ontleden. De poten reiken tot het pedaalgebied, de fiets heeft een conventionele vorm en de scène als geheel blijft eenvoudig genoeg om de geometrie leesbaar te houden.

Maar Qwen Max onderstreept nog een andere les uit de test:

Een groter model hoort niet automatisch een hogere score te krijgen omdat het groter is.

Voor praktische lokale AI is Qwen 3.8 27B misschien wel de interessantere pelikaan, omdat die ons iets vertelt over wat kan draaien op hardware die een geavanceerde thuisgebruiker zich realistisch gezien zou kunnen aanschaffen.

Max laat een modelplafond zien. Het lokale resultaat met 27B laat vooruitgang in implementatie zien.

Kimi K3: hoeveel redeneerwerk heeft één pelikaan nodig?

Kimi K3 produceerde opnieuw een samenhangende pelikaan, maar het verborgen computergebruik is mogelijk interessanter dan de afbeelding.

De prompt bestond uit slechts enkele woorden, maar voor de geregistreerde run werden 95 invoertokens en 16.658 outputtokens gebruikt.

Van die outputtokens waren er 13.241 redeneertokens.

De geregistreerde kosten bedroegen voor die run ongeveer $0,25.

De uiteindelijke scène is degelijk: een herkenbare fiets, een herkenbare pelikaan, een redelijk geplaatste fietser, achtergronddetails, een weg en bewegingselementen.

Maar de cijfers onthullen iets wat de afbeelding niet laat zien.

Een visueel eenvoudig resultaat kan een enorme hoeveelheid werk aan de modelzijde verbergen.

Dat is belangrijk voor echte toepassingen. Een model kan goedkoop lijken wanneer je het beoordeelt op basis van één geslaagd resultaat, maar duur of traag worden wanneer hetzelfde redeneerpatroon honderden keren wordt herhaald binnen een agentworkflow.

Voor Kimi wordt de pelikaan bijna net zozeer een test van de efficiëntie van het redeneren als een tekentest.

DeepSeek V4 Pro: waarom zien verschillende redeneerniveaus eruit als verschillende modellen?

DeepSeek V4 Pro 0813 leverde een van de vreemdste redeneervergelijkingen in het archief op.

Laag, gemiddeld en hoog zagen er niet simpelweg uit als steeds verder afgewerkte versies van hetzelfde ontwerp. Ze leken verschillende visuele strategieën te volgen.

DeepSeek V4 Pro 0813 met lage, gemiddelde en hoge redeneerniveaus. Bron: De DeepSeek V4 Pro-test van Simon Willison.

Laag is relatief strak en minimalistisch. Gemiddeld wordt het resultaat aanzienlijk abstracter: gebroken wielbogen, losse lijnen en een vreemde langgerekte vorm domineren de compositie. Hoog slaat opnieuw een andere richting in, keert terug naar een conventionelere rode fiets en voegt een mand, wimpel en muzieknoten toe.

De les is niet simpelweg: “Hoog is beter.”

De redeneerinspanning lijkt invloed te hebben op de visuele strategie die het model kiest, en niet alleen op hoe zorgvuldig het één vaste compositie uitvoert.

Dit maakt DeepSeek V4 Pro een uitstekende herinnering dat één screenshot een zeer zwakke basis vormt om te beweren dat een model goed of slecht is in visueel coderen.

Variantie in sampling is belangrijk. Redeneerinstellingen zijn belangrijk. De API of testomgeving kan belangrijk zijn. De pelikaan maakt die verschillen zichtbaar, omdat we het resultaat meteen kunnen inspecteren.

DeepSeek V4 Flash: Kan meer redeneren een kapotte fiets repareren?

DeepSeek V4 Flash 0731 biedt een nog duidelijker voorbeeld van hoe redenering de geometrie beïnvloedt.

De standaardrun leverde een ernstig misvormde fiets op. De wielen verschenen als onvolledige bogen, framebuizen zweefden zonder verbinding en de pelikaan hing boven het tafereel in plaats van er overtuigend op te rijden.

Willison verhoogde vervolgens de redeneringsinspanning naar High, met dezelfde basistaak.

Het resultaat veranderde drastisch.

De High-output heeft complete wielen, een herkenbaar frame, een crankgedeelte, een pelikaan die het stuur vasthoudt en een poot die bij het pedaal is geplaatst.

Dit bewijst niet dat meer redenering visuele generatie altijd verbetert.

Het suggereert wel dat sommige slechte SVG-resultaten coördinatiefouten zijn, en niet bewijzen dat het model helemaal geen representatie van fietsgeometrie heeft.

De onderdelen bestaan mogelijk al in het model; extra redenering kan soms helpen om ze correct samen te voegen.

Waarom DeepSeek V4 Flash V4 Pro ooit versloeg met dezelfde pelikaanprompt

Een eerdere vergelijking van DeepSeek V4 leverde nog een contra-intuïtiever resultaat op.

Bron: De DeepSeek V4-vergelijking van Simon Willison.

De Flash-versie had volgens de normen van de Pelican-Test een uitstekende fiets: een herkenbaar frame, een zichtbare ketting, een reflector, vleugels die het stuur bereikten en poten op de pedalen.

Het Pro-model behield een redelijke fiets, maar genereerde een veel vreemdere pelikaan met een te groot lichaam en inconsistente anatomie.

Dit mag niet worden geïnterpreteerd als bewijs dat Flash over het algemeen slimmer is dan Pro.

Het laat iets specifiekers en nuttigers zien:

Modelgrootte en reputatie op benchmarks garanderen niet de beste output bij één stochastische visuele programmeerprompt.

GLM-5.3-Flash versus DeepSeek V4 Flash: wat gebeurt er wanneer de modellen tools krijgen?

GLM-5.3-Flash introduceert een ander soort pelikaanexperiment.

Bij een vergelijking door de community werd een agentomgeving gebruikt in plaats van de eenvoudige test met één regel. Zowel GLM-5.3-Flash als een experimentele DeepSeek V4 Flash-visionconfiguratie werden uitgevoerd met OpenCode, Trellis, Chrome MCP en Max-redenering.

De instructie vroeg de modellen een volledige HTML-pagina met een 2D-SVG-animatie te maken en zei expliciet dat ze de taak als een wedstrijd moesten behandelen.

Dat verandert wat er wordt gemeten.

Het model genereert niet langer slechts één SVG op basis van één prompt. Het kan meer tijd besteden, tools gebruiken, een browseromgeving inspecteren en zich meer gedragen als een programmeeragent.

GLM-5.3-Flash-geanimeerde pelikaan

GLM-5.3-Flash-animatie gemaakt met OpenCode, Trellis, Chrome MCP en Max-reasoning. Bron: oorspronkelijke vergelijking binnen de community.

Het GLM-resultaat is aanzienlijk ambitieuzer dan de statische pelikanen hierboven. Het bevat een volledige scène, expliciete fietsonderdelen, beweging, pedalen en een rijkere presentatie op paginaniveau.

Reageerders uit de community gaven over het algemeen de voorkeur aan het GLM-resultaat, waarbij verschillende mensen wezen op het completere trapper- en animatiewerk.

Er zijn nog steeds zichtbare fouten. Sommige voetbewegingen ogen mechanisch onnatuurlijk, en meer animatie toevoegen creëert meer mogelijkheden waarop relaties kunnen ontsporen.

Dit leidt tot een nuttig onderscheid:

Een resultaat met meer functies is niet automatisch fysiek correcter.

DeepSeek V4 Flash Vision-geanimeerde pelikaan

DeepSeek V4 Flash Vision-experiment gegenereerd binnen dezelfde toolondersteunde omgeving. Bron: methodologie en discussie van de communitytest.

De DeepSeek-versie kiest voor een andere aanpak, met een zonsondergangscompositie en een strakkere responsieve presentatie.

De feedback van de community gaf over het algemeen de voorkeur aan de mechanische volledigheid van GLM, terwijl DeepSeek erkenning kreeg voor de visuele compositie en mobiele presentatie.

Belangrijker nog: beide resultaten laten zien hoe snel de betekenis van een AI-benchmark verandert zodra tools worden geïntroduceerd.

Het geteste systeem is nu:

• het basismodel,
• redenconfiguratie,
• agent-harness,
• browsertools,
• visuele feedback,
• uitvoeringstijd,
• en de iteratiestrategie.

Door het resultaat simpelweg “GLM vs DeepSeek” te noemen, blijft veel van wat het uiteindelijke resultaat heeft voortgebracht verborgen.

Waarom eenmalige pelikanen en door agents ondersteunde animaties niet in één ranglijst thuishoren

Dit onderscheid is belangrijk genoeg om expliciet te maken.

Een sterke, door een agent ondersteunde animatie is waarschijnlijk relevanter voor moderne codeerworkflows dan een eenmalige SVG.

Maar het is een andere test.

Als GPT-6 Astra één antwoord krijgt terwijl GLM twintig minuten, een browser en visuele feedback krijgt, kunnen we niet verantwoord beweren dat de uiteindelijke animatie bewijst dat GLM beter is in de oorspronkelijke benchmark.

Wat dit bewijst, is dat modellen aanzienlijk capabeler worden wanneer ze worden ingebed in systemen die hun eigen werk kunnen inspecteren, uitvoeren en herzien.

Welk AI-model won de Pelican Bicycle-test nu echt?

Er is geen enkele wetenschappelijk verdedigbare winnaar, maar de huidige resultaten laten wel verschillende uitblinkers per categorie zien.

Als de vraag simpelweg is welk huidige model de sterkste Pelican in één keer produceert met minimale redenering, is GPT-6 Astra moeilijk te negeren.

Als de vraag is welk resultaat het meest verrassend is voor hardware die daadwerkelijk op een bureau kan staan en lokaal kan draaien, wordt Qwen 3.8 27B veel belangrijker.

Als de test verschuift van generatie in één keer naar een workflow met een codeeragent, hulpmiddelen en iteratie, laat GLM-5.3-Flash zien hoe hoog het plafond kan komen.

Dat zijn drie verschillende vragen, en precies daarom zou één numerieke winnaar meer verbergen dan verklaren.

Begrijpen deze AI-modellen daadwerkelijk wat ze tekenen?

De Pelican-fietstest kan geen echt fysiek begrip bewijzen.

Een model kan een fiets genereren die er correct uitziet omdat het door zijn training krachtige representaties heeft ontwikkeld van fietsen, vogels, SVG-code en gangbare visuele composities.

Het succesvol coördineren van die representaties is bewijs van bruikbare ruimtelijke vaardigheid.

Dit bewijst niet dat het model balans, zwaartekracht, mechanische belasting, trapbeweging of voortbeweging begrijpt op dezelfde manier als een mens.

De resterende tekortkomingen maken dit bijzonder duidelijk.

Astra kan een aantrekkelijke fiets maken en toch beide benen verkeerd rond het frame plaatsen. De geanimeerde wielen van Claude kunnen bewegingsproblemen onthullen die onzichtbaar waren in de statische SVG. Qwen kan 22.000 redeneertokens besteden aan het opbouwen van een scène die een ander model veel sneller produceert. DeepSeek kan op het ene redeneerniveau een kapotte fiets produceren en op een ander niveau een samenhangende.

Deze modellen worden steeds beter in het opbouwen van visuele structuren vanuit taal.

Of dat als ‘begrip’ moet worden beschreven, hangt af van het niveau van interne representatie dat we van het woord vereisen.

Waarom de Chinese open modellen het interessantste onderdeel van deze test zijn

De belangrijkste verandering sinds eerdere versies van de Pelican-test is misschien niet dat GPT-6 een betere vogel produceert.

Het punt is dat open en lokaal implementeerbare modellen nu resultaten produceren die verrassend recent nog als frontierklasse zouden zijn beschouwd.

Qwen 3.8 27B kan lokaal een coherente pelikaan genereren met een gekwantiseerd model van ongeveer 17 GB. Qwen 3.8 Flash-Next combineert een grote totale MoE-capaciteit met veel minder actieve rekenkracht. DeepSeek V4 Flash kan herstellen van een mislukt visueel resultaat wanneer extra redeneervermogen wordt ingeschakeld. GLM-5.3-Flash kan binnen een browseruitgeruste codeeragentlus werken en een geavanceerd geanimeerd artefact produceren.

Dat betekent niet dat ze GPT-6 Astra of Claude Fable 5.1 universeel hebben ingehaald.

Dat betekent dat de kloof afhankelijk wordt van de werklast.

Voor de moeilijkste redeneerproblemen hebben cloudmodellen aan de frontier nog steeds een duidelijk voordeel.

Voor gestructureerde generatie, programmeren, private workflows en steeds geavanceerdere lokale agents wordt de vraag minder vanzelfsprekend.

De Pelican Test visualiseert per ongeluk dezelfde trend die zich overal in lokale AI voordoet: de frontier blijft opschuiven, maar het capaciteitsniveau dat buiten de frontier beschikbaar is, beweegt bijna even snel.

Wat moeten we leren van de pelikanen?

Het duidelijkste resultaat is niet dat één AI eindelijk heeft geleerd hoe een pelikaan op een fiets hoort te rijden.

Het punt is dat de basiskwaliteit van visuele artefacten die met code worden gegenereerd snel stijgt, terwijl de verschillen tussen modellen subtieler worden.

GPT-6 Astra laat zien dat sterke gestructureerde visuele generatie nu zelfs bij Low reasoning kan optreden. Claude Fable 5.1 laat zien hoeveel extra rekenkracht kan worden ingezet om geometrie te herstellen. Gemini 3.8 Flash toont hoe een sterke esthetische compositie het menselijk oordeel kan beïnvloeden. Qwen 3.8 27B laat zien wat mogelijk is met een compacte lokale implementatie. Kimi K3 legt de verborgen kosten van zwaar redeneren bloot, terwijl DeepSeek laat zien hoe instabiel individuele visuele generaties kunnen blijven.

GLM-5.3-Flash voegt het laatste puzzelstuk toe: zodra een model browsertools, visuele feedback en toestemming om te itereren krijgt, begint de benchmark een AI-systeem te meten in plaats van een geïsoleerd model.

Daardoor is de Pelican Bicycle Test minder bruikbaar als ranglijst en juist bruikbaarder als microscoop.

Het maakt het verschil zichtbaar tussen:

• een model dat geldige SVG kan schrijven,
• een model dat ruimtelijke relaties kan behouden,
• een model dat meer redeneervermogen kan inzetten om fouten te herstellen,
• een lokaal model dat de output van frontiermodellen kan benaderen,
• en een agentsysteem dat zijn eigen artefact kan inspecteren en verbeteren.

GPT-6 Astra produceert momenteel misschien wel een van de sterkste pelikanen, maar het grotere verhaal is dat Claude, Gemini, Qwen, DeepSeek, Kimi en GLM nu op steeds geavanceerdere manieren falen én slagen.

De vogel blijft belachelijk. De benchmark is onvolmaakt. Maar als visuele momentopname van hoe snel modelgedrag verandert, blijft de Pelican Bicycle Test verrassend onthullend.