Wat het nog nooit heeft gezien? Talkie-1930 en de Einstein-test

Talkie-1930 is een taalmodel met 13 miljard parameters dat doelbewust is getraind op informatie van vóór 1931. Het doel is geen historische rollenspelimitatie. Onderzoekers willen het model gebruiken om een veel moeilijkere vraag te testen: als een AI het bekende antwoord tijdens de pretraining nooit heeft gezien, kan het dan toch redeneren naar iets wat mensen pas later ontdekten?

Dat maakt Talkie bijzonder relevant voor het debat over redeneren versus memoriseren. Moderne modellen kunnen tijdens de training benchmarkvragen, oplossingen, artikelen, GitHub-repositories of uitleg zijn tegengekomen. Een historisch model creëert een zuiverder experiment door het antwoord aan de andere kant van een tijdsgrens te plaatsen.

Wat is Talkie-1930?

Talkie is een familie van ‘vintage’ taalmodellen die is ontwikkeld door Nick Levine, David Duvenaud en Alec Radford. Het team introduceerde Talkie-1930 in 2026 met behulp van een corpus dat uitsluitend informatie uit de periode vóór 1931 moest bevatten.

De onderzoekers trainden ook een moderne tweeling met dezelfde architectuur en vergelijkbare trainingsrekenkracht, maar met moderne FineWeb-gegevens. Daardoor is Talkie niet alleen nuttig om te bestuderen wat een model weet, maar ook hoe sterk zijn capaciteiten worden gevormd door zijn informatieomgeving.

Dit vormt een aanvulling op de bredere vraag van open modellen versus frontier-AI: de modelcapaciteit hangt van meer af dan alleen het aantal parameters.

Waarom een AI trainen die niets van na 1930 weet?

De belangrijkste reden is evaluatie die bestand is tegen besmetting.

Wanneer een modern model een beroemd probleem oplost, kunnen onderzoekers niet altijd vaststellen of het:

• het antwoord had afgeleid;
• verwante concepten had gecombineerd;
• een vergelijkbaar voorbeeld had onthouden;
• de benchmark tijdens de training had gezien;
• online een uitleg of implementatie was tegengekomen.

De grens van Talkie stelt onderzoekers in staat taken te selecteren waarvan de antwoorden echt tot de toekomst van het model behoren.

Python werd bijvoorbeeld tientallen jaren na 1930 gecreëerd. Turings baanbrekende artikel over berekenbaarheid verscheen in 1936. Ook xerografie en veel latere technische uitvindingen vallen buiten de grens.

Het Talkie-team bespreekt dergelijke uitvindingen na het afkappunt als mogelijke toekomstige experimenten. Dat is belangrijk: het zijn testdoelen, geen ontdekkingen die Talkie al heeft gereproduceerd.

Heeft Talkie echt Python geleerd zonder Python in de pretraining te hebben gezien?

Om generalisatie te testen, lieten de onderzoekers historische modellen verschillende Python-programma's in de context zien en vroegen ze vervolgens om nieuwe taken in de stijl van HumanEval op te lossen.

De resultaten leveren enig bewijs voor leren binnen de context over een echte kennisgrens heen, maar blijven bescheiden.

De onderzoekers melden dat succesvolle programma's over het algemeen eenvoudige oplossingen van één regel waren of kleine aanpassingen van voorbeelden die al in de context stonden. ([Talkie](https://talkie-lm.com/introducing-talkie))

Het meest gedeelde voorbeeld betreft een rotatieversleuteling. Nadat het model een coderingsfunctie had gezien, produceerde het de omgekeerde decoderingsbewerking door de relevante rekenkundige relatie om te keren.

Dit is juist interessanter dan het klinkt omdat de claim beperkt is.

Het model gebruikte voorbeelden om een kleine, correcte transformatie uit te voeren in een taal die niet in de beoogde pretraininggegevens voorkwam.

Wat is de Einstein-test voor AI?

Hetzelfde idee kan veel verder worden doorgetrokken.

DeepMind-CEO Demis Hassabis heeft gesproken over een “Einstein-test” waarbij een AI alleen kennis krijgt die beschikbaar was vóór een belangrijke wetenschappelijke ontdekking, waarna wordt gevraagd of het systeem zelfstandig tot de latere doorbraak kan komen.

De bekendste versie vraagt of een model dat uitsluitend is getraind met kennis die vóór Einsteins algemene relativiteitstheorie beschikbaar was, de theorie kan afleiden zonder haar ooit te hebben gezien.

Een Nature-reportage uit september 2026 beschrijft hoe meerdere onderzoekers nu experimenteren met historische taalmodellen en vergelijkbare methoden met een afkappunt in de tijd.

Dit is veel moeilijker dan een modern model een examen over de relativiteitstheorie te laten afleggen.

Wetenschappelijke ontdekking vereist meer dan het oplossen van vergelijkingen. Het kan nodig zijn om te erkennen dat een aanvaarde aanname onjuist is en een beter conceptueel kader op te bouwen.

Heeft een AI de Einstein-test doorstaan?

Nee.

Huidige experimenten hebben interessante fragmenten van generalisatie en wetenschappelijke intuïtie opgeleverd, maar geen overtuigende herontdekking op Einstein-niveau.

De bespreking van Nature beschrijft de eerste resultaten als een onthulling van belangrijke beperkingen van hedendaagse AI, naast de sterke punten ervan. Modellen kunnen vaak effectief werken zodra een probleem is geformuleerd, maar het vormen van de juiste nieuwe hypothese blijft veel moeilijker. ([Nature](https://www.nature.com/articles/d41586-026-02804-x))

Dit onderscheid is essentieel, omdat een AI duizenden plausibele hypotheses kan genereren zonder te weten welke verder onderzoek verdient.

De sterkere test is niet of een model na genoeg hints een bekende theorie kan reproduceren. Het gaat erom of het een tegenstrijdigheid kan identificeren, een werkelijk bruikbare nieuwe verklaring kan voorstellen en dat kan doen zonder dat het latere antwoord in de trainingsgegevens is gelekt.

Is Talkie-1930 echt vrij van moderne kennis?

Niet perfect.

Het Talkie-team meldt openlijk temporele lekkage. Ondanks de beoogde afsluiting in 1930 lijkt het 13B-model enige informatie te kennen over latere gebeurtenissen, waaronder het presidentschap van Roosevelt, de New Deal, de Tweede Wereldoorlog, de Verenigde Naties en het naoorlogse Duitsland.

De onderzoekers noemen verschillende manieren waarop toekomstige informatie kan lekken in ogenschijnlijk historische corpora:

• onjuiste publicatiedata;
• moderne inleidingen die aan oude boeken zijn toegevoegd;
• latere voetnoten en annotaties;
• verkeerd geclassificeerde documenten;
• digitalisering en OCR-artefacten.

Deze beperking is fundamenteel.

Als een experiment beweert dat een model zelfstandig iets heeft ontdekt wat het nooit heeft gezien, moeten de onderzoekers eerst sterk bewijs leveren dat het antwoord inderdaad ontbrak.

Voor historische AI is de herkomst van gegevens onderdeel van de benchmark.

De kennis van Talkie is historisch, maar de post-training ervan is dat niet volledig

Er is nog een subtiele beperking.

Het basismodel is getraind op historische gegevens, maar voor het maken van een bruikbare assistent die instructies opvolgt, zijn post-trainingsgegevens nodig die in 1930 niet bestonden.

De onderzoekers genereerden instructievoorbeelden uit historisch referentiemateriaal, maar melden ook dat ze in latere fasen moderne Claude-modellen gebruikten, waaronder Claude Sonnet 4.6 als beoordelaar en Claude Opus 4.6 voor het genereren van synthetische gesprekken. ([Talkie](https://talkie-lm.com/introducing-talkie))

Dit leidt tot twee verschillende vormen van besmetting die niet met elkaar moeten worden verward:

Talkie kan daardoor overwegend kennis uit het verleden bevatten zonder zich precies te gedragen als een hypothetisch intelligent systeem dat in 1930 is gebouwd.

Waarom historische AI ook een experiment in datakwaliteit is

Historische taalmodellen hebben te maken met een probleem dat moderne webmodellen grotendeels vermijden: het meeste trainingsmateriaal is nooit digitaal ontstaan.

Boeken, kranten, patenten en tijdschriften moeten eerst worden omgezet van gescande pagina's naar tekst.

Het Talkie-team meldt dat historisch materiaal dat conventioneel met OCR was verwerkt, in een gecontroleerd experiment slechts ongeveer 30% van de leerefficiëntie van door mensen getranscribeerde versies leverde. Eenvoudige opschoning verhoogde dit tot ongeveer 70%. ([Talkie](https://talkie-lm.com/introducing-talkie))

Dit leidt tot een bredere les: meer tokens betekenen niet automatisch meer bruikbare trainingsgegevens.

Dit is ook een reden waarom lokale AI-verwerking voor privégegevens belangrijk kan zijn bij archiefwerk. OCR, indexering, embeddings en experimentele corpora kunnen dicht bij het opgeslagen bronmateriaal worden verwerkt, in plaats van dat elk document via een externe dienst moet worden gestuurd.

Kun je Talkie-1930 lokaal draaien?

Ja.

De officiële Talkie-repository biedt openbare gewichten en inferentiecode onder Apache 2.0.

De referentieconfiguratie voor BF16 vermeldt momenteel:

Dit is geen klein CPU-model, maar wel een realistische onderzoeksbelasting voor een workstation of lokale AI-server.

Voor lokale implementatie is de checkpointgrootte slechts het beginpunt. Runtimegeheugen, context, cache en andere modelcomponenten gebruiken ook resources. Daarom is de geheugenvoetafdruk van het model belangrijker dan simpelweg bestandsgroottes vergelijken.

Na het downloaden kan Talkie ook worden gebruikt zonder een propriëtaire inferentie-API. Daardoor zijn exacte modelversies gemakkelijker te bewaren en experimenten gemakkelijker te reproduceren.

Een volledig reproduceerbare opstelling moet modelbestanden, tokenizers, datasets en vereiste afhankelijkheden ook lokaal beschikbaar houden, in plaats van permanente toegang tot externe diensten te veronderstellen. Dat is hetzelfde principe achter een offline-geschikte lokale AI-workflow.

Waar zijn historische taalmodellen eigenlijk nuttig voor?

De langetermijnwaarde van Talkie ligt niet in het doen alsof het met iemand uit 1930 kan chatten.

De onderzoekers hebben al ongeveer 5.000 historische gebeurtenisbeschrijvingen uit The New York Times gebruikt om te meten hoe “verrassend” toekomstige gebeurtenissen lijken voor een model dat op eerdere informatie is getraind. Dat is geen voorspelling in de sciencefictionbetekenis, maar het biedt een nieuwe manier om voorspellingshorizonten te bestuderen. ([Talkie](https://talkie-lm.com/introducing-talkie))

Wat Talkie onthult over de intelligentie van moderne AI

De moderne tweeling van Talkie biedt een ongewoon nuttige vergelijking.

De architectuur en de trainingsrekenkracht kunnen vergelijkbaar blijven, terwijl de informatieomgeving dramatisch verandert.

Het model dat op moderne data is getraind, presteert beter op veel conventionele taken. Dat kan deels komen door schonere data. Een deel kan ook komen doordat het moderne web programmeren, technische documentatie, vraag-en-antwoordmateriaal, wetenschappelijke uitleg en allerlei vormen van gestructureerd probleemoplossen bevat die in een historisch corpus ontbreken.

Dit roept een diepere vraag op:

hoeveel van de mogelijkheden van moderne AI afkomstig is van de modelarchitectuur, en hoeveel van het comprimeren van de opgebouwde structuur van het moderne internet?

Die vraag is ook relevant bij het evalueren van open modellen vergeleken met frontier-AI. Alleen benchmarkscores laten niet zien of verschillen voortkomen uit architectuur, data, post-training, tools of louter de trainingsschaal.

De betere test is niet: "Kan AI denken?"

Discussies over de vraag of AI "echt denkt" worden al snel filosofisch.

Historische modellen bieden een beter toetsbare vraag:

Kunnen we een experiment opzetten waarin het onmogelijk is om het bekende antwoord te herinneren, of dat op zijn minst aanzienlijk minder waarschijnlijk maken?

Talkie-1930 is geen perfecte oplossing. Het corpus bevat enige temporele lekkage. Historische OCR is onnauwkeurig. Moderne posttraining introduceert gedragsinvloeden. En het 13B-model blijft veel zwakker dan de huidige frontiermodellen.

Maar die beperkingen kunnen worden gemeten en verbeterd.

De belangrijke prestatie is dus niet dat Talkie de moderne wetenschap heeft herontdekt. Dat heeft het niet.

De waarde ervan is dat onderzoekers hiermee op een zuiverdere manier kunnen vragen of een toekomstig model oude bewijzen kan tegenkomen, iets ontbrekends kan herkennen, een nieuwe hypothese kan formuleren en tot een conclusie kan komen die in zijn trainingswereld werkelijk niet bestond.

Dat zou veel sterker bewijs van generalisatie zijn dan opnieuw een hoge score behalen op een benchmark die al duizenden keren op internet is besproken.