Varför hallucinerar små lokala modeller oftare vid JSON-utdata?
Små lokala modeller hallucinerar oftare vid JSON-utdata eftersom de måste lösa uppgiften samtidigt som de bevarar ett strikt schema och giltig syntax.
Ett lokalt AI-arbetsflöde kan be en kompakt modell att extrahera filnamn, datum, taggar, enhetstillstånd eller automatiseringsargument och returnera dem som maskinläsbar JSON. Modellen utför inte bara en uppgift. Den måste identifiera rätt fakta, koppla dem till avsedda fält, respektera obligatoriska datatyper och uppräkningar, komma ihåg skiljetecken och nästling samt sluta utan att lägga till kommentarer. När modellens kapacitet är begränsad konkurrerar dessa krav med det resonemang som behövs för att hålla värdena förankrade i källan.
JSON gör korrekthet till ett problem i två lager
Svaret måste vara semantiskt korrekt och strukturellt giltigt samtidigt. Ett fritextsvar kan uttrycka osäkerhet eller förklara ett saknat värde, medan ett JSON-kontrakt ofta kräver att modellen väljer ett fältvärde även när underlaget är svagt.
Forskning om avvägningen mellan giltighet och korrekthet visar varför dessa mätningar måste hållas isär: starkare krav på utdata kan förbättra schemats giltighet samtidigt som de valda värdena blir mindre korrekta.
Pressen märks tydligare i en liten lokal modell eftersom den har mindre reservkapacitet för instruktionsföljning, extraktion och serialisering. En större modell kan fortfarande hitta på ett fält, men en kompakt modell når tidigare punkten där formatföljsamhet tränger undan svarskvaliteten.
Ett giltigt objekt kan fortfarande innehålla ett hallucinerat svar
Begränsad avkodning kan förhindra att en otillåten klammerparentes, okänd nyckel eller ogiltig uppräkning genereras. Den kan inte bevisa att det valda kund-ID:t, datumet, sökvägen eller statusen finns i källmaterialet.
vLLM beskriver JSON-schemabegränsningar som ett sätt att begränsa formen på genererade utdata. Avkodaren begränsar vilka token som är tillåtna härnäst, men modellen tillhandahåller fortfarande betydelsen som dessa tillåtna token förmedlar.
Detta skapar ett farligt felläge för automatisering: objektet parsas utan problem, så efterföljande kod litar på det, trots att ett fält är påhittat. Validera affärsregler och källunderlag efter schemavalideringen i stället för att behandla lyckad parsning som faktisk korrekthet.
Nästlade scheman ökar förgreningarna och kraven på tillståndsspårning
Varje obligatorisk egenskap, valfri gren, nästlad array, nullbart fält och uppräkning lägger till tillstånd som modellen måste hålla reda på under genereringen. Liknande nyckelnamn eller upprepade objektstrukturer gör det lättare att placera ett korrekt värde på fel plats.
llama.cpp:s guide till grammatikbegränsad JSON skiljer den tillåtna utdatagammatiken från prompten som förklarar vad fälten betyder. En grammatik kan tvinga fram strukturen, men schemat behöver fortfarande tydliga semantiska instruktioner.
Minska antalet samtidiga beslut. Platta ut djupt nästlade objekt, ta bort oanvända valfria fält, använd distinkta nyckelnamn och dela upp en stor extraktion i mindre objekt när den lokala modellen upprepade gånger byter plats på eller fyller i orelaterade fält.
Prompter som kräver enbart JSON kan undertrycka användbart resonemang
En strikt instruktion om att ”returnera endast JSON” får modellen att paketera svaret omedelbart. Vid en svår extraktion kan det leda till att ett fältval görs för tidigt, innan modellen har jämfört motstridiga textavsnitt eller löst ett tvetydigt datum.
Utvärderingar från Hugging Face visar känslighet för promptformat: en förändring av den förväntade strukturen och det tillgängliga utrymmet för resonemang kan ändra uppgiftens resultat även när den underliggande frågan är densamma.
Exponera inte privat tankegång, men separera intern uppgiftslösning från slutlig serialisering. Arbetsflödet kan först extrahera en kompakt evidenspost eller göra en deterministisk uppslagning och därefter be modellen återge enbart de verifierade fälten.
Promptad JSON och begränsad avkodning misslyckas på olika sätt
JSON som enbart styrs av prompten kan lägga till kodblock, kommentarer, dubbla nycklar, avslutande kommatecken eller ett ofullständigt objekt. Begränsad avkodning tar bort många syntaxfel, men kan tvinga modellen att välja mellan giltiga värden när ”okänt” inte var tillåtet.
Fireworks förklarar hur schemabegränsade tokenval håller genereringen inom ett utdatakontakt, samtidigt som prompten fortfarande måste beskriva avsedda data korrekt.
Spåra båda feltyperna. Mät parsningfel för promptstyrda utdata och mät därefter felaktiga men giltiga fält, oönskade standardvärden och falsk säkerhet efter att begränsad avkodning har aktiverats.
Sampling och trunkering förstärker små fel
Högre temperatur kan variera nyckelval och fältvärden, medan en otillräcklig tokenbudget kan kapa arrayer eller avslutande klammerparenteser. Lägre temperatur minskar variationen men gör inte ett obestyrkt värde sant.
En praktisk genomgång av ett lokalt arbetsflöde för strukturerade utdata visar varför validering och begränsad generering är separata komponenter snarare än ett enda promptknep.
Avsätt tillräckligt många utdatatoken för det största tillåtna objektet, begränsa arraylängden och försök endast igen med den del som misslyckades. Om hela objektet genereras på nytt kan redan korrekta fält ersättas med nya hallucinationer.
Använd ett lokalt JSON-arbetsflöde i två steg
Lös först uppgiften till en minimal typad post: det exakta källtextavsnittet, normaliserat datum, valt identifierarvärde, konfidensstatus och eventuella uttryckliga saknade värden. Detta steg bör kunna avvisa begäran i stället för att hitta på obligatoriska data.
Återge sedan posten genom en schemabegränsad avkodare, parsa den och kör semantiska kontroller, till exempel om filen finns, om datumet ligger inom rätt intervall, om uppräkningsvärdet är kompatibelt och om fälten är konsekventa sinsemellan. En validator bör returnera riktade fel som identifierar vilket fält som ska åtgärdas.
ZimaSpace:s förklaring av varför en mindre modell kan vara mer tillförlitlig tydliggör gränsen: kompakta modeller fungerar bäst när uppgiften, kontexten, verktygen och utdatakontaktet är tillräckligt avgränsade för att kunna verifieras.
Vanliga frågor
Betyder giltig JSON att modellen inte hallucinerade?
Nej. Giltig JSON bevisar att objektet följer syntax- eller schemaregler. Den bevisar inte att fältvärdena kom från källan eller överensstämmer med systemets verkliga tillstånd.
Löser temperatur noll JSON-hallucinationer?
Nej. Det kan göra utdata mer förutsägbara, men ett obestyrkt värde som väljs konsekvent är fortfarande en hallucination.
Räcker begränsad avkodning för automatisering?
Nej. Använd den tillsammans med källförankrad extraktion, schemaparsning, semantisk validering och en säker avvisningsväg för saknade eller tvetydiga data.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Varför blir smarta hem-prognoser mindre träffsäkra efter förändringar i säsongsrutiner?
Säsongsbaserade rutiner förändrar förhållandet mellan tid, sensorer, närvaro och önskade åtgärder, vilket gör en modell som tränats på äldre vanor inaktuell.
Varför missar en hem-NVR korta händelser när objektspårning är aktiverad?
Spårning behöver tillräckligt många detekteringar för att starta och bekräfta en bana, så ett objekt som bara syns kortvarigt kan försvinna innan NVR-enheten skapar...
Varför ändras AI-fototaggar efter en modelluppgradering?
En modelluppgradering förändrar representationen och rangordningen som används för att tilldela etiketter, så samma foto kan hamna på olika semantiska gränser eller förtroendegränser.
