Vad får lokala LLM:er att bryta mot ett giltigt JSON-schema?
Lokal LLM-utdata bryter mot ett giltigt JSON-schema när generering, begränsningshantering, stoppregler och validering inte tillämpar samma kontrakt.
Ett självhostat arbetsflöde kan tillhandahålla ett standardkompatibelt schema för filmetadata, smarta hem-åtgärder, dokumentextraktion eller verktygsargument och ändå få felaktiga eller avvisade utdata. ”Giltigt schema” beskriver schemadokumentet, inte hela körningskedjan. Modellen måste förstå uppgiften, avkodaren måste stödja relevanta schemafunktioner, genereringen måste slutföras innan ett stoppvillkor avbryter den, parsern måste återskapa ett komplett JSON-värde och applikationens validator måste tillämpa förväntade draft- och typkonverteringsregler.
Giltig JSON och schemagiltig JSON är olika resultat
Ett objekt kan parsas utan problem och ändå bryta mot obligatoriska fält, typer, enumvärden, arraybegränsningar eller villkorsgrenar. Det kan också innehålla korrekta fältnamn men lägga till egenskaper som schemat förbjuder.
Pythons JSON-modul definierar syntaxlagret för avkodning av ett JSON-dokument, men parsning tillämpar inte något separat JSON Schema-kontrakt.
Den här orsaken känns igen när utdata läses in utan syntaxfel men endast misslyckas efter schemavalidering. En saknad klammerparentes eller en avslutande förklaring är ett serialiseringsfel; en sträng där ett heltal krävs är ett kontraktsfel.
Schemasammansättning kan skapa svårhanterliga grenar
Nyckelord som allOf, anyOf, oneOf och not kombinerar begränsningar. En gren kan vara giltig separat men det kombinerade objektet kan uppfylla ingen eller flera av de tillåtna alternativen.
JSON Schema-vägledningen förklarar hur nyckelord för schemasammansättning ändrar om ett eller flera underscheman måste matcha.
En lokal modell hanterar ofta en platt lista med egenskaper mer tillförlitligt än kapslad villkorslogik. Om felen samlas kring unioner eller ömsesidigt uteslutande objektformer beror den främsta belastningen på val av gren snarare än på grundläggande JSON-interpunktion.
Den begränsade avkodaren kanske bara stöder delar av schemat
Motorer för strukturerade utdata översätter scheman till tokenbegränsningar, grammatiker, reguljära uttryck eller backend-specifika regler. Alla implementerar inte hela JSON Schema-standarden eller alla nyckelord.
vLLM exponerar flera backendlösningar för strukturerade utdata, vilket visar att JSON-schema-, grammatik-, regex- och fastvalsbegränsningar är separata körlägen.
Den här orsaken visar sig när samma schema valideras korrekt i en standardvalidator men endast misslyckas under en viss inferensbackend. Rekursion, referenser, mönster eller villkorsnyckelord som inte stöds kan förenklas, ignoreras eller avvisas innan modellen genererar något.
Promptinstruktioner kan stå i konflikt med schemat
Användarprompten kan begära kommentarer, källhänvisningar, förklaringar, utelämnade valfria fält eller naturligt språklig osäkerhet, medan schemat kräver ett enda objekt med fasta fält.
Modellen har då två konkurrerande framgångskriterier: att svara användaren konversationsmässigt och att endast generera token som är tillåtna enligt maskinkontraktet. En mindre lokal modell kan följa den senare eller mest framträdande instruktionen i stället för att förena båda.
Dessa fel lägger ofta till en inledning, ett Markdown-block, en förklaring efter objektet eller ett värde som uppfyller den textbaserade begäran men bryter mot den deklarerade enumen. Schemat är giltigt; instruktionshierarkin är inkonsekvent.
Avkortning kan göra en korrekt plan till ogiltiga utdata
Kapslade arrayer och objekt kräver tillräckligt många genererade token för att stänga varje struktur. En tokenbegränsning, stoppsträng, avbruten begäran eller avbruten ström kan avsluta svaret innan de avslutande avgränsarna har kommit med.
Transformers exponerar kontroller för maximalt antal token och stopp som avgör när genereringen avslutas.
Den här grundorsaken kännetecknas av giltiga prefix som slutar abrupt, särskilt vid större arrayer eller långa strängfält. Upprepade typfel i början pekar på något annat; saknade avslutande hakparenteser nära utdatagrenen visar att genereringen är ofullständig.
Validatorns semantik kan avvisa värden som modellen ansåg likvärdiga
En modell kan generera "3" för ett heltal, null för ett utelämnat fält, en enum med gemener eller ett ISO-datum i ett annat format än det applikationen förväntar sig.
Pydantic dokumenterar separata kategorier av valideringsfel för saknade värden, ogiltig JSON, enumfel, förbjudna extra fält och inkompatibla typer.
Om varje fel når samma fält med ett parsingsbart men avvisat värde beror orsaken inte på slumpmässiga schemabrott. Det handlar om oenighet kring typkonvertering, strikt läge, nullvärden, versaler och gemener eller format på applikationsnivå.
Grammatikbegränsningar kan bevara syntaxen men inte affärsbetydelsen
En grammatik kan blockera ogiltiga klammerparenteser och nycklar men ändå tillåta en semantiskt omöjlig kombination, till exempel ett slutdatum före ett startdatum eller en filsökväg som inte finns.
llama-cpp-python tillhandahåller grammatikbegränsad generering som en inferenskontroll, men grammatiken styr tillåten tokenstruktur snarare än extern verklighet.
Ett schemafel som orsakas av regler mellan flera fält kan visa sig först i ett andra valideringslager. Utdata kan vara syntaktiskt och strukturellt giltiga men ändå oanvändbara i arbetsflödet för hemmaservern.
Efterbearbetning kan förstöra annars giltiga modellutdata
Applikationer tar ibland bort Markdown, extraherar det första blocket som avgränsas av klammerparenteser, slår ihop strömningssegment, reparerar kommatecken eller konverterar värden före valideringen.
Ett giltigt modellsvar kan bli ogiltigt när ett strömningssegment dupliceras, Unicode avkodas fel, en escape-sekvens tas bort eller en reparationsfunktion ändrar kapslat innehåll. Omvänt kan ett reparationssteg dölja att modellens råa utdata var ogiltiga.
ZimaSpaces förklaring av varför små lokala modeller hallucinerar vid JSON-utdata beskriver den närliggande gränsen: schemagiltighet och faktisk korrekthet måste mätas separat, och råsvaret bör sparas innan applikationen omvandlar det.
Vanliga frågor
Bevisar giltig JSON att utdata matchar schemat?
Nej. JSON-parsning kontrollerar syntaxen. Schemavalidering kontrollerar separat obligatoriska egenskaper, typer, enumvärden, grenar, begränsningar och andra deklarerade krav.
Förhindrar temperatur noll schemabrott?
Nej. Det kan göra en avkodningsväg mer reproducerbar, men det lägger inte till stöd för saknade schemafunktioner, förhindrar inte avkortning och löser inte motstridiga instruktioner.
Garanterar begränsad avkodning en användbar post för automatisering?
Nej. Den kan garantera strukturella begränsningar som stöds, men affärsregler, källförankring, att filer finns, behörigheter och konsekvens mellan fält kräver fortfarande validering i applikationen.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Vilka funktioner möjliggör en AI-förtroendegräns i hemmet runt känsliga filer?
En förtroendegräns för AI i hemmet kombinerar kryptering i vila, behörigheter enligt principen om minsta privilegium, sandlådeförsörjning vid körning och avgränsad informationshämtning – ingen...
Vad gör att privata sökresultat prioriterar filer som redigeras ofta?
Filer som redigeras ofta får rankingfördelar när varje uppdatering lägger till färskhet, delar, versioner eller interaktionssignaler utan att normalisera efter källa.
Vad får modeller för närvaro i smarta hem att förväxla gäster med boende?
Gäster kan se ut som boende när systemet observerar aktivitetsmönster i hushållet men saknar en stabil identitetssignal för personen som ger upphov till dem.
