Varför slutar en AI-agent för tidigt när ett verktyg returnerar ett delvis lyckat resultat?
En AI-agent kan avsluta för tidigt eftersom den misstar ett framgångsrikt verktygssvar för bevis på att alla nödvändiga uppgiftsvillkor har uppfyllts.
En hemagent kan be ett verktyg att kopiera tio filer, uppdatera flera kalenderhändelser, bearbeta en dokumentbatch, starta om beroende tjänster eller söka i paginerade poster. Verktyget kan returnera ett giltigt svar efter att bara ha slutfört vissa objekt, accepterat ett köat jobb eller nått en intern gräns. Om agenten bara följer upp om anropet returnerades utan fel kan den omvandla lokal framdrift till ett globalt framgångspåstående. Avsnitten nedan skiljer mellan transportframgång, åtgärdsförlopp och verifierat slutförande.
Ett framgångsrikt verktygsanrop är bara en lokal händelse
En HTTP-statuskod som anger framgång, ett giltigt JSON-svar eller verktygsstatusen ”ok” visar att anropet accepterades eller behandlades enligt verktygets kontrakt. Det bevisar inte automatiskt att användarens fullständiga mål är uppnått.
Microsoft Research har visat att tillförlitlig agentutvärdering kräver resultatverifiering, eftersom ytliga framgångssignaler kan skilja sig från det faktiska måltillståndet.
Agenten behöver separata predikat för anropsframgång, framsteg på objektnivå, slutligt tillstånd och användarsynlig acceptans.
Batch- och paginerade verktyg kan bara returnera en giltig delmängd
Ett verktyg kan bearbeta den första sidan, posterna som klarade valideringen eller objekten som slutfördes före en timeout. Svaret kan vara korrekt för just den delmängden.
CAR-bench synliggör för tidiga agentåtgärder när osäkerhet, saknad information och sammankopplade verktyg kräver mer än ett lokalt giltigt steg.
Verktygsschemat bör returnera begärt antal, slutfört antal, misslyckade objekt, fortsättningstoken, ID för väntande jobb och möjlighet till nytt försök i stället för ett enda tvetydigt framgångsfält.
En tom fellista räcker inte när verktyget i tysthet begränsade indata eller aldrig räknade upp alla avsedda objekt.
Agenten kan tappa bort ofullbordade åtaganden från sitt uppgiftstillstånd
Långa instruktioner och flerstegsplaner innehåller flera begränsningar. När ett verktyg ger ett positivt svar kan modellen fokusera på det slutförda steget och misslyckas med att bevara den återstående checklistan.
Berkeley Function Calling Leaderboard utvärderar tillståndsbaserade uppgifter i flera steg, där ett giltigt anrop inte visar att varje nödvändigt åtagande fortfarande finns representerat och är slutfört.
En beständig uppgiftslogg bör hålla varje åtagande öppet tills en verifierare markerar att dess bevis är tillräckliga. Enbart minne i naturligt språk är svagt för långa batcher och förgrenade arbetsflöden.
Säkert avslutande språk kan ersätta faktisk verifiering
Språkmodeller har lärt sig mönster som ”Klart”, ”Slutfördes utan problem” och korta sammanfattningar som normalt följer efter ett positivt verktygssvar.
Forskning om granskningsbart tidigt avslut kräver ett verifierbart avslutningsvillkor i stället för ett självsäkert avslutande påstående.
Det slutliga svaret bör genereras först efter verifiering av tillståndet, inte direkt utifrån den känslomässiga tonen eller formuleringen i det senaste verktygsmeddelandet.
Delvis framgång kräver ett uttryckligt kontrakt för nästa tillstånd
Ett tillförlitligt verktyg bör skilja mellan slutfört, delvis slutfört, köat, återförsökbart fel, permanent fel och okänt resultat. Varje status bör ange vad orkestratorn ska göra härnäst.
Utveckling av långvariga agenter använder explicit förloppsstatus så att slutfört och ofullbordat arbete överlever kontextändringar och omstarter av tjänster.
För en hemagent kan nästa tillstånd vara att fortsätta med nästa sida, kontrollera jobbstatus, försöka igen med misslyckade objekt, stämma av externt tillstånd, begära godkännande eller stoppa och rapportera den exakta olösta delmängden.
Ett delresultat bör aldrig ha samma slutstatus som en fullständigt verifierad åtgärd.
Villkora slutförandet med bevis från målsystemet
Innan agenten säger ”klart” bör den jämföra det begärda resultatet med det aktuella tillståndet: filantal och hashvärden, händelse-ID:n, tjänsternas hälsa, databasposter, jobbstatus eller en annan skrivskyddad verifieringsslutpunkt.
Forskning om kvantitativ målpersistens föreslår verifierarstyrt slutförande så att en agent inte kan avsluta medan mätbara åtaganden fortfarande inte är uppfyllda.
ZimaSpaces guide till skrivskyddade agentverktyg tillhandahåller det säkrare verifieringslagret för kontroll av filer, tjänster, enheter och planer utan att skapa ännu en sidoeffekt.
Om målsystemet inte kan bevisa att arbetet är slutfört bör agenten rapportera delvisa framsteg, lista olösta objekt och bevara ett återupptagbart åtgärds-ID i stället för att presentera ett framgångsrikt slutligt svar.
Vanliga frågor
Är ett HTTP 200-svar en signal om fullständig framgång?
Nej. Det beskriver förfrågan på protokollnivå. Svarstexten och måltillståndet måste avgöra om allt begärt arbete slutfördes.
Bör en agent automatiskt försöka igen med delresultat?
Endast när verktygskontraktet identifierar misslyckade objekt och nya försök är idempotenta eller skyddas av en stabil åtgärdsnyckel.
Kan språkmodellen själv verifiera att arbetet är slutfört?
Den kan resonera utifrån bevis, men deterministiska kontroller mot målsystemet är mer tillförlitliga för antal, ID:n, tillstånd och nödvändiga resultat.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Vilka funktioner möjliggör en AI-förtroendegräns i hemmet runt känsliga filer?
En förtroendegräns för AI i hemmet kombinerar kryptering i vila, behörigheter enligt principen om minsta privilegium, sandlådeförsörjning vid körning och avgränsad informationshämtning – ingen...
Vad gör att privata sökresultat prioriterar filer som redigeras ofta?
Filer som redigeras ofta får rankingfördelar när varje uppdatering lägger till färskhet, delar, versioner eller interaktionssignaler utan att normalisera efter källa.
Vad får modeller för närvaro i smarta hem att förväxla gäster med boende?
Gäster kan se ut som boende när systemet observerar aktivitetsmönster i hushållet men saknar en stabil identitetssignal för personen som ger upphov till dem.
