Vilka komponenter möjliggör säker verktygskörning för en självhostad AI-agent?
Säker verktygskörning kommer från extern kontroll runt modellen: begränsade anrop, avgränsade behörigheter, policykontroller, isolering, godkännanden, resultatverifiering och beständiga granskningsloggar.
En självhostad agent kan läsa NAS-filer, köra skalkommandon, styra lampor eller skicka meddelanden, så ett trovärdigt modellsvar kan bli en verklig sidoeffekt. Modellen bör föreslå en åtgärd, inte direkt få obegränsade inloggningsuppgifter. Ett betrott körningslager identifierar målet, kontrollerar identitet och policy, inhämtar godkännande när det krävs, kör inom gränserna och verifierar resultatet.
Typade verktygsanrop omvandlar avsikt till inspekterbara förfrågningar
Ett verktygsschema definierar tillåtna operationer, obligatoriska argument, typer, intervall och uppräkningar. Deterministisk validering avvisar felaktiga eller okända fält före körning, medan mållösning omvandlar ett lättbegripligt namn till en aktuell enhet, sökväg, mottagare eller resursidentifierare.
Forskning om agentsystemsäkerhet beskriver agentsäkerhet som ett systemproblem som omfattar isolering, åtkomstkontroll, proveniens och tillförlitliga körningsgränser. Detta stöder att kontrollen hålls utanför probabilistisk planering och generering. Denna åtskillnad förblir synlig under senare tester i hemmet.
Strukturerade utdata är nödvändiga men otillräckliga. En helt giltig förfrågan kan ändå radera fel mapp eller skicka ett meddelande till fel person, så semantiska validerare jämför den föreslagna åtgärden med aktuellt tillstånd, användaridentitet, arbetsflödets syfte och uttrycklig policy.
Behörigheter och sandlådor begränsar den maximala skadan
Körningsgatewayen beviljar snävt avgränsade, kortlivade behörigheter, till exempel läsåtkomst till en katalog eller kontroll över en lampgrupp. En sandlåda begränsar sedan filsystemsökvägar, processer, nätverksdestinationer, processor, minne, tid och utdatas storlek under körningen.
En praktisk analys av sandlådor för agentkörning jämför containrar, mikro-VM:er och WebAssembly, samtidigt som den betonar åtkomst till värdresurser enligt principen om nekande som standard. Isoleringsvalet påverkar startkostnad och kompatibilitet, men alla alternativ behöver uttryckliga tilldelningar. Mellanresultatet måste förbli inspekterbart innan automatisering fortsätter.
Inloggningsuppgifter hålls utanför modellens kontext och injiceras endast för ett auktoriserat anrop. Separata sandlådor skyddar värden från kodkörning, medan behörighetskontroller skyddar externa tjänster; ingen av kontrollerna ersätter den andra. Den gränsen bör mätas separat under realistiska driftförhållanden.
Godkännande och verifiering skyddar konsekvensrika sidoeffekter
Policyn klassificerar åtgärder efter risk och avgör om de ska tillåtas, nekas, simuleras eller kräva mänskligt godkännande. Godkännandeskärmen måste visa det identifierade målet, exakta parametrar, förväntade ändringar och proveniens i stället för en vag uppmaning att ”fortsätta”.
NVIDIA:s vägledning om sandlådor för agentarbetsflöden beskriver manuellt godkännande som en vanlig kontroll och diskuterar den friktion som motiverar selektiv sandlådeanvändning och kontroll. Detta förstärker att godkännande bör placeras vid den oåterkalleliga gränsen i stället för att avbryta varje skrivskyddat steg.
Felgränsen utgörs av ett överprivilegierat verktyg eller ett overifierat resultat. Ett godkännande kan inte göra ett dolt kommando säkert, och en lyckad slutkod bevisar inte att det avsedda tillståndet ändrades. Arbetsflöden med stor påverkan behöver oberoende eftervillkor, begränsade försök, idempotensnycklar och en granskningslogg över förslag, avslag, godkännanden, körningar och kontroller.
Testa kontrollagret, inte agentens löfte
Skapa testfall för felaktiga argument, sökvägsgenomgång, obehöriga filer, blockerade nätverksdestinationer, promptinjicerade instruktioner, inaktuella mål, duplicerade försök, manipulerade godkännanden, timeout och ett verktyg som felaktigt rapporterar framgång. Kör dem med samma behörigheter som används i produktion.
Använd principen om oberoende kontroller i oberoende resultatkontroller för att verifiera tillståndet efter varje tillåten åtgärd. Bekräfta att nekade operationer aldrig når verktyget, att godkännanden binds till den exakta hashvärdet för förfrågan, att inloggningsuppgifter hålls utanför prompter och loggar och att försöksnycklar förhindrar duplicerade sidoeffekter.
Distribuera först när kontrollerna nekar som standard om policyn, godkännandekanalen eller verifieraren inte är tillgänglig. Om säkerheten beror på att modellen minns en regel, flytta regeln till körbar policy innan verktyget beviljas.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Vilka komponenter möjliggör hybridsökning bland NAS-filer?
Lär dig hur exakta identifierare och semantisk betydelse leder fram till ett enda rankat NAS-sökresultat utan att kringgå behörigheter eller dölja svaga belägg.
Vilka funktioner möjliggör tillförlitligt val av dokumentversioner i RAG?
Se hur RAG väljer den tillämpliga revisionen i stället för den mest liknande inaktuella kopian, och hur du testar explicita, implicita och överlappande uppdateringar.
Vilka faktorer får agenters planer att avvika från tillgängliga verktygsbehörigheter?
Lär dig hur upptäckt, delegering, policyåterkoppling och omplanering håller en AI-agents föreslagna steg i linje med vad dess verktyg faktiskt kan göra.
