Che cos’è un confine di affidabilità per l’esecuzione degli strumenti in un agente IA locale?

Un confine di fiducia per l'esecuzione degli strumenti separa l'intento generato dal modello dagli effetti collaterali privilegiati, così un agente IA locale non può trasformare da solo testo arbitrario in autorità.

Questo è più circoscritto rispetto a un generico confine di privacy attorno ai file sensibili. Un agente domestico può ragionare sul contesto locale, proporre il riavvio di un container o generare argomenti per uno strumento, ma nessuno di questi output dovrebbe ereditare automaticamente il permesso di modificare il server. Il confine di fiducia si trova al livello di esecuzione, dove la validazione dello schema, l'identità, l'ambito delle risorse, l'autorizzazione, l'approvazione e il controllo delle attività trasformano una proposta non attendibile in un'azione consentita.

Il confine si trova tra l'intento del modello e l'esecuzione privilegiata

Un modello linguistico può produrre nomi di strumenti e argomenti, ma questi token sono comunque contenuti generati. Il livello di esecuzione deve trattarli come una richiesta da valutare, non come una prova che il chiamante sia autorizzato a eseguire l'azione.

L'architettura zero trust presuppone che la fiducia non venga concessa implicitamente perché una richiesta proviene dall'interno di un confine di rete o di processo, e le decisioni esplicite sull'accesso alle risorse sono il modello concettuale corretto anche per l'esecuzione degli strumenti da parte di agenti locali.

Lo stesso principio si applica anche quando il modello viene eseguito sul server domestico. La località protegge il luogo in cui si trovano i dati, ma non rende l'output del modello un comando di amministratore attendibile.

Le descrizioni degli strumenti e il ragionamento restano dal lato non attendibile

I prompt, i documenti recuperati, i contenuti web e le descrizioni degli strumenti possono tutti influenzare l'azione proposta dal modello. Se uno qualsiasi di questi testi può creare direttamente autorità, un prompt injection o un piano errato possono arrivare al controllo del server senza una verifica indipendente.

Gli strumenti possono rappresentare l'esecuzione di codice arbitrario, quindi la sicurezza dell'invocazione degli strumenti deve rimanere separata dalla selezione dello strumento da parte del modello.

Le descrizioni dello schema possono vincolare la forma di un'azione, ma restano parte della superficie della proposta. Il fatto che un campo denominato `path` sia sintatticamente valido non dimostra che l'agente possa scrivere in ogni percorso che è in grado di indicare.

In questo modo il confine rimane netto: da un lato il ragionamento può essere flessibile e probabilistico, mentre dall'altro i controlli dei permessi restano deterministici e applicabili.

L'autorizzazione restringe le risorse e le operazioni che possono attraversare il confine

Quando una chiamata proposta raggiunge il confine, l'esecutore dovrebbe determinare l'identità effettiva, la risorsa di destinazione, l'operazione e l'ambito delle credenziali prima di svolgere qualsiasi attività. Credenziali ambientali eccessivamente ampie cancellano questa distinzione, perché ogni richiesta sintatticamente valida diventa potenzialmente raggiungibile.

I controlli basati su OAuth possono proteggere risorse e operazioni protette, rafforzando il principio secondo cui la connettività degli strumenti e l'autorità degli strumenti sono aspetti distinti.

Un ambito ristretto degli strumenti limita la portata; la prospettiva del confine di fiducia spiega dove tali limitazioni devono essere applicate prima che si verifichino effetti collaterali.

Featured

ZimaCube 2 NAS personale cloud domestico

ZimaCube2

$799.00 - $2,499.00

Buy Now

Validazione, approvazione e controllo delle attività completano il passaggio

L'autorizzazione stabilisce se un'identità può eseguire un'operazione, ma un confine sicuro può richiedere anche la validazione dello schema, controlli sullo stato attuale, l'approvazione esplicita dell'utente, limiti di frequenza o un budget di esecuzione prima di rilasciare un'azione ad alto impatto.

I rischi legati al confused deputy e alla gestione dei token fanno dei malfunzionamenti dei confini di autorizzazione un problema del livello di esecuzione, non di progettazione dei prompt.

Dopo il passaggio dell'azione, registra i parametri approvati, l'identità, il risultato e l'effetto collaterale osservabile, così una riconciliazione successiva può distinguere una richiesta non riuscita da un'azione completata prima dell'interruzione della connessione.

Il confine è efficace solo quando vengono rimossi i percorsi alternativi. Se l'agente dispone anche di una shell senza restrizioni, di un socket Docker scrivibile o di un token di amministratore, un broker degli strumenti progettato con cura non definisce più il vero confine di fiducia.