Qual è la differenza tra la memoria dell’agente e il contesto RAG?

La memoria dell’agente conserva lo stato riutilizzabile delle interazioni precedenti, mentre il contesto RAG recupera informazioni supportate da fonti per la domanda a cui si sta rispondendo ora.

Su un server AI domestico, i due elementi possono sembrare ingannevolmente simili perché entrambi possono essere archiviati localmente, cercati semanticamente e inseriti nello stesso prompt del modello. Una preferenza memorizzata come «usa i gradi Celsius» e un passaggio recuperato da un manuale possono influenzare entrambi la stessa risposta, ma non dovrebbero avere le stesse regole di scrittura, autorevolezza, durata o gestione degli errori. La distinzione utile non riguarda la posizione del testo nel prompt, ma il motivo per cui l’informazione esiste e ciò che è autorizzato a modificarla.

La memoria dell’agente conserva lo stato delle interazioni; il contesto RAG fornisce evidenze esterne

La memoria dell’agente serve a mantenere uno stato utile oltre il momento in cui è stato creato. Questo stato può includere una preferenza dell’utente, una correzione, un’attività non completata, un vincolo ricorrente o un altro fatto che dovrebbe influenzare le interazioni successive senza costringere l’utente a ripeterlo ogni volta.

La memoria a lungo termine è quindi organizzata attorno alla persistenza tra conversazioni o esecuzioni, spesso con ambito utente, agente, applicazione o attività. La proprietà importante è la continuità: una richiesta successiva può recuperare lo stato creato durante un’interazione precedente e riutilizzarlo quando la stessa persona o lo stesso flusso di lavoro ritorna.

Il contesto RAG ha uno scopo diverso. Il recupero seleziona passaggi da una fonte di conoscenza esterna perché la domanda attuale richiede evidenze che non sono già presenti nel contesto attivo del modello. Il testo recuperato può provenire da un manuale, una nota, una policy, una trascrizione, un database o un’altra fonte indicizzata la cui autorevolezza esiste indipendentemente dalla conversazione.

Entrambi i livelli possono fornire testo utile allo stesso prompt, ma rappresentano affermazioni diverse. «In casa si preferisce un hardware silenzioso» è uno stato derivato dalle interazioni; «questa unità è classificata per funzionare a una determinata temperatura» dovrebbe rimanere associato alla fonte che lo dichiara.

Il percorso di scrittura è il confine pratico più importante

Un sistema di memoria dell’agente deve decidere quali dettagli delle interazioni meritino di diventare uno stato riutilizzabile. Una correzione diretta dell’utente, un’istruzione temporanea di un ospite, un’inferenza del modello e il risultato di uno strumento possono comparire tutti nella stessa conversazione, ma promuoverli a memoria persistente produce conseguenze molto diverse in seguito.

I sistemi di memoria hanno quindi bisogno di operazioni per aggiungere, aggiornare, cercare ed eliminare le informazioni memorizzate. Quando i fatti derivati dalle interazioni diventano uno stato persistente, l’ambito e le regole di correzione sono importanti perché la stessa memoria può essere richiamata ripetutamente nelle sessioni future.

Ecco perché un’inferenza debole diventa più pericolosa dopo essere stata memorizzata come stato persistente e recuperata ripetutamente. Il passaggio di recupero non è di per sé il problema principale; la transizione importante è che a un’evidenza di interazione incerta sia stata concessa una durata maggiore e un’autorità sufficiente per continuare a influenzare il comportamento successivo.

L’acquisizione dei dati in RAG segue un altro ciclo di vita. Un file sorgente viene analizzato, suddiviso in unità di recupero, indicizzato e in seguito aggiornato o ritirato quando cambia la fonte sottostante. Il sistema non dovrebbe dover riscrivere la memoria personale dell’agente solo perché un manuale, una policy o un documento di progetto ha ricevuto una nuova revisione.

Il contesto RAG conserva una relazione con la fonte che la memoria potrebbe non condividere

RAG è utile perché il passaggio recuperato può rimanere collegato a una fonte esterna, invece di diventare un fatto non tracciabile all’interno del modello. Una knowledge base privata può conservare identificativi dei documenti, metadati delle revisioni, timestamp, autorizzazioni e provenienza dei segmenti, così che la risposta possa essere valutata rispetto al materiale che l’ha fornita.

Il recupero al momento della query si basa sul trovare conoscenze esterne pertinenti e inserire i passaggi selezionati nel contesto del modello. Il modello riceve quei passaggi per la richiesta corrente, ma il corpus di fonti rimane esterno alla conversazione e può essere aggiornato indipendentemente.

Questa separazione diventa importante quando esistono due versioni dello stesso file. La similarità semantica può classificare entrambe con un punteggio elevato, quindi l'attualità e la sostituzione delle fonti devono determinare quale versione sia valida per una domanda sullo stato corrente, invece di consentire a un passaggio precedente di rimanere autorevole solo perché costituisce una corrispondenza lessicale o semantica forte.

La memoria dell'agente può anche conservare la provenienza, ma il suo ruolo distintivo è diverso. Memorizza lo stato riutilizzabile delle interazioni; il RAG mantiene una relazione recuperabile con un corpus di fonti i cui documenti possono avere proprietari, cronologie delle revisioni, regole di accesso e politiche di conservazione proprie.

-15% OFF

ZimaBoard 2 - Mini server domestico per la tua grande idea

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Entrambi i livelli possono usare embedding e ricerca vettoriale senza diventare lo stesso sistema

La tecnologia di archiviazione non definisce il confine, perché sia la memoria dell'agente sia il RAG possono usare embedding, archivi vettoriali, reranking, filtri sui metadati o ricerca ibrida. Un record di memoria può essere trasformato in embedding affinché una richiesta successiva possa richiamare una preferenza semanticamente correlata, mentre un frammento di documento può essere trasformato in embedding affinché una query corrente possa trovare le prove pertinenti nella fonte.

La ricerca semantica sulle memorie archiviate dimostra che il recupero può essere parte di un'implementazione della memoria. Lo stesso meccanismo dei vicini più prossimi può quindi stare alla base di due record che richiedono regole di ciclo di vita e autorevolezza completamente diverse.

La domanda di classificazione dovrebbe invece chiedere perché il record è stato creato, chi può modificarlo, per quanto tempo dovrebbe essere conservato e quale tipo di affermazione è autorizzato a supportare. Una preferenza dell'utente e un paragrafo di un manuale possono occupare vettori vicini, pur appartenendo a domini diversi per affidabilità e conservazione.

Questo spiega anche perché una soglia di similarità universale non sia sufficiente. Una memoria può essere altamente pertinente, ma essere stata associata per errore a un altro membro della famiglia, mentre un passaggio di un documento può essere altamente pertinente, ma essere stato superato da una revisione più recente.

Le modalità di errore divergono perché divergono le fonti autorevoli

I problemi di memoria di solito iniziano con uno stato che non avrebbe dovuto essere salvato, che è stato salvato con l'identità o l'ambito sbagliati, che è stato dedotto in modo eccessivamente aggressivo o che non è mai stato corretto dopo il cambiamento delle circostanze. Il risultato è una continuità applicata alle informazioni sbagliate: l'errore sopravvive proprio perché la memoria sta svolgendo il suo compito di trasferire lo stato nel tempo.

I problemi del RAG derivano più spesso dall'acquisizione e dal recupero. Un file potrebbe non essere mai indicizzato, l'OCR potrebbe danneggiare una tabella, la suddivisione in blocchi potrebbe separare una precisazione dall'affermazione a cui si riferisce, i metadati potrebbero selezionare la revisione sbagliata oppure il recupero potrebbe classificare un passaggio vicino al di sopra della prova che risponde effettivamente alla domanda.

Di conseguenza, anche l'azione correttiva è diversa. Un ricordo errato potrebbe dover essere aggiornato, eliminato, riassegnato a un ambito diverso o escluso da ulteriori salvataggi, mentre una risposta RAG errata potrebbe richiedere la correzione dell'estrazione, una nuova indicizzazione del corpus, la modifica della logica di recupero o la selezione di una fonte più autorevole.

Anche la fiducia dovrebbe rimanere separata. La rilevanza non dimostra l'autorevolezza in nessuno dei due livelli: un ricordo può essere semanticamente perfetto ma errato, e un passaggio recuperato può corrispondere strettamente alla domanda pur descrivendo uno stato obsoleto.

Un assistente locale funziona meglio quando i due livelli mantengono un'autorità separata

Un assistente domestico efficace può combinare entrambi i livelli senza fonderli in un unico insieme indifferenziato. La memoria può fornire vincoli stabili per l'interazione, come le unità di misura preferite, i flussi di lavoro ricorrenti o le scelte familiari confermate, mentre il RAG fornisce prove tratte dai file e dai database pertinenti all'attività corrente.

Per esempio, una richiesta di configurazione di un server multimediale potrebbe usare la memoria per mantenere la preferenza della famiglia per il basso rumore e gli account solo locali, quindi usare la ricerca semantica per recuperare i requisiti attuali dell'applicazione e le note di configurazione. La risposta diventa personalizzata senza permettere alla preferenza ricordata di sostituire le prove provenienti dalle fonti tecniche.

Quando i due elementi non concordano, il sistema ha bisogno di una regola di autorevolezza, non di un altro punteggio di similarità. Le istruzioni esplicite e attuali dell'utente possono prevalere sulle preferenze ricordate, le revisioni correnti delle fonti possono prevalere sui passaggi RAG superati e i risultati in tempo reale degli strumenti possono avere la precedenza sia sulla memoria sia sui documenti quando la domanda riguarda lo stato mutevole di un dispositivo.

L'architettura pulita, quindi, non contrappone memoria e RAG. È una composizione controllata: mantenere in memoria lo stato interattivo riutilizzabile, recuperare le informazioni esterne tramite RAG, preservare la provenienza di entrambi e decidere esplicitamente quale livello sia autorevole per ciascun tipo di affermazione.