에이전트 메모리가 잘못된 가구 선호도를 강화하는 원인은 무엇인가?

에이전트 메모리는 잘못된 추론이 지속 상태로 저장되고, 반복적으로 검색된 다음, 이후 업데이트의 근거로 취급될 때 잘못된 가구 선호를 강화합니다.

셀프 호스팅 홈 어시스턴트에서는 작은 일에서 문제가 시작될 수 있습니다. 손님의 요청 하나, 모호한 온도 조절 명령 하나, 또는 모델이 생성한 요약 하나가 원인이 될 수 있습니다. 문제는 그 기록이 조명, 미디어, 온도, 알림 또는 추천을 제어하기 시작한 뒤에 나타납니다. 실제로는 그런 선호를 표현한 적이 없는 사람들에게까지 영향을 미치는 것입니다. 이는 단순히 모델이 같은 추측을 두 번 하는 문제가 아니라, 메모리 수명 주기의 오류입니다.

잘못된 선호가 먼저 지속 메모리에 들어가야 합니다

강화는 일시적인 관찰, 모델의 추측 또는 모호한 문장이 지속적인 사실로 변환될 때 시작됩니다. 예를 들어 손님이 거실이 춥다고 말했다고 해서 “이 가구는 75°F를 선호한다”는 내용으로 자동 변환해서는 안 됩니다. 메모리 계층이 이를 재사용 가능한 사용자 상태로 취급한 뒤에야 오류가 지속됩니다.

Mem0의 메모리 워크플로는 새로운 사용자 선호를 향후 사용을 위해 기록할 수 있는 항목으로 명시적으로 취급합니다. 이 기능은 유용하지만, 추론이 직접적인 가구 지시와 동일한 권한으로 저장되지 않도록 기록 경로에 신뢰도, 출처, 적용 범위가 필요하다는 의미이기도 합니다.

따라서 로컬 홈 어시스턴트는 직접적인 진술, 추론된 선호, 일회성 요청, 기기 텔레메트리, 모델 요약을 구분해야 합니다. 이 모든 항목이 동일한 메모리 유형으로 저장되면, 시스템은 나중에 어떤 기록을 우선해야 하는지 판단하는 데 필요한 정보를 잃게 됩니다.

검색은 잘못된 기록 하나를 반복되는 맥락으로 바꿉니다

저장된 오류가 중요한 문제가 되는 시점은 이후 요청에서 그 오류가 검색될 때입니다. 유사도 검색, 프로필 조회 또는 규칙 기반 메모리 선택은 관련된 가구 작업이 나타날 때마다 동일한 잘못된 선호를 모델 앞에 반복적으로 제시할 수 있습니다.

Microsoft Foundry는 장기 메모리를 세션 전반에서 지식을 추출하고, 통합하며, 관리하는 시스템으로 설명합니다. 잘못된 선호가 이 지속 계층에 들어가면, 검색 과정에서 그 선호는 일회성 해석이 아니라 확립된 과거 기록처럼 보일 수 있습니다.

이로 인해 피드백상의 우위가 생깁니다. 다음 답변이 생성되기 전에 잘못된 기록은 이미 존재하지만, 실제 선호는 이전 대화에 암묵적으로만 남아 있거나 조회되지 않은 기기 설정에만 존재할 수 있습니다. 따라서 반복적인 검색은 모델이 오류에 맞춰 일관되게 행동할 가능성을 높입니다.

메모리 업데이트가 새로운 증거를 잘못된 상태에 통합할 수 있습니다

다음 강화 단계는 에이전트가 성공적으로 보이는 상호작용을 다시 메모리에 요약할 때 발생합니다. 에이전트가 이미 가구가 더 따뜻한 방을 선호한다고 믿고 있다면, 이후 “편안하게 해줘”와 같은 요청을 그 믿음에 따라 해석한 뒤 추가적인 근거로 저장할 수 있습니다.

선호도 인식 메모리 업데이트에 관한 연구는 선호를 정적인 사실이 아니라 변화하는 신호로 다룹니다. 이는 홈 어시스턴트에 적합한 관점입니다. 새로운 증거는 이전 상태를 강화하거나 약화하거나 대체할 수 있으며, 메모리 업데이트 규칙이 메모리가 어느 방향으로 움직일지를 결정합니다.

취약한 업데이트 방식은 단순히 비슷한 기록을 하나 더 추가할 수 있습니다. 더 강력한 업데이트 방식은 새로운 사건이 독립적인 증거인지, 기존 메모리의 결과인지, 아니면 직접적인 수정인지 확인합니다. 이러한 구분이 없으면 시스템은 자신의 이전 행동을 확인 근거로 집계할 수 있습니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

권한과 시간이 없으면 충돌 해결이 실패합니다

가구의 선호는 변하고, 사람마다 다르며, 시간, 방, 계절 또는 활동에 따라 달라질 수 있습니다. 겉보기에 충돌하는 두 메모리도 서로 다른 범위에서는 모두 유효할 수 있고, 다른 두 메모리는 실제 수정 사항을 나타낼 수 있습니다.

LangChain의 메모리 모델은 사실, 경험, 행동 규칙을 서로 다른 형태의 의미적, 일화적, 절차적 메모리로 구분합니다. 실용적인 홈 프로필에도 이와 유사한 구분과 함께 사용자 식별자, 타임스탬프, 출처, 신뢰도, 조건이 필요합니다.

이러한 필드가 없으면 순위 결정은 최근성이나 의미적 유사성에 의존하게 됩니다. 그러면 최근의 낮은 신뢰도 추론이 오래된 명시적 진술보다 우선할 수 있습니다. 오래된 기록이 더 높은 권한을 가지더라도 말입니다. 강화의 원인은 메모리의 크기 자체가 아니라 취약한 충돌 의미 체계입니다.

긴 기록은 숨겨진 충돌을 드러내기 어렵게 만듭니다

어시스턴트가 몇 주 또는 몇 달 동안 상호작용을 축적하면 올바른 기록은 현재 요청에서 점점 멀어지는 반면, 강화된 오류는 여러 최신 요약에 나타날 수 있습니다. 상위 k개 메모리 검색에서는 반복된 해석만 검색되고 원래의 수정 내용은 누락될 수 있습니다.

MemConflict는 기록이 길어지고, 방해 정보가 늘어나며, 충돌 간 거리가 커질수록 충돌 상황에서 메모리 검색과 순위 지정의 성능이 저하될 수 있음을 보여줍니다. 이는 홈 어시스턴트가 몇 번의 세션 동안에는 안정적으로 보이다가 메모리 저장소가 커질수록 더 고집스러워질 수 있는 이유를 설명합니다.

관찰되는 징후는 무작위적인 망각이 아닙니다. 시스템이 같은 잘못된 개인화 결정을 반복해서 내리고, 그 결정을 뒷받침하는 내부적으로 일관된 메모리를 여러 개 제시하는 것입니다. 이러한 메모리는 모두 하나의 최초 오류에서 파생되었을 수 있습니다.

증거와 에이전트의 해석을 분리해 반복을 중단하세요

가장 안전한 경계는 직접적인 가구 진술과 검증된 도구 상태를 모델이 생성한 해석과 구분하는 것입니다. 모델은 특정 패턴이 선호처럼 보인다고 제안할 수 있지만, 그 추론이 영구적인 규칙으로 조용히 변환되어서는 안 됩니다.

Microsoft Security는 조작되거나 주입된 메모리가 시간이 지나면서 에이전트의 행동을 형성할 수 있다고 경고합니다. 우발적인 선호 강화도 공격자가 없는 경우에 유사한 시스템 경로를 따릅니다. 잘못된 상태가 지속되고, 검색되며, 행동에 영향을 주고, 더 많은 뒷받침 기록을 얻게 됩니다.

셀프 호스팅 가구 에이전트에서는 단순히 더 많은 대화를 저장하는 것보다 검토 가능한 메모리 기록, 명시적인 수정 명령, 사람별 네임스페이스, 신뢰도가 낮은 추론의 만료, 출처를 인식하는 충돌 규칙이 더 중요합니다.

동일한 증거 우선 원칙은 행동에도 적용됩니다. ZimaSpace의 읽기 전용 에이전트 도구 가이드는 관찰과 위험도가 더 높은 변경을 분리합니다. 이를 통해 기억된 가정이 자기확증적인 가구 상태로 변할 가능성을 줄일 수 있습니다.

ZimaSpace의 에이전트 메모리가 많아질수록 유용성이 떨어지는 경우에 관한 폭넓은 논의는 용량의 한계를 설명합니다. 이 글의 더 좁은 요지는 하나의 잘못된 선호가 메모리 수명 주기에서 그 결과를 새로운 증거로 반복해서 취급할 때 지속된다는 것입니다.

FAQ

잘못된 메모리 하나만으로 강화가 일어날 수 있나요?

반드시 그런 것은 아닙니다. 강화가 일어나려면 해당 기록이 검색되고 이후의 해석, 행동 또는 메모리 업데이트에 영향을 주어야 합니다. 잘못된 기록이 재사용되지 않는다면 고립된 상태로 남습니다.

처음의 잘못된 메모리를 삭제하면 문제가 항상 해결되나요?

아니요. 이후의 요약이나 파생 메모리에 이미 같은 선호가 포함되었을 수 있습니다. 수정할 때는 최초 항목 하나만 삭제하는 것이 아니라 종속된 기록을 무효화하거나 대체해야 합니다.

가구 에이전트는 하나의 공유 선호 프로필을 저장해야 하나요?

진정으로 가구 전체에 해당하는 선호에만 적용해야 합니다. 개인별, 방별, 일시적, 활동별 선호는 별도의 범위로 관리해야 한 사람의 행동이 모두를 위한 규칙이 되지 않습니다.