Vilka funktioner möjliggör isolering per användare på en delad AI-server i hemmet?

Eva Wong är Teknisk skribent och den boende fixaren på ZimaSpace. En livslång nörd med en passion för hemma-labb och öppen källkod, hon specialiserar sig på att översätta komplexa tekniska koncept till tillgängliga, praktiska guider. Eva tror att självhosting ska vara roligt, inte skrämmande. Genom sina handledningar ger hon gemenskapen verktyg att avmystifiera hårdvaruinstallationer, från att bygga sin första NAS till att bemästra Docker-containrar.

Isolering per användare kräver identitetsbunden behörighetskontroll vid varje data- och verktygsgräns, samt resurskontroller som förhindrar att en hushållsmedlem förbrukar den delade serverns resurser.

En enda GPU i hemmet kan betjäna flera familjemedlemmar utan att läsa in en separat modell för varje person, men delad inferens är inte samma sak som delad åtkomst. Gatewayen måste bevara vem som initierade varje begäran, filtrera hämtning och minne utifrån den identiteten, delegera endast behörigheter med begränsad omfattning och tillämpa köer eller kvoter per användare innan arbetet når gemensamma modell- och lagringstjänster.

Identiteten måste följa hela begäransvägen

Autentisering fastställer vem som använder gränssnittet, men isolering kräver att identiteten följer med genom hämtning, sammanställning av promptar, verktygsanrop, loggar och bakgrundsjobb. Att ersätta den med ett enda delat tjänstekonto förstör den kontext som behövs för efterföljande behörighetsbeslut.

En detaljerad arkitektur för isolering av klientidentitet separerar klientidentitet, dataisolering, kryptering, hastighetsbegränsningar och resurskvoter. Samma gränser kan skalas ned till ett hushåll där varje användare har privata filer och olika behörigheter för automatisering.

Kortlivade delegeringstoken bör identifiera både användaren och agentens åtgärd. Tjänsterna bör validera dem oberoende i stället för att lita på identitetstext i prompten, som en LLM kan misstolka eller som ett injicerat dokument kan manipulera.

Data, minne och autentiseringsuppgifter behöver separata namnrymder

Varje dokument, del, minne, konversation och autentiseringsuppgift för verktyg bör innehålla en policy för ägare eller behörig grupp. Hämtningen tillämpar dessa filter innan kandidaterna förs in i modellens kontext, och cacheminnen inkluderar behörighetsomfattningen så att ett privat resultat inte kan återanvändas av en annan användare.

En design med åtkomstkontroll vid frågetillfället för embeddingar bevarar filernas åtkomstkontrollkontext tillsammans med det indexerade innehållet. Den visar varför semantisk likhet måste förbli underordnad de ursprungliga källbehörigheterna i stället för att bli en ny väg runt dem.

Autentiseringsuppgifter kräver den snävaste namnrymden. Ett barns assistent kan läsa en delad kalender men inte en förälders e-post; ett mediearbetsflöde kan skriva till en mapp men inte till alla NAS-resurser. Modellen ser verktygsbeskrivningarna, medan exekveringsgatewayen lagrar och lämnar ut de faktiska hemligheterna.

Beräkningsisolering hanterar störande grannar, inte dataåtkomst

Begränsningar av samtidighet per användare, tokenbudgetar, kövikter och avbrytning förhindrar att en lång generering monopoliserar GPU-platser. CPU, RAM, tillfällig lagring och utgående nätverkstrafik behöver också begränsningar eftersom verktygsarbetslaster kan överbelasta servern utanför modellen.

En serverdesign med tokenkvoter per kund förklarar märkning av begäranden, kvottillämpning, kontroller av störande grannar och schemaläggning av delade GPU:er. Dessa mekanismer förbättrar rättvisan, men ersätter inte behörighetskontroll av dokument och autentiseringsuppgifter. Denna skillnad förblir synlig under senare tester i hushållet.

Felgränsen är att anta att en separat chattsession innebär isolering. Delade vektorcachen, prefixcachen, tillfälliga filer, loggar eller breda tjänsteuppgifter kan fortfarande korsa användargränser. Testa varje delad komponent med identitetsmedvetna nycklar och nekad åtkomst, inte bara den synliga programdatabasen.

Genomför ett isoleringstest mellan användare

Skapa två konton med ett delat dokument, ett privat dokument vardera, separata minnen, olika verktygsbehörigheter och ojämlika beräkningskvoter. Skicka semantiskt identiska frågor, direkta gissningar av filsökvägar, begäranden som värmer upp cacheminnet, samtidiga långa promptar och bakgrundsjobb från båda identiteterna.

Jämför behörighetsgränsen med kapabilitetsbaserad isolering, som behandlar kapabilitetens omfattning som en del av agentsäkerheten snarare än som promptbeteende. Dokumentera lyckade läsningar, nekade försök, köfördröjning, cacheminnesnycklar, identiteten för delegerade autentiseringsuppgifter och revisionshändelser.

Testet är godkänt först när delade bevis visas för båda användarna, privata bevis aldrig hamnar i den andra användarens kontext och den ena arbetsbelastningen inte kan svälta ut den andra utöver den deklarerade policyn. Varje cacheträff mellan användare som innehåller privat kontext är ett blockerande fel.

Teknik- och AI-hubb

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.