Varför ändras rangordningen för vektorsökning när flera indexsegment genomsöks tillsammans?

Eva Wong

IceWhale author

Eva Wong är Teknisk skribent och den boende fixaren på ZimaSpace. En livslång nörd med en passion för hemma-labb och öppen källkod, hon specialiserar sig på att översätta komplexa tekniska koncept till tillgängliga, praktiska guider. Eva tror att självhosting ska vara roligt, inte skrämmande. Genom sina handledningar ger hon gemenskapen verktyg att avmystifiera hårdvaruinstallationer, från att bygga sin första NAS till att bemästra Docker-containrar.

Why Does Vector Search Ranking Change While Multiple Index Segments Are Queried Together? - Zima Store Online

Vektorrangordningen kan ändras mellan flera segment eftersom ungefärlig kandidatidentifiering sker separat innan en global top-k-sammanslagning jämför ofullständiga resultatuppsättningar.

Ett privat index kan innehålla ett stort bassegment samt mindre segment för nyligen uppdaterade dokument. Frågan körs mot varje struktur, samlar in ett begränsat antal kandidater och slår samman deras poäng. Segmentstorlek, graf- eller partitionskvalitet, sökbudget, borttagna poster, poängnormalisering och uppdateringsfördelning avgör vilka grannar som överlever, även när varje vektor använder samma inbäddningsmodell.

Varje segment producerar en lokalt ofullständig kandidatuppsättning

Ungefärlig sökning efter närmaste grannar utforskar bara en del av ett index. När korpusen delas upp får varje segment sin egen strålbredd, sitt eget antal sonderingar eller sin egen top-k-gräns, och den globala sammanslagningen kan bara rangordna kandidater som de lokala sökningarna returnerar.

vektorsökning i flera nivåer kombinerar hierarkisk grafindexering med loggstrukturerade nivåer för dynamiska vektoruppdateringar. Dess utformning visar att sökstrategin måste ta hänsyn till var vektorerna finns på olika nivåer, i stället för att behandla segmenterad lagring som en enda exakt avståndsskanning.

Ett litet nytt segment kan returnera svaga kandidater eftersom det har en reserverad kvot, medan ett stort bassegment kan utelämna en verklig granne eftersom dess lokala budget är för snäv. Att öka det slutliga top-k kan inte återställa ett objekt som inget segment exponerade.

Partitionskvalitet och aktualitet skiljer sig mellan segment

Äldre segment kan ha väloptimerade grafer eller kluster, medan nya segment innehåller infogningar och borttagningsmarkörer som har samlats in under en annan datadistribution. Därför kan deras återkallning, traverseringskostnad och kandidattäthet skilja sig åt innan poängen når den globala sammanslagningen.

strömmande grafuppdateringar upprätthåller realtidsuppdateringar av grafen samtidigt som hög återkallning bevaras och periodiska fullständiga ombyggnader undviks. Arbetet visar varför dynamisk vektorsökning kräver uttryckliga uppdateringsregler, i stället för antagandet att en statisk graf förblir representativ.

Dubbla dokumentversioner kan också finnas i olika segment och konkurrera om top-k. Versionsfilter som tillämpas efter ANN-sökningen slösar med lokala kandidatplatser; genom att föra in begränsningar för aktiv version och behörighet i kandidatgenereringen minskar detta dolda rangordningstryck.

Den globala poängsammanslagningen kan inte korrigera saknade eller ojämförbara bevis

Cosinus-, skalärprodukt- eller avståndsvärden är matematiskt jämförbara endast när vektorer och normalisering överensstämmer. Kvantisering, segmentspecifika transformationer eller inkonsekvent poängkonvertering kan göra att till synes lika tal representerar olika approximationsfel. Denna skillnad förblir synlig under senare testning i hemmet.

lokal ombalansering av partitioner ersätter kostsamma globala ombyggnader med lokal ombalansering av partitioner när data förändras. Utvärderingen rapporterar variationer i söklatens och noggrannhet hos ombyggnadsorienterade metoder, vilket illustrerar varför konsolideringspolicyn förändrar det observerbara rangordningsbeteendet. Mellanresultatet måste förbli granskningsbart innan automatiseringen tar över.

Felgränsen är att förvänta sig en deterministisk ordning bland nästan lika resultat. Flyttalskärnor, samtidiga uppdateringar och ungefärlig traversering kan byta plats på grannar med nästan identiska poäng, även i ett enda segment. Betrakta rangordningsförändringen som ett fel endast när återkallning, beviskvalitet eller versionskorrekthet överskrider en definierad tolerans.

-15% OFF

ZimaBoard 2 - Minihemmserver för din stora idé

Single board computer zimaboard2

Mät segmentens bidrag före konsolidering

Skapa en fryst frågeuppsättning med exakta närmaste grannar och relevansbedömningar för dokumenten. Kör varje segment separat och tillsammans, samtidigt som du varierar lokalt top-k, grafens strålbredd, sonderingar, borttagningsfilter och andelen nya vektorer.

Jämför resultaten med beteendet efter kompaktering hos grannar efter kompaktering. Registrera vilket segment som bidrog med varje slutlig kandidat, lokal rang, rått avstånd, normaliserad poäng, kandidater som filtrerades bort senare, global återkallning, rangkorrelation, latens och versionskorrekthet. Den gränsen bör mätas separat under realistiska driftsförhållanden.

Öka lokala budgetar endast där utelämnade relevanta grannar motiverar kostnaden. Om segmenten använder inkompatibla inbäddningar eller poängtransformationer bör de byggas om eller separeras; en global sammanslagning kan inte kalibrera bort en felaktig representation efter kandidatgenereringen.