Hur minskar vektorkvantisering storleken på ett hemsökningsindex?
Vektorkvantisering krymper ett hemsökningsindex genom att ersätta embeddingvärden med hög precision med kompakta koder som approximerar de ursprungliga vektorerna.
En privat sökserver kan indexera hundratusentals eller miljontals segment från anteckningar, OCR-text, manualer, fotometadata, transkriberingar och programdata. Om varje embedding lagras som flyttalsvärden med full precision kan vektorns arbetsmängd bli större än själva källtexten. Kvantisering ändrar representationen som används vid sökning, så att varje vektor upptar färre byte, med en kontrollerad approximation som motprestation för lägre belastning på minne och lagring.
Embeddingar med full precision använder flera byte för varje dimension
En embedding är en matris med numeriska koordinater. En 1 024-dimensionell vektor som lagras som 32-bitars flyttal kräver 4 096 byte för sina råvärden, innan grafanslutningar, ID:n, nyttolaster, minnesallokeringsöverskott eller repliker räknas med.
komprimerade vektorrepresentationer minskar antalet byte som krävs för indexets vektordel, vilket gör att en större sökbar arbetsmängd kan hållas kvar i minnet på en hemmserver med begränsat minne.
Multiplicera den råa storleken med en miljon segment, så närmar sig de okomprimerade vektorvärdena ensamma flera gigabyte. Flera samlingar, repliker och residenta sökindex ökar hemsj̈erverns avtryck ytterligare. Kvantisering riktar in sig på denna numeriska representation. Den komprimerar inte automatiskt käll-PDF:er, nyttolastmetadata, inverterade index eller alla grafkanter runt dessa vektorer.
Kvantisering mappar detaljerade koordinater till ett mindre antal representationer
Grundidén är att ersätta många möjliga flyttalsvärden med färre representerbara tillstånd. Den exakta mappningen beror på om systemet använder skalär, binär, produkt-, rotations- eller någon annan typ av kvantisering.
Olika vektorkvantiseringslägen minskar representationsstorleken på olika sätt, så skalära, binära och produktbaserade metoder har inte en enda gemensam avvägning mellan noggrannhet och prestanda.
En skalär metod kan minska precisionen för varje koordinat. Binära metoder kodar mycket grövre riktningsinformation. Produktkvantisering, som behandlas separat, delar upp en vektor i delrum och lagrar kodboksidentifierare.
Det gemensamma resultatet är detsamma: sökmotorn kan behålla en kompakt approximation i sin aktiva arbetsmängd i stället för att bära den ursprungliga arrayen med full precision genom varje jämförelse av kandidater.
Mindre vektorer minskar både resident minnesanvändning och trafiken vid avståndsberäkningar
Sökningar läser upprepade gånger in kandidatvektorer och jämför dem med frågan. När representationerna är mindre får fler kandidater plats i processorns cache eller i acceleratorns minne, och mindre data behöver flyttas genom minneshierarkin.
kompakta approximativa vektorer minskar lagringsbehovet och minnestrafiken under en bred kandidatsökning, men deras avstånd approximerar relationerna som kodas av de ursprungliga embeddingarna med full precision.
På en hemmserver handlar fördelen ofta mer om att hålla det aktiva indexet resident än om komprimeringskvoter i rubriker. Genom att undvika minnestryck kan man förhindra upprepade diskväxlingar eller konkurrens med den lokala LLM:en, databasen och andra containrar.
Om svarstiden förbättras beror på sökmotorn, processorinstruktionerna, indexstrukturen och eventuella extra steg för avkodning eller omrangering.
Approximativa vektorer kan ändra ordningen mellan grannar
Kvantisering är vanligtvis förlustbehäftad. Flera olika vektorer med full precision kan mappas till närliggande eller identiska kompakta representationer, så approximativa avstånd bevarar inte exakt alla ursprungliga rangordningar.
förlustbehäftad sökning i komprimerad domän byter exakt numerisk representation mot en mindre eller snabbare arbetsmängd för likhetssökning, vilket är anledningen till att återkallningen måste mätas efter komprimeringen.
Ett relevant segment som med knapp marginal låg närmare än ett annat med full precision kan byta plats efter komprimeringen. Effekten beror på datadistributionen, embeddingmodellen, kvantiseraren, kodstorleken och frågans svårighetsgrad. Därför är återkallningstester avgörande. En komprimeringsinställning som verkar säker för breda semantiska frågor kan bete sig annorlunda för mycket likartade produktmanualer eller närliggande versionsindelade textstycken.
Översampling och omrangering kan återställa noggrannheten efter ett kompakt första steg
En vanlig design söker i det komprimerade indexet efter fler kandidater än de slutliga topp-k-resultaten och använder sedan de ursprungliga vektorerna för att beräkna exakta avstånd eller avstånd med högre precision för den mindre mängden.
översampling och omrangering kan söka brett i en komprimerad representation och sedan beräkna avstånd med högre precision för en mindre kandidatgrupp innan den slutliga rangordningen.
Denna hybridväg håller de resurskrävande vektorerna med full precision utanför den breda kandidatsökningen, samtidigt som gränsfall fortfarande kan korrigeras innan underlaget når RAG.
Avvägningen är att bevarandet av ursprungliga vektorer förbrukar ytterligare diskutrymme eller minne, och att omrangering kräver mer arbete per fråga. En hemmserver bör mäta det samlade avtrycket i stället för att bara räkna de komprimerade byten.
Kvantisering löser vektorstorleken, men inte alla flaskhalsar i sökindexet
Ett HNSW-index lagrar även grafanslutningar, medan metadatafilter, textindex, dokumentnyttolaster, cacheminnen och frågebuffertar förbrukar egna resurser.
infrastruktur för semantisk sökning omfattar embeddingar, indexering, filtrering och hämtningssteg, så mindre vektorer påverkar bara ett resurslager i hela sökflödet hemma.
Ett HNSW-index innehåller både vektorer och en anslutningsgraf, vilket innebär att vektorkomprimering inte kan minska det fullständiga indexets avtryck med samma kvot som de råa embeddingbytena.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Kan hemkameror synkronisera händelser utan molnbaserade tidstjänster?
En mekanismorienterad förklaring av kameratid utan moln, dess avvägningar kring delade resurser, tre vanliga frågor om frågefanout och ett praktiskt verifieringsprotokoll.
Kan en lokal AI-tjänst upptäcka skadade modellager före inferens?
En mekanismfokuserad förklaring av detektering av korruption i modellagret, dess avvägningar kring delade resurser, tre vanliga frågor om frågefan-out och ett praktiskt verifieringsprotokoll.
Kan ett RAG-system återställas utan att generera om alla embeddingar?
En mekanismförst förklaring av RAG-återställning utan ombäddning, dess avvägningar kring delade resurser, tre vanliga frågor om frågefanout och ett praktiskt verifieringsprotokoll.
