Waardoor ontstaat embedding-drift na het opnieuw indexeren van dezelfde documentbibliotheek?

Embeddingdrift ontstaat wanneer het herindexeren het model, de tekst, de encoderinstellingen, het numerieke pad of de vergelijkingsregels wijzigt die worden gebruikt om de bibliotheek te representeren.

Een thuiskennisbank kan vóór en na een herbouw dezelfde pdf's, notities, handleidingen en familiegegevens bevatten, maar toch andere dichtstbijzijnde buren of gelijkenisscores retourneren. Sommige veranderingen zijn echte embeddingdrift: de vector die voor identieke invoer wordt geproduceerd, is gewijzigd. Andere zijn ingestiedrift, waarbij de naar de encoder gestuurde tekst is veranderd, of retrievaldrift, waarbij identieke vectoren met andere metriek- of indexinstellingen worden doorzocht. De eerste diagnostische grens is daarom het vergelijken van bronbytes, geëxtraheerde tekst, chunkidentiteit, onbewerkte vectoren en gerangschikte resultaten als afzonderlijke artefacten.

Werkelijke vectordrift en schijnbare retrievaldrift zijn verschillend

Werkelijke drift betekent dat dezelfde genormaliseerde tekst een andere vector oplevert. Schijnbare drift betekent dat de vector stabiel is, maar dat chunklidmaatschap, similaritymetriek, filtering, kwantisatie of zoeken naar benaderde buren de gerangschikte resultaten verandert.

Qdrant-collecties definiëren vectorgrootte en afstandsm metriek als parameters op collectieniveau. Herbouwen in een collectie met een andere metriek kan scores en volgorde veranderen zonder de embeddingwaarden zelf te wijzigen.

Als je alleen de bovenste zoekresultaten vergelijkt, worden deze oorzaken samengevoegd. Een checksum van onbewerkte vectoren voor vaste testteksten maakt onderscheid tussen encoderd drift en index- of rankingdrift.

Een niet-vastgezette modelrevisie kan de encoder vervangen

Een modelnaam is niet altijd een permanente set gewichten en configuratiebestanden. Een repository-eigenaar kan gewichten, tokenizerbestanden, poolingconfiguratie of modelcode bijwerken terwijl de openbare repositorynaam behouden blijft.

Hugging Face-repositories zijn versiebeheerd en downloads kunnen een specifieke revisie gebruiken in plaats van de nieuwste branchstatus.

Deze oorzaak zorgt voor brede verschuivingen in een vaste probeverzameling, vaak met een gewijzigde modelcommit, cachepad, configuratiehash of tokenizerasset. Dit verschilt van documentgebonden drift, die alleen bestanden treft waarvan de extractie of chunking is gewijzigd.

Encoderopties kunnen vect lengte, schaal en geometrie veranderen

Dezelfde gewichten kunnen andere representaties opleveren wanneer pooling, normalisatie, precisie, promptvoorvoegsels, maximale sequentielengte of uitvoerdimensies veranderen.

Sentence Transformers biedt encoderopties zoals precisie, normalisatie, prompts en afgeknotte dimensies.

Een wijziging in normalisatie kan de richting behouden terwijl de vectormagnitude verandert; een promptvoorvoegsel kan elk document naar een andere taakgeconditioneerde ruimte verplaatsen; truncatie kan dimensies verwijderen. Dit zijn configuratiewijzigingen, geen willekeurige instabiliteit.

Featured

ZimaCube 2 Persoonlijke Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

De tekst die de encoder bereikt, is mogelijk niet hetzelfde

Bij het herindexeren kan een andere parserversie, OCR-route, normalisatie van witruimte, regel voor paginavolgorde of chunkingstrategie worden aangeroepen, zelfs wanneer de oorspronkelijke bestanden byte voor byte identiek zijn.

Unstructured voert chunking uit na partitionering en documenteert hoe chunkgrootte, overlap en sectiegrenzen bepalen welke tekst in elke chunk terechtkomt.

Als een koptekst nu wel wordt herkend of één pagina andere OCR oplevert, kunnen alle daaropvolgende chunkgrenzen verschuiven. De resulterende vectoren zijn geen verschoven representaties van identieke invoer; ze representeren andere tekstsegmenten.

Niet-deterministische uitvoering kan kleine numerieke verschillen veroorzaken

Parallelle kernels, hardwarebibliotheken, de volgorde van bewerkingen en willekeurige componenten kunnen ervoor zorgen dat herhaalde inferentie licht verschilt, zelfs met hetzelfde model en dezelfde invoer.

PyTorch merkt op dat volledige reproduceerbaarheid niet wordt gegarandeerd tussen releases, platformen of apparaten en biedt regelaars voor deterministische algoritmen voor ondersteunde bewerkingen.

Deze oorzaak leidt meestal tot kleine verschillen in coördinaten in plaats van een volledig gereorganiseerde semantische ruimte. Als de cosinusgelijkenis tussen oude en nieuwe probevectoren extreem hoog blijft, kan de verandering numerieke ruis zijn die alleen zichtbaar wordt bij bijna gelijke rankingscores.

Precisie en kwantisatie kunnen grensgevallen bij buren veranderen

Bij een herbouw kan worden overgeschakeld van float32 naar float16, int8 of een ander geoptimaliseerd runtimeprofiel om geheugen te besparen en de doorvoer te verbeteren.

ONNX Runtime legt uit dat conversie naar float16 nauwkeurigheidsverschillen kan veroorzaken waarvoor tolerantietests nodig zijn.

Het semantische effect is vaak klein, maar een lokale bibliotheek kan veel vergelijkbare chunks bevatten. Kleine verschuivingen in coördinaten kunnen de volgorde verwisselen van buren waarvan de oorspronkelijke scores bijna gelijk waren.

Bij herindexeren kunnen oude en nieuwe vectorgeneraties worden gemengd

Een gedeeltelijk herbouwde collectie kan vectoren bevatten die zijn gegenereerd met verschillende modelcommits, chunkinstellingen, dimensies of normalisatieregels.

Gemengde generaties veroorzaken onregelmatig gedrag: ongewijzigde documenten kunnen stabiel blijven terwijl alleen opnieuw verwerkte bestanden verschuiven, en queryvectoren kunnen incompatibel zijn met een deel van de opgeslagen collectie.

De handleiding van ZimaSpace over semantische NAS-indexering biedt de aangrenzende context: de bronbibliotheek, geëxtraheerde records, embeddings en zoekindex zijn afzonderlijke lagen en mogen niet als één onveranderlijk object worden behandeld.

Veelgestelde vragen

Moet identieke tekst altijd bit voor bit identieke embeddings opleveren?

Alleen met een vastgezet model, een identieke configuratie, een deterministisch uitvoeringspad en een overeenkomstige hardware- en softwareomgeving. Anders kunnen er nog steeds kleine verschillen in drijvende-kommagetallen optreden.

Kunnen ongewijzigde zoekresultaten bewijzen dat embeddings niet zijn verschoven?

Nee. Vectoren kunnen verschuiven zonder rankinggrenzen te overschrijden. Vergelijk onbewerkte vectoren, of hun hashes en overeenkomsten, op een vaste probeverzameling.

Wijst een gewijzigde dichtstbijzijnde buur altijd op modeldrift?

Nee. Chunking, filters, afstandsmetriek, kwantisatie en benaderde indexconstructie kunnen retrieval veranderen terwijl de encoderuitvoer stabiel blijft.