Wat is retrieval met late interactie en waarin verschilt het van zoeken met één vector?
Retrieval met late interactie behoudt meerdere representaties op tokenniveau en voert tijdens het zoeken een verfijnde matching uit, in plaats van elk document tot één vector te comprimeren.
Een familiearchief kan lange tekstblokken bevatten waarin één naam, onderdeelnummer of vertaalde formulering belangrijk is, terwijl de omliggende tekst de gepoolde embedding domineert. Zoeken met één vector slaat per tekstblok één compacte samenvatting op. Een model met late interactie slaat veel contextuele tokenvectoren op en vergelijkt querytokens met hun beste document-tokenmatches, waardoor lokale overeenkomsten met het bewijsmateriaal verbeteren, ten koste van een grotere index en meer scoreberekeningen.
Late interactie stelt matching tussen teksten uit tot het zoeken
De query en het document worden onafhankelijk gecodeerd, zodat documentrepresentaties offline kunnen worden berekend. Tijdens het zoeken vindt een operator zoals MaxSim de sterkste document-tokenmatch voor elk querytoken en voegt deze maxima samen tot een relevantiescore.
ColBERT introduceerde contextuele late interactie, waarbij contextuele tokenrepresentaties behouden blijven terwijl hun interactie wordt uitgesteld. Daarmee onderscheidt het zich van een cross-encoder, die elk query-documentpaar gezamenlijk verwerkt en te duur is voor zoeken in het volledige corpus tijdens de eerste fase. Dit onderscheid blijft zichtbaar tijdens latere tests in huishoudelijke omgevingen.
Het woord late beschrijft waar de interactie tussen query en document plaatsvindt, niet hoe recent de index is opgebouwd. Het betekent ook niet dat resultaten pas na een zoekactie met één vector opnieuw worden gerangschikt, hoewel systemen vaak een kandidatenfase gebruiken.
Zoeken met één vector vlakt details op tokenniveau af
Een bi-encoder voegt een tekstblok doorgaans samen tot één vector en vergelijkt die met één queryvector met behulp van cosinusovereenkomst of het inwendig product. Dit is compact en werkt goed met volwassen approximate-nearest-neighbor-indexen, maar elke term moet één representatie delen.
Een overzicht van representaties per token legt uit dat modellen met late interactie vectoren per token behouden, terwijl dichte systemen met één vector deze samenvoegen. Dit onderscheid verandert zowel de matchingfunctie als de vorm van de opgeslagen index. Het tussenresultaat moet controleerbaar blijven voordat automatisering wordt voortgezet.
Late interactie kan zeldzame entiteiten en compositiematches behouden, maar meer vectoren betekenen niet automatisch beter zoeken. Het trainingsdoel, de tokenizer, de documentlengte, het snoeien en het genereren van kandidaten bepalen de kwaliteit nog steeds. Die grens moet afzonderlijk worden gemeten onder realistische gebruiksomstandigheden.
De index ruilt compactheid in voor verfijnde scoring
Het opslaan van tientallen of honderden vectoren per tekstblok vermenigvuldigt het aantal indexbytes, het geheugentransport en de berekeningen tijdens query's. Compressie, tokensnoei, geïnverteerde structuren of een retriever voor de eerste fase kunnen de kosten beperken terwijl bruikbare matches behouden blijven. Het praktische gevolg wordt zichtbaar wanneer meerdere bronnen concurreren om beperkte context.
ColBERTv2 gebruikt residuele compressie en ruisvrije supervisie om de benodigde opslagruimte van retrieval met meerdere vectoren te verkleinen. Het onderzoek laat zien dat praktische late interactie evenzeer afhankelijk is van indexengineering als van de MaxSim-formule. Deze afhankelijkheid moet expliciet blijven in de uiteindelijke interface.
De grens wordt bereikt bij een thuisserver waarvan de opslag, het RAM-geheugen of het latentiebudget geen kandidaten met meerdere vectoren kan dragen. Een goed getrainde retriever met één vector plus een reranker kan betere end-to-endkwaliteit leveren wanneer de index voor late interactie zwaar is gecomprimeerd of onvoldoende capaciteit heeft.
Vergelijk het terugvinden van bewijsmateriaal per gigabyte en milliseconde
Indexeer hetzelfde corpus met versies met modellen voor één vector en late interactie, met hun aanbevolen tokenisatie. Houd de queryset, filtering, top-k en beoordelingen van het bewijsmateriaal gelijk voor exacte, geparafraseerde, entiteitsrijke en meertalige vragen. Het resultaat moet daarom worden gecontroleerd aan de hand van het oorspronkelijke bewijsmateriaal.
Breng de optie voor de tweede fase in verband met reranking in de eerste fase. Registreer recall, nDCG, ondersteuning van citaten, indexgrootte, bouwtijd, RAM-gebruik, mediane en p99-latentie en de kosten voor het opnieuw rangschikken van kandidaten. Dit onderscheid blijft zichtbaar tijdens latere tests in huishoudelijke omgevingen.
Gebruik late interactie alleen wanneer de verfijnde verbeteringen de omvang van de index en de belasting tijdens het aanbieden rechtvaardigen. Als de meeste verbetering na reranking optreedt, kan een compacte eerste fase het stabielere ontwerp voor een thuisserver zijn. Het tussenresultaat moet controleerbaar blijven voordat automatisering wordt voortgezet.
Aanbevolen producten
Tech & AI HUB
Meer om te lezen
Kan een lokale LLM de generatie hervatten nadat het proces opnieuw is gestart?
Een mechanismegerichte uitleg van het hervatten van LLM-generatie, de afwegingen rond gedeelde resources, drie veelgestelde vragen over query-fan-out en een praktisch verificatieprotocol.
Kan een homeserver embeddings genereren en video transcoderen op dezelfde geïntegreerde GPU?
Een uitleg waarin het mechanisme centraal staat van gedeelde iGPU-embeddings en transcodering, de afwegingen rond gedeelde resources, drie veelgestelde vragen over query-fan-out en een...
Welke invloed heeft de levensduur van toegangstokens op de beveiliging en het gedoe in het huishouden?
Een mechanismegerichte uitleg van de levensduur van toegangstokens, de afwegingen rond gedeelde resources, drie veelgestelde vragen over query-fan-out en een praktisch verificatieprotocol.
