¿Cómo afecta la profundidad del reordenador a la latencia de la búsqueda privada?
La profundidad del reranker aumenta la latencia de la búsqueda privada aproximadamente en proporción al número de candidatos evaluados, aunque el batching, la longitud de las secuencias, la arquitectura del modelo y el hardware hacen que la curva no sea lineal.
Un recuperador de primera etapa puede devolver 20, 100 o 500 fragmentos candidatos antes de que un cross-encoder o un LLM local los reordene. Un reranking más profundo ofrece al pasaje relevante más oportunidades de superar un ordenamiento inicial deficiente, pero cada candidato añade trabajo de tokenización e inferencia. Una vez que la recuperación del documento relevante se estabiliza, una mayor profundidad consume principalmente recursos de cómputo y puede alargar las consultas interactivas más lentas.
La profundidad es el número de candidatos que entra en la segunda etapa
La profundidad del reranker es distinta del top-k final. Una canalización puede puntuar cien candidatos y devolver cinco, por lo que la latencia depende de cien comparaciones entre consultas y documentos, aunque el modelo de lenguaje solo vea unos pocos. La longitud del texto candidato determina los tokens procesados en cada comparación.
El experimento de profundidad del reranking de Elastic mide la calidad de recuperación a medida que cambia la profundidad del reranking y ofrece orientación específica para cada modelo. Los resultados muestran que la profundidad útil depende del recuperador de primera etapa y del reranker, en lugar de existir un único número fijo. Este efecto debe seguir siendo medible con la carga de trabajo prevista en el servidor doméstico.
Una primera etapa débil puede requerir una mayor profundidad para incluir la respuesta, mientras que un recuperador híbrido sólido puede presentar antes buenos candidatos. Por tanto, la profundidad del reranker no puede compensar los candidatos que nunca se recuperaron. Esta distinción importa cuando varias etapas de la canalización comparten el mismo presupuesto de almacenamiento y memoria.
El coste de inferencia aumenta con los candidatos y sus tokens
Los cross-encoders procesan conjuntamente la consulta y cada candidato, por lo que duplicar la profundidad aproximadamente duplica los pares puntuados, antes de tener en cuenta los efectos del batching. Los lotes más grandes pueden mejorar la utilización del acelerador, pero también requieren memoria y pueden retrasar el primer resultado completado hasta que termine un lote.
Un estudio sobre el reranking por pares informa de grandes reducciones de latencia al limitar el conjunto reordenado, elegir modelos más pequeños, reducir la precisión y controlar el trabajo de salida. Demuestra que la profundidad es una de varias decisiones multiplicativas del servicio. Ese límite debe probarse con datos domésticos representativos, no darse por supuesto.
El reranking en CPU puede mostrar una curva casi lineal, mientras que las curvas en GPU pueden contener mesetas eficientes seguidas de límites abruptos de memoria o colas. La latencia de cola también aumenta cuando varía la longitud de los candidatos, porque los fragmentos largos dominan el trabajo del lote. Este efecto debe seguir siendo medible con la carga de trabajo prevista en el servidor doméstico.
Las mejoras de calidad se estabilizan antes que el coste
Aumentar la profundidad solo ayuda mientras exista evidencia relevante por debajo del límite actual y el reranker pueda identificarla. Después de que la recuperación de la primera etapa se satura, más candidatos añaden distracciones y costes, y en ocasiones reducen la estabilidad del ranking en consultas ambiguas.
Una evaluación de extremo a extremo controlada compara configuraciones de recuperadores y rerankers mediante eficacia, calidad de generación, coste y latencia. Esto respalda elegir la profundidad a partir de una frontera de extremo a extremo, en lugar de optimizar las puntuaciones de ranking de forma aislada. Esta distinción importa cuando varias etapas de la canalización comparten el mismo presupuesto de almacenamiento y memoria.
El límite problemático consiste en elegir una profundidad basándose en la latencia media de consultas uniformes y con modelos ya calientes. Los modelos en frío, los fragmentos largos, los usuarios simultáneos y las lecturas desde el NAS pueden llevar el p95 o p99 mucho más allá de la mediana, incluso cuando la relevancia media mejora ligeramente.
Preguntas frecuentes sobre la profundidad de candidatos del reranker
¿Reordenar 100 candidatos es el doble de lento que reordenar 50?
El trabajo de puntuación puede acercarse al doble, pero el tiempo total puede ser menor o mayor según la utilización de los lotes, la longitud de los tokens, los límites de memoria y las colas. Mide el modelo implementado en lugar de suponer una proporción perfectamente lineal.
¿Un top-k final más grande requiere una mayor profundidad del reranker?
Por lo general, el conjunto de candidatos debe superar el número de resultados finales, pero el multiplicador necesario depende de la recuperación de la primera etapa y de la diversidad de resultados. Devolver más pasajes no justifica automáticamente puntuar cientos de candidatos débiles. Ese límite debe probarse con datos domésticos representativos, no darse por supuesto.
¿Las puntuaciones almacenadas en caché del reranker pueden reducir la latencia?
La caché ayuda con pares repetidos de consulta y candidato o con consultas normalizadas estables, pero la búsqueda privada suele contener formulaciones únicas y documentos cambiantes. La invalidación de la caché debe seguir las versiones de los documentos y los cambios de modelo para evitar un ordenamiento obsoleto. Este efecto debe seguir siendo medible con la carga de trabajo prevista en el servidor doméstico.
Encuentra la menor profundidad en la meseta de calidad
Construye un conjunto de consultas etiquetado con términos exactos, paráfrasis, nombres ambiguos y negativos difíciles. Recorre profundidades del reranker como 10, 25, 50, 100 y 200 mientras mides la recuperación de la primera etapa, el nDCG o MRR final, la cobertura de citas, el tiempo de CPU o GPU, la memoria y la latencia p50, p95 y p99.
Compara la curva con los factores de decisión de factores de decisión del reranker. Mantén constantes la generación de candidatos de la primera etapa, la longitud de los fragmentos, el modelo del reranker, el top-k final, la concurrencia y el estado de la caché, de modo que la profundidad sea la única variable modificada. Esta distinción importa cuando varias etapas de la canalización comparten el mismo presupuesto de almacenamiento y memoria.
Selecciona la menor profundidad cuya calidad sea estadísticamente indistinguible de la meseta y cuya latencia de cola cumpla el objetivo interactivo. Dirige la investigación en segundo plano a un perfil más profundo solo cuando la recuperación adicional tenga un valor medido. Ese límite debe probarse con datos domésticos representativos, no darse por supuesto.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Pueden las cámaras domésticas sincronizar eventos sin servicios de hora en la nube?
Una explicación centrada en el mecanismo del tiempo de la cámara sin nube, sus compensaciones por recursos compartidos, tres preguntas frecuentes sobre la propagación...
¿Puede un servicio de IA local detectar capas de modelo dañadas antes de la inferencia?
Una explicación basada primero en los mecanismos de la detección de capas de modelo dañadas, sus compensaciones en recursos compartidos, tres preguntas frecuentes sobre...
¿Se puede restaurar un sistema RAG sin regenerar cada embedding?
Una explicación centrada primero en el mecanismo de la restauración de RAG sin volver a generar embeddings, sus compromisos en el uso compartido de...
