¿Por qué los promedios de latencia parecen saludables mientras que la IA interactiva se siente lenta?
Los promedios de latencia pueden parecer saludables mientras la IA interactiva se siente lenta, porque las esperas largas poco frecuentes y las pausas seriales dominan los turnos que los usuarios recuerdan.
Nueve indicaciones locales pueden comenzar en 300 milisegundos, mientras la décima espera cinco segundos a que se cargue el modelo o una herramienta. La media sigue siendo inferior a un segundo, pero la conversación se siente interrumpida una y otra vez. La calidad de la interacción depende de la distribución y la secuencia de las demoras, no de un único valor central calculado entre tipos de solicitudes no relacionados para la interacción concreta que la persona recuerda.
La media oculta la forma de la distribución de las demoras
Una media aritmética combina todas las solicitudes en un solo número. Unas pocas interacciones muy lentas pueden diluirse entre muchos aciertos de caché o indicaciones breves. Los percentiles muestran con qué frecuencia los usuarios superan un umbral de demora, aunque incluso el p95 puede ocultar el peor uno por ciento.
La cola de latencia explica que una pequeña fracción de componentes lentos puede dominar la latencia de una solicitud completa en sistemas con distribución ramificada. La IA interactiva también espera a su etapa obligatoria más lenta.
La combinación de cargas de trabajo también importa. Las comprobaciones de estado y las llamadas de estado almacenadas en caché no deberían compartir un promedio de latencia con turnos de voz, recuperación RAG o acciones de herramientas. Un agregado bajo puede ser matemáticamente correcto e irrelevante desde el punto de vista operativo.
Los usuarios experimentan hitos y pausas, no solo la finalización
Un turno de chat tiene varios relojes: espera en cola, recuperación, primer token, cadencia de tokens, espera de herramientas y finalización. Un tiempo total rápido con una larga apertura silenciosa puede sentirse peor que una respuesta ligeramente más larga que comienza pronto y se transmite de manera uniforme.
Un análisis de latencia distingue el tiempo hasta el primer token del tiempo de respuesta completo, porque estas medidas representan partes diferentes del comportamiento del modelo. Ambas son necesarias para describir un turno interactivo.
Las pausas visibles también tienen un orden. Una detención de una herramienta después de varios tokens interrumpe la atención de forma diferente a la misma espera antes del primer token. Un promedio entre fases borra esa estructura de interacción y dirige la optimización hacia el componente equivocado.
Cuándo los percentiles también inducen a error
Los percentiles fallan cuando la herramienta de medición deja de emitir trabajo durante las pausas, toma muestras solo de las solicitudes completadas o agrega intervalos de tiempo no relacionados. Esta omisión coordinada puede subestimar precisamente las demoras que los usuarios experimentan bajo carga.
El análisis de Gil Tene sobre la omisión coordinada muestra por qué las pruebas de carga deben mantener el calendario de solicitudes previsto, en lugar de ralentizar los envíos cuando el sistema se ralentiza. De lo contrario, las distribuciones de latencia parecen artificialmente saludables.
La explicación de la latencia de cola también deja de aplicarse si el seguimiento de cada fase es rápido, pero los usuarios siguen informando lentitud. El renderizado de la interfaz, el almacenamiento en búfer de la red o la retroalimentación retrasada pueden encontrarse fuera del límite del servidor medido. Más paneles de percentiles no ayudan cuando el reloj comienza demasiado tarde o se detiene demasiado pronto.
Rastrea los hitos que los usuarios realmente esperan
Instrumenta el momento de poner en cola, el inicio de la ejecución, la finalización de la recuperación, el primer token, cada llamada a una herramienta, el token final y el renderizado en el cliente con un único identificador de seguimiento monotónico. Informa del p50, p95, p99, el máximo y la tasa de superación de umbrales por tipo de interacción y según el estado en frío o en caliente.
Usa los seguimientos de arranques en frío de la IA para separar la carga en frío de la inferencia en estado estable. Mantén los turnos fallidos y cancelados en el conjunto de datos en lugar de excluir sus esperas.
Reproduce las solicitudes con un calendario previsto fijo y compara los hitos visibles para el cliente con los visibles para el servidor. Optimiza la fase responsable del percentil lento. Si los seguimientos del servidor y del cliente divergen, examina el transporte y el renderizado; si solo aumentan los turnos en frío, aborda la carga en lugar de la generación en estado estable.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Por qué el calor de la IA local se siente diferente en una estantería abierta que en un gabinete cerrado?
Rastrea la generación de calor, el intercambio de aire y la recirculación en ubicaciones abiertas y cerradas, y luego mide las variables que las...
¿Por qué un servidor doméstico parece más silencioso por la noche incluso a la misma velocidad del ventilador?
Comprende por qué una velocidad del ventilador sin cambios no garantiza una sonoridad percibida sin cambios y cómo diferenciar entre el enmascaramiento, las condiciones...
¿Por qué las copias de seguridad deduplicadas parecen más pequeñas que el espacio que ocupan al restaurarse?
Descubre cómo la deduplicación cambia los bytes almacenados, pero no el significado restaurado; por qué los archivos dispersos y comprimidos complican los totales; y...
