¿Por qué las copias de archivos grandes en NAS retrasan las aplicaciones interactivas autoalojadas?

Las copias grandes de archivos NAS retrasan las aplicaciones autoalojadas interactivas porque una transferencia sostenida en bloque puede ocupar las mismas colas de disco, cachés, ancho de banda de memoria, tiempo de CPU, ruta de red y canal de escritura diferida que usan las bases de datos, servicios multimedia, paneles, índices de búsqueda y contenedores de automatización.

La copia puede reportar un excelente rendimiento secuencial mientras esas aplicaciones se vuelven lentas o inconsistentes. La velocidad de transferencia en bloque mide cuánto datos mueve el NAS en el tiempo; el rendimiento interactivo depende de qué tan rápido se completan las solicitudes pequeñas y a menudo síncronas mientras la carga de trabajo en bloque está activa.

¿Por qué una copia secuencial rápida aún puede afectar la latencia interactiva?

Las transferencias secuenciales son eficientes porque mueven grandes regiones adyacentes con relativamente poca búsqueda o sobrecarga de solicitudes. Sin embargo, el rendimiento en bloque y la latencia interactiva son objetivos diferentes. Un dispositivo puede seguir siendo productivo en MB/s mientras las operaciones pequeñas de base de datos o metadatos esperan más tiempo.

Una herramienta de copia generalmente mantiene varias lecturas y escrituras pendientes para que el almacenamiento y la red permanezcan ocupados. Las aplicaciones interactivas envían solicitudes más pequeñas que consumen poco ancho de banda pero a menudo bloquean una respuesta orientada al usuario hasta que se completa una lectura específica, una escritura de registro o un compromiso de transacción.

Por lo tanto, el rendimiento promedio de la copia puede mantenerse estable mientras la latencia final de la aplicación aumenta bruscamente. El NAS no está inactivo entre operaciones de copia el tiempo suficiente para atender la solicitud pequeña de inmediato.

¿Cómo ocupa una copia larga la cola de almacenamiento?

Un archivo grande o un árbol de directorios puede enviar operaciones de E/S continuamente durante minutos u horas. las transferencias grandes pueden mantener las colas de almacenamiento ocupadas continuamente, dejando que las solicitudes sensibles a la latencia entren en una cola que ya contiene trabajo en bloque.

En grupos de HDD, intercalar E/S aleatoria pequeña de la aplicación con una copia secuencial puede forzar el movimiento del actuador y reducir la eficiencia de ambos patrones. En SSD, el controlador puede procesar más trabajo en paralelo, pero las colas finitas, canales NAND, recolección de basura y la programación del firmware aún imponen un techo de latencia.

Las colas profundas pueden maximizar la utilización del dispositivo pero aumentan el tiempo de residencia. Una lectura de base de datos de cuatro kilobytes puede tomar poco tiempo de servicio una vez seleccionada, pero pasar la mayor parte de su vida esperando detrás de megabytes de tráfico de copia.

¿Por qué el tráfico de copia puede desalojar datos útiles de la caché?

El sistema operativo y la pila de almacenamiento almacenan en caché datos accedidos recientemente para evitar lecturas más lentas del dispositivo. Un escaneo o copia larga toca un rango de direcciones grande, por lo que las lecturas masivas pueden desalojar entradas de caché sensibles a la latencia cuando la caché no distingue entre datos de transmisión desechables y el conjunto de trabajo activo de la aplicación.

Una base de datos, índice de fotos, catálogo multimedia o aplicación web puede haber dependido de que los metadatos y los índices calientes permanezcan en RAM. Después de que la copia reemplaza esas páginas, la siguiente solicitud interactiva debe recuperarlas desde un almacenamiento más lento.

La desaceleración puede persistir después de que la tasa visible de copia disminuya porque el conjunto de trabajo útil debe calentarse nuevamente. La copia se completó, pero su huella en caché cambió qué datos reciben acceso de baja latencia.

¿Qué trabajo extra aparece más allá de leer y escribir el archivo?

Un NAS puede reconocer escrituras en memoria o flash antes de comprometerlas en los discos finales. la escritura diferida traslada el trabajo a un vaciado posterior, por lo que una copia inicial rápida puede ser seguida por una escritura sostenida de datos sucios.

Los sistemas de archivos también actualizan mapas de asignación, directorios, marcas de tiempo, sumas de verificación, diarios y metadatos de copia en escritura. RAID o codificación de borrado pueden añadir trabajo de paridad, mientras que las instantáneas pueden preservar bloques antiguos que de otro modo serían liberados.

Copiar dentro del mismo NAS puede ser más costoso de lo que sugiere la barra de progreso cuando los datos se leen y se escriben de nuevo en el mismo grupo. La copia del lado del servidor o el soporte de reflink pueden evitar el movimiento físico, pero solo cuando el protocolo, el sistema de archivos y la herramienta de copia usan esas capacidades.

¿Cómo alcanzan la presión de red y memoria a las aplicaciones en contenedores?

Las herramientas de alto rendimiento a menudo usan concurrencia para mantener la tubería llena, y las transferencias paralelas aumentan la presión sobre los recursos compartidos. En un servidor doméstico, el mismo método puede consumir más búferes de socket, caché de páginas, copias de memoria, ciclos de CPU y ranuras de solicitud SMB o NFS.

Las páginas sucias pueden crecer hasta que el kernel comienza la escritura en primer plano o en segundo plano. En ese momento, contenedores no relacionados pueden competir por la recuperación de memoria, bloqueos del sistema de archivos, programación de E/S y tiempo de CPU necesario para procesar sus propias solicitudes.

las cachés de aplicaciones ya compiten con el almacenamiento duradero. Una copia grande añade una carga sostenida orientada a la capacidad en una ruta de E/S que puede estar sirviendo ya registros, miniaturas, bases de datos y estado de contenedores.

¿Cómo puede un NAS doméstico proteger cargas de trabajo interactivas?

La protección más fuerte es mantener el conjunto de trabajo activo de la aplicación en un nivel de menor latencia. una caché de baja latencia protege el conjunto de trabajo activo cuando la caché está dimensionada y ubicada para los datos que deben permanecer sensibles.

Otros controles incluyen límites de velocidad de copia, prioridades de E/S, pesos de cgroup, límites por conjunto de datos, ventanas de migración programadas, grupos separados de SSD y HDD, y bases de datos locales para aplicaciones con el NAS usado para capacidad y respaldo.

Mida la latencia de la aplicación mientras se ejecuta la copia, no solo los MB/s de la copia. El objetivo no es necesariamente ralentizar cada transferencia; es dejar suficiente margen en la cola, caché, CPU y escritura para que los servicios autoalojados respondan inmediatamente como esperan los usuarios.

Preguntas frecuentes

¿Por qué la copia es rápida si está ralentizando las aplicaciones?

La copia está optimizada para un rendimiento sostenido, mientras que las aplicaciones dependen del tiempo de finalización de solicitudes pequeñas. Alto rendimiento y baja latencia son objetivos relacionados pero diferentes.

¿El NVMe eliminará este problema?

Reduce el tiempo de servicio y soporta un mayor paralelismo, pero NVMe aún tiene colas finitas, ancho de banda del controlador, recursos NAND, caché, CPU y límites térmicos.

¿Es un archivo grande menos perjudicial que muchos archivos pequeños?

Un solo archivo grande suele ser más secuencial y eficiente en metadatos. Muchos archivos pequeños añaden operaciones de directorio, asignación, permisos, apertura, cierre y metadatos, pero cualquiera de las cargas puede crear presión sostenida en la cola y la caché.

¿Deben las bases de datos de aplicaciones autoalojadas vivir en el NAS?

Pueden hacerlo, pero las bases de datos sensibles a la latencia se benefician de un almacenamiento con un rendimiento predecible en pequeñas E/S. Un grupo separado de SSD o almacenamiento local para la aplicación puede proporcionar un límite más claro frente a las copias masivas.

Conclusión final

Las copias de archivos grandes en NAS retrasan las aplicaciones interactivas cuando una carga de trabajo orientada a la capacidad ocupa la cola compartida, la caché, la memoria, la red y la ruta de escritura. La copia puede mantenerse rápida porque se mide por el rendimiento, mientras que las solicitudes de usuario se vuelven lentas porque se miden por la latencia de finalización. La estratificación, los límites de velocidad, las prioridades de E/S, los grupos separados y la programación fuera de horas punta preservan la capacidad de transferencia masiva sin sacrificar el tiempo de respuesta de cada aplicación.