Cómo optimizar el tamaño de los paquetes de Restic para un repositorio NAS local

Eva Wong es la redactora técnica y manitas residente en ZimaSpace. Es una geek de toda la vida apasionada por los laboratorios domésticos y el software de código abierto, y se especializa en traducir conceptos técnicos complejos en guías prácticas y fáciles de seguir. Eva cree que alojar servicios propios debería ser divertido, no intimidante. A través de sus tutoriales, ayuda a la comunidad a desmitificar la configuración del hardware, desde montar su primer NAS hasta dominar los contenedores Docker.

En el caso de un repositorio en un NAS local, mantén el valor predeterminado de 16 MiB de restic, a menos que las mediciones indiquen que la sobrecarga de archivos del repositorio o el comportamiento de búsqueda del HDD están limitando el rendimiento. Si el NAS almacena un repositorio de varios terabytes en discos giratorios, es razonable comparar packs de 32 MiB o 64 MiB antes de plantearse tamaños mayores.

El tamaño de los packs no es lo mismo que el tamaño de los fragmentos de deduplicación de restic. Restic primero divide los datos de los archivos en blobs definidos por el contenido y, luego, agrupa esos blobs en archivos pack. Cambiar el tamaño objetivo de los packs modifica cómo se agrupan esos blobs en el repositorio; no cambia el polinomio del fragmentador ni los hashes de contenido del repositorio.

Empieza con el valor predeterminado de 16 MiB

Las recomendaciones actuales de ajuste de restic indican que el tamaño objetivo predeterminado de los packs es de 16 MiB. También señalan que los archivos pack más grandes pueden reducir el número de archivos del repositorio y mejorar el rendimiento de las copias de seguridad en algunos repositorios almacenados en HDD locales.

restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

Antes de ajustar nada, anota la versión de restic, el tamaño del repositorio, el número de instantáneas, el tipo de almacenamiento y la duración actual de las copias de seguridad. Si el repositorio ya se completa dentro del plazo disponible, aumentar el tamaño de los packs puede añadir complejidad sin aportar una mejora útil.

Entiende qué cambia realmente el tamaño de los packs

El diseño del formato del repositorio de restic explica que el contenido de los archivos se divide en blobs definidos por el contenido y que estos se agrupan en archivos pack.

Archivos de origen
   |
fragmentación definida por el contenido
   |
blobs deduplicados
   |
agrupación de packs
   |
archivos de datos del repositorio

Por lo general, un objetivo de pack más grande implica menos archivos de repositorio, pero de mayor tamaño. Esto puede ayudar a que un disco giratorio dedique menos tiempo a los metadatos y a la sobrecarga de apertura de archivos. No mejora la deduplicación de contenido idéntico.

Comprueba si el NAS está realmente limitado por el tamaño de los packs

Antes de ajustar nada, observa el disco del repositorio durante una copia de seguridad incremental normal. Un repositorio en un HDD local que esté ocupado con muchos movimientos de búsqueda cortos y operaciones de metadatos, mientras el rendimiento se mantiene bajo, es mejor candidato que un repositorio en un SSD que ya escribe secuencialmente a gran velocidad.

iostat -xz 2

Busca una utilización sostenida del disco, tiempos de espera elevados y un rendimiento bajo en comparación con una escritura secuencial grande. Comprueba también el uso de CPU y la velocidad de lectura del origen. Si el cuello de botella es la compresión, el cálculo de hashes, la E/S del origen o la red, aumentar el tamaño del paquete no lo solucionará.

Compara 16, 32 y 64 MiB con repositorios equivalentes

La comparación más limpia se realiza con repositorios desechables creados para la prueba. Usa el mismo conjunto de datos de origen, volumen NAS, versión de restic y número de conexiones al backend.

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

Mide el tiempo transcurrido, el rendimiento del disco del repositorio, el uso del espacio temporal y la cantidad resultante de archivos de datos. Si es posible, repite las ejecuciones para que los efectos de la caché de páginas no determinen el resultado.

Ten en cuenta el espacio temporal antes de aumentar el tamaño del paquete

Restic documenta el requisito de espacio temporal como aproximadamente:

tamaño del paquete × (conexiones al backend + 1)

Con cinco conexiones al backend y un objetivo de 64 MiB, se necesitan al menos 384 MiB de espacio temporal. Actualmente, el backend local usa de forma predeterminada menos conexiones que la mayoría de los backends remotos, pero la misma regla sigue siendo válida.

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

Los paquetes temporales más grandes también pueden aumentar el uso de memoria y hacer que más escrituras temporales lleguen al almacenamiento SSD en vez de permanecer en la caché.

Mantén el mismo ajuste de tamaño de paquete en los comandos que escriben en el repositorio

Restic indica que el ajuste del tamaño del paquete debe especificarse en cada comando que modifique el repositorio. Usa una variable de entorno para todo el trabajo:

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

Cambiar el tamaño del paquete no redefine la fragmentación de deduplicación, pero puede dejar paquetes de distintos tamaños. Mantener la coherencia facilita interpretar el mantenimiento futuro y las comparaciones de rendimiento.

No esperes que los paquetes existentes cambien de tamaño automáticamente

Una nueva configuración del tamaño de paquete afecta a los datos que se creen o reempaqueten a partir de entonces. Los archivos de paquete existentes no se reescriben solo porque cambie RESTIC_PACK_SIZE.

Si quieres que prune reempaquete los paquetes pequeños existentes, la versión actual de restic incluye --repack-smaller-than. Consulta primero las opciones de reempaquetado de prune.

restic prune --dry-run --repack-smaller-than 32M

Empieza con una ejecución de prueba. No fuerces un reempaquetado completo solo para que todos los archivos de paquete tengan el mismo tamaño.

Valida la integridad después de ajustar la configuración

restic check
restic check --read-data-subset=5%

Elige un programa de verificación que se adapte al tamaño del repositorio. Las indicaciones de restic para solucionar problemas del repositorio consideran las comprobaciones de integridad como la base para diagnosticar daños en el repositorio.

Para un plan de copias de seguridad más amplio, combina el repositorio local con otra copia independiente. La estrategia de copias de seguridad 3-2-1 de ZimaOS explica por qué la redundancia local y un destino independiente resuelven distintos tipos de fallos.

Sigue esta regla de decisión

  • Mantén 16 MiB si las copias de seguridad ya se completan dentro del plazo previsto o el cuello de botella está en otra parte.
  • Prueba 32 MiB si un repositorio grande en un disco duro dedica mucho tiempo a operaciones de metadatos y archivos pequeños.
  • Prueba 64 MiB si 32 MiB resulta útil y el uso de espacio temporal sigue siendo manejable.
  • Deja de aumentarlo cuando las mejoras se reduzcan o aumente la E/S temporal.

El mejor tamaño de paquete es el valor más pequeño que reduce de forma apreciable la sobrecarga del repositorio sin crear un nuevo cuello de botella.

Preguntas frecuentes sobre el tamaño de paquete de restic

¿Un tamaño de paquete mayor mejora la deduplicación de restic?

No. La deduplicación se realiza en la capa de blobs o fragmentos, antes de que se agrupen en archivos de paquete.

¿Cambiar el tamaño de los paquetes reescribirá mis archivos de paquete antiguos?

No. Los paquetes existentes se conservan hasta que las tareas normales de poda y reempaquetado los reescriban.

¿Qué tamaño de paquete debería probar primero en un NAS con disco duro local?

Usa 16 MiB como valor de referencia y luego prueba 32 MiB y 64 MiB con la misma carga de trabajo.

Soporte y consejos

Más para leer

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.