Como otimizar o tamanho dos pacotes do Restic para um repositório NAS local

Eva Wong é a redatora técnica e entusiasta residente na ZimaSpace. Uma geek desde sempre, apaixonada por homelabs e software de código aberto, dedica-se a traduzir conceitos técnicos complexos em guias práticos. A Eva acredita que a auto-hospedagem deve ser divertida, não intimidante. Através dos seus tutoriais, ajuda a comunidade a desmistificar configurações de hardware, desde montar o primeiro NAS até dominar os contentores Docker.

Num repositório num NAS local, mantenha o valor predefinido de 16 MiB do restic, a menos que as medições indiquem que a sobrecarga dos ficheiros do repositório ou o comportamento de procura do HDD está a limitar a velocidade de transferência. Se o NAS armazenar um repositório de vários terabytes em discos rotativos, 32 MiB ou 64 MiB são valores razoáveis para testar antes de considerar valores maiores.

O tamanho dos packs não é o mesmo que o tamanho dos blocos de deduplicação do restic. Primeiro, o restic divide os dados dos ficheiros em blobs definidos pelo conteúdo e, em seguida, agrupa esses blobs em ficheiros pack. Alterar o tamanho-alvo dos packs muda a forma como esses blobs são agrupados no repositório; não altera o polinómio do algoritmo de fragmentação nem os hashes do conteúdo.

Comece pelo valor predefinido de 16 MiB

As recomendações atuais para ajustar o restic indicam que o tamanho predefinido dos packs é 16 MiB. Também referem que ficheiros pack maiores podem reduzir o número de ficheiros do repositório e melhorar o desempenho das cópias de segurança em alguns repositórios armazenados em HDD locais.

restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

Antes de fazer ajustes, registe a versão do restic, o tamanho do repositório, o número de instantâneos, o tipo de armazenamento e a duração atual da cópia de segurança. Se a cópia de segurança do repositório já terminar dentro do período disponível, aumentar o tamanho dos packs poderá acrescentar complexidade sem trazer benefícios úteis.

Compreenda o que o tamanho dos packs altera

O design do formato do repositório do restic explica que o conteúdo dos ficheiros é dividido em blobs definidos pelo conteúdo e que esses blobs são agrupados em ficheiros pack.

Ficheiros de origem
   |
fragmentação definida pelo conteúdo
   |
blobs deduplicados
   |
agrupamento de packs
   |
ficheiros de dados do repositório

Em geral, um tamanho-alvo maior para os packs significa menos ficheiros de repositório, mas maiores. Isso pode ajudar um disco rotativo a passar menos tempo com metadados e operações de abertura de ficheiros. Não melhora a deduplicação de conteúdo idêntico.

Verifique se o NAS está realmente limitado pelo tamanho dos packs

Antes de ajustar, monitorize o disco do repositório durante uma cópia de segurança incremental normal. Um repositório num HDD local que esteja ocupado com muitas operações de procura curtas e de metadados, enquanto a velocidade de transferência se mantém baixa, é um candidato melhor do que um repositório num SSD que já esteja a escrever sequencialmente a alta velocidade.

iostat -xz 2

Procure uma utilização sustentada do disco, tempos de espera elevados e uma velocidade de transferência baixa em relação à de uma escrita sequencial de grande dimensão. Verifique também a utilização da CPU e a velocidade de leitura da origem. Se o estrangulamento estiver na compressão, no cálculo de hashes, na E/S da origem ou na rede, aumentar o tamanho dos packs não resolverá o problema.

Compare 16, 32 e 64 MiB usando repositórios equivalentes

A comparação mais fiável é feita com repositórios descartáveis criados para o teste. Use o mesmo conjunto de dados de origem, volume NAS, versão do restic e número de ligações ao backend.

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

Meça o tempo decorrido, a velocidade de transferência do disco do repositório, a utilização do espaço temporário e o número de ficheiros de dados resultante. Se possível, repita os testes para que os efeitos da cache de páginas não determinem o resultado.

Tenha em conta o espaço temporário antes de aumentar o tamanho dos packs

O restic documenta o requisito de espaço temporário como sendo aproximadamente:

tamanho do pack × (ligações ao backend + 1)

Com cinco ligações ao backend e um tamanho-alvo de 64 MiB, são necessários 384 MiB de espaço temporário. Atualmente, o backend local usa por predefinição menos ligações do que a maioria dos backends remotos, mas a mesma regra continua a aplicar-se.

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

Packs temporários maiores também podem aumentar a utilização de memória e fazer com que mais escritas temporárias cheguem ao armazenamento SSD, em vez de permanecerem na cache.

Mantenha a mesma definição de tamanho dos packs nos comandos que escrevem no repositório

O restic indica que a definição do tamanho dos packs deve ser especificada em todos os comandos que modificam o repositório. Use uma variável de ambiente para toda a tarefa:

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

Alterar o tamanho dos packs não redefine a divisão em blocos para deduplicação, mas pode deixar packs de tamanhos diferentes. A consistência facilita a interpretação da manutenção futura e das comparações de desempenho.

Não espere que os pacotes existentes mudem de tamanho automaticamente

Uma nova definição de tamanho de pacote afeta os dados criados ou recompactados a partir daí. Os ficheiros de pacotes existentes não são reescritos apenas por se alterar RESTIC_PACK_SIZE.

Se pretender que o prune recompacte deliberadamente os pacotes existentes de menor dimensão, a versão atual do restic disponibiliza --repack-smaller-than. Consulte primeiro as opções de recompactação do prune.

restic prune --dry-run --repack-smaller-than 32M

Comece por uma simulação. Não force uma recompactação completa apenas para uniformizar o aspeto de todos os ficheiros de pacotes.

Valide a integridade após os ajustes

restic check
restic check --read-data-subset=5%

Escolha um calendário de verificação adequado ao tamanho do repositório. As orientações para resolução de problemas do repositório do restic consideram as verificações de integridade fundamentais para diagnosticar danos no repositório.

Para um plano de cópias de segurança mais abrangente, combine o repositório local com outra cópia independente. A estratégia de cópias de segurança 3-2-1 do ZimaOS explica por que motivo a redundância local e um destino separado resolvem problemas distintos.

Utilize esta regra de decisão

  • Mantenha 16 MiB se as cópias de segurança já forem concluídas dentro do prazo ou se o estrangulamento estiver noutro ponto.
  • Teste 32 MiB se um repositório grande num HDD passar muito tempo com metadados e operações em ficheiros pequenos.
  • Teste 64 MiB se 32 MiB ajudar e a utilização de espaço temporário continuar dentro de limites confortáveis.
  • Pare de aumentar o valor quando os ganhos diminuírem ou a utilização temporária de E/S aumentar.

O melhor tamanho de pacote é o valor mais baixo que reduz de forma mensurável a sobrecarga do repositório sem criar um novo estrangulamento.

Perguntas frequentes sobre o tamanho dos pacotes do restic

Um tamanho de pacote maior melhora a deduplicação do restic?

Não. A deduplicação ocorre ao nível dos blobs/blocos, antes de estes serem agrupados em ficheiros de pacotes.

Alterar o tamanho dos pacotes reescreve os ficheiros de pacotes antigos?

Não. Os pacotes existentes permanecem como estão até serem reescritos durante as operações normais de poda e recompactação.

Que tamanho de pacote devo experimentar primeiro num NAS com HDD local?

Use 16 MiB como referência e, em seguida, teste 32 MiB e 64 MiB com a mesma carga de trabalho.

Assistência e dicas

Mais para ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.