Num repositório num NAS local, mantenha o valor predefinido de 16 MiB do restic, a menos que as medições indiquem que a sobrecarga dos ficheiros do repositório ou o comportamento de procura do HDD está a limitar a velocidade de transferência. Se o NAS armazenar um repositório de vários terabytes em discos rotativos, 32 MiB ou 64 MiB são valores razoáveis para testar antes de considerar valores maiores.
O tamanho dos packs não é o mesmo que o tamanho dos blocos de deduplicação do restic. Primeiro, o restic divide os dados dos ficheiros em blobs definidos pelo conteúdo e, em seguida, agrupa esses blobs em ficheiros pack. Alterar o tamanho-alvo dos packs muda a forma como esses blobs são agrupados no repositório; não altera o polinómio do algoritmo de fragmentação nem os hashes do conteúdo.
Comece pelo valor predefinido de 16 MiB
As recomendações atuais para ajustar o restic indicam que o tamanho predefinido dos packs é 16 MiB. Também referem que ficheiros pack maiores podem reduzir o número de ficheiros do repositório e melhorar o desempenho das cópias de segurança em alguns repositórios armazenados em HDD locais.
restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data
Antes de fazer ajustes, registe a versão do restic, o tamanho do repositório, o número de instantâneos, o tipo de armazenamento e a duração atual da cópia de segurança. Se a cópia de segurança do repositório já terminar dentro do período disponível, aumentar o tamanho dos packs poderá acrescentar complexidade sem trazer benefícios úteis.
Compreenda o que o tamanho dos packs altera
O design do formato do repositório do restic explica que o conteúdo dos ficheiros é dividido em blobs definidos pelo conteúdo e que esses blobs são agrupados em ficheiros pack.
Ficheiros de origem
|
fragmentação definida pelo conteúdo
|
blobs deduplicados
|
agrupamento de packs
|
ficheiros de dados do repositório
Em geral, um tamanho-alvo maior para os packs significa menos ficheiros de repositório, mas maiores. Isso pode ajudar um disco rotativo a passar menos tempo com metadados e operações de abertura de ficheiros. Não melhora a deduplicação de conteúdo idêntico.
Verifique se o NAS está realmente limitado pelo tamanho dos packs
Antes de ajustar, monitorize o disco do repositório durante uma cópia de segurança incremental normal. Um repositório num HDD local que esteja ocupado com muitas operações de procura curtas e de metadados, enquanto a velocidade de transferência se mantém baixa, é um candidato melhor do que um repositório num SSD que já esteja a escrever sequencialmente a alta velocidade.
iostat -xz 2
Procure uma utilização sustentada do disco, tempos de espera elevados e uma velocidade de transferência baixa em relação à de uma escrita sequencial de grande dimensão. Verifique também a utilização da CPU e a velocidade de leitura da origem. Se o estrangulamento estiver na compressão, no cálculo de hashes, na E/S da origem ou na rede, aumentar o tamanho dos packs não resolverá o problema.
Compare 16, 32 e 64 MiB usando repositórios equivalentes
A comparação mais fiável é feita com repositórios descartáveis criados para o teste. Use o mesmo conjunto de dados de origem, volume NAS, versão do restic e número de ligações ao backend.
restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata
restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata
restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata
Meça o tempo decorrido, a velocidade de transferência do disco do repositório, a utilização do espaço temporário e o número de ficheiros de dados resultante. Se possível, repita os testes para que os efeitos da cache de páginas não determinem o resultado.
Tenha em conta o espaço temporário antes de aumentar o tamanho dos packs
O restic documenta o requisito de espaço temporário como sendo aproximadamente:
tamanho do pack × (ligações ao backend + 1)
Com cinco ligações ao backend e um tamanho-alvo de 64 MiB, são necessários 384 MiB de espaço temporário. Atualmente, o backend local usa por predefinição menos ligações do que a maioria dos backends remotos, mas a mesma regra continua a aplicar-se.
df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"
Packs temporários maiores também podem aumentar a utilização de memória e fazer com que mais escritas temporárias cheguem ao armazenamento SSD, em vez de permanecerem na cache.
Mantenha a mesma definição de tamanho dos packs nos comandos que escrevem no repositório
O restic indica que a definição do tamanho dos packs deve ser especificada em todos os comandos que modificam o repositório. Use uma variável de ambiente para toda a tarefa:
export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password
restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune
Alterar o tamanho dos packs não redefine a divisão em blocos para deduplicação, mas pode deixar packs de tamanhos diferentes. A consistência facilita a interpretação da manutenção futura e das comparações de desempenho.
Não espere que os pacotes existentes mudem de tamanho automaticamente
Uma nova definição de tamanho de pacote afeta os dados criados ou recompactados a partir daí. Os ficheiros de pacotes existentes não são reescritos apenas por se alterar RESTIC_PACK_SIZE.
Se pretender que o prune recompacte deliberadamente os pacotes existentes de menor dimensão, a versão atual do restic disponibiliza --repack-smaller-than. Consulte primeiro as opções de recompactação do prune.
restic prune --dry-run --repack-smaller-than 32M
Comece por uma simulação. Não force uma recompactação completa apenas para uniformizar o aspeto de todos os ficheiros de pacotes.
Valide a integridade após os ajustes
restic check
restic check --read-data-subset=5%
Escolha um calendário de verificação adequado ao tamanho do repositório. As orientações para resolução de problemas do repositório do restic consideram as verificações de integridade fundamentais para diagnosticar danos no repositório.
Para um plano de cópias de segurança mais abrangente, combine o repositório local com outra cópia independente. A estratégia de cópias de segurança 3-2-1 do ZimaOS explica por que motivo a redundância local e um destino separado resolvem problemas distintos.
Utilize esta regra de decisão
- Mantenha 16 MiB se as cópias de segurança já forem concluídas dentro do prazo ou se o estrangulamento estiver noutro ponto.
- Teste 32 MiB se um repositório grande num HDD passar muito tempo com metadados e operações em ficheiros pequenos.
- Teste 64 MiB se 32 MiB ajudar e a utilização de espaço temporário continuar dentro de limites confortáveis.
- Pare de aumentar o valor quando os ganhos diminuírem ou a utilização temporária de E/S aumentar.
O melhor tamanho de pacote é o valor mais baixo que reduz de forma mensurável a sobrecarga do repositório sem criar um novo estrangulamento.
Perguntas frequentes sobre o tamanho dos pacotes do restic
Um tamanho de pacote maior melhora a deduplicação do restic?
Não. A deduplicação ocorre ao nível dos blobs/blocos, antes de estes serem agrupados em ficheiros de pacotes.
Alterar o tamanho dos pacotes reescreve os ficheiros de pacotes antigos?
Não. Os pacotes existentes permanecem como estão até serem reescritos durante as operações normais de poda e recompactação.
Que tamanho de pacote devo experimentar primeiro num NAS com HDD local?
Use 16 MiB como referência e, em seguida, teste 32 MiB e 64 MiB com a mesma carga de trabalho.
Assistência e dicas
Mais para ler

Como manter vídeos para adultos no seu NAS ocultos dos membros da família
Mantenha os vídeos para adultos privados num NAS familiar. Verifique as permissões das pastas, o acesso às bibliotecas do Plex e do Jellyfin, as...

O que verificar antes de carregar um modelo da comunidade em Transformers
Utilize a atualização da sandbox Jinja do Transformers para rever a proveniência dos modelos, os modelos de chat, o código remoto, os pesos serializados...

Execute o Mirage localmente: OCR e deteção de objetos a partir de uma imagem
Experimente o pequeno modelo de visão local da Cactus Compute, valide o OCR e a extração de objetos com dados reais e compreenda os...



