Jak zoptymalizować rozmiar pakietu Restic dla lokalnego repozytorium NAS

Eva Wong jest redaktorką techniczną i rezydentką majsterkowania w ZimaSpace. Jest geekiem od zawsze, z pasją do domowych laboratoriów i oprogramowania open source, a jej specjalnością jest przekładanie złożonych zagadnień technicznych na przystępne, praktyczne poradniki. Eva wierzy, że samodzielne hostowanie powinno sprawiać radość, a nie onieśmielać. Dzięki swoim samouczkom pomaga społeczności oswoić konfigurację sprzętu, od budowy pierwszego serwera NAS po opanowanie kontenerów Docker.

W przypadku lokalnego repozytorium NAS zachowaj domyślny rozmiar 16 MiB w restic, chyba że pomiary wykażą, że przepustowość ograniczają narzuty związane z plikami repozytorium lub czas wyszukiwania dysku HDD. Jeśli NAS przechowuje repozytorium o rozmiarze kilku terabajtów na dyskach talerzowych, wartości 32 MiB lub 64 MiB to rozsądne ustawienia do przetestowania, zanim rozważysz jeszcze większe.

Rozmiar pakietu to nie to samo co rozmiar bloków deduplikacji w restic. Najpierw restic dzieli dane plików na bloby na podstawie zawartości, a następnie grupuje bloby w pliki pakietów. Zmiana docelowego rozmiaru pakietu wpływa na sposób łączenia tych blobów w repozytorium; nie zmienia wielomianu funkcji dzielącej na bloki ani skrótów zawartości repozytorium.

Zacznij od domyślnego rozmiaru 16 MiB

Aktualne zalecenia dotyczące strojenia restic podają, że domyślny docelowy rozmiar pakietu wynosi 16 MiB. Zwracają też uwagę, że większe pliki pakietów mogą ograniczyć liczbę plików w repozytorium i poprawić wydajność tworzenia kopii zapasowych w niektórych repozytoriach przechowywanych na lokalnych dyskach HDD.

restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

Przed zmianą ustawień zanotuj wersję restic, rozmiar repozytorium, liczbę migawek, typ pamięci masowej i obecny czas trwania kopii zapasowej. Jeśli tworzenie kopii repozytorium kończy się już w wyznaczonym oknie czasowym, zwiększenie rozmiaru pakietu może tylko skomplikować konfigurację, nie przynosząc wymiernych korzyści.

Dowiedz się, co faktycznie zmienia rozmiar pakietu

Opis projektu formatu repozytorium restic wyjaśnia, że zawartość plików jest dzielona na bloby na podstawie zawartości, a następnie grupowana w pliki pakietów.

pliki źródłowe
   |
dzielenie na bloki na podstawie zawartości
   |
zdeduplikowane bloby
   |
grupowanie pakietów
   |
pliki danych repozytorium

Większy docelowy rozmiar pakietu zazwyczaj oznacza mniej większych plików w repozytorium. Może to ograniczyć czas, jaki dysk talerzowy poświęca na metadane i operacje otwierania plików. Nie poprawia to deduplikacji identycznej zawartości plików.

Sprawdź, czy ograniczeniem jest rzeczywiście rozmiar pakietów w NAS-ie

Zanim zmienisz ustawienia, obserwuj aktywność dysku repozytorium podczas zwykłej kopii przyrostowej. Lokalne repozytorium na dysku HDD, który wykonuje wiele krótkich skoków głowicy i operacji na metadanych, a jednocześnie osiąga niską przepustowość, jest lepszym kandydatem niż repozytorium na dysku SSD, który już zapisuje dane sekwencyjnie z dużą szybkością.

iostat -xz 2

Zwróć uwagę na utrzymujące się wysokie wykorzystanie dysku, podwyższone czasy await i niską przepustowość w porównaniu z dużym zapisem sekwencyjnym. Sprawdź też użycie procesora i szybkość odczytu źródła. Jeśli wąskim gardłem jest kompresja, haszowanie, wejście/wyjście źródła lub sieć, zwiększenie rozmiaru pakietu nie rozwiąże problemu.

Porównaj 16, 32 i 64 MiB na podobnych repozytoriach

Najbardziej miarodajne porównanie uzyskasz, używając tymczasowych repozytoriów utworzonych na potrzeby testu. Użyj tego samego zestawu danych źródłowych, woluminu NAS, wersji restic i liczby połączeń z backendem.

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

Zmierz czas wykonania, przepustowość dysku repozytorium, wykorzystanie przestrzeni tymczasowej i liczbę utworzonych plików danych. Jeśli to możliwe, powtórz pomiary, aby efekty pamięci podręcznej stron nie wpływały na wynik.

Uwzględnij miejsce tymczasowe przed zwiększeniem rozmiaru pakietu

Restic określa wymagane miejsce tymczasowe w przybliżeniu wzorem:

rozmiar pakietu × (liczba połączeń z backendem + 1)

Przy pięciu połączeniach z backendem i docelowym rozmiarze 64 MiB potrzeba co najmniej 384 MiB przestrzeni tymczasowej. Lokalny backend domyślnie korzysta obecnie z mniejszej liczby połączeń niż większość zdalnych backendów, ale ta sama zasada nadal obowiązuje.

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

Większe pakiety tymczasowe mogą również zwiększyć zużycie pamięci i spowodować, że więcej tymczasowych zapisów trafi na dysk SSD zamiast pozostać w pamięci podręcznej.

Używaj tego samego ustawienia rozmiaru pakietu przy poleceniach zapisujących do repozytorium

Restic zaleca określanie ustawienia rozmiaru pakietu przy każdym poleceniu modyfikującym repozytorium. Użyj jednej zmiennej środowiskowej dla całego zadania:

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

Zmiana rozmiaru pakietu nie zmienia sposobu dzielenia danych na bloki deduplikacji, ale może pozostawić pakiety o różnych rozmiarach. Zachowanie spójności ułatwia interpretację przyszłych prac konserwacyjnych i porównań wydajności.

Nie oczekuj, że istniejące pakiety zmienią rozmiar automatycznie

Nowe ustawienie rozmiaru pakietu dotyczy nowo tworzonych lub przepakowywanych danych. Istniejące pliki pakietów nie są przepisywane tylko dlatego, że zmieni się wartość RESTIC_PACK_SIZE.

Jeśli celowo chcesz, by prune przepakował mniejsze istniejące pakiety, aktualna wersja restic udostępnia opcję --repack-smaller-than. Najpierw zapoznaj się z opcjami przepakowywania podczas przycinania.

restic prune --dry-run --repack-smaller-than 32M

Zacznij od symulacji. Nie wymuszaj pełnego przepakowywania wyłącznie po to, by wszystkie pliki pakietów miały jednolity wygląd.

Sprawdź integralność po dostrojeniu

restic check
restic check --read-data-subset=5%

Wybierz harmonogram weryfikacji odpowiedni do rozmiaru repozytorium. Wskazówki restic dotyczące rozwiązywania problemów z repozytorium przedstawiają kontrole integralności jako podstawę diagnozowania uszkodzeń repozytorium.

Aby stworzyć szerszą strategię tworzenia kopii zapasowych, połącz lokalne repozytorium z inną, niezależną kopią. Strategia kopii zapasowych 3-2-1 w ZimaOS wyjaśnia, dlaczego lokalna redundancja i osobny cel zapisu chronią przed różnymi rodzajami awarii.

Zastosuj tę zasadę decyzyjną

  • Pozostań przy 16 MiB, jeśli kopie zapasowe już mieszczą się w dostępnym oknie lub wąskie gardło leży gdzie indziej.
  • Przetestuj 32 MiB, jeśli duże repozytorium na HDD poświęca dużo czasu na metadane i operacje na małych plikach.
  • Przetestuj 64 MiB, jeśli 32 MiB pomaga, a zużycie przestrzeni tymczasowej pozostaje na akceptowalnym poziomie.
  • Przestań zwiększać wartość, gdy korzyści maleją lub rośnie tymczasowe obciążenie operacji wejścia/wyjścia.

Najlepszy rozmiar pakietu to najmniejsza wartość, która zauważalnie zmniejsza narzut repozytorium, nie tworząc nowego wąskiego gardła.

Często zadawane pytania dotyczące rozmiaru pakietów restic

Czy większy rozmiar pakietu poprawia deduplikację restic?

Nie. Deduplicacja odbywa się na poziomie blobów/chunków, zanim bloby zostaną pogrupowane w pliki pakietów.

Czy zmiana rozmiaru pakietu spowoduje przepisanie starych plików pakietów?

Nie. Istniejące pakiety pozostają niezmienione, dopóki standardowe operacje przycinania lub przepakowywania ich nie przepiszą.

Jaki rozmiar pakietu wypróbować najpierw na lokalnym NAS-ie z dyskiem HDD?

Przyjmij 16 MiB jako wartość bazową, a następnie przetestuj 32 MiB i 64 MiB przy tym samym obciążeniu.

Wsparcie i porady

Więcej do przeczytania

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.