Dlaczego liczba plików zwiększa obciążenie kopii zapasowych i migawków, nawet gdy domowy NAS ma wolną pojemność?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

Why Does File Count Increase Backup and Snapshot Work Even When a Home NAS Has Free Capacity?

Liczba plików zwiększa pracę przy kopii zapasowej i migawkach, ponieważ każdy obiekt dodaje operacje, które nie znikają, gdy plik jest mały. NAS nadal musi wymienić nazwę, odczytać metadane, porównać stan, zapisać włączenie, zaktualizować indeksy, a później usunąć lub przywrócić ten obiekt, nawet gdy całkowita zajęta przestrzeń pozostawia dużo wolnej pojemności.

Dostępna pojemność odpowiada na pytanie, czy można przydzielić więcej bloków danych. Nie mierzy jednak, ile rekordów przestrzeni nazw, transakcji, kontroli, relacji wersji czy kroków przywracania musi przetworzyć proces kopii zapasowej.

Dlaczego każdy plik dodaje stałą pracę przy kopii zapasowej?

Zadanie kopii zapasowej nie może traktować katalogu zawierającego milion plików jako jednego obiektu. każdy obiekt dodaje stałe operacje kopii zapasowej, w tym wykrywanie, odczyty atrybutów, sprawdzanie polityk, wpisy do katalogu i tworzenie miejsca docelowego.

Dla dużego pliku ten stały koszt przygotowania rozkłada się na wiele megabajtów lub gigabajtów. Dla małych plików otwarcie, zamknięcie, uprawnienia, dziennik i protokół mogą zająć więcej czasu niż przesłanie samej zawartości.

Wąskim gardłem mogą być więc operacje na sekundę, a nie przepustowość. Graf sieciowy może pozostać prawie pusty, podczas gdy dyski, usługi metadanych lub baza danych kopii zapasowej ciągle przetwarzają rekordy obiektów.

Dlaczego niezmienione drzewo może nadal zajmować dużo czasu na skanowanie?

Narzędzia przyrostowe muszą najpierw ustalić, co się zmieniło, zanim pominą niezmienione dane. niezmienione drzewa nadal wymagają porównania plik po pliku, więc kopia zapasowa z prawie niczym do przesłania może nadal przeszukiwać całe wybrane drzewo.

Porównanie zwykle wykorzystuje rozmiar, czas modyfikacji, typ pliku, ścieżkę i wcześniejszy stan katalogu. Odczytywanie tych pól w milionach obiektów generuje operacje I/O metadanych i zapytania sieciowe, nawet gdy zawartość plików się nie zmienia.

Dzienniki zmian i migawki systemu plików mogą zawęzić zestaw kandydatów, ale tylko wtedy, gdy system kopii zapasowej ufa i zachowuje wymaganą historię. Brakujący zakres dziennika lub odbudowany katalog mogą wymusić szersze skanowanie.

Jak sumy kontrolne i porównania przyrostowe zwiększają koszty?

Porównanie metadanych jest stosunkowo tanie, ale nie wykrywa każdej zmiany zawartości. tryb sum kontrolnych odczytuje każdy wybrany plik, a weryfikacja zawartości może wymagać odczytania danych, które porównanie znaczników czasu pominęłoby.

Sumy kontrolne dodają obciążenie CPU i odczyty z pamięci masowej dla każdego wybranego obiektu. Koszt jest szczególnie widoczny, gdy zadanie weryfikuje niezmienne archiwa, deduplikuje fragmenty lub ponownie sprawdza dane po przerwanym działaniu.

Szybka sieć nie eliminuje tej pracy, ponieważ źródło nadal musi zlokalizować i odczytać pliki. Kopia zapasowa może być ograniczona przez małe losowe odczyty, blokady metadanych, przepustowość haszowania lub aktualizacje katalogu docelowego.

Dlaczego migawki i zachowane wersje zwiększają pracę z metadanymi?

Migawki mogą efektywnie zachowywać zmienione bloki, ale narzędzie do tworzenia kopii zapasowych lub zarządzania nadal musi identyfikować wersje i relacje. zachowane wersje mnożą relacje metadanych wraz z gromadzeniem się bieżących obiektów, wcześniejszych wersji, ścieżek i rekordów polityk.

Przeglądarka migawek na poziomie plików może wyświetlać kilka historycznych wpisów dla każdej aktywnej ścieżki. Przycinanie retencji musi zdecydować, które wersje pozostają referencjonowane, zanim metadane, rekordy katalogów lub bloki mogą zostać zwolnione.

Tworzenie migawki na poziomie bloków może być szybkie, podczas gdy późniejsza replikacja, katalogowanie, usuwanie i wybór przywracania pozostają wrażliwe na liczbę plików. Sama szybkość migawki nie mierzy pełnych kosztów cyklu życia.

Dlaczego operacje usuwania i przywracania są również ograniczone liczbą plików?

Usuwanie lub przywracanie wielu małych plików powtarza pracę związaną z przestrzenią nazw i transakcjami. przywracanie wielu małych plików powtarza pracę przygotowawczą zamiast przesyłać jeden ciągły strumień danych.

Przywracanie musi odtworzyć katalogi, nazwy, uprawnienia, znaczniki czasu, rozszerzone atrybuty, linki oraz metadane aplikacji. Miejsce docelowe może również rejestrować każdą operację w dzienniku oraz aktualizować oprogramowanie antywirusowe, indeksowanie lub obserwatory synchronizacji.

Usuwanie dużego drzewa może być równie powolne, ponieważ każda nazwa i relacja obiektów musi zostać bezpiecznie usunięta. Zwolnienie jednego terabajta w jednym pliku może być prostsze niż usunięcie kilku gigabajtów rozproszonych na miliony obiektów.

Jak domowy NAS powinien zmniejszać obciążenie na poziomie obiektów?

liczba plików i pojemność bajtowa to oddzielne wymiary. Planowanie pojemności powinno więc śledzić liczbę obiektów, czas skanowania kopii zapasowej, rozmiar katalogu, liczbę wersji i tempo przywracania.

Używaj przyrostowego śledzenia zmian tam, gdzie jest niezawodne, wyklucz generowane pamięci podręczne, grupuj niezmienne małe obiekty w archiwa, gdy indywidualne przywracanie nie jest konieczne, i przechowuj katalogi kopii zapasowych na nośnikach zaprojektowanych do małych losowych operacji I/O.

Testuj przepustowość przywracania w plikach na sekundę oraz MB/s. Odpowiedni projekt zachowuje wymagania dostępu i odzyskiwania, jednocześnie redukując powtarzane operacje na obiektach; pakowanie wszystkiego do archiwów może utrudniać indywidualne aktualizacje i częściowe przywracanie.

Faza pracy	Koszt liczby plików	Dlaczego wolna pojemność nie pomaga
Wykrywanie	Wyliczaj i czytaj metadane dla każdego obiektu	Nieużywane bloki nie zmniejszają operacji na przestrzeni nazw
Porównanie przyrostowe	Dopasuj każdą ścieżkę do poprzedniego stanu	Niezmienione pliki nadal wymagają klasyfikacji
Zarządzanie retencją i migawkami	Śledź wersje i odniesienia	Relacje logiczne pozostają nawet gdy bloki są współdzielone
Przywracanie lub usuwanie	Bezpiecznie odtwórz lub usuń każdy obiekt	Operacje skalują się wraz z liczbą obiektów, nie tylko bajtów

Najczęściej zadawane pytania

Czy kopia zapasowa może być wolna, gdy przesyła prawie żadnych danych?

Tak. Mogą jednak spędzać większość czasu na wyliczaniu i porównywaniu milionów niezmienionych obiektów.

Czy migawki eliminują obciążenie liczbą plików?

Mogą przyspieszyć punktowe przechwytywanie, ale przeglądanie wersji, replikacja zmian, przycinanie retencji i przywracanie plików nadal przetwarzają metadane.

Czy małe pliki zawsze powinny być archiwizowane razem?

Nie. Archiwa zmniejszają obciążenie obiektów, ale komplikują indywidualne zmiany, uprawnienia, deduplikację, wyszukiwanie i częściowe przywracanie.

Która metryka jest ważna oprócz MB/s?

Śledź liczbę skanowanych plików na sekundę, zmienione obiekty, opóźnienia metadanych, wzrost katalogu, liczbę migawek, tempo usuwania i liczbę przywracanych obiektów na sekundę.

Ostateczne wnioski

Liczba plików zwiększa obciążenie kopii zapasowych i migawkowych, ponieważ każdy obiekt generuje stałe operacje wykrywania, porównywania, katalogowania, wersjonowania, usuwania i przywracania. Wolne miejsce chroni przyszłą alokację bajtów, ale nie eliminuje pracy na poziomie obiektów. Mierz liczbę plików na sekundę i zachowanie przy przywracaniu wraz z pojemnością i przepustowością.