Jak rozmiar bloku wpływa na domowe NAS-y, zdjęcia, bazy danych i archiwa?

Rozmiar bloku zmienia zachowanie domowego NAS, ponieważ zdjęcia, bazy danych i archiwa wymagają od pamięci masowej przenoszenia i przepisywania danych w zasadniczo różnych formach.

To pojęcie może oznaczać blok alokacji systemu plików, rekord copy-on-write, stronę bazy danych lub rekord transferu programu archiwizującego. Te jednostki współdziałają, ale nie są wymienne. Ustawienie, które zmniejsza pracę z metadanymi dla dużych archiwów zdjęć, może zwiększyć koszt odczytu-modyfikacji-zapisu dla bazy danych, która zmienia kilka kilobajtów na raz.

Rozmiar bloku ustala jednostkę alokacji i przepisywania

System plików potrzebuje minimalnej jednostki do przydzielania przestrzeni. Jeśli plik używa tylko części swojego końcowego bloku, pozostała część staje się przestrzenią nieużywaną (slack space). Mniejsze bloki zmniejszają ten marnotrawstwo dla małych plików, podczas gdy większe bloki wymagają mniej rekordów alokacji do opisania tego samego dużego pliku. Układ bloków ext4 pokazuje, jak numery bloków, klastry i grupy alokacji kształtują fizyczny opis przechowywanych danych.

Systemy plików copy-on-write dodają drugą kwestię: maksymalny rekord może stać się jednostką odczytu, kompresji, sum kontrolnych lub przepisywania. Może się zmniejszyć dla małych plików, ale zmiana na miejscu dużego rekordu może nadal powodować więcej operacji I/O niż zażądała aplikacja. Dlatego rozmiar bloku musi być dopasowany do wzorca dostępu, a nie wybierany tylko na podstawie pojemności pliku.

Zdjęcia preferują długie zakresy, ale nadal generują metadane

Obrazy JPEG, HEIC i RAW są zwykle zapisywane jako kompletne pliki i odczytywane w długich seriach. Większe rekordy mogą zmniejszyć pośrednie metadane i narzut poleceń I/O dla tych danych. Praktyczna dyskusja o dużych rekordach dla plików multimedialnych wyjaśnia, dlaczego stabilna, sekwencyjna zawartość zwykle korzysta bardziej niż często przepisywane pliki.

Biblioteka zdjęć nie jest jednak czysto sekwencyjna. Przeglądanie folderów odczytuje wpisy katalogowe, miniatury, pliki towarzyszące (sidecar) i indeksy baz danych. Tysiące małych plików towarzyszących mogą sprawić, że efektywność alokacji i opóźnienia metadanych będą bardziej widoczne niż same oryginalne obrazy. Poprawny projekt może więc oddzielić duże oryginały od mniejszych danych roboczych aplikacji, zamiast narzucać jedną politykę bloków dla obu.

Strony bazy danych ujawniają niezgodność odczytu-modyfikacji-zapisu

Bazy danych aktualizują strony i indeksy o stałym rozmiarze, zamiast przepisywać cały plik bazy danych przy każdej transakcji. Jeśli rekord pamięci masowej jest znacznie większy niż strona bazy danych, mała logiczna aktualizacja może wymagać odczytu, sumowania kontrolnego i zapisu szerszego obszaru. Relacja między stroną bazy danych a rozmiarem rekordu pokazuje, dlaczego wyrównanie ma znaczenie zarówno dla opóźnień, jak i amplifikacji zapisu.

Małe rekordy nie są automatycznie szybsze. Tworzą więcej metadanych, zmniejszają zakres kompresji i mogą fragmentować rosnący plik na więcej zakresów. Celem jest utrzymanie jednostki pamięci masowej w rozsądnym zbliżeniu do dominującego I/O bazy danych, bez założenia, że każde zapytanie używa tej samej strony lub że każdy silnik bazy danych ma tę samą ścieżkę zapisu.

Archiwa NAS wymieniają pracę na plik na grubsze I/O

Łączenie wielu małych plików w jedno archiwum eliminuje powtarzające się otwarcia sieciowe, sprawdzanie uprawnień i aktualizacje katalogów podczas transferu. Po zapisaniu archiwum wygląda jak jeden długi, sekwencyjny obiekt, co może działać efektywnie z większymi rekordami systemu plików. Koncentruje to również uszkodzenia i utrudnia aktualizacje pojedynczych plików.

Oprogramowanie archiwizujące ma własny rozmiar rekordu. Współczynnik blokowania tar kontroluje, jak rekordy archiwum są grupowane, ale nie zmienia formatu systemu plików NAS. Oddzielenie tych warstw zapobiega częstemu błędowi strojenia: zmianie bufora aplikacji i założeniu, że jednostka alokacji dysku zmieniła się wraz z nią.

Najlepszy rozmiar dopasowuje się do aktywnej warstwy, nie do rozszerzenia

Zacznij od zidentyfikowania, która jednostka jest konfigurowalna i która operacja jest wolna. Marnotrawstwo pojemności wskazuje na granulację alokacji. Wysoki koszt częściowego odczytu wskazuje na rozmiar rekordu. Zatory zapisu wskazują na strony bazy danych, logowanie i zapisy synchroniczne. Przepustowość archiwum może zależeć od sekwencyjnego I/O i rozmiaru żądań sieciowych.

Przetestuj zestaw danych większy niż RAM, zawierający rzeczywiste mieszanki oryginałów, miniatur, zapytań i ekstrakcji. Ogólna analiza fragmentacji wyjaśnia, dlaczego liczba zakresów i lokalność mają znaczenie, ale fragmentacja wewnętrzna i zewnętrzna to różne koszty. Badania nad dużymi obiektami i przechowywaniem w bazach danych pokazują, że najlepsza granica zależy od rozmiaru obiektu i obciążenia, a nie od jednej uniwersalnej wartości bloku.

FAQ

Czy większy rozmiar bloku jest zawsze lepszy dla zdjęć?

Nie. Duże oryginały zdjęć często korzystają z grubszych, sekwencyjnych operacji I/O, ale katalogi, miniatury i pliki towarzyszące pozostają małe i losowe. Traktuj zawartość biblioteki i metadane robocze jako oddzielne obciążenia.

Czy rozmiar bloku systemu plików powinien być równy rozmiarowi strony bazy danych?

Dokładna równość nie jest uniwersalną zasadą. Wyrównanie może zmniejszyć niepotrzebne I/O, ale pamięć podręczna, dziennikowanie, kompresja, zachowanie copy-on-write i wzorzec dostępu silnika bazy danych również wpływają na wynik.

Czy zmiana współczynnika blokowania archiwum zmienia alokację NAS?

Nie. Zmienia to sposób grupowania danych przez program archiwizujący podczas wejścia i wyjścia. Alokacja systemu plików pozostaje kontrolowana przez konfigurację systemu plików lub zestawu danych pod archiwum.