Ile miejsca Immich potrzebuje na miniatury i dane ML do tworzenia kopii zapasowych rodzinnych zdjęć?

Immich nie ma wiarygodnego współczynnika przeznaczonego wyłącznie dla miniatur, dlatego w przypadku rodzinnych bibliotek należy mierzyć liczbę wygenerowanych bajtów na zasób i zarezerwować osobne miejsce na modele ML.

Archiwum rodzinnych zdjęć o wielkości 2 TB nie mówi, jak duży stanie się katalog miniatur Immich, ponieważ liczba zasobów, rozdzielczość źródłowa, ustawienia miniatur, udział filmów i włączone modele wpływają na wynikowy rozmiar. Bezpieczniejsza metoda określania wymagań to przetworzenie reprezentatywnej próbki, osobne zmierzenie miniatur i pamięci podręcznej modeli, prognozowanie wzrostu biblioteki, a następnie dodanie zapasu operacyjnego zamiast traktowania jednego procentu jako uniwersalnego wymogu.

Oddziel oryginały od danych generowanych przez Immich

Zacznij od wyraźnego podziału: oryginalne zdjęcia i filmy to tylko część zajętego miejsca potrzebnego do obsługi biblioteki Immich. Serwer przechowuje także wygenerowane zasoby używane podczas przeglądania i zapewniania zgodności, a usługa uczenia maszynowego przechowuje pobrane pliki modeli we własnej pamięci podręcznej. Kategorie te rosną z różnych powodów, dlatego łączenie ich w jeden nieprecyzyjny procent utrudnia ustalenie, które ustawienie lub obciążenie faktycznie zużywa miejsce.

Wieloletnie źródło informacji społeczności Immich dotyczące określania wymagań wskazuje, że miniatury i transkodowane filmy mogą łącznie zajmować średnio około 10–20% dodatkowego miejsca. Ta wartość jest przydatna wyłącznie jako ogólny punkt odniesienia: łączy dwie kategorie generowanych danych i dlatego nie może być przedstawiana jako współczynnik dotyczący wyłącznie miniatur. Rodzinna biblioteka z przewagą zdjęć i niewielką liczbą filmów może osiągnąć zupełnie inny wynik niż archiwum z dużą liczbą filmów.

Architektura ma również znaczenie przy wyborze miejsca na ten dodatkowy obszar. W opracowaniu ZimaSpace dotyczącym organizowania zdjęć za pomocą AI indeksowanie i dane generowane są traktowane jako usługi działające wokół oryginalnej biblioteki, a nie jako jej zamienniki. Przy planowaniu pojemności traktuj oryginały, obszar miniatur/podglądów, pochodne plików wideo, bazę danych i pamięć podręczną ML jako osobne pozycje, nawet jeśli korzystają z jednego fizycznego dysku.

Zmierz koszt miniatur na zasób przed skalowaniem

Wybierz reprezentatywny fragment rodzinnej biblioteki zamiast najłatwiejszego tysiąca plików. Powinien obejmować generacje telefonów, rozdzielczości aparatów, portrety, zrzuty ekranu, panoramy i inne typy obrazów typowe dla codziennego użycia. Poczekaj na zakończenie zadań związanych z miniaturami, zapisz liczbę przetworzonych zasobów i zmierz katalog miniatur. Podzielenie zmierzonego rozmiaru przez liczbę przetworzonych zasobów da lokalny współczynnik do planowania, który uwzględnia już wybrane ustawienia miniatur i podglądów.

Rzeczywiste instalacje pokazują, dlaczego ten lokalny współczynnik ma znaczenie. W jednej z dyskusji Immich zgłoszono 21 GB miniatur oraz 58 GB zakodowanego wideo w konkretnym systemie. To przykład anegdotyczny, a nie wartość docelowa, ale pokazuje, że katalogi danych pochodnych mogą mieć znacząco różne rozmiary i należy je mierzyć niezależnie, zamiast wyciągać wnioski wyłącznie z terabajtów oryginalnej biblioteki.

Przykładowo, jeśli 10 000 reprezentatywnych obrazów wygeneruje 12 GB miniatur i podglądów, zaobserwowane zużycie wynosi około 1,2 MB na zasób. Prognozowana biblioteka zawierająca 60 000 obrazów wymagałaby więc przy tych samych ustawieniach około 72 GB, jeszcze przed dodaniem zapasu na wzrost. Ponownie wykonaj próbę po zmianie rozdzielczości lub jakości miniatur, ponieważ takie zmiany unieważniają wcześniejszy współczynnik na zasób, mimo że oryginalne pliki się nie zmieniły.

Pamięć podręczna modeli ML zależy bardziej od modeli niż od liczby zdjęć

Pamięć maszynowego uczenia zachowuje się inaczej niż miniatury. Pamięć podręczna modeli zawiera przede wszystkim pliki modeli pobierane i ponownie wykorzystywane przez usługę ML, dlatego jej rozmiar zależy bardziej od wybranych modeli inteligentnego wyszukiwania i rozpoznawania twarzy niż od tego, czy biblioteka zawiera 20 000 czy 200 000 zdjęć. Rozmiar biblioteki wpływa na ilość przetwarzanych danych, ale nie wymaga pobrania nowej kopii modelu dla każdego zasobu.

W niedawnym wdrożeniu Immich na własnym serwerze opisano trwałą pamięć podręczną modeli zamontowaną dla usługi uczenia maszynowego; podano, że używane tam modele zajmowały łącznie mniej niż 1 GB. To tylko jedna konfiguracja, a nie gwarantowana wartość. Najważniejszy jest mechanizm trwałego przechowywania i ponownego użycia: gdy wybrane pliki są już obecne, zwykły wzrost liczby zdjęć nie powoduje zwielokrotnienia plików modeli.

W przypadku rodzinnego serwera, na którym modele mogą być później zmieniane, rozsądnie jest zaplanować większy zapas niż najmniejsza obecnie zaobserwowana pamięć podręczna. Opiekun Immich zasugerował, że w zależności od wyboru modeli zazwyczaj wystarczy około 10 GB miejsca. Potraktuj to jako ostrożny początkowy zapas, a następnie zastąp go rzeczywistym rozmiarem pamięci podręcznej z działającej konfiguracji po zakończeniu pierwszych zadań ML.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Udział filmów i pamięć podręczna klientów mogą zaburzyć szacunki oparte wyłącznie na zdjęciach

Szacunek obejmujący miniatury i ML przestaje być użytecznym opisem całkowitego zużycia miejsca, gdy biblioteka zawiera dużo filmów lub gdy analizujesz lokalne miejsce zajmowane przez aplikację na urządzeniu. Zapewnianie zgodności filmów może tworzyć duże pochodne dane po stronie serwera, a pamięci podręczne telefonów i przeglądarek zajmują miejsce klienta, które nie należy do serwerowego katalogu miniatur ani pamięci podręcznej modeli ML. Połączenie tych wartości może sprawić, że normalny szacunek dla miniatur będzie wyglądał na rażąco błędny.

Raport użytkownika dużej biblioteki dobrze pokazuje tę granicę: w bibliotece o wielkości około 2,4 TB, zawierającej 179 000 zdjęć i 19 000 filmów, zgłoszono 822 GB pochodnych danych serwera na miniatury i transkodowane filmy, podczas gdy aplikacja na Androidzie zgromadziła lokalnie także dziesiątki gigabajtów. To przykład anegdotyczny, a nie reguła określania wymagań, ale pokazuje, jak filmy i pamięć podręczna klienta mogą zdominować prosty model oparty wyłącznie na zdjęciach.

Podczas pomiarów zachowaj osobne kategorie: serwerowe dane miniatur/podglądów, zakodowane wideo, pamięć podręczną modeli ML, bazę danych i lokalną pamięć podręczną klienta. Jeśli miejsce zajmowane przez miniatury wydaje się nieoczekiwanie duże, sprawdź bezpośrednio katalog miniatur, a nie całe drzewo danych Immich. Jeśli dominuje katalog zakodowanego wideo, pytanie dotyczące planowania zmieniło się z narzutu indeksowania zdjęć na kwestie zgodności filmów i zasad transkodowania.

Użyj wzoru opartego na próbce i wzroście biblioteki

Użyj trzech danych wejściowych: zmierzonej liczby bajtów miniatur przypadającej na reprezentatywny zasób, prognozowanej liczby obrazów w ciągu najbliższego roku lub dwóch oraz zmierzonego rozmiaru pamięci podręcznej modeli ML. Pomnóż dwie pierwsze wartości, dodaj pamięć podręczną modeli, a następnie dodaj zapas operacyjny na ponowne generowanie danych, zmiany ustawień i zwykły wzrost zajętości systemu plików. Zapas 20–25% jest tu heurystyką planistyczną, a nie wymaganiem Immich; użytkownicy z niewielką ilością miejsca powinni częściej wykonywać pomiary zamiast zakładać, że zapas zawsze wystarczy.

Konserwatywny limit pamięci podręcznej modeli może zaczynać się od wskazówki opiekuna, że około 10 GB powinno zazwyczaj wystarczyć, zależnie od wybranego modelu. Połącz tę wartość z własnym pomiarem miniatur, a nie z wartością 10–20% dotyczącą miniatur i transkodowania łącznie. Przy prognozowanym rozmiarze miniatur wynoszącym 72 GB, zapasie 10 GB na modele i 25% dodatkowego marginesu rezerwa planistyczna wyniosłaby około 103 GB.

Przelicz wymagania ponownie po zmianie dowolnej zmiennej wpływającej na szacunek: rozdzielczości lub jakości miniatur, rozdzielczości używanych aparatów, modelu ML, ilości filmów albo liczby członków rodziny przesyłających zasoby. Próg decyzyjny jest prosty: jeśli prognozowane miejsce na dane generowane wraz z zapasem zbliża się do wolnej przestrzeni na przeznaczonym do tego szybkim woluminie, przenieś ścieżkę danych pochodnych, zwiększ pojemność lub zmniejsz odpowiednie ustawienia generowania, zanim biblioteka osiągnie ten poziom.