Dlaczego Immich powoduje powtarzającą się aktywność dysku w nocy?

Eva Wong jest redaktorką techniczną i rezydentką majsterkowania w ZimaSpace. Jest geekiem od zawsze, z pasją do domowych laboratoriów i oprogramowania open source, a jej specjalnością jest przekładanie złożonych zagadnień technicznych na przystępne, praktyczne poradniki. Eva wierzy, że samodzielne hostowanie powinno sprawiać radość, a nie onieśmielać. Dzięki swoim samouczkom pomaga społeczności oswoić konfigurację sprzętu, od budowy pierwszego serwera NAS po opanowanie kontenerów Docker.

Immich może generować powtarzającą się nocną aktywność dysku, ponieważ zaplanowana konserwacja, prace związane z bazą danych, zadania przetwarzania multimediów w kolejce lub ponowne próby są kontynuowane po tym, jak ludzie przestają korzystać z biblioteki.

Cisza w domu nie oznacza, że serwer jest bezczynny. Ważne jest, czy ten sam proces i zadanie wyjaśniają odczyty lub zapisy o tej samej porze. Najpierw powiąż ze sobą aktywność, a potem zdecyduj, czy jest to oczekiwana praca, nadrabianie zaległości w kolejce czy pętla, którą należy zatrzymać.

Zanim cokolwiek zmienisz, dopasuj skok aktywności dysku do pory

Zacznij od zapisania znaczników czasu z trzech nocy, zamiast opierać się na jednej obserwacji zakłóconej szumem. Zapisz, kiedy wzrasta liczba operacji blokowych wejścia/wyjścia, które urządzenie jest zajęte, czy dominują odczyty, czy zapisy oraz czy wzorzec zaczyna się prawie o tej samej porze. Powtarzalna pora rozpoczęcia wskazuje na harmonogram; nieregularny wzorzec silniej sugeruje napływ zadań, ponowne próby lub inny kontener.

Wdrożenia Immich mogą planować kopie zapasowe bazy danych i zadania związane z kontrolą integralności na godziny, w których serwer jest rzadziej używany, więc poranny wzrost aktywności może być celowy. Nie wyłączaj zadania tylko dlatego, że wybudza dyski. Najpierw sprawdź, czy po okresie aktywności pojawia się odpowiednia kopia zapasowa, wynik konserwacji lub ukończone zadanie z kolejki.

Powiązana diagnoza ZimaSpace dotycząca pracy Immich w tle w godzinach bezczynności stosuje tę samą zasadę analizy znaczników czasu: zanim uznasz „bezczynność” za stan awaryjny, powiąż widoczny objaw z procesem i zadaniem.

Oddziel zapisy PostgreSQL od odczytów plików multimedialnych

Zmiany stanu aplikacji Immich mogą utrzymywać aktywność PostgreSQL, nawet jeśli nie są otwierane żadne nowe zdjęcia. Punkty kontrolne bazy danych, rejestrowanie z wyprzedzeniem (WAL), prace związane z vacuum i zwykłe aktualizacje aplikacji generują inny wzorzec operacji wejścia/wyjścia niż skanowanie tysięcy plików multimedialnych. Zidentyfikuj ścieżkę lub urządzenie, na którym pojawia się ten ruch, zanim obwinisz bibliotekę zdjęć.

Dyskusja na temat obserwowalności PostgreSQL w artykule analiza pg_stat_io wyjaśnia, dlaczego należy osobno analizować odczyty, zapisy, aktywność procesów backendowych, działanie procesu checkpointer i zapisy w tle. Wykorzystaj to rozróżnienie, by ustalić, czy urządzenie z bazą danych jest zajęte, ponieważ utrwalane są użyteczne transakcje, czy dlatego, że coś ciągle wykonuje zbędne operacje.

Jeśli zapisy do bazy danych są niewielkie i okresowe, a dyski z multimediami pozostają uśpione, może to być normalne porządkowanie bazy danych. Jeśli ten sam plik bazy danych jest stale intensywnie zapisywany, a żadne zadanie nie postępuje, zachowaj logi i sprawdź odpowiedzialne zapytania lub pętlę restartów, zamiast przenosić całą bibliotekę na szybszą pamięć masową.

Sprawdź, czy zadania w tle rzeczywiście postępują

Otwórz widok zadań i porównaj zadania oczekujące, aktywne, nieudane i ukończone przed nocnym okresem i po nim. Generowanie miniaturek, przetwarzanie wideo, wyodrębnianie metadanych, zadania uczenia maszynowego czy przetwarzanie zaimportowanej biblioteki mogą uzasadnione utrzymywać aktywność pamięci masowej po dużej zmianie. Malejąca liczba zadań w kolejce świadczy o nadrabianiu zaległości.

Niedawne zgłoszenie społeczności dotyczące długotrwałych, niewyjaśnionych odczytów pokazuje przeciwną granicę diagnostyczną: bardzo intensywne, ciągłe odczyty bez oczekiwanej pracy należy zbadać, zamiast uznawać je za „normalne działanie Immich”. Podaną szybkość odczytu potraktuj jako przykład, a nie punkt odniesienia.

Jeśli te same zadania wielokrotnie kończą się niepowodzeniem i wracają do kolejki, aktywność dysku może się powtarzać bez postępów. Zapisz pierwszy błąd i jeden zasób, którego dotyczy, a następnie odizoluj ten typ zadania. Nie opróżniaj wszystkich kolejek ani nie generuj ponownie całej biblioteki, zanim ustalisz, czy przyczyną pętli jest jeden plik, uprawnienia, opóźnienia pamięci masowej czy zależność od innej usługi.

Przypisz operacje wejścia/wyjścia do procesu zamiast zgadywać na podstawie hałasu dysku

Podczas kolejnego wystąpienia problemu monitoruj operacje wejścia/wyjścia na poziomie hosta, aby ustalić, który proces odczytuje dane z urządzenia lub zapisuje je na nim. Następnie ustal, czy jest to serwer Immich, PostgreSQL, uczenie maszynowe, narzędzie do tworzenia kopii zapasowych, program antywirusowy, sprawdzanie systemu plików czy niezwiązany kontener. Diody dysku i szum wentylatorów nie pozwalają ustalić, który proces odpowiada za obciążenie.

Praktyczny sposób użycia iotop pokazuje podejście, w którym najpierw identyfikuje się proces. Zapisz kilka próbek, ponieważ krótki skok obciążenia może zniknąć między obserwacjami; celem jest uchwycenie procesu w tym samym czasie, w którym występuje objaw.

Jeśli Immich nie odpowiada za największe obciążenie wejścia/wyjścia, przestań zmieniać ustawienia Immich i sprawdź rzeczywisty proces. Jeśli odpowiada za nie PostgreSQL, Immich lub powiązany proces roboczy, zestaw jego logi i postępy zadań z próbkami obciążenia wejścia/wyjścia. Dzięki temu ogólne stwierdzenie „serwer co noc hałasuje” zastąpisz konkretnym komponentem i przyczyną.

Wyznacz granicę między normalną pracą w nocy a awarią

Uznaj aktywność za normalną, jeśli zaczyna się w porze znanego harmonogramu lub po niedawnej zmianie biblioteki, służy wykonaniu użytecznej pracy, nie powoduje wzrostu liczby błędów i ustępuje, przywracając opóźnienia pamięci masowej oraz długość kolejki do typowego poziomu. Zapisz normalny czas trwania, aby mieć punkt odniesienia przy ocenie przyszłego wzrostu.

Dawna dyskusja o Immich dotycząca częstych zapisów w bazie danych pokazuje, dlaczego aktywność bazy danych może występować bez widocznej akcji użytkownika. Ponieważ wersje i wdrożenia się zmieniają, wykorzystaj ten przypadek jedynie jako uzasadnienie, by osobno mierzyć aktywność bazy danych, a nie jako dowód, że każdy ciągły zapis jest normalny.

Eskaluj problem, gdy operacje wejścia/wyjścia trwają po zatrzymaniu kolejek, powracają te same błędy, opóźnienia pamięci masowej utrudniają korzystanie z serwera w ciągu dnia, wolne miejsce nieoczekiwanie się zmniejsza lub sytuacja nasila się z nocy na noc. Zanim wprowadzisz inwazyjne zmiany, zachowaj znaczniki czasu, dane o operacjach wejścia/wyjścia procesów, liczbę zadań, istotne logi, ilość wolnego miejsca w systemie plików oraz jeden powtarzalny sposób wywołania problemu.

Wsparcie i porady

Więcej do przeczytania

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.