Jak zapobiec duplikatom zdjęć po przeniesieniu biblioteki z chmury

Eva Wong jest redaktorką techniczną i rezydentką majsterkowania w ZimaSpace. Jest geekiem od zawsze, z pasją do domowych laboratoriów i oprogramowania open source, a jej specjalnością jest przekładanie złożonych zagadnień technicznych na przystępne, praktyczne poradniki. Eva wierzy, że samodzielne hostowanie powinno sprawiać radość, a nie onieśmielać. Dzięki swoim samouczkom pomaga społeczności oswoić konfigurację sprzętu, od budowy pierwszego serwera NAS po opanowanie kontenerów Docker.

Zapobiegaj duplikatom zdjęć: najpierw zaimportuj jeden kanoniczny eksport, a następnie włącz kopię zapasową z telefonu dopiero po sklasyfikowaniu dokładnych kopii i wariantów po edycji.

Migracje bibliotek z chmury często obejmują oryginały, kopie po edycji, pobrane pliki o zmienionym rozmiarze, wersje z udostępnionych albumów, komponenty Live Photo, pliki boczne z metadanymi i powielone foldery eksportu. Galeria hostowana samodzielnie może odrzucać pliki o identycznych bajtach, a mimo to przyjmować wizualnie identyczne pliki różniące się kompresją, wymiarami, metadanymi lub nazwami. Bezpieczny proces polega na przygotowaniu migracji poza aktywną biblioteką, zapisaniu skrótów i folderów źródłowych, zaimportowaniu jednej kontrolowanej partii oraz sprawdzeniu, jak galeria przedstawia warianty, zanim zostanie włączona automatyczna kopia zapasowa z telefonu.

Sporządź wykaz wszystkich źródeł mogących zawierać to samo zdjęcie

Sporządź listę archiwów eksportu z chmury, rolki aparatu w telefonie, komputerowej biblioteki zdjęć, albumów udostępnionych, folderów pobierania, bibliotek partnerów, starych folderów na NAS-ie oraz wszystkich bibliotek zewnętrznych podłączonych do galerii. Zapisz zakres dat i liczbę plików w każdym źródle.

Duplikaty często powstają, gdy importujesz kopię z chmury, a następnie telefon przesyła lokalny oryginał. W dyskusji o Immich opisano pozorne duplikaty tworzone przez Zdjęcia Google i kopię zapasową urządzenia mobilnego, ponieważ wersja z chmury była skompresowana, a telefon dostarczył inny plik w pełnej rozdzielczości.

Wybierz źródło, które będzie traktowane jako nadrzędne dla oryginałów. Pozostałe źródła trzymaj offline podczas pierwszego importu, aby o usuwaniu plików nie decydować na podstawie osi czasu pełnej duplikatów.

Oddziel dokładne duplikaty od wariantów wizualnych

Oblicz skróty kryptograficzne plików przed importem. Identyczne skróty wskazują na identyczne bajty, natomiast różne skróty mogą oznaczać edycje, ponowną kompresję, zmiany metadanych, eksporty o zmienionym rozmiarze, komponenty zdjęć ruchomych albo zupełnie inne ujęcia.

Użytkownicy migrujący do Immich utworzyli procedury sprawdzania skrótów przed importem, ponieważ transfery z bibliotek zewnętrznych mogą nie weryfikować duplikatów tak samo jak przesyłanie przez API. Zgłaszana strategia polegała na tym, aby porównać skróty przed skopiowaniem.

Nie usuwaj automatycznie plików tylko dlatego, że na miniaturach wyglądają podobnie. Zachowaj oryginał w wyższej rozdzielczości, zamierzoną edycję, komponenty ruchomego zdjęcia i pliki boczne z metadanymi, dopóki nie zostaną porównane poza galerią.

Uporządkuj strukturę folderów eksportu bez modyfikowania oryginałów

Wypakuj każde archiwum z chmury do katalogu roboczego i zidentyfikuj powtarzające się fragmenty archiwów, sufiksy „original” i „edited”, pliki sidecar JSON, duplikaty z albumów oraz pliki podzielone między pakiety eksportu.

Podczas pierwszej inwentaryzacji nie zmieniaj nazw plików ani znaczników czasu. Zmiana nazw, ponowne kodowanie lub modyfikacja metadanych przed obliczeniem haszy może sprawić, że pliki będą się różnić bajt po bajcie, przez co galeria nie będzie już mogła automatycznie ich rozpoznać.

Utwórz manifest zawierający archiwum źródłowe, oryginalną ścieżkę względną, nazwę pliku, hasz, rozmiar, wymiary, czas wykonania zdjęcia i ścieżkę do pliku sidecar. Dzięki temu każde późniejsze usunięcie można cofnąć, a przyczyny umieszczenia w bibliotece dwóch podobnych zasobów będą jasne.

Najpierw zaimportuj niewielką, reprezentatywną partię

Wybierz partię zawierającą zwykły plik JPEG, zdjęcie HEIC, edytowany obraz, Live Photo, film, serię zdjęć, kopię z udostępnionego albumu i dwa identyczne duplikaty. Zaimportuj ją metodą planowaną dla całej biblioteki.

Zasoby z chmury i lokalne mogą pojawiać się na osi czasu urządzenia mobilnego dwukrotnie, nawet jeśli jeden wpis przedstawia kopię na serwerze, a drugi nadal znajduje się tylko na telefonie. Zgłoszenie dotyczące Immich dokumentuje zdjęcia wyświetlane zarówno ze stanem z chmury, jak i z wyłączoną chmurą.

Sprawdź, czy galeria odrzuca identyczne hasze, grupuje składniki zdjęć ruchomych, zachowuje edycje, odczytuje pliki sidecar i rozróżnia zasoby dostępne tylko lokalnie od przesłanych. Dostosuj ścieżkę importu, zanim przetworzysz cały eksport.

Nie włączaj kopii zapasowej z urządzeń mobilnych, dopóki import historycznych danych nie będzie stabilny

Wstrzymaj automatyczne tworzenie kopii zapasowych na każdym telefonie, na którym znajduje się część migrowanej biblioteki w chmurze. W przeciwnym razie klient mobilny może przesłać tysiące zasobów, gdy serwer nadal importuje tę samą historię z wyeksportowanych plików.

Duplikaty z różnych źródeł mogą pojawiać się ponownie, gdy użytkownik zachowuje kopię w bibliotece zewnętrznej, ale usuwa przesłany plik. Klient mobilny może później ponownie przesłać ten sam zasób. W dyskusji o Immich opisano powracającą pętlę duplikatów między urządzeniami mobilnymi a biblioteką zewnętrzną.

Po zakończeniu importu archiwum historycznego porównaj liczbę oczekujących elementów na telefonie z manifestem serwera. Najpierw włącz kopię zapasową dla niewielkiego, niedawnego albumu i sprawdź, czy znane zasoby historyczne są pomijane lub oznaczane jako już zarchiwizowane.

Świadomie zarządzaj bibliotekami zewnętrznymi i przesłanymi bibliotekami

Zdecyduj, czy zmigrowane pliki będą przechowywane jako przesłane pliki zarządzane przez galerię, czy jako zewnętrzna biblioteka tylko do odczytu. Nie udostępniaj tych samych plików fizycznych obiema ścieżkami.

Przeniesienie zasobów z biblioteki zarządzanej do zewnętrznej może spowodować pojawienie się duplikatów na osi czasu, gdy stary wpis w bazie danych pozostaje, a nowe skanowanie zewnętrzne dodaje kolejny zasób. Zgłoszony rezultat to osierocony wpis i nowy duplikat.

Stosuj jeden model zarządzania dla każdego zestawu plików. W przypadku zmiany modelu utwórz kopię zapasową bazy danych, wykonaj obsługiwane usunięcie lub porządkowanie starej ścieżki i przed skanowaniem nowej lokalizacji sprawdź, czy nieaktualne wpisy zniknęły.

Weryfikuj duplikaty, uwzględniając metadane i możliwości odzyskiwania

Gdy galeria wykryje duplikaty, przed wyborem pliku do zachowania porównaj rozdzielczość, rozmiar pliku, kodek, czas wykonania, historię edycji, powiązanie z Live Photo, przynależność do albumów, ulubione, przypisania twarzy i źródło kopii zapasowej.

Wykrywanie podobnych zdjęć może wskazać różne rozdzielczości lub kodowania tej samej sceny, ale nie pozwala ustalić, która wersja zachowuje preferowaną przez użytkownika edycję lub oryginał o najwyższej jakości. Traktuj automatyczne wykrywanie jako kolejkę do sprawdzenia, a nie polecenie usunięcia.

Poradnik migracji danych NAS ZimaSpace zawiera powiązaną zasadę: zachowaj eksport z chmury i oryginalną bibliotekę do czasu zweryfikowania liczby plików, metadanych, albumów i przykładowych przywróceń.

Zakończ migrację, przeprowadzając audyt, który można powtórzyć

Porównaj manifesty źródłowe, liczbę zaimportowanych plików, odrzucone identyczne duplikaty, zachowane warianty, pliki, których nie udało się przetworzyć, oraz liczbę elementów oczekujących na przesłanie z telefonów. Sprawdź wyrywkowo kilka lat, albumów, edycji, filmów i zdjęć Live Photos.

Zachowaj oryginalny eksport z chmury bez zmian i utwórz drugą kopię zapasową biblioteki hostowanej samodzielnie, zanim anulujesz subskrypcję lub usuniesz pliki z chmury. Usuwanie duplikatów nie jest kopią zapasową i nigdy nie powinno być jedyną operacją zmieniającą kopie.

Migracja jest zakończona, gdy każdy oryginał ma jedną celowo wybraną kopię kanoniczną, edytowane warianty pozostają rozróżnialne, telefony przesyłają tylko nowe pliki, biblioteki zewnętrzne i zarządzane nie nakładają się na siebie, a manifest wyjaśnia, dlaczego każdy duplikat został pominięty lub zachowany.

Wsparcie i porady

Więcej do przeczytania

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.