Varför kopierar Rsync om filer när storleken och det visade datumet stämmer överens?

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Rsync kan kopiera filer på nytt trots att deras synliga storlek och datum stämmer överens, om deras råa ändringstider, jämförelseregler eller överföringsalternativ fortfarande skiljer sig.

Filhanterare döljer ofta tidsstämplar på bråkdelssekunder och visar bara ett avrundat lokalt datum, medan Rsync jämför metadata som exponeras av varje slutpunkt och även kan instrueras att ignorera matchande tider, jämföra kontrollsummor eller uppdatera metadata. Ett jobb kan därför rapportera samma läsbara storlek och datum men ändå välja filen eftersom nanosekunderna skiljer sig, ett filsystem avrundar tiden, en SMB-klient skriver om tidsstämpeln eller kommandot uttryckligen kringgår den vanliga snabbkontrollen.

Bekräfta att Rsync väljer filen för dataöverföring

Kör jobbet som en torrkörning med specificerade ändringar och spara det exakta kommandot, källsökvägen, målsökvägen, Rsync-versionerna och ett representativt filnamn.

Den officiella Rsync-handboken förklarar att standardinställningen för snabbkontroll jämför filstorlek och ändringstid, medan specificerade ändringar visar vilka attribut som utlöste en uppdatering.

Om den specificerade koden endast visar ändringar av behörigheter, ägare, grupp, ACL eller utökade attribut kan filen ha kontrollerats på nytt utan att hela innehållet överfördes igen.

Jämför råa ändringstider i stället för visade datum

Läs av källans och målets ändringstider med nanosekunders precision och jämför deras numeriska epokvärden från systemen som kör sändaren respektive mottagaren.

Linux stat-struktur har stöd för tidsstämplar med nanosekunders upplösning, så två filer som visas med samma sekundvärde kan ändå ha olika värden.

En webbläsare som bara visar minuter eller sekunder kan inte bevisa att de underliggande ändringstiderna överensstämmer. Anteckna råvärdena innan du rör filerna igen.

Kontrollera tidsstämpelprecisionen och modify-window

Identifiera alla filsystem i sökvägen, inklusive FAT, exFAT, NTFS, SMB, NFS, arkivuppackning och flyttbara mellanlagringsvolymer.

Debians Rsync-handbok beskriver hur modify-window fungerar, inklusive tolerans för filsystem som inte kan lagra tidsstämplar med identisk precision.

Använd ett värde som inte är noll först efter att ha mätt skillnaden. Ett alltför stort värde kan dölja en faktiskt ändrad fil med samma storlek.

Granska flaggor som åsidosätter den vanliga snabbkontrollen

Kontrollera hela det schemalagda kommandot och eventuella omslagsskript, NAS-gränssnitt, miljövariabler, inkluderingsfiler eller förinställningar som lägger till alternativ.

Ubuntu-dokumentationen för Rsync anger att ignore-times tvingar fram uppdateringar, att checksum-läget ersätter tidskontrollen och att size-only ignorerar ändringstiden.

Ta endast bort den flagga som har bekräftats vara orsaken. Checksum-läget kan medföra omfattande läsningar även när endast lite data överförs via nätverket.

Kontrollera om SMB eller Windows skriver om måltiden

Beräkna kontrollsumman för målet och läs av dess tidsstämpel direkt efter överföringen, efter att SMB-sessionen har stängts och efter att den har öppnats igen från en annan klient.

Microsoft dokumenterar att program kan ställa in och hämta filers tidsstämplar, medan filsystem och program kan uppdatera enskilda fält vid olika tidpunkter.

Om måltiden ändras först efter att en indexerare, medieapp, molnklient eller SMB-process har påverkat den, åtgärda det programmet i stället för Rsync.

Skilj ändringstid från andra metadata

Jämför ändringstid, statustid, behörigheter, ägarskap, ACL:er, utökade attribut, hårda länkar och symboliska länkar.

NetBSD:s stat-verktyg visar råa filstatusfält, vilket gör det lättare att skilja mellan innehållets ändringstid och andra metadataändringar.

Alternativ för arkivering, ACL, utökade attribut, ägare eller grupp kan utlösa metadataåtgärder. Läs den specificerade koden i stället för att betrakta varje listad sökväg som en fullständig dataöverföring.

Kör ett test med en fil och åtgärda den minsta bekräftade skillnaden

Kopiera en enda stängd testfil, bevara avsedda metadata, kör samma kommando igen och jämför specificerad utdata, överförda byte och råa tidsstämplar.

ZimaSpace-artikeln om oväntat stora inkrementella säkerhetskopior tar upp fler orsaker kopplade till säkerhetskopieringskedjor; den här artikeln fokuserar på Rsyncs regler för filval.

Problemet är löst när en omkörning utan ändringar hoppar över testfilen eller endast utför den metadatauppdatering som du avsiktligt har konfigurerat.

Vanliga frågor

Varför ser datumen identiska ut i filbläddraren?

Webbläsaren kan avrunda till sekunder eller minuter och visa lokal tid, medan Rsync får en mer exakt ändringstidsstämpel.

Förhindrar checksum-läget onödiga kopior?

Det kan undvika överföring när innehållet matchar trots olika tider, men det måste läsa och kontrollera kontrollsumman för lika stora filer på båda sidor.

Kan tidszoner orsaka upprepade Rsync-överföringar?

Enbart visning av en tidszon bör inte ändra numeriska tidsstämplar, men program eller filsystem som konverterar eller avrundar dem kan göra det.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.