Waardoor veranderen bestandchecksums na kopiëren via een SMB-share?

Eva Wong is de technisch schrijver en vaste knutselaar bij ZimaSpace. Als levenslange geek met een passie voor homelabs en open-sourcesoftwareis ze gespecialiseerd in het vertalen van complexe technische concepten naar toegankelijke, praktische handleidingen. Eva vindt dat self-hosting leuk moet zijn en niet intimiderend. Met haar tutorials helpt ze de community om hardware-installaties te doorgronden, van het bouwen van hun eerste NAS tot het beheersen van Docker-containers.

SMB transporteert bestandsbytes normaal gesproken ongewijzigd. Een afwijkende controlesom betekent dus dat de vergeleken inhoud is gewijzigd, inconsistent is gelezen of niet dezelfde gegevensstroom betrof.

De afwijking kan ontstaan doordat de bron is gehasht voordat een toepassing klaar is met schrijven, doordat aan de ene kant een resourcefork of alternatieve gegevensstroom wordt vergeleken, doordat een media- of beveiligingstoepassing de bestemming herschrijft, doordat er uit een verouderde clientcache wordt gelezen of doordat er opslag- of transportfouten optreden. De juiste test bevriest de bron, hasht beide bestanden met dezelfde tool en modus en herhaalt de overdracht via een gecontroleerd pad voordat SMB zelf de schuld krijgt.

Controleer of beide controlesommen betrekking hebben op dezelfde bestandsgegevens

Noteer het exacte bronpad, bestemmingspad, de bestandsgrootte, de hashopdracht, het algoritme, de binaire of tekstmodus en het tijdstip waarop elke controlesom is gegenereerd. Controleer of geen van beide opdrachten een snelkoppeling, symbolische koppeling, tijdelijk bestand of nevenbestand heeft gelezen.

Het SHA-256-hulpprogramma berekent een digest op basis van de bytes die het uit het opgegeven bestand leest. De naslaginformatie over sha256sum ondersteunt het gebruik van hetzelfde algoritme en dezelfde opdracht op beide eindpunten.

Als de groottes verschillen, onderzoek dan eerst of de kopie onvolledig is of is gewijzigd voordat je hashes vergelijkt. Als de groottes overeenkomen maar de hashes verschillen, controleer dan de stabiliteit van de bron, de omvang van de gegevensstroom, opslaglezingen en wijzigingen aan de bestemming.

Bevries toepassingen die de bron tijdens het kopiëren kunnen wijzigen

Stop databases, downloadclients, virtuele machines, media-editors, synchronisatietools en alle toepassingen die naar het bronbestand schrijven. Genereer pas een nieuwe controlesom van de bron nadat het bestand is gesloten.

De documentatie van rsync waarschuwt dat bestanden pas naar een gecontroleerde bronmap mogen worden verplaatst nadat ze volledig zijn geschreven, omdat een wijzigend bronbestand inconsistent kan worden overgedragen.

Vergelijk de checksum van de bron vóór en direct na de SMB-kopie. Als de twee bronhashes verschillen, is SMB niet de eerste oorzaak; de bron is tijdens de test gewijzigd.

Controleer oplocks, lokale schrijfbewerkingen en de status van bestanden in de cache

Bekijk de lijst met open SMB-handles en lokale processen die toegang hebben tot de bron en bestemming. Let vooral op wanneer dezelfde share tegelijkertijd via SMB en rechtstreeks op de NAS-host wordt beschreven.

Samba legt uit dat opportunistische vergrendelingen een client in staat stellen bestandswijzigingen lokaal in de cache op te slaan en deze zo nodig met de server te synchroniseren. Het model voor vergrendelingen en oplocks laat zien waarom gelijktijdige lokale en SMB-schrijfbewerkingen tijdens integriteitstests moeten worden beheerst.

Schakel oplocks niet meteen serverbreed uit. Sluit de conflicterende toepassingen, open een nieuwe sessie en kopieer één bestand opnieuw om vast te stellen of gelijktijdige toegang een rol speelde.

Scheid bestandsinhoud van uitgebreide kenmerken en alternatieve streams

Bepaal of de verwachte checksum alleen de hoofdgegevens van het bestand omvat, of een archief dat ook resourceforks, uitgebreide kenmerken, alternatieve streams, ACL's en metadata bevat. Gebruik aan beide kanten hetzelfde bereik.

ArchWiki omschrijft uitgebreide kenmerken als metadata die los van gewone bestandsinhoud wordt opgeslagen. Het verlies of de vertaling van die metadata kan de hash van een archief of pakket veranderen zonder de checksum van de hoofdstroom met gegevens te veranderen.

Vergelijk bij macOS-bestanden de hoofdgegevensfork afzonderlijk met eventuele resourceforks of AppleDouble-zijbestanden. Beschouw een afwijking in metadata niet als bewijs dat de primaire bestandsbytes zijn gewijzigd.

Gebruik een kopieertool met herstartfunctie en logboek

Herhaal de overdracht met één bekende kopieermethode en een nieuwe bestandsnaam als bestemming. Sla het logboek met pogingen, herstarts, overslagen en fouten op in plaats van te vertrouwen op een voortgangsvenster van een bestandsbrowser.

Microsoft definieert SMB als een protocol waarmee toepassingen externe bestanden kunnen lezen, maken en bijwerken. Het SMB-model voor bestandstoegang ondersteunt de benadering dat een gewijzigde controlesom duidt op een probleem met het gegevenspad of een schrijvende toepassing, niet op een verwachte protocoltransformatie.

Als een gelogde kopie via de opdrachtregel overeenkomt, maar slepen en neerzetten niet, vergelijk dan de toepassing, het gedrag bij nieuwe pogingen, de afhandeling van gedeeltelijke bestanden, antivirusscans en verwerking na het kopiëren, in plaats van de SMB-server te wijzigen.

Vergelijk de bestemming voordat indexeerders of toepassingen deze herschrijven

Bereken de hash van de bestemming onmiddellijk na het kopiëren, terwijl het bestand gesloten is en voordat mediascanners, documentconverters, fotobeheerders, antivirusprogramma's of synchronisatieclients het kunnen wijzigen.

De Robocopy-gids van Oregon State benadrukt loggen en hervatbaar kopiëren, wat een duidelijker onderscheid biedt tussen het voltooien van de overdracht en latere wijzigingen aan de bestemming door toepassingen.

Als de hash van de onmiddellijke bestemming overeenkomt maar later verandert, stel dan vast welk proces het bestand als eerste opent om ernaar te schrijven. De permanente oplossing ligt bij het metadata-, optimalisatie- of synchronisatiegedrag van die toepassing.

Herhaal de test over opslag- en netwerkgrenzen heen

Kopieer hetzelfde gesloten testbestand lokaal op de bron-NAS, lokaal op het bestandssysteem van de bestemming, via SMB vanaf een andere client en via de oorspronkelijke client. Bereken na elke stap de hash.

De ZimaSpace-gids over het behouden van NAS-migratiemetadata geeft de aanverwante regel: inhoudshashes en metadata-velden moeten als afzonderlijke acceptatiecriteria worden gevalideerd.

Het probleem is opgelost wanneer een gesloten bronbestand bij herhaalde kopieën overeenkomende hashes oplevert en ongewijzigd blijft nadat services na het kopiëren zijn uitgevoerd. Stop de migratie en bescherm de bron als afwijkingen steeds op dezelfde schijf, controller, client of herhaalbare bestandspositie optreden.

Ondersteuning en tips

Meer om te lezen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.