Comment la déduplication échange-t-elle de la RAM contre de l’espace de stockage sur un NAS domestique ?

La déduplication économise la capacité du NAS domestique en stockant une seule copie des données répétées, mais elle nécessite un index consultable qui concurrence la RAM avec tous les autres services.

Le compromis n’est pas un nombre fixe de gigaoctets de mémoire par téraoctet de disque. Il varie selon la taille des blocs, la quantité de données uniques, la taille des entrées d’index, la portée de la déduplication et le comportement du cache. Un pool rempli de sauvegardes répétées peut justifier ce coût ; une archive média pleine de fichiers uniques peut construire un index volumineux tout en économisant presque rien.

Le coût en RAM vient de la recherche des blocs existants

La déduplication au niveau bloc divise les données entrantes en unités, calcule une empreinte pour chaque unité, et vérifie si cette empreinte existe déjà. Un nouveau bloc est écrit et indexé. Un bloc correspondant est remplacé par une référence à la copie stockée. La description originale de la déduplication par empreinte de bloc montre que l’index doit associer chaque somme de contrôle à un emplacement de stockage et un compte de référence.

La RAM est précieuse car cette recherche se fait dans le chemin d’écriture. Garder en mémoire les entrées d’empreintes fréquemment utilisées permet au NAS de répondre « ai-je déjà stocké ce bloc ? » sans attendre un disque. Les systèmes au niveau fichier peuvent utiliser des enregistrements plus grossiers et moins de métadonnées, tandis que les systèmes au niveau bloc détectent la duplication à l’intérieur des fichiers modifiés au prix de beaucoup plus d’entrées d’index.

Le même mécanisme apparaît dans des systèmes de sauvegarde plus simples : les fichiers sont identifiés par empreinte, une correspondance est reconnue, et une autre copie physique est évitée. Un exemple pratique d’empreinte de fichier illustre clairement cette distinction. Le gain de capacité provient des données partagées ; le coût en RAM vient du fait de mémoriser suffisamment d’empreintes pour trouver rapidement ce partage.

Le nombre unique de blocs compte plus que la taille brute du pool

Un index de déduplication croît principalement avec le nombre de fragments uniques qu’il doit décrire, pas seulement avec la capacité annoncée du NAS. Des blocs plus petits peuvent découvrir des duplications à l’intérieur de fichiers partiellement modifiés, mais ils créent plus d’empreintes pour la même quantité de données uniques. Des blocs plus grands réduisent la taille de l’index, mais une région modifiée peut faire apparaître une unité beaucoup plus grande comme unique.

La composition de la charge de travail détermine si ces entrées permettent d’économiser un espace significatif. Les historiques de sauvegarde et les images système clonées répètent souvent de grandes régions, tandis que les photos, vidéos, archives et données chiffrées présentent généralement moins de blocs identiques. Une explication détaillée des facteurs de déduplication des sauvegardes montre pourquoi la rétention, le taux de changement, le type de données et la portée de la déduplication influencent tous le ratio réalisable.

Les instantanés nécessitent une attention particulière dans cette comparaison. Un système de fichiers en copie sur écriture peut déjà partager des blocs inchangés entre les instantanés, donc la similarité logique de deux vues d’instantanés ne représente pas automatiquement des copies physiques supplémentaires que la déduplication pourrait supprimer. La planification de capacité doit utiliser des données logiques et physiques mesurées, pas seulement le nombre de fichiers.

La déduplication en ligne et en post-traitement se paie à des moments différents

La déduplication en ligne génère des empreintes et vérifie les données avant que l'écriture ne soit terminée. Elle évite complètement l'apparition de blocs en double, protégeant ainsi immédiatement l'espace libre, mais le calcul du hachage et la recherche dans l'index se font directement en latence de premier plan. Cela rend la localité de la RAM particulièrement importante lors des sauvegardes, des écritures de machines virtuelles et des activités clients simultanées.

La déduplication en post-traitement écrit d’abord les données puis les scanne ensuite. Le chemin d’écriture initial est plus simple, mais le NAS a besoin d’une capacité temporaire pour l’ensemble des données entrantes et consacre ensuite CPU, mémoire et bande passante disque à un passage en arrière-plan. Une comparaison entre la déduplication en ligne et en post-traitement explique pourquoi une méthode favorise l’efficacité immédiate de l’espace tandis que l’autre peut préserver la vitesse d’écriture au premier plan.

Aucun modèle de temporisation ne supprime l’index. Il ne fait que modifier le moment où le système le construit, l’interroge et le met à jour. Une cible d’archivage peu utilisée peut avoir le temps pour un scan en arrière-plan, tandis qu’un pool d’applications toujours actif peut percevoir ce scan comme une interférence retardée. Le compromis est donc entre capacité, RAM et marge de planification, pas seulement la RAM.

Quand l’index quitte la RAM, les écritures deviennent des recherches aléatoires

Une table de déduplication peut résider sur le stockage tandis que ses entrées actives sont mises en cache en mémoire. Les performances changent lorsque l’index actif ne tient plus dans ce cache. Chaque recherche de signature manquée peut nécessiter une petite lecture aléatoire de métadonnées avant que le NAS puisse décider d’écrire un nouveau bloc ou d’incrémenter une référence existante.

C’est un mauvais choix pour les disques durs, où les E/S aléatoires sont bien plus lentes que les transferts séquentiels. Les recommandations actuelles sur la table de déduplication décrivent la table comme une structure de hachage sur disque dont les entrées mises en cache consomment de la mémoire et dont les défauts peuvent transformer les écritures en lectures aléatoires sur disque. Elles expliquent aussi pourquoi la demande exacte en mémoire doit être estimée à partir du nombre de blocs uniques et de la taille des entrées, plutôt que par un slogan universel de RAM par téraoctet.

Plus de RAM augmente la probabilité que les recherches restent rapides, mais cela ne garantit pas une faible latence ailleurs. Les mises en page dédupliquées peuvent également disperser les références utilisées lors de la restauration ou de la relecture. Les recherches sur la fragmentation de la lecture en déduplication expliquent pourquoi un système peut économiser une capacité substantielle tout en nécessitant des stratégies de mise en page et de mise en cache pour préserver les performances de restauration.

L’échange n’est rentable que lorsque les données dupliquées dépassent l’index

La comparaison utile n’est pas la taille brute du NAS par rapport à la RAM installée. C’est le nombre d’octets physiques évités par rapport à la mémoire, au temps CPU, aux E/S de métadonnées et au coût de disposition en lecture nécessaires pour les éviter. Un ratio de déduplication logique/physique élevé peut justifier un index volumineux ; un ratio proche de 1:1 signifie que le NAS paie pour prouver que presque chaque bloc est unique.

Mesurez la charge de travail projetée avant de considérer la déduplication comme une capacité déjà existante. Les observations utiles incluent le nombre de blocs uniques, la taille moyenne des blocs, le ratio de déduplication, la taille de l’index sur disque, la taille de l’index en cache, le taux de cache-hit, l’utilisation CPU, la latence d’écriture et le débit de restauration. Effectuez le test avec des sauvegardes ou images représentatives plutôt qu’avec des fichiers remplis de zéros, car la répétition synthétique peut surestimer les économies.

L’interprétation la plus sûre est conditionnelle : la déduplication est la plus efficace pour des ensembles de données délibérément répétitifs et la moins efficace comme fonction générale sur un stockage domestique mixte. Elle peut transformer la RAM en capacité utilisable, mais seulement si l’index reste exploitable et que les données stockées contiennent suffisamment de blocs répétables pour compenser le coût de recherche.

Questions fréquemment posées

Ajouter plus de RAM augmente-t-il le ratio de déduplication ?

Pas directement. Le ratio dépend du contenu dupliqué, de la portée de la déduplication et des limites des morceaux. Plus de RAM peut garder une plus grande partie de l’index des empreintes en cache, améliorant la vitesse de recherche, mais elle ne peut pas créer des blocs dupliqués qui n’existent pas.

La déduplication est-elle la même chose que la compression ?

Non. La déduplication remplace les morceaux répétés par des références à une copie stockée. La compression encode les motifs à l’intérieur d’un morceau en utilisant moins d’octets. Elles peuvent se compléter, mais leur ordre de traitement, métadonnées, coût CPU et charges de travail optimales diffèrent.

Une bibliothèque multimédia domestique bénéficie-t-elle généralement de la déduplication ?

Généralement moins que les ensembles de sauvegarde ou les images système clonées. La plupart des photos, musiques et vidéos encodées sont uniques au niveau des blocs, donc l’index peut croître tandis que les économies de capacité restent faibles. Les fichiers dupliqués exacts peuvent encore en bénéficier, mais les résultats mesurés comptent plus que l’étiquette de catégorie.