Quand la bande passante du lien PCIe limite une carte HBA de serveur domestique

Un lien PCIe limité crée un goulot d'étranglement pour une HBA de serveur domestique uniquement lorsque le débit simultané combiné des disques dépasse la bande passante utilisable que la carte a réellement négociée.

Une HBA huit ports fonctionne-t-elle normalement pour la lecture multimédia mais ralentit-elle lors d'un scrub ZFS, d'une vérification de parité, d'une reconstruction ou d'un transfert multi-SSD ? Un slot pleine longueur peut être câblé pour seulement quatre voies, une carte x8 peut négocier moins de voies, ou l'HBA peut être derrière un chemin chipset partagé. Vérifiez le lien négocié avant de remplacer les disques ; ce guide montre les calculs, les charges de travail et les tests qui distinguent un vrai goulot d'étranglement PCIe d'un disque, réseau ou pile de stockage plus lent.

Que signifie réellement un « lien PCIe limité » ?

Trois valeurs similaires décrivent des choses différentes. La taille mécanique du slot indique quelle carte s'adapte physiquement. Le nombre de voies électriques indique combien de voies la carte mère a câblées à ce slot. Le lien négocié rapporte la génération et la largeur que l'HBA et la carte mère utilisent réellement après le démarrage.

Une HBA x8 peut donc s'insérer dans un slot x16 pleine longueur mais fonctionner en x4. La carte fonctionne toujours car le PCIe négocie un lien mutuellement supporté, mais sa bande passante côté hôte est réduite. Les manuels de carte mère précisent cette distinction : par exemple, l'ASUS PRIME Z690-P D4 liste des slots PCIe x16 pleine longueur supportant le mode x4.

Ne diagnostiquez pas le lien uniquement à partir de la longueur du connecteur. Notez le modèle de l'HBA, la largeur électrique maximale du slot, son routage CPU ou chipset, ainsi que la vitesse et la largeur négociées en temps réel. La partie active la plus étroite de ce chemin fixe le plafond PCIe local.

Quelle bande passante l'HBA reçoit-elle réellement ?

La bande passante PCIe dépend de la génération, du nombre de voies et de l'efficacité de l'encodage. Le PCIe 2.0 transfère à 5,0 GT/s par voie et utilise un encodage 8b/10b, tandis que le PCIe 3.0 transfère à 8,0 GT/s et utilise le schéma plus efficace 128b/130b. Le changement de débit et d'encodage PCIe 3.0 augmente le plafond unidirectionnel ajusté à l'encodage d'environ 500 Mo/s à environ 985 Mo/s par voie.

Ces chiffres ne garantissent pas les vitesses de copie de fichiers. La surcharge des paquets PCIe, le comportement du contrôleur, la profondeur de la file d'attente, le travail du système de fichiers, les calculs RAID ou de parité, les limites des disques et la lecture mixte avec l'écriture réduisent tous le débit applicatif. Considérez ce tableau comme un plafond pour filtrer les configurations, puis comparez-le avec les mesures de votre serveur.

Combien de disques faut-il pour atteindre la limite ?

Le calcul utile n'est pas le nombre de ports multiplié par l'étiquette de l'interface SATA ou SAS. C'est la somme du débit mesuré des disques pendant la même charge de travail. Huit disques annoncés comme SATA 6 Gb/s ne produisent pas 48 Gb/s de données soutenues car le média à l'intérieur de chaque disque est beaucoup plus lent que son interface.

Pour une lecture séquentielle illustrative, huit disques durs à une moyenne de 200 Mo/s chacun demandent environ 1,6 Go/s. À 250 Mo/s chacun, le même ensemble atteint 2,0 Go/s et commence à approcher le plafond ajusté pour le codage du PCIe 2.0 x4. Les résultats réels varient selon le modèle de disque, la zone du disque, la fragmentation, le mélange de commandes, la disposition de la parité et si tous les membres sont actifs simultanément.

Les SSD SATA repoussent le seuil. Samsung spécifie jusqu'à 560 Mo/s en lecture séquentielle et 530 Mo/s en écriture pour le Samsung SSD 870 EVO performances séquentielles. Quatre SSD comparables lisant à 550 Mo/s totalisent environ 2,2 Go/s, ce qui dépasse le PCIe 2.0 x4 mais reste en dessous du plafond ajusté pour le codage du PCIe 3.0 x4. Huit à ce débit totalisent environ 4,4 Go/s, suffisant pour dépasser le PCIe 3.0 x4 et légèrement dépasser le PCIe 2.0 x8 avant de compter les autres surcharges.

Utilisez ces chiffres comme exemples, pas comme des promesses. Testez chaque disque séparément, additionnez les débits pouvant se produire simultanément, et comparez le total avec le lien négocié. Gardez également la classe de l'appareil claire : un HBA SAS/SATA conventionnel comme un LSI 9211 ou 9207 ne devient pas un contrôleur NVMe via un câble passif. Le support NVMe appartient à un adaptateur tri-mode compatible ou à un adaptateur PCIe et une plateforme conçus pour le routage des voies NVMe.

Quels types de charges de travail sur serveur domestique exposent ce goulot d'étranglement ?

Un goulot d'étranglement PCIe apparaît le plus clairement lorsque de nombreux disques transfèrent des données simultanément. Les scrubs, vérifications de parité, resilvers ou reconstructions, lectures séquentielles RAID étendues, sauvegardes couvrant plusieurs ensembles de données et plusieurs clients rapides peuvent créer cette condition. OpenZFS décrit un scrub normal comme l'examen de toutes les données du pool pour vérifier les sommes de contrôle et note que le scrub et le resilver sont des opérations intensives en E/S.

Une utilisation ordinaire n'atteindra peut-être jamais cette demande. Un client Ethernet Gigabit plafonne à 125 Mo/s avant la surcharge réseau, et un flux média nécessite généralement une fraction de cela. Même une connexion 10GbE a un débit brut de 1,25 Go/s, donc un seul client ne peut pas saturer à lui seul un lien PCIe 2.0 x4 propre de 2,0 Go/s. Un réseau plus rapide reste important lorsque plusieurs liens, tâches locales, dispositifs de cache ou trafic partagé du chipset fonctionnent ensemble.

Cherchez un plafond agrégé répétable plutôt qu'une tâche lente isolée. Si le débit total du HBA plafonne à peu près au même niveau alors que les disques individuels restent capables de plus, PCIe devient un suspect sérieux. Si un seul disque, ensemble de données, protocole ou client est lent, inspectez d'abord ce composant.

Pourquoi les slots connectés au chipset nécessitent-ils une seconde vérification ?

Le lien négocié par le HBA n'est que sa connexion locale au port racine. Un slot connecté au CPU peut avoir un chemin relativement direct, tandis qu'un slot connecté au chipset partage la liaison chipset-CPU avec les SATA intégrés, les dispositifs M.2, les contrôleurs USB, le réseau et d'autres slots d'extension. Un HBA peut indiquer correctement PCIe 3.0 x4 et pourtant être en concurrence avec un trafic non lié plus en amont.

Le partage de voies peut également modifier la largeur du slot lorsqu'un autre connecteur est activé. Le manuel de l'ASUS ROG STRIX B660-F, par exemple, liste un slot pleine longueur attaché au chipset qui supporte normalement x4 mais tombe à x2 lorsque l'un des deux slots x1 est actif ; ses règles de partage de la bande passante PCIe du chipset expliquent pourquoi il faut vérifier la carte des slots dans son ensemble.

Lisez le tableau des emplacements d'extension, les notes sur le partage de stockage et le schéma bloc pour la révision exacte de votre carte mère. Si déplacer le HBA vers un emplacement connecté au CPU supprime le plateau sans changer l'ensemble, l'ancien chemin limitait la charge de travail. Si la performance reste inchangée, le goulot d'étranglement se trouve probablement ailleurs.

Comment vérifier le lien PCIe négocié ?

Sous Linux, localisez d'abord le HBA avec lspci, puis inspectez-le avec sudo lspci -vv -s <BDF>. Comparez LnkCap, qui indique la capacité du périphérique, avec LnkSta, qui indique la vitesse et la largeur actives. La référence de dépannage PCI de Red Hat utilise les commandes LnkCap et LnkSta pour comparer la vitesse maximale et actuelle du lien PCIe.

lspci | grep -Ei 'sas|scsi|raid'
sudo lspci -vv -s 03:00.0 | grep -E 'LnkCap :|LnkSta :'

Un résultat tel que LnkCap : Vitesse 8GT/s, Largeur x8 avec LnkSta : Vitesse 5GT/s, Largeur x4 signifie qu'un point d'extrémité compatible Gen3 x8 fonctionne en PCIe 2.0 x4. Les causes possibles incluent le câblage de l'emplacement, l'allocation des voies dans le BIOS, un riser ou adaptateur, une dégradation de l'intégrité du signal, des limitations du CPU, ou un autre périphérique modifiant la répartition des voies sur la carte mère.

Testez ensuite le chemin des données. Mesurez chaque disque séparément, testez l'ensemble avec une charge de travail qui active plusieurs membres, et surveillez le débit agrégé du disque et du réseau. Évitez les benchmarks destructifs sur des données en production, et ne considérez pas les lectures en cache comme une performance disque. Le lien PCIe est en cause lorsque le résultat agrégé approche à plusieurs reprises son plafond pratique et augmente après avoir déplacé le HBA ou restauré la largeur de lien attendue.

Faut-il déplacer le HBA, le remplacer ou le laisser tel quel ?

Laissez le HBA en place lorsque le lien négocié dépasse confortablement la demande agrégée mesurée et que le serveur atteint ses objectifs de récupération, de maintenance et de performance client. Un lien PCIe 3.0 x4 est généralement suffisant pour un ensemble de huit disques durs, et le mettre à niveau n'accélérera pas une copie de fichier Gigabit déjà limitée par le réseau.

Déplacez la carte lorsqu'elle fonctionne en dessous de ses capacités, partage des voies de manière inattendue ou est en concurrence avec un trafic important du chipset. Privilégiez un emplacement avec suffisamment de voies électriques et, lorsque la plateforme le permet, une connexion directe au CPU. Revérifiez LnkSta après le déplacement car un emplacement physiquement plus grand ne garantit pas une connexion négociée plus large.

Remplacez le matériel uniquement après que les tests de slot et de charge de travail ont démontré un vrai plafond. Les numéros de modèle comptent : Broadcom spécifie le LSI SAS 9211-8i comme un HBA PCIe 2.0 à huit voies, tandis que d'autres adaptateurs aux noms proches utilisent différentes générations PCIe. Vérifiez le contrôleur exact, le mode firmware, le type de connecteur, le support du système d'exploitation et le protocole de disque avant d'acheter un HBA plus rapide.

La règle de décision est simple : calculez d'abord, vérifiez ensuite, et changez le matériel en dernier. Si le plafond du lien est inférieur à la demande simultanée mesurée, améliorez le slot ou le HBA. Si la demande reste bien en dessous du plafond, examinez plutôt les disques, les calculs de parité, les paramètres du système de fichiers, la thermique, le câblage et les limites réseau.

FAQ

Un HBA x8 fonctionnera-t-il dans un slot électrique x4 ?

Généralement oui, à condition que le slot physique accepte la carte et que la carte mère supporte l'appareil. Le HBA négocie x4 et fonctionne avec environ la moitié de la bande passante des voies qu'il recevrait en x8 à la même génération PCIe. Vérifiez la largeur active car certains slots peuvent tomber à x2 ou x1 en cas de partage ou de défaut.

Un PCIe 2.0 x4 suffit-il pour huit disques durs ?

Cela peut suffire pour un service média normal, des sauvegardes et un réseau Gigabit, mais cela peut limiter une opération séquentielle idéale sur huit disques durs rapides. Huit disques à 200 Mo/s en moyenne totalisent environ 1,6 Go/s ; huit à 250 Mo/s atteignent le plafond d'environ 2,0 Go/s ajusté pour l'encodage avant la surcharge du protocole. Mesurez le débit de nettoyage ou de reconstruction si le temps de maintenance est important.

Pourquoi un slot physique x16 négocie-t-il seulement x4 ou x1 ?

Le slot peut être câblé pour moins de voies, partager des voies avec un M.2 ou d'autres slots d'extension, passer par une configuration de chipset, ou revenir en arrière à cause d'un riser, d'un contact, d'un firmware ou d'un problème de signal. Consultez le manuel de la carte mère et comparez LnkCap avec LnkSta. Replacez la carte et testez un autre slot documenté uniquement après avoir éteint le serveur en toute sécurité.

Conclusion finale

Un lien PCIe limité n'est pas automatiquement un goulot d'étranglement pour un HBA de serveur domestique. Il le devient lorsque la demande simultanée des disques atteint la capacité utilisable de la génération et de la largeur de voie que la carte a réellement négociées, surtout lors de la maintenance complète du tableau ou de charges de travail multi-SSD.

Confirmez la configuration électrique du slot, lisez LnkSta, calculez le débit agrégé à partir des vitesses mesurées des disques et reproduisez la charge de travail avant de changer le matériel. Si les performances augmentent après avoir restauré un chemin PCIe plus large ou plus direct, vous avez trouvé le goulot d'étranglement ; sinon, conservez le HBA et testez le reste du chemin de stockage.