Wanneer PCIe-linkbandbreedte een bottleneck vormt voor een HBA in een thuisserver

Een beperkte PCIe-verbinding vormt alleen een bottleneck voor een thuisserver HBA wanneer de gecombineerde gelijktijdige doorvoer van de schijven de bruikbare bandbreedte die de kaart daadwerkelijk heeft onderhandeld, overschrijdt.

Werkt een acht-poorts HBA normaal voor mediaplayback maar hapert tijdens een ZFS scrub, pariteitscontrole, rebuild of multi-SSD overdracht? Een full-length slot kan bedrading hebben voor slechts vier lanes, een x8 kaart kan minder lanes onderhandelen, of de HBA kan achter een gedeeld chipsetpad zitten. Controleer de onderhandelde verbinding voordat je schijven vervangt; deze gids toont de berekeningen, workloads en tests die een echte PCIe-bottleneck onderscheiden van een tragere schijf, netwerk of opslagstack.

Wat betekent een “Beperkte PCIe-verbinding” eigenlijk?

Drie waarden die vergelijkbaar lijken beschrijven verschillende dingen. De mechanische slotgrootte vertelt welke kaart fysiek past. Het elektrische aantal lanes vertelt hoeveel lanes het moederbord naar die slot heeft bedrading. De onderhandelde verbinding rapporteert de generatie en breedte die de HBA en het moederbord daadwerkelijk gebruiken na het opstarten.

Een x8 HBA kan daarom in een full-length x16 slot passen maar toch op x4 werken. De kaart werkt nog steeds omdat PCIe een wederzijds ondersteunde verbinding onderhandelt, maar de bandbreedte aan de hostzijde wordt verminderd. Moederbordhandleidingen maken dit onderscheid expliciet: bijvoorbeeld, de ASUS PRIME Z690-P D4 vermeldt full-length PCIe x16 slots die x4-modus ondersteunen.

Diagnosticeer de verbinding niet alleen op basis van de lengte van de connector. Noteer het HBA-model, de maximale elektrische breedte van de slot, de CPU- of chipset-routering en de live onderhandelde snelheid en breedte. Het smalste actieve deel van dat pad bepaalt het lokale PCIe-plafond.

Hoeveel bandbreedte ontvangt de HBA echt?

De PCIe-bandbreedte hangt af van generatie, aantal lanes en coderings efficiëntie. PCIe 2.0 verzendt met 5,0 GT/s per lane en gebruikt 8b/10b-codering, terwijl PCIe 3.0 met 8,0 GT/s verzendt en het efficiëntere 128b/130b-schema gebruikt. De wijziging in PCIe 3.0 overdrachtssnelheid en codering verhoogt het aan codering aangepaste eenrichtingsplafond van ongeveer 500 MB/s naar ongeveer 985 MB/s per lane.

Deze cijfers zijn geen gegarandeerde bestandsoverdrachtssnelheden. PCIe-pakketoverhead, controllergedrag, wachtrijdiepte, bestandssysteemwerk, RAID- of pariteitsberekeningen, schijfbeperkingen en gemengde lees- en schrijfbewerkingen verminderen allemaal de applicatiedoorvoer. Beschouw de tabel als een plafond voor het screenen van configuraties en vergelijk deze vervolgens met metingen van uw server.

Hoeveel schijven zijn er nodig om de limiet te bereiken?

De nuttige berekening is niet het aantal poorten vermenigvuldigd met het SATA- of SAS-interface-label. Het is de som van de gemeten doorvoersnelheid van de schijven tijdens dezelfde werklast. Acht schijven die als SATA 6 Gb/s worden geadverteerd, leveren geen 48 Gb/s aan aanhoudende data omdat het medium binnen elke schijf veel langzamer is dan de interface.

Voor een illustratieve sequentiële leesbewerking vragen acht HDD's die gemiddeld 200 MB/s halen ongeveer 1,6 GB/s. Bij 250 MB/s per schijf bereikt dezelfde array 2,0 GB/s en begint het gecodeerde plafond van PCIe 2.0 x4 te benaderen. Werkelijke resultaten variëren per schijfmodel, schijfzone, fragmentatie, commandomix, pariteitsindeling en of alle leden tegelijk actief zijn.

SATA-SSD's verleggen de grens. Samsung specificeert tot 560 MB/s sequentiële lees- en 530 MB/s schrijfsnelheden voor de Samsung SSD 870 EVO sequentiële prestaties. Vier vergelijkbare SSD's die elk 550 MB/s lezen, komen samen op ongeveer 2,2 GB/s, wat hoger is dan PCIe 2.0 x4 maar lager dan het gecodeerde plafond van PCIe 3.0 x4. Acht schijven op dat tempo halen samen ongeveer 4,4 GB/s, genoeg om PCIe 3.0 x4 te overtreffen en iets boven PCIe 2.0 x8 uit te komen voordat andere overhead wordt meegerekend.

Gebruik die cijfers als voorbeelden, niet als beloften. Benchmark elke schijf afzonderlijk, tel de snelheden op die gelijktijdig kunnen optreden en vergelijk het totaal met de onderhandelde link. Houd ook de apparaatklasse correct: een conventionele SAS/SATA HBA zoals een LSI 9211 of 9207 wordt niet een NVMe-controller via een passieve kabel. NVMe-ondersteuning hoort bij een compatibele tri-mode adapter of een PCIe-adapter en platform die ontworpen zijn voor NVMe-lane-routing.

Welke thuisserver workloads onthullen het knelpunt?

Een PCIe knelpunt verschijnt het duidelijkst wanneer veel schijven tegelijkertijd data overdragen. Scrubs, pariteitscontroles, resilvers of rebuilds, RAID-brede sequentiële lezingen, back-ups over meerdere datasets en meerdere snelle clients kunnen die situatie creëren. OpenZFS beschrijft een normale scrub als het controleren van alle data in de pool om checksums te verifiëren en merkt op dat scrubbing en resilveren I/O-intensieve operaties zijn.

Gewoon gebruik bereikt mogelijk nooit dezelfde vraag. Een Gigabit Ethernet client bereikt maximaal 125 MB/s vóór netwerkoverhead, en een mediastream heeft meestal slechts een fractie daarvan nodig. Zelfs een 10GbE verbinding heeft een ruwe signaaloverdrachtssnelheid van 1,25 GB/s, dus één client kan op zichzelf een schone 2,0 GB/s PCIe 2.0 x4 link niet verzadigen. Snellere netwerken zijn nog steeds belangrijk wanneer meerdere verbindingen, lokale taken, cache-apparaten of gedeeld chipsetverkeer samen werken.

Zoek naar een herhaalbaar totaal plafond in plaats van één trage taak. Als de totale HBA doorvoer ongeveer op hetzelfde niveau blijft terwijl individuele schijven meer aankunnen, is PCIe een sterke verdachte. Als slechts één schijf, dataset, protocol of client traag is, inspecteer dan eerst dat onderdeel.

Waarom hebben chipset-verbonden slots een tweede controle nodig?

De onderhandelde link van de HBA is alleen zijn lokale verbinding met de rootpoort. Een CPU-verbonden slot kan een relatief directe route hebben, terwijl een chipset-verbonden slot de chipset-naar-CPU uplink deelt met onboard SATA, M.2 apparaten, USB-controllers, netwerken en andere uitbreidingsslots. Een HBA kan PCIe 3.0 x4 correct rapporteren en toch concurreren met niet-gerelateerde verkeer verder stroomopwaarts.

Lane sharing kan ook de breedte van de slot veranderen wanneer een andere connector is ingeschakeld. De ASUS ROG STRIX B660-F handleiding vermeldt bijvoorbeeld een chipset-verbonden full-length slot dat normaal gesproken x4 ondersteunt, maar terugvalt naar x2 wanneer een van de twee x1 slots actief is; de chipset PCIe bandbreedte-deelregels laten zien waarom een slotkaart als geheel gecontroleerd moet worden.

Lees de tabel met uitbreidingssleuven, notities over opslagdeling en het blokschema voor uw exacte moederbordrevisie. Als het verplaatsen van de HBA naar een CPU-verbonden sleuf het plateau verwijdert zonder de array te veranderen, beperkte de oude route de werklast. Als de prestaties ongewijzigd blijven, ligt de bottleneck waarschijnlijk elders.

Hoe kunt u de onderhandelde PCIe-link verifiëren?

Op Linux lokaliseer je eerst de HBA met lspci, inspecteer deze vervolgens met sudo lspci -vv -s <BDF>. Vergelijk LnkCap, dat de capaciteit van het apparaat rapporteert, met LnkSta, dat de actieve snelheid en breedte rapporteert. De PCI-probleemoplossingsreferentie van Red Hat gebruikt LnkCap- en LnkSta-commando's om maximale en huidige PCIe-link-snelheid te vergelijken.

lspci | grep -Ei 'sas|scsi|raid'
sudo lspci -vv -s 03:00.0 | grep -E 'LnkCap:|LnkSta:'

Een resultaat zoals LnkCap: Snelheid 8GT/s, Breedte x8 met LnkSta: Snelheid 5GT/s, Breedte x4 betekent dat een Gen3 x8-compatibel eindpunt werkt als PCIe 2.0 x4. Mogelijke oorzaken zijn de bekabeling van de sleuf, BIOS-lane-toewijzing, een riser of adapter, signaalintegriteitsfallback, CPU-beperkingen of een ander apparaat dat de lane-verdeling van het moederbord verandert.

Test dan het datapad. Meet elke schijf afzonderlijk, test de array met een werklast die veel leden activeert, en bekijk de totale schijf- en netwerkdoorvoer. Vermijd destructieve benchmarks op live data en beschouw gecachte leesacties niet als schijfprestaties. De PCIe-link is betrokken wanneer het totale resultaat herhaaldelijk zijn praktische plafond nadert en stijgt na het verplaatsen van de HBA of het herstellen van de verwachte linkbreedte.

Moet u de HBA verplaatsen, vervangen of laten zitten?

Laat de HBA waar hij is wanneer de onderhandelde link comfortabel de gemeten totale vraag overschrijdt en de server voldoet aan zijn herstel-, onderhouds- en client-prestatie doelen. Een PCIe 3.0 x4-link is meestal voldoende voor een array van acht HDD's, en het upgraden ervan zal een Gigabit-bestandsoverdracht die al door het netwerk wordt beperkt niet versnellen.

Verplaats de kaart wanneer deze onder zijn capaciteit werkt, onverwacht lanes deelt of concurreert met zwaar chipsetverkeer. Geef de voorkeur aan een sleuf met voldoende elektrische lanes en, wanneer het platform dit toestaat, een CPU-verbonden route. Controleer opnieuw LnkSta na de verhuizing omdat een fysiek grotere sleuf geen bredere onderhandelde verbinding garandeert.

Vervang hardware alleen nadat slot- en werklasttests een echte limiet aantonen. Modelnummers zijn belangrijk: Broadcom specificeert de LSI SAS 9211-8i als een acht-lane PCIe 2.0 HBA, terwijl andere nauw verwante adapters verschillende PCIe-generaties gebruiken. Controleer de exacte controller, firmwaremodus, type connector, besturingssysteemondersteuning en schijfprotocol voordat je een snellere HBA koopt.

De beslisregel is eenvoudig: bereken eerst, verifieer daarna en wijzig hardware als laatste. Als de linklimiet lager is dan de gemeten gelijktijdige vraag, verbeter dan het slot of de HBA. Als de vraag ruim onder de limiet blijft, onderzoek dan schijven, pariteitsberekeningen, bestandssysteeminstellingen, thermiek, bekabeling en netwerklimieten.

Veelgestelde vragen

Werkt een x8 HBA in een elektrisch x4-slot?

Meestal wel, mits het fysieke slot de kaart accepteert en het moederbord het apparaat ondersteunt. De HBA onderhandelt x4 en werkt met ongeveer de helft van de lane-bandbreedte die het zou ontvangen bij dezelfde PCIe-generatie over x8. Verifieer de actieve breedte omdat sommige slots kunnen terugvallen naar x2 of x1 bij delen of foutcondities.

Is PCIe 2.0 x4 genoeg voor acht harde schijven?

Het kan voldoende zijn voor normaal mediadelen, back-ups en Gigabit-netwerken, maar het kan een ideale sequentiële operatie over acht snelle HDD's beperken. Acht schijven met gemiddeld 200 MB/s totaal ongeveer 1,6 GB/s; acht met gemiddeld 250 MB/s bereiken de link’s ongeveer 2,0 GB/s gecodeerde limiet vóór protocoloverhead. Meet scrub- of herbouwdoorvoer als onderhoudstijd belangrijk is.

Waarom onderhandelt een fysiek x16-slot slechts x4 of x1?

Het slot kan bedraad zijn voor minder lanes, lanes delen met M.2 of andere uitbreidingsslots, via een chipsetconfiguratie lopen, of terugvallen door een riser, contact-, firmware- of signaalprobleem. Controleer de handleiding van het moederbord en vergelijk LnkCap met LnkSta. Plaats de kaart opnieuw en test een ander gedocumenteerd slot alleen nadat de server veilig is uitgeschakeld.

Belangrijkste conclusie

Een beperkte PCIe-verbinding is niet automatisch een bottleneck voor een home server HBA. Het wordt er een wanneer de gelijktijdige schijfvraag de bruikbare capaciteit van de generatie en het aantal lanes dat de kaart daadwerkelijk onderhandeld heeft, bereikt, vooral tijdens onderhoud van de volledige array of multi-SSD-werklasten.

Bevestig de elektrische slotindeling, lees LnkSta, bereken de totale doorvoersnelheid op basis van gemeten schijfsnelheden en reproduceer de werklast voordat je hardware wijzigt. Als de prestaties stijgen na het herstellen van een bredere of directere PCIe-verbinding, heb je de bottleneck gevonden; zo niet, houd dan de HBA en test de rest van het opslagpad.