Quando a largura de banda do link PCIe limita um HBA de servidor doméstico

Uma ligação PCIe limitada estrangula um HBA de servidor doméstico apenas quando o débito combinado e simultâneo dos discos excede a largura de banda utilizável que a placa realmente negociou.

Um HBA de oito portas funciona normalmente para reprodução de media, mas trava durante uma verificação ZFS, verificação de paridade, reconstrução ou transferência multi-SSD? Uma ranhura de comprimento total pode estar ligada apenas a quatro pistas, uma placa x8 pode negociar menos pistas, ou o HBA pode estar atrás de um caminho partilhado do chipset. Verifique a ligação negociada antes de substituir discos; este guia mostra os cálculos, cargas de trabalho e testes que distinguem um verdadeiro estrangulamento PCIe de um disco, rede ou sistema de armazenamento mais lento.

O que significa realmente uma “ligação PCIe limitada”?

Três valores que parecem semelhantes descrevem coisas diferentes. O tamanho mecânico da ranhura indica que placa cabe fisicamente. O número de pistas elétricas indica quantas pistas a motherboard ligou a essa ranhura. A ligação negociada indica a geração e largura que o HBA e a motherboard estão realmente a usar após o arranque.

Um HBA x8 pode, portanto, encaixar-se numa ranhura x16 de comprimento total, mas operar a x4. A placa ainda funciona porque o PCIe negocia uma ligação mutuamente suportada, mas a largura de banda do lado do host é reduzida. Os manuais das motherboards tornam esta distinção explícita: por exemplo, a ASUS PRIME Z690-P D4 lista ranhuras PCIe x16 de comprimento total que suportam modo x4 PCIe x16.

Não diagnostique a ligação apenas pelo comprimento do conector. Registe o modelo do HBA, a largura elétrica máxima da ranhura, o encaminhamento pelo CPU ou chipset e a velocidade e largura negociadas em tempo real. A parte ativa mais estreita desse caminho define o teto local do PCIe.

Quanta largura de banda o HBA realmente recebe?

A largura de banda PCIe depende da geração, do número de pistas e da eficiência da codificação. O PCIe 2.0 transfere a 5,0 GT/s por pista e usa codificação 8b/10b, enquanto o PCIe 3.0 transfere a 8,0 GT/s e usa o esquema mais eficiente 128b/130b. A alteração na taxa de transferência e codificação do PCIe 3.0 eleva o teto unidirecional ajustado pela codificação de cerca de 500 MB/s para cerca de 985 MB/s por pista.

Esses valores não são velocidades garantidas de cópia de arquivos. Sobrecarga de pacotes PCIe, comportamento do controlador, profundidade da fila, trabalho do sistema de arquivos, cálculos de RAID ou paridade, limites do drive e leituras misturadas com gravações reduzem a taxa de transferência da aplicação. Considere a tabela como um teto para triagem de configurações e depois compare com medições do seu servidor.

Quantos drives são necessários para atingir o limite?

O cálculo útil não é o número de portas multiplicado pelo rótulo da interface SATA ou SAS. É a soma da taxa de transferência medida dos drives durante a mesma carga de trabalho. Oito discos anunciados como SATA 6 Gb/s não produzem 48 Gb/s de dados sustentados porque a mídia dentro de cada drive é muito mais lenta que sua interface.

Para uma leitura sequencial ilustrativa, oito HDDs com média de 200 MB/s cada solicitam cerca de 1,6 GB/s. A 250 MB/s cada, o mesmo conjunto atinge 2,0 GB/s e começa a pressionar contra o teto ajustado para codificação do PCIe 2.0 x4. Resultados reais variam conforme o modelo do drive, zona do disco, fragmentação, mistura de comandos, layout de paridade e se todos os membros estão ativos simultaneamente.

Os SSDs SATA alteram o limite. A Samsung especifica até 560 MB/s em leituras sequenciais e 530 MB/s em gravações para o desempenho sequencial do Samsung SSD 870 EVO. Quatro SSDs comparáveis lendo a 550 MB/s totalizam cerca de 2,2 GB/s, o que excede o PCIe 2.0 x4, mas permanece abaixo do teto ajustado para codificação do PCIe 3.0 x4. Oito a essa taxa totalizam cerca de 4,4 GB/s, suficiente para exceder o PCIe 3.0 x4 e ultrapassar ligeiramente o PCIe 2.0 x8 antes de contar outras sobrecargas.

Use esses números como exemplos, não como promessas. Faça o benchmark de cada drive separadamente, some as taxas que podem ocorrer simultaneamente e compare o total com o link negociado. Também mantenha a classe do dispositivo correta: um HBA SAS/SATA convencional, como um LSI 9211 ou 9207, não se torna um controlador NVMe através de um cabo passivo. O suporte NVMe pertence a um adaptador tri-mode compatível ou a um adaptador PCIe e plataforma projetados para o roteamento de lanes NVMe.

Quais cargas de trabalho de servidores domésticos expõem o gargalo?

Um gargalo PCIe aparece mais claramente quando muitas unidades transferem dados simultaneamente. Scrubs, verificações de paridade, resilvers ou reconstruções, leituras sequenciais em RAID, backups que abrangem múltiplos conjuntos de dados e vários clientes rápidos podem criar essa condição. O OpenZFS descreve um scrub normal como a verificação de todos os dados no pool para confirmar checksums e nota que scrubbing e resilvering são operações intensivas em I/O.

O uso comum pode nunca atingir a mesma exigência. Um cliente Gigabit Ethernet atinge no máximo 125 MB/s antes da sobrecarga da rede, e um fluxo de mídia geralmente precisa apenas de uma fração disso. Mesmo uma ligação 10GbE tem uma taxa de sinalização bruta de 1,25 GB/s, portanto um único cliente não pode saturar sozinho uma ligação PCIe 2.0 x4 limpa de 2,0 GB/s. Redes mais rápidas continuam a ser importantes quando múltiplas ligações, tarefas locais, dispositivos de cache ou tráfego partilhado do chipset operam em conjunto.

Procure um teto agregado repetível em vez de uma tarefa lenta isolada. Se a taxa total de transferência do HBA estabiliza aproximadamente no mesmo nível enquanto discos individuais continuam capazes de mais, o PCIe torna-se um forte suspeito. Se apenas um disco, conjunto de dados, protocolo ou cliente está lento, inspecione esse componente primeiro.

Por que os slots ligados ao chipset precisam de uma segunda verificação?

A ligação negociada do HBA é apenas a sua conexão local à porta raiz. Um slot ligado à CPU pode ter um caminho relativamente direto, enquanto um slot ligado ao chipset partilha o uplink do chipset para a CPU com SATA integrado, dispositivos M.2, controladores USB, rede e outros slots de expansão. Um HBA pode reportar PCIe 3.0 x4 corretamente e ainda assim competir com tráfego não relacionado mais acima na cadeia.

O compartilhamento de lanes também pode alterar a largura do slot quando outro conector está ativado. O manual da ASUS ROG STRIX B660-F, por exemplo, lista um slot de comprimento total ligado ao chipset que normalmente suporta x4, mas cai para x2 quando qualquer um dos dois slots x1 está ativo; as regras de partilha de largura de banda PCIe do chipset mostram por que é necessário verificar o mapa dos slots como um todo.

Leia a tabela do slot de expansão, as notas de partilha de armazenamento e o diagrama de blocos para a revisão exata da sua motherboard. Se mover o HBA para um slot ligado ao CPU eliminar o platô sem alterar o conjunto, a rota antiga estava a limitar a carga de trabalho. Se o desempenho permanecer inalterado, o gargalo provavelmente está noutro lugar.

Como Pode Verificar a Ligação PCIe Negociada?

No Linux, primeiro localize o HBA com lspci, depois inspecione-o com sudo lspci -vv -s <BDF>. Compare LnkCap, que indica a capacidade do dispositivo, com LnkSta, que indica a velocidade e largura ativas. A referência de resolução de problemas PCI da Red Hat usa comandos LnkCap e LnkSta para comparar a velocidade máxima e atual da ligação PCIe.

lspci | grep -Ei 'sas|scsi|raid'
sudo lspci -vv -s 03:00.0 | grep -E 'LnkCap:|LnkSta:'

Um resultado como LnkCap: Velocidade 8GT/s, Largura x8 com LnkSta: Velocidade 5GT/s, Largura x4 significa que um endpoint com capacidade Gen3 x8 está a operar como PCIe 2.0 x4. As causas possíveis incluem a fiação do slot, alocação de pistas no BIOS, um riser ou adaptador, fallback de integridade do sinal, limitações do CPU ou outro dispositivo que altera a divisão das pistas da motherboard.

Depois teste o caminho dos dados. Meça cada disco separadamente, teste o conjunto com uma carga de trabalho que ative muitos membros e observe o débito agregado do disco e da rede. Evite benchmarks destrutivos em dados em uso e não trate leituras em cache como desempenho do disco. A ligação PCIe está implicada quando o resultado agregado se aproxima repetidamente do seu limite prático e aumenta após mover o HBA ou restaurar a largura de ligação esperada.

Deve Mover o HBA, Substituí-lo ou Deixá-lo Como Está?

Deixe o HBA onde está quando a ligação negociada exceder confortavelmente a procura agregada medida e o servidor cumprir os seus objetivos de recuperação, manutenção e desempenho para o cliente. Uma ligação PCIe 3.0 x4 é geralmente suficiente para um conjunto de oito discos HDD, e atualizá-la não acelerará uma cópia de ficheiros Gigabit que já está limitada pela rede.

Mude a placa quando estiver a operar abaixo da sua capacidade, a partilhar pistas inesperadamente ou a competir com tráfego intenso do chipset. Prefira um slot com pistas elétricas suficientes e, quando a plataforma permitir, uma rota ligada ao CPU. Verifique novamente LnkSta após a mudança porque um slot fisicamente maior não garante uma ligação negociada mais ampla.

Substitua o hardware apenas depois que os testes de slot e carga de trabalho demonstrarem um teto real. Os números de modelo são importantes: a Broadcom especifica o LSI SAS 9211-8i como um HBA PCIe 2.0 de oito pistas, enquanto outros adaptadores com nomes semelhantes usam gerações PCIe diferentes. Verifique o controlador exato, modo de firmware, tipo de conector, suporte do sistema operativo e protocolo do disco antes de comprar um HBA mais rápido.

A regra de decisão é simples: calcule primeiro, verifique depois e mude o hardware por último. Se o teto do link estiver abaixo da demanda concorrente medida, melhore o slot ou o HBA. Se a demanda permanecer bem abaixo do teto, investigue discos, cálculos de paridade, configurações do sistema de ficheiros, térmicas, cablagem e limites de rede.

Perguntas Frequentes

Um HBA x8 funciona num slot elétrico x4?

Normalmente sim, desde que o slot físico aceite a placa e a motherboard suporte o dispositivo. O HBA negocia x4 e funciona com cerca de metade da largura de banda das pistas que receberia na mesma geração PCIe em x8. Verifique a largura ativa porque alguns slots podem cair para x2 ou x1 em condições de partilha ou falha.

PCIe 2.0 x4 é suficiente para oito discos rígidos?

Pode ser suficiente para servir mídia normal, backups e redes Gigabit, mas pode limitar uma operação sequencial ideal em oito HDDs rápidos. Oito discos com média de 200 MB/s totalizam cerca de 1,6 GB/s; oito com média de 250 MB/s atingem o teto aproximado de 2,0 GB/s ajustado para codificação antes da sobrecarga do protocolo. Meça a taxa de transferência de limpeza ou reconstrução se o tempo de manutenção for importante.

Por que um slot físico x16 negocia apenas x4 ou x1?

O slot pode estar ligado a menos pistas, partilhar pistas com M.2 ou outros slots de expansão, passar por uma configuração do chipset, ou recuar devido a um riser, contacto, firmware ou problema de sinal. Verifique o manual da motherboard e compare LnkCap com LnkSta. Recoloque a placa e teste outro slot documentado apenas após desligar o servidor com segurança.

Conclusão Final

Um link PCIe limitado não é automaticamente um gargalo do HBA num servidor doméstico. Torna-se um quando a demanda concorrente dos discos atinge a capacidade utilizável da geração e largura de pista que a placa realmente negociou, especialmente durante manutenção de matriz completa ou cargas de trabalho com múltiplos SSDs.

Confirme o layout elétrico do slot, leia LnkSta, calcular a taxa de transferência agregada a partir das velocidades medidas dos discos e reproduzir a carga de trabalho antes de mudar o hardware. Se o desempenho aumentar após restaurar um caminho PCIe mais amplo ou direto, encontrou o gargalo; se não, mantenha o HBA e teste o resto do caminho de armazenamento.