작은 파일을 백업할 때는 NVMe SSD가 스로틀링되는데, 대용량 로컬 파일 하나를 복사할 때는 그렇지 않은 이유 แขวงคลองเตย

NVMe SSD는 대용량 파일 하나를 복사할 때와는 다른 병목이 발생하기 때문에 작은 파일을 백업할 때 속도가 느려질 수 있습니다. 메타데이터, 랜덤 쓰기, 동기화 장벽, CPU 작업이 영향을 줍니다.

“스로틀”이라는 단어는 속도가 떨어지는 모든 상황에 흔히 사용되지만, 열 스로틀링은 여러 가능성 중 하나일 뿐입니다. 작은 파일 백업 작업은 디렉터리 항목을 반복해서 만들고, 타임스탬프와 권한을 업데이트하며, 파일을 열고 닫고, 체크섬을 계산하고, 데이터를 압축하거나 암호화하고, 메타데이터를 커밋합니다. NVMe는 초당 더 많은 작업을 처리하고 지연 시간이 높아지는 동안에도 MB/s는 낮게 표시될 수 있습니다. 냉각 장치를 변경하거나 드라이브를 교체하기 전에 동일한 크기의 로컬 작업을 비교하세요.

동일한 크기의 로컬 테스트로 차이를 입증하세요

대용량 파일 하나와 총 데이터 크기가 동일한 작은 파일들로 구성된 디렉터리 트리를 만드세요. 각 항목을 동일한 NVMe 대상에 로컬로 복사하면서 경과 시간, IOPS, 지연 시간, CPU 사용량, 온도를 기록하세요.

Fio는 순차 및 랜덤 I/O 모드를 별도로 정의하므로, 서로 관련 없는 백업 실행을 비교하는 대신 작업 형태를 분리해 테스트할 수 있습니다.

대용량 로컬 복사는 빠르게 유지되지만 작은 파일 생성만 느려진다면 PCIe 링크와 순차 NAND 경로는 정상적으로 사용 가능한 상태일 가능성이 높습니다. 계속해서 메타데이터, 큐 지연 시간, 캐시, CPU, 발열을 확인하세요.

MB/s만이 아니라 메타데이터 작업을 측정하세요

초당 파일 수, 생성, 닫기, 이름 변경, 디렉터리 업데이트, ACL 기록, 확장 속성, 동기화 작업을 추적하세요. 이를 데이터 처리량과 비교하세요.

Red Hat은 작은 파일 스토리지를 메타데이터 중심이라고 설명합니다. 따라서 수천 개의 작은 파일은 NVMe의 순차 대역폭 한도에 도달하지 않고도 낮은 MB/s를 나타낼 수 있습니다.

따라서 백업이 정상적으로 작업 중인데도 바이트 처리량이 실망스러워 보일 수 있습니다. 처리량뿐 아니라 완료된 파일 수, 지연 시간, 복원 요구 사항을 기준으로 판단하세요.

캐시 정리가 쓰기 지연 시간을 높이는지 확인하세요

여유 공간, 기록된 바이트 수, 지속적인 지연 시간, 유휴 시간 후 성능이 회복되는지 여부를 기록하세요. 안전한 경우에만 새로 트림한 테스트 영역과 일반 백업 대상 위치를 비교하세요.

Crucial은 활성화된 가비지 컬렉션이 SSD 속도에 영향을 줄 수 있다고 설명합니다. 특히 장치가 유휴 상태로 있을 시간이 부족하거나 재사용할 수 있는 공간이 적을 때 그렇습니다.

작은 랜덤 쓰기는 순차 스트림 하나보다 더 많은 내부 데이터 이동을 요구할 수 있습니다. 여유 공간을 충분히 확보하고, 광고된 순차 속도가 지속적인 소규모 쓰기에도 적용된다고 가정하지 마세요.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

큐 지연 시간과 장치 포화 상태를 점검하세요

두 테스트 중 평균 요청 지연 시간, 큐 깊이, 사용률, 읽기/쓰기 속도, CPU I/O 대기 시간을 수집하세요. MB/s는 높지 않은데 지연 시간만 높은지 확인하세요.

iostat 보고서를 사용하면 전체 처리량이 순차 사양보다 훨씬 낮더라도 많은 소규모 요청으로 장치가 포화되는 시점을 확인할 수 있습니다.

백업 동시성을 높이면 부하가 낮은 장치의 성능은 향상될 수 있지만, 이미 포화된 큐에서는 성능이 악화될 수 있습니다. 한 번에 작업자 수나 큐 설정 하나만 변경하세요.

파일시스템 기록과 파일 데이터를 구분하세요

소스와 대상 파일시스템, 그리고 각 백업이 보존하는 메타데이터를 확인하세요. NTFS에서는 MFT 증가량과 보안 설명자, 대체 스트림, 타임스탬프가 복사되는지 기록하세요.

Microsoft는 MFT에 파일당 최소 하나의 레코드가 포함된다고 설명합니다. 이는 총 크기가 동일한 파일 하나보다 작은 파일이 많을 때 훨씬 더 많은 파일시스템 레코드 작업이 발생하는 이유를 보여줍니다.

백업이 ACL, xattr, 스파스 영역 또는 체크섬을 보존한다면 해당 작업도 비교에 포함하세요. 벤치마크 성능을 높이기 위해 무결성 기능을 끄면 백업이 약화될 수 있습니다.

추측하지 말고 실제 열 스로틀링을 확인하세요

냉각 전후의 NVMe 종합 온도, 열 경고 시간, 컨트롤러 사용 시간, 성능을 기록하세요. 안정적인 공기 흐름과 동일한 작은 파일 세트를 사용해 반복 테스트하세요.

Kingston은 열 스로틀링이 SSD가 안전한 온도로 돌아올 때까지 성능을 낮춘다고 설명합니다.

온도 임계값이나 열 경고 없이 처리량이 떨어진다면 이를 열 스로틀링이 아니라 작업 부하 병목이라고 판단하세요. 냉각으로는 메타데이터 직렬화나 CPU에 의해 제한되는 해싱 문제를 해결할 수 없습니다.

실제로 포화된 백업 계층을 최적화하세요

체크섬 작업자 수 줄이기, 복사 작업자 한 명 추가하기, 메타데이터 일괄 처리, 로컬 매니페스트 사용, 다시 생성할 수 있는 캐시 제외와 같은 적절한 변경 하나를 테스트하세요. 복원에 필요한 메타데이터는 보존하세요.

작은 파일 SMB 복사 테스트에 관한 ZimaSpace 문서는 네트워크 복사를 다룹니다. 이 글에서는 대용량 로컬 복사가 여전히 빠른 경우 로컬 NVMe와 백업 파이프라인을 분리해 확인합니다.

성능 저하가 메타데이터 속도, 랜덤 쓰기 지연 시간, 캐시 정리, CPU 작업 또는 확인된 열 스로틀링과 연결되고, 통제된 동일한 작은 파일 테스트에서 특정 변경 사항이 개선 효과를 낼 때 진단이 완료됩니다.