로컬 NAS 저장소에 맞게 Restic 팩 크기를 최적화하는 방법

Eva Wong 는 테크니컬 라이터 이자 상주 메이커 로 ZimaSpace에서 활동합니다. 평생 기술을 사랑해 온 그녀는 홈랩과 오픈 소스 소프트웨어에 열정을 품고 있으며, 복잡한 기술 개념을 누구나 이해하기 쉬운 실습 가이드로 풀어내는 데 전문성을 갖추고 있습니다. Eva는 셀프 호스팅이 어렵고 부담스러운 일이 아니라 즐거워야 한다고 믿습니다. 그녀는 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 어려움을 풀어내고, 첫 NAS를 조립하는 것부터 Docker 컨테이너를 능숙하게 다루는 것까지 도전하도록 돕습니다.

로컬 NAS 저장소에서는 저장소 파일 오버헤드나 HDD 탐색 동작이 처리량을 제한한다는 측정 결과가 없다면 restic의 기본값인 16 MiB를 유지하세요. NAS의 회전식 디스크에 여러 테라바이트 규모의 저장소를 보관한다면 더 큰 값을 고려하기 전에 32 MiB 또는 64 MiB 팩을 테스트해 볼 만합니다.

팩 크기는 restic의 중복 제거 청크 크기와 다릅니다. restic은 먼저 파일 데이터를 콘텐츠 정의 블롭으로 분할한 다음 블롭을 팩 파일로 그룹화합니다. 팩 목표 크기를 변경하면 저장소에서 해당 블롭이 묶이는 방식이 바뀌지만 저장소의 청커 다항식이나 콘텐츠 해시는 바뀌지 않습니다.

16 MiB 기본값에서 시작하기

최신 restic 튜닝 가이드에 따르면 기본 팩 목표 크기는 16 MiB입니다. 또한 팩 파일이 크면 저장소의 파일 수를 줄이고 로컬 HDD에 저장된 일부 저장소의 백업 성능을 향상할 수 있다고 설명합니다.

restic 버전
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

튜닝 전에 restic 버전, 저장소 크기, 스냅샷 수, 스토리지 유형, 현재 백업 소요 시간을 기록하세요. 백업이 이미 지정된 시간 안에 끝난다면 팩 크기를 키워도 유용한 성능 향상 없이 복잡성만 늘어날 수 있습니다.

팩 크기가 실제로 바꾸는 항목 알아보기

restic의 저장소 형식 설계에 따르면 파일 콘텐츠는 콘텐츠 정의 블롭으로 분할된 후 팩 파일로 그룹화됩니다.

소스 파일
   |
콘텐츠 정의 청킹
   |
중복 제거된 블롭
   |
팩 그룹화
   |
저장소 데이터 파일

일반적으로 팩 목표 크기가 클수록 저장소 파일 수는 줄고 파일 하나의 크기는 커집니다. 이렇게 하면 회전식 디스크에서 메타데이터와 파일 열기 오버헤드에 쓰이는 시간을 줄일 수 있습니다. 동일한 파일 콘텐츠의 중복 제거 성능이 향상되는 것은 아닙니다.

NAS가 실제로 팩 크기의 제약을 받는지 확인하세요

튜닝 전에 일반적인 증분 백업 중 저장소 디스크를 살펴보세요. 처리량은 낮은데 짧은 탐색과 메타데이터 작업이 많은 로컬 HDD 저장소가 이미 높은 속도로 순차 쓰기 중인 SSD 저장소보다 조정 후보로 더 적합합니다.

iostat -xz 2

디스크 사용률이 지속적으로 높은지, 대기 시간이 증가하는지, 대용량 순차 쓰기에 비해 처리량이 낮은지 확인하세요. CPU 사용량과 원본 읽기 속도도 점검하세요. 병목이 압축, 해싱, 원본 I/O 또는 네트워크라면 팩 크기를 늘려도 해결되지 않습니다.

조건을 맞춘 저장소로 16, 32, 64 MiB 벤치마크하기

가장 깔끔하게 비교하려면 테스트용으로 만든 일회용 저장소를 사용하세요. 동일한 원본 데이터 세트, NAS 볼륨, restic 버전, 백엔드 연결 수를 사용하세요.

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

경과 시간, 저장소 디스크 처리량, 임시 공간 사용량, 결과 데이터 파일 수를 측정하세요. 가능하면 페이지 캐시의 영향이 결과를 좌우하지 않도록 여러 번 실행하세요.

팩 크기를 늘리기 전에 임시 공간 고려하기

Restic 문서에서는 필요한 임시 공간을 대략 다음과 같이 설명합니다:

팩 크기 × (백엔드 연결 수 + 1)

백엔드 연결이 5개이고 목표 크기가 64 MiB라면 최소 384 MiB의 임시 공간이 필요합니다. 현재 로컬 백엔드의 기본 연결 수는 대부분의 원격 백엔드보다 적지만, 같은 규칙이 적용됩니다.

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

더 큰 임시 팩은 메모리 사용량을 늘릴 수도 있으며, 캐시에 남지 않고 SSD 저장소에 임시 쓰기가 더 많이 발생할 수 있습니다.

저장소에 쓰는 명령에서 동일한 팩 크기 설정 유지하기

Restic 문서에 따르면 저장소를 수정하는 모든 명령에 팩 크기 설정을 지정해야 합니다. 전체 작업에 환경 변수 하나를 사용하세요:

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

팩 크기를 변경해도 중복 제거 청크 분할 방식은 바뀌지 않지만, 팩 크기가 서로 달라질 수 있습니다. 설정을 일관되게 유지하면 이후 유지 관리와 성능 비교 결과를 더 쉽게 해석할 수 있습니다.

기존 팩의 크기가 자동으로 바뀔 것으로 기대하지 마세요

새로운 팩 크기 설정은 새로 생성되거나 다시 묶이는 데이터에 적용됩니다. RESTIC_PACK_SIZE를 변경해도 기존 팩 파일이 자동으로 다시 작성되지는 않습니다.

기존의 작은 팩을 prune으로 다시 묶으려는 경우, 현재 restic에서는 --repack-smaller-than을 사용할 수 있습니다. 먼저 prune repack 옵션을 확인하세요.

restic prune --dry-run --repack-smaller-than 32M

먼저 드라이 런을 실행하세요. 모든 팩 파일을 동일한 크기로 만들기 위해 전체 repack을 강제로 실행하지 마세요.

설정 조정 후 무결성 검증하기

restic check
restic check --read-data-subset=5%

저장소 크기에 맞는 검증 일정을 정하세요. restic의 저장소 문제 해결 안내에서는 무결성 검사를 저장소 손상 진단의 기반으로 다룹니다.

더 폭넓은 백업 설계를 위해 로컬 저장소와 별도의 독립적인 복사본을 함께 사용하세요. ZimaOS의 3-2-1 백업 전략은 로컬 이중화와 별도의 대상 위치가 서로 다른 장애 유형을 해결하는 이유를 설명합니다.

이 판단 기준을 사용하세요

  • 백업이 이미 제한 시간 내에 완료되거나 병목이 다른 곳에 있다면 16 MiB를 유지하세요.
  • 대용량 HDD 저장소에서 메타데이터 및 작은 파일 작업에 상당한 시간이 소요된다면 32 MiB를 테스트해 보세요.
  • 32 MiB에서 개선 효과가 있고 임시 공간 사용량도 감당할 만하다면 64 MiB를 테스트해 보세요.
  • 개선 폭이 줄어들거나 임시 I/O가 증가하면 크기를 더 늘리지 마세요.

가장 적합한 팩 크기는 새로운 병목을 만들지 않으면서 저장소 오버헤드를 측정 가능한 수준으로 줄이는 가장 작은 값입니다.

restic 팩 크기 FAQ

팩 크기를 늘리면 restic 중복 제거 성능이 향상되나요?

아니요. 중복 제거는 블롭이 팩 파일로 묶이기 전에 블롭/청크 계층에서 이루어집니다.

팩 크기를 변경하면 기존 팩 파일도 다시 작성되나요?

아니요. 기존 팩은 일반적인 prune/repack 작업으로 다시 작성될 때까지 유지됩니다.

로컬 HDD NAS에서 어떤 팩 크기부터 시도해야 하나요?

16 MiB를 기준으로 사용한 다음, 같은 작업 부하에서 32 MiB와 64 MiB를 벤치마크하세요.

지원 및 팁

더 읽어보기

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.