메트릭 카디널리티란 무엇이며, AI 옵저버빌리티는 왜 비용이 많이 들 수 있을까요?

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

What Is Metric Cardinality, and Why Can AI Observability Become Expensive? - Zima Store Online

메트릭 카디널리티는 시계열로 저장되는 서로 다른 레이블 조합의 수를 의미하며, 제한되지 않은 AI 레이블은 리소스 사용량을 예기치 않게 늘릴 수 있습니다.

지연 시간 메트릭은 모델, 경로, 사용자, 도구, 상태, 양자화, 원시 요청 ID로 레이블을 지정하기 전까지는 무해해 보입니다. 관측되는 각 조합은 인덱싱, 메모리, 쿼리, 보존 비용이 발생하는 별도의 시계열이 됩니다. AI 스택은 자연스럽게 고유 식별자를 많이 생성하므로, 클라우드 비용이 없는 자체 호스팅 서버에서도 관측 비용이 요청량보다 빠르게 증가할 수 있습니다.

서로 다른 레이블 세트마다 새로운 시계열이 생성됩니다

메트릭 이름과 하나의 완전한 레이블 값 세트가 시계열 하나를 식별합니다. 모델 10개, 경로 5개, 상태 4개, 도구 20개만으로도 사용자 또는 요청 식별자를 추가하기 전에 수천 가지 조합이 만들어질 수 있습니다. 실제 개수는 선언된 레이블이 아니라 실제로 관측된 조합에 따라 달라집니다.

Prometheus 레이블 카디널리티 지침에서는 각 레이블 세트가 RAM, CPU, 디스크, 네트워크 비용을 증가시키며 카디널리티가 커지는 메트릭을 조사할 것을 권장합니다. 특히 사용자 ID나 이메일 주소처럼 값의 범위가 제한되지 않은 레이블을 사용하지 말라고 경고합니다.

카디널리티는 샘플 수집 빈도와 다릅니다. 1초마다 수집되는 시계열 하나에는 많은 샘플이 포함될 수 있지만, 거의 업데이트되지 않는 시계열 100만 개도 백엔드가 각 식별자를 추적해야 하므로 인덱스와 메타데이터 오버헤드가 크게 발생합니다.

AI 워크플로에는 매력적이지만 위험한 레이블이 포함됩니다

모델 이름, 엔드포인트, 도구 클래스, 응답 상태, 범위가 제한된 하드웨어 등급은 유용한 집계를 지원할 수 있습니다. 프롬프트 텍스트, 문서 경로, 트레이스 ID, 세션 ID, 생성된 도구 인수, 전체 오류 메시지는 사실상 제한되지 않으며 메트릭을 뜻하지 않게 이벤트 저장소로 바꿉니다.

Grafana 카디널리티 대시보드는 활성 시계열과 레이블 분포를 검사하여 운영자가 사용되지 않는 메트릭을 수집 비용과 연결할 수 있도록 고카디널리티 대시보드를 설명합니다. 같은 방법으로 새 에이전트 레이블 하나가 갑작스러운 시계열 폭증을 일으켰는지도 확인할 수 있습니다.

고유한 진단 컨텍스트는 샘플링된 트레이스나 구조화된 로그에 저장하고, 지원되는 경우 익셈플러를 통해 연결해야 합니다. 메트릭은 모든 요청을 레이블 값으로 보존하기보다 의도적으로 범위를 제한한 차원을 사용해 집계 질문에 답해야 합니다. 이러한 구분은 이후 가정용 테스트에서도 확인할 수 있습니다.

쿼리가 눈에 띄게 느려지기 전에 조합이 증가합니다

각각은 적당한 여러 레이블도 함께 사용하면 큰 데카르트 곱을 형성할 수 있습니다. 컨테이너, 모델 버전, 정규화된 경로가 지속적으로 새로운 식별자를 생성하고 활성 워크로드가 바뀐 뒤에도 해당 식별자가 보존 기간 동안 남아 있으면 시계열 변경이 문제를 더욱 악화시킵니다.

Grafana의 카디널리티 급증 예시는 서로 다른 레이블 값으로 카디널리티를 정의하고 급증이 저장되는 시계열 수를 어떻게 늘리는지 보여줍니다. 이를 통해 계측을 조금 변경했을 뿐인데 추론 트래픽은 그대로여도 수집 및 쿼리 작업량이 증가하는 이유를 알 수 있습니다.

관측 시스템이 측정 대상인 AI 서비스에 영향을 줄 만큼 메모리, I/O 또는 CPU를 소비하는 지점이 장애 경계입니다. 수집 후 레이블을 삭제하면 향후 증가량은 줄일 수 있지만, 기존 시계열이 즉시 삭제되거나 해당 레이블에 의존하는 대시보드가 복구되지는 않습니다.

-15% OFF