Czym jest kardynalność metryk i dlaczego obserwowalność AI może stać się kosztowna?

Kardynalność metryk to liczba unikalnych kombinacji etykiet przechowywanych jako szeregi czasowe, a nieograniczone etykiety AI mogą nieoczekiwanie zwielokrotnić zużycie zasobów.

Metryka opóźnienia wygląda niewinnie, dopóki nie zostanie opatrzona etykietami modelu, trasy, użytkownika, narzędzia, statusu, kwantyzacji i surowego identyfikatora żądania. Każda zaobserwowana kombinacja staje się osobnym szeregiem z kosztami indeksowania, pamięci, zapytań i przechowywania. Stosy AI generują wiele naturalnie unikalnych identyfikatorów, więc koszty obserwowalności mogą rosnąć szybciej niż liczba żądań nawet na serwerze hostowanym lokalnie, bez rachunku za chmurę.

Każdy unikalny zestaw etykiet tworzy kolejny szereg czasowy

Nazwa metryki wraz z jednym pełnym zestawem wartości etykiet identyfikuje szereg. Dziesięć modeli, pięć tras, cztery statusy i dwadzieścia narzędzi może utworzyć tysiące możliwych kombinacji, zanim zostanie dodany jakikolwiek identyfikator użytkownika lub żądania. Rzeczywista liczba zależy od faktycznie zaobserwowanych kombinacji, a nie tylko od zadeklarowanych etykiet.

Wskazówki Prometheusa dotyczące instrumentacji etykiet zauważają, że każdy zestaw etykiet zwiększa koszty pamięci RAM, procesora, dysku i sieci, oraz zalecają analizowanie metryk, których kardynalność staje się duża. Ostrzegają szczególnie przed etykietami o nieograniczonych wartościach, takimi jak identyfikatory użytkowników lub adresy e-mail.

Kardynalność różni się od częstotliwości próbkowania. Jeden szereg odpytywany co sekundę może zawierać wiele próbek, podczas gdy milion rzadko aktualizowanych szeregów nadal powoduje duże obciążenie indeksu i metadanych, ponieważ backend musi śledzić tożsamość każdego z nich.

Przepływy pracy AI zawierają atrakcyjne, lecz niebezpieczne etykiety

Nazwa modelu, punkt końcowy, klasa narzędzia, status odpowiedzi i ograniczony poziom sprzętowy mogą wspierać użyteczną agregację. Treść promptu, ścieżka dokumentu, identyfikator śladu, identyfikator sesji, wygenerowane argumenty narzędzia i pełne komunikaty błędów są praktycznie nieograniczone i zamieniają metryki w przypadkowy magazyn zdarzeń.

Panel kardynalności Grafany wyjaśnia, że panele wysokiej kardynalności analizują aktywne szeregi i rozkład etykiet, aby operatorzy mogli powiązać nieużywane metryki z kosztami pozyskiwania danych. Ta sama metoda może ujawnić, czy jedna nowa etykieta agenta spowodowała nagły wzrost liczby szeregów.

Unikalny kontekst diagnostyczny powinien trafiać do próbkowanych śladów lub logów strukturalnych, połączonych przez egzemplarze, jeśli są obsługiwane. Metryki powinny odpowiadać na pytania dotyczące agregatów za pomocą celowo ograniczonych wymiarów, zamiast zachowywać każde żądanie jako wartość etykiety. To rozróżnienie pozostaje widoczne podczas późniejszych testów domowych.

Kombinacje mnożą się, zanim zapytania wyraźnie zwolnią

Kilka pojedynczo umiarkowanych etykiet może utworzyć duży iloczyn kartezjański. Rotacja szeregów pogarsza problem, gdy kontenery, wersje modeli lub znormalizowane ścieżki nieustannie tworzą nowe tożsamości, które pozostają w okresie przechowywania po zmianie aktywnego obciążenia.

Przykład nagłych wzrostów kardynalności w Grafanie definiuje kardynalność za pomocą unikalnych wartości etykiet i pokazuje, jak takie wzrosty zwiększają liczbę przechowywanych szeregów. Wyjaśnia to, dlaczego niewielka zmiana w instrumentacji może zwiększyć obciążenie związane z pozyskiwaniem danych i zapytaniami bez zmiany ruchu inferencyjnego.

Granica awarii pojawia się wtedy, gdy obserwowalność zużywa tyle pamięci, operacji wejścia-wyjścia lub procesora, że zakłóca działanie mierzonej usługi AI. Usunięcie etykiety po pozyskaniu danych może ograniczyć przyszły wzrost, ale nie usuwa natychmiast historycznych szeregów ani nie naprawia pulpitów, które od niej zależały.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Utwórz budżet kardynalności przed dodaniem etykiet

Zinwentaryzuj każdą metrykę i oszacuj górną granicę każdej etykiety oraz typowych kombinacji. Odtwórz reprezentatywny dzień, zmierz aktywne szeregi, ich rotację, liczbę pozyskanych bajtów, czas zapytań i zużycie pamięci, a następnie uszereguj etykiety według wartości diagnostycznej i przyrostu liczby szeregów.

Porównaj te wyniki z szerszymi sygnałami obserwowalności opisanymi w artykule o lokalnej obserwowalności AI. Przenieś unikalny kontekst żądań do logów lub śladów, normalizuj dynamiczne ścieżki i udostępniaj kategorie modeli lub narzędzi tylko wtedy, gdy mają określone zastosowanie w panelu lub alercie.

Ustal budżety i alerty dla aktywnych szeregów oraz tempa ich tworzenia przed wdrożeniem. Instrumentacja przechodzi test tylko wtedy, gdy odpowiada na docelowe pytania operacyjne bez istotnego wpływu na opóźnienia inferencji i bez wyczerpania miejsca na dane podczas szczytowego użytkowania domowego.