Dlaczego kolejki współdzielonej pamięci masowej spowalniają wiele maszyn wirtualnych na domowym serwerze?

Współdzielone kolejki magazynu spowalniają wiele maszyn wirtualnych na serwerach domowych, ponieważ niezależne wirtualne dyski ostatecznie wysyłają żądania do tych samych adapterów hosta, kontrolerów, ścieżek sieciowych i fizycznych dysków. Każda maszyna wirtualna może mieć własną wirtualną kolejkę, ale nadal czekać za pracą generowaną przez inne VM na niższej, współdzielonej warstwie.

Spowolnienie nie zależy więc tylko od IOPS jednej maszyny wirtualnej. Rozmiar żądania, proporcje odczytu/zapisu, zachowanie synchronizacji, głębokość kolejki, nośnik danych i moment wybuchu każdego sąsiedniego VM łączą się w jeden fizyczny porządek obsługi i jeden skończony budżet opóźnień.

Gdzie oddzielne kolejki maszyn wirtualnych stają się współdzielone?

Każdy gość wysyła operacje I/O przez wirtualny kontroler, ale żądania maszyn wirtualnych zbiegają się na współdzielonych zasobach fizycznych poniżej granicy gościa. Hiperwizor, system plików hosta, adapter magazynu i urządzenie zaplecza łączą pracę z kilku wirtualnych dysków.

Maszyna wirtualna może raportować krótką wewnętrzną kolejkę, podczas gdy jej żądania czekają w kolejce hosta lub urządzenia, której gość nie widzi. Dlatego sama wykorzystanie dysku przez gościa może nie wyjaśniać długich opóźnień aplikacji.

Cała ścieżka ma znaczenie: planista gościa, wirtualny kontroler, kolejka hosta, protokół sieciowego magazynu, kontroler RAID i fizyczne nośniki mogą każdy dodawać oczekiwanie. Najwęższa, nasycona warstwa staje się wspólnym ograniczeniem.

Jak jedna maszyna wirtualna staje się głośnym sąsiadem magazynu?

W infrastrukturze współdzielonej jedno obciążenie może zmonopolizować kolejki magazynu i podnieść opóźnienia dla innych, spokojnych obciążeń. Kopia zapasowa, kompaktowanie bazy danych, aktualizacja lub skanowanie dużych plików mogą wywołać taki wybuch.

Głośna maszyna wirtualna nie musi przekraczać rozmiaru swojego wirtualnego dysku ani przydziału CPU. Wystarczy, że wygeneruje wystarczająco dużo oczekujących operacji I/O, aby zająć wspólną ścieżkę usług szybciej niż magazyn danych zdąży zrealizować żądania.

Sąsiednie maszyny wirtualne doświadczają wtedy wyższej opóźnionej latencji, nawet jeśli ich średnie zapotrzebowanie na przepustowość jest niewielkie. Serwer DNS, baza danych automatyki domowej lub usługa uwierzytelniania mogą działać wolno, ponieważ maszyna wirtualna multimediów intensywnie skanuje lub zapisuje dane.

Kiedy głębokość kolejki zamienia się w oczekiwanie?

Pewna liczba oczekujących operacji I/O jest użyteczna, ponieważ utrzymuje aktywność magazynu, ale głębokie kolejki ujawniają wąskie gardło magazynu. Poza użytecznym poziomem równoległości urządzenia, dodatkowe żądania zwiększają czas oczekiwania zamiast proporcjonalnie zwiększać wykonaną pracę.

Głębokość kolejki to liczba na jednym poziomie, a nie uniwersalna właściwość maszyny wirtualnej. Głębokość gościa wynosząca osiem, głębokość adaptera hosta licząca setki oraz kolejka sprzętowa NVMe to różne miejsca z różnymi limitami.

głębokość kolejki zwiększa opóźnienie po nasyceniu. Przepustowość może pozostać wysoka, podczas gdy interaktywne żądania VM czekają dłużej za tym samym utrzymywanym strumieniem.

Dlaczego architektura kolejki może zmieniać skalowanie maszyn wirtualnych?

Ścieżka starszej generacji może wymuszać wiele operacji przez mniejszą liczbę linii poleceń, podczas gdy magazyn z pojedynczą kolejką serializuje więcej pracy. Wiele maszyn wirtualnych potęguje tę różnicę architektoniczną, ponieważ ich żądania napływają jednocześnie.

Równoległe kolejki zmniejszają rywalizację o blokady i pozwalają różnym rdzeniom CPU zgłaszać i kończyć zadania z mniejszą serializacją. Nie tworzą one nieograniczonej wydajności magazynu; kontroler, sieć, NAND lub dyski nadal narzucają fizyczny limit.

Protokół i ścieżka sterownika wpływają więc na to, jak płynnie system osiąga nasycenie. Bardziej równoległa ścieżka może zachować przepustowość i obniżyć obciążenie CPU, podczas gdy starsza ścieżka może szybciej tworzyć jedną dominującą kolejkę.

Dlaczego dyski HDD i NVMe reagują inaczej?

Pamięć Flash i NVMe mogą korzystać z NVMe obsługuje więcej równoległych poleceń, podczas gdy siłownik HDD nadal obsługuje lokalizacje fizyczne głównie poprzez ruch mechaniczny.

Kilka maszyn wirtualnych może przekształcić indywidualne, sekwencyjne obciążenia w losowy wzór fizyczny. Na dyskach HDD przeplatające się żądania zwiększają liczbę operacji poszukiwania i opóźnienie rotacyjne; na dyskach SSD ta sama współbieżność może poprawić wykorzystanie, aż do momentu nasycenia kontrolerów wewnętrznych lub pamięci NAND.

Szybsze nośniki skracają czas obsługi, ale nie eliminują kolejkowania. Synchronizowane zapisy, zbieranie śmieci, prace RAID, opóźnienia sieci i kilka dużych żądań mogą nadal opóźniać małe operacje wrażliwe na opóźnienia.

Jak QoS i separacja obciążeń zmniejszają interferencje?

Najsilniejszą kontrolą jest ograniczenie, ile wspólnej pracy może wygenerować jedna VM. izolacja obciążeń zapobiega konfliktom między najemcami, dając usługom wrażliwym na opóźnienia oddzielne granice zasobów.

Na domowym serwerze może to oznaczać limity IOPS na VM, priorytety, oddzielne dyski wirtualne, dedykowany pulę SSD dla baz danych lub planowanie kopii zapasowych i skanów poza godzinami interakcji.

Mierz opóźnienia na poziomie hosta i zajętość kolejek razem z metrykami na VM. Kontrola sprawiedliwości może zmniejszyć szczytową przepustowość dla zajętej VM, ale zapobiega, by jedno zadanie pochłonęło budżet czasu reakcji wszystkich usług.

FAQ

Czy każda VM ma własną kolejkę pamięci masowej?

Może mieć wirtualne kolejki, ale te kolejki ostatecznie łączą się we wspólne kolejki hosta, adaptera, kontrolera i urządzenia fizycznego.

Czy jedna VM kopii zapasowej może spowolnić niezwiązaną VM bazy danych?

Tak. Utrzymująca się kopia zapasowa może zapełnić wspólne kolejki i zużywać przepustowość dysku, zwiększając opóźnienia VM bazy danych, nawet gdy CPU i pamięć są dostępne.

Czy większa głębokość kolejki zawsze jest zła?

Nie. Pewna głębokość ujawnia równoległość i zwiększa przepustowość. Staje się szkodliwa, gdy liczba oczekujących zadań przekracza użyteczną równoległą pojemność, a żądania głównie spędzają czas na oczekiwaniu.

Czy NVMe wyeliminuje problemy z pamięcią masową typu noisy-neighbor?

Nie. NVMe zapewnia więcej równoległych kolejek i krótszy czas obsługi, ale skończone zasoby NAND, kontrolera, CPU, RAID i sieci mogą nadal ulec nasyceniu.

Ostateczne wnioski

Wiele maszyn wirtualnych na domowym serwerze nie posiada niezależnych fizycznych dysków tylko dlatego, że widzą niezależne dyski wirtualne. Ich żądania łączą się w wspólne kolejki, gdzie nagłe skoki, mieszane wzorce dostępu i ograniczona równoległość urządzenia powodują opóźnienia typu noisy-neighbor. Monitorowanie świadome kolejek, limity na VM, planowanie i oddzielne warstwy pamięci masowej sprawiają, że współdzielona pojemność jest użyteczna, nie pozwalając jednej VM kontrolować czasu reakcji wszystkich aplikacji.