Jak przechowywać lokalne modele LLM, nie zapełniając dysku SSD w stacji roboczej

Przechowuj niewielki aktywny zestaw na dysku NVMe stacji roboczej, większą bibliotekę modeli na pamięci współdzielonej i jawnie określaj ścieżki używane przez każde środowisko uruchomieniowe.

Ten układ sprawdza się, gdy wagi modeli są odczytywane głównie podczas uruchamiania, sieć zapewnia akceptowalny czas ładowania, a niezastępowane modele dostrojone są chronione oddzielnie od plików, które można pobrać ponownie. Zawodzi, gdy każda pamięć podręczna po cichu przechodzi na dysk SSD systemowy albo gdy po utracie dostępu do NAS-u usługa wnioskowania pobiera modele ponownie do nowego lokalnego katalogu.

Klasyfikuj pliki modeli według zestawu roboczego i kosztu odtworzenia

Zacznij od spisu zasobów, zamiast przenosić jeden ogromny katalog pamięci podręcznej. Wagi bazowe i skwantyzowane warianty można pobrać ponownie, ale adaptery, modele dostrojone, szablony promptów, manifesty, wyniki ewaluacji i pliki przekonwertowane lokalnie mogą być unikatowe. Oznacz każdy element jako aktywny, rzadko używany, eksperymentalny lub niezastępowalny, a następnie zapisz, która aplikacja korzysta z jego ścieżki.

Aktywny zestaw obejmuje modele używane codziennie i powinien mieścić się w ustalonym limicie miejsca na stacji roboczej. Rzadziej używane modele mogą znajdować się na NAS-ie i być kopiowane lokalnie przed rozpoczęciem projektu. Eksperymentalne modele używane sporadycznie mogą pozostać wyłącznie we współdzielonej bibliotece. Niezastępowalne wyniki wymagają kopii zapasowej z wersjonowaniem, nawet jeśli model źródłowy można pobrać ponownie.

Taki podział zapobiega dwóm częstym błędom: tworzeniu kopii zapasowej setek gigabajtów, które można łatwo odtworzyć, oraz usuwaniu niewielkiego adaptera lub manifestu, których odtworzenie może być kosztowne. Pozwala też oszacować wymaganą pojemność: rozmiar aktywnego zestawu plus wolne miejsce na jeden wgrywany model, a nie rozmiar wszystkich modeli, które kiedykolwiek możesz testować.

Przypisz role lokalnemu NVMe, pamięci współdzielonej i archiwum

W rzeczywistym lokalnym klastrze AI pliki modeli były przechowywane na NAS-ie i ładowane przez sieć 10 GbE, co pokazało, że takie rozwiązanie się sprawdza, jeśli sieć i ścieżka dostępu do pamięci masowej są przystosowane do dużych odczytów. Przydatny wniosek z tego przepływu obsługi modeli opartego na NAS-ie to rozdzielenie ról: współdzielona biblioteka jest źródłem, a moc obliczeniowa i pamięć pozostają w węźle wnioskowania.

Nie kieruj każdego środowiska uruchomieniowego do tego samego współdzielonego folderu z prawem zapisu. Nieudana konwersja, zadanie czyszczenia lub zmiana wersji mogą zmodyfikować pliki używane przez inne narzędzie. Biblioteka kanoniczna powinna być udostępniona głównie do odczytu; przygotowuj zmiany w katalogu roboczym, weryfikuj je, a gotowe artefakty przenoś do biblioteki w kontrolowany sposób.

Utwórz jedną przewidywalną ścieżkę dostępu do modeli i zasady pamięci podręcznej

Wybierz jeden kanoniczny punkt montowania, na przykład /srv/models w Linuksie lub stałą literę dysku w Windowsie, i udostępnij go przed uruchomieniem Ollama, vLLM, LM Studio lub kontenerów deweloperskich. Jawnie skonfiguruj ustawienia modeli i pamięci podręcznej w każdym narzędziu. Dowiązanie symboliczne jest dopuszczalne tylko wtedy, gdy kontrola punktu montowania uruchamia się jako pierwsza, a lokalizacja docelowa nie zmienia się między ponownymi uruchomieniami.

Osoby rozważające osobny NAS wielokrotnie wskazują czas wczytywania modelu jako czynnik decydujący. W jednej dyskusji o stacji roboczej AI i NAS-ie uczestnicy zalecali przechowywanie często używanych modeli na lokalnym dysku NVMe, ponieważ przesłanie dużych wag przez wolniejsze łącze może trwać kilka minut.

Zamiast kopiować cały NAS, użyj listy dozwolonych modeli w lokalnej pamięci podręcznej. Po pomyślnym wczytaniu lub skopiowaniu sprawdź rozmiar pliku albo sumę kontrolną, a następnie zaktualizuj atomowy alias, taki jak current/model-name. Usuwaj tylko modele, które nie są uruchomione ani przypięte. Zostaw co najmniej większą z tych wartości: 15 procent wolnego miejsca lub rozmiar jednego maksymalnego oczekiwanego pobrania modelu, aby aktualizacja nie zapełniła partycji rozruchowej w trakcie.

Featured

Osobista chmura i domowy NAS ZimaCube 2

ZimaCube2

$799.00 - $2,499.00

Buy Now

Chroń manifesty i modele dostrajane, nie każdy pobrany plik

Utwórz kopię zapasową informacji potrzebnych do odtworzenia biblioteki: źródłowego adresu URL lub identyfikatora repozytorium, dokładnej rewizji, nazwy pliku, kwantyzacji, sumy kontrolnej, informacji o licencji, konfiguracji środowiska uruchomieniowego oraz ścieżki używanej w produkcji. Taki manifest jest mały, można go przeszukiwać i znacznie bardziej przydaje się podczas odzyskiwania danych niż katalog pełen niejednoznacznie nazwanych plików.

Twórz kopie zapasowe unikatowych adapterów, połączonych modeli, danych kalibracyjnych i wyników ewaluacji, stosując standardową, wersjonowaną retencję. W przypadku publicznie dostępnych wag bazowych zdecyduj, czy czas potrzebny na ich odzyskanie uzasadnia przechowywanie dodatkowej kopii. Wolne połączenie internetowe lub ryzyko zniknięcia modelu mogą uzasadniać ochronę wybranych wag, ale kopiowanie każdego eksperymentu zwykle niepotrzebnie zużywa miejsce na kopie zapasowe.

Jeśli wybór ogólnej warstwy plików AI nadal nie jest rozstrzygnięty, kolejnym krokiem planowania jest porównanie w ZimaSpace chmury osobistej i lokalnego przechowywania plików AI na komputerze. Pozwala ono oddzielić trwałe dane źródłowe i indeksy od maszyny wykonującej inferencję.

Sprawdź czas ładowania, działanie offline i próg rozbudowy

Przetestuj trzy scenariusze przy zatrzymanej usłudze modeli: ładowanie często używanego modelu lokalnie, ładowanie rzadko używanego modelu z NAS oraz awarię NAS. Zapisz czas do pierwszej użytecznej odpowiedzi, szczytową przepustowość sieci, ilość wolnego miejsca na stacji roboczej przed testem i po nim oraz to, czy jakiekolwiek narzędzie tworzy katalog zastępczy na dysku rozruchowym. Powtórz test po ponownym uruchomieniu, aby sprawdzić kolejność montowania zamiast zakładać, że jest prawidłowa.

Konfiguracja sprawdza się, gdy używane na co dzień modele ładują się lokalnie w oczekiwanym czasie, modele używane sporadycznie można przygotować bez ręcznej zmiany ścieżek, unikatowe artefakty można przywrócić z kopii zapasowej, a brak NAS powoduje wyraźny błąd zamiast cichego ponownego pobierania. Dodaj szybszą sieć lub większą lokalną pamięć masową tylko wtedy, gdy zmierzony czas ładowania rzadko używanych modeli przerywa pracę; zwiększ pojemność NAS, gdy wolne miejsce w kanonicznej bibliotece zbliża się do ustalonego minimum.

Przestań korzystać z bezpośredniego odczytu przez sieć w przypadku obciążenia, które wielokrotnie przeszukuje fragmenty modelu, wymaga przewidywalnie krótkiego czasu uruchamiania lub musi działać, gdy serwer NAS jest niedostępny. W takiej sytuacji zachowaj NAS jako bibliotekę i przed uruchomieniem skopiuj kompletne modele na większy, dedykowany lokalny dysk SSD.

Końcowa zasada konfiguracji

Przechowuj kanoniczną bibliotekę modeli na współdzielonym nośniku, przypnij zestaw używany na co dzień do lokalnego NVMe, odizoluj tymczasowe pamięci podręczne i chroń tylko artefakty oraz manifesty, których nie da się odtworzyć. Rozbuduj system, gdy zmierzony czas ładowania lub pojemność przekroczy ustalony próg.