Od rozpakowania do 56Gbps: 5-krokowy plan budowy domowego superkomputera serwerowego z ZimaBoard 2

Wprowadzenie

Ten wpis na blogu został opublikowany przez Zima i opiera się na filmie stworzonym przez Zero, japońskiego twórcę treści technologicznych, który eksploruje serwery jednopłytkowe i eksperymenty z domowymi laboratoriami na swoim kanale YouTube. My w Zima jesteśmy głęboko wdzięczni Zero za jego entuzjazm, kreatywność i gotowość do przesuwania ZimaBoard 2 daleko poza konwencjonalne zastosowania. Poniższy tekst to redakcyjna adaptacja jego transkrypcji wideo, przekształcona dla czytelników zainteresowanych budową domowych serwerów, sprzętem sieciowym i DIY superkomputingiem. Wszystkie dane techniczne, kroki i ustalenia zostały zachowane z oryginalnej treści.

Co trzeba, by zbudować superkomputer w domu? Dla większości osób odpowiedź to profesjonalne szafy serwerowe, dedykowana serwerownia i budżet jak na centrum danych. Ale Zero miał inny pomysł — zaczynający się od pięciu kompaktowych serwerów jednopłytkowych na biurku i kończący się przełącznikiem InfiniBand 56Gbps łączącym je wszystkie w zunifikowany klaster obliczeniowy.

To jest Część 1 tej podróży: rozpakowanie, wybór sprzętu, montaż i pierwsze udane uruchomienie wszystkich pięciu węzłów. Na razie bez wyników — ale fundament jest niezwykły.

Czym jest ZimaBoard 2 i dlaczego ma znaczenie dla tej budowy?

Zanim przejdziemy do konfiguracji klastra, warto zrozumieć, dlaczego Zero wybrał ZimaBoard 2 jako podstawę tego eksperymentu.

ZimaBoard 2 to serwer jednopłytkowy (SBS) — kategoria odrębna od bardziej znanego komputera jednopłytkowego (SBC) takiego jak Raspberry Pi. Choć oba są kompaktowe i energooszczędne, oznaczenie SBS sygnalizuje inną filozofię projektowania: te urządzenia są stworzone do pracy jako serwery, a nie tylko jako komputery hobbystyczne. ZimaBoard 2 jest rozwijany przez IceWhale Technology i potrafi uruchamiać ZimaOS, TrueNAS, Proxmox, Debian, pfSense i inne.

To, co wyróżnia ZimaBoard 2 spośród większości mini komputerów na rynku — i co uczyniło go centralnym punktem tego eksperymentu domowego serwera — to jego natywne gniazdo PCIe 3.0 ×4. Jak wyjaśnia Zero:

Większość małych komputerów nie ma gniazda PCIe. Ale ZimaBoard ma je domyślnie. To właśnie to sprawia, że ten eksperyment jest możliwy.

Ten slot umożliwia instalację kart 10G NIC, adapterów NVMe, GPU oraz — co kluczowe dla tego projektu — szybkich kart sieciowych InfiniBand. W połączeniu z wbudowanym podwójnym Ethernet 2,5G, ZimaBoard 2 oferuje poziom rozbudowy, który jest naprawdę rzadki w tej kategorii cenowej.
Dodatkowe specyfikacje istotne dla tej budowy:

• Wbudowane wsparcie SATA dla dysków 2,5" HDD/SSD (bez potrzeby adapterów)
• Niskie zużycie energii — idealne do pracy serwera domowego 24/7
• Cicha, przyjazna dla chłodzenia pasywnego konstrukcja
• Mały format, który mieści się w standardowej szafie rack przy odpowiednim montażu

Featured

ZimaBoard 2 1664 Zestaw Master

Single board computer zimaboard2

$999.00

Buy Now

Wizja: Superkomputer DIY z 5 węzłami domowego serwera

Koncepcja Zero jest prosta w teorii i ambitna w praktyce: połączyć pięć jednostek ZimaBoard 2 za pomocą szybkiej sieci, tak aby ich łączne zasoby obliczeniowe mogły być traktowane jako jeden, zintegrowany system — klasyczna architektura klastra wysokowydajnych obliczeń (HPC).

To nie jest nowy pomysł. Superkomputery od dawna buduje się przez łączenie wielu mniejszych węzłów. Nowością tutaj jest cena i format. Zero wcześniej próbował podobnego eksperymentu z użyciem czterech komputerów Lichee RV Nano, ale doszedł do wniosku, że ZimaBoard 2 oferuje większe prawdopodobieństwo sukcesu:

"Kiedy pomyślałem o tym dokładniej, zdałem sobie sprawę, że to może działać jeszcze lepiej. Specyfikacje są wyższe, a slot PCIe jest już dostępny. Wskaźnik sukcesu jest wyższy niż w przypadku malutkich komputerów, których używałem wcześniej."

IceWhale Technology, producent ZimaBoard 2, zgodził się sponsorować sprzęt — dostarczając pięć kompletnych jednostek wraz z zestawami akcesoriów. Zero jasno podkreśla, że nie doszło do wymiany pieniędzy; ustalenie to było dostarczeniem produktu na potrzeby tego eksperymentu.

Przegląd sprzętu: Wszystko użyte w tej budowie

1. Pięć jednostek ZimaBoard 2

Każda jednostka dotarła w identycznym opakowaniu z tym samym specyfikacją. Zero zauważa, że sama płyta to tylko górna część zmontowanej jednostki — dolna sekcja to stojak na dyski twarde i rama montażowa. Każdy zestaw zawierał:

• Płyta ZimaBoard 2
• Przedłużacz PCIe
• Zestaw śrub i uchwyt PCIe
• Stojak na dyski twarde

Montaż został ukończony dla wszystkich pięciu jednostek. W każdej jednostce zainstalowano jeden dysk twardy — nie do użytku jako magazyn danych, lecz dlatego, że obudowa ZimaBoard 2 wymaga obecności dysku, aby uchwyt PCIe mógł być prawidłowo zamontowany.

2. Karty Mellanox ConnectX-3 Pro FDR InfiniBand (×5)

To właśnie tutaj budowa zdecydowanie wkracza na profesjonalne terytorium. Zero wybrał kartę Mellanox ConnectX-3 Pro FDR InfiniBand — adapter sieciowy PCIe zdolny do:

• Do 40GbE (40 Gigabit Ethernet) przez standardowe protokoły Ethernet
• Up to 56Gbps using FDR InfiniBand (Fourteen Data Rate) protocol

The card uses a QSFP+ port (Quad Small Form-factor Pluggable Plus) — a connector type typically found only in data centers and enterprise server environments.

A key feature of the ConnectX-3 Pro is RDMA (Remote Direct Memory Access) support, which allows data to be transferred between systems without burdening the CPU. As Zero explains:

"Podobno ta karta może obsługiwać komunikację danych bez obciążania CPU. To właśnie umożliwia wymianę danych z niezwykłą prędkością."

Praktyczne ograniczenie: slot PCIe w ZimaBoard 2 to ×4, podczas gdy ConnectX-3 Pro to natywnie karta ×8. Oznacza to, że karta lekko wystaje poza slot, a maksymalna przepustowość jest ograniczona do około 32Gbps na ZimaBoard 2 — wciąż ponad trzykrotnie szybciej niż połączenie 10GbE i całkowicie wystarczająco do tego eksperymentu.

"Nawet przy 32Gbps jest szybszy niż 10G LAN. I to karta, której mogę użyć w przyszłych projektach — traktuję ją więc jako inwestycję."

3. Kable DAC QSFP+ 56Gbps produkcji na zamówienie (×5)

Standardowe kable QSFP+ o długości 0,5 m są na rynku konsumenckim albo niedostępne, albo bardzo drogie. Rozwiązanie Zero: zamówić je na zamówienie.
Kable to kable DAC (Direct Attach Copper) — pasywne kable miedziane, które przesyłają sygnały wysokiej prędkości między portami QSFP+ bez potrzeby stosowania transceiverów optycznych. Na odległości poniżej 1 metra kable miedziane DAC są zarówno opłacalne, jak i w pełni zdolne do obsługi przepustowości 56Gbps.
Każdy kabel był testowany i weryfikowany pod kątem 56Gbps przed dostawą. Zero zauważa, że mają nawet własne logo — mały, ale satysfakcjonujący detal przy projekcie tej skali.

"Jeśli ktoś chce taki, dajcie znać w komentarzach. Może uda mi się zorganizować produkcję — choć nie jestem pewien, kto właściwie by go chciał."

4. Switch Mellanox SX6036 InfiniBand

Połączenie pięciu węzłów w klastrze wymaga czegoś więcej niż kabli punkt-punkt. Potrzebny jest switch, aby wszystkie węzły mogły komunikować się ze sobą jednocześnie — odpowiednik koncentratora sieciowego, ale dla InfiniBand.
Zero wybrał Mellanox SX6036, 36-portowy przełącznik QSFP+ InfiniBand przeznaczony do środowisk enterprise i HPC. Kluczowe specyfikacje:

• 36 portów QSFP+ — więcej niż wystarczająco dla pięciu węzłów, z miejscem na rozbudowę
• Pełne 56Gbps FDR InfiniBand na wszystkich portach
• Zarządzany przełącznik z własnym interfejsem konfiguracyjnym

SX6036 to jednostka montowana w szafie rack i jest zauważalnie większa w porównaniu do węzłów ZimaBoard 2. Zero zauważa ten kontrast:

"To ogromne. To nie jest coś, co normalnie postawiłbyś na biurku. Ale to sprzęt klasy serwerowej, więc to oczekiwane."

Wszystkie elementy w ścieżce sieciowej — karty, kable i przełącznik — są ocenione na 56Gbps, co zapewnia brak wąskich gardeł na warstwie połączeń. Efektywnym ograniczeniem pozostaje interfejs PCIe ×4 ZimaBoard 2 na poziomie ~32Gbps na węzeł.

5. Przełącznik LAN klasy enterprise (48 portów)

Aby oddzielić ruch zarządzania od ruchu danych InfiniBand, Zero zastosował także 48-portowy przełącznik LAN klasy enterprise do standardowego połączenia Ethernet. Każdy ZimaBoard 2 łączy się z tym przełącznikiem przez wbudowany port Ethernet 2,5G, zapewniając dostęp do internetu i standardowe zarządzanie siecią — całkowicie niezależnie od sieci klastra InfiniBand.

Montaż i pierwsze uruchomienie: co się wydarzyło

Po złożeniu i podłączeniu całego sprzętu Zero uruchomił system. Sekwencja:

1. Przełącznik Mellanox SX6036 włączony — od razu głośny z powodu wentylatorów chłodzących o dużej prędkości
2. Wszystkie pięć jednostek ZimaBoard 2 włączone — sloty PCIe podświetlone, co wskazuje na rozpoznanie kart
3. Przełącznik LAN podłączony do źródła internetu upstream
4. Przeprowadzono skanowanie sieci — wszystkie pięć jednostek ZimaBoard 2 pojawiło się w sieci

"Pojawiają się. Jeden, dwa, trzy, cztery — i jest Chappy, jednostka AI z ostatniego razu. Razem pięć. Wszystkie działają."

Zero zalogował się do jednej jednostki za pomocą tabletu, potwierdzając ekran powitalny ZimaOS i pomyślne uruchomienie. Sprawdzenie interfejsów sieciowych wykazało, że karta Mellanox została rozpoznana na poziomie sprzętowym (wymieniona pod Mellanox Technologies), ale sterownik nie został załadowany — to zachowanie oczekiwane, ponieważ ZimaOS domyślnie nie zawiera sterowników InfiniBand .

"Karty PCIe są aktywne i zasilane. Ale system operacyjny nie ma wbudowanego sterownika Mellanox, więc nie może ich jeszcze załadować. To jest coś, czym zajmiemy się w następnym filmie, gdy faktycznie spróbujemy połączenia klastra."

Co dalej

To była część 1: pozyskanie sprzętu, montaż i podstawowa weryfikacja uruchomienia. Przed nami prace obejmujące:

• Instalacja sterowników InfiniBand na wszystkich pięciu węzłach ZimaBoard 2
• Konfiguracja przełącznika Mellanox SX6036 (co wymaga osobnego procesu konfiguracji)
• Montaż wszystkiego w szafie serwerowej — Zero już zaprojektował uchwyt do druku 3D, ale jeszcze go nie wydrukował
• Uruchamianie rzeczywistych testów klastra aby zmierzyć łączną wydajność obliczeniową
• Testowanie rzeczywistych obciążeń — społeczność jest zaproszona do sugerowania eksperymentów w komentarzach

Zero jest też szczery co do ekonomii budowy:

"Sama ZimaBoard 2 nie jest bardzo droga. Biorąc pod uwagę możliwość rozbudowy i jakość wykonania, cena jest rozsądna. To trochę dużo jak na zabawkę, ale na eksperyment to uczciwa cena."

Dlaczego ZimaBoard 2 jest odpowiednią podstawą dla klastra serwerów domowych

Ten projekt ilustruje coś ważnego o filozofii projektowania ZimaBoard 2. Większość mini komputerów — nawet tych wydajnych — to systemy zamknięte. Działają dobrze jako samodzielne węzły serwerów domowych, ale nie można ich znacząco rozbudować ani połączyć na poziomie sprzętowym.
ZimaBoard 2 przełamuje tę barierę. Natomiast natywny slot PCIe to nie marketingowy dodatek — to prawdziwa decyzja architektoniczna, która umożliwia realną rozbudowę: karty sieciowe 10G, pamięć NVMe, akcelerację GPU oraz, jak pokazuje ten projekt, interkonekty InfiniBand klasy enterprise.
Niezależnie od tego, czy uruchamiasz Plex, Pi-hole, Proxmox, czy budujesz klaster serwerów domowych, który może konkurować z małym centrum danych, ZimaBoard 2 jest zaprojektowany tak, aby rozwijać się wraz z Twoimi ambicjami. Mały, łatwy do modyfikacji i — jak mówi Zero — "wygląda jak zabawka, ale działa jak bestia."

Śledź podróż Zero z DIY Superkomputerem

Projekt domowego superkomputera Zero to jeden z najbardziej technicznie ambitnych samodzielnych serwerów domowych, jakie widzieliśmy zbudowanych wokół ZimaBoard 2. Tylko w części 1 sprzęt obejmuje pięć węzłów ZimaBoard 2, pięć kart Mellanox ConnectX-3 Pro InfiniBand, pięć niestandardowych kabli DAC 56Gbps, 36-portowy przełącznik Mellanox SX6036 oraz 48-portowy przełącznik sieciowy klasy enterprise.
Wszystko się uruchomiło. Wszystko zostało rozpoznane. Fundament jest solidny.
W Zima jesteśmy dumni, że mogliśmy wesprzeć ten eksperyment i nie możemy się doczekać, aby podzielić się wynikami, gdy Zero będzie dążył do w pełni operacyjnego klastra. Subskrybuj kanał Zero, aby śledzić tę podróż, i bądź na bieżąco z blogiem Zima, gdzie pojawi się więcej informacji.