Från uppackning till 56 Gbps: 5-stegsplanen för att bygga en hemserver-superdator med ZimaBoard 2

Introduktion

Detta blogginlägg publiceras av Zima och baseras på en video skapad av Zero, en japansk teknikinnnehållsskapare som har utforskat single-board servrar och hemmaserverexperiment på sin YouTube-kanal. Vi på Zima är djupt tacksamma till Zero för hans entusiasm, kreativitet och vilja att driva ZimaBoard 2 långt bortom konventionella användningsområden. Följande är en redaktionell anpassning av hans videotranskript, omstrukturerad för läsare intresserade av hemserverbyggen, nätverkshårdvara och DIY-superdatorer. All teknisk data, steg och fynd är bevarade från originalinnehållet.

Vad krävs för att bygga en superdator hemma? För de flesta innebär svaret företagsklassade rack, ett dedikerat serverrum och en budget som hör hemma i ett datacenter. Men Zero hade en annan idé — en som börjar med fem kompakta single-board servrar på ett skrivbord och slutar med en 56Gbps InfiniBand-switch som kopplar ihop dem alla till ett enhetligt beräkningskluster.

Detta är Del 1 av den resan: uppackningen, hårdvalsvalet, monteringen och den första lyckade uppstarten av alla fem noder. Inga resultat än — men grunden är extraordinär.

Vad är ZimaBoard 2, och varför är det viktigt för detta bygge?

Innan vi dyker in i klusteruppsättningen är det värt att förstå varför Zero valde ZimaBoard 2 som grunden för detta experiment.

ZimaBoard 2 är en single-board server (SBS) — en kategori som skiljer sig från den mer bekanta single-board computer (SBC) som Raspberry Pi. Medan båda är kompakta och energisnåla, signalerar SBS-beteckningen en annan designfilosofi: dessa enheter är byggda för att köras som servrar, inte bara som hobbydatorer. ZimaBoard 2 utvecklas av IceWhale Technology och kan köra ZimaOS, TrueNAS, Proxmox, Debian, pfSense och mer.

Det som skiljer ZimaBoard 2 från de flesta minidatorer på marknaden — och vad som gjorde den till mittpunkten i detta hemserver-experiment — är dess inbyggda PCIe 3.0 ×4-plats. Som Zero förklarar:

De flesta små datorer har inte en PCIe-plats. Men ZimaBoard har en som standard. Det är det som gör detta experiment möjligt.

Denna plats möjliggör installation av 10G NICs, NVMe-adaptrar, GPU:er och — avgörande för detta projekt — högpresterande InfiniBand-nätverkskort. Tillsammans med inbyggd dual 2,5G Ethernet erbjuder ZimaBoard 2 en expansionsmöjlighet som är verkligt sällsynt i denna prisklass.
Ytterligare specifikationer relevanta för detta bygge:

• Inbyggt stöd för SATA för 2,5" HDD/SSD (inga adapterhattar krävs)
• Låg strömförbrukning — idealisk för 24/7 drift av hemmabserver
• Tyst, fläktlös design
• Liten formfaktor som passar i ett standardrack med rätt monteringslösning

Featured

ZimaBoard 2 1664 Masterkit

Single board computer zimaboard2

$999.00

Buy Now

Visionen: En DIY-superdator med 5 hemmabservernoder

Zeros koncept är enkelt i teorin och ambitiöst i praktiken: koppla ihop fem ZimaBoard 2-enheter via högpresterande nätverk så att deras samlade beräkningsresurser kan behandlas som ett enda, enhetligt system — en klassisk högpresterande databehandling (HPC)-klusterarkitektur.

Detta är ingen ny idé. Superdatorer har länge byggts genom att koppla ihop många mindre noder. Det nya här är prisnivån och formfaktorn. Zero hade tidigare försökt ett liknande experiment med fyra Lichee RV Nano-datorer, men drog slutsatsen att ZimaBoard 2 erbjöd en högre sannolikhet för framgång:

"När jag tänkte efter noggrannare insåg jag att detta kunde fungera ännu bättre. Specifikationerna är högre, och PCIe-platsen finns redan där. Framgångsgraden är högre än med de små datorer jag använde tidigare."

IceWhale Technology, tillverkaren av ZimaBoard 2, gick med på att sponsra hårdvaran — och levererade fem kompletta enheter tillsammans med deras tillbehörskit. Zero är tydlig med att inga pengar bytte händer; arrangemanget var en produktleverans för detta experiments skull.

Översikt över hårdvaran: Allt som användes i detta bygge

1. Fem ZimaBoard 2-enheter

Varje enhet levererades i identisk förpackning med samma specifikation. Zero noterar att kortet i sig bara är den övre delen av den monterade enheten — den nedre delen är ett hårddiskställ och monteringschassi. Varje kit innehöll:

• ZimaBoard 2-kortet
• PCIe-förlängningskabel
• Skruvkit och PCIe-fäste
• Hårddiskställ

Monteringen slutfördes för alla fem enheter. En hårddisk installerades per enhet — inte för lagringsändamål, utan för att ZimaBoard 2-chassit kräver en disk för att PCIe-fästet ska monteras korrekt.

2. Mellanox ConnectX-3 Pro FDR InfiniBand-kort (×5)

Här tar bygget ett avgörande steg in i professionell terräng. Zero valde Mellanox ConnectX-3 Pro FDR InfiniBand-kortet — en PCIe-nätverksadapter som kan:

• Upp till 40GbE (40 Gigabit Ethernet) över standard Ethernet-protokoll
• Upp till 56Gbps med FDR InfiniBand (Fourteen Data Rate)-protokollet

Kortet använder en QSFP+-port (Quad Small Form-factor Pluggable Plus) — en kontakttyp som vanligtvis bara finns i datacenter och företagsservermiljöer.

En nyckelfunktion i ConnectX-3 Pro är RDMA (Remote Direct Memory Access) stöd, vilket tillåter dataöverföring mellan system utan att belasta CPU:n. Som Zero förklarar:

"Tydligen kan detta kort hantera datakommunikation utan att belasta CPU:n. Det är det som möjliggör datautbyte i en extraordinär hastighet."

Den praktiska begränsningen: ZimaBoard 2:s PCIe-plats är ×4, medan ConnectX-3 Pro är ett ×8-kort från början. Det innebär att kortet sticker ut lite fysiskt från platsen, och maximal genomströmning är begränsad till ungefär 32Gbps på ZimaBoard 2 — fortfarande mer än tre gånger snabbare än en 10GbE-anslutning, och helt tillräckligt för detta experiment.

"Även vid 32Gbps är det snabbare än 10G LAN. Och det är ett kort jag kan använda för framtida projekt också — så jag ser det som en investering."

3. Specialtillverkade 56Gbps QSFP+ DAC-kablar (×5)

Standard QSFP+-kablar på 0,5 m längd är antingen otillgängliga eller orimligt dyra på konsumentmarknaden. Zeros lösning: få dem specialtillverkade.
Kablarna är DAC (Direct Attach Copper)-kablar — passiva kopparkablar som överför högfrekventa signaler mellan QSFP+-portar utan att kräva optiska transceivrar. För avstånd under 1 meter är koppar-DAC-kablar både kostnadseffektiva och fullt kapabla att hantera 56Gbps genomströmning.
Varje kabel testades och verifierades till 56Gbps innan leverans. Zero noterar att de till och med har en egen logotyp — en liten men tillfredsställande detalj för ett projekt i den här skalan.

"Om någon vill ha en, meddela mig i kommentarerna. Jag kanske kan ordna tillverkning — även om jag inte är säker på vem som faktiskt skulle vilja ha en."

4. Mellanox SX6036 InfiniBand-switch

Att koppla ihop fem noder i ett kluster kräver mer än punkt-till-punkt-kablar. En switch behövs så att alla noder kan kommunicera med varandra samtidigt — motsvarigheten till en nätverkshubb, men för InfiniBand.
Zero valde Mellanox SX6036, en 36-portars QSFP+ InfiniBand-switch designad för företags- och HPC-miljöer. Viktiga specifikationer:

• 36 QSFP+ portar — mer än tillräckligt för fem noder, med utrymme för expansion
• Full 56Gbps FDR InfiniBand stöd på alla portar
• Hantera switch med egen konfigurationsgränssnitt

SX6036 är en rackmonterad enhet och märkbart stor jämfört med ZimaBoard 2-noderna. Zero noterar kontrasten:

"Det är enormt. Det är inte något man normalt ställer på ett skrivbord. Men det är en serverklassad utrustning, så det är väntat."

Alla komponenter i nätverksvägen — korten, kablarna och switchen — är klassade för 56Gbps, vilket säkerställer att ingen flaskhals uppstår i interconnect-lagret. Den effektiva takgränsen är fortfarande ZimaBoard 2:s PCIe ×4-gränssnitt på ~32Gbps per nod.

5. Företags-LAN-switch (48-portar)

För att hålla hanteringstrafik och InfiniBand-datatrafik separerade använde Zero även en 48-portars företags-LAN-switch för standard Ethernet-anslutning. Varje ZimaBoard 2 ansluts till denna switch via sin inbyggda 2,5G Ethernet-port, vilket ger internetåtkomst och standard nätverkshantering — helt oberoende av InfiniBand-klusternätverket.

Montering och första uppstart: Vad hände

Med all hårdvara monterad och ansluten startade Zero systemet. Sekvensen:

1. Mellanox SX6036-switch påslagen — omedelbart högljudd på grund av högvarviga kylfläktar
2. Alla fem ZimaBoard 2-enheter påslagna — PCIe-platserna lyste, vilket indikerar kortigenkänning
3. LAN-switch ansluten till uppströms internetkälla
4. Nätverksskanning utförd — alla fem ZimaBoard 2-enheter dök upp i nätverket

"De dyker upp. En, två, tre, fyra — och där är Chappy, AI-enheten från förra gången. Fem totalt. Alla aktiva."

Zero loggade sedan in på en enhet via surfplatta och bekräftade ZimaOS välkomstskärm och lyckad uppstart. En kontroll av nätverksgränssnitten visade att Mellanox-kortet erkändes på hårdvarunivå (listat under Mellanox Technologies), men ingen drivrutin var laddad — förväntat beteende, eftersom ZimaOS inte inkluderar InfiniBand-drivrutiner som standard.

"PCIe-korten är aktiva och får ström. Men operativsystemet har inte Mellanox-drivrutinen inbyggd, så det kan inte laddas än. Det är något vi kommer att ta upp i nästa video när vi faktiskt försöker ansluta klustret."

Vad som kommer härnäst

Detta var Del 1: hårdvaruanskaffning, montering och grundläggande uppstartskontroll. Det kommande arbetet inkluderar:

• Installerar InfiniBand-drivrutiner på alla fem ZimaBoard 2-noder
• Konfigurerar Mellanox SX6036-switchen (vilket kräver en egen installationsprocess)
• Monterar allt i ett serverrack — Zero har redan designat ett 3D-utskriftsbart fäste men har ännu inte skrivit ut det
• Kör faktiska klusterbenchmarktester för att mäta samlad beräkningsprestanda
• Testar verkliga arbetsbelastningar — communityn är inbjuden att föreslå experiment i kommentarerna

Zero är också ärlig om ekonomin i bygget:

"ZimaBoard 2 i sig är inte extremt dyr. När man räknar in utbyggbarhet och byggkvalitet är priset rimligt. Det är lite mycket för en leksak, men för ett experiment är det ett rättvist pris."

Varför ZimaBoard 2 är den rätta grunden för ett hemserverkluster

Detta projekt illustrerar något viktigt om ZimaBoard 2:s designfilosofi. De flesta minidatorer — även kapabla sådana — är slutna system. De fungerar bra som fristående hemservernoder, men de kan inte meningsfullt byggas ut eller sammankopplas på hårdvarunivå.
ZimaBoard 2 bryter den gränsen. Den inbyggda PCIe-platsen är inte en marknadsföringsfunktion — det är ett genuint arkitektoniskt beslut som möjliggör verklig utbyggbarhet: 10G NICs, NVMe-lagring, GPU-acceleration, och, som detta projekt visar, företagsklassade InfiniBand-anslutningar.
Oavsett om du kör Plex, Pi-hole, Proxmox eller bygger ett hemserverkluster som kan mäta sig med ett litet datacenter, är ZimaBoard 2 designad för att växa med dina ambitioner. Liten, hackbar och — som Zero uttryckte det — "ser ut som en leksak men kör som ett odjur."

Följ Zeros DIY Superdatorresa

Zeros hemmasuperdatorprojekt är ett av de mest tekniskt ambitiösa DIY hemserverbyggen vi har sett byggda kring ZimaBoard 2. Bara i Del 1 inkluderar hårdvarustacken fem ZimaBoard 2-noder, fem Mellanox ConnectX-3 Pro InfiniBand-kort, fem specialanpassade 56Gbps DAC-kablar, en 36-portars Mellanox SX6036-switch och en 48-portars företags-LAN-switch.
Allt startade. Allt kändes igen. Grunden är solid.
Vi på Zima är stolta över att ha stöttat detta experiment och ser fram emot att dela resultaten när Zero arbetar mot en fullt fungerande kluster. Prenumerera på Zeros kanal för att följa resan och håll utkik på Zima-bloggen för vidare rapportering.