Vai jums ir nepieciešama mašīna, kas spēj nodrošināt simtiem triljonu peldošā komata aprēķinu sekundē? Vai arī jums ir nepieciešams bāra stāsts par to, kā jūsu pagrabā esošais superdators apgāza slēdzi? Izveidot savu augstas veiktspējas aprēķinu kopu, jeb superdatoru, ir izaicinājums jebkuram ekspertam, kurš nedēļas nogalē var pavadīt brīvo laiku un kādu naudu sadedzināt. Tehniski runājot, mūsdienīgs daudzprocesoru superdators ir datoru tīkls, kas paralēli strādā, lai atrisinātu problēmu. Šajā rakstā īsi tiks aprakstīts katrs procesa posms, koncentrējoties uz aparatūru un programmatūru.
Soļi
1. solis. Vispirms nosakiet nepieciešamos aparatūras komponentus un resursus
Jums būs nepieciešams viens galvas mezgls, vismaz ducis vienādu skaitļošanas mezglu, Ethernet slēdzis, strāvas sadales iekārta un statīvs. Nosakiet elektroenerģijas patēriņu, dzesēšanu un nepieciešamo telpu. Tāpat izlemiet, kādu IP adresi vēlaties izmantot saviem privātajiem tīkliem, kā nosaukt mezglus, kādas programmatūras pakotnes vēlaties instalēt un kādu tehnoloģiju vēlaties nodrošināt paralēlās skaitļošanas iespējām (vairāk par to vēlāk).
- Lai gan aparatūra ir dārga, visa šajā pamācībā uzskaitītā programmatūra ir bezmaksas, un lielākā daļa ir atvērtā koda.
- Ja vēlaties redzēt, cik ātri teorētiski darbotos jūsu superdators, izmantojiet šo rīku:
2. solis. Izveidojiet aprēķina mezglus
Jums būs jāsamontē skaitļošanas mezgli vai jāiegādājas iepriekš izveidoti serveri.
- Izvēlieties datora servera šasiju, kas maksimāli palielina telpu, dzesēšanu un energoefektivitāti.
- Vai arī varat izmantot apmēram duci lietotu, novecojušu serveru - kuru kopums pārsniegs to daļu summu, taču ietaupīsiet ievērojamu naudas vienību. Visiem procesoriem, tīkla adapteriem un mātesplatēm jābūt identiskām, lai visa sistēma varētu labi spēlēt kopā. Protams, neaizmirstiet par RAM un krātuvi katram mezglam un vismaz vienu optisko diskdzini galvenajam mezglam.
Solis 3. Instalējiet serverus statīvā
Sāciet no apakšas, lai statīvs nebūtu smags. Jums būs nepieciešams draugs, kurš jums palīdzēs - blīvie serveri var būt ļoti smagi, un ir grūti tos ievest sliedēs, kas tos tur bagāžniekā.
4. solis. Uzstādiet Ethernet slēdzi virs servera korpusa
Izmantojiet šo brīdi, lai konfigurētu slēdzi: atļaujiet 9000 baitu lielo kadru izmērus, iestatiet IP adresi uz statisko adresi, kuru izvēlējāties 1. darbībā, un izslēdziet nevajadzīgos maršrutēšanas protokolus, piemēram, SMTP Snooping.
5. solis. Uzstādiet PDU (strāvas sadales bloku)
Atkarībā no tā, cik liela strāva jūsu mezgliem var būt nepieciešama pie maksimālās slodzes, augstas veiktspējas skaitļošanai var būt nepieciešami 220 volti.
6. solis. Kad viss ir instalēts, varat sākt konfigurācijas procesu
Linux ir faktiskā operētājsistēma HPC klasteriem - tā ir ne tikai ideāla vide zinātniskai skaitļošanai, bet arī nemaksā neko, lai to instalētu simtiem vai pat tūkstošiem mezglu. Iedomājieties, cik izmaksātu Windows instalēšana visos šajos mezglos!
- Sāciet ar mātesplates BIOS un programmaparatūras jaunākās versijas instalēšanu, kurai visos mezglos jābūt vienādai.
- Katrā mezglā instalējiet vēlamo Linux distro ar galvas mezgla grafisko lietotāja saskarni. Populāras izvēles iespējas ir CentOS, OpenSuse, Scientific Linux, RedHat un SLES.
- Šis autors ļoti iesaka izmantot Rocks Cluster Distribution. Papildus visu rīku instalēšanai, kas nepieciešami skaitļošanas kopas darbībai, Rocks izmanto lielisku metodi, lai ļoti ātri “izplatītu” daudzus savus gadījumus mezglos, izmantojot PXE sāknēšanu un Red Hat “Kick Start” procedūru.
7. solis. Instalējiet ziņojumu nodošanas saskarni, resursu pārvaldnieku un citas nepieciešamās bibliotēkas
Ja iepriekšējā solī neinstalējāt Rocks, jums būs manuāli jāiestata nepieciešamā programmatūra, lai iespējotu paralēlās skaitļošanas mehānismus.
- Vispirms jums būs nepieciešama pārnēsājama bash vadības sistēma, piemēram, griezes momenta resursu pārvaldnieks, kas ļauj sadalīt un sadalīt uzdevumus vairākām mašīnām.
- Lai pabeigtu iestatīšanu, savienojiet pārī griezes momentu ar Maui klastera plānotāju.
- Tālāk jums būs jāinstalē ziņojumu nodošanas saskarne, kas nepieciešama, lai atsevišķie skaitļošanas mezgli atsevišķiem procesiem koplietotu tos pašus datus. OpenMP ir vienkāršs.
- Neaizmirstiet vairākas pavedienu matemātikas bibliotēkas un kompilatorus, lai izveidotu paralēlās skaitļošanas programmas. Vai es minēju, ka jums vajadzētu vienkārši instalēt Rocks?
8. solis. Savienojiet kopā skaitļošanas mezglus
Galvenais mezgls nosūta aprēķināšanas uzdevumus skaitļošanas mezgliem, kuriem savukārt ir jānosūta rezultāts atpakaļ, kā arī jānosūta ziņojumi viens otram. Jo ātrāk, jo labāk.
- Izmantojiet privātu Ethernet tīklu, lai savienotu visus kopas mezglus.
- Galvenais mezgls var darboties arī kā NFS, PXE, DHCP, TFTP un NTP serveris Ethernet tīklā.
- Šis tīkls ir jāatdala no publiskajiem tīkliem, kas nodrošina, ka apraides paketes netraucē citiem jūsu LAN tīkliem.
9. solis. Pārbaudiet kopu
Pēdējā lieta, ko, iespējams, vēlēsities darīt pirms visu šo skaitļošanas jaudu nodošanas lietotājiem, ir pārbaudīt tās veiktspēju. HPL (High Performance Lynpack) etalons ir populāra izvēle klastera skaitļošanas ātruma mērīšanai. Jums tas jāapkopo no avota ar visām iespējamām optimizācijām, ko jūsu kompilators piedāvā jūsu izvēlētajai arhitektūrai.
- Jums, protams, jāapkopo no avota ar visām iespējamām jūsu platformas optimizācijas iespējām. Piemēram, ja izmantojat AMD CPU, apkopojiet ar Open64 ar -0 ātru optimizācijas līmeni.
- Salīdziniet savus rezultātus vietnē TOP500.org, lai salīdzinātu savu kopu ar 500 ātrākajiem superdatoriem pasaulē!
Video - izmantojot šo pakalpojumu, daļa informācijas var tikt kopīgota ar pakalpojumu YouTube
Padomi
- Lai iegūtu patiešām lielu tīkla ātrumu, apskatiet InfiniBand tīkla saskarnes. Tomēr esiet gatavi maksāt augstākas cenas.
- IPMI var atvieglot liela klasteru administrēšanu, nodrošinot KVM-over-IP, attālinātu enerģijas ciklu un daudz ko citu.
- Izmantojiet Ganglia, lai uzraudzītu skaitļošanas slodzes uz mezgliem.
