računska gruča krn

2r4.ijs.si

Računska gruča Krnkot primer postavitve v omrežje SLING

Sandi Cimerman, R-4

13. november 2013

3r4.ijs.siJesensko srečanje uporabnikov in administratorjev SLING

Zgodovina

Mangrtskupna investicija odsekov R-4 in F-8• osnovni nakup

• marec 2007• 12 vozlišč (2x po 2 jedri)

• nadgrajen decembra 2007 • 6 vozlišč (2x po 4 jedra)

• skupaj „samo“ 100 jeder in 144GB• še vedno v uporabi

Krnizkušnje z Mangrta, prilagojen za računske potrebe odsekov (ABAQUS, ANSYS…), predvsem večji in zmogljivejši• osnovna nabava 2010 (11 vozlišč „big mem“)• 1. nadgradnja 2011 (22 vozlišč)• 2. nadgradnja 2012 (16 „GPU“)

4r4.ijs.si

Opis gruče Krn – Nadzorno-prijavno vozlišče

Jesensko srečanje uporabnikov in administratorjev SLING

uporablja se za• login uporabnikov, dostop do računskih vozlišč• ureja čakalne vrste in skrbi za pošiljanje računov na računska vozlišča• nadzor vozlišč (temperatura, odpovedi komponent)• vzpostavitev računskih vozlišč (distribucijo sistemskih slik)• skupno diskovno polje „/home“ z dostopom z vseh vozlišč• pre/post processing, prevajanje kode• ustvarjanje in dostop do uporabniških profilov (ldap server)

…

Operacijski sistem: x64 SLES 11 SP 1Sistem čakalnih vrst: PBSpro 10.2

5r4.ijs.si

Opis gruče Krn – Računska vozlišča


Računski strežniki

• Skupno 49 računskih vozlišč • Procesorji

2 procesorja po 6 jeder Intel Xeon 5650/ 5670/X5675vsega skupaj 600 jeder / 1200 procesnih niti

• Spomin• od 24 do 96GB• skupaj 2TB+

• 16 GPU vozlišč• z Nvidia Tesla M2075• CUDA kompatibilna, 448 cuda jeder

• Vsa vozlišča na IB QDR x4 (32Gbps) povezavi - medračunski komunikaciji• Servisna GB mreža – služi za dostop, nadzor vozlišč ter distribucijo sistemskih slik

6r4.ijs.si

Opis gruče Krn – Shema gruče


/homePrijavno-nadzorno

vozlišče (HN)

GB ETH

IB QDR

2krn002

krn002-ib

3krn003

krn003-ib

4krn004

krn004-ib

5krn005

krn005-ib

6krn006

krn006-ib

…1krn001

krn001-ib

/

2x SAS v RAID0

/scratch

/home

Računsko vozlišče

7r4.ijs.si

Opis gručeKrn – Čakalne vrste


Sistem razdeljen na posamezne čakalne vrste glede na specifikacije vozlišč in čas nadgradenj

Npr. „gpu“ ali „big_mem“

Prvotni nakup

1. nadgradnja

2. Nadgradnja(gpu)

8r4.ijs.si

Pred povezovanjem v grid - naše želje

omogočiti dostop zunanjim uporabnikom do prostih računskih kapacitet

vendar smo pričakovali

•da imamo popoln nadzor nad gručo•lahko zagotavljamo določen nivo varnosti•imajo „domači“ uporabniki prednost pri dostopu do kapacitet•imeti popoln nadzor nad obremenitvijo gruče•zunanji uporabniki

• so zaupanja vredni• imeti nadzor nad njihovim dostopom do gruče


9r4.ijs.si

Pred povezovanjem v grid - naši „strahovi“


• komplicirane namestitve in posega v obstoječo konfiguracijo gruče• nameščanje programov na glavno vozlišče in/ali računska vozlišča• morebitni problemi z nekompatibilnimi servisnimi programi (sami

programI oz. nekompatibilnost z obstoječimi)• „domačim“ uporabnikom na voljo manj prostih kapacitet v obdobju večjih

obremenitev• večja količina administracije

Česa smo se pred vzpostavitvijo najbolj bali?

10r4.ijs.si

Pred povezovanjem v grid – mrežna konfiguracija

• Gruča je del podmreže IJS• Navzven ni neposredno dostopna

• Rešitev: vmesni strežnik krn.ijs.si


Zunanji uporabniki

RCP mreža

HN

1 3 52 4 6 7 …

gruča KrnVmesni strežnik

(ARC, gridftpd,...)

krn.ijs.si

Vmesni strežnikVirtualni strežnikSpomin: 256MB1 CPU @ 2GHzUbuntu 12.04.3

LTS

11r4.ijs.si

Povezovanje v grid – konfiguracija vmesnega strežnika


večina namestitve poteka na vmesnem strežniku, ločenem od obstoječe gruče

Postopek• na sistem se doda „nordugrid“ repozitorij paketov• namestita se paketa

• nordugrid-arc-compute-element in• nordugrid-arc-client

• ustvari in namesti se strežniški certifikat• omogoči se dostop preko požarnega zidu

• vrata 2811, 2135, 9000-9300

• uredi se konfiguracijska datoteka ARC• /etc/arc.conf• praktično vse nastavitve ARC servisov <- večino dela

• dostop do ldap strežnika (HN) – uporabnik „grid1“ ^

12r4.ijs.si

Povezovanje v grid – konfiguracija vmesnega strežnika 2/2


Servisi

• za konfiguracijo KRN-a smo potrebovali 5 servisova-rexnordugrid-arc-slapdnordugrid-arc-bdii nordugrid-arc-inforeggridftpd

• najprej se jih mora omogočiti:• v njihovih datotekah v mapi /etc/default se mora spremeniti „RUN=no“

spremeniti v „RUN=yes“

• nato se jih zažene v določenem vrstnem redu

• vse se beleži v datoteke v mapi /var/log/arc/

13r4.ijs.si

Povezovanje v grid – konfiguracija računske gruče


kaj smo spremenili na obstoječi gruči

glavno vozlišče

• v ldap se ustvari generičnega uporabnika „grid1“ / skupina „grid“• dodelili skupni diskovni prostor za shranjevanje začasnih in trajnih podatkov

(viden na vseh računskih vozliščih) /home/grid/grid1• v „qmgr“ omogoči zagon izračunov z vmesnega strežnika (krn.ijs.si)• vpiše ime vmesnega strežnika na /etc/hosts.equiv

računska vozlišča

• dodelili diskovni prostor za shranjevanje med izvajanjem računov (t.i. „scratch“)

nič drugega

14r4.ijs.si

Povezovanje v grid – težave in priporočila


težave

nameščeni različni tipi sistemov čakalnih vrstizdelava nove konfiguracijske datoteke arc.confnaša izbira operacijskega sistema - Ubuntu

rešitve

odlična navodila za nekatere OSe se že nahajajo na SLING/wikido zdaj dokumentacija za Ubuntu še ni obstajala, to-do: jo dodamo

15r4.ijs.si

zaključek


ideje

integracija računske gruče Mangrt

in zahvale

Jan Jona Javoršek, CMI, IJSBarbara Krašovec, ARNES

Dejan Lesjak, IJSJanez Jezeršek, MICR, IJS

Izkušnje

težavnost, čas

16r4.ijs.si

Vprašanja?


računska gruča krn

Documents