1. ta su Data centri?

Data centri, ili raunarski centri, kako se jo nazivaju, predstavljaju posebno izgraene objekte, ili prostorije u objektima koje slue za smetaj kompjuterskih sistema i njihovih komponenti, kao to su telekomunikacioni i storid sistemi. U globalu, sastoje se od velikog broja izvora napajanja, komunikacionih kablova, instrumenata za praenje stanja u prostoriji ( na primer: klima ureaji, protivpoarni sistem itd. ) i sigurnosnih ureaja. Poetci nastanka data centara vezuju se za velike sobe u kojima su se smetali veliki raunari u ranijim razdobljima razvoja raunarstva. Raniji kompjuterski sistemi bili su kompleksni za korienje i odravanje i zahtevali su specifino okruenje u kome bi radili. Bilo je potrebno mnogo kablova za povezivanje ureaja, a metode za njihov smetaj u prostoriji morale su biti dobro osmiljene, uz pomo, na primer, postolja za postavljanje opreme, podignutih podova i kuita za kablove, postavljenih iznad ili ispod podignutih podova. Takoe, svaki mainframe je morao da ima dovoljan i neprekidan dotok napajanja, ali i dobar sistem za hlaenje kako se ne bi pregrejao. Sigurnost je bila na visokom nivou, kompjuteri su bili skupi, i esto su korieni u vojne svrhe. Zato su razvijene posebne smernice za kontrolu pristupa takvim prostorijama. Tokom buma mikroraunara, naroito 1980-ih godina, komjuteri su se rairili svuda a da se pri tom nije vodilo mnogo rauna o uslovima u kojima oni rade i njihovom odravanju. Meutim, kako je informaciona tehnologija napredovala i postala znaajan resurs, kompanije su postale svesne injenice da moraju upravljati svojim IT resursima. Sa razvojem klijent server arhitekture, tokom 1990-ih, mikroraunari, koji su nazvani serveri, poinju polako da se vraaju u te stare kompjuterske sobe. Velika dostupnost jeftine mrene opreme, zajedno sa strukturnim kabliranjem, uinila je moguim hijerarhijski dizajin koji smeta servere u specijalne prostorije unutar kompanije. Tako sve ee poinje da se koristi termin data centri. Pravi bum data centri su doiveli tokom nastanka tzv. .com balona. Kompanijama je bio neophodan brz i konstantan pristup internetu. Ali instaliranje ovakve opreme finansijski nije bilo izvodljivo za mnoge male kompanije. Zato su mnoge kompanije poele da grade veoma velika postrojenja, nazvana Internet Data Centri ( IDC ) koja su opsluivala poslovanje sa velikim brojem reenja za funkcionisanje sistema i sa velikim brojem operacija. Razvoj nove tehnologije i praksa, doveli su do razvoja privatnih data centara. Sa pojavom i razvojem cloud computing-a, kompanije, i vlade irom sveta, podigle su nivo data centara u pogledu sigurnosti, dostupnosti i odnosa sa okolinom. Standardi akreditovanih1|Str

profesionalnih udruenja, kao to je Telecommunications Industry Association, daju smernice za izgradnju I funkcionisanje data centara danas. U sutini, data centri su veoma skupi za izgradnju I odravanje.

Sl.1. Moderni telekomunikacioni data centar

2|Str

2. Zahtevi modernih data centara

Informaciona tehnologija danas predstavlja najvaniji aspekt poslovanja organizacija. Glavna briga dananjih kompanija je kako odrati kontinuitet u poslovanju, i zato kompanije zavise od svojih informacionih sistema. Ako informacioni sistem otkae, poslovanje se moe usporiti ili ak i zaustaviti. Sigurnost informacija i podataka je takoe velika briga, a data centri upravo nude sigurno okruenje koje minimizira mogunost neovlaenog korienja tuih informacija. A za to su neophodni visoki standardi. Telecommunications Industry Association's, sa svojim TIA-942 Telecommunications Infrastructure Standard for Data Centers, odreuje minimalne uslove koje mora da ispuni telekomunikaciona infrastruktura jednog data centra I raunarske sobe, bilo da se radi o privatnom data centru jedne kompanije ili je u pitanju javni Internet hosting data centar. Efikasni data centri zahtevaju balansirano investiranje kako u izgradnju odgovarajueg objekta, tako I u opremu. Prvi korak je izgraditi objekat u okruenju koje e biti pogodno za instalaciju opreme. Standardizacija I modularnost mogu da poboljaju performanse telekomunikacionih data centara. Standardizacija znai jedinstvo izgradnje objekta I inenjeringa. Iz ovih razloga, telekomunikacioni data centri se paljivo planiraju I razvijaju. Takozvani lights-out data centri, ili mrani data centri, su oni koji imaju svu opremu I obavljaju sve operacije samostalno, bez uplitanja ljudi, osim u specifinim situacijama. Upravo iz tih razloga oni rade u potrpunom mraku. Svi ureaji u takvom data centru se kontroliu iz specijalne kontrolne sobe. Njihova velikaprednost je smanjenja potreba za osobljem za odravanje, I uteda u potronji elektrine energije koju postiu. Transformacija data centara je prola kroz nekoliko faza, od tradicionalnih data centara do modernih pristupa izgradnji I funkcionisanju data centara. Proces transformacije data centra ukljuuje : Standardizaciju / konsolidaciju svrha je smanjenje velikog broja data centara koje velike kompanije imaju. Ovaj proces podrazumeva smanjenje broja hardvera, softvera, opreme i procesa u data centru.

3|Str

Virtualizaciju ovo je trend ka virtualizaciji IT tehnologija kako bi se zamenila mnogostruka oprema u data centrima, kao to su serveri na primer. Ona smanjuje investicione trokove data centra, i potronju energije.

Automatizaciju koja se odnosi na automatizaciju obavljanja operacija u data centru kako bi vie operacija i zadataka centar mogao sam da obavlja, ukoliko organizacija ima mali broj obuenih IT radnika, na primer

Sigurnost u modernim data centrima, sigurnost podataka u virtuelnom okruenju je podjednako vana kao i sigurnost fizike infrastrukture.

4|Str

3. Nivoi data centra ( Data center Tiers )

Telecommunications Industry Association je trgovaka asocijacija ustanovljena od strane ANSI ( Amerikog Instituta za Standarde ). Ona je 2005 godine ustanovila etiri nivoa data centra koji se popularno nazivaju Tier standardi ( ANSI/TIA-942 ). Tier klasifikacija data centara odnosi se na opis infrastrukture data centara po nivoima, sa ciljem odravanja odreenog nivoa operativnosti celokupnog data centra. Karakteristike pojedinih sistema ili podsistema data centra samo su deo ukupne slike Tier standardizacije data centra. Za svaki od podsistema se definie redundantnost i vreme ispravnog rada kako bi se ispunili specifini Tier zahtevi raspoloivosti. Ocena data centra daje se na osnovu ocene najslabijeg podsistema koji utie na raspoloivost celokupnog data centra. Prikaz nivoa standardizacije dat je na Slici 2.

Sl.2. Tier nivoi standardizacije Data centra

Tier 1 data centar ne moe da obezbedi neometan rad IT opreme smetene u data centru u sluaju planiranih radova na infrastrukturi, odnosno da bi se izveli planirani radovi, neophodno je5|Str

gaenje veine ili svih podsistema koji ine infrastrukturu data centra. Neplanirani radovi ili otkaz pojedinih podsistema infrastrukture za direktnu posledicu imaju prekid rada IT opreme. Tier 2 data centar moe da obezbedi neometan rad IT opreme smetene u data centru prilikom izvoenja planiranih radova na infrastrukturi data centra (osim ako se radovi ne izvode na samom izvoru napajanja), dok neplanirani radovi ili otkaz pojedinih podsistema infrastrukture mogu prouzrokovati prekid rada IT opreme, smetene u data centru. Infrastruktura Tier 3 data centra izvedena je tako da je obezbeena potpuna redundantnost sistema napajanja elektrinom energijom i sistema hlaenja, odnosno tako da omoguava da IT oprema bude istovremeno prikljuena na redundantne podsisteme, pa da je mogue neometano izvoditi planirane radove na jednom podsistemu, bez uticaja na operativnost IT opreme koju opsluuje redundantni podsistem. Standard podrazumeva da je uvek aktivan samo jedan podsistem. Tier 4 data centri imaju viestruke, fiziki izolovane podsisteme koji omoguavaju potpunu redundantnost na nivou napajanja i sistema hlaenja. Mogue je simultano koristiti sve podsisteme koji rade u konfiguraciji od najmanje N+1. Pregled Tier nivoa tj. zahteva koje odreeni nivoi treba da ispunjavaju dat je u tabeli ispod.

Neki od tipinih parametara koji se mere i koriste za klasifikaciju data centara dati su u sledeoj tabeli.

6|Str

TIA 942 standard sadri preporuke koje se odnose na dizajn prostora namenjenog za data centar, strukturno kabliranje, usklaivanje sa Tier standardima i okruenje. ASHRE (American Society of Heating, Refrigeration, and Air-Conditioning Engineers) je internacionalno udruenje inenjera iz oblasti klimatizacije, grejanja i hlaenja (KGH) sa misijom da unapreuje nauni rad, projektovanje i izvoenje u toj oblasti. Jedna od delatnosti je i izdavanje tehnikih preporuka i standarda iz oblasti KGH.

7|Str

4. Osnove projektovanja Data centra

4.1.

Arhitektura kompanijskog Data centra

Tokom dosadanjeg razvoja arhitekture DC mogu se uoiti tri faze i to:

Data Centar 1.0 - Centralizovana sa mainframe-ovima zaduenim za obradu i uvanje podataka, korisnici su za pristup koristili terminale, karakterie je visoka pouzdanost i dostupnost

Data Centar 2.0 - Klijent-server pristup, distribuirano procesiranje, poslovne aplikacije se izvravaju na serverima pri emu korisnici pristupaju preko klijentskih programa Data Centar 3.0 - Centralizacija raunarskih resursa, virtuelizacija, unificirana oprema i unificirani raunarski sistem, vee iskorienje raunarskih i mrenih resursa

8|Str

Cisco-va topologija Data Centra 3.0: Na najviem nivou se nalaze virtuelne maine koje predstavljaju softverske entitete koji igraju ulogu hardverskih resursa sposobnih za izvravanje gostujueg OS saglasno rasporedu koji utvrdi hipervizor. Unutar unificiranih raunarskih resursa, profil servisa definie identitet servera koji sadri karakteristike kao to su memorija, CPU, mrene kartice, informacije o storidima i boot image. 10GEthernet, FCoE i Fibre Channel tehnologije obezbjeuju unificirane mrene resurse. Tehnike virtuelizacije kao to su VLAN i VSAN obezbjeuju logiko segmentiranje LAN i SAN mrea.

Na najniem nivou imamo hardver za virtuelizaciju storage i mrenih ureaja.

9|Str

4.2.

Izazovi u realizaciji Data centra

Prilikom izgradnje DC najvei izazovi vezani za implementaciju servera i mrene opreme su:

Energetsko napajanje ( napajanje ureaja (serveri, storage i mrena oprema), hlaenje (regulacija temperature i vlanosti), osvetljenje, gubici... ) Iskorienje fizikog prostora Menadment resursa Zatita servera Podrka virtuelizaciji4.3.

Infrastruktura Data centra

Hijerarhijska arhitektura: Jezgro Brza L3 komutacija IP multicast

Agregacija (distribucija) Zatita Aplikacioni servisi Content switching redundansa

Pristup

Dovoljan broj portova L2 i L3 servisi Brza komutacija i]

Nisko kanjenje

10 | S t r

4.4.

Virtuelizacija pregled i tehnologije

Virtuelizacija obuhvata vie tehnologija koje imaju sposobnost da abstrahuju logike elemente iz harvera ili mrea i aktiviraju ih iz virtuelnog stanja. Tehologije virtuelizacije dozvoljavaju da fiziki ureaj deli svoje resurse funkcioniui kao vie verzija samog sebe. Druge forme virtuelizacije omoguavaju veem broju ureaja da se ponaa kao jedan. Virtuelizacija donosi mnogo prednosti: Bolje iskorienje raunarskih resursa i laka migracija servera

Fleksibilnost u smislu nadogradnje, rekonfiguracije ili promene namene Izolacija saobraaja kroz grupisanje korisnika Sprovoenje sigurnosnih politika na nivou sektora ili odeljenja

Smanjenje potronje energije i potrebnog prostora Smanjenje operativnih trokova Tipovi virtuelizacije su : Mrena virtuelizacija - Logiko deljenje mrenih segmenata koji su implementirani

na istoj fizikoj infrastrukturi, svaki segment funkcionie nezavisno i logiki je odvojen od ostalih segmenata,svaki segment ima svoju politiku privatnosti i zatite, QoS nivoe i odvojene putanje rutiranja. Primeri su: VLAN: Virtual local-area network VSAN: Virtual storage-area network VRF: Virtual routing and forwarding VPN: Virtual private network VPC: Virtual Port Channel

Virtuelizacija ureaja - Jedan fiziki ureaj se ponaa kao vie sopstvenih kopija. Logiki

ureaji funkcioniu nezavisno jedan od drugog na istom hardveru. Softver kreira virtuelni hardver koji funkcionie kao fiziki mreni ureaj ili vie fizikih ureaja se ponaaju kao jedan. Primeri su: Server virtualization: Virtual machines (VM)11 | S t r

Cisco Application Control Engine (ACE) context Virtual Switching System (VSS) Cisco Adaptive Security Appliance (ASA) firewall context Virtual device contexts (VDC)

Tehnologije virtuelizacije: Virtual Switching System (VSS) - tehnologija mrene virtuelizacije koja omoguava da dva komutatora (npr Cisco Catalyst 6500) fukcioniu kao jedan logiki komutator. Poveava operativnu efikasnost i mogunost proirenja kapaciteta do 1.4 Tb/s. Ova tehnologija je slina This technology StackWise technologiji koja je koriena kod Cisco Catalyst 3750 switcheva kako bi se svi switchevi u steku ponaili kao jedan. Limitiran je na povezivanje dva ureaja. Virtual routing and forwarding (VRF) - Tehnologija virtuelizacije rutiranja koja

omoguava da vie logikih L3 tabela rutiranja mogu biti implementirane na jednom ueaju. U Multiprotocol Label Switching (MPLS) VPN okruenju ova tehnologija omoguava koegzistenciju vie mrea na istoj MPLS mrei. Informacije u tabelama rutiranja su dostupne samo ruterima iz istog VRF. Device context - Omoguava da jedan mreni ureaj hostuje vie virtuelnih mrenih ureaja. Svaki ureaj ima nezavisnu konfiguraciju, mrene interfejse ili naloge za menadment. Virtuelizovani kontekst koji se izvrava na jednoj maini se ponaa kao nezavisna i samostalna maina. Cisco komutatori Nexus 7000 serije.

4.5.

Izazovi deljenja resursa

Virtuelizacija nudi reenja problema deljenja mrenih resursa uz zadravanje odvojenosti korisnika. Mrea mora biti sigurna, pouzdana i skalabilna. Kontrola pristupa - korisnici i ureaji moraju biti identifikovani i autorizovani prilikom povezivanja na mreu. Zatita na nivou pristupa je kritina za spreavanje internog i eksternog ugroavanje mree.

12 | S t r

Izolacija puteva - kreiranje odvojenih logikih puteva na jednoj fizikoj mrei. MPLS, VLAN, VSAN. Vea skalabilnost, pouzdanost i bolja zatita Granica servisa - ograniavanje dostupnosti servisa za odreenu grupu korisnika. U slaju potrebe deljenja informacije uvoenje cenralizovanog upravljanja, kontrole pristupa i sprovoenja sigurnosne politike.

5.

Primer : Telenor Tier3 Data Centar Beograd

Telenorov Data Centar izgraen je i prua usluge u skladu sa Tier3 standardima i prvi je takve vrste u regionu. Telenor Data Centar povezan je viestrukim vezama ka meunarodnim Tier1 operatorima i nacionalnim telekomunikacionim mreama pri emu je pored kvalitetnog direktnog pristupa Internetu obezbeeno i povezivanje udaljenih lokacija korisnika preko nacionalnih i meunarodnih vodova. Lokacija: Omladinskih brigada 92, 11070 Beograd, Srbija Data centar se nalazi u zasebnom objektu izgraenom u martu 2010. godine. Bezbednost Kontrola fizikog pristupa opremi korisnika sprovodi se preko odgovarajuih bezbednosnosigurnosnih sistema pri emu je obezbeena viestruka mehaniko-elektronska kontrola ulaska u objekat i prostor Data Centra. Objekat je obezbeen sigurnosnom ogradom uz potpuno kontrolisani pristup ulazu i opremljen je 24/7 sistemom video nadzora, uz stalno prisustvo fizikog obezbeenja. Kontrola pristupa prostorijama u Data Centru sprovedena je u skladu sa unapred dodeljenim korisnikim pravima pristupa i bezbednosnim procedurama koje podrazumevaju i autentifikaciju preko itaa ID kartica, koji su instalirani na svim vratima u Data Centru. Nadzor svih bezbednosnih sistema u objektu vri se 24/7 iz Telenorovog bezbednosnog centra pri emu postoji odgovarajua procedura obavetavanja o dogaajima od interesa. Strunjaci tehnikog tima za bezbednost konstantno prate i primenjuju najnovije bezbednosne standarde i proizvode.

13 | S t r

Sistemi napajanja elektrinom energijom Kontinualno napajanje elektrinom energijom je vaan segment Telehousing usluga Telenora. Celokupna tehnologija koju Telenor poseduje bila bi neefikasna bez stalnog i neprekidnog napajanja elektrinom energijom, tako da je Telenorov objekat projektovan i izgraen na nain da se obezbedi napajanje u skladu sa najviim industrijskim standardima. Telenor Tier3 Data Centar je direktno povezan na gradsku elektroenergetsku mreu i napaja se elektrinom energijom preko dve nezavisne grane napajanja, svaka kapaciteta 10kV, pri emu su podzemni elektroenergetski kablovi dovedeni do Data Centra preko razliitih trafo stanica kapaciteta 110/10 kV/kV.

Dizel generatori obezbeuju kontinuirano napajanje Data Centra u trajanju od 72h, pre nego to je neophodna dopuna goriva. Generatori se automatski pokreu nakon detekcije nestanka elektrinog napajanja. Kapacitet generatora pokriva sva kritina optereenja celokupnog Data Centra za sve vreme trajanja prekida napajanja, pri emu je obezbeena N+1 redudantnost sistema. Sistem neprekidnog napajanja UPS - pokriva prelazni reim od trenutka otkaza strujnog napajanja do pokretanja generatora. UPS sistem je potpuno redudantan i sastoji se iz dva nezavisna UPS podsistema (grana A i grana B) koja podravaju prelazni reim rada u trajanju od minimalno 30 min pri punom opetereenju Data Centra. Potronja elektrine energije meri se na ulazu u svaki orman i to preko PDU (Power Distribution Unit) ureaja. Snaga i potronja energije za odabrani orman ili grupu ormana nadzire se i kontrolie kroz Centralni PDU sistem za upravljanje. U cilju obezbeenja visoke raspoloivosti sistema za napajanje Telenor sprovodi redovna testiranja sistema elektrinog napajanja pri punom optereenju koja podrazumevaju: minimum

14 | S t r

jednom meseno testno startovanje generatora, kvartalno rutinsko odravanje generatora i godinji test sistema pri punom optereenju. Klimatizacija Telenorov Tier3 Data Centar je klimatizovan preko spoljnih rashladnih jedinica na nain koji obezbeuje redudantnost sistema hlaenja u N+1 konfiguraciji. Radna temperatura u Data Centru je izmeu 22 C i 26 C (24 2 C). Vlanost vazduha je od 40-60% (50 10%). } } Na zahtev, svaki orman korisnika moe biti opremljen senzorima za temperaturu i vlanost vazduha koji se integriu u Centralni sistem za upravljanje. Ovakav sistem omoguava stalno praenje temperature i vlanosti za svaki orman pojedinano i spreavanje svakog potencijalnog problema, pre njegovog uticaja na servis korisnika. Sistem za upravljanje objektom Svi sistemi u Telenor Tier3 Data Centru (elektroenergetski, mikroklimatski - HVAC, bezbednosni, sistem pristupa i sistem za otkrivanje i suzbijanje poara) su povezani sa Sistemom za upravljanje objektom, koji se nadgleda 24/7. Sistem za detekciju poara Data Centar je opremljen najsavremenijim sistemom za detekciju i vrlo rano otkrivanje poara koji koristi detektore za rano otkrivanje dima (VESDA) koji obezbeuju rano upozorenje o promenama u bilo kom delu Data Centra. Suzbijanje poara Data Centar je opremljen IG-55 gasnim sistemom za suzbijanje poara ("Argonit"), koji funkcionie po principu dramatinog smanjenja nivoa kiseonika u vazduhu, i to do nivoa koji onemoguava dalje irenje poara. Telekomunikaciona infrastruktura Telenor koristi sopstveni optiki sistem prenosa na relaciji Beograd-Budimpeta gde se preko BGP (Border Gateway Protocol) protokola povezuje preko vie Tier1 provajdera. Celokupna mrena oprema je u potpunosti obezbeena redundantnim duplim napajanjima i rezervnim jedinicama. Telenorov mreni operativni centar (NOC) Telenorov NOC monitorie sisteme i mreu 24/7/365.15 | S t r

Tehnika specifikacija Telenorovog Tier3 Data Centra Objekat 2600m2 prostora, Tehniki prostor na tri sprata Sigurnosna ograda i kontrolisani pristup ulazu Prostor za utovar i istovar opreme Teretni lift Parking Standardi TIA-942 (Telecommunication Industry Association) Standard za infrastrukturu Lokalni standardi (SRPS) RATEL (Republika agencija za elektronske komunikacije) propisi ASHRAE preporuke Propisi vatrogasne slube Prostorije 1500 kg/m2 irina vrata: 1,70 m Visina vrata: 2,60 m Anti-statiki pod Dupli pod, visina konstrukcije 65mm Smetaj telekomunikacione opreme Kabineti (ormani) Kavezi - opciono

Hlaenje Prosena temperatura: 22oC - 26oC (24 } 2oC) Vlanost: 40-60% (50 } 10%)16 | S t r

Redundantni sistem hlaenja Kontrola temperature i vlanosti vazduha preko centralnog sistema za upravljanje Elektroenergetsko napajanje Dizel generator za kontinuirano napajanje sa 72h autonomije Glavno napajanje: 3x400/230V AC, 50Hz (Suvi transformatori 10/0,4 kV) UPS: 3x400/230V AC, 50Hz Kabineti (ormani) sa 2 PDU jedinice Energetski prikljuci za rek PDU jedinicu: 32A sa osiguraima Svaki PDU rek sa: min. 18xIEC C13 (10A) i min. 4xIEC C19 (16A) taaka napajanja Direktno uzemljenje i prenaponska zatita Dvostruko napajanje za UPS Napajanje elektrinog sistema: omogueno paralelno odravanje Bezbednost Pristup 24x7 Pristup samo ovlaenom osoblju Bezbednosne zone sa alarmima i karticama za pristup Arhiva snimaka sa sistema video nadzora i evidencija ulazaka Nadzor svih prostorija Protivpoarni sistem Gasni sistem za gaenje poara (IG-55) Rano upozorenje - laserska detekcija dima (VESDA) Zidovi sa sistemom za usporavanje irenja poara (F90) Struktuirano kabliranje Strujni kablovi ispod duplog poda Telekomunikacioni kablovi ispod plafona

17 | S t r

Literatura:

1. Slajdovi sa predavanja2. http://en.wikipedia.org/wiki/Data_center

3. https://www.google.rs/

4. http://www.webopedia.com/

5. http://www.eunethosting.com/documents/telenor_datacentar

18 | S t r