Cloud Storageczyli gdzie są moje pliki?

1

IOPS… IOPS…

IOPS!!!

• >1 000 serwerów• >100 000 połączeń• >1 000 000 użytkowników• >100 000 000 małych plików

(„obrazki”)

2

HISTORIA / ZARYSOd mainframe’ów do chmury

3

Mainframe

Wszystkie usługi na jednej mocnej

maszynie

www

mail

ftp

dns

4

Klastry

www ww

w www ww

w

5

– wspólny storage

ONET Cloud

VM

VM VM

VMVM

VM

VM

VM

VM

VM

VM

VM

VM

VM

VM

VM

VM

VM

VM

VMVM

VM

VM

VM

VM

VMVM

VM

VMVM

VM

VMVM`

VMVM

VMVM

VM

VM

VMVM

VM

VM

VMVM

VMVM

VM

VM

VMVM

VM

VM

6

Macierze NAS7

Wydajność NAS

Controler Controler

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

nfssmbiscsi

8

ROZWIĄZANIESystemy rozproszone

http://commons.wikimedia.org/wiki/File:Liofilizat_04_pl.jpg

9

Od najdroższych…

Controler Controler

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

RAID1 2 3 4

µControler

µControler

µControler

µControler

10

… do wszystkiego

Controler Controler

1 2 3 4 1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4

1 2 3 4 1 2 3 4

11

Sprzęt…12

… i software

• Rozpraszanie danych• Skalowalność• Odporność na awarie• Brak punktów

centralnych

13

JAK TO DZIAŁA?http://wallpaperbackgrounds.com/wallpaper/30711

14

Mapa Data Center #1

Rzą

d C

Serwer

Serwer

Serwer

SzafaSerwer

Serwer

Serwer

SzafaSerwer

Serwer

Serwer

Szafa

Rzą

d B

Serwer

Serwer

Serwer

SzafaSerwer

Serwer

Serwer

SzafaSerwer

Serwer

Serwer

Szafa

Rzą

d A

Serwer

Serwer

Serwer

SzafaSerwer

Serwer

Serwer

SzafaSerwer

Serwer

Serwer

Szafa

1 2 3 4

1 2 3 4

1 2 3 4

Serwer1 2 3 4

1 2 3 4

1 2 3 4

Serwer1 2 3 4

1 2 3 4

1 2 3 4

Serwer

Serwer

Serwer

Serwer

Serwer

Serwer

1 2 3 4

1 2 3 4

1 2 3 4

Serwer1 2 3 4

1 2 3 4

1 2 3 4

Serwer1 2 3 4

1 2 3 4

1 2 3 4

Serwer

Serwer

Serwer

Serwer

Serwer

Serwer

1 2 3 4

1 2 3 4

1 2 3 4

Serwer1 2 3 4

1 2 3 4

1 2 3 4

Serwer1 2 3 4

1 2 3 4

1 2 3 4

15

Data Center #1

Rząd A

Serwer

Szafa 1

Mapa

Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer

Szafa 2 Szafa 3

16

Algorytm CRUSH

CRUSH (fragment_pliku, mapa) -> dyskA, dyskB, dyskC

Plik

dysk10 dysk11 dysk12

dysk7 dysk8 dysk9

dysk4 dysk5 dysk6

dysk1 dysk2 dysk3

17

Awaria

CRUSH (fragment_pliku, nowa_mapa) -> dyskA, dyskB, dyskD

Plik

dysk10 dysk11 dysk12

dysk7 dysk8 dysk9

dysk4 dysk5 dysk6

dysk1 dysk2 dysk3

18

Data Center #1

Rząd A

Serwer

Szafa 1

3 x kopie danych

Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer

Szafa 2 Szafa 3

KOPIA #1 KOPIA #2

3x

KOPIA #3

19

Usługi

Swift

20

21

CEPH W ONETczyli nasze doświadczenia

Nasze klastry

x 2

22

x 2

Doświadczenia

• > 1 000 000 plików => sharding

• Synchronizacja DC• Automatyzacja • Problemy z rozkładem• Wolne "zbieranie się

konsystencji„

23

http://commons.wikimedia.org/wiki/File:Berlin_Alexanderplatz_construction_cranes.jpg

BUDUJEMY NADAL…… bo nam ciągle mało :-)

24

Rozwój

• Spójne, duże klastry• Nowy sprzęt • Testy wydajności• Nowe usługi• SLA i QoS• Migracja Video - wyzwanie

25

PODSUMUJMY…

http://www.hdwallpapersfull.com/view-fresh-cherry-fruits-1920x1200.html

26

Podsumowanie

• Wyzwaniem jest wydajność (IOPS), a nie pojemność

• Macierze NAS są drogie i słabo się skalują• Alternatywą jest storage rozproszony• CEPH to przykład takiego systemu• W Onet używamy go produkcyjnie• I nadal rozwijamy nasze klastry

?28