curs 6 - sisteme de fisiere în retea -...

Curs 6Sisteme de fis, iere ın ret, ea

Servicii avansate pentru ISP

27 martie 2017

SAISP Curs 6, Sisteme de fis,iere ın ret,ea 1/41

Outline

Sisteme de stocare

Organizarea datelor ın sistemele de stocare

Sisteme de fis, iere partajate

Protocoale de acces la sistemele de stocare

Sisteme de fis, iere de retea

Concluzii

Intrebari


Stocarea datelor

I Ce problematici ridica?

I Unde s, i cum le stocam?

I Sunt redundante?

I Accesul este rapid? (performant, a)

I Cum partajam accesul la date? (mecanisme)


Extinderea unui sistem de stocare

I Privit din perspectiva unui Cluster

I Scale-up vs. Scale-outI Remember: Gestiunea scalabila a dispozitivelor de stocare

I 1 disc mai mareI mai multe discuri de diferite dimensiuni

I Abordare diferita fat, a de un singur sistem


Scale-up

I Adaugare noi discuri la acelas, i sistem


Scale-out

I Adaugare noi sisteme de stocare

I Cum le interconectam? Ethernet e suficient?


Scale-up and Scale-out

I In funct, ie de necesitat, iI adaugare noi discuri la acelas, i sistemI adaugare noi sisteme de stocare


Scale-up or out - factori de select, ie

I Costuri - scale-up adauga capacitate suplimentara fara altecosturi (controller nou de stocare).

I Capacitate de stocare - ambele pot asigura cres, terea acesteia,dar ın cazul scale-up s-ar putea sa fie o limitare.

I Performant, a - scale-out poate paraleliza accesul la date(throughput mai mare), dar poate cres, te timpul de acces.

I Complexitate - scale-up simplu, fat, a de scale-out unde suntmai multe elemente pentru care trebuie asiguratmanagementul.

I Disponibilitatea - scale-out asigura o disponibilitate crescutaavand un numar mai mare de noduri (depinde deimplementare).


Outline

Sisteme de stocare





Concluzii

Intrebari


Sisteme de fis, iere

I Datele sunt organizate ın general ın fis, iere.

I Sistemul de fis, iere foloses, te metadate pentru a s, ti unde se aflafiecare fis, ier.


Taxonomia sistemelor de fis, iere

I In funct, ie de sistemele de stocare folosite, putem descrie otaxonomie a sistemelor de fis, iere.


Sisteme de fis, iere locale

I Exemple: ext2, ext3, ext4, NTFS, FATI Pot fi folosite ın sistemele dezvoltate pe principiul scale-up

I Se poate folosi acelas, i sistem de fis, iere pe mai multe discuri?

I Da, folosind LVM

I Asigura vreun mecanism pentru partajarea datelor? NU




I Se poate folosi acelas, i sistem de fis, iere pe mai multe discuri?I Da, folosind LVM

I Asigura vreun mecanism pentru partajarea datelor?

NU




I Se poate folosi acelas, i sistem de fis, iere pe mai multe discuri?I Da, folosind LVM

I Asigura vreun mecanism pentru partajarea datelor? NU


Outline

Sisteme de stocare





Concluzii

Intrebari



I Mai multe sisteme au acces la ACELAS, I sistem de stocareI un exemplu dur pentru a face diferent, a: acelas, i disc

I Fiecare server va avea acces la sistemul de fis, iere ın paralelI sistemul de fis, iere se afla la client

I Metadatele sunt t, inute, ın funct, ie de implementare:I ın fiecare server (Cluster File System)I doar la un singur server (SAN File System)


Sisteme de fis, iere partajate (2)

I Aplicabilitate: migrarea mas, inilor virtuale


Sisteme de fis, iere partajate - studiu de caz

I VMFS (Virtual Machine File System)

I VMware Cluster File System

I VMware ESX Server (vSphere)

I Versiunea 5 (permite volume mai mari de 2TB, pana la 64TB)

I Mai multe servere ESXi pot accesa ın acelas, i timp storage-ul(maxim 64)

I Limita de fis, iere (la 130000 pentru VMFS5)I Closed source

I exista un driver open-source dezvoltat de Fluid OperationsI permite doar citirea fis, ierelor


Outline

Sisteme de stocare





Concluzii

Intrebari



I Acelas, i disc prezent ın mai multe servere ın acelas, i timp

I Fizic nu e posibil

I Protocoale de acces la sistemul de stocare

I Fiber ChannelI foarte scumpI necesita infrastructura separataI performante buneI viteze de 1/2/8/16 GbpsI din 2015 32/128 Gbps

I iSCSII implementeaza protocolul SCSI peste reteaI performant, a depinde de reteaua folosita (gigabit ethernet,

10gbit, etc)I suportat de majoritatea sistemelor de stocareI costuri reduse



I Acelas, i disc prezent ın mai multe servere ın acelas, i timp

I Fizic nu e posibil

I Protocoale de acces la sistemul de stocareI Fiber Channel

I foarte scumpI necesita infrastructura separataI performante buneI viteze de 1/2/8/16 GbpsI din 2015 32/128 Gbps

I iSCSII implementeaza protocolul SCSI peste reteaI performant, a depinde de reteaua folosita (gigabit ethernet,

10gbit, etc)I suportat de majoritatea sistemelor de stocareI costuri reduse


iSCSI - concepte

I InitiatorI iSCSI ClientI Trimite comenzi SCSI peste retea

I TargetI resursa de stocare localizata pe un server iSCSII resursa este definita de serverul iSCSI

I Logical Number Unit (LUN)I dispozitiv (logic) SCSI adresat ın mod unicI modalitatea de numerotare a dispozitivelor iSCSI puse la

dispozit, ie de target


iSCSI - adresare

I Foloseste TCP (portul 860/3260)

I initiator s, i target sunt referite prin nume, folosind maimulte formate

I IQN (iSCSI Qualified Name) este cel mai folositI prezentat in RFC 3720/3721

I Extended Unique Identifier (EUI)I IEEE se ocupacu alocarea adreselorI eui.{EUI-64 bit address}

I T11 Network Address Authority (NAA)I introduse ın RFC3980I convent, ii asemanatoare cu FiberChannel s, i SAS (Serial

Attached SCSI)I IEEE se ocupa de alocarea adreselorI naa.NASA 64 or 128 bit identifier


iSCSI - adresare (2)

I IQN are urmatoarele campuriI cuvantul cheie iqnI data (yyyy-mm) cand a fost cumparat domeniulI numele de domeniu inversat (com.example)I opt, ional un nume prefixat cu :

Naming String defined by

Type Date Auth "example.com" naming authority

+--++-----+ +---------+ +-----------------------------+

| || | | | | |

iqn.1992-01.com.example:storage:diskarrays-sn-a8675309

iqn.1992-01.com.example

iqn.1992-01.com.example:storage.tape1.sys1.xyz


iSCSI - adresare (3)

I Un client, pentru a se conecta la un server iSCSI trebuie saofere

I adresa IPI portul TCP pe care se conecteazaI numele iSCSI (IQN-ul)I opt, ional o parola daca este configurata


iSCSI on Linux

I Linux-IO (LIO) Target

I dezvoltat de Datera din Sillicon Valley

I Torvalds a introdus ın LIO ın kernel 2.6.38I In afara de iSCSI, suporta s, i:

I FiberChannelI iSCSI - Extensions for RDMA (iSER) - InfinibandI SRP - SCSI RDMA Protocol

I Folosit ın Cloud (suport nativ in qemu/KVM, OpenStack)

I Competitor: SCST (SCSI Target, dezvoltat de Fusion io)I Backstores:

I discuri (inclusiv LVM)I fis, iereI memorie


Linux-IO Target

I Inclus ın kernelul Linux implicit

I apt-get install targetcli

I targetcliI este folosit pentru management-ul target-uluiI apeleaza un API binedefinit, astfel poate fi complementat usor

de un GUII implementat in Python


Linux-IO Target (2)

I targetcli

/> ls

o- / ....................................................... [...]

o- backstores ............................................ [...]

| o- fileio ................................. [1 Storage Object]

| o- file_backend .............. [/usr/src/fileio deactivated]

| o- iblock ................................ [2 Storage Objects]

| | o- block_backend .................... [/dev/sdb deactivated]

| | o- block_backend_lvm ............ [/dev/vg0/lv1 deactivated]

| o- pscsi .................................. [1 Storage Object]

| o- pscsi_backend .................... [/dev/sr0 deactivated]

| o- rd_dr .................................. [0 Storage Object]

| o- rd_mcp ................................. [1 Storage Object]

| o- rd_backend ........................ [ramdisk deactivated]

o- ib_srpt .......................................... [0 Target]

o- iscsi ............................................ [0 Target]

o- loopback ......................................... [0 Target]

o- qla2xxx .......................................... [0 Target]

/>


Outline

Sisteme de stocare





Concluzii

Intrebari


Taxonomia sistemelor de fis, iere



I partajarea fis, ierelor de pe un server

I 1 sau mai mult, i client, i

I folos, indu-se un protocol de ret, ea


NFS

I apt-get install nfs-kernel-server nfs-common

I A ajuns la versiunea 4, dar nu e ımbrat, is, ata de toata lumeaI Pentru configurarea serverului se editeaza fis, ierul

/etc/exportsI /srv/www/repository.grid.pub.ro

172.16.8.1(rw,sync,no_root_squash,no_subtree_-

check)

I Pentru montare pe clientI mount -t nfs

172.16.1.52:/srv/www/repository.grid.pub.ro /mnt

I no_root_squash - accesarea/crearea fis, ierelor det, inute deroot pe serverul NFS


Sisteme de fis, iere distribuite

I Fis, ierele sunt distribuite pe sisteme separate


Sisteme de fis, iere paralele distribuite

I Blocurile unui fis, ier sunt distribuite pe sisteme separate


Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloud

I Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadateI OSS - (Object Storage Server) - servere de stocare a

obiectelorI OST - (Object Storage Target) - locat, ia de pe un server unde

se stocheaza obiecteleI Capacitatea unui sistem Lustre este data de suma capacitat, ilor

OST-urilor

I Client-ul


Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloudI Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadate

I OSS - (Object Storage Server) - servere de stocare aobiectelor

I OST - (Object Storage Target) - locat, ia de pe un server undese stocheaza obiectele

I Capacitatea unui sistem Lustre este data de suma capacitat, ilorOST-urilor

I Client-ul


Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloudI Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadateI OSS - (Object Storage Server) - servere de stocare a

obiectelorI OST - (Object Storage Target) - locat, ia de pe un server unde

se stocheaza obiecteleI Capacitatea unui sistem Lustre este data de suma capacitat, ilor

OST-urilor

I Client-ul


Lustre (2)

I Nu exista suport implict ın kernel (nici pentru client, nicipentru server)

I Compilare din surse (kernel + userspace)

I Se asigura pachete doar pentru RHEL-based

I In general folosit doar pe sisteme RHEL-based

I Trebuie recompilat kernelul chiar ın cazul clientuluiI La un acces

I Se interogheaza MDS-ul cu privire la fis, ierI Se ia lock-ul pe fis, ierI Se merge pe OSS-ul asociat s, i se trimite operat, ia acestuia

(clientul NU executa operat, ia direct pe fis, ier)

I NU stocheaza copii ale datelor sau metadatelor


Ceph

I Sistem de fis, iere distribuit paralelI Asigura tolerant, a la defecte prin replicareI Format din mai multe layere de abstractizare


Ceph (2)

I OSD - Object Storage Device (disc formatat cu XFS sau btrfs)

I PG - Placement GroupI mapare a unui obiect la mai multe OSD-uriI la acest nivel se asigura replicarea

I POOLI interact, iunea cu utilizatorulI cont, ine mai multe PG-uri

I CRUSH mappingsI mapare ıntre obiectele s, i PG-uriI compilat static de catre administratorI important pentru a nu ajunge 2 replici pe acelas, i OSD

I RADOS - Reliable Autonomic Distributed Object Store(generic)

I RBD - Rados Block DeviceI resizeableI snapshotingI suport ın KVM direct

I CephFS - deasupra lui RADOS


Ceph (2)

I OSD - Object Storage Device (disc formatat cu XFS sau btrfs)I PG - Placement Group

I mapare a unui obiect la mai multe OSD-uriI la acest nivel se asigura replicarea

I POOLI interact, iunea cu utilizatorulI cont, ine mai multe PG-uri

I CRUSH mappingsI mapare ıntre obiectele s, i PG-uriI compilat static de catre administratorI important pentru a nu ajunge 2 replici pe acelas, i OSD

I RADOS - Reliable Autonomic Distributed Object Store(generic)

I RBD - Rados Block DeviceI resizeableI snapshotingI suport ın KVM direct

I CephFS - deasupra lui RADOS


GlusterFS

I Sistem de fis, iere distribuit paralel

I Asigura redundant, aI Brick

I unitate de stocare pentru blocurile Gluster

I TranslatorI logica ıntre bit, i s, i numele fis, ierelorI mai multe layere

I VolumeI mai multe brick-uri combinate trimise translatorului

I Node/Peer


Ceph vs. GlusterFS

I Ubuntu (Canonical/Inktank) vs RedHat :)

I RedHat a scos un articol ın care se lauda ca au obt, inutperformante de 3 ori mai mari la citire

I TesteleI nu sunt ıntotdeauna relevanteI mai ales ca s-a folosit o distributie RedHat cu pachtele lor

destul de vechiI au fost facute doar cu citiri secvent, iale I/O, nu s, i random

I Ceph se lauda ca au un recovery time mult mai bun, datelefiind mult mai distribuite (ın GlusterFS datele sunt mult maistrans cumplicate de aceea testele secvent, iale au ies, it maibine)

I Articol ın care sunt comparate mai multe sisteme de fis, ierehttp://hal.archives-ouvertes.fr/docs/00/78/90/86/

PDF/a_survey_of_dfs.pdf


http://hal.archives-ouvertes.fr/docs/00/78/90/86/PDF/a_survey_of_dfs.pdf

http://hal.archives-ouvertes.fr/docs/00/78/90/86/PDF/a_survey_of_dfs.pdf

Outline

Sisteme de stocare





Concluzii

Intrebari


Cuvinte cheie

I scale-up

I scale-out

I Storage arrays

I iSCSI Target

I LUN

I iSCSI Initiator

I Network File System

I Distributed File System

I Shared File System

I Cluster File System

I NFS

I Lustre

I Ceph

I VMFS

I GlusterFS

I VM Migration

I Storage Network

I Infiniband

I FiberChannel

I Ethernet


Link-uri utile

I http://en.wikipedia.org/wiki/Clustered_file_system

I http://en.wikipedia.org/wiki/Distributed_File_System_(Microsoft)

I http://en.wikipedia.org/wiki/Logical_unit_number

I http://en.wikipedia.org/wiki/ISCSI

I http://linux-iscsi.org/wiki/Main_Page

I http://en.wikipedia.org/wiki/Logical_unit_number

I http://linux-iscsi.org/wiki/Target

I http://linux-iscsi.org/wiki/ISCSI

I http://itknowledgeexchange.techtarget.com/storage-soup/scale-out-vs-scale-up-the-basics/

I https://www.gluster.org/community/documentation/index.php/Getting_started_common_criteria

I http://thevarguy.com/open-source-application-software-companies/

glusterfs-or-ceph-who-will-win-open-source-cloud-storage-

I http://www.anchor.com.au/blog/2012/09/a-crash-course-in-ceph/

I http://www.linuxjournal.com/content/lustre-distributed-filesystem

I https://www.snia.org/sites/default/education/tutorials/2012/spring/file/ThomasRivera_The_

Evolution_of_File_Systems-v3.pdf

I http://www.enterprisestorageforum.com/sans/features/article.php/3834771/

Storage-Basics-Clustered-File-Systems.htm

I http://www.informationweek.com/infrastructure/storage/

gluster-vs-ceph-open-source-storage-goes-head-to-head/d/d-id/1113581


http://en.wikipedia.org/wiki/Clustered_file_system

http://en.wikipedia.org/wiki/Distributed_File_System_(Microsoft)

http://en.wikipedia.org/wiki/Logical_unit_number

http://en.wikipedia.org/wiki/ISCSI

http://linux-iscsi.org/wiki/Main_Page

http://en.wikipedia.org/wiki/Logical_unit_number

http://linux-iscsi.org/wiki/Target

http://linux-iscsi.org/wiki/ISCSI

http://itknowledgeexchange.techtarget.com/storage-soup/scale-out-vs-scale-up-the-basics/

https://www.gluster.org/community/documentation/index.php/Getting_started_common_criteria

http://thevarguy.com/open-source-application-software-companies/glusterfs-or-ceph-who-will-win-open-source-cloud-storage-

http://thevarguy.com/open-source-application-software-companies/glusterfs-or-ceph-who-will-win-open-source-cloud-storage-

http://www.anchor.com.au/blog/2012/09/a-crash-course-in-ceph/

http://www.linuxjournal.com/content/lustre-distributed-filesystem

https://www.snia.org/sites/default/education/tutorials/2012/spring/file/ThomasRivera_The_Evolution_of_File_Systems-v3.pdf

https://www.snia.org/sites/default/education/tutorials/2012/spring/file/ThomasRivera_The_Evolution_of_File_Systems-v3.pdf

http://www.enterprisestorageforum.com/sans/features/article.php/3834771/Storage-Basics-Clustered-File-Systems.htm

http://www.enterprisestorageforum.com/sans/features/article.php/3834771/Storage-Basics-Clustered-File-Systems.htm

http://www.informationweek.com/infrastructure/storage/gluster-vs-ceph-open-source-storage-goes-head-to-head/d/d-id/1113581

http://www.informationweek.com/infrastructure/storage/gluster-vs-ceph-open-source-storage-goes-head-to-head/d/d-id/1113581

Outline

Sisteme de stocare





Concluzii

Intrebari


curs 6 - sisteme de fisiere în retea -...

Documents