Open StorageCómo resolver las necesidades de

almacenamiento con las ventajas económicas

del mundo open (LOW COST TECHNOLOGY)

Ivan Ricondo

Ivan.ricondo@strelia.es

http://www.flickr.com/photos/simon_and_you/1062318106

2

Objetivos

Introducción a tecnologías de almacenamiento y conceptos relacionados.

Revisar las diferentes soluciones disponibles en Open Storage

Demo de solución “elegida”.

3

Evolución Almacenamiento

Direct AttachedStorage (DAS)

• Almacenamiento directamente conectado al servidor

• Almacenamiento disperso

• Tecnologías SCSI, FC, IDE, SATA, SAS…

Network Attached

Storage (NAS)

• Almacenamiento conectado a la LAN

• Centraliza almacenamiento

• Protocolos NFS, CIFS, FTP…

• Servidor NAS utiliza almacenamiento DAS o SAN

Storage AreaNetwork (SAN)

• Almacenamiento conectado a red de alta velocidad dedicada

• Protocolos FC, iSCSI…

• Muchas mas funcionalidades

• Reduce TCO

4

NAS vs SANN

AS Tradicionalmente

más económicas que SAN

Suelen ser más pequeñas

Rendimiento menor que SAN

No vale para ciertos servicios

SA

N Tradicionalmente más caras que NAS

Tradicionalmente suelen ser para instalaciones grandes (por los costes)

Valen para todos los servicios (hasta grandes servidores de BBDD)

5

Por qué centralizar almacenamiento

• Mayor velocidad de acceso a datos

• Repartir operaciones de IO por muchos discos

• CachingRendimiento

• Redundancia en discos (RAID-1, RAID-5…)

• Posibilidad de tener caminos redundantes para acceso a discos

• Tiempos de recuperación ante desastres menoresDisponibilidad

• Gestión centralizada e independiente de la plataforma

• Dar a cada máquina lo que necesita con total flexibilidad (ej. Disco de 20GB)

• Adaptación a requerimientos del cliente (ej. crecimiento disco)

Gestión

• Réplicas

• Snapshots

• Acceso de varias máquinas a mismo disco (Clusters)

• …

Funcionalidades

6

Funcionamiento discos RAID

Objetivo: para entender por qué aumenta rendimiento, entender los diferentes tipos de

RAID y saber cuando se usan

RAID 0 o Striping

• No tiene redundancia de datos

• Se usa para aumentar rendimiento

RAID 1 o Mirroring:

• Tiene redundancia

• Cada disco tiene una copia

• Pierde mucho espacio

• Buen rendimiento

RAID 5

• Tiene redundancia

• Mínimo 3 discos

• Soporta el fallo de 1 disco

• Pierde capacidad de 1 disco por RAID

• Rendimiento peor que RAID-1

Otros RAID

• RAID 6: igual que RAID5 pero con 2 discos de redundancia (mínimo 5 discos)

• RAID combinados (RAID-10, RAID-50…)

7

Ejemplo RAID-0 o Striping

8

RAID-1 o Mirroring

Tiene redundancia, se “pierde” 50% almacenamiento

9

Ejemplo RAID-5 (con 3 discos)

Tiene redundancia, se “pierde” 33% almacenamiento

10

RAID-10 / RAID-50

11

Cabina Almacenamiento SAN

No DAS, sino compartido

Cada máquina recibe el almacenamiento que necesita.

Flexibilidad de cambios

Rendimiento mejorado

Más funcionalidades

Discos spare

12

Almacenamiento Lógico

De forma lógica se ve un “volumen” sobre el que se crean discos

Cada máquina recibe el disco que necesita

Flexibilidad para crecer o decrecer

Rendimiento discos “repartido”

13

Funcionalidades (I)

• Copia de un disco en un momento dado

• Se hace de forma inmediata

• No ocupa todo el espacio, sólo las diferencias

• Se puede montar un snapshot (normalmente sólo lectura)

• Se puede devolver un disco al estado de su snapshot

• Algunas utilidades típicas: backup, puestas producción

Snapshot

• Copia de un disco completa

• El clon ocupa tanto como ocupaba el disco original

• Normalmente tarda en hacerse (por la copia de los sectores)

• Se puede montar en lectura y escritura

• Es disco independiente que se puede montar en lectura y escritura

• Utilidad típica: entornos de preproducción

Clone

14

Funcionalidades (II)

• Información que sea igual en lugar de almacenarse varias veces, se almacena sólo una.

• Juntándolo con clones puede hacer que se hagan de forma inmediata y no ocupen casi espacio.

• Para no disminuir rendimiento en acceso a disco requiere mucha memoria o determinados tipos de discos.

Deduplicación

• Casi cualquier cabina SAN permite hacer todo tipo de RAID (0,1, 5, 6, 10, 50…) y utilizar spares

• Cabinas gamas alta permite acelerar acceso a disco poniendo discos Flash con configuración especial:

• Discos de log para acelerar escritura

• Discos de cache para acelerar lectura

Discos

15

Funcionalidades (III)

•Capacidad de asignar espacio a máquinas y aprovisionarlo cuando se necesite

Thinprovisioning

•Posibilidad de tener la información redundada en varias cabinas

•Replicaciones síncronas/asíncronasReplicación

•Para dar alta disponibilidad posibilidad de crear dos cabinas que funcionen como una

Cluster

16

Funcionalidades (IV)

•Necesidad de acceso de dos máquinas a mismos ficheros

•Ejemplo: Microsoft Cluster, o VMWare

Clusters

•Tener varios caminos para llegar al disco

•Para dar redundancia en el acceso a los discos

Multipathing

17

Conexión a cabina SAN

• Velocidad 8Gpbs

• Más cara que iSCSI

• Más rendimiento que iSCSI

• Capacidad de asignar espacio a máquinas y aprovisionarlo cuando se necesite

FibreChannel

(FC)

• Velocidad conexión máxima 10Gbps

• Utiliza Ethernet para la conexión (encapsula protocolo SCSI sobre IP)

• Más barato que FC

• Menor rendimiento que FC

iSCSI

18

Open Storage

Open Storage rompe mucho de los paradigmas clásicos

Pueden crearse cabinas a precio reducido y sin tener que pagar un “canon” por cada funcionalidad que se necesite

Es Software que se instala sobre en hardware estándar (más económico que hardware propietario de almacenamiento).

Al instalar una cabina basada Open no te casas con proveedor para siempre (como con cabinas propietarias)

Compra de discos se hacen a precio de mercado

19

Soluciones Open Storage

Desde el Laboratorio de Strelia se han analizado las siguientes soluciones:

Linux con LVM2/DRBDLinux OpenFiler 2.3Linux Open-E FreeNAS 0.7.1OpenSolaris 9.6Otras soluciones (Gluster,

webdav, …)NexentaStor 3.0.4

20

Qué se buscaba

Crear SAN en entorno empresarial

Acceso a SAN mediante iSCSI

Ver posibilidades de crear dos cabinas replicadas

Una vez decidida solución se ha medido el rendimiento

21

Linux con LVM2/DRBD

Se ha instalado una máquina Debian, configurando LVM2, DRBD, MDADM, iSCSI

Acceso desde máquina con Windows 7 por iSCSI.

Configuración de funcionalidades básicas y replicación síncrona de complejidad media.

Administración compleja (todo es demasiado manual)

Instalar máquinas en cluster es complicado (instalar Hearbeat y hacer muchas pruebas)

Todo el software necesario es gratuito, salvo si se quisiera hacer replica asíncrona.

22

OpenFiler

OpenFiler es directamente una distribución con instalación sencilla (CD y sencillo Wizard).

La configuración se realiza desde entorno Web.Parece ser la distribución más utilizada en

entornos no empresariales.Se puede configurar dos máquinas para tener

replicación de datos, o incluso alta disponibilidad, pero de forma complicada desde el entorno de líneas de comando (documentada en un libro de documentación que es necesario comprar).

Se puede instalar de forma gratuita y después si se quiere contratar el soporte y los manuales con la documentación.

23

Linux Open-E

Igual que el anterior es una distribución directamente.

No se ha llegado a probar por que no tiene alta disponibilidad y por que parece tener muchos menos clientes que OpenFiler.

La nombramos por tener la referencia completa.

24

OpenSolaris

Se ha instalado sobre una máquina con 36discos de 2T y se han creado varios discos ZFS, compartidos por iSCSI.

A esta máquina se ha accedido desde un ordenador con Windows 7.

A nivel de complejidad es parecida que la solución con Linux LVM2/DRBD

Lo bueno, el File System ZFS.Lo malo, es que esta solución NO va a

tener continuidad.

25

FreeNAS

Esta distribución está basada en BSD.Tiene soporte nativo para ZFS y va a tener

continuidad….No tiene el número de usuarios que

OpenFilerNo tiene posibilidad de configurar alta

disponibilidad.Precio es gratuito.La nombramos por tener la referencia

completa.

26

Otras soluciones

• Es una solución de almacenamiento DISTRIBUIDA

• Información se divide entre varios equipos que tienen su almacenamiento DAS

• Es un FileSystem no un NAS/SAN

• Sobre él se puede montar NAS/SAN

Gluster

• Dentro de proyectos de Cloud sobre linux, se han creado otros FS, por ejemplo:

• Dentro de Eucalyptus el EBS (Elasticblock store)

• Dentro de OpenStack el OpenStackObject Storage

• …

Almacenamiento Cloud

27

Nexenta

Tiene posibilidad de TODAS las funcionalidades descritas

Dispone de dos versiones: Community y Enterprise

Cabina es NAS y SANCommunity no tiene soporte, tiene límite de

18TB y no se pueden poner plugins de pagoEnterprise es de pago (se paga por TB)Funcionalidades de Replicación, Cluster y

conexión FC son de pago.Basado en sistema de ficheros abierto

(ZFS).

28

Sobre ZFS

Creado por Sun Microsystems a finales del 2005.

Posibilidad de almacenar gran cantidad de datos (ZetaByte).

Velocidad de acceso muy rápida.Posibilidad de hacer deduplicación.Chequeo de todo los sectores

leídos/escritos y reparación automática de errores.

Posibilidad de hacer snapshotsilimitados sin pérdida de rendimiento.

29

Instalación y configuración

Instalación mediante CD que instala “appliance” (sistema operativo y Nexenta).

Gestión mediante sencillo entorno web

30

Experiencia

En Strelia hay cabina Nexenta en producción desde hace 9 meses

Montado sobre máquina de 36 discos (Supermicro) con 72TB de información

Rendimiento muy buenoPrecio por GB muy barato

DEMO

32

Conclusiones

Desde Strelia se cree que la solución más empresarial y seria es la de Nexenta.

Nexenta es Open Storage (que no Free)Por defecto trae la mayoría de las

funcionalidades habituales (resto de funcionalidades de pago)

Hardware para montar cabinas muy grandes es complicado de conseguir

Pero en cabinas medianas es una alternativaPuede poner al alcance de Pymes (o

delegaciones de grandes empresas) funcionalidades que normalmente sólo contratan grandes empresas por su precio

33