almacenamiento y backup open source de rango empresarial - whitebearsolutions #openexpoday 2014
DESCRIPTION
Almacenamiento y backup open source de rango empresarial - WhiteBearSolutions #OpenExpoDay 2014TRANSCRIPT
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Almacenamiento y backup open source de rango empresarial
2©WhiteBearSolutions - 2014
Agenda
Sobre WhiteBearSolutions (WBSgo)
Conceptos Almacenamiento y ZFS
Sobre Bacula
WBSAirback: módulos y características
Caso de estudio
Preguntas
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Sobre WhiteBearSolutions (WBSgo)
4©WhiteBearSolutions - 2014
Sobre WBSgo®
Hace 10 años...
5©WhiteBearSolutions - 2014
Sobre WBSgo®
Compañía local y pequeña
Productos OpenSource
Pocas referencias
Gran compañíamultinacional
Productos Legacy
+1000 Referencias
6©WhiteBearSolutions - 2014
Sobre WBSgo®
Actualmente...
7©WhiteBearSolutions - 2014
Sobre WBSgo®
● 2 áreas de negocio: Storage & Backup | LDAP & IdM
● Parte del Grupo Cibernos
● Oficinas en España y Latam
● Cibernos OutSourcing Backup Services
● Referencias en todos los sectoresNew !!!
8©WhiteBearSolutions - 2014
Sobre WBSgo®
Nuestro secreto...
9©WhiteBearSolutions - 2014
Sobre WBSgo®
● Inversión en I+D > 1M€
● Plataforma Appliance
● OpenSource y estándares abiertos
● Sólidos acuerdos y alianzas
● 100 % orientados al servicio
10©WhiteBearSolutions - 2014
Sobre WBSgo®
Y por supuesto...
11©WhiteBearSolutions - 2014
Nuestro equipo...
12©WhiteBearSolutions - 2014
Nuestros Partners...
13©WhiteBearSolutions - 2014
Nuestras Alianzas...
14©WhiteBearSolutions - 2014
WBSgo® - Principales Clientes
15©WhiteBearSolutions - 2014
● Banca y Seguros
● Utilities y servicios
● Telco y Media
● Administración pública
● Tecnologías de la Información
WBSgo® - Principales Clientes
● Educación
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Conceptos de almacenamiento
Un sistema de almacenamiento es cualquier dispositivo
(interno o externo) que nos permita almacenar datos.
Ejemplos: Discos duros, Memorias Flash, cintas LTO,
Arrays de discos, etc.
Conceptos almacenamiento
Los distintos tipos de almacenamiento remoto utilizan diferentes protocolos y medios de comunicación.
Conceptos almacenamiento
Sistema de comunicación NAS
NFSCIFSFTP
HTTP (WebDAV)
Sistema de comunicación SAN
Fibre ChannelFCoEiSCSIATAoE
Sistema de comunicación DAS
SASFibre Channel
USBFireWire
Un sistema de archivos es una parte integral de cualquier
sistema operativo y posee la capacidad de gestionar
almacenamiento a largo plazo.
● Presenta una vista lógica (abstracta) de ficheros y
directorios.● Facilita el uso eficiente de los dispositivos que componen
los sistemas de almacenamiento.
Ejemplos: NTFS, XFS, ext3/4, ZFS, etc.
Conceptos almacenamiento
Los sistemas de archivos se caracterizan por:
– Mecanismos de seguridad o permisos– Mecanismo para evitar la fragmentación– Capacidad de enlaces simbólicos o duros – Integridad del sistema de archivos (Journaling) – Soporte para archivos dispersos – Soporte para cuotas de discos – Soporte de crecimiento del sistema de archivos
nativo
Conceptos almacenamiento
Metadatos: Existen datos asociados a los archivos que es necesario almacenar.
– Tamaño.– Fecha de creación.– Fecha de últimos acceso.– Propietario.– Permisos…
– Algunos sistemas de archivo incluso permiten asociar nuevos atributos.
Conceptos almacenamiento
Existen básicamente 4 tipos de sistemas de archivos :
– Sistemas de archivos de disco.– Sistemas de archivos de red.– Sistemas de archivos de propósito especial.– Sistemas de archivos de Almacenamiento
compartido (SAN Filesystems).
Conceptos almacenamiento
Un sistema de archivo de disco está diseñado para el
almacenamiento de archivos en una unidad de disco, que
puede estar conectada directa o indirectamente al
ordenador.
A continuación se muestran algunos ejemplos de
sistemas de archivo de disco.
Conceptos almacenamiento
● FAT (File Allocation Table, usado en WINDOWS).● HFS+ (Sistema jerárquico de archivos, utilizado en MacOSX) .● NTFS (NT File System) ● XFS (Linux)● ReiserFX (Linux)● Ext3/4 (Linux)● UFS (Unix filesystem, BSD).● ZFS (Solaris, Linux, BSD).● ISO9660 (CD Rom)● UDF (Universal disk Format, CD, DVD, Blue-Ray).
Conceptos almacenamiento
Un sistema de archivos de red es el que accede a sus
archivos a través de una red. Dentro de esta clasificación
encontramos dos tipos de sistemas de archivos:
- Sistemas de archivos distribuidos (no proporcionan E/S
en paralelo)
- Sistemas de archivos paralelos (proporcionan una E/S
de datos en paralelo).
Conceptos almacenamiento
A continuación se muestran algunos ejemplos de sistemas de archivo de red:
● Distribuidos : AppleShare, CIFS (también conocido como SMB o Samba) y NFS (Network File Systems).
● Paralelos : pNFS (Parallel NFS), Lustre, PVFS.
Conceptos almacenamiento
Sistemas de archivos de uso específico:
● Google File System, GmailFS, WBFS (Wii Backup File
System)...
Optimizados para dispositivos de estado sólido: ● exFAT, JFFS...
Encriptados: ● EFS, ecryptFS...
Conceptos almacenamiento
Sistemas de archivos de Almacenamiento compartido
(SAN Filesystems): Principalmente utilizados en redes de
área de almacenamiento, en las que los nodos acceden
directamente a nivel de bloque.
● CXFS (Cluster XFS)● MPFS (EMC Celerra)● HP Cluster File System (CFS)● Oracle Cluster file system (OCFS)● VMFS (VMWARE /EMC)● WAFL, Write Anywhere File Layout (NetApp)
Conceptos almacenamiento
¿Qué hay que proteger en un sistema de almacenamiento?
● Integridad: Mediante Raid, Backup, Replicación.
● Disponibilidad: Mediante Hot-Spare, Cluster.● Acceso: Mediante Redundancia de paths.
Conceptos almacenamiento
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Almacenamiento open source ZFS
ZFS es un sistema de archivos y volúmenes desarrollado por Sun Microsystems originalmente para su sistema operativo Solaris.
ZFS integra los conceptos anteriormente separados de sistema de ficheros y administrador de volúmenes en un solo producto.
ZFS: Introducción
Por qué nace ZFS:
- Los costes de la gestión de la información son elevados, requiriéndose un gestor de volúmenes.
- La información cada vez es más crítica y se producen problemas de corrupción con los sistemas de archivos existentes hasta entonces.
- La información crece de manera exponencial.
ZFS: Introducción
ZFS destaca por:
- sistema de archivos de gran capacidad, - nueva estructura sobre el disco, - sistema de archivos ligero y - administración de espacios de almacenamientosencilla.
ZFS: Introducción
ZFS puede ser desplegado en múltiples plataformas:
- Solaris / OpenSolaris / illumos.- FreeBSD / BSD.- Linux.- OS X.
ZFS: Implementaciones
ZFS fué diseñado para proporcionar:
- Una gestión del almacenamiento basada en Pools (eliminación de la noción de volúmenes).
- Integridad de datos extremo a extremo.
- Una operación transaccional (manteniendo la consistencia de datos en el disco y reordenando las transacciones para mejorar el rendimiento).
ZFS: Principios
ZFS: File Systems
Enfoque tradicional Enfoque con ZFS
ZFS: Deduplicación
- Target.
- in-line.
- 256 bit hash.
ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de cachés:
- ARC: caché primaria que almacena los bloques que se leen de forma más común de manera que acelera las operaciones de lectura. Siempre reside en memoria.
ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de cachés:
- L2ARC: caché secundaria de lectura pensada para alojar en dispositivos más baratos (aunque rápidos) una ampliación de la ARC. Los dispositivos utilizados son SSD del tipo MLC y puede ser grande para alojar el mayor número de bloques posible. No permance tras el reinicio con lo cual se pueden notar perdidas de rendimiento después de reiniciar el sistema. La L2ARC requiere algo de memoria para operar. Una porción de la ARC será utilizada para indexar y administrar el contenido de la L2ARC. Por lo general se necesitarán 1-2GB de ARC por cada 100GB de L2ARC.
ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de cachés:
- ZIL: caché de escritura pensada para acelerar las escrituras de tipo síncrono. Conformada por dispositivos rápidos de pequeño tamaño (no es necesario que esta caché sea muy grande). Muy importante que sean discos SSD de tipo SLC. Puesto que si se pierde antes de volcar a disco se producirá una perdida de datos, es muy recomendable que esté en mirror.
ZFS: Compresión
ZFS permite aplicar además de algoritmos dededuplicación, algoritmos de compresión. Los ahorros de espacio pueden venir dados por la combinación de ambas técnicas. En concreto ZFS permite los siguientes algoritmos :
- GZIP.- LZJB.- ZLE.- LZ4 (recomendado).
ZFS: Snapshots y Clones
Como ZFS no sobrescribe datos, las instantáneas se toman rápidamente y son eficientes desde el punto de vista del espacio, pues comparten los datos sin modificar con el sistema de ficheros.
Se pueden crear instantáneas modificables (llamadas clones).
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Backup open source: Bacula
Sobre Bacula
● Software open source para Enterprise Backup & Recovery.
● Disponible desde 2002.
● 1000s de usuarios, >1.3M downloads.
● Bacula Systems fundada en Julio de 2008.
● HQ en Yverdon, Switzerland.
Sobre Bacula
● Dos versiones:
– Community.– Enterprise.
● Gran número de plugins en la versión Enterprise.
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
WBSAirback® Backup & Storage Appliance
47©WhiteBearSolutions - 2014
Backup Overview
¿Que tenemos que tener en cuenta?
● Cuantos datos estoy dispuesto a perder (Como de reciente es el dato).
– RPO : Recovery Point Objective
● Cuanto tardaré en volver a dar servicio.– RTO : Recovery Time Objective
48©WhiteBearSolutions - 2014
Backup Overview
Tiempo de Restore.
RPORecovery
Point Objective
Al recuperar de disco sereduce el RTO
Haciendo copias frecuentementese reduce el RPO
RTORecovery
Time Objective
49©WhiteBearSolutions - 2014
WBSAirback® Overview
Classic Backup approach...
50©WhiteBearSolutions - 2014
WBSAirback® Overview
WBSAirback® approach...
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup(Bacula Enterprise
Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
51©WhiteBearSolutions - 2014
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup(Bacula Enterprise
Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
WBSAirback® Módulos & Características
52©WhiteBearSolutions - 2014
Single Management Point
Principal Browsers Access
Multiple concurrent users
OS independent
Mobile browsers supported
HTML5, JS frameworks...
Management InterfacesWeb Interface
WBSAirback® Módulos & Características
53©WhiteBearSolutions - 2014
Based in Bconsole
SSH access
Management InterfacesCLI Interface
WBSAirback® Módulos & Características
54©WhiteBearSolutions - 2014
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup(Bacula Enterprise
Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
WBSAirback® Módulos & Características
55©WhiteBearSolutions - 2014
WBSAirback® REST Interface offers:
Programming Languaje Independency
Legacy Applications Integration
Interoperability (REST API)
WBSAirback® Módulos & Características
56©WhiteBearSolutions - 2014
WBSAirback® REST Interface offers:
Complete Storage Management
Complete Backup Management
System Monitoring
Interoperability (REST API)
WBSAirback® Módulos & Características
57©WhiteBearSolutions - 2014
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup(Bacula Enterprise
Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
WBSAirback® Módulos & Características
58©WhiteBearSolutions - 2014
Detects uncommon situations
Corrects uncommon situations If is there any defined
protocol
Reports about them and aboutexecuted actions
Monitoring & Security(WatchDog)
WBSAirback® Módulos & Características
59©WhiteBearSolutions - 2014
Based in standard SNMP
Push Mode: Sending TRAPS
Pull Mode: Connecting to publiccommunity
Monitoring & Security(SNMP)
WBSAirback® Módulos & Características
60©WhiteBearSolutions - 2014
Two Modes supported :
Quorum Based Cluster
Sync Node Based Cluster
Monitoring & Security(HA)
LUNCluster
Master Slave
Master Slave
WBSAirback® Módulos & Características
61©WhiteBearSolutions - 2014
Multiple Access Roles
Https access web/REST interface
SSH CLI Access
AD / LDAP Autenthication
Secure Updates (VPN)
Secure Support Access On-Demand (VPN)
Monitoring & Security(Others)
WBSAirback® Módulos & Características
62©WhiteBearSolutions - 2014
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup(Bacula Enterprise
Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
WBSAirback® Módulos & Características
63©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Heterogeneous Storage Management
WBSAirback® Módulos & Características
64©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Storage virtualization with multiples File Systems
WBSAirback® Módulos & Características
65©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Thin ProvisioningSnapshots
DeduplicationCompression
WBSAirback® Módulos & Características
66©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Volumes Export
iSCSINFSCIFSFTP
WBSAirback® Módulos & Características
67©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Data Replication
WBSAirback® Módulos & Características
68©WhiteBearSolutions - 2014
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup
(Bacula Enterprise Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
WBSAirback® Módulos & Características
69©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise)
WBSAirback® Módulos & Características
Bacula Enterprise Plugins
70©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Tier1 Tier3Tier2
Backup Tiering with chained jobs
WBSAirback® Módulos & Características
71©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Data BackupSnapShot
Storage/OS/Application Vendors Integration (Advanced Backup)
WBSAirback® Módulos & Características
72©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Vmware Plugin Interface
WBSAirback® Módulos & Características
73©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Error Management
WBSAirback® Módulos & Características
74©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Three clicks updates
WBSAirback® Módulos & Características
75©WhiteBearSolutions - 2014
WBSAirbackV14
OpenSource Deduplicated
Unified Storage
OpenSource Enterprise Backup
(Bacula Enterprise Enhanced)
ContinuousData Protection
ManagementInterfaces
Interoperability(REST API)
Monitoring&
Security
WBSAirback® Módulos & Características
76©WhiteBearSolutions - 2014
Private Cloud Backup Service for remote servers
WBSAirback® Módulos & Características
Files / DBs / Mail / VMs
Continuous Data Protection – Remote Branch Offices
77©WhiteBearSolutions - 2014
Continuous Data Protection – Laptop and Desktop Backup
Private Cloud Backup Service for Mobility
WBSAirback® Módulos & Características
Files/PSTs
78©WhiteBearSolutions - 2014
Continuous Data Protection - Sync&Share
Private Storage Service for File Sync&Share
WBSAirback® Módulos & Características
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Caso de estudio
A continuación se muestra un caso de estudio realizado con la plataforma WBSAirback®:
- Cliente: Entidad Financiera. - Entorno: preproducción Windows y Linux.- Datos diarios a proteger: 5TB.- Tipo de backup: LAN 10GbE.- Jobs diarios: 500 (225 Fulls y 275 incrementales).
Caso de estudio
81©WhiteBearSolutions - 2014
Caso de estudio
27/05/2014 29/05/2014 31/05/2014 02/06/2014 04/06/20140
20
40
60
80
100
120
Allocated
Referenced
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Preguntas
Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)
Gracias !!!
Ignacio GilartCEO & Co-founder WBSgo® [email protected]