clustering magento

MageDay – Parma 07/11/2014 - 1Clustering Magento

Parma, 07/11/2014Parma, 07/11/2014Riccardo Tempesta & Marco GiorgettiRiccardo Tempesta & Marco Giorgetti

www.magespecialist.itwww.magespecialist.it

BENVENUTI !!!111!

Case study su come realizzare un cluster

Case study su come realizzare un cluster

di database e filesystem per installazioni

di database e filesystem per installazioni

magento su vm multiple: magento su vm multiple:

tecnologie, software, high availability,

tecnologie, software, high availability,

configurazioni, load balancing, failover.

configurazioni, load balancing, failover.

Clustering MagentoClustering Magento


Cos'è il clustering per Magento?

A cosa serve?

Scenari tipici● Carico singolo server al limite● Necessità di HA● Necessità di dormire sonni tranquilli!

Aumento Performance Failover

Load Balancing Disaster Recovery


High Availability / Failover

Server 1 Server 2

HA Proxy


Do not panic!!! … Ok, panic!!!


Scenario classico

Reverse proxy / HA proxy

Istanze Magento (parte PHP)

File MagentoDatabaseSessioniCache


Tecnologie e software disponibili

Vs

Filesystem Redis

Proxy RV / HA

SAN

DB (cluster?)

Cache


Database

Replica

Cluster

Nativo MySQLApproccio Master / SlaveNo multi-master su Magento

OK per failover supervisionato, no HAOttimo per i backup

Percona XtraDB clusterApproccio multi-masterOk per HA e bilanciamento

Troppo bello per essere vero...… infatti con Magento non sempre funziona

master slave 1 slave 2


Cache e sessioni

Non cluster

OK per failover supervisionato, no HALe altre istanze sono pronte a partire

Nel passaggio perdiamo i dati

Sistemi non clusterizzabili

Cluster

Il dato è distribuitoOttimo per HA

Le funzioni cluster di Redis non sonoAncora utilizzabili in produzione

Ok su memcache


Filesystem

Sincronizzato

Cluster

Lsyncd / Unison

Ok per i file di MagentoChe accade con la cartella “media”?

Filesystem distribuitiRAID via rete

DRBD, GlusterFSProblema del multi-master


Filesystem condivisi

Problema dei lockfile in multi-master

TCP TCP

TCP


Filesystem Clustering

GlusterFS

GlusterFS

Linux OS

Ext3, Ext4, ecc...

Supporto fisico

Filesystem lock manager

DRBD

OCFS2 / GFS2

Linux OS

DRBD


Mamma ho perso il server!

Failover supervisionato

● Modifca a /etc/hosts con definizione dei nomi host per ogni servizio:

192.168.0.10 mysqldb192.168.0.10 cachedb192.168.0.10 sessiondb

● Modifica al file local.xml con puntamento ai nomi host definiti come sopra

● Redirezione dal reverseproxy se non esiste un ”maxfail”

● In caso di failover si ridefiniscono le entry in /etc/hosts e si riavviano i servizi


Tecnologie e software disponibiliStorage senza SAN (filesystem condivisi)

Lsyncd - GlusterFS - DRBD+GFS2 - DRBD+OCFS2

Lsyncd ● Semplice da configurare● Flessibile● Permette esclusione di file basata

su pattern● Nessun overhead su filesystem

● Latenza elevata● Utilizza gli iwatch● Non gestisce i lock

condivisi

● Consigliato solo per failover

● Generalmente sconsigliato su hosting condivisi

GlobaleConsPro




GlusterFS ● Facilissimo da configurare● Usa filesystem di qualsiasi tipo● Utilizzabile anche su FS già

esistenti● Si può configurare anche in

striping oltre che mirroring● Facilmente espandibile● Possibilità di usare un dual

master● Possibilità di split-brain

accidentale molto remota

● Gira nello userspace● La lettura deve essere

coordinata tra tutti i nodi e non avviene direttamente dalla macchina locale

● Estremamente lento nelle operazioni di lettura

Sconsigliato per le performance

GlobaleConsPro




DRBD+GFS2

● Lettura FS locale● Lock condiviso● Performance in lettura eccellenti● Possibilità di integrazione con

pacemaker

● Difficile da configurare● Disponibile solo su

RedHat● Possibilità di split-brain

accidentale su sistemi con meno di 3 nodi

Consigliato per RedHat

GlobaleConsPro



Lsyncd - GlusterFS - GFS2 - DRBD+OCFS2

DRBD+OCFS2

● Lettura FS locale● Lock condiviso● Performance in lettura eccellenti● Possibilità di integrazione con

pacemaker● Disponibile per quasi tutte le

distro

● Difficile da configurare● Soffre di problemi di

frammentazione se non adeguatamente configurato

● Possibilità di split-brain accidentale su sistemi con meno di 3 nodi

Consigliato in generale

GlobaleConsPro


Tecnologie e software disponibiliMySQL

Replica - Cluster

MySQLReplica

● Configurazione semplice● Applicabile anche su db già

esistenti

● Elaborazione su singola macchina

● Impossibile usare un dual master senza rischio di conflitti

● In caso di errore il riallineamento può richiedere diverso tempo

Consigliato

GlobaleConsPro


Tecnologie e software disponibiliMySQL

Condiviso - Cluster

MySQLCluster

● Elaborazione su più macchine● Possibilità di usare un dual

master● Ottimo per le situazioni di HA● In caso di errore il recovery è

estremamente semplice e veloce

● Configurazione più complessa

● Instabilità nelle transazioni molto lunghe

● Performance ridotte a causa del coordinamento tra nodi

Sconsigliato su Magento

GlobaleConsPro


Case studiesCase #1

Lsyncd + MySql Replica + Redis

Nodo 1

Lsyncd

MySql primario

Redis primario (sess+cache)

Nodo 2

Lsyncd

MySql secondario

Redis secondario (sess+cache)


Case studiesCase #2

Drbd+OCFS2 + MySql Cluster + Redis

Nodo 1

Drbd+OCFS2

MySql primario


Nodo 2

Drbd+OCFS2

MySql secondario



Case studiesCase #3

Drbd+OCFS2 + MySql replica + Redis

Nodo 1

Drbd+OCFS2

MySql primario


Nodo 2

Drbd+OCFS2

MySql secondario



Confronto Case studiesPro e contro degli scenari

● Lsyncd● MySql Replica● Redis

● Drbd+OCFS2● MySql Cluster● Redis

● Drbd+OCFS2● MySql replica● Redis

Case #3Case #2Case #1


Domande & Risposte

Avete domande?

Anche noi:Chi ci offre un caffè? :)


GRAZIE !!!111!

MageDay 2014MageDay 2014

Parma, 07/11/2014Parma, 07/11/2014

Riccardo Tempesta & Marco Giorgetti

Riccardo Tempesta & Marco Giorgetti

www.magespecialist.it www.magespecialist.it

Feedback e commenti su Feedback e commenti su

https://joind.in/12696https://joind.in/12696

Clustering MagentoClustering Magento

LicenzaQuest' opera è distribuita con licenza Creative Commons Attribuzione - Condividi allo stesso modo 3.0 Unported.http://creativecommons.org/licenses/by-nc-sa/3.0/deed.it I marchi e le immagini utilizzate sono di proprietà dei rispettivi proprietari.

http://creativecommons.org/licenses/by-nc-sa/3.0/deed.it

clustering magento

Software