JukuThink Global, Act Local!Virtualizzazione e CloudCopyright 2011 di EnricoSignoretti e FabioRapposelli, Alcuni diritti riservati.QuestolibrovieneoffertosottolicenzaCreativeCommonsBY-NC-ND, questo signica che sei libero di:riprodurre,distribuire,comunicarealpubblico,esporrein pubblico, rappresentare, eseguire e recitare quest'opera.Alle seguenti condizioni:AttribuzioneDeviattribuirelapaternitdell'opera nei modiindicatidall'autore o da chi ti ha datol'opera inlicenzaeinmodotaledanonsuggerirecheessi avallino te o il modo in cui tu usi l'opera.Non commerciale Non puoi usare quest'opera per ni commerciali.NonoperederivateNonpuoialterareo trasformare quest'opera, n usarla per crearne un'altra.Tuttiiterminimenzionatiinquestolibroriconosciuticome trademarks oservicemarkssonostaticapitalizzatiinmodo appropriato.I ndi ce.................................................................. Juku1......................................................................... Perch Juku1............................................................................ Chi Juku3.................................................... Introduzione4......................................... Partiamo dallinizio5................................................................. Un cenno storico5............................................................. Perch virtualizzare6................................................................... Prima di iniziare8................................................ Pianicazione10................................................ Non tutto virtualizzabile10................................................... La scelta dellhypervisor11........................................................ Management di base14................................................................... La connettivit16............................................................................... I server18.......................................................................... Lo storage20............................................................................. Gli stack22................................................ Virtualizziamo25............................................................ Da sico a virtuale25........................... I rischi della virtualizzazione selvaggia26................................. Virtualizzazione e Consolidamento28............................................................. Capacity Planning29....................................................................... Chargeback30.................................................................................. Cloud31.............................................. Il Private Cloud33................................ La fase dei Servizi IT in Produzione34........................... Virtualizzare il Business in Produzione35..................................................................... Private Cloud38........................................................................ Conclusioni42JukuPerch JukuIJukusonoscuole,private, giapponesiche hannolobiettivo di aiutareglistudentiamigliorareilrendimentonelleloronormali attivit scolastiche eda garantire una preparazionemigliore per gliesami.Benchquestotipodiscuolasiaprincipalmente concepitaperlematerieaccademiche,nonrarotrovaredei juku anche per discipline artistiche, sportive e arti marziali.Ilnostroobiettivoproprioquellodinonsostituirci allinformazioneistituzionalemadiaiutarechideveprenderele decisioniperilproprioITconarticoli,informazionee confronto sul l etemati chetecnol ogi checheconosci amomegl i o: linfrastruttura IT ed in particolare virtualizzazione e storage.Nonpicomeunavolta,chilavoranellITdeveguardarsi intorno:lecosecambianovelocementeeclanecessitdi rimanereinformati,odiinformarsivelocemente,persostenere decisioniimportanti.Comefare?E semplice,ilsitocontienele nostreidee,ilrisultatodelconfrontoquotidianocheabbiamo globalmentesulwebedisocialnetworkconvendor,analisti, Virtualizzazione e cloud1blogger, giornalisti e consulenti. Ma il nostrolavorononsiferma qui,ilconfrontoelaricercasonoglobalimalacondivisionee lapplicazione delle nostre idee deve essere locale: ed qui che lanostraesperienzaquotidiana,conazienderadicatesul terriorioitaliano,divienefondamentaleperoffrireunavisione sincera ed utile. Ecco perch abbiamo scelto thinkglobal, act local come payoff per Juku.Juku gi diventato, durante il suo primo mese di vita, un punto di riferimento per i decision makerdel mondo IT, ed i suoi articoli vengono linkati daimaggiori autori della blogosfera dello storage edellavirtualizzazione.IlsitocontienearticoliinItalianoed Ingleseedraggiungibileallindirizzohttp://juku.itoppurecon una semplice scansione del QR Code qui in basso.Juku2Chi JukuEnricoSignoretti,FondatoreeCEOdi Cinetica,realtdirilievonelpanoramadello st or ageevi r t ual i zzazi onei ncent ro Italia.FrequentagliambientiITdaoltre20 anni, la sua carriera iniziata con lassembler nellasecondametdeglianni80perpoi passarealloUnix(masempreconilMacnelcuore)noad approdarealClouddeigiorninostri.Attentoalleevoluzionidel mercatoealla costantericercadiidee e soluzioniinnovative. unappassionatovelistaedunpescatoremancato.Enrico raccoglie i suoi proli Social qui: http://about.me/esignorettiFabioRapposelli,specialistadiStoragee Vi rtual i zzazi oneconol tre10annidi esperienzanelsettoredellaconsulenza IT.Attualmentegestisceecoordinailteam tecnico di Cinetica sviluppando e dispiegando i nf r ast r ut t ur ei nf or mat i chesuscal a globale.NatocomeuomoUNIXalterminedeglianni90ha iniziatoalavorare conlepiattaforme divirtualizzazione dailoro alborinoadoggi,cercadievangelizzareilconcettodiCloud agliITmanager.Nel2010vieneinsignitodellaambita certicazioneVCDX(Numero#58)daVMware.Appassionato musicoloedincallitoviaggiatore.Fabioraccoglieisuoiproli Social qui: http://about.me/frapposelliVirtualizzazione e cloud3I ntroduzi oneLavirtualizzazione deiserverunodegliargomentipicaldidi questianni.Molteaziendestannogiaffrontandolaloro seconda ondata di virtualizzazione che spessositraduce in una rivisitazione radicale di quello che statofatto negli anni passati percorreggereerrorie,magari,aggiornarelinfrastrutturacon lespressione degli ultimi trend tecnologici.Lobiettivodiquestodocumentoquellodisottolinearealcuni aspettidibaseperchisiavvicinaperlaprimavoltaalla virtualizzazionemaanchediricordare,achihagiintrapreso questopercorso, alcuni punti focalipermigliorare ilpipossibile la propria infrastruttura.Juku4Parti amo dal l i ni zi oUn cenno storicoLa virtualizzazione dei servernon nata nelmondox86. Iprimi hypervisor (anche se allepoca non si chiamavano cos) sono nati negli anni 60 sui mainframe.Gi, quello che oggi viene chiamato z/OS (il sistema operativo di IBMperisuoimainframe)avevafunzionalitdivirtualizzazione giallepoca.Neglianni,poi,altrisistemioperativi,comead esempi oal cuniUni x,hannoaggi untofunzi onal i tdi virtualizzazione(softwareoHW+SW) cheemulavanoinparte quantogivistosuimainframe.Lavirtualizzazionenacquein primoluogoperottimizzare lusodelle risorsedi sistemicostosi Virtualizzazione e cloud5emaleutilizzatimafuparzialmenteabbandonataneglianni 80/90, durante lera dei PC e delle applicazioni client/server.VMware,aziendaleadernellaproduzionedisoftwareperla virtualizzazione,haavutoilgrandemeritodisviluppareper prima(nel1999)questatecnologiasuhardwarestandardx86. Fraglianni90ediprimidel2000cisiresecontochela proliferazionediserverX86 sottoutilizzati(spesso1Server=1 SistemaOperativo=1Applicazione)stavaportandoaduna impennatadeicostipergestire lITnon piaffrontabilied qui che aziende come VMware trovarono i loro primi sostenitori.NegliultimiannilhypervisordiVMwarestatoafancatoda molte altre soluzioni concorrenti tra cui Microsoft Hyper-V e Citrix Xen. Ognuna di queste ha vantaggi e svantaggi che vedremo nei paragra successivi.Perch virtualizzareLa virtualizzazione porta dei vantaggi indiscutibili: Mi gl i or asensi bi l ment eil i vel l idiut i l i zzo dellinfrastruttura:moltoimprobabilecheunasingola applicazionepossaoccuparetuttelerisorsemessea disposizionedaunhardwaresicopertuttoiltempo.Il meccanismodellavirtualizzazione,conlapossibilitdi creare tantiservervirtuali,permette diutilizzareinmaniera Juku6moltopiefcientelerisorseadisposizioneallocandole risorse dove servono e quando servono. Di mi nui sceicostidel l i nf rastruttura:come conseguenzadelpuntoprecedente,seholapossibilitdi ottimizzarealmegliolusodellerisorsehardwarea disposizioneavrbisognodimenorisorsehardwareda comprare e gestire. Diminuisceicostidigestione:ancoraunavolta,meno hardware signica abbattere i costi di gestione ma non solo. Lavirtualizzazioneportaconsstrumentimoltososticati chepermettonounasemplicazioneimportantedimolte attivit tecnichechevannodallapibanalefornitura diun nuovoserver,albackup,allacreazionediambientidi test, ecc. Migliora ilivelli di servizio:Unainfrastrutturavirtuale ha unaseriedivantagginonindifferentidallatodellivellodi servizio,esistonomoltimeccanismichepermettonodi reagireprontamenteaduninterventopianicatooadun problemahardware,alripristinodiunservervirtuale danneggiatooanche aprevenireeripristinareilservizioa fronte di un disastro.La virtualizzazionedeiserverhaquindi moltiaspettipositivi che aumentano la semplicit operativa del datacenter, ne aumentano lasicurezzaenediminuisconoicosti.Ovviamente,piil datacenter grande e pi i vantaggi sono evidenti ma anche chi Virtualizzazione e cloud7hapochiservertroversemprepivantaggiosovirtualizzare piuttostochedoveraggiungerehardwaresicoallapropria infrastruttura.Prima di iniziareVirtualizzarefacile!(troppofacile,aggiungerei).Questoil messaggiochespessoarriva dachivendelavirtualizzazione ma le cose nonstanno propriocos. Spesso incontro clienti che hanno infrastrutture non progettate e mal cresciute da una prima implementazionedivalutazioneche,neltempo,diventato test,poisviluppoepoi,magari,produzione!Certo,funziona tutto, ma come funziona? Con questo tipo di approccio si vanno ad eliminare, almenoin parte, tutti i principalimotivi peri quali si inizia a virtualizzare: ottimizzazione,diminuzione dei costi, facilit di gestione, migliorare i livelli di servizio.Prima di virtualizzare importanteprogettarelinfrastruttura che ospiterlemacchinevirtuali.Glihypervisormodernihannoun numerodifunzionalitimpressionantiche,semaleutilizzate, possonominarelascalabilit,lasicurezzaedanchele performance.Inoltre,conunaprofondaechiaraconoscenza dellearchitetture,dellebestpracticesedelletecnologie, possibilegarantireunacrescitasicuradellinfrastrutturasenza spiacevoli disservizi che potrebbero vericarsi.Perottenereunainfrastrutturavirtualeefcientesempre fondamentalefareunprogettocheprevedaunaanalisi dettagliatadituttoquantogiinoperaallinternodel datacenter.Nessunaspettodeveesseresottovalutato: Juku8networkingesicurezza,storage,risorsedicalcoloememoria, applicazioni,sistemioperativi,processi,ecc.Sottovalutare anche uno solo degli aspettimenzionatie progettare una nuova infrastrutturavirtualemenoefcienteeperformantedella precedentesarebbeunfallimentopocoraccomandabilea chiunque.Virtualizzazione e cloud9Pi ani fi cazi oneNon tutto virtualizzabileQuandosieseguelanalisidiunainfrastrutturasicacon lobiettivo di virtualizzarla non si riuscir quasi mai ad ottenere un risultatopienoal100%.Alcuniserversici,perdiversimotivi, nonsarannovirtualizzabilimadovrannorimaneretali.Nella categoria dei server non virtualizzabili troviamo sicuramente: server non x86 (per ovvi motivi). serverche hanno particolaricaratteristiche hardware: come ad esempio schede PCI particolari (un esempio pu essere il fax server). server con sistemi operativi non supportati dallhypervisor. particolari tipi di cluster.Questisonoipi diffusi e peralcuni diquestiesiste anche una soluzione (almenoparziale).Ovviamentesar necessariocapire bene cosa fanno questi server,che applicazioni e servizi di base stannoerogandoedanchelalorocriticit.Contuttele informazionieleprecauzionedelcaso,sarpossibilemigrare tutti (oparte)dei serviziapplicativi contenuti ed anche ipotizzare Juku10nuovi meccanismi di alta afdabilit per i cluster (spesso gi insiti eforse migliori nellhypervisor).Nel casospecicodiserver concomponentihardwareparticolari,adesempio,potrebbe essereipotizzabileleliminazionedituttelepartivirtualizzabili lasciando sul sico il minimo indispensabile.La scelta dellhypervisorLa scelta dellhypervisor, secondo il mio personale punto di vista, abbastanzaasensounico.Esistonocomunquealcune eccezioniallaregoladavericareconattenzioneprimadi procedereconunasceltachepotrebbelimitarelosviluppo dellinfrastruttura ed aumentare i costi in modo sensibile.Ilmio primo consiglio quellodifare una sceltaoculata perch mettersiincasapidiunhypervisor(adesempio:unoperi serveredunodiversoperidesktop)unafolliadalpuntodi vistadelmanagement,gestionedellerisorseeprobabilmente costi(consulenze,minorpoteredacquisto,storagepi complesso da gestire, ecc.).Virtualizzazione e cloud11Unaltroaspettodaconsiderare,ancoraprimadiconcentrarsi sulle singole funzionalit dellhypervisor, il supporto tecnico che sipuottenere.Supportotecnicononsignicasolonumero verdedachiamare (condietroqualcunocherispondainmodo decentee,magari,initaliano)maancheunacomunitattiva (una ricerca su google pusalvarti la giornata), knowledge base daconsultare,facilitdireperirepatcheaggiornamentidi sicurezza.Nonscender neidet t agl it ecni cidegl ihyper vi sor (virtualizzazione,para-virtualizzazione,ecc.):nonlobiettivodi questodocumentoevorreisemplicarealmassimolalettura, quindimipermettodiazzardareunamacrosuddivisionedegli hypervisor in 3 macro aree: senza compromessi open source-based MicrosoftNellaprimacategoria,senzacompromessi,lunicochetrova posto VMware. il primoadessere nato, il primo in termini diquotedimercato,quellochehalamaggiorsosticazione tecnologica,ilpisupportato,ilpiscalabileepotrei continuare.Lunicodifettodiquestohypervisorilcostodi acquisto (al momento in cui scrivo licenziato per socket max 12core per socket). Come intutte le cose per c da dire che paghi per quello che ottieni: alcune funzionalit esistono solo qui e soprattutto per i progetti pi sosticati (es. con problematiche, Juku12anchecomplesse,diDisasterRecoveryoaltaafdabilit,no alla faulttolerance) lunica via perottenereunrisultatosicuro ed un TCO basso e predicibile nelle installazioni importanti. Devo aggiungere,aonordicronaca,cheultimamenteVMwareha anche messoa listino diverse licenze limitatenelle funzionalit e con prezzi aggressivi:in questo caso il vantaggio che si pu partireconunaimplementazioneritagliata(pisimileanche comefunzi onal i taquel l edeiconcorrenti )perpoi , eventualmente, crescere se sar necessario.Nellacategoriadellopensourcebasedtrovanoposto principalmente Xen edisuoi derivatioltreanche a KVM(spinto daRedHat).XenoradiCitrixcheper,permotivisia commercialichetecnici,nonsembramoltointeressataa spenderetroppoinR&D,mentreKVMhacomeunico sostenitoreRedHatenonmiancoracapitatodivedere installazioni in produzione, se non qualche schermata durante gli eventi di presentazione. Il vantaggio di Xen che costa poco, performanteeopen.Idifettiprimarisonosicuramente limmaturit,laruviditconcuimoltefunzionalitsonostate implementate(laCLIlafadapadrone)edilsupportodaparte deivendoresterniunpocarente.IprincipaliutilizzatoridiXen sonoquellichenepreferisconolaspettoopenatuttiglialtri,il che comprende:smanettoni,service e cloudprovider,ambienti accademiciedingeneraletuttiquellichehannopochisoldie molto tempo a disposizione. Gli utenti Xen devonoavere cultura e tempo da spendere peril supporto superiori alla media, oltre a moltabuonavolont.Xencomunqueallabasedelle Virtualizzazione e cloud13piattaformeCloudeVPSpiimportantiincircolazione(es.: Amazon, rackspace).Inne c la categoria che ho denito Microsoft. Lhypervisor di casa Microsoftsichiama Hyper-V.Microsoft partita inenorme ritardo(fallendounpaiodicolpiinprecedenza)malultima incarnazione delsuoHypervisorinizia ad essere interessante ed sicuramente unodei playerperunprogettodi virtualizzazione in azienda (almeno perlSMB). Il prodotto Microsoft limitatose comparatoaVMwaremastacrescendomoltobene,labase installatacrescevelocemente,ilsupportodaivendornon manca. Se un utente ha una infrastruttura basata principalmente suprodottiMicrosoft,nontroppogrande,Hyper-Vpotrebbe essereunascelta valida.Ilcosto,anchenellasuaversione pi completa, non elevato e garantisce gi un set di funzionalit di tutto rispetto.Rimarcoil fatto cheimiglioririsultaticon Hyper-V si ottengono su ambienti Microsoft anche perch il supporto per altrisistemioperativi decisamente limitatoequestopotrebbe compromettere il processo di virtualizzazione di una infrastruttura multi vendor.Management di baseParlare dimanagementdi basenel 2010 quasiridicolo,infatti permanagementdibasei nt endounaconsol edi amministrazione unica chepermetta digestire pi serversicie molti servervirtuali.Mispiegomeglio:ognihypervisor(installato sulserversico)puessereamministratoaccedendovi Juku14direttamente, il problema che, in realt, anche il pi piccolo dei progetti di virtualizzazione prevede un minimo di due serversici pergarantirealtaafdabilit.Dalsecondoserverinpoidevo avereadisposizioneunaconsoledimanagement(ogni produttorelachiamainmododiverso:vCenterperVMware, SCVMMperMicrosoft,ecc.)che,inalcunicasi, una ulteriore macchinavirtuale.Laconsoledimanagementserveperfare praticamentetutto:interagireconlHW,creare,modicaree amministrareleVM,schedulareognitipodiattivit,gestiregli aggiornamentidellinfrastruttura,gestirelaltaafdabilit, reporting,insommatutto.Laconsoledimanagement,aparte casi particolari (es.: quella di Citrixpugestire anche Hyper-V) strettamentelegataalsuohypervisor,linterfacciagraca dellinfrastruttura da virtualizzare ed benevalutarlainsiemead ogni altra caratteristica dellambiente che si sta progettando.Virtualizzazione e cloud15La connettivitIlprimo aspettoda teneresempre bene amente cheiserver virtuali sono allinterno di diversi, a volte molti,serversici e che, alorovolta,sonocollegatiadunostorageeda unnetwork:il tutto a formare un cluster. Questa affermazione meno banale di quantosipossapensare:laconnettivitvadimensionata correttamenteednecessarioprevedereedanalizzaremolti particolaricomelelatenzeperlaccessoallostorageealla comunicazionefrainodi,ilthroughputnecessario,leventuale scalabilitdelnetwork,laridondanza,unadeguatobackende unfrontendallaltezzadellaaspettative.Se veroche moltodi quantodettosipusottovalutareinprogettidiminore importanza,diventafondamentalequandoinumerisifanno anchesolomediamenteimportanti,pernoncrearecollidi bottigliatalidacompromettereseriamenteleprestazionie loperativit dellintero cluster.In passato dovevano essere tenute in considerazione le esigenze diconnettivit diunsingolosistemaoperativo/applicazione,e Juku16nellagrandemaggioranzadeicasiladotazioneHWstandard dellamacchina(leclassiche2interfaccegigabitethernet+2 portebre channel)erapiche sufciente,oggiconle densit raggiuntedallepiattaformedivirtualizzazione(neicasidi deployment VDI si parla anche di 6/8 VM per core) la connettivit uno dei punti focali, questo mette in luce alcuni side-effects: proliferazionediNIC/HBAecavi(es.:separazionesica delle reti e ridondanza) complessitdigestione(trunking,networkmanagement, troubleshootingdifcoltoso) limitazionideinodi(pochislotPCI,pocheporteetherneta disposizione, ecc.)Perrimediarea questiaspettinegativilindustria siattrezzata cercandodiunicareilpipossibilelapartedinetworking tradizionalee,nelleultimeincarnazioni,diinglobareanchela partediconnessioneversolostorage.Ladozionediunarete etherneta10Gb/spuridurredrasticamenteilnumerodi connessioni necessarie no a 2 (pi per motivi di ridondanza che altro)e,attraversostrumenti e protocolli moderni(VLAN,Virtual Switches, QoS,etc), possibile comunque separare in maniera sempliceerelativamentesicuratuttoiltrafco.Sicuramentela modalit di trasporto oggi pi diffusa (e probabilmente rimarr) lethernet,restaaperta la scelta tra iprotocollidipialtolivello deputatialla comunicazione lato storage: FC, FCoE, iSCSI, NFS sonotuttiprotocollivalidiesupportati.Lasceltasucomee Virtualizzazione e cloud17quandousarlidipendedalladimensionedellinfrastruttura,dal tipodistorage,dallarchitetturachesiscegliediadottaree, molto, anche daicosti. Lunica nota che misentodi aggiungere aquantodettosuquellochevienenormalmentechiamato convergednetworkingriguardaInniband.Innibanduna tecnologiadiconnessionemoltoefcienteeperformante (attualmentelasuaversioneQDRarrivanoa40Gb/s) caratterizzatadaunabassissimalatenzaedadottata principalmente in ambientiHPC(High Performance Computing)sottomoltipuntidivistadecisamentemiglioredellEthernet, masupportatadapochissiminomidellindustria (aparteuno tutti nomidisecondaria importanza), le installazioni sonopoche ed i prodotti decisamente costosi.I serverUnodeigrandivantaggichehaportatolavirtualizzazione,in terminidicostiefunzionalithardware,lareciprocarincorsa che (gliunici due) produttoridi CPU perserverX86 hanno fatto negliultimianni.Iosonounfortesostenitoredellhardware standardeormai,fortunatamente,tutta lindustriastaandando inquelladirezione.Nonhapi sensopernessuno, senonper AMDedIntel,sviluppareCPU,chipsetoaltrecomponenti particolari peri server. Tuttii produttori montano le stesse CPU, la stessa RAM, gli stessi chipset, le stesse schede PCI, gli stessi controllerRAID,stesse porte ethernetinserverdellemedesime dimensioni,conglistessiconsumieviadicendo!Insomma,I Juku18serversonotuttiuguali.Dell,HP,IBMFujitsuhanno caratteristiche decisamente confrontabilienonportanonessun valore aggiunto sensibile.La differenza nellascelta di un vendor piuttostocheunaltrolapossonofare:illivellodelserviziodi assistenza,ilprezzoolasimpatiaperilrivenditore epocopi. Certo,semprepreferibilesposareununicovendorallavolta peravereunacertaomogeneitnellhardwaredagestireeun solonumeroda chiamare perlassistenza ma veroanche che non necessario legarsi per la vita ad un unico fornitore.La cosa pi importante nella scelta dellhardware non la velocit dellaCPU(apartecasiparticolari)malaquantitdiRAM, sempre pi probabile trovare nodi a corto diRAMpiuttosto che con poche risorse di CPU ed per questo che, quando si valuta lhardware, necessarioprendere in considerazione iserver pi espandibili in questo senso. Ildiscorsoserversicomplicaunpochinoselinfrastruttura complessa. In questo caso, spesso, si preferiscono soluzioni pi Virtualizzazione e cloud19densebasatesupiattaformeblade.Ibladesonoparticolari servermontatisuchassis(nonstandard) chehannodiversi vantaggi:compattezzasica,interconnessionefraleblade integrata ed un unico punto di management del sistema. il server blade,inpassato,avevadeiseriproblemidiespandibilitdel singolonodo,maleultimegenerazioni(dituttiiservervendor) hannoun po sfatato questo mito. Gli innegabili vantaggi dati da unamiglioregestionecomplessiva,unnotevolerisparmiodi corrente elettrica e, prosaicamente, da un minornumero di cavi, sipaganoconunpifortelegameconilvendor.Nelcampo dellebladeesistonoanchedellesoluzionidiparticolare eccellenzacheintegranounapartedivirtualizzazione dellhardwaremoltoutileseusatacorrettamentemache purtroppo non sono alla portata di tutti.Lo storageTutti gli storage (certicati) funzionano. Il problema, poi, non pi ilfattocheunostoragefunzioniomenomatuttosiriconduce allefcienza!Efcienzasignicaprincipalmente:automazione, integrazione, facilit duso, funzionalit avanzate. Nonesisteunasoluzioneugualepertuttie iproduttorioffrono soluzionichevannodaunabanalescatoladidischicon controllerRAIDsenzafunzionalit,asistemicomplessiche implementanoinhardware moltefunzionalit altrimentidelegate agli strati superiori, ovviamente anche i prezzi sonomolto diversi etuttodipendedacomelaziendavaluta ilrapportotraTCAe Juku20TCO(costodiacquistocontrocostototaleneltempo compresa la gestione). Quandosieffettualasceltaperlasoluzionedistoragepi indicataalproprioprogettodivirtualizzazione,benetenerea mentechesiavrachefareconproblematichediverseda quellecuisieraabituatiavedereinprecedenza:prima,ogni serverospitava unS.O. e una applicazione con il suo set di dati suundisco/volumespecicoora,moltoprobabilmente,ogni serversicoospiter decine di VM con relativiS.O., Applicazioni e dati: i workload e le necessit di throughput si complicheranno notevolmente.Pilinfrastrutturacomplessaecriticae maggiore sar il bisogno di strumenti che permettono di isolare e monitorare ogni parametro dello storage. Unaltrofattorefondamentaledellostoragelascalabilit, acquistareunsistematropporitagliatoperleesigenzeattualie pocoespandibilepufacilmentegenerarespiacevolisorprese (anchenelbreveperiodo).Iproduttoridihypervisormettonoa disposizionedeivendoralcuneAPIperintegrarealmegliolo storage con gli strati superiori, il primo passo verso lintegrazione passapropriodaqui:selhardwareelostoragesanno vicendevolmente con chi hanno a che fare molto probabile che alcunefunzionalitverrannodelegateallhardwaresottostante limitandoinutilisprechidirisorsedicalcoloememoriae velocizzando di molto le operazioni. Moltistoragevendorhannopoirealizzatodeiplug-inperle consoledimanagementinmododarenderepisemplice(in Virtualizzazione e cloud21alcunicasiquasitrasparente)lamministrazione,il(self-)provisioningedilmonitoringdellostoragedapartedegli amministratori, rendendo cosla console dellhypervisoril punto centralediamministrazionedituttalinfrastruttura.Ultimo,ma dovrebbe essere sempre il primo, pi ancora delle funzionalit, ilsupportotecnico.indispensabilecheilsistemadistorage cheadottiamoperlanostrainfrastrutturasiaproattivoeavvisi prontamente chididovere (inmolticasi anche il vendorstesso) diunpossibileguastoodiunaderivaparticolaresulfronte prestazioni o uso di spazio.Perottenereuninfrastrutturavirtualeefcientesempre fondamentalefareunprogettocheprevedaunaanalisi dettagliatadituttoquantogiinoperaallinternodel datacenter.Nessunaspettodeveesseresottovalutato: networkingesicurezza,storage,risorsedicalcoloememoria, applicazioni,sistemioperativi,processi,ecc.Sottovalutare anche uno solo degli aspetti menzionati, e progettare una nuova infrastrutturavirtualemenoefcienteeperformantedella precedente,sarebbeunfallimentopocoraccomandabilea chiunque.Gli stackMoltiproduttorispingonoperladozionedistacktecnologici preconguratio,perl omeno,pre-certi cati .Lofanno principalmente per tre motivi:Juku22 Commercialmentemoltomeglio(perilvendor)perch possonovendere unpacchettodihardware (inalcunicasi hardware + software + servizi) molto pi importante e quindi guadagnare di pi. moltopifacilenasconderelepecchediunasingola componentedellinfrastrutturainunaoffertaglobale:il cliente compra la soluzione e nonindaga particolarmente a fondo su cosa c dentro Siriesceadincatenaremoltomeglioilclienteconuna soluzione chiusa da cui non avr via discampoperifuturi aggiornamenti.Questoapproccio ha comunquedegliaspetti positivi dovuti alla semplicazione:ununiconumerodachiamare,ununico referentecommerciale,unateorica omogeneitnelladocumentazione, nellaqualitdelservizioeneitempi di risposta del supporto.Afdarsi ad uno stack tecnologico da ununicofornitorepuessereuna ottimasoluzionequandolaspetto t ecni codelproget t omeno importantediquelloorganizzativoe magarilaziendanonharisorse umaneadeguat epergest i r e i n f r a s t r u t t u r et e c n o l o g i c h e complesseounaculturaaziendale Virtualizzazione e cloud23sufcienteaprenderedecisionidiquestotipo.bene comunquefaremoltaattenzionesulladifferenzachepassafra unostacktecnologicointegratoeunaoffertacompletamadi tutte componenti separate e disaggregate.Lesempio classico quello dellassistenza: posso telefonare ad un unico numero che vede ilmiostack come unaunit? Oppure devo specicare gi alla prima chiamata suquale dei varistratidello stack penso di avere ilproblema? E se poi hosbagliato? Succede come conil gioco delloca: riparti dal via!Juku24Vi rtual i zzi amoDa sico a virtualeIlprocessoperpassare da sicoavirtualenon banale. Certo, esistono casi abbastanza fortunati, soprattutto nelle infrastrutture piccolee/opococritiche,dovequestaattivitsipufarecon grandetranquillitemagarianchepertentativisuccessivima, nella grande maggioranza dei casi, non ci si possono permettere errori e tempi lunghi di migrazione. Lesperienzaedilbuonsensoinsegnanochebenemigrare primatuttelemacchinemenoinuentiperlaproduzione (sviluppo e testin primis) perpoi passare a quelle di produzione menocriticheeinneaquellemissioncritical.Lapproccio descrittopermette diiniziarecon calmaerodare linfrastruttura: testareglistrumentidimanagement,impostareleprime schedulazioni (backup,snapshots,ecc.),fare le prime attivit di Virtualizzazione e cloud25tuningeleopportuneveriche.Lattivitdimigrazionepu durare anchemoltimesie coinvolgere tutta lazienda (nonsolo chisicamentedevemigrareiservermaanchepoichidovr fruire dei servizi, chi si occupa della sicurezza, ecc.).Esistonodiversimetodi permigrare da sicoa virtuale,in alcuni casi (sempre pi rari) necessario ricostruire il server da zero, re-installare tuttii software e migrare i dati (un po come si farebbe perunamigrazionedasicoasico).Lostandardnelle migrazionisico-virtualecomunquequellodiutilizzarealcuni toolspecici,spessomessiadisposizionedalfornitore dellhypervisor,checonsentono,conpochiclick,diclonareil contenuto di un serversico inun servervirtuale in poco tempo e con la ragionevole certezza difornire glistessiidenticiservizi, daunamacchinavirtuale,causandoilminordisservizio possibile.daunamacchinavirtualeconundisserviziominimo. Adonordicronacapossoaggiungereche,alcunifornitoridi soluzioni terzeparti,hannosviluppatoneltempodeitoolmolto sosticatichepermettonomigrazionidasicoavirtuale(ma anchedavirtuale avirtuale e da virtuale a sico)su piattaforme differenti, questitool hanno il grande vantaggio dipoter operare suambientimultivendorconununicainterfacciaepossono essere una soluzione in ambienti molto complessi.I rischi della virtualizzazione selvaggiaDopo i primi passi nel mondo della virtualizzazione capita spesso diassistereadunaubriacaturadituttolIT(epartedel Juku26management)chepuportarearisultatispiacevolinelmedio/lungoperiodo.Quello chein gergoviene denito VMsprawl unfenomenoabbastanzadiffusoesiputradurreinuna crescitaspropositataescompostadelnumeroedellaqualit delle macchine virtuali allinterno dellinfrastruttura.Purtroppo, al contrariodi quantosuccede perlerisorse siche, tuttoquantoriguardailvirtualesipuallocareanche virtualmente!Questosignicache se parteun nuovoprogetto nondovrfareunarichiestapernuoverisorse(es.:servere storage) che,normalmente, soggettaadunglistessiidentici servizi,daunamacchinavirtuale,causandoillungoprocesso, dallavalidazioneallapprovvigionamento,portaconsma semplicementeleattiversullamiainfrastrutturavirtuale.Una pratica di questo genere, ne va ad inciare molte altre di corrette e consolidateesi inizia a sottovalutare il capacityplanning edi costiindottidallaccensionediquesteVM(licenze,tempo, management,backup,ecc.).Conlandaredeltempocil ri schi oconcretodiperderedivi stai lcapi tol oTCO dellinfrastrutturaediinnescareunarincorsaaffannosaa sostenerelerichiestediunainfrastrutturadicuisipersoil controllo.Neltempo,hovissutodirettamente situazionidel tipo:progetto divirtualizzare155 servere risultatodi oltre 350VMnelgirodi pochi mesi dalladozione dellinfrastruttura (lamentandosi poi che iltuttononeraadeguatoalleaspettative!):scopertoche virtualizzare era facile i vari manageriniziarono a chiedere VM di Virtualizzazione e cloud27dimensioni assurde in termini di CPU, RAM e disco, anche pi di quanto realmente necessario! Certo, questo un caso limite che poi si risolse cambiando alcuni processi aziendali, ma sono cose che possono succedere.Gliaspetti legatial capacity planning e alluso delle risorse decisamente pi importante ora di prima e uno strumento di reportistica, spesso integrato con la console di amministrazione, fondamentale pertenertracciadel consumo dirisorseedaveremododireagireprontamenteallerichieste dellazienda.Virtualizzazione e ConsolidamentoDurante ilprocessodivirtualizzazione non dovrebbe essere mai di ment i cat ounaspet t oal t ret t ant of ondament al e:i l consolidamento.Laproliferazionedisistemiallinternodel datacenterportaconsedeicostiimportantilegatial managementdeisistemi.Ogniserverchevieneacceso(sia sico che virtuale) deve essere gestito, aggiornato,manutenuto, backuppatoecosvia.Quandopossibile,sarebbesempre buonanormacercarediconsolidarepiserverinunoopochi (ades.piserverSQLinunosolo).Ilconsolidamentopu permettere di razionalizzare anche gli acquisti di licenze software oltreaconsolidarealcunitipidiworkloadomogenei, sempl i candosensi bi l mentetuttel eatti vi tl egateal performance tuning e facilitando il raggiungimento degli standard di servizio pressati.Juku28Capacity PlanningCome gi spiegatonelparagrafo precedente,esiste ilrischio di proliferazioneincontrollatadellevirtualmachinesinazienda(il cosiddetto "vm sprawl").Questofenomenodaevitare con curainquantocostringele infrastruttureadeiratiodiconsolidamentopercuinonsono statedisegnate,ilclassicoesempioquellodellinfrastruttura chevienedisegnataperospitare150virtualmachinescon determinatecongurazionienisceperaverne300.Questo fenomenopurtroppocontrastabilesoloedesclusivamente tramiteilpolsodurodellITmanagerchedevesapere qualie dove sonoilimiti della suainfrastruttura, edevitare ditrovarsiin spiacevoliimpassequando,adesempio,linfrastrutturanon riescepiagarantire unlivellodialta afdabilit percolpa delle troppe risorse occupate (e vi assicuro che uno scenario, ahim molto comune).Virtualizzazione e cloud29Peralleviarequestolavorodistimadellepotenzialit(odelle necessit)diunainfrastrutturavirtuale(quellochegliinglesi chiamanoguesswork)esistonodiversistrumentidiCapacity Planning.Questistrumenticiaiutanoacapirequalisonolepotenzialit ancora inespresse della nostra infrastruttura, come, ad esempio, quantealtrenuovevirtualmachinespotrospitare,senza incorrereinproblemidiovercommitment,esoprattuttoci possonoaiutarequandodobbiamopianicareunanuova virtualizzazione,percapirequantoequalehardwarecipu servire persupportare, adesempio,una nuovaapplicazioneda virtualizzare.Esempremoltoimportantepianicarelacrescita dellinfrastruttura poich le risorse sono nite.ChargebackUnodei grandiproblemi che i dipartimenti ITincontrano quando devonoespandere leinfrastrutture virtuali quello digiusticare le spese.Ilmeccanismodichargeback,amioavviso,ilmodopi efciente per giusticare gli investimenti nella infrastruttura IT.Il chargeback un meccanismo di billing in realt molto antico, nasce coniprimisistemiditime-sharingmultiutenteche,dato laltocosto,venivanofattipagareadora-CPU.Questo meccanismosipoiunpopersonelcosiddettoperiododel Juku30distributed computing in quanto tanti server eterogeneifra loro erano pi difcili da gestire in fatto di singolo costo CPU, RAMo disco,mentreglihypervisordinuovagenerazione cioffronoun layerstandardizzato(tuttelecpu,ramediscovirtualisono standardizzate in ciascun hypervisor) su cui possibile effettuare il conteggio del billing proprio come si faceva nei mainframe.Ci sonopoidellesituazioniin cuifareilveroe propriocharge nonpossibile,manessunocivietadifareanchesololo showbackeciofarvedereallaziendaquantocostatenere attivaunamacchinavirtualeconcertecaratteristicheequindi pianicaregliinvestimentidiconseguenza.Laconsapevolezza puessereunarmafortissimanellemanidegliITmanager: mostrareungracoalmanagement(oancheallapropriet) su comevienesfruttatoilbudgetpuesseredigrandeaiutoper richiedere eventuali nuovi investimenti.Inoltre, il chargeback/showback, un passo fondamentale per la strada versoil Cloud,siaessoPrivatooIbrido,edinfattiun preludio allultimo argomento trattato in questo documento.CloudIlviaggioversoilPrivateCloudnonpucertamenteessere affrontatoinunparagrafosolo,richiedeunapiampia digressione.Virtualizzazione e cloud31Si tratta di realizzare un vero e proprio tessuto dellIT aziendale incui nonsonopin ilserver,e neppurelapplicazione,al centro dellobiettivo, bens lo il servizio. Il servizio diventa quindi il focus dellIT: con questo approccio, ed utilizzando gli strumenti messia disposizione dai vendor, possibile creare dei cataloghi diserviziIT aziendalierenderele persone che ne devono fruire autonomeal100%.Mediantetutte letecnologiemenzionatein questodocumentopossibilerenderequestiserviziaccessibili edautomatizzati,semplicandolavitaaglioperatoriIT,agli applicationowner(igestoridelle applicazioni)esoprattutto,agli utenti nali.Juku32I lPri vate Cl oudQuestocapitoloillustracosailPrivateClouddicuimolti parlanoequali/quantibenecipuportareallavostra architettura IT interna.Seavetelettonoaqui,immaginochetuttivoiabbiatein qualchemodogiimplementatounaqualcheformadi virtualizzazione nelvostrodatacenter,probabilmenteutilizzando VMware,XenoHyper-V,senonaveteancoraimplementato nessunadiqueste tecnologieimmaginochea questopuntovi sareteperlomenofattiunideadicosacomportialivelloITla loro adozione.Questetecnologieappunto,hannoconsentitoalleaziendeuna razionalizzazionealivellosicomoltoimportanteconsentendo cospicuirisparmisoprattuttosuiconsumielettrici,direttied indiretti (climatizzazione). In alcune aziende, la virtualizzazione ha guadagnatounaduciataleche,rottigliindugi,siiniziatoa virtualizzare anche i workload business-critical e mission-critical.Questoprocessohaconsentitodiottenereunacerta padronanzaedimestichezzaconlambientevirtuale,tantoda adottareinalcunicasiunapoliticaditipoVirtualizationFirst Virtualizzazione e cloud33ovvero considerare ogni nuovo deploymentcome una macchina virtuale e non pi come un server sico.Raggiuntoquestorisultato,spesso sipensadiaverraggiuntoil traguardodelviaggioversola virtualizzazione,inrealtpossiamo considerarlolultimostepprimadi arrivarealveroeproprioPrivate Cloudocomeadalcunipiace denirloITlacarte.Possiamo suddividerelamaturazionedella virtualizzazioneinaziendaintre fasi:La fase dei Servizi IT in ProduzioneQuestafaseconsistenellavirtualizzazionedeiprocessi totalmenteinmanoallIT,comeadesempioiservizidi infrastruttura:DNS,ActiveDirectory,DHCP,PrintServer,Mail Server ed altri server di servizio.Peraddentrarsinellaprimafasediadozionesufcienteil sostegnodellITManager,nonvengonogeneralmentecoinvolte personealdifuoridellITdepartment,ilvaloreaziendale rappresentatodalrisparmioottenutonellagestionedelle operazioni (OPEX) e dal risparmio dovuto al mancato acquisto di nuovo hardware durante i deploy di nuove macchine (CAPEX).Juku34Daquiarriviamoallefunzionalitchiaveperquestafaseche sono:il gi menzionatorisparmio suicosti, ilprovisioningmolto rapido(nondobbiamoinfattiattenderesettimaneperordinare dellhardware nuovo) e soprattutto si comincia ad instaurare una certacredibiliteducianeiconfrontidellavirtualizzazione allinterno dellazienda.La ducia nella soluzione da considerarsi reattiva in quantoil repartoITreagisceadunaesigenzadelbusinesscomeil rinnovodellhardwareoilnecessarioconsolidamentodel datacenter,inquestafaseilteamITcominciaaprendere condenzaconglistrumentibasemessiadisposizionedalla piattaforma di virtualizzazione.Virtualizzare il Business in ProduzioneOvveroquella chesipuanche chiamarelafasedelQualityof Service,questa fase puessereconsiderata lapi criticadelle treinquantolavirtualizzazioneentranelmondodelle applicazionibusinessemissioncriticalequindiilprocessodi accettazionediventa picomplessoe coinvolgenonpisoloil repartoITmaanchegliapplicationowner(quindiiresponsabili delle applicazioni), i quali devono necessariamente dare il proprio sostegno al processo.Ottenereilsostegnodagliapplicationownerpiche fondamentale,le loro aspettative infattinonsono paragonabilia quelledelgruppoIT(chenormalmentesono:consolidamento Virtualizzazione e cloud35server, contenimento dei costi, semplicazione dellinfrastruttura) sonobensorientatealladisponibilit(HA,FaultTolerance, possibilitdiDR) edalleperformance,inparolepovere: abbassare il rischioe massimizzare le performance della propria applicazione.importante,perunITdepartmentchesiavvicinaaquesta fase,farcapireagliapplicationownerchelavirtualizzazione por t aconsunaser i edivant aggii mpl i ci t i ,dat i dallincapsulamentodelleapplicazioniinentitvirtuali,chesi traduce in un immediato ritorno di beneci, come la possibilit di effettuaremanutenzione dellhardware anche durante gliorari di operativit, utilizzando le tecnologie di live migration.Alvaloreaziendaledellavirtualizzazionesiaggiungonola maggioredisponibilitdelleapplicazioni,chevengonomeglio protette,edunareattivitmoltopialtaalleesigenzedella produzione,grazie alletecnichedirapidprovisioning,itempidi deploy sono praticamente azzerati.Juku36Laduciainquestafasedaconsiderarsiselettivavistoche vengonoscelteinmodooculatoleapplicazionicheoffrono menoresistenzaallavirtualizzazione,siaperunaquestione puramenteinterna,comeilrapportochectrailrepartoITe lapplicationowner,siaperquestioni,invece,puramente tecniche,comeilsupportodellapiattaformadivirtualizzazione da parte del vendor Software. Microsoft adesempio ha avutoin passatounapoliticapocoamichevoleneiconfrontidiVMware chesirisoltasolonegliultimianniconunprogrammadi certicazionedellesoluzionivirtualizzatechehaaccontentato molto i clienti congiunti.Ilraggiungimentodiquestafasevieneconsideratoilpuntodi rottura,incuilecompetenzedelrepartoITsonoormai consolidatee la resistenza degliapplicationowner stata quasi completamenteannullata.Equestoilmomentoincui normalmente viene introdotta la gi menzionata Virtualization-rst policy,cheaprelastradaalladozionemassivadella virtualizzazione allinternodellazienda,a questopuntolenuove applicazionivengonotuttevirtualizzateamenochenoncisia una difcolt tecnica tale da impedirlo.Come dicevamo allinizio, questa fase viene considerata da molti ilpuntodi arrivo del viaggioverso la virtualizzazione edin effetti abbiamo gi incontrato un rilevante numero di beneci tramite la sua adozione, ma qual il passo successivo?Virtualizzazione e cloud37Private CloudLautomazione.QuestalachiaveperconseguireunveroIT-as-a-service: lautomazione rende possibile lorchestrazione completa di tuttii componenti e rende il processo IT un vero e proprio servizioon-demandincuilerisorsevengonoallocatesurichiestadovee quando servono.Perfarinmodoche ilservizioITsitrasformiinunveroPrivate Cloud necessariounsostegnoaimassimilivelli,direttamente dalCIOoaddiritturadalCEO,mentreladucianellapartedi virtualizzazione deve essere anchessa altissima.Questoportaarealizzaredeiprocessiaziendalimolto razionalizzati ed incentrati completamente sul servizioe, aspetto non da poco, ad un innalzamento della qualit della vita perlIT departmentchevienesgravatodagliimpegnifuoriorarioche caratterizzano questa funzione aziendale.MaqualiequantisonoipilastridelPrivateCloud?Quelliche necessariamenteunaaziendadeveadottareperabbracciare questa losoa?Primadituttolaziendadevedotarsidiuninfrastruttura computazionaleche siadinamica e self-managed,signica che linfrastrutturasucuipoggerilnostroPrivateClouddovr essere realizzata in modo da essere: Resiliente, quindi garantire un alto livello di disponibilit.Juku38 Scalabile, con facilit e senza richiederne la rielaborazione, linfrastruttura deve essere espandibile con il minimo sforzo. Virtualizzata,ovviamenteunaarchitetturaPrivateCloud deveesserevi r t ual i zzat a,si apergar ant i rel a standardizzazionedellapiattaformadiHWvirtualesiaper garantire la trasportabilit verso un eventuale Public Cloud. Dinamica,deveesserepossibileribilanciareiworkloadin modo automatico in base a degli SLA ben precisi e deniti.Inoltre, come ho gi ribadito,la chiave di volta delPrivate Cloud lAutomazione,unaverainfrastrutturaIT-as-a-service comprendeunmotorediprovisioningdelleapplicazioniche possafarneildeployedilritiroinmodoautomatizzato recuperandoi mmedi atamentel eri sorseoccupatei n precedenza,deveaveredeimeccanismiperschedularee riservarelerisorse,strumentipercontrollarelaccessoalle Virtualizzazione e cloud39risorseedellepolicyperdichiararecomelerisorsepossano essere utilizzate. Qu e s t ec a pa c i t c r e a n ol a g i l i t n e c e s s a r i ae contemporaneamentecidannoilnecessariocontrollo amministrativo,uninfrastrutturadiquestotipounpilastro fondamentale per il nostro Private Cloud data la natura elastica dellIT-as-a-service.IlCloudcomputing incentratoalservizio,infortecontrastoal modellotradizionale che invece incentrato sul sistema, se non addirittura sul server.In molti casi, gli utenti del nostro Private Cloud vogliono far girare unservizioounaapplicazionesenzadoverentrarenelmerito degliaspettitecnicidellamministrazionedisistemaodel network,preferisconoavereunaccessoveloceesemplicead una istanzadedicatadiundeterminatoserviziooapplicazione; astraendolacomponenteserver-centricagliutentipossono avereaccessoadambientipredenitidisegnatispecicamente attorno ai loro servizi.Un approccio incentrato al servizio conferisce una forte business agility,pivelocementevengonocompiutequesteoperazioni, pivelocesimuoverilbusinessriducendoicostied accelerando i processi.Interagire con il Cloudrichiede un certo livello di autonomia degli utenti,lepiattaformecloudpievolutedannolapossibilitdi Juku40costruire,rilasciare,schedulare,gestireecrearedeireportsui servizi del business in modo on-demand.Linterfacciadiself-servicedeveessereilpipossibileintuitiva, perpermettere agli utenti di gestire autonomamente tutto il ciclo di vita del servizio, dal deploy al ritiro.Ilbeneciodiquestomodello il conferimento di un certolivello diautoritedindipendenzaagliutenti,incascataaumenter l'agilit nella gestione deiprocessi. Un positivo effetto collaterale sarilpoterdelegare tuttauna serie dimansionietask ripetitivi agliutenti,sgravandoilrepartoITchesipuconcentraresu responsabilit pi strategiche e di alto livello.Inne,ilcloudcomputingguidatodallutilizzo,Iconsumatori pagano solamente per le risorse cheutilizzanoe quindiglideve essereapplicatounmodellodicostoa consumo(ilcosiddetto chargebackdicuiabbiamoparlatoqualcheparagrafopi indietro).LapiattaformadiPrivateClouddeveprevedereun meccanismopercatturare le informazioni di utilizzo e creare una reportistica per realizzare il chargeback delle risorse utilizzate dai vari centri di costo dellazienda.Ilvalorediquestopilastro:dallatoutentelabilitdipagare sololeffettivoutilizzo,tenendoIcostibassi,dallapartedellIT questomodelloimportanteperchpermettesempredi autonanziare le ulteriori crescite dellinfrastruttura cloud interna.Virtualizzazione e cloud41ConclusioniIlCloudunterminemoltoabusatoinquestoperiodo,oggi tutto,inqualchemodo,vieneconsideratoCloud,inrealt dietroaquestoterminesinascondeunalosoaveramente rivoluzionariachepotrebbestravolgerecompletamentela concezionedellITaziendalecomeloconosciamooggi,ma cometuttele rivoluzionicivorrannoanniprimacheleaziende capiscano e abbraccino completamente le tematiche discusse in questa sezione.Juku42