Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen

Am Fassberg, 37077 Göttingen

Fon: 0551 201-1510 Fax: 0551 21119gwdg@gwdg.de www.gwdg.de

von

Servervirtualisierung bei der GWDGServervirtualisierung bei der GWDG

Andreas Ißleiber

(aisslei@gwdg.de)

http://www.gwdg.de/~aisslei

2

SAN(gemeinsamer Zugriff auf Massenspeicher) Management Client (Helpdesk)

VMWARE ESX Server

GÖNET

Virtualisierung bei der GWDG, StrukturVirtualisierung bei der GWDG, Struktur

Management Server

Server für Backup der „Guests“Backup

TSM

Virtualisierung von diversen Betriebssystemen(Windows, Linux, BSD, Solaris etc.)

Zuweisung unterschiedlicher Umgebungsparameter(CPU(s), RAM, HDD, Netz)

Snapshots (mehrere …, automatisiert und zeitgesteuert)

Memory Sharing (optimal bei gleichen OS)

VMWARE, Features:VMWARE, Features:

256 MB 256 MB 256 MB 256 MB 512 MB

=1512 MB

<< 1512 MBHosts: ESX RAM

Guests: RAM

4

Features:Features: DRSDRS ( (DDistributed istributed RResource esource SScheduler)cheduler)

DRS überwacht permanent die Auslastung der verschiedenen Ressourcen-Pools und richtet die Ressourcen nach Anforderungen der Guests automatisch aus

Eines der wichtigsten DRS Features ist: VMOTION

Hierarchisch unterhalb der DRS Gruppe befinden sich die einzelnen Ressourcenpools. In diesem Ressourcenpools können Grenzwerte für CPU, Memory etc. gesetzt werden.

Die gleichen Einstellungen lassen sich aber auch pro Gastsystem vornehmen

… automatische, ressourcenabhängige Migration von Guests über die Hardwaregrenzen hinweg. Die Gastsysteme bleiben dabei „eingeschaltet“.

Guestkonfiguration wird von ESX 1 nach ESX 2 migriert

RAM Inhalt des Guest wird über spez. Netzwerkinterfaces kopiert. Änderungen im RAM des Guest, während der Übertragung, werden am Schluss des VMOTION-Prozesses erneut synchronisiert. Die Festplatteninhalte selbst sind für alle ESX-Server im SAN erreichbar.

ESX 1 ESX 2 ESX 3

Gigabit Switch

Bei Überlastung des ESX 1 werdendie Guests migriert

Schritt 1

Schritt 2

Schritt 3

Guest

Migration zum anderen ESX Host

VMWARE, Features: VMWARE, Features: VMOTIONVMOTION

6

- Bei Ausfall eines Hosts, übernehmen die verbleibenden Hosts die „laufenden“ Guests

- Dazu müssen ausreichend Ressourcen verfügbar sein

- Zwei getrennte Netzwerk- verbindungen zwischen den beteiligten Hosts sind erforderlich

- HA-failover wird durch „Hello Packets“ sowie Erreichbarkeit des z.B. default gateways geprüft (Fehlalarme vermeiden durch Erhöhung der Management-Interfaces/IP-Adressen)

Aktivieren des HA im VCenter

Features:Features: HHigh igh AAvailability (vailability (HAHA):):

HA: Automatischer (re)Start der Gastsysteme, bei Ausfall eines, oder mehrerer Hosts

Features:Features: HHigh igh AAvailability (vailability (HAHA):):

File-Locking im SAN für die „laufenden“ Guests wird deaktiviert,sodass die anderen Hosts die Guests starten könnenESX 1 ESX 2 ESX 3

Erkennung des „Isolation“ eines Hosts (keine Hello Packets empfangen, default gateway nicht erreichbar)

Schritt 1

Schritt 2

Default gateway

SAN

-rw------- 1 root root 404750336 Mar 2 10:14 GWDG_radius1-neu-edf07efb.vswp-rw------- 1 root root 12884901888 Apr 20 14:08 GWDG_radius1-neu-flat.vmdk-rw------- 1 root root 8684 Mar 17 15:16 GWDG_radius1-neu.nvram-rw------- 1 root root 409 Apr 2 13:40 GWDG_radius1-neu.vmdk

Guests werden auf aktiven Hosts gestartet. Funktion des HA Master wird ggf. von anderem Hosts übernommen.

Schritt 3Ausfall !

… sorgt für automatische Updates/Patches der Hosts.

- Lädt automatisch Updates/Patches zum vorgegebenem Zeitpunkt herunter

- Update wird automatisch installiert, oder (… wenn ein reboot des Hosts erforderlich)von Hand aktiviert

Features:Features: Update ManagerUpdate Manager::

9

Die Filesysteme der virtuellen Maschinen (Guests) liegen ausschließlich im SAN uns sind als „LUN“ gemounted (FS=VMFS3)

SAN ist essentiell für VMWARE, da die VMWARE Server auf das gleiche Filesystem zugreifen müssen, damit VMOTION und HA funktionieren kann

Virtueller Switch:Ein virtueller Switch in VMWARE erlaubt über VLANs dieAnbindung mehrerer Netzwerke an die ESX Server und damit an die Guests.

Netzwerkänderungen sind leichter durchführbar, als bei „physischen“ Switches

SAN und Netz…SAN und Netz…

Virtualisierung bei der GWDG, HardwareVirtualisierung bei der GWDG, Hardware

Stand: 9.4.2009

• 2 x HP Proliant DL580 G5 mit jeweils … :- CPU: 4 x QuadCore Xeon 2,4 GHz- RAM: 256 Gbyte - FC: 2 x 4 Gbit FibreChannel Anschluß- LAN: 3 x 1 Gbit LAN Anschluß

• SAN:- 12,5 Tbyte EMC CX-3-80- 12,0 Tbyte Transtec (FalconStor)

• Bestellung weiterer 2 Proliant Server mit jeweils 2 QC CPUs erfolgte am 17.4.2009. Lieferung voraussichtlich Ende April 2009

10

11

Speicher (RAM) … die wertvollste Ressource

CPU Leistung ist derzeit reichlich vorhanden

Massenspeicher (Festplatten der Guests) im SAN , kann leicht erweitert werden, Kosten sind abhängig von der Qualität des SAN (FC Platten, SATA , SCSI-HDD)

Leistung & RessourcenLeistung & Ressourcen

Virtualisierung bei der GWDG, GastsystemeVirtualisierung bei der GWDG, Gastsysteme

12

Verteilung der Gastsysteme (Stand: 04/09):

Anzahl virtueller Server (Guests): 277 davon…

• 205 Systeme der Universität(162)Verwaltung der UNI (19) sowie Max-Planck-Institute(24)

• 51 Serversysteme der GWDG

• 21 Testsysteme (UNI, MPG, GWDG)

Nach OS sortiert:

150 x Windows Systeme (W2k3, XP, Vista, Server 2008)

3 x FreeBSD117 x LINUX (Sles, Opensuse, Ubuntu, Redhat, RHEL, Debian, sonstige)

7 x Sondersysteme (Solaris etc.)

13

Leistung & RessourcenLeistung & Ressourcen

Virtualisierung bei der GWDG, PerformanceVirtualisierung bei der GWDG, Performance

16

Summe der Ressourcen des gesamten Struktur (Stand: 04/09):

System load (CPU & Memory, Stand: 04/09): Produktivsysteme (2 x HP Proliant)

Testsysteme (Dell Blades) nicht produktiv im Einsatz

Management (zentral) & Monitoring, eigener Client VCENTER

VMWARE, Features:VMWARE, Features:

Leistung & Ressourcen der alten Struktur

19

Leistung & Ressourcen der neuen StrukturLeistung & Ressourcen der neuen Struktur

2 x HP Proliant DL580G5

Ab Mai 2009: 4 x HP Proliant DL580G5

4 x QC 2,4GHz128 GByte

4 x QC 2,4GHz128 GByte

2 x QC 2,4GHz128 GByte

2 x QC 2,4GHz128 GByte

4 x QC 2,4GHz256 GByte

4 x QC 2,4GHz256 GByte

Σcpu = 76.8 GHz

Σmem= 512 GByte

Σcpu = 115.2 GHz Σmem= 512 GByte

20

Leistung & Ressourcen: VergleichLeistung & Ressourcen: Vergleich

16 GB8 x 2.3 GHz

256 GB16 x 2,4

GHz

5 x Dell Server 1955 (Blades)bei 74 aktiven Guests

2 x HP Proliant DL580G5bei 185 aktiven Guests

Virtualisierung bei der GWDG, PerformanceVirtualisierung bei der GWDG, Performance

21

Summe der Ressourcen des gesamten Struktur (Stand: 04/09):

System load (CPU & Memory, Stand: 04/09):

22

Verhältnis zwischen ESX Server und Guestsbei HP Proliant DL580 G5 als Server

Leistung & RessourcenLeistung & Ressourcen

1

160

:

Host

Guests

…

VMWARE Limitations:VMWARE Limitations:

Guest system maximum RAM: 64 GB Number of hosts in a HA cluster: 32 Number of hosts in a DRS cluster: 32 Maximum number of processors per virtual machine: 4 Number of virtual CPUs per server: 192 Number of virtual machines per server: 170 Number of cores per server: 32 Number of (hyperthreaded) logical processors/server: 32

23

Tipps…Tipps…

24

•Externe Überwachung der Stati von Hosts und ggf. Guests sowie Erfassung der Leistungsdaten. -> SNMP -> CACTI, Nagios•Zur HA Verbesserung mehrere (auch virtuelle) Managementinterfaces nutzen/instrallieren•Möglichst mehrere Hosts im Cluster einsetzen (weniger „Verschnitt“) und weniger Ausfall bei „Maintenance“•LUN Größen von ca. 1-2 Tbyte, max. 60 Guests•Bei Guests mit der Tendenz zum „einschlafen“ -> Ressourcen reservieren•Backup: Alternativen suchen

25

Unterschiedliche Prozessoren in den ESX-Servern müssen durch komplexe CPU Masken an die Prozessoren angepasstwerden, damit VMOTION funktioniert

Kleine Details im Monitoring, Fehler bei der Darstellung HA: Überprüfung der Ressourcen bei Aktivierung des HA Undurchschaubare Lizenzpolitik und FLEXNet als Lizenzserver

Was kann bei VMWARE verbessert werden …Was kann bei VMWARE verbessert werden …

26

Zugriff auf den ESX Server (Webseite) Zugriff auf das Managementsystem

(Virtual Infrastructure Client) Leistungen virtueller Maschinen (Speicher, CPU) SAN Anbindung Ressourcengruppen (Einstellungen) Starten, Stoppen, Ändern virt. Maschinen Netzwerke (virtual Switch) Clonen virt. Maschinen Alarme, Ereignisse Rechte und Gruppierungen VMOTION, Maintenance-mode, HA Gruppierung von Guests in VMOTION Einrichten einer virtuellen Maschine

Weitere Themen …Weitere Themen …

27

Neue Server einrichten…Neue Server einrichten…

1.) Kunde beantragt Server auf Sharepoint Webseite http://sharepoint3.top.gwdg.de/gwdg/VServer/default.aspx

2.) eMail wird automatisch erzeugt und an support@gwdg.de geschickt

3.) Helpdesk kann im Sharepoint den Status auf „bearbeiten“ setzen

4.) Nachdem der Server eingerichtet ist, kann „Helpdesk“ im Sharepoint den Status auf „erledigt“ setzen, wobei der beantragenden Benutzer eine eMail bekommt.

IP-Adressen und Firewallregeln müssen vom Benutzer definiert/beantragt werden

VMWARE Betrieb… Sinnvolles…VMWARE Betrieb… Sinnvolles…

Gute, weitreichende Community

http://communities.vmware.com

http://communities.vmware.com/community/vmug

http://vmware-forum.de (auch in deutsch)

Best Practices zu diversen Themen bei vmware.com (meist als PPT, oder PDF)

28

29

- W2K3 TS als Zugang für non-Windows Systeme (VI) - Limitations: 177 Guests, - Lizensierungen, Enterprise, Academic, (Foundation) - Backup, VCB, VRanger - VMWARE 4.0 - Maintenance Mode - ISO Fileserver, CD Images - HA, Failover - VMOTION CPU ID - Was sollte virtualisiert werden ? Mailserver etc. - SNMP Überwachung etc. - 32 Bit , 64 Bit und SMP - Beantragungen, Abrechnungen (SNMP oder statisch) - Updates / Automatisch und Client Updates - Problem einschlafender Guests -> Ressourcenerhöhung

30

CISCOSYSTEMSCISCOYSTEMSS

CISCOSYSTEMSUPPERPOWERLOWERPOWERNORMAL… Fragen… Fragen

Vielen Dank!Vielen Dank!

und Diskussionen!und Diskussionen!

Vortrag ist unter: …http://www.gwdg.de/~aisslei/

… zu finden

??