servervirtualisierung bei der gwdg
Post on 04-Feb-2016
36 Views
Preview:
DESCRIPTION
TRANSCRIPT
Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen
Am Fassberg, 37077 Göttingen
Fon: 0551 201-1510 Fax: 0551 21119gwdg@gwdg.de www.gwdg.de
von
Servervirtualisierung bei der GWDGServervirtualisierung bei der GWDG
Andreas Ißleiber
(aisslei@gwdg.de)
http://www.gwdg.de/~aisslei
2
SAN(gemeinsamer Zugriff auf Massenspeicher) Management Client (Helpdesk)
VMWARE ESX Server
GÖNET
Virtualisierung bei der GWDG, StrukturVirtualisierung bei der GWDG, Struktur
Management Server
Server für Backup der „Guests“Backup
TSM
Virtualisierung von diversen Betriebssystemen(Windows, Linux, BSD, Solaris etc.)
Zuweisung unterschiedlicher Umgebungsparameter(CPU(s), RAM, HDD, Netz)
Snapshots (mehrere …, automatisiert und zeitgesteuert)
Memory Sharing (optimal bei gleichen OS)
VMWARE, Features:VMWARE, Features:
256 MB 256 MB 256 MB 256 MB 512 MB
=1512 MB
<< 1512 MBHosts: ESX RAM
Guests: RAM
4
Features:Features: DRSDRS ( (DDistributed istributed RResource esource SScheduler)cheduler)
DRS überwacht permanent die Auslastung der verschiedenen Ressourcen-Pools und richtet die Ressourcen nach Anforderungen der Guests automatisch aus
Eines der wichtigsten DRS Features ist: VMOTION
Hierarchisch unterhalb der DRS Gruppe befinden sich die einzelnen Ressourcenpools. In diesem Ressourcenpools können Grenzwerte für CPU, Memory etc. gesetzt werden.
Die gleichen Einstellungen lassen sich aber auch pro Gastsystem vornehmen
… automatische, ressourcenabhängige Migration von Guests über die Hardwaregrenzen hinweg. Die Gastsysteme bleiben dabei „eingeschaltet“.
Guestkonfiguration wird von ESX 1 nach ESX 2 migriert
RAM Inhalt des Guest wird über spez. Netzwerkinterfaces kopiert. Änderungen im RAM des Guest, während der Übertragung, werden am Schluss des VMOTION-Prozesses erneut synchronisiert. Die Festplatteninhalte selbst sind für alle ESX-Server im SAN erreichbar.
ESX 1 ESX 2 ESX 3
Gigabit Switch
Bei Überlastung des ESX 1 werdendie Guests migriert
Schritt 1
Schritt 2
Schritt 3
Guest
Migration zum anderen ESX Host
VMWARE, Features: VMWARE, Features: VMOTIONVMOTION
6
- Bei Ausfall eines Hosts, übernehmen die verbleibenden Hosts die „laufenden“ Guests
- Dazu müssen ausreichend Ressourcen verfügbar sein
- Zwei getrennte Netzwerk- verbindungen zwischen den beteiligten Hosts sind erforderlich
- HA-failover wird durch „Hello Packets“ sowie Erreichbarkeit des z.B. default gateways geprüft (Fehlalarme vermeiden durch Erhöhung der Management-Interfaces/IP-Adressen)
Aktivieren des HA im VCenter
Features:Features: HHigh igh AAvailability (vailability (HAHA):):
HA: Automatischer (re)Start der Gastsysteme, bei Ausfall eines, oder mehrerer Hosts
Features:Features: HHigh igh AAvailability (vailability (HAHA):):
File-Locking im SAN für die „laufenden“ Guests wird deaktiviert,sodass die anderen Hosts die Guests starten könnenESX 1 ESX 2 ESX 3
Erkennung des „Isolation“ eines Hosts (keine Hello Packets empfangen, default gateway nicht erreichbar)
Schritt 1
Schritt 2
Default gateway
SAN
-rw------- 1 root root 404750336 Mar 2 10:14 GWDG_radius1-neu-edf07efb.vswp-rw------- 1 root root 12884901888 Apr 20 14:08 GWDG_radius1-neu-flat.vmdk-rw------- 1 root root 8684 Mar 17 15:16 GWDG_radius1-neu.nvram-rw------- 1 root root 409 Apr 2 13:40 GWDG_radius1-neu.vmdk
Guests werden auf aktiven Hosts gestartet. Funktion des HA Master wird ggf. von anderem Hosts übernommen.
Schritt 3Ausfall !
… sorgt für automatische Updates/Patches der Hosts.
- Lädt automatisch Updates/Patches zum vorgegebenem Zeitpunkt herunter
- Update wird automatisch installiert, oder (… wenn ein reboot des Hosts erforderlich)von Hand aktiviert
Features:Features: Update ManagerUpdate Manager::
9
Die Filesysteme der virtuellen Maschinen (Guests) liegen ausschließlich im SAN uns sind als „LUN“ gemounted (FS=VMFS3)
SAN ist essentiell für VMWARE, da die VMWARE Server auf das gleiche Filesystem zugreifen müssen, damit VMOTION und HA funktionieren kann
Virtueller Switch:Ein virtueller Switch in VMWARE erlaubt über VLANs dieAnbindung mehrerer Netzwerke an die ESX Server und damit an die Guests.
Netzwerkänderungen sind leichter durchführbar, als bei „physischen“ Switches
SAN und Netz…SAN und Netz…
Virtualisierung bei der GWDG, HardwareVirtualisierung bei der GWDG, Hardware
Stand: 9.4.2009
• 2 x HP Proliant DL580 G5 mit jeweils … :- CPU: 4 x QuadCore Xeon 2,4 GHz- RAM: 256 Gbyte - FC: 2 x 4 Gbit FibreChannel Anschluß- LAN: 3 x 1 Gbit LAN Anschluß
• SAN:- 12,5 Tbyte EMC CX-3-80- 12,0 Tbyte Transtec (FalconStor)
• Bestellung weiterer 2 Proliant Server mit jeweils 2 QC CPUs erfolgte am 17.4.2009. Lieferung voraussichtlich Ende April 2009
10
11
Speicher (RAM) … die wertvollste Ressource
CPU Leistung ist derzeit reichlich vorhanden
Massenspeicher (Festplatten der Guests) im SAN , kann leicht erweitert werden, Kosten sind abhängig von der Qualität des SAN (FC Platten, SATA , SCSI-HDD)
Leistung & RessourcenLeistung & Ressourcen
Virtualisierung bei der GWDG, GastsystemeVirtualisierung bei der GWDG, Gastsysteme
12
Verteilung der Gastsysteme (Stand: 04/09):
Anzahl virtueller Server (Guests): 277 davon…
• 205 Systeme der Universität(162)Verwaltung der UNI (19) sowie Max-Planck-Institute(24)
• 51 Serversysteme der GWDG
• 21 Testsysteme (UNI, MPG, GWDG)
Nach OS sortiert:
150 x Windows Systeme (W2k3, XP, Vista, Server 2008)
3 x FreeBSD117 x LINUX (Sles, Opensuse, Ubuntu, Redhat, RHEL, Debian, sonstige)
7 x Sondersysteme (Solaris etc.)
13
Leistung & RessourcenLeistung & Ressourcen
Virtualisierung bei der GWDG, PerformanceVirtualisierung bei der GWDG, Performance
16
Summe der Ressourcen des gesamten Struktur (Stand: 04/09):
System load (CPU & Memory, Stand: 04/09): Produktivsysteme (2 x HP Proliant)
Testsysteme (Dell Blades) nicht produktiv im Einsatz
Management (zentral) & Monitoring, eigener Client VCENTER
VMWARE, Features:VMWARE, Features:
Leistung & Ressourcen der alten Struktur
19
Leistung & Ressourcen der neuen StrukturLeistung & Ressourcen der neuen Struktur
2 x HP Proliant DL580G5
Ab Mai 2009: 4 x HP Proliant DL580G5
4 x QC 2,4GHz128 GByte
4 x QC 2,4GHz128 GByte
2 x QC 2,4GHz128 GByte
2 x QC 2,4GHz128 GByte
4 x QC 2,4GHz256 GByte
4 x QC 2,4GHz256 GByte
Σcpu = 76.8 GHz
Σmem= 512 GByte
Σcpu = 115.2 GHz Σmem= 512 GByte
20
Leistung & Ressourcen: VergleichLeistung & Ressourcen: Vergleich
16 GB8 x 2.3 GHz
256 GB16 x 2,4
GHz
5 x Dell Server 1955 (Blades)bei 74 aktiven Guests
2 x HP Proliant DL580G5bei 185 aktiven Guests
Virtualisierung bei der GWDG, PerformanceVirtualisierung bei der GWDG, Performance
21
Summe der Ressourcen des gesamten Struktur (Stand: 04/09):
System load (CPU & Memory, Stand: 04/09):
22
Verhältnis zwischen ESX Server und Guestsbei HP Proliant DL580 G5 als Server
Leistung & RessourcenLeistung & Ressourcen
1
160
:
Host
Guests
…
VMWARE Limitations:VMWARE Limitations:
Guest system maximum RAM: 64 GB Number of hosts in a HA cluster: 32 Number of hosts in a DRS cluster: 32 Maximum number of processors per virtual machine: 4 Number of virtual CPUs per server: 192 Number of virtual machines per server: 170 Number of cores per server: 32 Number of (hyperthreaded) logical processors/server: 32
23
Tipps…Tipps…
24
•Externe Überwachung der Stati von Hosts und ggf. Guests sowie Erfassung der Leistungsdaten. -> SNMP -> CACTI, Nagios•Zur HA Verbesserung mehrere (auch virtuelle) Managementinterfaces nutzen/instrallieren•Möglichst mehrere Hosts im Cluster einsetzen (weniger „Verschnitt“) und weniger Ausfall bei „Maintenance“•LUN Größen von ca. 1-2 Tbyte, max. 60 Guests•Bei Guests mit der Tendenz zum „einschlafen“ -> Ressourcen reservieren•Backup: Alternativen suchen
25
Unterschiedliche Prozessoren in den ESX-Servern müssen durch komplexe CPU Masken an die Prozessoren angepasstwerden, damit VMOTION funktioniert
Kleine Details im Monitoring, Fehler bei der Darstellung HA: Überprüfung der Ressourcen bei Aktivierung des HA Undurchschaubare Lizenzpolitik und FLEXNet als Lizenzserver
Was kann bei VMWARE verbessert werden …Was kann bei VMWARE verbessert werden …
26
Zugriff auf den ESX Server (Webseite) Zugriff auf das Managementsystem
(Virtual Infrastructure Client) Leistungen virtueller Maschinen (Speicher, CPU) SAN Anbindung Ressourcengruppen (Einstellungen) Starten, Stoppen, Ändern virt. Maschinen Netzwerke (virtual Switch) Clonen virt. Maschinen Alarme, Ereignisse Rechte und Gruppierungen VMOTION, Maintenance-mode, HA Gruppierung von Guests in VMOTION Einrichten einer virtuellen Maschine
Weitere Themen …Weitere Themen …
27
Neue Server einrichten…Neue Server einrichten…
1.) Kunde beantragt Server auf Sharepoint Webseite http://sharepoint3.top.gwdg.de/gwdg/VServer/default.aspx
2.) eMail wird automatisch erzeugt und an support@gwdg.de geschickt
3.) Helpdesk kann im Sharepoint den Status auf „bearbeiten“ setzen
4.) Nachdem der Server eingerichtet ist, kann „Helpdesk“ im Sharepoint den Status auf „erledigt“ setzen, wobei der beantragenden Benutzer eine eMail bekommt.
IP-Adressen und Firewallregeln müssen vom Benutzer definiert/beantragt werden
VMWARE Betrieb… Sinnvolles…VMWARE Betrieb… Sinnvolles…
Gute, weitreichende Community
http://communities.vmware.com
http://communities.vmware.com/community/vmug
http://vmware-forum.de (auch in deutsch)
Best Practices zu diversen Themen bei vmware.com (meist als PPT, oder PDF)
28
29
- W2K3 TS als Zugang für non-Windows Systeme (VI) - Limitations: 177 Guests, - Lizensierungen, Enterprise, Academic, (Foundation) - Backup, VCB, VRanger - VMWARE 4.0 - Maintenance Mode - ISO Fileserver, CD Images - HA, Failover - VMOTION CPU ID - Was sollte virtualisiert werden ? Mailserver etc. - SNMP Überwachung etc. - 32 Bit , 64 Bit und SMP - Beantragungen, Abrechnungen (SNMP oder statisch) - Updates / Automatisch und Client Updates - Problem einschlafender Guests -> Ressourcenerhöhung
30
CISCOSYSTEMSCISCOYSTEMSS
CISCOSYSTEMSUPPERPOWERLOWERPOWERNORMAL… Fragen… Fragen
Vielen Dank!Vielen Dank!
und Diskussionen!und Diskussionen!
Vortrag ist unter: …http://www.gwdg.de/~aisslei/
… zu finden
??
top related