informationstechnologie am institut für meteorologie · subversion gitlab it-monitoring 15/20....
TRANSCRIPT
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Informationstechnologie am Institut furMeteorologie
Ingo Kirchner und Thomas Bergmann
Institut fur MeteorologieFreie Universitat Berlin
12/Dez/2016
1 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Ablauf
1 Allgemeiner Uberblick
2 Rechenzeit und Speicherplatz - Planungen
3 Software fur Lehre und Wissenschaft
4 Jobklassen und Monitoring
5 Systemsoftware und Softwareprojekte
6 Diskussion
2 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Topologie 2014
3 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Topologie 2016
4 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Aufgabenbereiche und Organisation
IT-Aktiv Planung und Absprachen, Vorlagen erarbeitenKoordination Ingo K., Vertreter jeder AG
Administration der Arbeitsplatz-PCs, Server und SoftwareThomas B., Mark N., Lorenzo M.
Netzwerk G-Bit und WLanZEDAT AG Netze
Sekretariat-PCs Windows, Office-ApplikationenFB Geo, Maik Albrecht, Sascha Wunderlich
e-mail, Webseiten @met.fu-berlin.de, www.met.fu-berlin.dePetra G. (zentrale Inhalte), jede AG
5 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Informationen
Intranetseiten http://www.met.fu-berlin.de/ → Internes1 Wissenschaftliches Rechnen2 Mailinglisten3 Tipps und Tricks4 Datenmanagement und Klimadaten-Links5 ...
Intranet-Portalhttp://www.geo.fu-berlin.de/met/internes/IfM-Portal/
1 Linksammlung2 Monitoring3 ...
Hilfe-WiKi http://butler.met.fu-berlin.de/Hilfe/
6 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
HPC - Modalitaten
DKRZ Mistral 3000 Knoten / 240 TB Mem / 54 PB Storage
HLRE Projekt per Antrag im April undOktober fur FolgejahrWLA vergibt im Mai und November Rechenzeithttps://www.dkrz.de/Nutzerportal
ZIB Konrad 1872 Knoten / 120 TB Mem /4.2 PB Storage
Großprojekte sind Quartalsweise zu beantragenhttps://zulassung.hlrn.de/index gp.html
7 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
HPC - im Haus
ZEDAT Soroban 112 Knoten / 5.5 TB Mem / 0.2 TB Storage
Formlose e-mail mit Projektbeschreibung,ZEDAT Account notwendighttp://www.zedat.fu-berlin.de/HPC/Home
calc03 24 CPUs / 150 GB Mem
calc04 48 CPUs / 130 GB Mem
calc05 40 CPUs / 400 GB Mem
Speicherpool ca. 400 TB Storage
8 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Datenprojekte
Policy http://www.geo.fu-berlin.de/met/internes/service/info/policy-datenprojekte-v3.pdf
Datenprojekt hat genau einen Verantwortlichen/daten/[NAME]/ ...
arch/ strukturierte Ablagework/ liegt in Nutzerhand
Datenprojekt (DP) = UNIX-Gruppe = Administrationsaccount (DPAA)
GROSSE Datenprojekte (ab 40 TB) bedurfeneiner Freigabe
Auslastung Kapazitat 390 TB, davon 87% zugeteiltca. 80 TB alter als 5 JahreErweiterungsbedarf → Umfrage !!!
9 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Unterstutzung der Erdsystemforschung
Reanalysen/Analysen Auswertung und Zugriff auf verschiedeneDatensatze → Lizenz beachten!
Analyse Plug-Ins https://freva.klimod.de/
Im-Haus-Daten ... Stadtmessnetzhttp://mevis-www.met.fu-berlin.de/
Synoptik ... operationelle Daten Ninjo-Server
Modellierung zentrale Modellinstallationen (Referenz)
Terminalebene ... /home/model/WebGUI/Lehre ... https://vast.klimod.de/
10 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Slurm
Jobscheduler fur Linux/Unix Systeme
Simple Linux Utility for Resource Management
Viele Supercomputer und Rechencluster nutzen SLURM
kostenlose open-source Software (GNU GPL)
sehr modular aufgebaut
11 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Slurm am IfM
Partitionen
Name Rechner Nutzer
main/calc calc03,calc04,calc05 Mitarbeitercip cip01-37 (nicht permanent) Lehrefreva frevacalc ext. Frevauserwekuw WEKUW-System Lehre
Limits? Keine.
max. LaufzeitAnzahl gleichzeitiger Jobs pro User
12 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Slurm Befehle
sinfo Infos uber Partitionen und Rechenknoten
squeue Infos uber laufende und wartende Jobs
sbatch Batchjob abschicken
scancel Job abbrechen
sacct Jobinformationen abrufen
13 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Datenprojektmonitoring
Warum Datenprojektmonitoring?
Datenprojekte uber mehrere Datenserver verteilt
Planungen fur Speichererweiterungen (Admin)
Wo habe ich Daten zu liegen? (Nutzer)
14 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Uberblick
Module-System
Projektmanagement chiliproject
Subversion
Gitlab
IT-Monitoring
15 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Modules
Tool zum Verwalten von Softwareumgebungen
mehrere Versionen eines Programm deren Umgebungen
die Version kann dynamisch gewechselt werden
kann auf vorgefertigte Konfiguration zuruckgreifen (spartArbeit)
16 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Modules-Befehle im Uberblick
module av[ailable] - Anzeige verfugbarer Module
module li[st] - Anzeige geladener bzw. aktivierter Module
module load/add modulefile - Modul laden
module unload/rm modulefile - Modul entfernen
module switch/swap [modulefile1] modulefile2 - Modulwechseln
module whatis modulefile - Modulbeschreibung anzeigen
module disp[lay]/show modulefile - Anzeige derEnvironment Anderungen
module purge - alle Module entfernen
17 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
weitere Softwareangebote
Projektmanagement mit Chiliproject
https://cladev.met.fu-berlin.de
zentrales Subversionrepository
svn info https://cladev.met.fu-berlin.de/svn/ProjektEinrichtung und Zugriffsrechte durch Admin
Gitlab zentrales Repository fur GIT
https://gitlab.met.fu-berlin.deZugriff auf Projekt durch User konfigurierbar
18 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
IT-Monitoring
icinga2 zur Uberwachung der IT-Systeme
364 Services und 45 Server werden uberwacht
Webdienste, Updatestand, Systemfilesysteme, Auslastung,Hardware wie Festplatten, Netzteile etc., Fernwartung,Drucker
19 / 20
Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen
Software fur Lehre und WissenschaftJobklassen und Monitoring
Systemsoftware und SoftwareprojekteDiskussion
Wunsche und Anregungen
Was erwarten die Anwender von der IT-Betreuung?
Wie kann die IT-Betreuung unterstutzt werden?
20 / 20