Sissejuhatus Informaatikasse

Hajussüsteemid

Pelle Jakovits

Loeng

14.11.2011

Sisukord

• Hajussüsteemide grupp

• Teadustöö – Paralleelarvutused

– Teadusarvutused

– Pilvetehnoloogia

– Mobiilsed arvutused

– Friend-2-Friend

– Andmeotsingu tulevik

• Lõputööd

Hajussüsteemide grupp

• Kes me oleme?

• Rahvusvaheline grupp.

– Teadlased ning tudengid kümnest erinevast riigist!

– Igapäevane töö käib Inglise keeles.

• Tegeleme hajusate ja paralleelsete arvutustega.

• Vahel tegeleme ka muude asjadega

Hajussüsteemide grupi liikmed

Eero Vainikko

• Hajussüsteemide professor

• Teadustöö – Hajussüsteemid

– High-Performance-Computing (HP)

– Arvutused Grid võrkudes

– Teadusarvutused

– DOUG

• Õpetamine – Paralleelarvutused

– Gridi- ja pilvetehnoloogia alused

– Teadusarvutused

– Hajussüsteemide seminar

Satish Srirama • Vanemteadur

• Teadustöö – Pilvearvutused

– SciCloud (Teadusarvutused pilves)

– Mobile Cloud (Mobiilsed pilveteenused)

– Mobiilsed veebiteenused

• Õpetamine – Gridi- ja pilvetehnoloogia alused

– Mobiilirakenduste loomine

– Hajussüsteemide seminar

Ulrich Norbisrath

• Vanemteadur

• Teadustöö

– Friend-to-Friend (F2F)

– Teabehaldus

– Pilvearvutused

– Platvormist sõltumatud süsteemid

• Õpetamine (eelmise semestrini)

– Süsteemide modelleerimine

– Süsteemihaldus

– Hajussüsteemide seminar

Kuidas meid leida?

• Kolmandal korrusel, Liivi 2 - 311 (Akvaarium-ruum)

• http://ds.cs.ut.ee

http://ds.cs.ut.ee/

Mis on Hajussüsteemid?

Mida te arvate?

Hajussüsteemid?

Hajussüsteemid

• “A system in which hardware or software components located at networked computers communicate and coordinate their actions only by message passing.” [Coulouris]

• “A distributed system is a collection of independent computers that appear to the users of the system as a single computer.” [Tanenbaum]

• Näiteid hajusavutuse süsteemidest: – Cluster: “A type of parallel or distributed processing system, which

consists of a collection of interconnected stand-alone computers cooperatively working together as a single, integrated computing resource” [Buyya].

– Grid: “A type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed autonomous resources dynamically at runtime depending on their availability, capability, performance, cost, and users' quality-of-service requirements” [Buyya].

Leslie Lamport’s Definition

• A distributed system is one on which I cannot get any work done because some machine I have never heard of has crashed.“

– Leslie Lamport , a famous researcher on timing, message ordering, and clock synchronization in distributed systems.

Hajussüsteemid üldisemalt

• Kust leiab Hajussüsteeme? • Erinevad arvutivõrgud:

– Mobiiltelefonivõrgustikud – Äriettevõtete arvutivõrgud – Sõidukitesse sisseehitatud arvutivõrgud (Autod, lennukid, ...) – Interneti võrgustik

• Hajussüsteemide uurimine käsitleb – oluliste hajusalt ühendatud arvutitivõrkude omaduste uurimist. – Põhikontseptsioone ning tehnikaid, mis aitavad disainida ning

rakendada hajussüsteeme ning nendel baseeruvaid lahendusi. – Kuidas effektiivselt rakendada hajusalt asuvaid arvutusressursse

Hajussüsteemid millega meie peamiselt tegeleme

• Klastrid (Clusters)

• Arvutusvõrgud (Grids)

• Pilved (Clouds)

• P2P süsteemid

• Mobiilsed süsteemid

Paralleelsed teadusarvutused

• Meie grupi üks peamisi tegevusalasid

• Teadusarvutused tegelevad erinevate teaduslike arvutimodeleerimiste ning simulatsioonidega.

• Sellised simulatsioonid on aga tihti väga suuremahulised

• Selleks et saada kiireid ning täpseid tulemusi on vaja rakendada superarvutite või paralleelarvutuse võimalusi.

Paralleelsed teadusarvutused

• Paralleelarvutuste läbi viimisel rakendatakse ühe ülesande lahendamisel rohkemat kui ühte protsessori tuuma.

– Kui rakendatakse rohkemat kui ühte protsessorit või arvutit siis on tegemist juba Hajussüsteemiga

• Kuidas efektiivselt ära kasutada üksteisest eemal olevaid arvuteid suuremahuliste arvutuste jaoks ongi üks meie grupi peamisi uurimisteemasid.

DOUG

• Eero Vainikko – Oleg Batrashev

• Musta-kasti tüüpi lahendaja tohutult suurte hõredate lineaarsüsteemide jaoks.

• Hiiglaslikud hõredad lineaar-süsteemid: – Süsteemis on miljoneid tundmatuid

– Maatriksi suurus on tihti > 10^12

– Kuid maatriks on hõre

• Lineaarsüsteemi automaatne alamosadeks jagamine

Doug

• Fortranis kirjutatud pärand-programm

• Alustatud 1995 kasutades Fortran'77 keelt

• Jooksutatakse paralleelselt arvuti-klastrites kasutades MPI sõnumite saatmise liidest.

• Väga

– Kiire ja effektiivne

– Raske paigaldada

– Raske hooldada

Milleks DOUG’i rakendatakse?

• Näiteks temperatuuri-jaotuse simulatsioon erinevates materjalides koos soojusallikate ning väljunditega

Teemaga seotud doktoritööd

• Oleg Batrashev

– Teeb doktoritööd teemal “Valdkonnaspetsiifilised keeled (DSL) suure jõudlusega arvutuste (HPC) jaoks”

Pilvetehnoloogia

• Satish Srirama – Pelle Jakovits

– Jürmo Mehine

– Briti Deb

• Pilvetehnoloogia kasutamine teadusarvutuste ja teiste suuremahuliste arvutuste jaoks. – SciCloud

– Stratus hajusarvutusraamistik

– Pilves asuv andmeanalüüs ning andmebaasid

Definitsioon? Mis see on?

Mida täpselt mõeldakse

Pilvearvutuste all?

Definitsioon

• Arvutusvõimsuse pakkumine sarnaselt teistele teenustele: – Vesi

– Elekter

– Gaas

• Gartner: “Cloud computing is a style of computing where massively scalable IT-related capabilities are provided ‘as a service’ across the Internet to multiple external customers.”

Pilvearvutused

• Arvutusressursside pakkumine teenusena (raha eest)

– Protsessori aeg ja võimsus

– Salvestusruumi suurus

– Mälu maht

– Liikuvate andmete maht, jne.

• Maksad täpselt nii palju kui ressursse kasutad.

• Arvutuskeskkond on virtualiseeritud ja kasutaja näeb lihtsustatud keskkonda.

Erinevad pilveteenused • Software as a Service – SaaS

– Tarkvara rakenused teenustena, mis on ligipääsetavad veebilehitseja abil.

– Siin all mõeldakse rakendusi mis on rohkemad, kui lihtsalt veebilehed.

• Platform as a Service – PaaS – Erinevate rakenduste jaoks vajalike platvormide

pakkumine teenusena – Pay-as-you-go mudel IT lahenduste jaoks

• Infrastructure as a Service – IaaS – Virtuaalsete arvutusvahendite laenutamine üle

interneti. – Võrreldes veebilehtede majutajatega on see teenus

palju dünaamilisem. On võimalik sekunditega uusi virtuallservereid üles seada, seadistada ning eemaldada.

– Tihti kasutuses suuremahuliste andmete töötluseks ja ladustamiseks.

– Alati on lihtne ning kiire arvutusressursse juurde lisada

SaaS

Facebook, Flickr, Myspace.com, Google maps,

Gmail

PaaS

Google App Engine, Force.com, Hadoop, Azure,

Amazon S3, etc

IaaS

Amazon EC2, Nirvanix Storage Delivery Network, etc.

IaaS Näide

• Amazon EC2

– Virtuaalsed arvutiressursid teenusena

– Pakub võimalust rentida virtuaalmasinaid

– Maksad selle eest kui kaua ning kui võimsaid virtuaalmasinaid kasutad

Amazon EC2

• Virtuaalmasina valimine • Operatsiooni systeem

– Linux (Ubuntu, Debian, Scientific Linux, ...)

– Windows

• 32 või 64 bit

– Asukoht (Euroopa, USA Ida või läänerannik või Aasia)

– Masina võimsus • Mälu maht

• Kõvaketta suurus

• Protsessori võimsus

• Tuumade arv

Amazon EC2

• Saad ligipääsu virtuallmasinale ssh kaudu avaliku võtme abil

• Juurkasutaja tasemel ligipääs operatsiooni-süsteemile – Praktiliselt piiramatu ligipääs – Võimalik paigaldada mistahes vajalikku tarkvara

• Kui töö tehtud siis saab virtuallmasina hetkeseis salvestada või masin lihtsalt peatada

• Maksta tuleb valitud masina võimsuse ning kasutatud aja järgi

Milleks meie kasutame EC2’d?

• Lühiajalised eksperimendid

– Võimalik hinnata ette kui palju raha eksperimendi jaoks vaja on

– Ei ole vaja üleval hoida ja hooldada oma riistvara

– Saab kasutada ainult siis kui on vajadus

– Väiksemaid proove on võimalik praktiliselt tasuta kõige väisemate masina tüüpe (Micro) kasutades teha.

– Me saime Amazonilt $9000 suuruse toetuse EC2 kasutamiseks teadustöö ning õppetegevuse jaoks.

Meie Pilv

• Kohalik Pilv on üles seatud ruumis 311.

• Koosneb: – 6 HP pro arvutitist (4 Tuuma, 8GB Mälu)

– 2 HP serverist (8 Tuuma, 32GB Mälu)

• Kasutab Eucalyptus pilvearvutuse platvormi – Simuleerib Amazon EC2’e

• Kasutuses on uurmistööde jaoks eksperimentide tegemisel ning aine “Pilvetehnoloogia Alused” praktikumide läbi viimisel.

Motivatsioon

• Avalikud pilveteenused “Lubavad” virtuaalselt lõpmatuid arvutusressursse: – Neid saab kasutada teadusarvutuste läbi viimiseks – Teenuse pakkujate poolt kasutatav riistvara võib aga tihti üles

ütelda. – Vigadehalduseks ning rakenduste loomise lihtsustamiseks on

tihti teadlastel parem kasutada olemasolevaid lahendusi, arvutusraamistikke.

• Millised on paraleelarvutuse raamistikud mille abil on võimalik effektiivselt ära kasutada selliseid arvutusressursse?

• Teadusarvutusprobleemide taandamine paralleelsetele pilvearvutusraamistikele ei ole alati lihtne.

SciCloud

• Teaduslikud arvutused pilvearvutus platvormidel

• Lokaalsete pilvearvutus-võrkude loomine kasutades olemasolevaid ülikooli arvuteid ning arvutusvõrke. – Lubada teadlastel ning tudengitel neid kasutada teadusarvutuse

probleemide lahendamiseks

• Olemas olevate pilvearvutuses kasutavate raamistike sobivuse uurimine suuremahuliste teadusarvutuse probleemide lahendamise jaoks. – MapReduce

• Hadoop

• Twister

– Bulk Synchronous Parallel (BSP)

SciCloud

• “Adapting scientific computing problems to cloud computing frameworks”,

– Teaduslike probleemide lahendamine matemaatilise modelleerimise ja simulatsiooni abil.

– Erinevate pilvetehnoloogias kasutavate raamistike võrdlemine

– Selliste probleemide lahendamiseks kohandatud pilvearvutus-raamistiku loomine

• Esialgne nimi: Stratus

• Baseerub „Bulk Synchronous Parallel“ (BSP) paralleelarvutusmudelil

Modelleerimine ja Simulatsioon

MapReduce

• Google poolt loodud raamistik massiivse andmeanalüüsi läbi viimiseks – Raamistikule kirjutatud programmid on autamaatselt

paralleliseeritavad

– Lihtsustab hajusate andmeanalüüsi programmide kirjutamist

• MapReduce raamistik – Haldab ise kõiki paralleliseerimisdetaile

– Sisseehitatud veatõrgete süsteem riistvara ning arvutivõrgu tõrgete kaitseks

Stratus raamistik

• Tulemused aga näitavad et MapReduce ei ole sobiv mudel sobiv suuremahuliste simulatsioonide jaoks.

• Otsustasime luua oma enda raamistiku teadusarvutuse paralleelsete simulatsioonide läbi viimiseks: Stratus.

• Esmärk on lihtsustada teadlase tööd, kellel ei ole palju kogemusi paralleelarvutuse jaoks programmide kirjutamisega.

– Lihtsus

– Automaatne parallelsus

– Tõrketaluvus

Bulk Synchronous Parallel

• Stratus raamistik baseerub BSP paralleelarvutuse mudelil: – Kogu arvutus jagatakse paralleelseteks

alamülesanneteks ning moodustakse neist graaf.

– Arvutuskäik jaotatakse iteratsioonideks, (näiteks ajahetked simulatsioonis)

– Igal iteratsioonil teeb iga graafi tipus asuv alamülesanne läbi sama operatsiooni ning, kui vaja, siis saadab teateid teistele temaga ühenduses olevatele graafi tippudele.

Stratus

• Bulk Synchronous Parallel mudel on sarnane teadusarvutuses simulatsioonides sageli kasutatavatele meetoditele, kui: – Simuleeritav ruum, objekt või pind jagatakse

alamosadeks.

– Igal ajahetkel arvutatakse alamosade olek ümber

• Hetkel on Stratus raamistik veel disaini etapis ning järgmine samm on prototüübi loomine.

• Ning kes ära arvas, siis Stratus on just see millega mina oma doktoritöös tegelen

Teemaga seotud doktoritööd

• Pelle Jakovits – “Teadusarvutuse probleemide taandamine Pilvearvutuse

raamistikkudele”

• Jürmo Mehine – “Migrating Relational Database Systems to Cloud Scale Solutions”

• Suure koguse andmete puhul relatsiooniline mudel ei skaleeru. Kuidas kasutada selle asemel mitterelatsioonilisi andmebaasi mudeleid.

• Briti Deb – “Migrating Data Mining Based Applications Using Databases and Social

Networks to Clouds”

• Andmekaevandus algoritmide rakendamine sotsiaalvõrgustike analüüsimiseks

Mobile Cloud

• Satish Srirama

– Huber Flores

• Suuremahuliste arvutuste ning andmete liigutamine mobiilsetelt seadmetelt pilvearvutus platvormidele

• Mobiilirakenduste loomine

Mobiilirakendused

• Programmide loomine mobiilsete seadmete jaoks erinevatel platvormidel:

– Android

– Windows 7

– Apple IoS

• Sellel sügisel algas kursus “Mobiilirakenduste loomine”

Nutitelefonid

• Tänu Tiigriülikooli toetusele on meil olnud võimalik soetada hulk telefone mobiilirakenduste loomiseks ning testimiseks: – 10 Android telefoni

– 1 Windows telefon

– 5 Apple IoS telefoni

– 2 Symbian telefoni

• Aine “Mobiilirakenduste loomine” jaoks oleme ostmas uut komplekti telefone koos mõnede tahvelarvutitega.

Mobile Cloud MiddleWare (MCM)

• Mobiilse pilve vahevara eesmärk on:

– Suuremahuliste arvutusülesannete ning andmete liigutamine mobiilseadmetelt pilvearvutus platvormidele

– Võimaldada lihtne integratsioon erinevate pilvearvutusplatvormi pakkujate ning mobiili-programmide vahel

– Hoida kokku aega ning mobiilseadmete akusid.

– Rikastada mobiiliprogrammide võimalusi

Mobile Cloud MiddleWare (MCM)

CroudSTag

• Social Group Formation with Facial Recognition and Mobile Cloud Services • By Huber Flores

Zompopo

• “Mobile Calendar Prediction based on Human Activities Recognition using the Accelerometer and Cloud Service” – By Huber Flores

• Kasutab kiirendussensorit, mis on pea igas tänapäeva nutitelefonis, et uurida telefoni kasutaja aktiivsust ning liikuvust.

• Kasuta kogutud informatsiooni ning kasutaja kalendri kirjeid et ennustada ning soovitada muudatusi kasutaja kalendrisse.

Human patterns

• Kiirendusanduri abil on võimalik leida mustreid kasutaja käitumises ning klassifitseerida need eraldi tegevusteks.

Teemaga seotud doktoritööd

• Huber Flores

– “Scalability, Integrability and Provisioning of context-aware services using the Mobile Cloud Middleware”

Friend-2-Friend arvutused

• Ulrich Norbisrath ja Artjom Lind

• Suuremahulised hajusarvutused kasutades sõprade arvuteid

• “Sama lihtne kasutada kui Skype”

• Loomisel alates 2007 aastast

Friend-2-Friend

• Kuidas üles seada spontaanseid arvutusvõrke?

– Ei mingit seadistamist

– Ei nõua kasutajalt palju tööd

• Kuidas teha seda sama lihtsaks kui näiteks Skype või MSN kasutamist?

• Vastus:

– Kombineeri sotsiaalsed võrgustikud kasutajalt-kasutajale (P2P) võrkudega.

Kes kasutaks F2F’i

• Teadlased või tudengid kellel on vaja läbi viia suuremahuline arvutustegevus. – Näiteks videopildi töötlemine

• Kasutajatel ei ole ligipääsu klastritele, ei tea kuidas neid kasutada hajusarvutuste läbiviimiseks. Tahavad töö läbi viia kohe, odavalt ning lihtsalt.

• Omavad baasteadmisi kõrgema taseme programmeerimisekeeltest.

Milleks kasutada F2F’i

Kuidas F2F’i kasutada?

• Küsi sõprade käest kas võid kasutada nende arvutit

• Loo grupp mingis teadete saatmise programmis

• Pane loodud grupis tööle mingi suuremamahuline arvutustöö

• Kui töö on tehtud saad tulemused tagasi

F2F

F2F

Implementatsioon

• Töötab moodulina Pidgin’is – Toetab kiirteadete saatmise lahendusi nagu AIM,

MSN, Google Talk, MSN, IRC, ...

• Kirjutatud keeles C: – Ei ole sõltuvusi, väike mälukasutus

• Platvormid: – Linux, Windows, SymbianS60, Maemo, (Android)

• Keeled milles saab programme kirjutada: – C, C++, Fortran

Edasine töö

• Hetkel töös – Rohkem ksotsiaalsete võrkude liideseid (MSN Live,

Adium …)

– Rohkemate arvutusplatvormide toetamine

– Teiste programmeerimiskeelte toetamine (C#, Java … )

– Turvalisuse edasi arendamine

• Pikemaajalised plaanid – HF2F jaoks hasjusprogrammide modelleerimine ja

loomine

– F2F programmide ja teenuste portaali loomine

Teemaga seotud doktoritööd

• Artjom Lind

– Friend-to-Friend Computing – A Friendly Framework for Ubiquitous and Distributed Systems

Kompleksne ja uuriv andmeotsing

• Ulrich Norbisrath

– Georg Singer

• Milline on andmeotsing tulevikus?

• Kas Google’st piisab kõigeks mis sul vaja läheb?

• Mida saab paremini teha?

Mida mõeldakse otsingu all

• Internetist – Google (search, maps, etc.), Yahoo, Bing – Craigslist, Amazon, Ebay, Kayak, Facebook – PubMed, IEEE – Wikipedia – Wolfram Alpha

• Teised võimalused – Raamatukogu – Ajaleht (Uudised ja teated) – Teadetetahvlid (Ülikoolis, poes, ...) – Teiste inimeste (ekspertide) käest küsimine

Otsingu allikad Aasta 2008: Aasta 2009:

Kuidas sa otsid informatsiooni?

• Kes teist kasutab otsingumootoreid tihti?

• Kes teist kasutab midagi peale interneti informatsiooni otsimiseks?

• Kes ei ole mõnikord rahul otsingute ja otsimisvõimalustega?

• Kas olete puutunud kokku keerulisemate otsinguvajadustega kus tavavõimalustest ei piisa?

Näited

• Leia kõik Calerendoni kohtumaja läheduses Arlington Virgiinias asuvad, hetkel lahti olevad poed kus saab osta tantsukingi.

• Kuidas saab teha muutumatud leheküljed moin moin wikis tagasi muudetavateks.

Tänapäeva otsing

• Rohkem kui 40% otsingutest on navigatsioonilised – Mitmetasemelised ja korduvad otsingud ühe – Kasutaja teeb suurema osa tööst

• Päringud – Keskmine pikkus: < 2 sõna – ~50% päringuid on üks sõna

• Otsingu tulemused – 80% kasutajatest vaatab ainult esimest lehekülge (5-20

tulemust) – Nende seast uurib kasutaja paari esimest tulemust – Kasutajad tihti vaatavad ainult 5-8 tulemust ühe otsingu kohta – Otsingu sessioon kestab keskmiselt vähem kui 15 minutit

• Kasutajad on tavaliselt tulemustega rahul

Keerulisema otsingu näide

• Sinu tütar Anna (või poeg Peeter) on lõpetamas keskkooli ning tahab õppida välismaal politoloogiat või arhitektuuri. Sa saad teda toetada kuni 3000 EUR-ga kuus. Milliseid ülikoole võid sa soovitada, mis oleksid taskukohased ja pakuksid Annale (või Peetrile) parimad karjääriperspektiivid pärast lõpetamist?

Keerulisem otsing

• Palju rohkem kui lihtsalt päringule vastuse küsimine

• Sisaldab otsingu kordamist, päringu järkjärgulist muutmist, eraldi otsingult saadud tulemuste kokku ühendamist.

• Võtab kaua aega

• Vajab kasutajalt analüüsi oskust

• Osa otsingust toimub veebilehest väljaspoolt (Kasutaja enda peas)

Uuriv otsing

Rohkemat kui lihtsalt informatsiooni pärimine

Veel probleeme

• Kuidas me hoiame andmeid?

Mida saame teha?

• Kasutajaliidese paremaks tegemine – Erinevad viisid tulemuste esitamiseks(mitte ainult

dokumentide nimekiri) – Erinevad viisid tulemuste otsimiseks (mitte ainult

märksõnade ning kategooriate järgi)

• Vältida andmete dubleerimist – blogimine ja sotsiaalvõrgustikes informatsiooni jagamine

teeb vastupidist

• Teise inimeste otsingutulemuste ära kasutamine • Kasutada dokumentide asemel objektide graafe

– Informatsiooni paremini esitlemiseks – Seoste ning hierarhia näitamiseks otsingutulemustes

Teemaga seotud doktoritööd

• Georg Singer

– “Scenario Based Search”

• Dmitri Danilov

– “Employing graphs to facilitate information exploration”

Lõputööd

• Lõputööd teemadel: – Teadusarvurused Pilves (Scientific Computing on the Cloud)

– Kompleks- ja Uuriv-otsing ja teabehaldus (Complex Search)

– Grid- ja kluster-arvutused

– Hajussüsteemide tarkvara

– Friend-to-Friend

– Hajusarvutuste tõrgete otsing (Distributed troubleshooting)

Vaata kogu nimekirja aadressil: http://ds.cs.ut.ee/theses

http://ds.cs.ut.ee/theses

Kui pakub huvi

• Kui midagi midagi silma või meelde ja

– see millega tegeleme pakub sulle huvi

– soovid rohkem teada saada

– tahad lõputööd teha ühel meie poolt pakutud teemal

Siis tule ja võta meiega ühendust kolmandal korrusel ruumis 311!

Mõned pildid