predavanje 5 big data - university of belgrade p5 .pdf · 2019. 5. 7. · predavanje 5 big data 0...

Informatika

Predavanje 5

Big data

0

dr Ana Kovačević

Great wave • 2010 je više kreirano podataka po danu, nego od

nastanka pa do 2003.

• 2011: International Data Corporation: 1,8ZB za 2

dana(1021) a pretpostavka da će se duplirati svake 2

godine.

• Labtop: 500GB

• 1PB podataka:

– 2015 $100.000

– 2011: $1milion (1PB=106 GB)

• Kontinulano video snimanja za jednu osobu je oko

700GB godišnje.

• Google čuva oko 15EB (2015) E=exa

• 1EB =103 PB; 1ZB =103 EB;

dr Ana Kovačević 1

INFORMACIJA ĆE BITI NAFTA

21. VEKA (GARTNER, 2010)


Big data

• Industrija, vladine agenicije

• U nauci (Nature, Science) u medijima (The

Economist, New York Times)

• 2014: Google obrađuje podatke od 100PB,

Facebook log od 10PB mesečno...

• 2013: 72h videa je uploadovano je na

YouTube-u svakog minuta.


BIG DATA


Šta je Big Data (BD)

• Big data je oblast koja se bavi analizom, obradom i

čuvanjem velike količine podataka koji često potiču iz

različitih izvora.

• Big data rešenja se primenjuje kada tradicionalna

analiza podata, obrada podataka i tehnike nisu

dovoljni.

• Specifično, BD se odnosi na različite zahteve, kao što je

kombinovanje više nepovezanih skupova podataka,

obrada velike količine nestrukturianih podataka

nalaženje skrivenih informacija u vremenski-zavisnim

podacima.

• Skupovi podataka su sve veći i raznovrsniji


Analiza BigData (BD)

• Analiza BigData skupa podataka je interdisciplinarna

oblast koja obuhvata matematiku, statitsiku, računarske

nauke i domensku ekspertizu.

• Količina BigData se menja se u zavisnosti od

tehnologije (sw/hw)

• Podaci u okviru BD okruženja su skupljani u okviru firmi

preko aplikacija, senzora i eksternih izvora.


Šta je BigData?

• Pre 30 godina 1GB podatka se smatrao

BigData problemom i zahtevao je posebne

računarske resure.

• Danas 1GB je uobičajen i može se

jednostavno prenositi, obrađivati i čuvati.


Skupovi podatak

• Kolekcije ili grupe povezanih podataka se generalno

zovu data sets (skupovi podataka).

• Svaki čl. skupa ima isti skup atributa kao i dr. u istom

skupu podataka.

• Neki primeri skupova podatak su:

– Twitovi

– Kolekcija slika fajlova u direktorijumu

– Ekstrakt redova iz tabele baze podataka sačuvan u

CSV formatu


Analiza podataka

• Analiza podataka je proces

istraživanja podataka da bi

se otkrile stavke, relacije,

paterni i/ili trendovi.

• Glavni cilj analize je

podržavanje boljeg

odlučivanja.


Analiza podataka

• Jednostavan primer analize podataka je

analiza prodaje sladoleda da bi se odredile

kako je povezana prodaja sladoleda sa

dnevnom temperaturom.

• Rezultat takve analize je koliko treba

sladoleda naruciti na osnovu vremenske

prognoze.

• Analiza podata pomaže u utvrđivanju

paterna i relacija između podataka koji su

analizirani.


Analitika podataka (data

analytics) • Analitika podataka je širi pojam koji

obuhvata analizu podataka

• Disciplina koja uključuje upravljanje

celokupnim životnim ciklusom podataka,

odnosno skupljanjem, čišćenjem,

organizovanjem, čuvanjem, analizom i

upravljanjem podacima.

• Izraz uključuje razvoj metoda analize,

naučnih tehnika i automatizovane alate.


Analitika podataka

• U okruženju BigData, data analitika je

razvila metode koji omogućavaju analizu

podataka da se odigrava preko visoko

skalalbilne distribuirane tehnoglogije i

frejmorka koji je sposoban za analizu

velike količine podataka iz različitih

izvora.


Životni ciklus

• Životni ciklus analitike BD uključuje:

identifikovanje, pribavljanje, priremu i analizu

velike količine sirovih, nestrutkurianih podataka da bi se

izvukle značajne informacije koje mogu da služe za ulaz

za identifikovanje paterna, pobolljšanje postojećih

poslovnih podatka i pretraživanja.

• Analitika podataka:

– U poslovnom okruženju, pomože da se smanje operacioni

troškovi i i olakša strateško donošenje odluka.

– U naučnom domenu, može da pomogne u identifikovnju uzroka

fenomena i poboljšanju tačnosti predviđanja.


Analitika podataka

• Analitika podataka omogućava odlučivanje vođeno

podacima (data-driven decision-making) sa naučnom

podrškom tako da odluka se bazira na činjenicama a ne

samo na prošlom iskustvu ili intuiciji.

• Postoje četiri kategorije analitike koje se

razlikuju prema rezultatima koji proizvode:

– Deskriptivna,

– Dijagnostička

– Prediktivna

– Propisane (prescriptitve)


Prikaz analitka


Erl, T., Khattak, W., & Buhler, P. (2016). Big

Data Fundamentals: Concepts, Drivers &

Techniques. Prentice Hall Press.

Deskriptivna analitika

• Deskriptivna analitika ima za cil da da odgovori na

pitanja o događajima koji su se već desili. Ideja da od

podataka se dobiju informacije

• Primeri pitanja mogu da uključe:

– Koji je broj primljenih poziva kategorisanih prema

ozbiljnosti i geografskoj lokaciji?

– Koji je bio obim prodaje poslednjih 12 meseci?

• Procenjuje se da je 80% generisanih

analitičkih rezultata deskriptivno po prirodi.


Deskriptivna analitika


Erl, T., Khattak, W., & Buhler, P. (2016). Big Data

Fundamentals: Concepts, Drivers & Techniques. Prentice

Hall Press.

Deskripitvna analitika

se izvršava preko ad-

hoc izveštavanja ili

dashboards.

Izveštaji su statični i

predstavljaju istorijske

podatke.

Dijagnostička analitika (ZAŠTO)

• Dijagnostička analitika pokušava da otkrije uzrok

fenomena koji se desio u prošlosti korišćenjem pitanja

koji se odnose na razloge.

• Cilj je odrediti koja informacija se odnosi na fenomen da

bi odgovorili na pitanje zašto se nešto desilo.

• Primeri:

– Zašto je manja prodaja u drugom kvartalu nego u prvom?

– Zašto ima više poziva iz Istočne Evrope nego iz Zapadne

Evrope?

– Zašto je porast stope ponovnog primanja pacijenata u

prethodna tri meseca?



• Dijagnostička analitika “vrednija” nego deskriptivna, ali

zahteva naprednije tehnike.

• Često zahteva skupljanje podatak iz više izvora i čuva ih

u strukturama koje omogućavaju drill-down i roll-up

analizu.

• Rezultati se prikazuju preko interaktivne vizualizacije

koja omogućava korisnicma da identifikuju trendove i

paterne.

• Izvršeni upiti su kompleksniji u poređenju sa

deskriptivnom analitikom i izvršavaju se multi-

dimenzionalnim podacima u analitičkoj obradi sistema.

dr Ana Kovačević

20



Izvor: Erl, T., Khattak, W., & Buhler, P. (2016). Big Data

Fundamentals: Concepts, Drivers & Techniques. Prentice Hall Press.

OLAP- Online Analitical Processing- baze podataka optimizovane za

upite (a ne za obradu)

Roll up- gleda se krupnije

Drill down- raščlanjivanje na sitnije

Prediktivna analitika

• Pokušaj predviđanja događaja u

budućnosti

• Snaga i veličina asocijacije čine osnovu

modela koji se koriste da generišu buduće

predikcije zasnovane na prošlim

događajima (okruženje!)

• Data mining



• Pitanja se obično formulištu korišćenjem

what-if obrazloženja, npr:

– Koja će biti stopa izlečenja pancjenata ako se

koristi lek B umesto leka A?

– Ako kupac je kupio proizvode A i B, koji su

šanse da će kupiti proizvod C?

– Koje su šanse da korisnik vrati kredit ako

preskoči mesečno plaćanje?



• Prediktivna analitika pokušava da predvidi izlaz

događaja, predviđanja se prave bazirano na paternima,

trendovima i izuzecima nađenim u istorijskim i trenutnim

podacima. Ovo vodi identifikacije rizika i mogućnosti.

• Ovakva analitika uključuje korišćenje velikog skupa

podataka koji se sastoji od internih i eksternih podataka i

različitih tehnika analize podataka.

• Daje veću vrednost i zahteva naprednije veštine

(tehnike) od deskriptivne i dijagnostičke analitike.


Preskriptivna analitika

• Preskriptivna analitika je napravljena na osnovu

rezultata prediktivne analitike predlaganjem akcije koje

treba izvesti. Fokus je ne samo koju predloženu opciju

je najbolje pratiti, nego i zašto. CILJ: ostvarivanje

prednosti ili smanjivanje rizika.

• Obezbeđuje najveću vrednost i zahteva najnapredniji

skup veština, softvera i alata.

• Koriste se interni (tekuće i istorijske podatke prodaje) i

eksterni podaci (socijalne medije, vremenska prognoza,

demografske podatke...)

• Primeri pitanja uključuju:

– Od tri leka, koji ima najbolje rezultate?

– Kada je najbolje vreme da se trguje određenim zalihama? dr Ana Kovačević 26

Preskriptivna vs. Prediktivna

analitika


Presktiptivan analika uključuje korišćnje poslovnih pravila i velike

količine internih i eksternih podataka da bi se izvela dubinska analiza.

BI (Business Intelligence)

• BI omogućava organizaciji da dobije uvid u performanse

preduzeća analiziranjem podataka generisanih u

poslovnim procesima i informacionim sistemima.

• Rezultati analize može korisiti menadžment da bi

upralvljao sa ciljem ispravljanja otrkivenih manjakvosti ili

poboljšanjem organizcionih performansi.


BI za poboljšanje poslovnih

aplikacija


KPI (Key Performace Indicators)

• KPI je metrika koja se može koristiti

da oceni uspeh u određenom

poslovnom kontekstu.

• KPI je povezan sa poslovnim opštim

strateškim ciljevima.

• Često se koriste da identifikuju

poslovne probleme performansi i

pokažu regulatornu saglasnost.

• KPI prema tome je kvalifikovana

referentna tačka za merenje

specifičnih aspekta opštih poslovnih

performansi.


Karakteristike Big Data

• Da bi pod skupom podataka smatrali da

BigData mora da poseduje jednu ili više

karakteristika koja zahteva rešenje dizajna

ili arhitekture za analitičko okruženje

• Većinu ovih karakteristika je identifikovao

Doug Laney 2001: , gde je objavio članak

opisujući uticaj na volumen, velocity i

variety e-commerce podataka u

poslovnom data warehouse.


Karakteristike Big data

• Pet V koje odvaja podatke kategorisane

kao BigData od ostalih formi podataka

1. VOLUME (Količina)

2. VELOCITY (Brzina)

3. VARIETY (Raznolikost)

4. VERACITY (Kvalitet)

5. VALUE (Vrednost)


1. Količina


GB, TB, PB; EB

1. Količina

• Tipični izvori podatak koji su odgovorni za generisanje

velikog skupa podataka uključju:

– Online transkacije

– Naučne eksperimente (Cern: veliki sudarač čestica)

– Senzore (GPS, RFIDs..)

– Socijalna mreže (Facebook i Twitter)

• Ako uzmemo sve podatke generisanje od

počekta od 2008, uskoro će ista količina

informacija biti generisana svakog minuta.


1. Volume

dr Ana Kovačević 35 Izvor https://www.emc.com/collateral/analyst-

reports/idc-digital-universe-united-states.pdf

2. Brzina

• U Big data okruženju, podaci dolaze velikom brzinom,

izuzetno veliki skupovi podataka se mogu napraviti u

veoma kratkom periodu vremena.

• Velocity se odnosi na brznu kojom novi podaci su

genersiani i brzina sa kojom se prenose.

• Postoji mogućnost analize podataka dok se generiše.

• Obezbediti veliki priliv podataka zahteva da preduzeće

kreira veoma elastično i dostupnu obradu podataka i

odgovarajuće mogućnosti skladišćenja podataka.

• U zavisnosti od izvora podataka, brzina ne mora uvek da

bude visoka. Npr, MRI slike nisu frekvetno generisani

kao logovi iz frekvetnog saobraćaja web servera.


2. Brzina

• Primeri:Brzinom se smatra da sledeći skup

podatka može biti jednostanovo generisan

za minut:

– 350.000 tvitova

– 300h video upload-ova na YouTube

– 171 mil emailova

– 330GB podatak sa senzora


3. Raznolikost

• Raznolikost podataka se odnosi na brojne

formate i tipove podataka koji trebaju da

budu podržani.


3. Raznolikost

• Mnogi tipovi podataka: – Relacione tabele

– Nizovi

– Dokmenta: nestruktuirana (tekst), ili polustruktuirani (XML,

RDF)

– Grafovi (Socijalne mreće, semantički web, mreže puteva...)

– Vremenske serije (video/audio podaci, EEG..)

– Multimedijani podaci

– Strimovi (podaci sa senzora, RFID, ...)


Figure 7.1 The Wide Range of Sources for Big Data


4.Veracity (kvalitet)

• Veracity se odnosi na kvalitet ili tačnost podataka

• Podaci koji ulaze u BigData okruženje je potrebno da

budu procenjeni za kvalitet, što uključuje obradu

podataka da bi se rešili nevažeći podaci i otklonio šum.

• Podaci mogu biti signal (ima vrednost i vodi do značajne

informacije) ili šum (nema vrednost).

• Podaci sa visokim signa-prema-šum odnosom su

kvalitetniji nego oni sa nižim odnosom.


4. Veracity (kvalitet)

• Sa mnogim formamam BD kvalitet i

tačnost se teže kontrolišu (samo pomisliti

na postove sa Twitera sa hashtags,

skraćenicama, žargonom kao i

pouzdanost i tačnost sadržaja) ali

tehnologija sada omogućava da se radi sa

tim tipom podataka.


5. Vrednost

• Vrednost podataka je definisana kao korisnost podataka za

preduzeće.

• Karakteristika vrednosti je intuitivno povezana sa karakteristikom

veracity, u tome da pouzdaniji podaci to im je veća vrednost.

• Vreme i vrednost su inverzno povezani: što je duže potrebno za

podatke da postanu značajna informacija, imaju manju vrednost za

posao.


5. Vrednost

• Na vrednost utiču i sledeće stavke: – Kako su podaci bili sačuvani?

– Da li su korisni atributi podataka uklonjeni tokom

čišćenja?

– Da li su odgovarajući tipovi pitanja postavljeni tokom

analize?

– Da li su rezultati analize tačno izvršeni odgovarajućim

odlučiocima?


PRIMENA


Primena

• Rezultati dobijeni obradom BigData mogu

voditi do širokog opsega uvida i prednosti,

kao što je:

– Operativna optimizacija

– Identifikacija novih tržišta

– Predikcija

– Detekcija grešaka i prevara

– Poboljšanje odlučivnja

– Naučna otkrića


Razumevanje i optimizaija

poslovnih procesa • Geografsko pozicioniranje i senzori za

radio frekvecijsku identifikaciju se koriste

da prate robu i isporuku vozila i optimizuju

rute integrišući u realnom vremenu

podatke iz saobraćaja.

• Maloprodaja može da optimizuje svoje

zalihe zasnovano na predviđanju

generisanom sa socijalnih medija,

trendova pretraživanja i vremenske

prognoze dr Ana Kovačević

47

Svakodnevni život (optimizacija

performansi) • Jawbone narukvica skuplja podatke koliko

smo kalorija potrošili, nivo aktivnosti, naše

navike spavanja i analizira te podatake za

individualnog korisnika da bismo imali

potpuni uvid.


Unapređenje zdrastvene zaštite

i javnog zdravlja • BD analitika omogućava praćenje i

predviđanje razvoja epidemija i bolesti

• Snimanjem i analizom rada srca i disanja

šablona svake bebe, infekcija se može

predivdeti 24 h pre pojave fizičkih

simptoma.



Izvor Loukiede, M. (2011). What is data

science? O’reilly

Poboljšanje sportskih

performansi • Korišćenje tehnologije senzora u sportskoj

opremi omogućava dobijanje povratnih

informacija tokom aktivnosti meča....

• Korišćenje smart tehnologije za praćenje

atletičara van sportskog okruženja: hrana,

spavanje, konverzacija u socijalnim

mrežama...


Poboljšanje nauke i istraživanja

• CERN, lab za nuklearnu fiziku

sa velikim sudaračem čestica,

najveći i najmoćniji čestični

akcelerator koristi hiljade

računara distribuiranih u preko

150 centara podataka širom

sveta da otkrije tajne

univerzuma analiziranjem 30

PB podataka.


Poboljšanje bezbednosti

• NSA (National Security Agency) u U.S

koristi BD analitiku za otkrivanje terorista

(ili špijuniranje ostalih)

• Policija koristi alate BD za hvatanje

kriminalaca i predviđanje kriminalnih

aktivnosti


Pametni gradovi

• Pametni gradovi optimizuju saobraćaj na

osnovu informacija u realnom vremenu iz

saobraćaja, kao i socijalnih medija i

podataka o vremenu.


Inteligentna analiza

Klasfikacija i klasterizacija • Klasifikacija je procesa mapiranja podatak u

jednu od predefinisanih kategorija bazirano na vrednostima atributa. (Kategorije su unapred poznate) – Primena: predviđanje trendova terorističkih aktivnosti.

– Primenjivalo se na finansijske prevare i napade na mrežu

• .

55

dr Ana Kovačević

Primer klasifikacije


Neke od tehnika i njihove

aplikacije • Association rule mining: market basket analiza

• Klasifikacija: predikcija šta će potrošač uzeti

• Klaster analiza: segmentacija potrošača u grupe

• Fuzija i integracija podataka: podaci sa socijalnih medija

se kombinuju sa podacima u realnom vremenu da se

odredi kakve efekte marketing kampanja ima na

potrošače i njihovu kupovinu.

• Obrada prirodnog jezika: analiza osećanja

• Analiza mreže: analiza ključnih igrača za marketing i

identifikovanje uskih grla u protoku informacija.

• Vizualzacija: razumevenje i poboljšanje rezultata BD

analize. dr Ana Kovačević

57

PODACI


Različiti tipovi podataka

• Podaci koje obrađuje BigData mogu biti

ljudski ili automatski-generisani.

• Ljudski generisani podaci (human

generated) su rezultat interakcije ljudi sa

računarima, kao što su online servisi ili

digitalni uređaji, kao npr. socijalne mreže,

postove na blogu, emailove, deljenje slika,

i poruka


Primeri ljudski-generisanih

podataka


Mašinski-generisani podaci

• podaci koje generiše softverski program i

hardveski uređaji kao odgovor na

događaje iz realnog sveta.


Tipovi podataka

• Osnovni tipovi podataka su:

– Struktuirani podaci

– Nestruktuirani podaci

– Polu-struktuirani podaci


Strkuirani podaci

• Stukturiani podaci odgovarju modelu podataka ili šemi i

često su u tabelarnoj formi.

• Koriste se da skupe relaciju između različitih entieta i

prema tome najčešće su sačuvani u relacionoj bazi.


Nestruktuirani podaci • Podaci koji ne odgovaraju modelu podataka ili šemi

podataka su poznati kao nestruktuirani podaci, i

pretpostavlja se da čine 80% podataka u svakom poslu.

• Nestruktuirani podaci imaju bržu stopu rasta od

struktuiranih

• Ova forma podataka je ili tekstualna ili binarna i često su

samo-dovoljni i ne-relacioni.

• Specijalna namenska logika se koristi da se obrade i

čuvaju nesturktuirani podaci, npr.za izvođenje videa

neohodno je da ispravan codec dostupan.

• Nestruktuirani podaci ne mogu direktno da se

procesiraju ili vrši upit korišćenjem SQLa; ako se čuvaju

u relacionoj bazi čuvaju se kao BLOB. dr Ana Kovačević

64

Polu-struktuirani podaci

• Polu-strukturiani podaci imaju definisan

nivo stuktuisanosti i kozistentnosti, ali nije

relacionalan po prirodi. Umesto toga, polu-

struktuirani podaci su hijerarhijski ili

zasnovani na grafu. Ovaj tip podataka se

često čuva u fajlovima koji sadrže tekst.

• Npr. XML podaci: zbog njihove tekstulne

prirode i pridržavanja nekog nivoa

strukture, lakše ih je obrađivati od

nestruktuiranih podataka. dr Ana Kovačević

65

Metapodaci

• Metapodaci obezbeđuju informacije o karaktersitkama

skupa podataka i strukturi. Ovaj tip podataka je

uglavnom mašinski generisan i može se dodati

podacima. Praćenje metapodataka je veoma važno za

BigData obradu, skladišćenje i analizu pošto

obezbeđuje informaciju o poreklu podataka.

• Primeri metadapodataka:

– XML tags obezbeđuje autora i kreiranje datuma dokumenta

– Atributi koji pokazuju veličinu fajla i rezoluciju digitalne

fotografije.


Informaciono komunikacione

tehnologije • IKT razvoj koji ubrzao razvoj BigData :

1. Analitika podataka i nauka o podacima (data

science)

2. Digitalizacija

3. Pristupačna tehnologija i hardver (Affordable

techology and commodity hardware)

4. Društveni mediji (social media)

5. Konektovano društvo i uređaji

6. Računarstvo u oblaku (Cloud computing)


1. Analitika podataka i nauka o

podacima • Danas se skuplja, nabavlja, čuva, i obrađuje velika količina

podataka.

• ZAŠTO: da bi se dobio bolji uvid u poslovanje, sprovodile efikasnije i

efektivnije operacije kao i bolje strateške inicijative.

• IDEJA: ostvarivanje kompetetivne prednosti

• NEOPHODNE tehnike i tehnologije da se izvuku značajne

informacija.

• Računarki pristup, statističke tehnike i data warehouse su

napredovali do tačke gde su spojeni, svaki donoseći specifične

tehnike i alate koji omogućavaju Big Data analizu.


2. Digitalizacija

• Digitalni mediji su zamenili fizičke medije, postaju de

facto mehanizam komunikacije i isporuke značajna

ušteda u vremenu i ceni.

• Važno skupljanje sekundarnih podataka: povratni

odgovor kupaca (feedback), anketa,ili praćenje pristupa

stranicama:

– analiza ovih podataka za marketing,

– automatske preporuke i

– razvoj optimizovanih karakteristika proizvoda.

– Primer: on-line banking, on-demand television


3. Pristupačna tehnologija

• Tehnologija za skladištenje i obradu velike količine

različitih podataka postaje dostupna, uz to BigData često

koristi open-soursce softver koji se izvršava na

pristupačnom hardveru što utiče na pad cene.

• Korišćenje pristupačne tehnologije i hardver da bi se

generisali analitički rezultati koji mogu dodatno

optimizovati izvršavanje poslovnih procesa je put za

kompetetivnu prednost.

• Tehnologija nije kompetitivna prednost, već platforma

gde se izvršava poslovanje.


Pad cene hardvera


4. Drušveni mediji (social

media) • Pojava društvenih medija (social media) omogućava

korisnicima (kupcima) da obezbede povratnu spregu u

skoro realno vreme.

• Čuva se velika količina podataka korisničke interakcije

za skupljanje prikaza kupaca, žalbi i pohvala sa sajtova

društvenih medija – Ovi podaci se kasnije analiziraju radi

poboljšanja usluge, promena, ciljanog marketinga kao i

kreiranje novih proizvoda i servisa.

• Izuzetno važno je analizirati javno dostupne skupove

podataka društvenih medija i drugih eskternih izvora.


5.Hiper konektovano društvo i

uređaji • Širenje Interneta i proliferacija mobilnih telefona i Wi-Fi

mreža su omogućili više ljudi i njihovih uređaja da budu

kontinualno aktivni u virtualnim društivma.

• Zajedno sa prolifercijom Internet povezanih senzora,

Internet of Thing (IoT), velika kolekicaja pametnih

Internet-prikačenih uređaja je formirana—>ogromno

povećanje toka podataka (data streams).

• Neki tokovi podataka su javni, a neki se prenose direktno

u korporacije na analizu.

• Npr. Detaljna anliza čitanja senzora koju emituje oprema

za rano otkrivanje može se rešiti preko proaktivnog

raspoređivanja aktivnosti održavanja.


Sve je povezano


5.Hiper konektovano društvo i

uređaji Primer: preventivna i prediktivna održavanje

teške opreme koja se koristi u rudarstvu,

da bi se izbeglo neplanirano korektivno

ordžavanje.

Ovo zahteva detaljnu analizu čitanja

senzora koju emituje oprema za rano

otkrivanje problema koji se mogu rešiti

preko proaktivnog rasporeda aktivnosti

održavanja. 75

dr Ana Kovačević

5. Internet of Everthing

• Napredak u IKT, dinamika tržišta, biznis arhitektura i

upravljanje poslovnim procesima sve doprinosi

mougćnosti poznatoj kao Internet of Everything (IoE).

• IoE (koncept potiče od Cisco-a) IoE "the intelligent

connection of people, process, data and things."

• IoE je IoT (M2M)+M2P+P2P (tehnološki podržano)

• Big dat – srce IoE

• Hiper-konektovano društvo i uređaji koji koriste

pristupačnu tehnologiji i hardveru, kao i protok

digitalizovanih podataka, su osnova za analitičke

procese koji se nalaze u okruženju računarstva u oblaku.


6. Računarstvo u oblaku (cloud

computing) • Cloud computing (računarstvo u oblaku) je okruženje

koje omogućava visoko skalabilno, na zahtev IT-resurse

koji se mogu anagažovati po pay-as-you-go modelu.

• Poslovanje ima mogućnost uticanja na infrastrukturu,

skladištenje i mogućnosti obrade omogućene ovim

okruženjem da bi napravili skalabilan BigData rešenje

koji može vršiti obradu velikih razmera.

• Zahvaljujući oblaku kreira se reslient (otporno) analitičko

okruženje koje maksimizuje efikasno korišćenje IKT

resursa.


6. Računarstvo u oblaku


Prikazano je kako se

okruženje oblaka

može koristit za

BigData obradu.

Zakupom u oblaku

mogu se drastično

smanjiti up-front

investicija u BigData

projektima.

6. Računarstvo u oblaku

Ukoliko preduzeće koristi cloud computing može koristiti

cloud za Big Data pošto:

– Zaposleni već poseduje zahtevane veštine cloud

computing

– Ulazni podaci već postoje u oblaku

• Cloud computing može da obezbedi tri osnovne sastojka

potrebna za BigData rešenje: eksterni skup podataka,

skalabilna mogućnost obrade i veliku količinu

mogućnosti skladištenja podataka.


Primer:”precizna” poljoprivreda

• Kada se koristi u postojećem sistemu poljoprivrede: GPS

kontrolisani traktori, vlaženje i đubrenje uz pomoć

senzora, na zahtev navodnjavanje, oprašivanje,

zaprašivanje i različita oprema za sejanje može da

maksimizuje prinos dok se minimizuju troškovi.

• Uz pomoć IoE manje farme mogu usklađivati različite

useve i ekološki osetljiva praksa.

• Pored imanja pametno povezane opreme za farmu, Big

Data analiza opreme u senzori na terenu (u polju) mogu

odlučivati i dovesti farmere i njihove mašine do

optimalnih prinosa.


Literatura

• Erl, T., Khattak, W., & Buhler, P.

(2016). Big Data Fundamentals: Concepts,

Drivers & Techniques. Prentice Hall Press.

• (poglavlje 2 i 3)

81

dr Ana Kovačević

predavanje 5 big data - university of belgrade p5 .pdf · 2019. 5. 7. · predavanje 5 big data 0...

Documents