big data i arkitektura big data aplikacije meetup

Big Data i Arhitektura Big Data aplikacije

Darko Marjanovic CEO & Co-Founder @ Things Solver darko@thingsolver.com

• Implementacija Big Data rešenja

• Big Data consulting

• Big Data treninzi

Partneri

Agenda

• Big Data

• Big Data primeri

• Arhitektura Big Data aplikacije

• Primeri

Šta je to Big Data?

• Big Data predstavlja podatke koji pristižu velikom brzinom i one su količine koja prevazilazu mogućnosti tradicionalnog softvera za skladištenje, obradu i upravljanje podacima.

• Big Data je sve ono što ne može da stane u Excel.

Big Data - Dimenzije

Big Data - Izvori podataka

• Društvene mreže (Twitter, Facebook…)

• Email, HTML, Click Stream

• Slike, Video, Logovi, Senzorski podaci

• Relacione Baze podataka

Big Data - Primeri

• Šta se najviše kupuje uz pivo?

• U kojoj vezi su kiša i integralna peciva?

• House of Cards i Big Data?

Big Data - Korisnici

Male i srednje kompanije?

• Cena

• Benefiti

• Budućnost

Aplikacije - Šta treba uzeti u obzir

• Sadašnje i potencijalne izvore

• Brzinu rasta podataka

• Biznis potrebe

• Resursi? Cloud je jeftin, Hadoop je besplatan

• Cena

Arhitektura Big Data Aplikacije

Big Data Aplikacija - Cloud VS Bare Metal

• Cena

• Fleksibilnost

• Administracija

• Performanse

• Kontrola

Big Data alati - Ingestion

• Unos podataka u storage sloj

• Unošenje samo validnih podataka

• Unos podataka u realnom vremenu ili ne

• Korišćenje gotovih alata

Big Data alati - Ingestion • Flume

• Sqoop

• Kafka

• Storm

• Kinesis

• …

Big Data alati - Storage

• Hadoop HDFS - velika brzina upisa, write once read many…

• NoSQL Baza - brzo čitanje, operativna baza…

Hadoop

• Hadoop Common

• HDFS

• MapReduce

• YARN

Big Data alati - Analytics • MapReduce (Java, Python, C#…)

• Pig (ETL…)

• Hive, Tajo (Hadoop DWH alat)

• Spark (10x brži MapReduce)

• Storm (Streaming)

• Python, R

• Flink

Big Data greške!• Prebacivanje relacionih baza u Hadoop za potrebe

obrade Hive-om (Hadoop nije zamena za RDBMS).

• Parčanje podataka u više “Data Lake”-ova.

• SQL orijentacija (Big Data analiza je moćnija ako se kombinuje više alata, Hive(SQL), R, Pig, MapReduce…)

• …

Korisni linkovi

• Hadoop Srbija

• Meetup grupa

• Hortonworks

• Big Data Application Architecture Q&A

Big Data i Arhitektura Big Data aplikacije

Darko Marjanovic CEO & Co-Founder @ Things Solver darko@thingsolver.com

25