azure - duże zbiory w chmurze
Post on 18-Feb-2017
329 Views
Preview:
TRANSCRIPT
1
https://mollweide.files.wordpress.com/2013/05/big-data.jpg
Co, gdzie, jak i po co? Duże zbiory danych w chmurze, jak z nich skorzystać i
wykorzystać.
Olga
Budziszewska
Kryminolog
Fan startupów
Lokalna aktywistka
o.budziszewska@mirar.pl
Ryszard
Dałkowski
Kiedyś chyba informatyk
Startupowo sceptyczny
Antyspołeczny indywidualista
ryszard.dalkowski@exertum.pl
2
„One of the most disruptive technology”
http://www.weirdtwist.com/2013/01/storm-cloud-animated-gif.html
Azure
footprint
16 regionów w 2014
Data Center
CDN
3
Wzorce opłacalności
Średnie
użycie
Ob
cią
że
nie
Czas
“Szybki wzrost”
Ob
cią
że
nie
Czas
“Włączyć i wyłączyć”
użycieŚrednie
Nie
ak
tyw
ne
Ob
cią
że
nie
Czas
“Nieprzewidywalne”
Średnie użycie Ob
cią
że
nie
Czas
“Przewidywalne”
Średnie użycie
SKĄD WZIĄĆ ZBIORY DANYCH…
https://datamarket.azure.com
4
PARTNERZYDomena publicznaPłatne
Mic
roso
ft A
zure
Serv
ices Compute Web & Mobile Data & Storage Analytics Networking
Hybrid Integration Identity & Access
Management
Media & CDN Developer Services Management
Virtual Machines
Cloud Services
Remote App
Batch
Web Apps
Mobile Apps
Mobile Engagement
API Management
Push Notifications
SQL Database
DocumentDB
Cache
Storage
StorSimple
Azure Search
HDInsight
Machine Learning
Stream Analytics
Data Factory
Virtual Network
ExpressRoute
Traffic Manager
BizTalk Services
Service Bus
Backup
Site Recovery
Azure Active Directory
Multi-Factor
Authentication
Media Services
CDN
Application Insights Scheduler
Automation
Operational Insights
Key Vault
App Service
API Apps
Logic Apps
5
Standardowy przepływ danych w e-commerce
Przepływ danych z Big Data
6
Distributed Storage (HDFS)
Query(Hive)
Distributed Processing(MapReduce)
Data Integration
(OD
BC
/ SQO
OP/ R
EST)
Event Pipeline(Event H
ub/ Flum
e)
LegendaRed = Core Hadoop
Blue = Data processing
Gray= Microsoft integration points and value adds
Orange = Data Movement
Green = Packages
YARN
Compute
Visualisation
Orchestration Storage
Service bus
Event Hub
Data Factory
Power BI
Stream Analytics
HD Insight
Machine Learning
Virtual Machines
Table Storage
Blob Storage
SQL Azure
Document DB
Feeds
IoT
Data Sources
Near real time analysisData Journeys
Azure
7
Compute
Visualisation
Orchestration Storage
Service bus
Event Hub
Data Factory
Power BI
Stream Analytics
HD Insight
Machine Learning
Virtual Machines
Table Storage
Blob Storage
SQL Azure
Document DB
Feeds
IoT
Data Sources
Near real time analysisPredictive Analytics
Azure
Compute
Visualisation
Orchestration Storage
Service bus
Event Hub
Data Factory
Power BI
Stream Analytics
HD Insight
Machine Learning
Virtual Machines
Table Storage
Blob Storage
SQL Azure
Document DB
Feeds
IoT
Data Sources
Near real time analysisNear real time analysis
Azure
8
Azure Portal
11
Co to jest Machine Learning (ML)
Rozwiązuje bardzo trudne problemy
Wydobywa większą wartość Big Data
Nowa jakość w analityce biznesowej
Business
Knowledge
Data
Preparation
Modelling
Evaluation
Data
Understanding
Idea
Data
Publish
Machine Learning Process Model
Based on the CRISP-DM Model
13
Myliłby się jednak ten,
kto przymiotnik BIG
w Big Data utożsamiałby wyłącznie z
gigantyczną ilością danych. Oznacza on
przede wszystkim to, co możemy z
tymi danymi realnie zrobić. Łukasz Kapuśniak
Chief Big Data Officer Cloud TechnologiesKomputer w Firmie
14
GLOBALNE SONDAŻEI BADANIA RYNKU ONLINE
(APP)
PONAD MILION RESPONDENTÓW W CZASIE
RZECZYWISTYM 24/7
MONITOROWANIE OFERT, CEN I DOSTEPNOŚCI W SKLEPACH
INTERNETOWYCH
21 MILIONÓW OFERT 11 TYSIĘCY SKLEPÓW
OPEN DATA: Z LICZB INFORMACJE O JAKOŚCI ŻYCIA
W DANEJ DZIELNICY
80 000 UNIKATOWYCH UŻYTKOWNIKÓW MIESIĘCZNIE
W 5 MIASTACH ŚWIATA
15
NIEMAL NIEOGRANICZONA SKALOWALNOŚĆ
16
80 000 UNIKATOWYCH UŻYTKOWNIKÓW MIESIĘCZNIE
PRZESTĘPCZOŚĆ, TRANSPORT, ZANIECZYSZCZENIA
HAŁAS, DEMOGRAFIA, WYPOCZYNEK, EDUKACJA
17
18
„MIELIŚMY WIELE PYTAŃ, KTÓRYCH PO PROSTU NIE MOGLIŚMY ZADAĆ NASZYM KLIENTOM”
DANE Z FB, PUNKTÓW SPRZEDAŻY I RAPORTY POGODOWE
“Before, we thought that people would choose cold drinks and desserts in hot weather,” says Cheong. “But contrary to our assumptions, in certain outlets we saw an opposite trend.”
19
BizSpark? Dobry początek – bez zobowiązań
Unikalne oferty od Partnerów
Biznes i Marketing Rozpoznawalność i Promocja
Wsparcie techniczne
Podstawowe ElektroniczneRozszerzone2 incydenty
Oprogramowanie i usługi
Narzędzia systemy i aplikacje Systemy operacyjne i aplikacje
20
W prezencie
https://onedrive.live.com/embed?cid=0F87086AEA0EDBFF&resid=F87086AEA0EDBFF%2136299&authkey=ALjx-zc6ofB-My8&em=2
http://download.microsoft.com/download/6/E/3/6E335796-3003-4B2D-BB55-0A33E003F879/Microsoft_Big_Data_Booklet.pdf
top related