big data as a service
TRANSCRIPT
![Page 1: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/1.jpg)
งานระดมความเหนการบรการ Big Data ของภาครฐ
1 กมภาพนธ 2559
![Page 2: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/2.jpg)
Government Big Data as a Service
รศ.ดร.ธนชาต นมนนทผอำนวยการสถาบนไอเอมซ1 กมภาพนธ 2559
![Page 3: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/3.jpg)
3
โครงการจดทำกรอบแนวคดการพฒนาขอมลขนาดใหญ Big Data ของภาครฐ
![Page 4: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/4.jpg)
4
วตถประสงค
เพอจดทำวจยและศกษากรอบแนวคดสำหรบ– การพฒนาขอมลขนาดใหญ ความหมาย และแนวทางการวาง
โครงสรางเทคโนโลยขนพนฐาน– เพอนำไปใชในการจดทำ Big Data ใหมประสทธภาพสงสด– เพอเปนบรการใหหนวยงานภาครฐทสนใจสามารถนำมาใชงาน
ในอนาคต
![Page 5: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/5.jpg)
5
Big Data: Introduction
![Page 6: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/6.jpg)
6
Internet of ThingsCloud Computing
Big Data/Analytic
![Page 7: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/7.jpg)
7
ขอมลใหญแคไหน ?
![Page 8: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/8.jpg)
8
Technology
Analytics
Data Sources
![Page 9: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/9.jpg)
9
สงทเปลยนแปลง
ขอมลมจำนวนมากขนเทคโนโลยสามารถเกบขอมลขนาดใหญไดมเทคโนโลยในการวเคราะหผลจากขอมลขนาดใหญData Science: Machine Learning ทำใหชวยสามารถคาดการณเรองตางๆจากขอมลขนาดใหญได
![Page 10: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/10.jpg)
10
Technology
Analytics
Data Sources
![Page 11: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/11.jpg)
11
Data Sources
![Page 12: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/12.jpg)
12
Big Data Technology !!
![Page 13: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/13.jpg)
13
เทคโนโลยทจำเปน Big Data
เทคโนโลยในการเกบขอมล– Hot Data (RDBMS), Warm-Cold Data
(Hadoop)
เทคโนโลยในการวเคาระหขอมล– SQL, Spark, Hive, MapReduce
เทคโนโลยในการแสดงผล (Data Visualisation)
![Page 14: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/14.jpg)
14
Big Data Future Architecture
Sscial Media Images e-mails Crawlers ERP CRM LOB APPs
Unstructured and Structured Data
Parallel Data Warehouse
Hadoop OnCloud
Hadoop OnPrivateServer
Connectors
SSRS
BI Platform
Familiar End User ToolsSpreadsheet Predictive Analytics
Data Market Place
NoSQL
Petabytes of Data(Unstructured)
Hundreds of TB of Data(structured)
![Page 15: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/15.jpg)
15
ความเขาใจผดบางประการเกยวกบ Big Data
Big Data คอการลงทน Database ขนาดใหญBig Data คอเทคโนโลย Hadoop
เราจะตองทำโครงการ Data Warehouse แลวคอยทำโครงการBig Data
การทำ Big Data ตองการ Data Scientist
![Page 16: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/16.jpg)
16
Data Warehouse
Source: Danairat T.
![Page 17: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/17.jpg)
17
Data Lake โดยใช Hadoop
Source: Danairat T.
![Page 19: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/19.jpg)
19
ความทาทายดานเทคโนโลย
ความซบซอนของเทคโนโลยทหลากหลายงบประมาณการลงทนมหาศาลบคลากรทมความเชยวชาญ– Big Data Engineer
– Big Data Developer
– Big Data Analyst
– Data Scientist
![Page 20: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/20.jpg)
20
Hadoop Stack
![Page 21: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/21.jpg)
21
Hadoop Sizing
![Page 22: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/22.jpg)
22
Hadoop Cluster Size: Survey
Source: AtScale, 2015
![Page 23: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/23.jpg)
23
ตวอยางของรฐบาลสหรฐอเมรกา
ซอบรการจากผประกอบการเอกชนมาตรฐานกลางเชน ITAR, FedRAMPSM
ใชหลกการ “certify once, use many times” เพอการรบรองความปลอดภยของระบบ Cloud
ตวอยางเชน Amazon Web Services: GovCloud
![Page 24: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/24.jpg)
24
ประเภทของบรการ
![Page 25: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/25.jpg)
25
ตวอยาง Big Data Platform ของ PInterest
![Page 26: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/26.jpg)
26
ตวอยางบรการ BDaaS ของ AWS
Amazon S3: Object Storage (Cold Data)
Amazon RDS : Relational Database
Amazon Redshift: Datawarehouse
Amazon EMR: Hadoop as a Service
Amazon Kenesis: Data Ingestion/Storage
![Page 27: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/27.jpg)
27
Big Data: Survey
![Page 28: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/28.jpg)
28
วตถประสงค
เพอทราบขอมลทจำเปนตอการพฒนาระบบดงน– รปแบบขอมล– ขนาดของขอมลเพอวางโครงสราง Server
– รปแบบการดงขอมล
![Page 29: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/29.jpg)
29
สงทสำรวจ
สำรวจระดบความพรอมของรฐในการใหบรการ Big Data ในดานตางๆ(บคลากร,ระบบ,เทคโนโลย)
สำรวจบคลากร รจก Big Data ในระดบใด,เหนประโยชนของ Big Data
ระดบใด และความจำเปนระดบไหนขององคกร
สำรวจกระบวนการ Big Data ในปจจบน ไดมการเรมใชในองคกรหรอยงอยางไร และ จะใชเพอประโยชนอะไร
สำรวจ ลกษณะของขอมลทพรอมทำ Big Data
สำรวจรปแบบของการดงขอมล
สำรวจ โอกาส อปสรรค และ ขอจำกดในการทำ Big Data ในองคกร
![Page 30: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/30.jpg)
30
แบบสอบถาม
หมวดขอมลพนฐานของหนวยงานหมวดดานโครงสรางพนฐานดานขอมลไอทหมวดดานการบรหารจดการขอมลหมวดดานการวเคราะหขอมล
![Page 31: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/31.jpg)
31
กลมตวอยาง
![Page 32: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/32.jpg)
32
กลมตวอยาง
![Page 33: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/33.jpg)
33
สรปผลสำรวจ
![Page 34: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/34.jpg)
34
สรปผลสำรวจ
![Page 35: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/35.jpg)
35
![Page 36: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/36.jpg)
36
![Page 37: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/37.jpg)
37
![Page 38: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/38.jpg)
38
![Page 39: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/39.jpg)
39
Government : Big Data as a Service
![Page 40: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/40.jpg)
40
Big Data Project: หนวยงานลงทนเอง
ขอดสามารถเลอกตดตงระบบ Big
Data Platform ใดๆกไดขอมลอยในองคกรสามารถควบคมระบบเองได
ขอเสยคาใชจายสง และอาจเกดการลงทนซำซอนการตดสนใจการซอเทคโนโลยบางอยางอาจไมคมคาอาจทำใหไมไดใชงานอยางประสทธภาพเตมทตองมบคลากรมาดแลระบบเอง
![Page 41: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/41.jpg)
41
Big Data Project: ใช Public Cloud
ขอดมราคาถกมผดแลระบบใหสามารถเลอกใชบรการตางๆไดหลากหลายสามารถทใชเทคโนโลยลาสดได
ขอเสยมความเสยงเรองขอมลไปอยทตางประเทศหรอหนวยงานเอกชน
ไมสามารถ customize เทคโนโลยตามความตองการได
อาจมปญหาเรองการตงงบประมาณจายคาบรการรายเดอน
ผใหบรการ BDaaS สวนใหญอยตางประเทศ
![Page 42: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/42.jpg)
42
Big Data Project: ใช Community Cloud
ขอดไมตองลงทนเองในหนวยงาน
คาบรการเปนขอตกลงระหวางหนวยงาน และอาจมราคาถกสด
มขอดตางๆเชนเดยวกบ BDaaS ของ Public Cloud แตหนวยงานของรฐดแลให
ไมมความเสยงเรองขอมลไปอยกบหนวยงานนอกภาคราชการ
ขอเสยไมสามารถ customize เทคโนโลยตามความตองการได
![Page 43: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/43.jpg)
43
บรการ BDaaS ของภาครฐ
Storage as a Service
Database as a Service
Hadoop as a Service
BI as a Service
![Page 44: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/44.jpg)
44
เทคโนโลยทควรม
![Page 45: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/45.jpg)
45
การใหบรการ
เนน Warm/Cold Data
เนนเรองของเทคโนโลยใหมๆในการประมวลผลหาเครองมอชวยการทำ Visualisation/Data Science
ถาเปน RDBMS ควรทำบรการแบบ RDS คอจดหาVirtual Server ทตดตง Database ในแตละหนวยงาน
![Page 46: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/46.jpg)
46
ความเหมาะสมของเทคโนโลย
![Page 47: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/47.jpg)
47
ระบบประมวลผล
![Page 48: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/48.jpg)
48
องคประกอบของ BDaaS
![Page 49: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/49.jpg)
49
องคประกอบของ BDaaS
![Page 50: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/50.jpg)
50
Object Based Storage
เกบขอมลประเภท Cold Data
เสมอนการใหบรการ Cloud Sotrage อยาง Amazon S3
ภาครฐควรเปนเทคโนโลยทใช Community Servers
ราคาตอหนวยจะถกกวา Hadoop
ควรมขนาดอยางนอย 1 PetaByte
![Page 51: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/51.jpg)
51
Hadoop
เกบขอมลประเภท Cold-Warm Data และ UnstructureData
เสมอนการใหบรการHadoop as a Service ภาครฐควรมขนาดของ HDFS Storage อยางนอย 1 PetaByte
ควรสรางระบบประมวลผลแบบ Hive, Impala, Spark,
MapReduce ใหผใชควรใหสามารถเชอมตอกบ Data Visualization Tool ได
![Page 52: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/52.jpg)
52
Hadoop Platform
![Page 53: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/53.jpg)
53
ขอมลทอนญาตใหมาเกบ
ขอมลของหนวยราชการทกลาวไวขางตนสำหรบการใชงานทวไป ขอมลทตองเกบรกษาไวระยะยาวขอมลทตองการเปดเผยในลกษณะ Open Data
![Page 54: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/54.jpg)
54
กลมเปาหมายของผใชบรการ
หนวยราชการทวไปหนวยงานรฐวสาหกจองคกรอสระและองคกรในกำกบมลนธ สมาคม หรอหนวยงานตางๆทไมแสวงหาผลกำไร
![Page 55: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/55.jpg)
55
คาบรการ
![Page 56: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/56.jpg)
56
ขอสรปจาก Focus Group
![Page 57: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/57.jpg)
57
ผเขารวม112 คน
![Page 58: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/58.jpg)
58
ขนาดขอมล
![Page 59: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/59.jpg)
59
เทคโนโลยทใชในปจจบน
![Page 60: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/60.jpg)
60
หนวยงานทตองปรบ Information Infrastructure
![Page 61: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/61.jpg)
61
การลงทน Big Data
![Page 62: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/62.jpg)
62
บรการ BDaaS ทตองการ
![Page 63: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/63.jpg)
63
ปญหาและอปสรรค
![Page 64: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/64.jpg)
64
![Page 65: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/65.jpg)
65
รายงานฉบบรางslideshare.net/imcinstitute
![Page 67: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/67.jpg)
67
ประเดนในการอภปราย
![Page 68: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/68.jpg)
68
ความจำเปนดาน Big Data
ขนาดขอมลในหนวยงาน (เขยว)ชนดขอมล (ชมพ)ลกษณะการวเคราะหขอมล (เหลอง)ความพรอมบคลากร (สม)
อนๆ (สม)
![Page 69: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/69.jpg)
69
ความตองการดานเทคโนโลย
เทคโนโลยทควรม (เขยว)ขนาดของระบบ (เหลอง)
![Page 70: Big Data as a Service](https://reader034.vdocuments.site/reader034/viewer/2022042707/587138d31a28abf0568b6459/html5/thumbnails/70.jpg)
70
ความคาดหวงตอระบบ Big Data
รปแบบทควรจะเปน จดทำเอง หรอ Cloud (เขยว)ความเหมาะสมของระบบ (ชมพ)สงทผใหบรการควรทำ (เหลอง)การคดคาบรการ (สม)
ขอเสนอแนะอนๆ (ฟา)