the database for things era of smart x29c-5].pdf · iiot 데이터처리환경 ... raspberry pi 2...
Post on 05-Aug-2020
5 Views
Preview:
TRANSCRIPT
The Database for ThingsEra of Smart X
Smart Factory Conference 2018
㈜마크베이스이재훈본부장
• Smart X Era
• Time Series Database
• Industrial IoT
• Machbase Overview
• Machbase Use Cases
Table of Contents
The Fastest Time Series DBMS Machbase
Smart X Era
- 4 -Smart X Era
SMARTX
SMART Home
- 6 -Industrial IoT Era
SMART City
- 7 -
SMART Factory
- 8 -Smart X Era
SMARTX
SMART Grid SMART Farm SMART Home
SMART Factory SMART Logistics
SMART Health SMART City SMART Building
Smart X 시대의 도래
- 9 -
IoT/IoE Device 폭증
* Source : iot-analytics.com, 2014
Smart X Era
- 10 -
Smart Things?
Big Data IntelligenceConnected
• TB, PB 데이터 볼륨
• 초당 수백만 데이터 수집,저장
• 인공 지능
• 머신 러닝
• 모델링, 예지보전 분석
• M2M(Machine To Machine), IoT(Internet of Things)
• 자동차, 발전소, 건축물, 각종센서….
Smart X Era
- 11 -
Business 요구사항
Historical AnalysisCheck a specific
data point
Real-time Trend monitoringAnomaly detection
Alarm & NotificationTroubleshooting
Predictive MaintenanceReducing downtime
Past Present Future
Smart X Era
Time Series Database
구슬이 서말이라도꿰어야 보배
- 14 -
머신데이터, 센서데이터
2018-02-03 21:26:40.000,TAGID00025,56.9700002018-02-03 21:26:39.998,TAGID00088,58.6900002018-02-03 21:26:39.997,TAGID00045,59.5700002018-02-03 21:26:39.996,TAGID00038,62.6100002018-02-03 21:26:39.995,TAGID00044,58.4100002018-02-03 21:26:39.993,TAGID00051,58.9100002018-02-03 21:26:39.992,TAGID00094,53.1900002018-02-03 21:26:39.991,TAGID00017,51.9600002018-02-03 21:26:39.990,TAGID00010,53.0500002018-02-03 21:26:39.988,TAGID00072,62.1900002018-02-03 21:26:39.987,TAGID00018,62.6800002018-02-03 21:26:39.986,TAGID00097,51.1100002018-02-03 21:26:39.985,TAGID00012,55.3600002018-02-03 21:26:39.983,TAGID00073,55.9000002018-02-03 21:26:39.982,TAGID00053,64.7300002018-02-03 21:26:39.981,TAGID00023,51.5900002018-02-03 21:26:39.980,TAGID00046,55.6600002018-02-03 21:26:39.978,TAGID00012,53.3600002018-02-03 21:26:39.977,TAGID00042,50.6200002018-02-03 21:26:39.976,TAGID00050,57.9400002018-02-03 21:26:39.975,TAGID00033,51.3600002018-02-03 21:26:39.973,TAGID00010,59.7300002018-02-03 21:26:39.972,TAGID00080,55.8900002018-02-03 21:26:39.971,TAGID00029,60.1300002018-02-03 21:26:39.970,TAGID00037,59.6500002018-02-03 21:26:39.968,TAGID00088,54.0300002018-02-03 21:26:39.967,TAGID00083,58.8800002018-02-03 21:26:39.966,TAGID00051,56.350000
10,000 Tag * 1초 * 50 Bytes
- day -
9억 건
40GB
- year -
3,154억 건
14.3TB
Time Series Database
- 15 -
시계열 데이터
시간흐름에따라발생하는로그, 이벤트정보
데이터특성(정형/반정형)
데이터업데이트없고과거데이터순삭제
데이터입력위주
해당데이터소스의ID 및상태정보를반드시포함
ID, 상태정보포함
시간을기준으로각종통계, 분석수행
시간데이터
동일패턴, 지속적으로빠르게생성
매우빠른생성속도
Time Series Database
- 16 -
최근 24개월 DB 트렌드
* Source : db-engines.com
Time Series Database
- 17 -
Time Series DB 전성시대
Prometheus
Time Series Database
Beringei
Industrial IoT
- 19 -Industrial IoT
IIoT 데이터 처리 환경 변화
데이터량폭증
Scan rate 고도화 추세500msec 1msec
저장해야 할 데이터 기간 및 용량 증가
센서 개수의 증가 분석 대상 데이터 범위 증가
기 구축된 시스템의 데이터 처리허용 한도 초과
오픈소스 솔루션의 기능 확장 및책임 소재 이슈 발생
전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요
- 20 -
데이터처리요구량증가
1
1,000
100
500k10k 1M
Scan rate(초당)
# of sensor
Smart Factory 시대의데이터 처리 요구량
현재처리능력
Industrial IoT
- 21 -
OT와 IT의 융합
PHDHistorianPI
System
dataPARC Predix InfoPlus
OperationalIntelligence
Visualization & Analytics
Enterprise Data Warehouse / Data Mart / Data Lake
RTDB
Tableau QlikView Spotfire SAS MSFT BI ECMinerCustom
Applications
Convergence
Industrial IoT
- 22 -
새로운데이터처리제품필요
요구사항
데이터 증가에 따른 확장 기능(Scalability)
데이터 압축 저장
편리한 개발 및도구 통합 기능 제공
책임있는 기술 지원 및사후 관리
무정지 서비스 기능(High Availability)
IIoT에 적합한 기술 개발 로드맵 제시
초당 2백만 건 이상 고성능 데이터 입력 지원
+
Industrial IoT
Machbase Overview
- 24 -Machbase Overview
The Fastest Time Series DBMS
10
10
11
01
01
01
10
10
110
10
101
10
101
10
10
11
01
01
01
10
10
11
01
01
10
10
10
10
01
01
01
10
10
00
10
10
11
01
01
01
10
10
10
01
01
10
10
10
00
10
11
00
10
01
01
10
01
0
Sensor/Machine Data
Analytics
BI
Management
ISV
Query
Results
IoT
OT IT
- 25 -
마크베이스포지셔닝
Machbase Overview
X 1000
x 10,000
x 1,000,000
x 100,000
Batch oriented Big Data Analytics
Text File
Old (minutes)Very Old (hours) Current (seconds)
HADOOP
Real-Time Big Data Analytics
Enhanced HADOOP Solutions
Splunk
Conventional AnalyticsBI Solutions
Columnar DBMS
Conventional OLTP/OLAP
ClusteredColumnar DBMS
ParStream
Machbase
Engineered System(ExaData)
In-Memory DBMS
Disk DBMS
Data Entry
Data Freshness
- 26 -
마크베이스의혁신성
RDBMSTechnology
BigDataTechnology
데이터베이스
• 안정성,편의성,사용자 특성 감안
• 소프트웨어 개발 및 관리 편리
• 느린 성능, 소규모 데이터 처리 적합
• 노드및데이터증가에따른확장성부족
빅데이터솔루션
• 대용량 처리, 클러스터링
• 대용량 데이터 입력 및 처리에 특화
• 데이터베이스 사용자 편의성 부족
• 학습 및 유지보수 관리 매우 취약
Machbase
Machbase Overview
- 27 -
기술적차별성
Machbase Overview
초고속 데이터 입력 기술
• 시계열 데이터 입력 및 파티셔닝 기술 (미국 특허)
• 병렬 클러스터를 통해 선형적 성능 증가
(초당 천만건 이상)
• 초고속 데이터 전송 프로토콜 구현 (미국 특허)
클러스터링 기술
• 클러스터 노드 관리 기술
• 클러스터 기반 초고속 SQL 처리 기술
• 데이터 복제 및 데이터 밸런싱 기술 (미국 특허)
• 고가용 보장 및 노드 확장 기술
초대용량 데이터 검색 기술
• 빅데이터를 위한 LSM 인덱스 구현
10억 건 검색 0.1초 완료
• 병렬 SQL 처리 기술 (미국 특허)
초고속 인덱스 생성 기술
• 실시간 비트맵 인덱스
인덱스당 초당 백만건 이상 처리
• 파티셔닝 기반 병렬 인덱스 생성 기술 (미국 특허)
- 28 -
마크베이스 제품군
Machbase Overview
EmbeddedEdition
Machbase
EnterpriseEdition
StandardEdition
Fast data processing performance in a
single node
Big data technology revolution in
multi-nodes cluster
Real-time Edge Analytics for
IoT sensor data
3 types
- 29 -
Embedded Edition
• CPU : ARM, x86 support
• O/S : Linux(Redhat, CentOS, Fedora, Ubuntu)
Real-time Linux (Wind river Linux)
Windows 64bit
• Performance : 20,000~ 200,000 EPS input
• Support ARTIK 7 (64 bit, Linux, ARM CPU)
Raspberry PI 2
Raspberry PI 3
Samsung ARTIK 10
Advantech UTX-3115
Machbase Overview
Edge Analytics를위한최고솔루션
7
- 30 -Machbase Overview
Embedded 성능측정
항목 ARTIK 7 (64BIT)
CPU8 core
ARM Cortex A53@ 1.4Ghz
BogoMips 19.71
Memory 1GB
Storage 256GB SSD
OS Ubuntu 16.04.3 LTS
Machbase 3.7.0.88fd672_A53-64-release
Client Spec(sending data)
Intel i7-4790 @ 3.6Ghz x 8 CPU32GB Memory
CentOS 6.71Gbps NIC
- 31 -Machbase Overview
Embedded 입력,조회성능
항목 입력 성능
전체 입력 건수 100,000,000
입력 소요 시간(sec) 575
초당 입력 건수(EPS) 173,913
평균 CPU 사용률 400%
평균 메모리 사용률 40%
저장용량(GB) 4.8
항목 조회 성능
1시간 범위 총 건수(36만 건)
0.185
1시간 범위 raw 데이터(36만 건)
1.896
1일 범위 총 건수(864만 건)
0.238
1일 범위 raw 데이터(864만 건)
37.256
특정 조건 총 건수(26만 건)
1.203
1일 범위 통계 Top 10 9.913
단위 : 초
- 32 -
Standard Edition
Machbase Overview
단일노드에서최고의데이터처리성능발휘
• 초당 수만 ~ 수십 만 건 입력 가능
• 데이터 처리 및 보안 관련 ISV 에게 최고의 솔루션
• 삼성 SECUI, 우정사업본부, KORAIL, 경기도평생교육진흥원
• 홈페이지( http://www.machbase.com )에서 제품 다운로드 가능
- 33 -Machbase Overview
Standard 테스트환경
테스트대상
1억건, 13GB 데이터, 각제품의데이터입력및조회성능측정
하드웨어사양
- CentOS 6.6
- Intel(R) Core(TM) i7-4790
CPU @3.60GHz(4 core)
- 32GB memory
- SATA DISK
- Machbase 3.5.0
- MySQL 5.7.12 MyISAM
- Splunk 6.4.0
- Elasticsearch 2.3.4
- MongoDB 3.2.6
Field Create TimeSource
IPSource
portDestination
IPDestination
portProtocol
TypeLog Text Status Code Data Size
Field Name arrivaltime srcip srcport dstip dstport protocol eventlog eventcode eventsize
Field Type datetime ipv4 integer ipv4 integer shortvarchar(1024)
short long
DATA
- 34 -Machbase Overview
Standard 성능비교
초고속입력과압축성능
초당입력건수 압축저장사이즈
Machbase MongoDB Splunk MySQL ElasticSearch
250K
200K
150K
100K
50K
0
232,558
44,583
69,493
38,344
1,388
Machbase MongoDB Splunk MySQL ElasticSearch
20
15
10
5
0
4.64
8.9
17.417.6
13.3
데이터입력시간과인덱스생성시간을종합하여계산함 Machbase는원본크기보다 64.3% 압축됨(4.64/13GB)
- 35 -
Enterprise Edition
• 단일 노드에서도 Scale-up 구성 가능
• 멀티 노드로 Scale-out 구성
• 안정적인 대용량 데이터 처리 가능
• 분산 저장, 분산 쿼리로 성능 향상
• 시계열 빅데이터 클라우드 시스템 구축 가능
멀티노드클러스터확장구성
Machbase Overview
- 36 -Machbase Overview
Enterprise Architecture
…
COORDINATOR
BROKER
WAREHOUSE
COORDINATOR
WAREHOUSE WAREHOUSE
WAREHOUSE WAREHOUSE WAREHOUSE
WAREHOUSE WAREHOUSE WAREHOUSE
WAREHOUSE WAREHOUSE WAREHOUSE
BROKER
: Standby: ActiveCLIENT
ODBC/JDBC
Web Analytics
Collector
Application
Utility
R
- 37 -Machbase Overview
Enterprise 노드종류
노드 역할
Broker• 클라이언트 프로그램과 통신
• Warehouse에게 분산 데이터/쿼리 전송
Warehouse
• Broker와 통신
• 쿼리의 분산 수행
• 데이터의 저장
• 데이터의 복제 수행
Coordinator
• Broker, Warehouse 상태 감시
• Node 장애 감시
• Fail-over 수행
Deployer • Broker와 Warehouse 설치, 제거 수행
- 38 -Machbase Overview
Enterprise 성능비교
Test case Standard Enterprise Factor
Insert (200 Bytes) 1991 765 0.38
Append (200 Bytes) 555,208 1,976,675 3.56
Append (50KB) 8105 12,724 1.57
Append (24 Bytes) 1,699,824 7,034,510 4.22
Test case Standard Enterprise Factor
Select 100K data (Event Per Second) 63,234 748,342 11.83
Select from 1M data (second) All data GROUP BY & ORDER BY 1.40 0.33 4.24
Select from 1M data (second) Inline View 0.32 0.04 8.00
Select from 1M data (second) WHERE conditions 0.46 0.06 7.67
• 테스트환경: CPU - 16 cores/32 threads, MEM - 256GB, DISK - NVME SSD, 8x warehouse
조회성능
단위 : EPS입력성능
Machbase Use Cases
- 40 -
빌딩에너지관리시스템적용
빌딩에너지관리시스템의데이터수집개선을위한마크베이스도입및테스트진행
Applications
IoT Core
Security System
Machbase…
DATA Gateway
DATA Gateway
DATA Gateway MS-SQL수집속도한계
스마트아파트관리시스템빌딩에너지관리시스템
변경
• 빌딩 내 에너지 사용기기에서 발생하는 다량의 센서 데이터 등을 수집하는데 기존 RDBMS 속도 한계 인식
• 기존 대비 데이터 수집 주기를 더 줄여서 수집 가능하게 됨으로 성능에 만족. 현재 내부 솔루션 수정 예정
• 빌딩에너지 관리 시스템(BEMS)으로 시작하여, 스마트 아파트 관리 시스템으로 확장 예정
Machbase Use Cases
Event Data, log
- 41 -
지능형영상정보저장분석오산시 지능형 CCTV 영상 정보 저장 및 통계 분석 플랫폼
Machbase Use Cases
구성도
.
.
.
CCTV 1,500대
CCTV(지능형카메라)
IntelliVix(지능형영상분석)
비디오스트림
IntelliVix 서버 50대
• 객체감지/추적
• 이벤트감지
• 녹화/검색/재생/전송
• 번호판/얼굴 인식
객체메타데이터
이벤트감지메타데이터
마크베이스 통계 플랫폼
Machbase(시계열 Database)
Grafana(시각화 대시보드)
Machbase
DB서버 1EA
• 객체 매타데이터 저장
• 자동차/사람의 배회
이벤트 저장/조회
• 일 1,500만 건의
이벤트/객체 데이터 처리
Query
통계서버
• 도로별 안전 데이터 통계
• 차량 등 객체의
지역별/기간별
유동량/배회 통계분석
배경
• 인텔리빅스 내부 DB로는 모든 이벤트/메타 데이터저장을 못함
• 속도 및 DB Size 제약으로 최근 1개월 내의데이터만 보관
• 월/연인원, 차량/인구 유동량 등 통계자료 확보 못함
적용
효과
• 1년 이상의 전체 데이터 보관 가능하며, 향후 확장하여최대 5년간 보관 예정
• 교차로 등의 사건/사고 추이 분석을 위한 기초자료제공 및 대응 방안 수립을 위한 통계분석 활용
• 월별, 연별 유동량 및 배회 등 이벤트 패턴분석 기반마련
- 42 -Machbase Use Cases
Smart FactoryPackage
설비 결함 메커니즘 분석 솔루션
HMI
Wire
less
MC
UD
AQ
N-lite
N-lite
N-lite
N-Pro
N-lite
Stand
ard C
on
netivity Service
MQTT/TSN
OPC-DA
Ethernet
ManagementConsole
종합모니터링
Analytics예지정비
EventStatus
Web socket HTTPS/REST
Smart Factory Monitoring & Analytics
HTTPS/AJAX HTTPS/XHR
Ethernet TCP/IP
100만 EPSSimulation
Machbase
• 공정 빅데이터의 초고속 수집• 공정 분석 시간 단축• 예지보전 즉시화
Modbus
RS232
MQTT
Pub/Sub
OPC-UA /TSN
스마트팩토리 설비데이터 통합 분석
I-IoT OneWay Platform
POPSystem
HTTP Web Service
Big Data HUB Interface Service
ThingModel
ThingModel
ThingModel
Thin
g Co
nn
et Inte
rface Service
Sup
er S
pee
d E
ven
t In
terf
ace
Serv
ice
+
+
+ +
The FastestTime Series DBMS
MESSystem
APSSystem
ERPSystem
SCMSystem
Big Data Operation
HumanData
BigData
OracleMS-SQL
…
Hadoop NoSQL
…
Tag Data
Tag DataTag Data
Tag Data
Tag Data
Tag Data
Tag Data
Tag Data
Tag DataTag Data
Thank You
Website
Tel
:
:
:
www.machbase.com
sales@machbase.com
02-2038-4606
Machbase Inc.
www.machbase.com
top related