exem big data - 엑셈 · mqtt http tcp/ip jms ... kafka mqtt ftp http kafka realtime distributed...

12

Upload: phungtruc

Post on 01-May-2018

244 views

Category:

Documents


7 download

TRANSCRIPT

Smart Factory

EXEM Big Data

엑셈 하둡배포판 XDP

데이터 저장 및 처리

FlamingoAnalytics빅데이터 분석

FlamingoManagement

빅데이터 운영 및 관리

정형/비정형 데이터 분석 데이터 마트

IoTSensors

Web/SNS

Log

RDBMS

File

기상청

국토부

에너지공단 등

Crawler

ETL

ESB

Sqoop

Flume

SFTP/FTP

OpenAPI

Dashboard

Open API

Service

Service

Service

AnalyticsModule

Big Data PlatformManagement Data Catalog Open APIBig Data Infra

Management Data Management

Unified Big Data Query(SQL)

스토리지

분산데이터베이스

HadoopConnector

분석 도구

RStudio

TableauSpotfire

SPSSSAS…

비정형 분석

Data Integrator

Hive Pig Mahout

Flamingo MLlib

Spark In-Memory MapReduce

YARN(자원 관리)

R 통계분석엔진

비정형 분석 엔진

검색엔진

인증

HDFS(하둡분산파일시스템)

NoSQL

데이터 소스 수집 및 전처리 운영자/관리자 포털 사용자 포털

관리 통합

Data Lifecycle&

Governance

Falcon

Atlas

Data Workflow

Sqoop

Flume

Kafka

NFS

WebHDFS

TOOLS

Zeppelin FlamingoAnalytics

배치MapReduce

검색Solr/

ElasticSearch

HDFSHadoop Distributed File System

데이터 관리

보안

Administration

Authentication

AuthorizationAuditing

Data Protection

Provisioning,Managing,

&Monitoring

FlamingoManagement

작업

스케줄링

Ranger

Knox

Atlas

HDFS Encryption

Ambari

Cloudbreak

ZooKeeper

Oozie

스크립트Pig

SQLHiveTez

NoSQL

HBaseAccumuloPhoenix

Silder

스트림

StormSilder

YARN: 데이터 운영 체제

기타ISV Engines

인메모리Spark

데이터 엑세스

하둡(Hadoop)

알(R)

하이브(Hive)

플럼(Flume)

피그(Pig)

스쿱(Sqoop)

머하웃(Mahout)

스파크(Spark)

h3

h2

h1

v

W 3

W 2

W 1

RBM

SigmoidBeliefNetwork

h0 h0

X0

h0

X0

h3

X2

h2

X2X0

=

time

A A A A A

Convolutional layer

layer 1FC 6layer 2

layer 3 layer 4 layer 5

빅데이터수집 및 분석

의사결정 시나리오 및 서비스

공정 데이터의시계열 처리

OPEN API를 이용하여MES와 연동

제조 환경

설비의 센서

Gateway

MQTT

HTTP

TCP/IP

JMS

단말기

송신

송신

제조 빅데이터 기반 의사결정 클라우드 서비스 및 솔루션

제조 빅데이터 분석 클라우드 서비스 및 솔루션

빅데이터 분석 인프라 플랫폼

MES

연동

연동

Spark Sqoop TimeSeries

DB(TSDB)

MapReduce

Hive R PigData Hub SQL on Hadoop

Log Collector HDFS Cloud Storage Service

활용

활용

공정 운영 최적화

시간 동기화데이터정규화

데이터형식 변환 데이터 통합

클러스터링 유사도 판단/분석 의존도 분석

OPENAPI

OPENAPI

생산 계획 및공정 스케줄링

공정 및 제조비용 분석

공장의 생산목표 설정

품질 원인추적 및 진단

재고, 주문 및원자재 관리

시계열데이터 관리

워크플로우이력 관리 리소스 관리

저장소 관리워크플로우디자이너

프로비저닝관리

분석 작업관리

워크플로우레파지토리

알고리즘 모듈

전처리 모듈

의사결정 S/W(예시)

빅데이터수집 및 분석

의사결정 시나리오 및 서비스

공정 데이터의시계열 처리

OPEN API를 이용하여MES와 연동

제어기기

RFIDPLC기계

무선 M2M디바이스

프로토콜 프로세서 I/O

RFID/USN 터치스크린 모바일

유선 M2M디바이스

센서 I/O

시퀀서

Access Point

바코드리더

KIOSK

생산

빅데

이터

외부

연동

인터

페이

플랫폼 수집 보급형 스마트 디바이스

데이터 수집

데이터 필터링

구동기 제어 등의질의 처리

경량형 연산

현장 디바이스연결 상태 관리

생산자원 통합모니터링

생산공정 운영관리 실측변수 연동자동공정 시뮬레이션

설비 예지보전및 통합 관리

K-ICT 빅데이터센터

비정형수집기

소셜 분석 교육실습 분석(Flamingo)

교육실습 가상화상용클라우드

DB

창업자 인프라

중소 벤처

개발자

창업자

대학생

IoT 연계 실시간 스트림 분석 이용자 분석환경(Flamingo)

개발자 인프라

Apache Tajo

Apache Spark

Flum

e

Apache

DBMS

데이터 마트

Storm

Cascading

Sentry

Sq

oop

MapReduce

Hive R Pig

HDFS

SocialData

IoT 실증사업

R

Management

time1

windowat time1

windowat time2

windowat time3

time2

window basedoperation

time3 time4 time5

연동 인터페이스

설비의 센서

ISO/IEC30128

MQTT

HTTP

IOT 센서

송신

송신

Realtime Analytics

Flamingo

실시간 연동 및 예측 분석

실시간 인메모리 분석

one M2M

Kaf

ka

필터메세지 선별/변환

비식별화

예측모델

MQTT

FTP

HDFS

Kafka

MQTT

FTP

HTTP

Kafka

Realtime Distributed Message Broker

Spark Streaming

실시간 전송

Batch Analytics

데이터 전송

R/RStudio

시각화 분산애플리케이션

모니터링

Hive, Tajo,HAWQ

워크플로우 HDFS브라우저

Hadoop EcoSystem

기초통계 프로그램전처리 머신러닝 알고리즘

SQL onHadoop Spark ZooKeeper Sqoop

Hive

MapReduce

R Pig

Flume HDFS

예측모델

시각화

저장

HD

FS

MR, Spark모니터링

Oozie모니터링

서버자원모니터링

HDFS모니터링

Hive의 DB, Table, Partition 관리를 커맨드에서 스크립트로 작성하지 않고 UI를 통해 관리

쿼리 편집기에서 작성한 쿼리를 바로 수행하며, 수행 결과를 하단의 그리드를 통해 확인 가능