A new open source BI platformpowerd by Druid

Metatron Project

1. Overview

2. Metatron 2.0

3. Use case

4. Technology

5. Roadmap

Contents

1

Overview

metatron

Big DataAnalysis

&

VisualizeValue

Self-Service Data Discovery & Analytics

OLAP, 시각화, 머신러닝이융합하여비전문가도데이터로부터

상위레벨의가치를손쉽게얻을수있는 Intelligence 솔루션

3

metatron 소개

Single Solution for Data Discovery

Management

Data

Preparation

Data전처리/Cleansing

대용량데이터 Preparation 부터시각화기반데이터탐색, 분석까지한번에

데이터소스관리, 데이터리니지, 사용자/그룹관리, 인증, 공유, 스케줄러, 서비스모니터링등

Workbench

SQL Query

워크벤치

Data Visualization

차트/대시보드/리포트

워크북

Embedded Analytics

외부분석툴연동

Data Analytics

노트북

4

[참고] metatron End-to-end 기능

5

metatron 소개 – 워크스페이스

워크스페이스:

분석공간

(개인,공유)

1 2 3

1

2

3

워크북:

시각화기반분석

워크벤치:

SQL 기반분석

노트북:

ML기반고급분석

권한 설정

워크스페이스 내 컨텐츠 공유 대상 선택

컨텐츠 선택

워크북, 노트북, 워크벤치 중 택일

분석 컨텐츠 선택

6

개인워크스페이스 공유

워크스페이스

개인이자신만의공간에서작업하기위해기본적으로주어진공간

다수의권한을가진사용자에게공동작업을하고관리하기위한공간

워크스페이스 개요

7

공유 워크스페이스

공유워크스페이스

공유 워크스페이스

사용자

사용자

사용자

개인 워크스페이스

개인워크스페이스

개인 워크스페이스

워크북 워크북 워크북

Chart

Chart

Chart

데이터 소스 연결

데이터소스연결

데이터소스연결

Work Board

Work Board

※ Metatron 기본 구조

(Workspace) 워크북, 페이지, 워

크보드를 작성 및 활용할 수 있는

작업공간(개인/공유 workspace)

(Workbook) 여러 페이지차트와

워크보드를 포함하는 온라인 서

류

(Dashboard) 동일 워크북內 차트

를 조합하여 만든 차트간 연동형

분석 보드

(Chart) 데이터소스에서 조회한

데이터를 다양한 차트를 이용하

여 분석하기 위한 기본 분석단위

Work Board

METATRON 워크스페이스 전체 구성도

8

워크북 – 시각화 기반 분석

■ 워크북을 통해 사용자는 보기 편하고 익숙한 PPT UX 환경에서 분석

1

대시보드 모음

다양한 대시보드를 표현

프리젠테이션 뷰 기능 제공

리포팅 및 공유를 위한 프리젠테이션 기능 제공

댓글 기능

워크북 내의 공유 내용에 대한 댓글 형식의 커뮤니케이션 수단 제공

9

[참고] 워크북 계층

워크북대시보드차트

10

워크스페이스

워크북 구조

공유 워크스페이스

공유 워크스페이스

공유 워크스페이스

개인 워크스페이스

개인 워크스페이스

개인 워크스페이스

워크북 워크북 워크북

위젯

위젯

위젯

대시보드

대시보드

대시보드

Data storage

데이터소스(toward Druid)

데이터커넥션(toward JDBC)

User

Role+Perm.

위젯

차트

텍스트

필터

11

워크북 동작 (Data Visualization)

Big Data Cluster

Broker Nodes

Real-Time Nodes

HistoricalNodes

Deep Storage(HDFS)

Machine Learning Cluster

Spark Cluster

External DB Cluster

Hive, Presto, etc

Server Node

Polaris(Data Discovery Agent)

①

②(수집형)

③

④

⑤

⑥

⑦

⑥ Additional Commands with the previously

gathered data

① User Command

⑤ User Response

⑦ User Response

② Data Gathering from Big Data Cluster (수집형)

or External DB (임시연결형)

④ Execute Machine Learning Algorithm if necessary

(Embedded Analytics)

③ Visual Processing

Druid

②’(임시연결형)

②’

12

노트북 – ML 기반 고급 분석

■ 분석 대상 선택

– 데이터소스, 대시보드, 차트 중 택일

– 분석 대상 데이터 선택

■ 노트북 상세 정보 입력분석

– Server type 선택

– 개발언어 선택 (Jupyter : R / PYTHON, Zeppelin : Spark)

– 노트북명과 설명 입력

■ Jupyter notebook 팝업

– 개발언어 분석 대상 데이터셋 로딩 코드 삽입

– 분석가가 R 코드를 작성 후 저장

2

13

노트북 – ML 기반 고급 분석

■ 노트북 API 생성

– Return type (html, json) 선택

– notebook coderesponse.write(_user_object_)

■ 생성된 URL을 통해 RESTful 서비스 제공

– Result 클릭하여조회가능

14

노트북 구조 및 지원 언어

[외부 분석 도구와 사용 가능 언어]

[노트북 구조]

15

워크벤치 – SQL 기반 분석3

스키마 뷰

테이블 정보, 데이터 프리뷰,컬럼 스키마 조회

히스토리

쿼리 히스토리 조회 및 결과 리스트

다이나믹 차트 생성

다이나믹하게 데이터소스를 구성하고 차트 생성 테스트 수행 가능

결과 실행

결과 전체 실행, 블럭 실행

데이터소스 생성 숏 패스 제공

쿼리 결과를 바로 데이터소스로인제스쳔

온라인 엑셀 기능

온라인 엑셀 프로그램으로 연동을 통하여 결과 데이터를 표시

16

워크벤치 구조 및 특징

• 여러 서버에 분산된 다양한 외부 데이터베이스(Oracle, MySQL, Hive, Presto, Tibero)를 한꺼번에 작업공간에 조회

가능

• 연동된 데이터베이스의 스키마를 자유자재로 탐색하여 테이블과 컬럼을 쉽게 조회 및 선택

• 쿼리 편집 도구가 내장되어 데이터의 조회,추가, 삭제, 수정이 용이

• 쿼리 결과를 실시간으로 확인하고 로컬 파일로 다운로드 가능

• 출력된 데이터를 Druid 엔진으로 옮겨서 다양한 차트로 시각화

• 데이터 모니터링 메뉴에서 로그 분석 가능

metatron 2.0

18

DashBoard/Chart Workbench – SQL Explorer

Embedded Analytics Data Prep. – Data Transformer

총 120장의 페이지의 디자인 개편을 통한 보다 개선된 UX 제공

2.0 Release

Workspace

Data Lineage

V2.0 개선 - UX/UI

19

V2.0 개선 - Data Preparation

■ 데이터를 시각화, 분석하기 위한 지루하고 반복적인 ETL작업을 누구나 쉽게

– 서로 다른 데이터 소스(RDB, Hive, Log file, etc.)에 대해 일관성있는 추상화 레벨 제공

– 샘플 데이터로 전후 결과를 빠르게 보고 비교하면서 편집할 수 있음 (Step-by-step, back-and-forth)

20

V2.0 개선 - Data Preparation

ETL

데이터 플로우 생성 룰 적용

데이터 스냅샷 생성

온라인 엑셀 프로그램으로 연동을 통하여 결과 데이터를 표시

21

V2.0 개선 - Data Management (Lineage & Job Log)

그래프 표출을 통한 컬럼 히스토리

MDM의 일환으로 전체 데이터가어떤 테이블, 어떤 컬럼들과 연결되어 실행되었는지 확인할 수 있는 기능 제공

■ Data Lineage : 쿼리 로그를 이용해 데이터 전후 관계를 관리

■ Job Log : 워크벤치에서 발행된 질의 이력 및 다양한 통계 정보 관리

쿼리 이력 목록 조회 및 검색

쿼리 이력 상세 조회

22

V2.0 개선 - Embedded Analytics

예측

추세

클러스터

Use case

metatron

24

Use case Overview

• SKT TANGO N/W분석

• IBK빅데이터분석인프라

• 하이닉스 FDC

• 사내 ThingPlug

• 사내 EDAS

• 사내 NUGU Log분석

• 사내 T map

• 인도 Bharti Airtel

• SKB옥수수 Log분석

25

’17년 3월 Metatron은 TANGO DW의 데이터 분석환경으로 상용적용되어 기존 Spotfire를 대체하고있음

Hadoop DW Cluster

SqoopHive On

Tez

SparkSQL

ThriftServer

Yarn

SparkSQL

HDFS

Druid Cluster

Deep Storage

Historical Nodes Real-Time Nodes

BrokerNodes

ZookeeperCoordinator

Nodes

DW/Mart Data Batch

Workbench

Visualization 기능

Hive MetaStore

JDBC Driver

Thrift Server

JDBC Driver

워크북 노트북

워크보드 리포트

SQL Query

기존 Spotfire

Spotfire Server

Spotfire

Repository

DB

Metaton 사용

Use case - SKT TANGO N/W Analytics

• 메모리의 한계를 벗어나는 데이터의 분석이 어려움- 필요한 데이터를 Client PC 또는 Spotfire 서버로 조회하여시각화

(CELL 단위 분석만 하더라도 여러 가지 한계 발생)

• Data Mart 생성에 대한 유지보수 양의 증가- 기본적으로 조회된 데이터의편집을 허용하지 않음- 따라서, 분석에 필요한 데이터를 Mart 로 구성해 둬야 하며, 이에 따른 유지보수 어려움 증가

【 Spotfire 단점 】

26

[참고] SKT TANGO Analytics 적용 화면

1. 전국 CEI 현황대쉬보드 2. 본부별 CEI 현황대쉬보드

3. CEI 결과리포트 4. 다양한 Board를위한네비게이션

27

[참고] SKT TANGO Analytics 2.0 적용 화면

• 포탈

• 사용자현황

• 수도권 VoC 현황

28

상용화 – SKB 옥수수 Log 분석

• Error monitoring

• OS device detail board

• Network error detail board

• 페이지 뷰 분석

29

상용화 – IBK 빅데이터 포탈(영업 지원 시스템)

• IBK빅데이터분석인프라

’18년 5월 정식오픈 했으며, 동시사용자 100명 수준의 인프라구성

Technology

metatron

31

metatron 주요 특징

Key FeaturesArchitecture

직관적인 인터페이스로 빅데이터에 대해 데이터 준비 단계부터 분석차트까지의 End-to-end기능으로 쉽게 분석 가능

Intuitive Analysis

대용량 Fact 데이터에 다양한 Dimension을결합하여 Big Mart를 생성함으로써 ETL 비용 감소, 속도 향상 및 스키마 변경 가능

Big OLAP Cube

시간에 따라 In-memory, Local Storage, Deep Storage로데이터를 이관하여 TB 이상의 대용량 데이터에 대해서도 빠르게 응답

Sub-second Processing Engine

Data Processing Engine

워크북

노트북

Tools

워크벤치

Data Preparation

실시간 대용량 Data 처리 엔진

Big OLAP Cube, Pre-aggregation, Accelerator, 제조 특화 데이터처리 등

Management

MDM

사용자/그룹 관리

인증/권한

리니지

Realtime Streams(Kafka, AMQP, Flink, StreamSets,..)

Batch Data(HIVE, Spark, HDFS, ..)

분석 툴(Jupyter, Zepplin, R, Spark ML,..)

Hadoop Package(Cloudera, Hortonworks, ..)

Massive Data의 빠른 시각화와 실시간 모니터링를 통해 새로운Insight를발굴하고, 동료들과 공유

Load from Everywhere

데이터를 metatron에직접 넣는 방식(Insert)과 연결(Link)하는 방식을 지원하여 모든 데이터 소스 활용 가능

Visualize & Share Your Insights

Prepare Data by Yourself

시각화 기반 Data Preparation 기능으로 사용자가 직접 수정, 통합, 변환하여 데이터 준비

다양한 분석 도구 연동을 지원하며, metatron에저장된 데이터를 활용하여 분석하고, 동료들과 공유

Notebook & Model Manager

핵심 기능 고도화, 성능 향상 등 metatron에특화된 Druid탑재

Enhanced Druid Engine

32

주요 특징 - Big OLAP Cube

대용량 Fact 데이터를기준으로다양한 Dimension 데이터를결합하여하나의 Big OLAP Cube(Mart) 생성

Fact 데이터

contract_id (계약 아이디)

contract_date (계약일)

product_01_code (제품 코드)

product_02_code (제품 코드)

product_03_code (제품 코드)

detail_store_code (지점 정보)

product_04_code (제품 코드)

customer_id (고객 아이디)

고객 기본(Customer)

customer_id (고객 아이디)

birth_date (출생일)

customer_sex (성별)

product_01_code (상품 코드)

product_02_code (상품 코드)

product_03_code (상품 코드)

product_name (상품명)

product_04_code (상품 코드)

product_01_name (상품 구분)

상품 기본(Product)

store_code (부점 코드)

detail_store_code (최종 관리점 코드)

customer_id (고객 아이디)

store_name(고객 아이디)

detail_store_name (고객 아이디)

고객/부점관계(Store)

product_name (상품명)

product_01_name (상품 구분)

Fact 데이터

contract_id (계약 아이디)

contract_date (계약일)

product_01_code (제품 코드)

product_02_code (제품 코드)

product_03_code (제품 코드)

detail_store_code (지점 정보)

product_04_code (제품 코드)

customer_id (고객 아이디)

store_code (부점 코드)

customer_id (고객 아이디)

store_name(고객 아이디)

detail_store_name (고객 아이디)

birth_date (출생일)

customer_sex (성별)

조인하여Big OLAPCube 생성

Big OLAP Cube

33

주요 특징 - Sub-second Processing 엔진 (Druid for metatron)

Druid는 ’12년부터 ImplyData社와 MetaMarkets社가 Open Source로 만든 Time Series에최적화된 Columnar Store 기반의데이터처리엔진

SKT는 ImplyData社와 개발 협력(‘16~’17) 및 Druid Open Source 활동 중(‘16~)

Metatron 상용 적용에 필요한 핵심 기능을 직접 개발하여 현재는 별도 Branch化하여 개발 중

■ Open Eco-system 활동

– Druid 사용자 모임(meetup) 한국 Host

– Druid github, google groups 에 의견 개진및 코드 기여 (300+)

■ 오픈 소스 단순 사용이 아닌 핵심 기능, 성능 향상 등 직접 개발 (별도 Branch)

– 데이터 소스간 Join

– 검색 기능 (Lucene index, Spatial index)

– 쿼리 확장 (Sketch query)

– Query 통계 기능

– Window functions

– Virtual column map type

– Multi-valued metric

– …

실시간과 배치 모두를 지원해 배치 분석 뿐 아니라 실시간 처리 가능

시간에따라 in-memory, local-storage, deep storage로데이터가이관되어 TB 이상의대용량데이터지원

각각의기능(질의처리, 저장, 색인)은별도의서버로분리가능하여사용량증가시에도 Scale out 가능

34

주요 특징 - Notebook/Model Manager (외부 연동)

Metataron은 고급 분석을 위한 분석 도구 연동 지원 (현재 Jupyter 통한 R, Python 연계)

Jupyter에서 metataron에 저장된 데이터를 활용하여 분석하고, 개발한 분석 코드 및 실행 결과는 타인과 공유

(공유를 위해 Jupyter 분석 코드는 metatron API를 이용해 Model Manager에 등록되어 최신 데이터 연동)

REST 기반의 API 를통해사용자정의 UI 개발가능

DruidDataSources

Spark ML

InputData

OutputData

분석 API

REST API

모델 등록(모델 공유시)

분석 코드/모델 3rd Party 코드

(저장/처리)

모델 API

3rd Party UI

metatron UI

Embedded 모델

ModelManager

시각화 API

(Machine Learning 알고리즘 실행 환경)

API Layer

자체 개발 Lib Spark

Polaris

Visualization

Polaris

3rd Party 코드 (Tool 연계)

metatron 제공 모델

분석

Spark MLDataPreparation(전처리/ETL)

Roadmap

metatron

36

Roadmap

V1.0 (~‘16.4Q) V2.0 (~’17.4Q) V3.0 (~’18.4Q)

Enhanced FunctionsEnd-to-end FunctionsCore Functions

• UX 2.0• Embedded Analytics

(Trend, Prediction, Clustering)

• Analytic Support (Jupyter)

• Data Management (Lineage & Job Log)

• Data Preparation

• Chart• Dashboard• User/Group Management• Data Source Management• Workbench

• Data management (Auto-MDM)

• Search-based Discovery• Vertical-specific Functions• Realtime Functions• Map Chart • Open Source Project

Instant Messaging

Mobile Support

Docker

Charging

High Availability

Cloud Support

Short-termRoadmap

Anomaly Detection

Contents-based Analytics

Predictive/Prescriptive

Enhanced Analytics (ML/AI) CollaborationLong-termRoadmap

’19 ~ ‘21

37

Roadmap – Automated MDM (Meta-Data Management)

Hive, Presto 중심의 Meta 정보 관리

Event Hook 기반의 SQL 모니터링을 통해 Meta 정보의 자동 업데이트 반영

향후 Advanced Search-based Discovery 에 활용

38

Roadmap – Open source project

https://metatron.app

7월경 오픈소스화 예정

39

About us

Join us