050913 실시간 정보전달 방안과 구현 사례 나정옥2005/09/29 · 실시간etl...
TRANSCRIPT
목 차
§ DW 구축을위한 ETL 개요
§ Oracle의실시간 ETL 솔루션- Streams vs. Materialized View
§ 실시간 ETL 기반의정보전달구현사례- Streams 기반의 구현 사례
- Materialized View 기반의 구현 사례
§ 맺음말
DW 구축을위한 ETL 개요q ETL(Extraction, Transformation and Loading )
초기초기 Data LoadingData Loading 개념도개념도
• ETL은 소스시스템에서 데이터를 추출하여 정제, 변형 작업을 거쳐서 이를 데이터 웨어하우스로 적재하는 과정
• Extraction(추출), Transformation(변형), Loading(적재)의 약자
• 소스시스템의 데이터를 데이터 웨어하우스로 Load 하는 것
• 업무 DB 로 부터 정보를 추출하여 정제, 변형, 검증 과정을 거쳐 정보 DB에 적재하는 기능을 총칭
• ETL 개념은 단순하지만, 실제 ETL 구현에는 많은 노력 및 투자가 필요
• 대체적으로 전체 데이터 웨어하우징 구축 노력의 50% 이상이 ETL에 소요
• 데이터 로드의 주기, 데이터의 양, 데이터 변환의 정도, 로드 속도, 비용, 소스시스템의 업무마감 형태등에 따라 ETL의 방식이 달라짐
ETLETL
소스 시스템 데이터웨어하우스정제,변형
ETL
추출, 전송 적재
전통적인 ETL 프로세스
Flat Files
Load into staging tables
Validate Data Transform Data
Merge into Warehouse
Tables
Staging Table1
Staging Table2
Staging Table3 Warehouse Table
Insert and Update
Oracle의 ETLq 저장공간의 획기적축소
– Flat file 그대로 사용
q 작업 step의간편성
External Tables
ExternalTable
Flat Files
UPSERT
Table Functions
Validate Data+
Transform Data
Merge into Warehouse Tables
Warehouse Table
Oracle의 ETLq 보다빠르고, 확장성있는 ETL 기능
Extract
Change Data Capture
External Tables
SQL*Loader
Data Pump
Transportable Tablespaces
Multi-Table Insert
MERGE
Distributed Queries
Table Functions
Load Transform Insert
OLTPDB
Archivedlogfiles
Logical Change
DataBased on Streams
DWTables
SQL, PL/SQL,Java
Transform
§ SQL*Loader -> SAM파일 적재/병렬적재
§ Transportable Tablespace -> 이동가능한 테이블 스페이스
§ Data Pump -> 향상된 exp/imp 기능
§ Change Data Capture -> 변경된 데이터의 Capture
§ Streams -> Asynchronous CDC
§ Distributed Queries -> DB*Link 사용하여 분산환경 Query
§ Materialized View -> 질의 성능향상과 데이터 복제 기반 기술
§ External Table -> Flat File을 DBMS 테이블처럼 인식
§ Table Function -> Input으로 Cursor를 받아서, 집합row를 출력
§ Multi-Table Insert -> 다중 Insert 구분
§ Merge -> 존재하면 Update/없으면Insert 한SQL로 구현
Materialized View
Streams
기존시스템과의원활한인터페이스
q Oracle to Oracle 인터페이스Target Database ServerSource Database Server
Table-A
Tablespace-T
Tab-X Tab-Y Tab-Z
외부테이블-E
Table-B
DBMS
Table-A
Tablespace-T
Tab-X Tab-Y Tab-Z
Table-B
DBMS
RedoLog File
Table-E
BufferCache
RedoBuffer
BufferCache
RedoBuffer
*Streams
Async방식: Redo Log사용(변경데이터)
*Materialized View(Snap Shot) 또는*Replication
*CDC(Change Data Capture)
Sync방식: Internal Trigger사용(변경 데이터)
*Transportable Tablespace
O/S 데이터파일 COPY만으로 DB에 데이터전송
*External Table
O/S 상의 파일을 DB테이블로 인식
기존시스템과의원활한인터페이스
q 타시스템인터페이스
–오라클에서는 오라클로운영되고있는 기존운영시스템들과의인터페이스를위해오라클분산 데이터베이스 링크 기능을 제공하고 있습니다. 또한타 데이터베이스를사용하고 있는기존 운영시스템들과의 인터페이스를 위해서 오라클 Transparent Gateway 제품을제공하고있습니다.
IBM
호기
IBMIBM
External Disk Array
Unix ServerOracle10gOracle
OracleOracle
DB2
Sybase
Tera Data
DB LINK
GATEWAY
SAMFILE
Informix
q오라클 Transparent Gateway Solution¬ Transparent Gateway for DB2¬ Transparent Gateway for DB2/400¬ Transparent Gateway for DRDA¬ Transparent Gateway for EDA/SQL¬ Transparent Gateway for Informix¬ Transparent Gateway for Ingress¬ Transparent Gateway for Sybase¬ Transparent Gateway for Image/SQL -
TurboImage¬ Transparent Gateway for Oracle Rdb¬ Transparent Gateway for RMS¬ Transparent Gateway for Teradata¬ Transparent Gateway for Microsoft
SQL Server
기존시스템과의원활한인터페이스
q Mainframe과의인터페이스– Oracle Warehouse Builder(ETL Tool) 의 Oracle
Pure Extract는 Mainframe Data로 부터 대량의Data를 Oracle로 전송하기 위한 S/W
– IMS, DB2, VSAM, sequential file 지원 (OS/390, MVS)ü 관계형, multi-record structured 와 hierarchical file 지원
– Data Warehouse, Data Mart, ODS, 일반Application Migration에 사용됨.
– Meta data 기반의개발방법론채택으로 다른Meta Data와의 공유 (ANSI 표준의관계형 Model로저장)
–유일한 single-pass architecture
Mainframe
IBM
호기
IBMIBMIBM
호기
IBMIBMIBM
호기
IBMIBM
Oracle
Oracle Pure
Extract
목 차
§ DW 구축을위한 ETL 개요
§ Oracle의실시간 ETL 솔루션- Streams vs. Materialized View
§ 실시간 ETL 기반의정보전달구현사례- Streams 기반의 구현 사례
- Materialized View 기반의 구현 사례
§ 맺음말
Streams 개요
q Oracle9i R2에서부터소개된 Stream은새로운정보-통합기능으로서 Oracle Log Miner를기반으로작동
q 데이터베이스에발생한변경데이터를포착하고, 이변경작업을이벤트(Events)로하여이러한변경정보를요구하는목적지로전파하는비동기적방식의데이터공유기능
q Stream이제공하는기능–백그라운드 캡처프로세스를설정
ü 데이터베이스에 수행된 테이블,스키마에 대한 변경된 정보를 리두 로그로부터 논리 변경레코드(Logical Change Record)로 표현
–큐에 변경에 관련된 이벤트를집어넣는 과정(Enqueue) 작업을 수행
–큐는 원격지 데이터터베이스의 큐와 통신하여 소스 시스템의이벤트를 전파
–백그라운드 적용프로세스(Apply Process)ü 목적지 큐에 저장된 이벤트를 큐에서 꺼내는 작업(Dequeue)을 수행하고, LCR을 데이터베이스에 적용
Streams 구성q Capture
– Oracle 로그마이너(LogMiner)를 활용한 로그기반변경캡처를지원–아카이브로그파일 뿐만 아니라, 온라인 리두 로그를 분석하여변경된 데이터를 추적 관리
q Staging–일반 변경데이터가 포착되면이에해당하는이벤트는 Staging 영역의 큐(Queue)에 저장됨
–논리 변경레코드(Logical Change Record,LCR)로 형태로 되며, 이를소비자(Subscribe)가소비할 때까지 Staging Area에 저장
q Consumption– Staging 영역의 메시지는적용엔진에 의해소비되는 데이터베이스에 적용
ConsumptionConsumptionStagingStagingCaptureCapture
Streams 구성q 원격데이터베이스간의 Streams 설정예
Queue
-----
LCR
LCR
사용자 메시지
LCR
….
캡쳐
프로세스
소스 오라클 데이터베이스
(서울)
데이터베이스객체
리두로그
변경 정보
변경 정보
Queue
-----
LCR
LCR
사용자 메시지
LCR
….
적용
프로세스
목표 오라클 데이터베이스
(부산)
데이터베이스객체
변경 정보
LCR 또는
메시지
DDL/DML/메시지
처리기
이벤트 전파
DML/DDL
q 복제환경에서의 MV–하나의 사이트에서 발생한 변경 데이터를 로컬 데이터베이스에저장한 후, 다른사이트로변경된 데이터를전파하는 기능을제공
– Oracle 8i 이전에 스냇샵(Snapshot)으로 Oracle의대표적인 데이터 복제 기능– Oracle 8i 이후부터데이터웨어하우스의 요약 관리 기능인 Masterialized View와 통합
q MV를사용하는이유–복제나 분산 환경에서가장중요한네트워크의 부하 감소가 목적
ü 전체 하나의 데이터베이스가 아닌 다중의 데이터베이스 서버에 사용자들을 분산시킴
–데이터 보안 및관리
ü MV는 컬럼의 부분 집합 또는 로우의 부분 집합을 기반으로 생성 가능ü 각 사이트별로 서로 다른 데이터의 집합을 가지는 것이 가능
–데이터 조회 성능의 향상 및안정성
ü MV는 전용 네트워크 연결을 필요로 하지 않음ü 질의 수행을 로컬에서 수행하므로 질의 부하의 분산
ü 네트워크 장애에 대해서 영향을 받지 않고 데이터를 조회
– DBA 관리 작업의 감소ü MV 데이터의 갱신은 스케쥴링을 통해서 DBMS에서 자동으로 관리ü 경우에 따라 DBA가 수작업을 통해 갱신 가능
Materialized View 개요
Materialized View 개요q MV의갱신옵션
–신속한 갱신(Fast Refresh)ü MV 로그를 이용해서 최근 갱신 이후에 변경된 로우만을 갱신함
–완전한 갱신(Complete Refresh)ü 전체 MV를 갱신함
–강제적 갱신(Force Refresh)ü 가능할 경우에 신속한 갱신을 하고, Fast Refresh가 가능하지 않을 경우에 완전한 갱신을 수행함
q 갱신그룹(Refresh Group)–트랜잭션관점에서 MV가서로다른 MV와 일관성을가져야될 경우
–갱신 그룹을 갱신하게되면이 갱신 그룹에속하는 모든 MV는 특정시간에 트랜잭션관점의동일한 일관성을제공
q MV 로그(Materialized View Log)– MV 로그는소스 테이블의변경된 DML에 대한 데이터를저장관리
–타켓 시스템에서변경된 데이터를추출한 뒤에는삭제
–신속한 갱신을위해서는 소스시스템의 테이블에 MV 로그테이블이존재해야함
Materialized View 구성q 복제환경구성예
MasterTable
Materialized view
Materialized view
MasterMaterialized
view
고급 복제 기능
SELECT…FROM...
network
Master 테이블
MV log
Materialized View
MV 로그를 이용한 신속한 갱신
변경된 데이만 전송
PDF created with pdfFactory Pro trial version www.pdffactory.com
Materialized View 구현q 신속한갱신(Fast Refresh) 복제구현예제
서울
GTSDAT MV_GTSDAT
부산
데이터베이스 링크
seoul.oracle.com
SQL> CREATE MATERIALIZED VIEW
2 RPTOWN.MV_GTSDAT
3 PCTFREE 5 TABLESPACE USERS
4 STORAGE (INITIAL 10K NEXT 10K)
5 REFRESH FAST
6 AS SELECT *
7 FROM
SQL> CREATE MATERIALIZED VIEW LOG
2 ON RPTOWN.GTSDAT
3 WITH PRIMARY KEY
4 PCTFREE 5 TABLESPACE USERS
5 STORAGE (INITIAL 10K NEXT 10K);
Streams vs. MViewq Streams 와 Mview의차이점비교
§소스 Table에 CDC 를위한 M_Log를만들어사용하기때문에최소한의Overhead 있음
§소스테이블에 Overhead 없음소스 DBMS Overhead
기타
성능
리소스사용
소스 to 타겟Sync 방식
항목
§Refresh에종속적§Trigger와 DB * Link를통한부하
§Queue에서 Dequeue 후 LCR 변환과정에대한 Overhead
§ETL 정합성검증을위한 TRIGGER를작동해야되므로, Target 쪽에부하를줌
§Event Handler를통한평균적용시간에대한테스트수행필요
§Mview 사용을위한추가적인시스템리소스할당없음
§소스시스템의 CPU 자원사용§SGA의 10% 메모리할당받아사용
§Pulling 방식-타겟에서 변경 데이터 분에 대한 Internal Trigger와 DB Link를 통한 Load
§Push 방식-소스에서 Queue를 통한 Tx Push 방식
MViewStreams
목 차
§ DW 구축을위한 ETL 개요
§ Oracle의실시간 ETL 솔루션- Streams vs. Materialized View
§ 실시간 ETL 기반의정보전달구현사례- Streams 기반의 구현 사례
- Materialized View 기반의 구현 사례
§ 맺음말
구구 매매
환경환경//에너지에너지
재무재무//자금자금
노노 무무
설비설비//투자투자
기기 술술
판판 매매 원가원가//수익성수익성
출자사출자사 인인 사사
생생 산산
물물 류류
품품 질질
출출 하하
ABMABM구축
내용
전사 공통 핵심 업무영역 일반관리 전 부문으로 확대 MES 관련 업무영역
단계 1기1기 2기2기 MESMES
A사 DW의 특징
Ø부서별 상이한 지표명, 산출기준 및 관리 차원을 통합
- MES부문 : 1,154/1,532 종 (75% 통합/표준화)
Ø동일한 기준에 의한 상호 비교 평가를 통해 업무의 상향 평준화를 유도
Ø전 직원이 DW의 사용자
Ø활용 인원 : 매월 평균 2,200명은 항시 사용 (주활용 인원의 61%)
Ø동시 접속자수 : 60명 (MES기준)
Ø보증된 데이터를 기반으로 ABM(원가),SCP(계획),BSC(성과) 정보의 자동 연결
2001.7 2003.02 현재
Streams 기반의구현사례 – A사
ETT
ODS
DW
OLAPServer
OLAPServer
Load Balancer (L4 Switch)
사내 사용자
(서울, 지방사업장)
S C P
E R P
M E S
조업해석
시스템구성A사사례
OLAPServer
PortalServer
DW ServerDW Server운영운영 시스템시스템
Source to Target 실시간 ETL 구성A사사례
Redo Log 기반의
실시간변경데이터전달
<SOURCE> <TARGET>
AIXHP-UX
TARGETSOURCE
13개월누적치보관3개월보관
1.2 T Data size400G Data size
Report 업무 처리 및 ODS 시스템OLTP 업무 처리
분석시스템생산시스템
Single node, Oracle 10g(10.1.0.3) 2 node RAC, Oracle 10g(10.1.0.3)
Streams 사용현황q Streams 적용현황
– One Way 방식으로 사용
– Data Conflict 문제 없음
– 변환작업
ü Data 변환의 경우 apply handler 이용
ü Apply 시 parallelism 적용 가능
평상시 : 4.5 G , Peak 시 : 18 GStreams 대상 용량
Peak 시 트랜잭션 (마감시등)
평상시 트랜잭션
테이블
항목
400개 대상전체 1000개
300만건/일 (38건/초)2800만건/일
1200만건/일 (138건/초)7000만건/일
Streams 적용 대상전체
Redo Log 기반의
실시간변경데이터전달
<SOURCE> <TARGET>
A사사례
Streams 구현사례 – B사q 각종산업통계작성의근간이되는사업체·기업체모집단 DB 구축q 정확한통계정보생산을위해운영시스템과 DW 시스템간의실시간데이터동기화필요
프로젝트 목적
§시시각각 빠르고다양하게 변화하는우리나라 산업구조 및실태에 대한 보다 빠르고정확한 통계작성 필요
구축 범위
§사업체·기업체 모집단DB 통합시스템 구축
-사업체기초통계 DB-광업·제조업통계 DB-사업체 모집단 DB-기업체 모집단 DB
사업체/기업체모집단DW
Source to Target 실시간 ETL 구성
Redo Log 기반의
실시간변경데이터전달
<SOURCE> <TARGET>
TARGETSOURCE
Data 계속 누적1년 치 Data 보관
500G Data size100G Data size
Report 업무 처리 및 ODS 시스템OLTP 업무 처리
Data 분석 SystemData 수집 System
Single node, Oracle 9.2.0.5Single node, Oracle 9.2.0.5
AIXAIX
B사사례
Streams 사용현황q Streams 적용현황
– One Way 방식으로사용– Data Conflict 문제 없음
–변환작업없음
Peak 시 트랜잭션 (마감시 등)
평상시 트랜잭션
테이블
항목
16개 ( 각 테이블약 3500만건 )전체 300개
3만건/일6만건/일
5만건/일9만건/일
Streams 적용 대상전체
Redo Log 기반의
실시간변경데이터전달
<SOURCE> <TARGET>
B사사례
기대효과
q 통합시스템을이용하여각통계조사결과를쉽고빠르고정확하게이용가능
q 각통계조사간결과비교분석가능
q 통계조사결과의정확성제고에기여
q 각각의통계조사목적에적합한표본사업체를추출하는등업무에획기적인개선
효과기대
B사사례
MView기반의구현사례 – C사
구축 목적
• 생산데이터와 엔지니어링 데
이터의 통합모델의 구현
• 생산정보 표준화 및 KPI 도출
• 생산의 Tracking/Report 데이
터의 동기화
• 실시간 요약정보 및 대용량 데
이터처리
구축 전략
• Performance 향상을 위한 최
적 솔루션 제시
- 대용량처리 Logic 적용
• 생산의 Tracking과 Trace중
점의 데이터 모델링과 수집
• 기술감리를 통한 정합성 및
확장성 검증
DW &BI Portal
Report
Report
M-view
Production Legacy Data Warehouse 실적관리 Monitoring
WIP
생산
OPRPRP
EQP
MDL
WIP
GlassItemData
DefectImage좌표
설비ItemData
Engineering Data
추출
W I P _ A S S E M B L E# GLASSID# TXNSEQo EVENTTIM Eo M ATGLASSIDo M ATPRODUCTIDo M ATQTYo M ATTYPEo LASTM ODIFIED
W I P _ G L A S S
# G LASSI Do STARTTI M Eo STARTQ TYo G LASSTYPEo BO XI Do CUSTO M ERI Do LI NEI Do I NLI NEI Do LASTM O DI FI ED
W I P
# G LASSI Do TXNSEQo TKI NSEQo BATCHI Do EVENTTI M Eo ACTI VI TYo G LASSPRO CI NG STATEo CELLQ TYo PRO DUCTI O NTYPEo LI NEI Do TKI NTI M Eo PRETKO UTTI M Eo USERI Do PRO DUCTI Do EQ PI Do PPI Do G LASSSTATEo STEPI Do M AI NSTEPI Do PRO CESSI Do STARTTI M Eo REWO RKCNTo REWO RKHI STo STARTQ TYo CUSTO M ERI Do G LASSTYPEo CO M M ENTDESCo PRO CSTARTTI M Eo PRO CENDTI M Eo G RADEo CASSETTEI Do BO XI Do I NLI NEI Do EVENTQ TYo EVENTSTATUSo EVENTVALUEo RESERVEDG LASSI Do LASTM O DI FI ED
W I P _ T R A C E# GLASSID# TXNSEQ# EQPUNITID# EVENTTIM Eo LASTM ODIFIED
S T D _ D A I L Y _ I N O U T _ P L A N# PLAN_YEAR# PLAN_M ONTH# PLAN_DAY# SHIFT_TYPE# INOUT_TYPEo PROCESSIDo PRODUCTIDo PRODUCTIONTYPEo AREAIDo DAY_Co DAY_S
W I P _ E V E N T# GLASSID# TXNSEQo TKINSEQo BATCHID# EVENTTIM Eo ACTIVITYo GLASSPROCINGSTATEo CELLQTYo PRODUCTIONTYPEo TKINTIM Eo PRETKOUTTIM Eo USERIDo PRODUCTIDo EQPIDo PPIDo GLASSSTATEo STEPIDo M AINSTEPIDo PROCESSIDo REWORKCNTo REWORKHISTo GLASSTYPEo COM M ENTDESCo PROCSTARTTIM Eo PROCENDTIM Eo GRADEo CASSETTEIDo EVENTQTYo EVENTSTATUSo EVENTVALUEo LASTM ODIFIED
W I P _ S C R A P# GLASSID# TXNSEQ# CELLID# EVENTTIM Eo ACTIVITYo REASONCODEo LASTM ODIFIED
S T D _ P R O D _ G R P# PRODUCTGROUPIDo PRODUCTGROUPDESC
W I P _ M A T C H# GLASSID# TXNSEQo ACTIVITY# EVENTTIM Eo RESERVEDGLASSIDo PAIRGLASSIDo GRADEINFOo PRODUCTIDo CFPRODUCTIDo TWLOTATTRo LASTM ODIFIED
S T D _ A R E A# AREAIDo AREADESCo ORDER
E A S _ R U N _ D A T A# COM PM ASTERKEY# DCSPECKEY* DATAVALUEo LASTM ODIFIED
E A S _ R U N _ D A T A _ S P E C# DCSPECKEYo ITEM SEQo EQPIDo EQPUNITIDo PROCESSIDo STEPIDo DATACLASSo ITEM IDo SUBITEM IDo LASTM ODIFIED
E A S _ C O M P _ M A S T E R# COM PM ASTERKEY* GLASSID* TXNSEQo TKOUTSEQo PROCESSIDo PRODUCTIDo STEPIDo EQPIDo EQPUNITIDo DCOLTIM Eo LASTM ODIFIED
S T D _ C O D E _ G R P# CODEGROUPID# GROUPTYPE# AREAIDo GROUPDESC
S T D _ C O D E# CODEID# TYPE# CODEGROUPID# AREAIDo DESCRIPTION
S T D _ E Q Po SYSIDo PARENTo ADSFLAGo AEGISFLAGo ALIASNAM Eo AREANAM E* ASSET_COM M ON_ID* ASSET_M ASTERo AUTOM ANFLAGo BATCHCOUNTo BAYNAM Eo CREATETIM Eo DESCRIPTION# EQPIDo EQPM ODELo EQPPARTo EQPTYPEo FDCFLAGo FLOORo GLASSTRACE_SWo INTERLOCKTIM Eo LEAD_TIM Eo LOADADSRULENAM Eo LOADPRIORITYo LOC_NAM Eo M AXBATCHo M CUNITIDo M INBATCHo M ODULETYPEo OSSNAM Eo PM CODETABLEo PORTM OVESTATUSo PORTTYPEo PRIM ARYBCIDo REVSTATEo SECONDARYBCIDo SERVERNAM Eo STATEo STATUSo STEQPCAPAo STOCKERGROUPo TACT_TIM Eo TPM CODETABLEo TYPE...
W I P _ C O M P# GLASSID# CELLIDo CELLSTATEo LASTM ODIFIED
S T D _ P R O D# PRODUCTIDo PRODUCTTYPEo PRODUCTDESCo LINEIDo PRODUCTGROUPIDo CELLCNT
S T D _ P R O C _ P L A N# PROCESSID# STEPIDo LAYERIDo AREAIDo GROUPIDo PROCNAM Eo STEPDESCo LINEIDo NEXTSTEPIDo STEPSEQo STEPTYPE
S T D _ P R O C _ P R O D# PRODUCTID# PROCESSIDo REVTIM Eo DESCRIPTIONo L INEID
S T D _ P R O C# PROCESSIDo L INEIDo PROCESSTYPEo PROCESSDESC
.
.
.
.
.
.
.
.
.
.
.
.
. .
.
.
.
.
.
.
.
.
glassid
cellid
.
.
..
.
.
..
..
.
.
.
.
..
. .
.
.
.
.
ODS
생산지표Mart생산지표생산지표
MartMartActivity
SummaryActivityActivity
SummarySummary
StageStageStage SourceSourceSource
OLA
PO
LAP
담당자
설비/물류/위치파악
KPI
추진범위
상황실
실적관리
OperationOperationReportReport
생산관리생산관리((파라메터관리파라메터관리))
실적/조회/이력기준관리
오퍼레이션
BI PortalBI PortalBI Portal
C사사례
추진범위 -상세q DW & BI Portal
−생산지표 분석정보 집계
−ODS로부터 Data 집계를 위한 ETL
−OLAP Report 설계, 구성 및 개발
생산지표분석
−생산 정보에 대한 Shift,Daily 등의 Summary
−ODS 로부터 Data 집계를 위한 ETLActivity Summary
−엔지니어링 및 계측 DB Schema 설계엔지니어링 / 계측
−생산, 엔지니어링 데이터의 집합(정규화)
−ODS 구성을 위한 Data ETLODS
요구사항업무기능
C사사례
시스템구조도C사사례
B nodeA node
SourceSystem
생산
Transform
Analysis and Report Tool
•3rd party
ETLPGM
Activity SummaryODSODS
(Operational (Operational Data Store )Data Store )
생산지표분석
계측 엔지니어링반송
Data Ware-house ETL
ETLETL
End User
Access
OLAP
•Discoverer
Portal•BI (Discoverer)•Report
Report Mart
OLAPMart
성과분석 –기대효과
ODS를 통한 Shift,일 마감 시간 단축 및 생산실적 집계 표준화 구현
TOTO--BEBEASAS--ISIS
시스템마감
생산 생산분석
부서/담당자 별 (Excel)일보 작성: 2시간
생산 ODS
WEB 표준일보 작성
표준화된 일보 조회 및 OLAP 분석: 5분
30분
시스템마감
5분
C사사례
성과분석 – KPI 지표성과분석
지표 분석
분석결과
q From MES Data 생성
To DW Data 집계 : 2-5분
q 일보 작성 및 분석 : 5분
q 시프트, 일마감 시간 :10분현재 운영 시스템 자료
소요시간 약22~37초
(ETL 주기 :
30초)
초당 최대 45 건처리
Stage ⇒ ODS
1시간 장애 복구 시간 : 10분내 복구 가능
복구 시간 :
- 4분 49초
- 2만건 / 초당
580만 건 장애복구 시간
Legacy ⇒Stage
비고성능 결과부하 기준단계
☞ Near Real Time I/F 는 Materialized View를 통해 구현되었음
대용량 시스템의 신속한 생산실적 집계로 User만족도 극대화
C사사례
MView 기반의구현사례 – D사
인터페이스
인터페이스
인터페이스
인터페이스 추가
신단위기간계
시스템
기간시스템(MES)
기간시스템(QMS)
기간시스템(SUM)
q 기존시스템의문제점및이슈
–현재 운영하고있는 기존의데이터는 단위업무 시스템위주로단계적으로 구축
–다양한 정보 요구의 증대에따라각 단위시스템간의 통합 정보 요구의 발생
–각 단위 시스템 간 통합 정보 관리에 많은 비용의 요구 (사용 Resource의 30%가 다른 기간계에의해 사용]
–단위 기간계 간의 운영종속성에따른 장애위험요소의증가
–신규 시스템의추가 시인터페이스의 비용및 성능저하요인발생
데이터 소스
인터페이스 통합데이터저장소(ODS)
단위기간계
시스템
단위기간계시스템
단위기간계
시스템
신단위기간계
시스템
목적별DW & Mart
실시간 동기화실시간 동
기화
인터페이스
인터페이스
q 통합 데이터 저장소(ODS : Operational Data Store)는 각 단위 기간계 시스템의 통합된 데이터의 총
집합 장소로서의 역할을 수행
q 각 단위 기간계 간의 고비용/저효율 인터페이스에 대한 효과적인 해결점 제시
q 향후 신규 단위 시스템이 필요로 하는 정보 제공 및 DW/Mart 등의 데이터 활용 시스템의 데이터
Source로의 역할 수행 가능
q 통합 데이터 저장소(ODS : Operational Data Store)는 각 단위 기간계 시스템의 통합된 데이터의 총
집합 장소로서의 역할을 수행
q 각 단위 기간계 간의 고비용/저효율 인터페이스에 대한 효과적인 해결점 제시
q 향후 신규 단위 시스템이 필요로 하는 정보 제공 및 DW/Mart 등의 데이터 활용 시스템의 데이터
Source로의 역할 수행 가능
통합데이터저장소의필요성및구축전략D사사례
정보시스템
통합전시스템구성도
생산관리 품질관리
EDW
App1App2…
생산통계
Snapshot
ApplicationServer
DB*Link
DB*Link&ETL
D사사례
통합후시스템구성도
ODS(Stage)
생산관리
품질관리
EDW
App1App2…
생산통계
실시간동기화
ApplicationServer
Query실시간동기화
실시간동기화
ETL
D사사례
통합데이터저장소구축효과
q 실시간대응성의확보
–과거 최대 8시간 주기로이루어지던 정보취합 작업을초 단위로 수행–생산 관련모든정보들을 실시간으로 취합하여 처리할 수있음
ü 생산 공정의 수율 향상 및 공정 상황에 대한 실시간 정보 제공
ü 생산 공정관련 정보의 표준화 및 KPI 도출과 제공
q 의사결정의신속성및신뢰성향상
–최신 생산정보의 확보로 인해 생산 관련의사 결정의신속성및 신뢰성이 향상됨
통합 ODS는 향후 기간계 시스템의 Data-Hub로, 응용 시스템의 통합 Data Provider로의 역할 수행 가능
D사사례
맺음말
q 실시간 DW는기업이지향해야할실시간기업(Real-Time Enterprise) 실현을위한가장기본적이고핵심이되는 Infrastructure 이다.
–실시간 기업은 “ 가장 최신(’Up-to-date’) 정보를활용하여 경쟁하는기업 “
–실시간 DW는 Business를 Intelligence하게수행 할수 있도록유용한정보 관리 메커니즘을제공함
q 실시간 DW의핵심은실시간 ETL의지원에있음– ETL(Extract, Transform and Load) : 정보적재를 위한 DW의 기본 작업
– RTE 요구의증대로 정보의 실시간전달 및반영이실시간 DW 구축의핵심 요소로 등장함–오라클은다음과같은실시간 ETL 메커니즘을 제공함ü Streams
ü Materialized Views
–실시간 ETL이 적용된 다양한 구축사례를 통해 실시간 DW 구현의가능성 및효과를입증함
