Maintaining data warehouses

Technologies

Maintaining

data warehouses

using

‘hot’ technologies

Rien Matthijsse

Introductie

Specialisatie: Data warehouses

Introductie

Maintaining ( data warehouses using ‘hot’ technologies )

( Maintaining data warehouses ) using ‘hot’ technologies

Hot technologies

Maintaining ( data warehouses using ‘hot’ technologies )

Hot technologies

Datavault

Hot technologies

Genereren

c.q.

Automation

Hot technologies

Houston,

we’ve

got it !!

Source: Next generation DWH modeling, BI podium, 2013-06-06

The holy Grail

Hot technologies

Oeps,

andere

presentatie

Hot technologies

Hot technologies

Hot technologies

Het moet

wel beheerd

(kunnen)

worden.

DWH management

DWH management

Release X

Resources

Time

DWH management

Release X

Resources

Time

DWH management

Release X

$$$

Time

DWH management

DWH management

Perspectief:

Onderhouden

DWH management

Beheersbaar

DWH management

Onderhoudbaar

DWH management

Eenduidig

DWH management

Transparant

DWH management

Overdraagbaar

DWH management

Beheersbaar

Onderhoudbaar

Eenduidig

Transparant

Overdraagbaar

DWH management

Beheersbaar

Onderhoudbaar

Eenduidig

Transparant

Overdraagbaar

DWH management

Standaarden

Richtlijnen

Methodologie

DWH management

Theorie

in

aantocht

B

A

C

D

DWH management

Proces afhankelijkheden

In hiërarchie plaatsen

proces proces proces proces

proces proces proces

proces proces proces

proces

Level 1

Level 2

Level 3

Level 4

DWH management

Proces afhankelijkheden

Als Datavault

proces proces proces

proces proces

proces proces

Refs

Hubs

Links

Sats procesprocesproces proces

proces

DWH management

Proces afhankelijkheden

Refs

CheckVerwerkingstarten

MarkeerRefsOK

Hubs

CheckRefsOK

MarkeerHubsOK

Links

CheckHubsOK

MarkeerLinksOK

SatsCheckLinksOK

MarkeerVerwerkingOK

DWH management

Mijlpalen

BRON

STAGEIN

Refs

Hubs

Links

Sats

SV

Refs

Hubs

Links

Sats

BV

Refs

Hubs

Links

Sats

Pres

Lvl 1

Lvl 2

Lvl 3

SI.BRON.DONE SV.BRON.DONE

SI.BRON.DONE?

BV.BRON.DONE PRES.BRON.DONE

SV.BRON.DONE?

BV.BRON.DONE?

SI.BRON.RDY ?

DWH management

Bron A

Bron B

Bron C

Bron N

STAGEIN SV BV PRES

SI.BRONA.RDY SI.BRONA.DONE

Spoorboekje SV.BRONA.DONE

&

SV.BRONB.DONE

DWH management

DWH management

Beheer

Data

Kwaliteit

Controle

DWH management

DWH management

Syntax

Sematics

Logic

Uitdaging: veranderingen door de tijd

DWH management

Focus: Data verwerkbaar in DWH

Yes

No

OkValideerPrepare Exitproces

Validatie Engine

‘VAL.SV.BNK.USR’ Resultaat

Centralerepository

VAL.SV.BNK.USR:Tabel = Users

1) Veld a must_be: ‘m’, ‘v’2) Veld b may_not_be null3) Veld c must_be 1-n reference to …4) #rows must_be within 10% of prev

#rows5) … … … …

DWH management

Deployment

DWH management

DWH management

OTAP

DWH management

Parameters

DWH management

En:

• Process characteristics

– Restartable

• Standard logging

– Messaging

– Escalation

• Suspension of execution

– wait for milestone

DWH management

Beheersbaar

Onderhoudbaar

Eenduidig

Transparant

Overdraagbaar

DWH management

Einde

theorie

Hot technology

( Maintaining data warehouses ) using ‘hot’ technologies

iWHAT

Information

Ware House

Administration

Toolkithttp://www.iwhat.nl

iWHAT

Beheerbaar!

Starts with design

iWHAT

Beheersbaar

Onderhoudbaar

Eenduidig

Transparant

Overdraagbaar

iWHAT

RDBMS

Webserver

Data Warehouse

Users

Administrators

CMA DQ DOM

Data Warehouse platform

FE

API/interface

iWHAT

architectuur

iWHAT

iWHAT

iWHAT

iWHAT

iWHAT

iWHAT

iWHAT

Beheersbaar

Onderhoudbaar

Eenduidig

Transparant

Overdraagbaar

Dank voor u belangstelling

Rien Matthijsse