Data Warehouse

Bruno Estevo RosaCarlos Alberto SilvaDrian Corradi DrumondGuilherme Duarte VieiraSrgio Jos de SousaEmerson Barbosa GonalvesLuiz Carlos de Oliveira JuniorKarinaMauro

Data WarehouseSistemas de Apoio a Deciso Faculdade Pitgoras Campus Divinpolis FACULDADE PITGORAS DATA WAREHOUSECONTEXTO HISTRICOAnos 80: novas tecnologias / Controle dos Sistemas e Dados (disseminao do uso de computadores) / Utilizao dos dados para tomada de Decises (SAD - processo de juntar, estruturar, manipular, armazenar, acessar, apresentar e distribuir informaes).Anos 90: arquitetura de desenvolvimento espontneo (teia de aranha extrao de dados sobre extrao de dados e assim por diante) / ambiente planejado.Tempos Atuais: ambiente planejado e projetado Data Warehouse.

FACULDADE PITGORAS DATA WAREHOUSE

INTRODUOData Warehouse - Armazm / Depsito de Dados - uma estratgia de armazenamento em banco de dados e no um produto, com a finalidade de favorecer relatrios, a anlise de grandes volumes de dados e a obteno de informaes estratgicas que podem facilitar a tomada de decises.

como um agrupamento inteligente de dados de uma mesma fonte, como: origem, formato, nomes, tipo de negcio, regras, conexes entre outros.

Favorece um resultado completo ao usurio, sem a necessidade de executar vrias consultas (relatrios), cruza-las e finalmente chegar a um resultado.

Os Dados ganham dinamismo. FACULDADE PITGORAS DATA WAREHOUSEINTRODUOObjetivo: fornecer uma imagem nica da realidade do negcio.DATA WAREHOUSEEntrada de DadosSada de DadosTratamento de DadosO armazenamento se d num depsito nico, que seja de rpido acesso para as anlises. Tal armazenamento conter dados histricos advindos de bancos de dados transacionais que servem como back end de sistemas como ERPs e CRMs. Entrada de Dados FACULDADE PITGORAS DATA WAREHOUSECARACTERSTICAS

FACULDADE PITGORAS DATA WAREHOUSECARACTERSTICASSempre inserido, nunca excludo.

Posies histricas das atividades no tempo. Integrao de Dados sempre, sem exceo.Dinamismo dos Dados.Segundo Inmon, Data Warehouse uma coleo de dados orientados por assuntos, integrados, variveis com o tempo e no volteis, para dar suporte ao processo de tomada de deciso. FACULDADE PITGORAS DATA WAREHOUSECARACTERSTICASOrientado ao assuntos: Permite montar consultas para cada caracterstica em comum que os dados possam apresentar.

Integrado: como disse J Wang (1998 apud COME, 2001, p. 2) DW o processo pelo qual os dados relacionados de vrios sistemas operacionais so fundidos para proporcionar uma nica e integrada viso de informao de negcios que abrange todas as divises da empresa. Ou seja, o fato de ser integrado torna essa uma das principais caractersticas.

No Voltil: sempre inserindo dados, nunca excluso.

Variante no tempo: todo DW deve manter todos histricos dos dados.

FACULDADE PITGORAS DATA WAREHOUSECARACTERSTICASProduto: O Data Warehouse no um produto e no pode ser comprado como um software de banco de dados. O sistema de Data Warehouse similar ao desenvolvimento de um ERP, ou seja, ele exige anlise do negcio, exige o entendimento do que se quer retirar das informaes.

A linguagem: O sistema de Data Warehouse no pode ser aprendido ou codificado como uma linguagem, suportando diversas linguagens e programaes desde a extrao dos dados at sua apresentao.

Projeto: pode ser pensado como uma srie de projetos menores que convergem para a criao de um nico sistema dinmico.

Modelagem: O sistema de Data Warehouse no somente um modelo de banco de dados e no constitudo por mais de um modelo. Existe o processo todo do sistema de BI/DW que compreende todos os procedimentos de ETL, Cleansing e apresentao das informaes ao usurio final. FACULDADE PITGORAS DATA WAREHOUSEARQUITETURA DE UMA DATA WAREHOUSEDados OperacionaisERPFontes de Dados ExternosReunirRefinarAgregarArmazenarDWHMontagemCamada de Aquisio de InformaoCamada de Armazenamento de InformaoLANDMDMCamada de Entrega de InformaoDep 1Dep 2 FACULDADE PITGORAS DATA WAREHOUSEPOR QUE DATA WAREHOUSING?A informao o bem mais valioso para uma empresa;

Decises precisam ser tomadas rpida e corretamente, usando todos os dados disponveis;

Usurios so experts em negcios, e no profissionais em tecnologia;

A quantidade de dados dobra cada 18 meses, o que afeta o tempo de resposta e a habilidade de compreender seu contedo;

Estratgias de competio - diferencial positivo em relao a concorrncia;

Anlise do perfil do mercado;

integrao do DW com DSS, EIS

FACULDADE PITGORAS DATA WAREHOUSEARMAZENAMENTOO esquema de dados mais utilizado o "Star Schema" (Esquema Estrela), tambm conhecido como Modelagem Multidimensional.

FACULDADE PITGORAS DATA WAREHOUSEMODELAGEM MULTIDIMENSIONAL DE DADOSA modelagem multidimensional visa construir um data warehouse com dimenses conformados e fatos afins com gros os mais prximos possveis.

Esse tipo de modelagem tem dois modelos:

MODELO ESTRELA (STAR SCHEMA).MODELO FLOCO DE NEVE (SNOW FLAKE).

Modelo Estrela: Mais simples de entender, nesse modelo todas as dimenses relacionam-se diretamente com a fato.

Modelo Floco de Neve: Visa normalizar o banco, esse modelo fica mais complicado do analista entender, nele temos dimenses auxiliares. FACULDADE PITGORAS DATA WAREHOUSEMETADADOSO conceito Metadado considerado como sendo os "dados sobre dados.

Um repositrio de metadados uma ferramenta essencial para o gerenciamento de um Data Warehouse no momento de converter dados em informaes para o negcio.

Entre outras coisas, um repositrio de metadados bem construdo deve conter informaes sobre a origem dos dados, regras de transformao, nomes e alias, formatos de dados, etc.

Ou seja, esse "dicionrio" deve conter muito mais do que as descries de colunas e tabelas: deve conter informaes que adicionem valor aos dados. FACULDADE PITGORAS DATA WAREHOUSEDATA MARTSO Data Warehouse normalmente acedido atravs de Data Marts, que so pontos especficos de acesso subconjuntos do Data Warehouse.

Os Data Marts so construdos para responder provveis perguntas de um tipo especfico de usurio.

Extraem e ajustam pores de DW aos requisitos especficos de grupos/departamentos.

Por exemplo: um Data Mart financeiro poderia armazenar informaes consolidadas dia-a-dia para um usurio gerencial e em periodicidades maiores (semana, ms, ano) para um usurio no nvel da diretoria.

Um Data Mart pode ser composto por um ou mais cubos de dados. Hoje em dia, os conceitos de Data Warehouse e Data Mart fazem parte de um conceito muito maior chamado de Corporate Performance Management. FACULDADE PITGORAS DATA WAREHOUSEDATA MARTSDWHDMDMDMConsultas RelatriosAnlise Multidimensional OLAPData MiningData Mart: so subconjuntos departamentais focados em assuntos selecionados.OLAP: On Line Analytical Processing. Suportam anlises sofisticadas, atendem um nmero de dimenses elevados e permitem a anlise do negcio a partir de grandes conjuntos de dados.TempoProdutoGeografiaTodas as vendas realizadas em cada regio geogrfica para cada tipo de produto. FACULDADE PITGORAS DATA WAREHOUSEOLAP x OLTP

OLTP: On-line Transaction Processing.

OLAP: On-line Analytical Processing. FACULDADE PITGORAS DATA WAREHOUSEOLAP x OLTPOLTP: caracterizado porum grande nmero decurtastransaes on- line(INSERT,UPDATE, DELETE).Realiza rpidas consultas, mantendoa integridade dos dadosemambientes multi-acessoe suaeficcia medida pelonmero detransaes por segundo.

OLAP: caracterizado porum volume relativamente baixo detransaes.As consultas so frequentemente muitocomplexas e envolvemagregaes.Para os sistemasOLAPum tempo de resposta uma medida deeficcia.AplicaesOLAPso amplamente utilizadas portcnicas de Data Mining alm de serem multi-dimensionais do tipoesquema. FACULDADE PITGORAS DATA WAREHOUSEPerguntas?