ix congresso brasileiro de informática em saúde cbis'2004 unifesp departamento de...
TRANSCRIPT
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Projeto de um Data Warehouse para a
Saúde Pública
Ricardo S. Santos - DIS/Unifesp
Marco Antônio Gutierrez - INCOR
Sérgio Furuie - INCOR
Umberto Tachinardi - SES-SP
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
AGENDA
• Introdução
• A proposta do projeto
• Metodologia e Estratégia de Desenvolvimento
• A carga dos Dados
• A exibição da Informação
• Resultados e Discussão
• Conclusões
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Introdução
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
OBJETIVO
O objetivo deste trabalho é apresentar um projeto de implementação de um Data Warehouse (DW) destinado à gestão da saúde pública.
O DW pretende suprir a Secretaria de Estado de Saúde de São Paulo (SES-SP) com informação gerencial obtida através da integração de dados provenientes de diversas fontes isoladas.
KDD – Knowledge Discovering in Databases
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
BD1 BD2 BD3
Processo de Carga(Ferramentas ETL)
DW
Acesso aos Dados(Ferramentas OLAP)
Metadados
Dados Operacionais
Consultas/Relatórios Gerenciais
Plataforma que contém os dados da
organização, centralizados e organizados de
forma que usuários, de maneira muito simples, possam extrair relatórios
analíticos, complexos, contendo
informações gerenciais para apoio à decisão.(Shams, 2001).
DEFINIÇÕES
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Data Sources
Operational DBs
other
sources
Analysis
Query
Reports
Data mining
Front-End ToolsOLAP Engine
Serve
OLAP Server
Data
Warehouse
Extract
Transform
Load
Refresh
Metadata
Data Marts
Data Storage
Contexto do DW
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
DEFINIÇÕES
• Metadados: Dados a respeito de dados
Descrevem completamente os dados (bases) que representam, permitindo ao usuário decidir sobre a utilização desses dados da melhor forma possível.
Um item de um metadado pode dizer do que se trata aquele dado, geralmente uma informação inteligível por um computador.
Os metadados facilitam o entendimento dos relacionamentos e a utilidade das informações dos dados.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
DEFINIÇÕES
• Ferramentas ETLETL - Extração, Transformação e Carga de Dados
O ETL ou ETT (Extração, Transformação e Transporte)
Parte do Data Warehouse responsável por ler os dados do sistema origem, Tratar, Limpar, Transformar e Carregar esses dados no Data Warehouse.
Uma das fases mais criticas de um Data Warehouse: envolve a movimentação dos dados.
Poderosa fonte de geração de metadados, e que contribuem muito para a produtividade da equipe de TI.
• 1. definir fontes de dados e fazer a extração deles
• 2. transformar e limpar os dados, padronizar (reduzir inconsistência e lixo)
• 3. integrar todas fontes de dados num único banco (garantir integridade dos dados)
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
DEFINIÇÕES
• Ferramentas OLAP - On-line Analytical Processing
• Voltadas para o suporte à decisão.• para acesso e manipulação de grandes depósitos de dados;• integração de informações provenientes de fontes diversas• software que permite analisar e visualizar dados corporativos
de forma rápida, consistente e principalmente interativa• permitem análises estatísticas sofisticadas e simulação
eficiente de novas associações entre os dados.• espaço multidimensional, onde cada eixo representa uma
dimensão e os pontos neste espaço com um valor medido correspondente a interseção dos elementos correspondentes em dada dimensão .
• ferramenta de Business Inteligente utilizada para apoiar as empresas na análise ad-hoc de suas informações, visando obter novos conhecimentos que são empregados na tomada de decisão.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Termos do Olap
Dimensões Cubo
Hierarquia:
1. Geografia
2. País
3. Estado
4. Cidade
5. Etc...
Membros
Medidas:
É representada por uma dimensãoespecial utilizada para realizar comparações.
Inclui membros como:
custos, lucros ou taxas.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
DEFINIÇÕES
• Data mining
• estudo comportamental dos dados
• vinculado à disciplinas como redes neurais, inteligência artificial e lógica nebulosa
• Objetivo: fazer modelos de previsão e apresentar tendências e relações ocultas entre os dados
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
EXEMPLOS DE FERRAMENTAS COMERCIAIS
• Ferramentas ETL• DTS (Data Transformation Service)• Data Stage, ETI, Acta e Sagent• Cognos Business Intelligence Platform• MicroStrategy; 7i Platform; Aplix
• Ferramentas OLAP• OLAP Option, da Oracle
• Analysis Services, da Microsoft.
• DSS MicroStrategy
• Maestro• Ferramentas Data mining
• SAS Enterprise Miner • IBM Intelligent Miner • Oracle Darwin Data Mining Software
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
A Proposta do Projeto
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
SIA SIH IEV IEP PS MAT
DWSESSP
Carga
Front-End
Coordena-dorias
DiretoriasRegionais
GestoresMunicípio
XLSDOC
WEB
DATASUS
ESCOPO DO PROJETO
As fontes de dados correspondem às bases de dados provenientes dos sistemas do DATASUS, além de planilhas e documentos internos.
As informações produzidas devem atender aos gestores municipais, diretores regionais e os coordenadores.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Metodologia e Estratégia de
Desenvolvimento
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
METODOLOGIA INMON
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
METODOLOGIA PROPOSTA
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
RelatóriosRelatórios/ Consultas/ Consultas
BD BD DimensionalDimensional
BD BD RelacionalRelacional
Arquivos SUSArquivos SUS
ESTRATÉGIA PROPOSTA
A estratégia adotada é a criação de um banco de dados relacional (operacional) além do dimensional. O principal motivo é manter os dados fontes em um meio mais seguro.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
FERRAMENTAS UTILIZADAS
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
O processo de Carga
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
ETAPAS DA CARGA
Na primeira fase os dados dos sistemas fontes (DATASUS) são carregados em um banco relacional, e posteriormente, são transportados para o banco dimensional.
RelatóriosRelatórios/ Consultas/ Consultas
BD BD DimensionalDimensional
BD BD RelacionalRelacional
Arquivos SUSArquivos SUS
Oracle Warehouse Buider
Ferramenta Desenvolvida
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
FERRAMENTA DESENVOLVIDA
Efetua Download, compara e atualiza a estrutura, verifica conteúdo e unifica movimentos.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
A exibição da Informação
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
- Cadastramento das descrições dos dados e das regras de negócio no metadados.
- Desenvolvimento de relatórios e consultas pré-definidos para atender os principais requisitos.
FERRAMENTA OLAP
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Resultados e Discussão
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
STATUS DO PROJETO
• Fase final de implementação do primeiro módulo (SAI - Sistemas de Informações Ambulatoriais).
• Considerando apenas o módulo SIA, o volume mensal de dados para serem carregados no DW é de 1.800.000 registros, que corresponde a aproximadamente a 211 Mb. Acrescentando as tabelas auxiliares, este número aproxima-se de 250 Mb. Isto corresponde a 2,9 Gb por ano.
•Os tempos para o processo de carga estão plenamente satisfatórios, mesmo sendo realizados os testes de performance em um ambiente muito inferior ao ambiente de produção. (Primeira fase = 2 Horas, Segunda fase = 10 Minutos)
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
DESAFIOS E AÇOES ADOTADAS
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Conclusões
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
• O estágio atual do projeto, mostra um resultado positivo que supera as expectativas iniciais e encoraja a implementação dos demais módulos.
• O projeto foi desenvolvido utilizando um conjunto de ferramentas robustas e adotando metodologia adequada para garantir o sucesso do empreendimento.
• Os fatores mensuráveis apresentaram números positivos. O volume de dados é razoável, comparado a outros projetos, e o desempenho dos procedimentos de carga está plenamente satisfatório.
• Os próximos passos, já em andamento, são a avaliação da satisfação dos usuários para o módulo desenvolvido e a implementação dos demais módulos.
IX C
ongr
esso
Bra
sile
iro d
e In
form
átic
a em
Saú
de
CB
IS'2
00
4
UNIFESPDepartamento de Informática em SaúdeUniversidade Federal de São Paulo – UNIFESP
www.unifesp.br/dis
Projeto de um Data Warehouse para a
Saúde Pública
Contato: [email protected]