qualidade dos dados na internet integração de dados e warehousing felype santiagomaio/2009
TRANSCRIPT
Qualidade dos dados na InternetIntegração de Dados e Warehousing
Felype SantiagoMaio/2009
Agenda
•Qualidade dos dados•Proveniência dos dados•Confiabilidade e segurança na Web•Privacidade na Web
Qualidade dos dados
•Definições▫“A qualidade dos dados refere-se ao grau
de excelência apresentado pelo dado em relação ao retrato dos fenômenos atuais”
GIS Glossary
▫“O estado de completude, validade, consistência, atualidade e precisão que torna um dado apropriado para um uso específico”
Government of British Columbia
Qualidade das informações publicadas
•Problemas reconhecidos com qualidade dos dados
•Checklists e frameworks propostos para avaliar a qualidade das informações publicadas na Internet
Critérios de avaliação• Hawkins (1999)
▫ Atualização▫ Propósito▫ Autoria/Fonte▫ Escopo▫ Exatidão/Relevância▫ Desenho/Formatação▫ Autoridade▫ Unicidade/Estabilidade▫ Estrutura/Indexação▫ Revisão/Classificação▫ Qualidade de escrita▫ Qualidade dos dados▫ Critério de seleção▫ Links de/para outras
fontes
• Alexander e Tate (1999)– Autoridade – Precisão– Atualidade– Objetividade– Cobertura
Dimensões da qualidade dos dados
•A qualidade dos dados é um conceito multidimensional
•Huh, Keller, Redman e Watkins (1990) definiram quatro dimensões da qualidade dos dados:▫Precisão▫Completude▫Consistência▫Atualidade
Wand e Wang (1996)•Qualidade dos dados como uma tarefa
independente•Quatro dimensões intrínsecas:
▫Completude▫Falta de ambigüidade▫ Significância▫Corretude
Observação empírica
•Zmud (1978), Madnick e Wang (1992)▫Qualidade da informação▫Relevância da informação▫Qualidade do formato▫Qualidade do significado
•Componentes da qualidade dos dados▫Completude, precisão, adequação e
consistência
Proveniência dos dados
•Qual a origem dos dados?▫Cópias de cópias▫Edições de conteúdo
•O quão confiáveis e atuais eles são?▫Fontes não confiáveis▫Dados desatualizados
Proveniência dos dados - Definição
A proveniência de um dado é a descrição das origens dele e do processo pelo qual ele foi produzido, o que auxilia a avaliação da qualidade, da validade e de quão recente é a informação
(BUNEMAN et al.,2001)
Taxonomia das técnicas de proveniência
•Diferentes abordagens para domínios individuais
•Aplicações da proveniência dos dados:▫Qualidade dos dados▫Investigação do rastro▫Receitas de replicação ▫Atribuição
Qualidade dos dados
•A proveniência dos dados permite avaliar a qualidade deles para uma aplicação
•Erros introduzidos por defeitos nos dados tendem a inflar quando propagados
•O nível de detalhe da proveniência determina com que grau a qualidade dos dados pode ser estimada
•Com um certificado do pedigree do dado, é possível avaliá-lo baseado nas métricas de qualidade
Investigação do rastro
•A proveniência como um meio de realizar a auditoria dos dados e saber o processo pelo qual ele foi produzido
•Por meio de backtrack para localizar a fonte dos dados ou processar as causas de erros encontrados e aplicar correções relevantes
Receitas de replicação
•Informações de proveniência incluem os passos utilizados para derivar um conjunto de dados e podem ser tidos como uma receita para criação desses dados
•Dados detalhados sobre operações, fontes de dados e parâmetros tornam possível repetir a derivação
Atribuição
•O pedigree do dado pode ajudar a verificar a propriedade de uma fonte de dados
•Usuários podem procurar a árvore de variação para ver os criadores de uma fonte de dados
•Criadores podem ver na cadeia da linhagem quem está utilizando os dados criados
•Também pode ser utilizado como um meio de atribuição de responsabilidade em casos e erros
Proveniência na Web
•A Internet mudou completamente a forma como os dados circulam▫Documentos em folhas de papel ->
Documentos online em bases de dados
Transformação Papel -> Web
•Um documento em papel, em essência, é imodificável▫Documentos on-line podem ser (e
freqüentemente são) freqüentemente atualizados
•Documentos online freqüentemente estão em bases de dados, ou seja, têm uma estrutura explícita
•Documentos on-line tipicamente contêm dados extraídos de outros documentos/bases de dados
Qualidade na Web
•Processos de revisão de conteúdo são freqüentemente ausentes
•Dados desatualizados e de baixa qualidade podem causar danos ao mundo dos negócios
•Riscos com a falta de qualidade das informações sobre saúde orientadas para o consumidor publicadas na Web
Segurança
•A segurança de sistemas de informação se refere ao fato de que as metas de proteção são alcançadas mesmo com ataques inteligentes
•Informação são seguras se▫Não podem ser interceptadas▫Se interceptadas, não podem ser
entendidas▫Não podem ser alteradas ou falsificadas
Segurança
•Alguns objetivos da proteção▫Confidencialidade▫Integridade▫Disponibilidade▫Responsabilidade
Encriptação
•Os algoritmos de encriptação disponíveis hoje serão bons o suficiente por vários anos
•Porém, hashes fracos como o MD5 e chaves curtas devem ser evitados
•Embora pareça irreal hoje quebrar uma chave com facilidade, isso pode se tornar fácil em poucos anos
Protocolos de criptografia
•TLS - Transport Layer Security •SSL - Secure Sockets Layer•Provêem comunicação segura para SMTP,
HTTP e outros tipos de transferência de dados
•Ambos são basicamente o mesmo•Pequenas diferenças no TLS – sucessor do
SSL
Objetivos do TLS em ordem de prioridade
•Segurança com criptografia•Interoperabilidade•Extensibilidade•Eficiência relativa
TLS - Transport Layer Security
•Finalidade: Garantir a privacidade e a integridade dos dados em uma comunicação entre duas aplicações
•Composto de duas camadas: ▫Protocolo de registro (TLS Record
Protocol) ▫Protocolos handshaking (TLS Handshaking
Protocols)
Arquitetura do TLS
Processo de estabelecimento de uma conexão TLS
Resumo de uma sessão já negociada
Confiabilidade
•Crença no comportamento de uma das partes envolvidas para algum propósito
•Está intimamente ligado a natureza humana
•Algo é confiável se▫Não pode ser identificado de forma
ambígua▫Opera exatamente como projetado ou
esperado▫Não faz nada que não foi projetado para
fazer▫Opera sem interrupção
Segurança e confiabilidade na Web
•Crescimento rápido da popularidade do comércio eletrônico
•Uso online de informações de valor•Crescimento de ataques e exploração de
brechas em mecanismos de segurança•A falta de confiança no comércio
eletrônico ainda é o maior empecilho ao seu crescimento
Mecanismos de segurança na Web
•O modelo de segurança utilizado hoje em browsers, dispositivos móveis etc., em essência, é o mesmo de 10 anos atrás
•Baseado em criptografia de chave pública e assinatura confiável e uma implementação dos protocolos SSL e TLS
Privacidade dos dados - Definição
•É a relação entre a coleta e divulgação de dados, tecnologias e as questões jurídicas e políticas em torno deles
•Controle da disponibilidade de informações
Privacidade dos dados
•A capacidade de controlar que informações podem ser reveladas sobre alguém na Internet, e de controlar quem pode acessar informações
•Data Privacy Day▫Estados Unidos, Canadá e 27 países
europeus•“Privacy is dead - get over it” Steve
Rambam (investigador particular especializado em casos de privacidade na Web
Privacidade em redes sociais
•Facebook▫Bloquear participantes▫Bloquear conteúdo de profile▫Bloquear fotos e vídeos▫Escolher amigos
•Funcionalidades semelhantes no E-harmony, no MySpace, no Orkut etc.
Privacidade na navegação
Cookies (1/2)
•Dados trocados entre navegador e servidor, colocando em arquivos no computador do usuário dados criados no computador do visitante
•Mantém persistência entre sessões HTTP•Bastante utilizado por sites de comércio
eletrônico
Cookies (2/2)•Pode conter informações confidenciais do
usuário•Somente o site que originalmente
distribuiu um cookie pode recuperá-lo, retornando apenas informações já cedidas ao site
•Na prática, programadores podem contornar isso
• Uso de cross-site scripting ou outras técnicas para roubar informações de um usuário
Ameaças legais
•Utilização de tecnologias projetadas para rastrear e monitorar informações de internautas por agências do governo
•Medidas necessárias para manter a lei•Defensores da privacidade e civis
libertários X Agências do governo
Exemplos específicos•União Européia adota plano que permite a
polícia acessar conteúdo pessoal sem um mandado (Janeiro/2009)
•FBI lança software (Magic Lantern), cavalo de tróia que registra todas as ações do usuário (Novembro/2001)
Google: “You can trust us, really”
•Processos automatizados que não têm intervenção humana
•Apenas alguns Googlers têm acesso a informações confidenciais
Conclusão
•Sem a proveniência de um dado, não é possível a avaliação de sua qualidade, validade e atualidade
•A Web oferece algumas ameaças ao usuário, porém já há métodos de proteção eficientes que podem aumentar a segurança do usuário
Referências• http://findarticles.com/p/articles/mi_qa5495/is_200210/ai_n21323493/?tag=content;col1
• http://news.cnet.com/8301-10784_3-9890847-7.html
• http://wiki.uni.lu/MsCS/Security+and+Trust.html
• http://www.csiro.au/resources/Security-And-Trust.html
• http://en.wikipedia.org/wiki/Data_quality
• http://en.wikipedia.org/wiki/Internet_privacy
• http://www.gta.ufrj.br/grad/06_1/ssl/func_tls.htm
• http://www.cin.ufpe.br/~fsf2/dw/