![Page 1: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/1.jpg)
MineraçãodeDadosCONCEITOSEPRINCIPAISTÉCNICAS
![Page 2: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/2.jpg)
Roteiro• Introdução• MineraçãodeDados
• DescobertadeConhecimentoemBasesdeDados• Principaistarefas
• Principaistécnicas
• ComoescolheramelhortécnicadeMD• MineraçãodeDadosComplexos
• ExemplodeFerramentadeMineração
• Referências
2
![Page 3: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/3.jpg)
Introdução• SurgimentodosSistemasComputacionais
• UmdosprincipaisobjeKvos:ArmazenamentodeDados
• Comopassardosanos• AquisiçãodeHardware:custocadavezmaisbaixo• Estruturasdearmazenamentorobustas
• BancosdeDados• DataWarehouses• BibliotecasVirtuais• Web
3
![Page 4: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/4.jpg)
Introdução• Volumesdedadosgeradosporalgumasaplicações
• NASA• ProjetoGenoma• GrandesinsKtuiçõesbancárias
4
![Page 5: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/5.jpg)
MoKvação• Diantedisso,eisaquestão:
• Oquefazercoma-grandequan*dadededadosgerados-?
• Milhõesgastosemarmazenamentodedados• Organizaçõesricaemdados,pobreeminformação
• NecessidadedecriaçãodenovastecnologiasparaanáliseautomáKcaeinteligentedebancosdedados[Fayyadetal.1996].• Transformaçãodedadosinúteisemconhecimentosúteis
5
![Page 6: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/6.jpg)
MineraçãodeDados• Propostanadécadade80
• “Mineraçãodedadoséaexploraçãoeaanálise,pormeioautomá6coousemiautomá6co,degrandesquan6dadesdedados,afimdedescobrirpadrõeseregrassignifica6vos.”(BerryeLinoff,1997).
• Potencial• AnálisematemáKcaparaderivarpadrõesetendências;• Lidarcomgrandesvolumesdedadoscomplexos
• Aplicaçãodeduasformas(Groth,1998)• ProcessodeVerificação• ProcessodeDescoberta
6
![Page 7: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/7.jpg)
MineraçãodeDados• Camilo(2009)apresentaalgumasdasáreasnasquaisaMineraçãode
DadoséaplicadadeformasaKsfatória:
• Retençãodeclientes
• Bancos
• Medicina
• TelemarkeKng
• Eleitoral
7
![Page 8: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/8.jpg)
DescobertadeConhecimentoembasesdedados
• Problema:Modelotradicionalparatransformaçãodosdadosemconhecimento(Fayyad,1996)
• Processamentomanual
• Produçãorelatóriosparaanálise
• Inviabilidade:volumededados
• Solução:KDD(KnowledgeDiscoveryinDatabasesouDescobertadeConhecimentonasBasesdeDados)
• "eradainformação":asobrecargadedados.
8
![Page 9: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/9.jpg)
DescobertadeConhecimentoembasesdedados
• “UmprocessonãotrivialdeidenKficaçãodenovospadrõesválidos,úteisecompreensíveis".[Fayyad,1996]
• ÁreadinâmicaeevoluKva
• EstausKca,InteligênciaArKficialeBancosdeDados
• GaranKa
• Confiabilidade,uKlidadeecompreensibilidadedospadrões
9
![Page 10: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/10.jpg)
DescobertadeConhecimentoembasesdedados
As5EtapasdoKDD
10
![Page 11: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/11.jpg)
DescobertadeConhecimentoembasesdedados• Seleção:escolherumconjuntodedadoscontendotodasaspossíveis
variáveiseregistrosquefarãopartedaanálise.
11
![Page 12: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/12.jpg)
DescobertadeConhecimentoembasesdedados• Pré-processamento:eliminaçãodedadosredundantese
inconsistentes
• Eventuaissituações:• DadosausenteseOutliers
12
![Page 13: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/13.jpg)
DescobertadeConhecimentoembasesdedadosTransformação:organizaçãodosdadosnumformatoapropriadoparaaaplicaçãodealgoritmosdemineração.
13
![Page 14: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/14.jpg)
DescobertadeConhecimentoembasesdedadosMineração:Aplicaçõesdetécnicasdereconhecimentoeextraçãodepadrões
14
![Page 15: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/15.jpg)
DescobertadeConhecimentoembasesdedadosAvaliação:avaliaçãodosresultadospós-minerados
15
![Page 16: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/16.jpg)
Principaistarefas
A Mineração de Dados é comumente classificada pela suacapacidadeemrealizardeterminadastarefas[Laroseetal,2005].Astarefasmaiscomunssão:• Classificação:
• visaidenKficaraqualclasseumdeterminadoregistropertence.• Exemplo
• ConjuntodeDados:Colaboradoresdeumaempresa• Classes:PerfilTécnico,PerfilNegocialePerfilGerencial• ObjeKvo:definiremqualperfilseencaixaumnovo
colaborador• Outrosexemplos
• Detecçãodefraudesdecomprascomcartãodecrédito• DiagnósKcodedoenças
16
![Page 17: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/17.jpg)
Principaistarefas
• RegressãoouEsKmação:• esKmarovalordeumadeterminadavariávelanalisando-
seosvaloresdasdemais(atributosnuméricos)• OobjeKvoépreverosvaloresdeumavariável
dependentecombaseemresultadosdavariávelindependente
• RegressãoLinear:y=aX+B
• Exemplo• EsKmarapressãoidealdeumpaciente,combasena
altura,idadeepeso
17
![Page 18: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/18.jpg)
Principaistarefas
• Agrupamento(Clustering)• IdenKficaeaproximaregistrossimilares,agrupando-osem
seguida
• Nãonecessitaqueosdadosestejapreviamentecategorizados
• Aprendizadonão-supervisionado• Exemplos
• Agruparpessoasporaltura,sexoehábitos• Agruparclientescomcomportamentodecompra
similar
18
![Page 19: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/19.jpg)
Principaistarefas
• Associação• ConsisteemidenKficarquaisatributosestãorelacionados.• Apresentamaforma:SEatributoXENTÃOatributoY.
• Xéoantecedente• Yéoconsequente
• Encontrartendênciasquepossamserusadasparaentendereexplorarpadrõesdecomportamentodosdados.
• Exemplos
• IdenKficarquaisprodutossãolevadosjuntocomoutrospelosconsumidores(Cestadecompras)
19
![Page 20: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/20.jpg)
Principaistécnicas
• AprendizadoSupervisionado• Necessitadedadospré-categorizados• Variável-alvopré-definida
• Não-Supervisionado• Nãonecessitadedadospré-categorizados• UKlizaçãodemedidasdesimilaridade
• Combinaçãodediversastarefas/técnicas• Comparaçõesacercadamelhortécnicaoudomelhor
conjuntodetécnicasparadeterminadoproblema
20
![Page 21: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/21.jpg)
Principaistécnicas
• Harrison(1998)afirmaquenãoháumatécnicaqueresolvatodososproblemasdemineraçãodedados.
• Diferentesmétodosparadiferentespropósitos• Vantagensedesvantagens.• Importânciadafamiliaridadecomastécnicas
• PrincipaistécnicasdeMineraçãodeDados• RegrasdeAssociação
• estabeleceumacorrelaçãoestausKcaentrecertositensdedadosemumconjuntodedados(GoebeleGruenwald,1999).
• Regra:X1^...^Xn=>Y[C,S],ondeX1,...,XnsãoitensquepreveemaocorrênciadeYcomumgraudeconfiançaCecomumsuportemínimodeSe“^”denotaumoperadordeconjunção(AND).
21
![Page 22: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/22.jpg)
Principaistécnicas
• RegrasdeAssociação(Cont.)
Conclusõessimples:• Quem compra leite,
quase sempre compraovos;
• Quem compra ovos eaçúcar sempre compraleite;
• Quem compra cervejasemprecomprafraldas.
22
![Page 23: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/23.jpg)
Principaistécnicas
• RegrasdeAssociação(Cont.)
• Métricas(GaranKaderesultadosválidos)• Suporte
• porcentagemdetransaçõesondeumdeterminadoitem/itemsetaparece
• Confiança• DadoA->B,éporcentagemdastransaçõesque
suportam“AUB”divididaportodasastransaçõesquesuportamA
• Algoritmos
• Apriori,AprioriTid,AprioriHybrid,AIS,SETM(AgrawaleSrikant,1994)eDHP(Chenetal,1996).
23
![Page 24: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/24.jpg)
Principaistécnicas
• RegrasdeAssociação(Cont.)
• Apriori(ProjetoQuest,IBM) 1.Entrada:coleçãodedadosassociados,suportemínimo, confiançamínima. 2.ConsiderarK=1paracriaçãodeK-itemsets 3.AnalisarosdadosassociadosecriarumatabeladeK- itemsetscomsuporteacimadosuportemínimo. 4.Criarcomositemsetsfiltradosumconjuntode candidatosa(K+1)itemsets. 5.Eliminaritemsetsinfrequentes. 6.RepeKrdesdeopasso3atéqueoconjuntogeradoseja vazio. 7.Listarregrasdeassociação(compermutações)eaplicar limitedeconfiança.
24
![Page 25: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/25.jpg)
Principaistécnicas
• RegrasdeAssociação(Cont.)
• Apriori(S=25%,C=75%)
25
![Page 26: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/26.jpg)
Principaistécnicas
• RegrasdeAssociação(Cont.)
• Apriori(S=25%,C=75%)
26
![Page 27: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/27.jpg)
Principaistécnicas
• ÁrvoresdeDecisão• Árvore onde cada nó não-terminal representa um
teste ou decisão sobre o itemde dado considerado(GoebeleGruenwald,1999).
• MétricasuKlizadas• Entropia(aleatoriedadedavariável-objeKvo)• Ganho(diminuiçãodaentropia)
• Fluxo• Nóraiz(umadadaentrada)• Análisedenósnão-terminais(decisões)• Algumnó-folha(categoriaouclasse)
• Técnica simples, bom grau de asserKvidade e nãoprecisadeparâmetrosdeconfiguração
27
![Page 28: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/28.jpg)
Principaistécnicas
• ÁrvoresdeDecisão• Entrada: base de dados, com atributos
preditivos e atributo-alvo.
• Saída: classificação do atributo alvo em função dos preditivos.
Id Idade Renda Carro 1 >40 > 8k Importado 2 18 – 40 0-8k Nacional 3 >40 0-8k Nacional
4 18 – 40 > 8k Nacional
5 18 – 40 0-8k Nacional
6 18 – 40 0-8k Nacional
7 18 – 40 0-8k Nacional
8 >40 > 8k Importado 28
![Page 29: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/29.jpg)
Principaistécnicas
• K-means
• Aprendizagemnão-supervisionada• UKlizadaemtarefasdeAgrupamento• ConceitodeCentróides
• Entrada:• Instâncias:conjuntodedados• Medidadedistância(similaridade):
• DistânciaEuclidiana• Cosseno
• Númerodegrupos(clusters)• Saída:
• Centróidesdosgrupos,perKnênciadasinstâncias
29
![Page 30: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/30.jpg)
Principaistécnicas
• K-means
• Algoritmo(iteraKvo)• 1.DefinirKcentróides iniciais,selecionandoKobjetos
aleatórios;• 2. Aloque cada objeto para o cluster correspondente
aocentróidemaissimilar;• DistânciaEuclidiana,Cosseno,Manha�an.
• 3.Recalcularoscentróidesdosclusters;• 4.Voltaraopasso2
30
![Page 31: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/31.jpg)
Principaistécnicas
• K-means
• EncontraroscentrosóKmos• Minimizar a junção das distâncias quadráKcas
(médiadospontos)
• CritériodeParada• Não ocorrerem mais alterações nos centróides
(convergênciadoscentrosóKmos)• Se um centróide não Kver registros associados no
início, ele deve ser reiniciado para escolha de novocentróide
31
![Page 32: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/32.jpg)
Principaistécnicas
• K-means
32
![Page 33: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/33.jpg)
Principaistécnicas
• K-means
33
![Page 34: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/34.jpg)
Principaistécnicas
• K-means
34
![Page 35: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/35.jpg)
Principaistécnicas
• K-means
35
![Page 36: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/36.jpg)
Principaistécnicas
• K-means
36
![Page 37: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/37.jpg)
Principaistécnicas
• K-means
37
![Page 38: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/38.jpg)
ComoescolheraTécnicadeMineraçãodeDadosMaisadequada
• Dependedosdadosdisponíveisparaanálise• Tarefaexpecíficaaserexecutada(Agrupamento,Classificação)
• 2passos(Harrison,1998)• 1. traduzir o problema de negócio a ser resolvido em séries de
tarefasdemineraçãodedados;• 2. compreender a natureza dos dados (conteúdo, campos,
relações).
• SegundoChenetal,1996• ComqueKposdebancosdedadostrabalhar• QualoKpodeconhecimentoaserexplorado• QualKpodetécnicaaseruKlizada
38
![Page 39: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/39.jpg)
Mineraçãodedadoscomplexos
• MineraçãorealizadosobrediversosKposdedados
• Inicialmente:Repositóriosestruturadosdedados• BancosdeDados,DataWarehouses,etc.
• Atualmente:Repositóriosdedadosemgeral• MulKmídia,Web,Temporal,Grafos
• AlgunsTipos• Mineraçãodefluxodedados:
• altovolumededados(análisesobdemanda)• Algoritmoappearing-bit-sequence-basedincrementalmining
• Mineraçãodesériestemporais• Informaçõesdeeventosnumdadotempo• Mineração temporal por agrupamento: fatores de risco na
áreamédica
39
![Page 40: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/40.jpg)
• Tipos(Cont)
• Mineraçãodetextos:• RecuperaçãodeInformacão(documentos)• Resolver problemas como cocumentos não relacionados,
volumealtodedocumentos,informaçõesdispensáveis
• MineraçãodaInternet(ouWebMining)• Consisteemminerarasestruturasdeligação,oconteúdo,os
padrõesdeacesso,classificaçãodedocumentos,entreoutras
40
Mineraçãodedadoscomplexos
![Page 41: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/41.jpg)
• Weka• So�warelivreopensourceparamineraçãodedados,desenvolvidoemJava.
• DesenvolvidoporpesquisadoresdaUniversidadedeWaikato,NovaZelândia.
• Consolidou-secomoaferramentadedataminingmaisuKlizadaemambienteacadêmico.
• Potenciais:Classificação,RegrasdeAssociaçãoeClusterização
• MododeUso:WekaAPIJava,WekaExplorer
• Arquivos.arffparaexpressarabasedeconhecimento
41
ExemplodeferramentadeMineração
![Page 42: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/42.jpg)
• Weka• Titanic(ExemplodeAplicação)
• ObjeKvo:classificaçãodossobreviventesdonaufrágio• ProblemaidealizadoporKaggle
h�ps://www.kaggle.com/c/Ktanic#evaluaKon
• UKlizarinformaçõesdospassageiros(treinamento)• Criarumclassificador(RedeBayesiana,ÁrvoredeDecisão,Regressão)uKlizandoosdadosdetreinamento
• Classificarumconjuntodetestes• Atributo-alvo:survived{0,1}
42
ExemplodeferramentadeMineração
![Page 43: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/43.jpg)
@relationtrain
@attributePassengerIdnumeric@attributeSurvived{0,1}@attributePclassnumeric@attributeSex{male,female}@attributeAgenumeric@attributeSibSpnumeric@attributeParchnumeric@attributeTicket{'A/521171','PC17599’,...}@attributeFare{7.925,53.1,8.05,84.583,518.625,...}@attributeEmbarked{S,C,Q}
43
ExemplodeferramentadeMineração
![Page 44: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/44.jpg)
@data
1,0,3,male,22,1,0,'A/521171',7.25,S2,1,1,female,38,1,0,'PC17599',712.833,C3,1,3,female,26,0,0,'STON/O2.3101282',7.925,S4,1,1,female,35,1,0,113803.0,53.1,S5,0,3,male,35,0,0,373450.0,8.05,S6,0,3,male,?,0,0,330877.0,84.583,Q7,0,1,male,54,0,0,17463.0,518.625,S8,0,3,male,2,3,1,349909.0,21.075,S9,1,3,female,27,0,2,347742.0,111.333,S10,1,2,female,14,1,0,237736.0,300.708,C...
44
ExemplodeferramentadeMineração
![Page 45: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/45.jpg)
@relationtest
@attributePassengerIdnumeric@attributeSurvived{0,1}@attributePclassnumeric@attributeSex{male,female}@attributeAgenumeric@attributeSibSpnumeric@attributeParchnumeric@attributeTicket{'A/521171','PC17599’,...}@attributeFare{7.925,53.1,8.05,84.583,518.625,...}@attributeEmbarked{S,C,Q}
45
ExemplodeferramentadeMineração
![Page 46: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/46.jpg)
@data
892,?,3,male,34.5,0,0,330911.0,78.292,Q893,?,3,female,47,1,0,363272.0,7.0,S894,?,2,male,62,0,0,240276.0,96.875,Q895,?,3,male,27,0,0,315154.0,86.625,S896,?,3,female,22,1,1,3101298.0,122.875,S897,?,3,male,14,0,0,7538.0,9.225,S898,?,3,female,30,0,0,330972.0,76.292,Q899,?,2,male,26,1,1,248738.0,29.0,S900,?,3,female,18,0,0,2657.0,72.292,C
...
46
ExemplodeferramentadeMineração
![Page 47: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/47.jpg)
47
ExemplodeferramentadeMineração
![Page 48: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/48.jpg)
Resultado
892,0,3,male,34.5,0,0,330911.0,78.292,Q893,1,3,female,47,1,0,363272.0,7.0,S894,1,2,male,62,0,0,240276.0,96.875,Q895,0,3,male,27,0,0,315154.0,86.625,S896,0,3,female,22,1,1,3101298.0,122.875,S897,0,3,male,14,0,0,7538.0,9.225,S898,0,3,female,30,0,0,330972.0,76.292,Q899,0,2,male,26,1,1,248738.0,29.0,S900,1,3,female,18,0,0,2657.0,72.292,C
...
48
ExemplodeferramentadeMineração
![Page 49: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/49.jpg)
Referências• FAYYAD, Usama; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic. From
dataminingtoknowledgediscoveryindatabases.AImagazine,v.17,n.3,p.37,1996.
• HAN,J;KAMBER,M.DataMining:ConceptsandTechniques.Elsevier,2006.
• BERRY, Michael J. A.; LINOFF, Gordon. Data Mining Techniques: ForMarketing, Sales, and Customer Support. New York: Wiley ComputerPublishing,1997.
• GROTH, R. DataMining: a hands-on approach for business professionals.PrenticeHall,NewJersey,1998.
• CAMILO, Cássio Oliveira; SILVA, João Carlos da. Mineração de dados:Conceitos,tarefas,métodoseferramentas.Goiânia:UniversidadeFederaldeGoiás,2009.
• HARRISON,T.H.INTRANETDATAWAREHOUSE.Berkley,1998
49
![Page 50: Mineração de Dados - cin.ufpe.brin940/Mineracao_de_Dados-AntonioBraz.pdf · • Mineração de Dados • Descoberta de Conhecimento em Bases de Dados • Principais tarefas](https://reader036.vdocuments.site/reader036/viewer/2022062306/5c61a4d509d3f2a46f8b7603/html5/thumbnails/50.jpg)
Referências• GOEBEL, M.; GRUENWALD, L. A survey of data mining and knowledge
discoverysoftwaretools.In:SIGKDDExplorations,1999.
• LAROSE, D. T. Discovering Knowledge in Data: An IntroducKon to DataMining.JohnWileyandSons.Inc.,2005.
50