1. UUNNIITT--11 IInnttrroodduuccttiioonnLLeeccttuurree--11 MMoottiivvaattiioonn:: WWhhyy ddaattaa mmiinniinngg??LLeeccttuurree--22 WWhhaatt iiss ddaattaa mmiinniinngg??LLeeccttuurree--33 DDaattaa MMiinniinngg:: OOnn wwhhaatt kkiinndd ooffddaattaa??LLeeccttuurree--44 DDaattaa mmiinniinngg ffuunnccttiioonnaalliittyyLLeeccttuurree--55 CCllaassssiiffiiccaattiioonn ooff ddaattaa mmiinniinnggssyysstteemmssLLeeccttuurree--66 MMaajjoorr iissssuueess iinn ddaattaa mmiinniinngg

2. Unit-1 Data wwaarreehhoouussee aanndd OOLLAAPPLLeeccttuurree--77 WWhhaatt iiss aa ddaattaa wwaarreehhoouussee??LLeeccttuurree--88 AA mmuullttii--ddiimmeennssiioonnaall ddaattaa mmooddeellLLeeccttuurree--99 DDaattaa wwaarreehhoouussee aarrcchhiitteeccttuurreeLLeeccttuurree--1100&&1111 DDaattaa wwaarreehhoouussee iimmpplleemmeennttaattiioonnLLeeccttuurree--1122 FFrroomm ddaattaa wwaarreehhoouussiinngg ttoo ddaattaa mmiinniinngg 3. LLeeccttuurree--11MMoottiivvaattiioonn:: WWhhyy ddaattaa mmiinniinngg?? 4. EEvvoolluuttiioonn ooff DDaattaabbaassee TTeecchhnnoollooggyy11996600ss aanndd eeaarrlliieerr::DDaattaa CCoolllleeccttiioonn aanndd DDaattaabbaassee CCrreeaattiioonn PPrriimmiittiivvee ffiillee pprroocceessssiinnggLLeeccttuurree--11 MMoottiivvaattiioonn 5. EEvvoolluuttiioonn ooff DDaattaabbaassee TTeecchhnnoollooggyy11997700ss -- eeaarrllyy 11998800ss::DDaattaa BBaassee MMaannaaggeemmeenntt SSyysstteemmss HHiieerraattiiccaall aanndd nneettwwoorrkk ddaattaabbaassee ssyysstteemmss RReellaattiioonnaall ddaattaabbaassee SSyysstteemmss QQuueerryy llaanngguuaaggeess:: SSQQLL TTrraannssaaccttiioonnss,, ccoonnccuurrrreennccyy ccoonnttrrooll aannddrreeccoovveerryy.. OOnn--lliinnee ttrraannssaaccttiioonn pprroocceessssiinngg ((OOLLTTPP))LLeeccttuurree--11 MMoottiivvaattiioonn 6. EEvvoolluuttiioonn ooff DDaattaabbaassee TTeecchhnnoollooggyyMMiidd --11998800ss -- pprreesseenntt:: AAddvvaanncceedd ddaattaa mmooddeellssEExxtteennddeedd rreellaattiioonnaall,, oobbjjeecctt--rreellaattiioonnaall AAddvvaanncceedd aapppplliiccaattiioonn--oorriieenntteedd DDBBMMSSssppaattiiaall,, sscciieennttiiffiicc,, eennggiinneeeerriinngg,, tteemmppoorraall,,mmuullttiimmeeddiiaa,, aaccttiivvee,, ssttrreeaamm aanndd sseennssoorr,, kknnoowwlleeddggee--bbaasseeddLLeeccttuurree--11 MMoottiivvaattiioonn 7. EEvvoolluuttiioonn ooff DDaattaabbaassee TTeecchhnnoollooggyyLLaattee 11998800ss--pprreesseenntt AAddvvaanncceedd DDaattaa AAnnaallyyssiissDDaattaa wwaarreehhoouussee aanndd OOLLAAPPDDaattaa mmiinniinngg aanndd kknnoowwlleeddggee ddiissccoovveerryyAAddvvaanncceedd ddaattaa mmiinniinngg aapppplliiaattiioonnssDDaattaa mmiinniinngg aanndd ssoocciittyy11999900ss--pprreesseenntt:: XXMMLL--bbaasseedd ddaattaabbaassee ssyysstteemmss IInntteeggrraattiioonn wwiitthh iinnffoorrmmaattiioonn rreettrriieevvaall DDaattaa aanndd iinnffoorrmmaattiioonn iinntteeggrreeaattiioonnLLeeccttuurree--11 MMoottiivvaattiioonn 8. EEvvoolluuttiioonn ooff DDaattaabbaassee TTeecchhnnoollooggyyPPrreesseenntt ffuuttuurree:: NNeeww ggeenneerraattiioonn ooff iinntteeggrraatteedd ddaattaa aannddiinnffoorrmmaattiioonn ssyysstteemm..LLeeccttuurree--11 MMoottiivvaattiioonn 9. LLeeccttuurree--22WWhhaatt IIss DDaattaa MMiinniinngg?? 10. WWhhaatt IIss DDaattaa MMiinniinngg??DDaattaa mmiinniinngg rreeffeerrss ttoo eexxttrraaccttiinngg oorr mmiinniinnggkknnoowwlleeddggee ffrroomm llaarrggee aammoouunnttss ooff ddaattaa..KKnnoowwlleeddggee mmiinniinngg ffrroomm ddaattaa,, kknnoowwlleeddggeeeexxttrraaccttiioonn,, ddaattaa//ppaatttteerrnn aannaallyyssiiss,, ddaattaaaarrcchheeoollooggyy,, aanndd ddaattaa ddrreeddiinngg..KKnnoowwlleeddggee DDiissccoovveerryy ffrroomm ddaattaa,, oorr KKDDDDLecture-2 WWhhaatt iiss DDaattaa MMiinniinngg?? 11. DDaattaa MMiinniinngg:: AA KKDDDD PPrroocceessss DDaattaa mmiinniinngg:: tthhee ccoorreeooff kknnoowwlleeddggeeddiissccoovveerryy pprroocceessss..Task-relevant DataData MiningLecture-2 WWhhaatt iiss DDaattaa MMiinniinngg??DataWarehouseData CleaningData IntegrationDatabasesSelectionPattern Evaluation 12. SStteeppss ooff aa KKDDDD PPrroocceessss11.. DDaattaa cclleeaanniinngg22.. DDaattaa iinntteeggrraattiioonn33.. DDaattaa sseelleeccttiioonn44.. DDaattaa ttrraannssffoorrmmaattiioonn55.. DDaattaa mmiinniinngg66.. PPaatttteerrnn eevvaalluuaattiioonn77.. KKnnoowwlleeddggee pprreesseennttaaiioonnLecture-2 WWhhaatt iiss DDaattaa MMiinniinngg?? 13. SStteeppss ooff aa KKDDDD PPrroocceessssLLeeaarrnniinngg tthhee aapppplliiccaattiioonn ddoommaaiinn:: rreelleevvaanntt pprriioorr kknnoowwlleeddggee aanndd ggooaallss ooffaapppplliiccaattiioonnCCrreeaattiinngg aa ttaarrggeett ddaattaa sseett:: ddaattaa sseelleeccttiioonnDDaattaa cclleeaanniinngg aanndd pprreepprroocceessssiinnggDDaattaa rreedduuccttiioonn aanndd ttrraannssffoorrmmaattiioonn:: FFiinndd uusseeffuull ffeeaattuurreess,,ddiimmeennssiioonnaalliittyy//vvaarriiaabbllee rreedduuccttiioonn,, iinnvvaarriiaannttrreepprreesseennttaattiioonn..Lecture-2 WWhhaatt iiss DDaattaa MMiinniinngg?? 14. SStteeppss ooff aa KKDDDD PPrroocceessssCChhoooossiinngg ffuunnccttiioonnss ooff ddaattaa mmiinniinngg ssuummmmaarriizzaattiioonn,, ccllaassssiiffiiccaattiioonn,, rreeggrreessssiioonn,,aassssoocciiaattiioonn,, cclluusstteerriinngg..CChhoooossiinngg tthhee mmiinniinngg aallggoorriitthhmmssDDaattaa mmiinniinngg:: sseeaarrcchh ffoorr ppaatttteerrnnss ooff iinntteerreessttPPaatttteerrnn eevvaalluuaattiioonn aanndd kknnoowwlleeddggee pprreesseennttaattiioonn vviissuuaalliizzaattiioonn,, ttrraannssffoorrmmaattiioonn,, rreemmoovviinngg rreedduunnddaannttppaatttteerrnnss,, eettcc..UUssee ooff ddiissccoovveerreedd kknnoowwlleeddggeeLecture-2 WWhhaatt iiss DDaattaa MMiinniinngg?? 15. AArrcchhiitteeccttuurree ooff aa TTyyppiiccaall DDaattaaMMiinniinngg SSyysstteemmGraphical user interfacePattern evaluationData mining engineDatabase or datawarehouse serverData cleaning & data integration FilteringDataWarehouseDatabasesLecture-2 WWhhaatt iiss DDaattaa MMiinniinngg??Knowledge-base 16. Major sources of abundant dataBusiness: Web, e-commerce, transactions,stocks, Science: Remote sensing, bioinformatics,scientific simulation, Society and everyone: news, digital cameras,YouTube 17. WWhhyy NNoott TTrraaddiittiioonnaall DDaattaa AAnnaallyyssiiss??TTrreemmeennddoouuss aammoouunntt ooff ddaattaa AAllggoorriitthhmmss mmuusstt bbee hhiigghhllyy ssccaallaabbllee ttoo hhaannddllee ssuucchh aass tteerraa--bbyytteess ooffHHiigghh--ddiimmeennssiioonnaalliittyy ooff ddaattaa MMiiccrroo--aarrrraayy mmaayy hhaavvee tteennss ooff tthhoouussaannddss ooff ddiimmeennssiioonnssHHiigghh ccoommpplleexxiittyy ooff ddaattaa DDaattaa ssttrreeaammss aanndd sseennssoorr ddaattaa TTiimmee--sseerriieess ddaattaa,, tteemmppoorraall ddaattaa,, sseeqquueennccee ddaattaa SSttrruuccttuurree ddaattaa,, ggrraapphhss,, ssoocciiaall nneettwwoorrkkss aanndd mmuullttii--lliinnkkeedd ddaattaa HHeetteerrooggeenneeoouuss ddaattaabbaasseess aanndd lleeggaaccyy ddaattaabbaasseess SSppaattiiaall,, ssppaattiiootteemmppoorraall,, mmuullttiimmeeddiiaa,, tteexxtt aanndd WWeebb ddaattaa SSooffttwwaarree pprrooggrraammss,, sscciieennttiiffiicc ssiimmuullaattiioonnssNNeeww aanndd ssoopphhiissttiiccaatteedd aapppplliiccaattiioonnssSSeepptteemmbbeerr 44,, 22001144ddaattaaDDaattaa MMiinniinngg:: CCoonncceeppttss aannddTTeecchhnniiqquueess 2200 18. DDaattaa MMiinniinngg aanndd BBuussiinneessssIInntteelllliiggeenncceeIncreasing potentialto supportbusiness decisions End UserStatistical Analysis, Querying and ReportingData Warehouses / Data MartsLecture-2 WWhhaatt iiss DDaattaa MMiinniinngg??BusinessAnalystDataAnalystDBAMakingDecisionsData PresentationVisualization TechniquesData MiningInformation DiscoveryData ExplorationOLAP, MDAData SourcesPaper, Files, Information Providers, Database Systems, OLTP 19. LLeeccttuurree--33DDaattaa MMiinniinngg:: OOnn WWhhaatt KKiinndd ooffDDaattaa?? 20. DDaattaa MMiinniinngg:: OOnn WWhhaatt KKiinndd ooff DDaattaa??RReellaattiioonnaall ddaattaabbaasseessDDaattaa wwaarreehhoouusseessTTrraannssaaccttiioonnaall ddaattaabbaasseessLecture-3 Data Mining: OOnn WWhhaatt kkiinndd ooffddaattaa?? 21. Example 1.1 A relational database for AllElectronics. TheAllElectronics company is described by thefollowing relation tables: customer, item, employee, and branch.Fragments of the tables.The relation customer consists of a set of attributes, including aunique customer identity number (cust ID), customer name,address, age, occupation, annual income,credit information, category, and so on.Similarly, each of the relations item, employee, and branchconsists of a set of attributesdescribing their properties. 22. TTaabblleess ccaann aallssoo bbee uusseedd ttoo rreepprreesseenntt tthheerreellaattiioonnsshhiippss bbeettwweeeenn oorr aammoonngg mmuullttiippllee rreellaattiioonnttaabblleess.. FFoorr oouurr eexxaammppllee,, tthheessee iinncclluuddeeppuurrcchhaasseess ((ccuussttoommeerr ppuurrcchhaasseess iitteemmss,,ccrreeaattiinngg aa ssaalleess ttrraannssaaccttiioonn tthhaatt iiss hhaannddlleedd bbyyaann eemmppllooyyeeee)),, iitteemmss ssoolldd ((lliissttss tthhee iitteemmss ssoolldd iinnaa ggiivveenn ttrraannssaaccttiioonn)),, aanndd wwoorrkkss aatt ((eemmppllooyyeeeewwoorrkkss aatt aa bbrraanncchh ooff AAllllEElleeccttrroonniiccss))..RReellaattiioonnaall ddaattaa ccaann bbee aacccceesssseedd bbyy ddaattaabbaasseeqquueerriieess wwrriitttteenn iinn aa rreellaattiioonnaall qquueerryy llaanngguuaaggee,,ssuucchh aass SSQQLL,, 23. These allow yyoouu ttoo aasskk tthhiinnggss lliikkee SShhoowwmmee tthhee ttoottaall ssaalleess ooff tthhee llaasstt mmoonntthh,,ggrroouuppeedd bbyy bbrraanncchh,, oorrHHooww mmaannyy ssaalleess ttrraannssaaccttiioonnss ooccccuurrrreeddiinn tthhee mmoonntthh ooff DDeecceemmbbeerr?? oorrWWhhiicchh ssaalleess ppeerrssoonn hhaadd tthhee hhiigghheessttaammoouunntt ooff ssaalleess?? 24. When data mining is applied to relationaldatabases,we can go further by searching for trends or datapatterns. For example,data mining systems can analyze customer datato predict the credit risk of new customers basedon their income, age, and previous creditinformation. 25. DDaattaa MMiinniinngg:: OOnn WWhhaatt KKiinndd ooff DDaattaa??AAddvvaanncceedd DDBB aanndd iinnffoorrmmaattiioonn rreeppoossiittoorriieess OObbjjeecctt--oorriieenntteedd aanndd oobbjjeecctt--rreellaattiioonnaallddaattaabbaasseess SSppaattiiaall ddaattaabbaasseess TTiimmee--sseerriieess ddaattaa aanndd tteemmppoorraall ddaattaa TTeexxtt ddaattaabbaasseess aanndd mmuullttiimmeeddiiaa ddaattaabbaasseess HHeetteerrooggeenneeoouuss aanndd lleeggaaccyy ddaattaabbaasseess WWWWWWLecture-3 Data Mining: OOnn WWhhaatt kkiinndd ooffddaattaa?? 26. LLeeccttuurree--44DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieess 27. DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieessCCoonncceepptt//ccllaassss ddeessccrriippttiioonn:: CChhaarraacctteerriizzaattiioonn aannddddiissccrriimmiinnaattiioonn DDaattaa ccaann bbee aassssoocciiaatteedd wwiitthh ccllaasssseess oorr ccoonncceeppttss EExx.. AAllllEElleeccttrroonniiccss ssttoorree ccllaasssseess ooff iitteemmss ffoorr ssaalleeiinncclluuddee ccoommppuutteerr aanndd pprriinntteerrss.. DDeessccrriippttiioonn ooff ccllaassss oorr ccoonncceepptt ccaalllleedd ccllaassss//ccoonncceeppttddeessccrriippttiioonn.. DDaattaa cchhaarraacctteerriizzaattiioonn DDaattaa ddiissccrriimmiinnaattiioonnLecture-4 Data MMiinniinngg FFuunncciioonnaalliittiieess 28. Concept/Class Description: CChhaarraacctteerriizzaattiioonnaannddDDiissccrriimmiinnaattiioonnThese descriptions can be derived via(1) data characterization, by summarizing the data of the classunder study (often called the target class), or(2) data discrimination, by comparison of the target class with oneor a set of comparative classes (often called the contrastingclasses), or(3) both data characterization and discrimination. 29. DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieessMMiinniinngg FFrreeqquueenntt PPaatttteerrnnss,, AAssssoocciiaattiioonnss,,aanndd CCoorrrreellaattiioonnssFFrreeqquueenntt ppaatttteerrss-- ppaatttteerrnnss ooccccuurrss ffrreeqquueennttllyyIItteemm sseettss,, ssuubbsseeqquueenncceess aanndd ssuubbssttrruuccttuurreessFFrreeqquueenntt iitteemm sseettSSeeqquueennttiiaall ppaatttteerrnnssSSttrruuccttuurreedd ppaatttteerrnnssLecture-4 Data MMiinniinngg FFuunncciioonnaalliittiieess 30. DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieessAAssssoocciiaattiioonn AAnnaallyyssiissbbuuyyss((XX;; ccoommppuutteerr))))bbuuyyss((XX;; ssooffttwwaarree)) [[ssuuppppoorrtt== 1%%;; ccoonnffiiddeennccee == 5500%%]]MMuullttii--ddiimmeennssiioonnaall vvss ssiinnggllee--ddiimmeennssiioonnaall aassssoocciiaattiioonn aaggee((XX,, 2200....2299)) ^^ iinnccoommee((XX,, 2200....2299KK)) ==>>bbuuyyss((XX,, PPCC)) [[ssuuppppoorrtt == 22%%,, ccoonnffiiddeennccee ==6600%%]] ccoonnttaaiinnss((TT,, ccoommppuutteerr)) ==>> ccoonnttaaiinnss((xx,,ssooffttwwaarree)) [[ssuuppppoorrtt==1%%,, ccoonnffiiddeennccee==7755%%]]Lecture-4 Data MMiinniinngg FFuunncciioonnaalliittiieess 31. DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieessCCllaassssiiffiiccaattiioonn aanndd PPrreeddiiccttiioonn FFiinnddiinngg mmooddeellss ((ffuunnccttiioonnss)) tthhaatt ddeessccrriibbee aannddddiissttiinngguuiisshh ddaattaa ccllaasssseess oorr ccoonncceeppttss ffoorrpprreeddiicctt tthhee ccllaassss wwhhoossee llaabbeell iiss uunnkknnoowwnn EE..gg..,, ccllaassssiiffyy ccoouunnttrriieess bbaasseedd oonn cclliimmaattee,, oorrccllaassssiiffyy ccaarrss bbaasseedd oonn ggaass mmiilleeaaggee MMooddeellss:: ddeecciissiioonn--ttrreeee,, ccllaassssiiffiiccaattiioonn rruulleess ((iiff--tthheenn)),, nneeuurraall nneettwwoorrkk PPrreeddiiccttiioonn:: PPrreeddiicctt ssoommee uunnkknnoowwnn oorrmmiissssiinngg nnuummeerriiccaall vvaalluueessLecture-4 Data MMiinniinngg FFuunncciioonnaalliittiieess 32. DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieessCClluusstteerr aannaallyyssiiss AAnnaallyyzzee ccllaassss--llaabbeelleedd ddaattaa oobbjjeeccttss,, cclluusstteerriinnggaannaallyyzzee ddaattaa oobbjjeeccttss wwiitthhoouutt ccoonnssuullttiinngg aakknnoowwnn ccllaassss llaabbeell.. CClluusstteerriinngg bbaasseedd oonn tthhee pprriinncciippllee:: mmaaxxiimmiizziinnggtthhee iinnttrraa--ccllaassss ssiimmiillaarriittyy aanndd mmiinniimmiizziinngg tthheeiinntteerrccllaassss ssiimmiillaarriittyyLecture-4 Data MMiinniinngg FFuunncciioonnaalliittiieess 33. DDaattaa MMiinniinngg FFuunnccttiioonnaalliittiieessOOuuttlliieerr aannaallyyssiiss OOuuttlliieerr:: aa ddaattaa oobbjjeecctt tthhaatt ddooeess nnoott ccoommppllyy wwiitthh tthhee ggeenneerraallbbeehhaavviioorr ooff tthhee mmooddeell ooff tthhee ddaattaa IItt ccaann bbee ccoonnssiiddeerreedd aass nnooiissee oorr eexxcceeppttiioonn bbuutt iiss qquuiittee uusseeffuull iinnffrraauudd ddeetteeccttiioonn,, rraarree eevveennttss aannaallyyssiissTTrreenndd aanndd eevvoolluuttiioonn aannaallyyssiiss TTrreenndd aanndd ddeevviiaattiioonn:: rreeggrreessssiioonn aannaallyyssiiss SSeeqquueennttiiaall ppaatttteerrnn mmiinniinngg,, ppeerriiooddiicciittyy aannaallyyssiiss SSiimmiillaarriittyy--bbaasseedd aannaallyyssiissLecture-4 Data MMiinniinngg FFuunncciioonnaalliittiieess 34. LLeeccttuurree--55DDaattaa MMiinniinngg:: CCllaassssiiffiiccaattiioonnSScchheemmeess 35. Data MMiinniinngg:: CCoonnfflluueennccee ooffMMuullttiippllee DDiisscciipplliinneessDatabaseTechnology StatisticsInformationScience Data MiningMachineLearningOtherDisciplinesVisualization 36. DDaattaa MMiinniinngg:: CCllaassssiiffiiccaattiioonn SScchheemmeessGeenneerraall ffuunnccttiioonnaalliittyy DDeessccrriippttiivvee ddaattaa mmiinniinngg PPrreeddiiccttiivvee ddaattaa mmiinniinnggDDaattaa mmiinniinngg vvaarriioouuss ccrriitteerriiaa''ss:: KKiinnddss ooff ddaattaabbaasseess ttoo bbee mmiinneedd KKiinnddss ooff kknnoowwlleeddggee ttoo bbee ddiissccoovveerreedd KKiinnddss ooff tteecchhnniiqquueess uuttiilliizzeedd KKiinnddss ooff aapppplliiccaattiioonnss aaddaapptteedd 37. DDaattaa MMiinniinngg:: CCllaassssiiffiiccaattiioonn SScchheemmeessDDaattaabbaasseess ttoo bbee mmiinneedd RReellaattiioonnaall,, ttrraannssaaccttiioonnaall,, oobbjjeecctt--oorriieenntteedd,, oobbjjeecctt--rreellaattiioonnaall,, aaccttiivvee,, ssppaattiiaall,, ttiimmee--sseerriieess,, tteexxtt,, mmuullttii--mmeeddiiaa,, hheetteerrooggeenneeoouuss,, lleeggaaccyy,, WWWWWW,, eettcc..KKnnoowwlleeddggee ttoo bbee mmiinneedd CChhaarraacctteerriizzaattiioonn,, ddiissccrriimmiinnaattiioonn,, aassssoocciiaattiioonn,,ccllaassssiiffiiccaattiioonn,, cclluusstteerriinngg,, ttrreenndd,, ddeevviiaattiioonn aanndd oouuttlliieerraannaallyyssiiss,, eettcc.. MMuullttiippllee//iinntteeggrraatteedd ffuunnccttiioonnss aanndd mmiinniinngg aatt mmuullttiipplleelleevveellssaannaallyyssiiss,, WWeebb mmiinniinngg,, WWeebblloogg aannaallyyssiiss,, eettcc.. 38. DDaattaa MMiinniinngg:: CCllaassssiiffiiccaattiioonn SScchheemmeessTTeecchhnniiqquueess uuttiilliizzeedd DDaattaabbaassee--oorriieenntteedd,, ddaattaa wwaarreehhoouussee((OOLLAAPP)),, mmaacchhiinnee lleeaarrnniinngg,, ssttaattiissttiiccss,,vviissuuaalliizzaattiioonn,, nneeuurraall nneettwwoorrkk,, eettcc..AApppplliiccaattiioonnss aaddaapptteedd RReettaaiill,, tteelleeccoommmmuunniiccaattiioonn,, bbaannkkiinngg,,ffrraauudd aannaallyyssiiss,, DDNNAA mmiinniinngg,, ssttoocckkmmaarrkkeett 39. LLeeccttuurree--66MMaajjoorr IIssssuueess iinn DDaattaa MMiinniinngg 40. Major IIssssuueess iinn DDaattaa MMiinniinnggMMiinniinngg mmeetthhooddoollooggyy aanndd uusseerr iinntteerraaccttiioonn iissssuueess MMiinniinngg ddiiffffeerreenntt kkiinnddss ooff kknnoowwlleeddggee iinn ddaattaabbaasseess IInntteerraaccttiivvee mmiinniinngg ooff kknnoowwlleeddggee aatt mmuullttiippllee lleevveellss ooffaabbssttrraaccttiioonn IInnccoorrppoorraattiioonn ooff bbaacckkggrroouunndd kknnoowwlleeddggee DDaattaa mmiinniinngg qquueerryy llaanngguuaaggeess aanndd aadd--hhoocc ddaattaa mmiinniinngg EExxpprreessssiioonn aanndd vviissuuaalliizzaattiioonn ooff ddaattaa mmiinniinngg rreessuullttss HHaannddlliinngg nnooiissee aanndd iinnccoommpplleettee ddaattaa PPaatttteerrnn eevvaalluuaattiioonn:: tthhee iinntteerreessttiinnggnneessss pprroobblleemm 41. Major IIssssuueess iinn DDaattaa MMiinniinnggPPeerrffoorrmmaannccee iissssuueess EEffffiicciieennccyy aanndd ssccaallaabbiilliittyy ooff ddaattaa mmiinniinnggaallggoorriitthhmmss PPaarraalllleell,, ddiissttrriibbuutteedd aanndd iinnccrreemmeennttaall mmiinniinnggmmeetthhooddss 42. MMaajjoorr IIssssuueess iinn DDaattaa MMiinniinnggIIssssuueess rreellaattiinngg ttoo tthhee ddiivveerrssiittyy ooff ddaattaa ttyyppeess HHaannddlliinngg rreellaattiioonnaall aanndd ccoommpplleexx ttyyppeess ooff ddaattaa MMiinniinngg iinnffoorrmmaattiioonn ffrroomm hheetteerrooggeenneeoouussddaattaabbaasseess aanndd gglloobbaall iinnffoorrmmaattiioonn ssyysstteemmss((WWWWWW)) 43. LLeeccttuurree--77WWhhaatt iiss DDaattaa WWaarreehhoouussee?? 44. WWhhaatt iiss DDaattaa WWaarreehhoouussee??DDeeffiinneedd iinn mmaannyy ddiiffffeerreenntt wwaayyss AA ddeecciissiioonn ssuuppppoorrtt ddaattaabbaassee tthhaatt iiss mmaaiinnttaaiinneeddsseeppaarraatteellyy ffrroomm tthhee oorrggaanniizzaattiioonnss ooppeerraattiioonnaallddaattaabbaassee SSuuppppoorrtt iinnffoorrmmaattiioonn pprroocceessssiinngg bbyy pprroovviiddiinngg aa ssoolliiddppllaattffoorrmm ooff ccoonnssoolliiddaatteedd,, hhiissttoorriiccaall ddaattaa ffoorr aannaallyyssiiss..AA ddaattaa wwaarreehhoouussee iiss aa ssuubbjjeecctt--oorriieenntteedd,, iinntteeggrraatteedd,,ttiimmee--vvaarriiaanntt,, aanndd nnoonnvvoollaattiillee ccoolllleeccttiioonn ooff ddaattaa iinn ssuuppppoorrttooff mmaannaaggeemmeennttss ddeecciissiioonn--mmaakkiinngg pprroocceessss..WW.. HH..IInnmmoonnDDaattaa wwaarreehhoouussiinngg:: TThhee pprroocceessss ooff ccoonnssttrruuccttiinngg aanndd uussiinngg ddaattaawwaarreehhoouusseess 45. DDaattaa WWaarreehhoouusseeSSuubbjjeecctt--OOrriieenntteeddOOrrggaanniizzeedd aarroouunndd mmaajjoorr ssuubbjjeeccttss,, ssuucchh aass ccuussttoommeerr,,pprroodduucctt,, ssaalleess..FFooccuussiinngg oonn tthhee mmooddeelliinngg aanndd aannaallyyssiiss ooff ddaattaa ffoorrddeecciissiioonn mmaakkeerrss,, nnoott oonn ddaaiillyy ooppeerraattiioonnss oorr ttrraannssaaccttiioonnpprroocceessssiinngg..PPrroovviiddee aa ssiimmppllee aanndd ccoonncciissee vviieeww aarroouunndd ppaarrttiiccuullaarrssuubbjjeecctt iissssuueess bbyy eexxcclluuddiinngg ddaattaa tthhaatt aarree nnoott uusseeffuull iinn tthheeddeecciissiioonn ssuuppppoorrtt pprroocceessss.. 46. DDaattaa WWaarreehhoouusseeIInntteeggrraatteeddCCoonnssttrruucctteedd bbyy iinntteeggrraattiinngg mmuullttiippllee,,hheetteerrooggeenneeoouuss ddaattaa ssoouurrcceess rreellaattiioonnaall ddaattaabbaasseess,, ffllaatt ffiilleess,, oonn--lliinnee ttrraannssaaccttiioonnrreeccoorrddssDDaattaa cclleeaanniinngg aanndd ddaattaa iinntteeggrraattiioonn tteecchhnniiqquueessaarree aapppplliieedd.. EEnnssuurree ccoonnssiisstteennccyy iinn nnaammiinngg ccoonnvveennttiioonnss,,eennccooddiinngg ssttrruuccttuurreess,, aattttrriibbuuttee mmeeaassuurreess,, eettcc.. aammoonnggddiiffffeerreenntt ddaattaa ssoouurrcceessEE..gg..,, HHootteell pprriiccee:: ccuurrrreennccyy,, ttaaxx,, bbrreeaakkffaasstt ccoovveerreedd,, eettcc.. WWhheenn ddaattaa iiss mmoovveedd ttoo tthhee wwaarreehhoouussee,, iitt iissccoonnvveerrtteedd.. 47. DDaattaa WWaarreehhoouusseeTTiimmeeVVaarriiaannttTThhee ttiimmee hhoorriizzoonn ffoorr tthhee ddaattaa wwaarreehhoouussee iissssiiggnniiffiiccaannttllyy lloonnggeerr tthhaann tthhaatt ooff ooppeerraattiioonnaallssyysstteemmss.. OOppeerraattiioonnaall ddaattaabbaassee:: ccuurrrreenntt vvaalluuee ddaattaa.. DDaattaa wwaarreehhoouussee ddaattaa:: pprroovviiddee iinnffoorrmmaattiioonn ffrroomm aahhiissttoorriiccaall ppeerrssppeeccttiivvee ((ee..gg..,, ppaasstt 55--1100 yyeeaarrss))EEvveerryy kkeeyy ssttrruuccttuurree iinn tthhee ddaattaa wwaarreehhoouussee CCoonnttaaiinnss aann eelleemmeenntt ooff ttiimmee,, eexxpplliicciittllyy oorr iimmpplliicciittllyy BBuutt tthhee kkeeyy ooff ooppeerraattiioonnaall ddaattaa mmaayy oorr mmaayy nnoott ccoonnttaaiinnttiimmee eelleemmeenntt.. 48. DDaattaa WWaarreehhoouusseeNNoonn--VVoollaattiilleeAA pphhyyssiiccaallllyy sseeppaarraattee ssttoorree ooff ddaattaa ttrraannssffoorrmmeeddffrroomm tthhee ooppeerraattiioonnaall eennvviirroonnmmeenntt..OOppeerraattiioonnaall uuppddaattee ooff ddaattaa ddooeess nnoott ooccccuurr iinn tthheeddaattaa wwaarreehhoouussee eennvviirroonnmmeenntt.. DDooeess nnoott rreeqquuiirree ttrraannssaaccttiioonn pprroocceessssiinngg,, rreeccoovveerryy,,aanndd ccoonnccuurrrreennccyy ccoonnttrrooll mmeecchhaanniissmmss RReeqquuiirreess oonnllyy ttwwoo ooppeerraattiioonnss iinn ddaattaa aacccceessssiinngg::iinniittiiaall llooaaddiinngg ooff ddaattaa aanndd aacccceessss ooff ddaattaa.. 49. DDaattaa WWaarreehhoouussee vvss.. OOppeerraattiioonnaallDDBBMMSSDDiissttiinncctt ffeeaattuurreess ((OOLLTTPP vvss.. OOLLAAPP)):: UUsseerr aanndd ssyysstteemm oorriieennttaattiioonn:: ccuussttoommeerr vvss.. mmaarrkkeett DDaattaa ccoonntteennttss:: ccuurrrreenntt,, ddeettaaiilleedd vvss.. hhiissttoorriiccaall,,ccoonnssoolliiddaatteedd DDaattaabbaassee ddeessiiggnn:: EERR ++ aapppplliiccaattiioonn vvss.. ssttaarr ++ ssuubbjjeecctt VViieeww:: ccuurrrreenntt,, llooccaall vvss.. eevvoolluuttiioonnaarryy,, iinntteeggrraatteedd AAcccceessss ppaatttteerrnnss:: uuppddaattee vvss.. rreeaadd--oonnllyy bbuutt ccoommpplleexxqquueerriieess 50. Data Warehouse vvss.. OOppeerraattiioonnaallDDBBMMSSOOLLTTPP ((oonn--lliinnee ttrraannssaaccttiioonn pprroocceessssiinngg)) MMaajjoorr ttaasskk ooff ttrraaddiittiioonnaall rreellaattiioonnaall DDBBMMSS DDaayy--ttoo--ddaayy ooppeerraattiioonnss:: ppuurrcchhaassiinngg,, iinnvveennttoorryy,, bbaannkkiinngg,,mmaannuuffaaccttuurriinngg,, ppaayyrroollll,, rreeggiissttrraattiioonn,, aaccccoouunnttiinngg,, eettcc..OOLLAAPP ((oonn--lliinnee aannaallyyttiiccaall pprroocceessssiinngg)) MMaajjoorr ttaasskk ooff ddaattaa wwaarreehhoouussee ssyysstteemm DDaattaa aannaallyyssiiss aanndd ddeecciissiioonn mmaakkiinngg 51. OOLLTTPP vvss.. OOLLAAPPOLTP OLAPusers clerk, IT professional knowledge workerfunction day to day operations decision supportDB design application-oriented subject-orienteddata current, up-to-datedetailed, flat relationalisolatedhistorical,summarized, multidimensionalintegrated, consolidatedusage repetitive ad-hocaccess read/writeindex/hash on prim. keylots of scansunit of work short, simple transaction complex query# records accessed tens millions#users thousands hundredsDB size 100MB-GB 100GB-TBmetric transaction throughput query throughput, response 52. Why Separate DDaattaa WWaarreehhoouussee??HHiigghh ppeerrffoorrmmaannccee ffoorr bbootthh ssyysstteemmss DDBBMMSS ttuunneedd ffoorr OOLLTTPP:: aacccceessss mmeetthhooddss,,iinnddeexxiinngg,, ccoonnccuurrrreennccyy ccoonnttrrooll,, rreeccoovveerryy WWaarreehhoouusseettuunneedd ffoorr OOLLAAPP:: ccoommpplleexx OOLLAAPPqquueerriieess,, mmuullttiiddiimmeennssiioonnaall vviieeww,, ccoonnssoolliiddaattiioonn.. 53. Why Separate DDaattaa WWaarreehhoouussee??DDiiffffeerreenntt ffuunnccttiioonnss aanndd ddiiffffeerreenntt ddaattaa:: mmiissssiinngg ddaattaa:: DDeecciissiioonn ssuuppppoorrtt rreeqquuiirreesshhiissttoorriiccaall ddaattaa wwhhiicchh ooppeerraattiioonnaall DDBBss ddoo nnoottttyyppiiccaallllyy mmaaiinnttaaiinn ddaattaa ccoonnssoolliiddaattiioonn:: DDSS rreeqquuiirreess ccoonnssoolliiddaattiioonn((aaggggrreeggaattiioonn,, ssuummmmaarriizzaattiioonn)) ooff ddaattaa ffrroommhheetteerrooggeenneeoouuss ssoouurrcceess ddaattaa qquuaalliittyy:: ddiiffffeerreenntt ssoouurrcceess ttyyppiiccaallllyy uusseeiinnccoonnssiisstteenntt ddaattaa rreepprreesseennttaattiioonnss,, ccooddeess aannddffoorrmmaattss wwhhiicchh hhaavvee ttoo bbee rreeccoonncciilleedd 54. LLeeccttuurree--88AA mmuullttii--ddiimmeennssiioonnaall ddaattaa mmooddeell 55. CCuubbee:: AA LLaattttiiccee ooffCCuubbooiiddssalltime item location suppliertime,item time,locationitem,locationtime,supplieritem,supplierlocation,suppliertime,item,locationtime,location,suppliertime,item,supplieritem,location,suppliertime, item, location, supplier0-D(apex) cuboid1-D cuboids2-D cuboids3-D cuboids4-D(base) cuboid 56. M Conceptual Mooddeelliinngg ooff DDaattaaWWaarreehhoouusseessMMooddeelliinngg ddaattaa wwaarreehhoouusseess:: ddiimmeennssiioonnss && mmeeaassuurreess SSttaarr sscchheemmaa:: AA ffaacctt ttaabbllee iinn tthhee mmiiddddllee ccoonnnneecctteedd ttoo aasseett ooff ddiimmeennssiioonn ttaabblleess SSnnoowwffllaakkee sscchheemmaa:: AA rreeffiinneemmeenntt ooff ssttaarr sscchheemmaawwhheerree ssoommee ddiimmeennssiioonnaall hhiieerraarrcchhyy iiss nnoorrmmaalliizzeedd iinnttoo aasseett ooff ssmmaalllleerr ddiimmeennssiioonn ttaabblleess,, ffoorrmmiinngg aa sshhaappeessiimmiillaarr ttoo ssnnoowwffllaakkee FFaacctt ccoonnsstteellllaattiioonnss:: MMuullttiippllee ffaacctt ttaabblleess sshhaarreeddiimmeennssiioonn ttaabblleess,, vviieewweedd aass aa ccoolllleeccttiioonn ooff ssttaarrss,,tthheerreeffoorree ccaalllleedd ggaallaaxxyy sscchheemmaa oorr ffaacctt ccoonnsstteellllaattiioonn 57. EExxaammppllee ooff SSttaarr SScchheemmaatimetime_keydayday_of_the_weekmonthquarteryearitemlocationlocation_keystreetcityprovince_or_streetcountrySales Fact Tabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typebranchbranch_keybranch_namebranch_type 58. EExxaammppllee ooff SSnnoowwffllaakkeeSScchheemmaatimetime_keydayday_of_the_weekmonthquarteryearitemlocationlocation_keystreetcity_keySales Fact Tabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keybranchbranch_keybranch_namebranch_typesuppliersupplier_keysupplier_typecitycity_keycityprovince_or_streetcountry 59. EExxaammppllee ooff FFaaccttCCoonnsstteellllaattiioonntimetime_keydayday_of_the_weekmonthquarteryearitemlocationlocation_keystreetcityprovince_or_streetcountrySales Fact Tabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typebranchbranch_keybranch_namebranch_typeShipping Fact Tabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shippedshippershipper_keyshipper_namelocation_keyshipper_type 60. AA DDaattaa MMiinniinngg QQuueerryy LLaanngguuaaggee,, DDMMQQLL::LLaanngguuaaggee PPrriimmiittiivveessCCuubbee DDeeffiinniittiioonn ((FFaacctt TTaabbllee))ddeeffiinnee ccuubbee [[]]::DDiimmeennssiioonn DDeeffiinniittiioonn (( DDiimmeennssiioonn TTaabbllee ))ddeeffiinnee ddiimmeennssiioonn aass(())SSppeecciiaall CCaassee ((SShhaarreedd DDiimmeennssiioonn TTaabblleess)) FFiirrsstt ttiimmee aass ccuubbee ddeeffiinniittiioonn ddeeffiinnee ddiimmeennssiioonn aass iinn ccuubbee 61. DDeeffiinniinngg aa SSttaarr SScchheemmaa iinnDDMMQQLLddeeffiinnee ccuubbee ssaalleess__ssttaarr [[ttiimmee,, iitteemm,, bbrraanncchh,, llooccaattiioonn]]::ddoollllaarrss__ssoolldd == ssuumm((ssaalleess__iinn__ddoollllaarrss)),, aavvgg__ssaalleess ==aavvgg((ssaalleess__iinn__ddoollllaarrss)),, uunniittss__ssoolldd == ccoouunntt((**))ddeeffiinnee ddiimmeennssiioonn ttiimmee aass ((ttiimmee__kkeeyy,, ddaayy,, ddaayy__ooff__wweeeekk,,mmoonntthh,, qquuaarrtteerr,, yyeeaarr))ddeeffiinnee ddiimmeennssiioonn iitteemm aass ((iitteemm__kkeeyy,, iitteemm__nnaammee,, bbrraanndd,,ttyyppee,, ssuupppplliieerr__ttyyppee))ddeeffiinnee ddiimmeennssiioonn bbrraanncchh aass ((bbrraanncchh__kkeeyy,, bbrraanncchh__nnaammee,,bbrraanncchh__ttyyppee))ddeeffiinnee ddiimmeennssiioonn llooccaattiioonn aass ((llooccaattiioonn__kkeeyy,, ssttrreeeett,, cciittyy,,pprroovviinnccee__oorr__ssttaattee,, ccoouunnttrryy)) 62. DDeeffiinniinngg aa SSnnoowwffllaakkee SScchheemmaa iinn DDMMQQLLddeeffiinnee ccuubbee ssaalleess__ssnnoowwffllaakkee [[ttiimmee,, iitteemm,, bbrraanncchh,,llooccaattiioonn]]::ddoollllaarrss__ssoolldd == ssuumm((ssaalleess__iinn__ddoollllaarrss)),, aavvgg__ssaalleess ==aavvgg((ssaalleess__iinn__ddoollllaarrss)),, uunniittss__ssoolldd == ccoouunntt((**))ddeeffiinnee ddiimmeennssiioonn ttiimmee aass ((ttiimmee__kkeeyy,, ddaayy,,ddaayy__ooff__wweeeekk,, mmoonntthh,, qquuaarrtteerr,, yyeeaarr))ddeeffiinnee ddiimmeennssiioonn iitteemm aass ((iitteemm__kkeeyy,, iitteemm__nnaammee,,bbrraanndd,, ttyyppee,, ssuupppplliieerr((ssuupppplliieerr__kkeeyy,, ssuupppplliieerr__ttyyppee)))) 63. DDeeffiinniinngg aa SSnnoowwffllaakkee SScchheemmaa iinn DDMMQQLLddeeffiinnee ddiimmeennssiioonn bbrraanncchh aass ((bbrraanncchh__kkeeyy,,bbrraanncchh__nnaammee,, bbrraanncchh__ttyyppee))ddeeffiinnee ddiimmeennssiioonn llooccaattiioonn aass ((llooccaattiioonn__kkeeyy,,ssttrreeeett,, cciittyy((cciittyy__kkeeyy,, pprroovviinnccee__oorr__ssttaattee,,ccoouunnttrryy)))) 64. DDeeffiinniinngg aa FFaacctt CCoonnsstteellllaattiioonn iinn DDMMQQLLddeeffiinnee ccuubbee ssaalleess [[ttiimmee,, iitteemm,, bbrraanncchh,, llooccaattiioonn]]::ddoollllaarrss__ssoolldd == ssuumm((ssaalleess__iinn__ddoollllaarrss)),, aavvgg__ssaalleess ==aavvgg((ssaalleess__iinn__ddoollllaarrss)),, uunniittss__ssoolldd == ccoouunntt((**))ddeeffiinnee ddiimmeennssiioonn ttiimmee aass ((ttiimmee__kkeeyy,, ddaayy,, ddaayy__ooff__wweeeekk,, mmoonntthh,,qquuaarrtteerr,, yyeeaarr))ddeeffiinnee ddiimmeennssiioonn iitteemm aass ((iitteemm__kkeeyy,, iitteemm__nnaammee,, bbrraanndd,, ttyyppee,,ssuupppplliieerr__ttyyppee))ddeeffiinnee ddiimmeennssiioonn bbrraanncchh aass ((bbrraanncchh__kkeeyy,, bbrraanncchh__nnaammee,,bbrraanncchh__ttyyppee))ddeeffiinnee ddiimmeennssiioonn llooccaattiioonn aass ((llooccaattiioonn__kkeeyy,, ssttrreeeett,, cciittyy,,pprroovviinnccee__oorr__ssttaattee,, ccoouunnttrryy)) 65. DDeeffiinniinngg aa FFaacctt CCoonnsstteellllaattiioonn iinn DDMMQQLLddeeffiinnee ccuubbee sshhiippppiinngg [[ttiimmee,, iitteemm,, sshhiippppeerr,, ffrroomm__llooccaattiioonn,,ttoo__llooccaattiioonn]]::ddoollllaarr__ccoosstt == ssuumm((ccoosstt__iinn__ddoollllaarrss)),, uunniitt__sshhiippppeedd ==ccoouunntt((**))ddeeffiinnee ddiimmeennssiioonn ttiimmee aass ttiimmee iinn ccuubbee ssaalleessddeeffiinnee ddiimmeennssiioonn iitteemm aass iitteemm iinn ccuubbee ssaalleessddeeffiinnee ddiimmeennssiioonn sshhiippppeerr aass ((sshhiippppeerr__kkeeyy,, sshhiippppeerr__nnaammee,,llooccaattiioonn aass llooccaattiioonn iinn ccuubbee ssaalleess,, sshhiippppeerr__ttyyppee))ddeeffiinnee ddiimmeennssiioonn ffrroomm__llooccaattiioonn aass llooccaattiioonn iinn ccuubbee ssaalleessddeeffiinnee ddiimmeennssiioonn ttoo__llooccaattiioonn aass llooccaattiioonn iinn ccuubbee ssaalleess 66. MMeeaassuurreess:: TThhrreeee CCaatteeggoorriieessddiissttrriibbuuttiivvee:: iiff tthhee rreessuulltt ddeerriivveedd bbyy aappppllyyiinngg tthheeffuunnccttiioonn ttoo nn aaggggrreeggaattee vvaalluueess iiss tthhee ssaammee aasstthhaatt ddeerriivveedd bbyy aappppllyyiinngg tthhee ffuunnccttiioonn oonn aallll tthheeddaattaa wwiitthhoouutt ppaarrttiittiioonniinngg..EE..gg..,, ccoouunntt(()),, ssuumm(()),, mmiinn(()),, mmaaxx(())..aallggeebbrraaiicc:: iiff iitt ccaann bbee ccoommppuutteedd bbyy aann aallggeebbrraaiiccffuunnccttiioonn wwiitthh MM aarrgguummeennttss ((wwhheerree MM iiss aabboouunnddeedd iinntteeggeerr)),, eeaacchh ooff wwhhiicchh iiss oobbttaaiinneedd bbyyaappppllyyiinngg aa ddiissttrriibbuuttiivvee aaggggrreeggaattee ffuunnccttiioonn..EE..gg..,, aavvgg(()),, mmiinn__NN(()),, ssttaannddaarrdd__ddeevviiaattiioonn(()).. 67. MMeeaassuurreess:: TThhrreeee CCaatteeggoorriieesshhoolliissttiicc:: iiff tthheerree iiss nnoo ccoonnssttaanntt bboouunndd oonntthhee ssttoorraaggee ssiizzee nneeeeddeedd ttoo ddeessccrriibbee aa ssuubbaaggggrreeggaattee..EE..gg..,, mmeeddiiaann(()),, mmooddee(()),, rraannkk(()).. 68. A CCoonncceepptt HHiieerraarrcchhyy:: DDiimmeennssiioonn ((llooccaattiioonn))allEurope ...North_AmericaGermany ... Spain Canada ...Mexico... Vancouver...city Frankfurt TorontoL. Chan ...M. Windallregioncountryoffice 69. MMuullttiiddiimmeennssiioonnaall DDaattaaSSaalleess vvoolluummee aass aa ffuunnccttiioonn ooff pprroodduucctt,,mmoonntthh,, aanndd rreeggiioonnRegionProductMonthDimensions: Product, Location, TimeHierarchical summarization pathsIndustry Region YearCategory Country QuarterProduct City Month WeekOffice Day 70. AA SSaammppllee DDaattaa CCuubbeeTotal annual salesof TV in U.S.A.DateProductCountrysumsumTVPCVCR1Qtr 2Qtr 3Qtr 4QtrU.S.ACanadaMexicosum 71. CCuubbooiiddss CCoorrrreessppoonnddiinngg ttoo tthheeCCuubbeeallproduct date countryproduct,date product,country date, countryproduct, date, country0-D(apex) cuboid1-D cuboids2-D cuboids3-D(base) cuboid 72. OOLLAAPP OOppeerraattiioonnssRRoollll uupp ((ddrriillll--uupp)):: ssuummmmaarriizzee ddaattaa bbyy cclliimmbbiinngg uupp hhiieerraarrcchhyy oorr bbyyddiimmeennssiioonn rreedduuccttiioonnDDrriillll ddoowwnn ((rroollll ddoowwnn)):: rreevveerrssee ooff rroollll--uupp ffrroomm hhiigghheerr lleevveell ssuummmmaarryy ttoo lloowweerrlleevveell ssuummmmaarryy oorr ddeettaaiilleedd ddaattaa,, oorriinnttrroodduucciinngg nneeww ddiimmeennssiioonnssSSlliiccee aanndd ddiiccee:: pprroojjeecctt aanndd sseelleecctt 73. OOLLAAPP OOppeerraattiioonnssPPiivvoott ((rroottaattee)):: rreeoorriieenntt tthhee ccuubbee,, vviissuuaalliizzaattiioonn,, 33DD ttoosseerriieess ooff 22DD ppllaanneess..OOtthheerr ooppeerraattiioonnss ddrriillll aaccrroossss:: iinnvvoollvviinngg ((aaccrroossss)) mmoorreetthhaann oonnee ffaacctt ttaabbllee ddrriillll tthhrroouugghh:: tthhrroouugghh tthhee bboottttoomm lleevveellooff tthhee ccuubbee ttoo iittss bbaacckk--eenndd rreellaattiioonnaallttaabblleess ((uussiinngg SSQQLL)) 74. LLeeccttuurree--99DDaattaa wwaarreehhoouussee aarrcchhiitteeccttuurree 75. Steps ffoorr tthhee DDeessiiggnn aannddCCoonnssttrruuccttiioonn ooff DDaattaa WWaarreehhoouusseeTThhee ddeessiiggnn ooff aa ddaattaa wwaarreehhoouussee:: aabbuussiinneessss aannaallyyssiiss ffrraammeewwoorrkkTThhee pprroocceessss ooff ddaattaa wwaarreehhoouussee ddeessiiggnnAA tthhrreeee--ttiieerr ddaattaa wwaarree hhoouussee aarrcchhiitteeccttuurree 76. Design ooff aa DDaattaa WWaarreehhoouussee:: AA BBuussiinneessssAAnnaallyyssiiss FFrraammeewwoorrkkFFoouurr vviieewwss rreeggaarrddiinngg tthhee ddeessiiggnn ooff aa ddaattaawwaarreehhoouussee TToopp--ddoowwnn vviieewwaalllloowwss sseelleeccttiioonn ooff tthhee rreelleevvaanntt iinnffoorrmmaattiioonnnneecceessssaarryy ffoorr tthhee ddaattaa wwaarreehhoouussee 77. Design ooff aa DDaattaa WWaarreehhoouussee:: AA BBuussiinneessssAAnnaallyyssiiss FFrraammeewwoorrkk DDaattaa wwaarreehhoouussee vviieewwccoonnssiissttss ooff ffaacctt ttaabblleess aanndd ddiimmeennssiioonn ttaabblleess DDaattaa ssoouurrccee vviieewweexxppoosseess tthhee iinnffoorrmmaattiioonn bbeeiinngg ccaappttuurreedd,, ssttoorreedd,,aanndd mmaannaaggeedd bbyy ooppeerraattiioonnaall ssyysstteemmss BBuussiinneessss qquueerryy vviieewwsseeeess tthhee ppeerrssppeeccttiivveess 78. DDaattaa WWaarreehhoouussee DDeessiiggnn PPrroocceessssTToopp--ddoowwnn,, bboottttoomm--uupp aapppprrooaacchheess oorr aaccoommbbiinnaattiioonn ooff bbootthh TToopp--ddoowwnn:: SSttaarrttss wwiitthh oovveerraallll ddeessiiggnn aanndd ppllaannnniinngg((mmaattuurree)) BBoottttoomm--uupp:: SSttaarrttss wwiitthh eexxppeerriimmeennttss aanndd pprroottoottyyppeess((rraappiidd))FFrroomm ssooffttwwaarree eennggiinneeeerriinngg ppooiinntt ooff vviieeww WWaatteerrffaallll:: ssttrruuccttuurreedd aanndd ssyysstteemmaattiicc aannaallyyssiiss aatt eeaacchhsstteepp bbeeffoorree pprroocceeeeddiinngg ttoo tthhee nneexxtt SSppiirraall:: rraappiidd ggeenneerraattiioonn ooff iinnccrreeaassiinnggllyy ffuunnccttiioonnaallssyysstteemmss,, sshhoorrtt ttuurrnn aarroouunndd ttiimmee,, qquuiicckk ttuurrnn aarroouunndd 79. DDaattaa WWaarreehhoouussee DDeessiiggnn PPrroocceessssTTyyppiiccaall ddaattaa wwaarreehhoouussee ddeessiiggnn pprroocceessss CChhoooossee aa bbuussiinneessss pprroocceessss ttoo mmooddeell,, ee..gg..,,oorrddeerrss,, iinnvvooiicceess,, eettcc.. CChhoooossee tthhee ggrraaiinn ((aattoommiicc lleevveell ooff ddaattaa)) ooff tthheebbuussiinneessss pprroocceessss CChhoooossee tthhee ddiimmeennssiioonnss tthhaatt wwiillll aappppllyy ttoo eeaacchhffaacctt ttaabbllee rreeccoorrdd CChhoooossee tthhee mmeeaassuurree tthhaatt wwiillll ppooppuullaattee eeaacchhffaacctt ttaabbllee rreeccoorrdd 80. MMuullttii--TTiieerreedd AArrcchhiitteeccttuurreeDataWarehouseExtractTransformLoadRefreshServeOLAP EngineAnalysisQueryReportsData miningMonitor&IntegratorMetadataData MartsothersourcesOperationalDBsData Sources Data StorageFront-End ToolsOLAP Server 81. MMeettaaddaattaa RReeppoossiittoorryyMMeettaa ddaattaa iiss tthhee ddaattaa ddeeffiinniinngg wwaarreehhoouussee oobbjjeeccttss.. IItt hhaasstthhee ffoolllloowwiinngg kkiinnddss DDeessccrriippttiioonn ooff tthhee ssttrruuccttuurree ooff tthhee wwaarreehhoouusseesscchheemmaa,, vviieeww,, ddiimmeennssiioonnss,, hhiieerraarrcchhiieess,, ddeerriivveedd ddaattaa ddeeffnn,, ddaattaa mmaarrttllooccaattiioonnss aanndd ccoonntteennttss OOppeerraattiioonnaall mmeettaa--ddaattaaddaattaa lliinneeaaggee ((hhiissttoorryy ooff mmiiggrraatteedd ddaattaa aanndd ttrraannssffoorrmmaattiioonn ppaatthh)),,ccuurrrreennccyy ooff ddaattaa ((aaccttiivvee,, aarrcchhiivveedd,, oorr ppuurrggeedd)),, mmoonniittoorriinngg iinnffoorrmmaattiioonn((wwaarreehhoouussee uussaaggee ssttaattiissttiiccss,, eerrrroorr rreeppoorrttss,, aauuddiitt ttrraaiillss)) TThhee aallggoorriitthhmmss uusseedd ffoorr ssuummmmaarriizzaattiioonn TThhee mmaappppiinngg ffrroomm ooppeerraattiioonnaall eennvviirroonnmmeenntt ttoo tthhee ddaattaa wwaarreehhoouussee DDaattaa rreellaatteedd ttoo ssyysstteemm ppeerrffoorrmmaanncceewwaarreehhoouussee sscchheemmaa,, vviieeww aanndd ddeerriivveedd ddaattaa ddeeffiinniittiioonnss BBuussiinneessss ddaattaabbuussiinneessss tteerrmmss aanndd ddeeffiinniittiioonnss,, oowwnneerrsshhiipp ooff ddaattaa,, cchhaarrggiinngg ppoolliicciieess 82. Data Warehouse BBaacckk--EEnndd TToooollss aanndd UUttiilliittiieessDDaattaa eexxttrraaccttiioonn:: ggeett ddaattaa ffrroomm mmuullttiippllee,, hheetteerrooggeenneeoouuss,, aanndd eexxtteerrnnaallssoouurrcceessDDaattaa cclleeaanniinngg:: ddeetteecctt eerrrroorrss iinn tthhee ddaattaa aanndd rreeccttiiffyy tthheemm wwhheennppoossssiibblleeDDaattaa ttrraannssffoorrmmaattiioonn:: ccoonnvveerrtt ddaattaa ffrroomm lleeggaaccyy oorr hhoosstt ffoorrmmaatt ttoo wwaarreehhoouusseeffoorrmmaattLLooaadd:: ssoorrtt,, ssuummmmaarriizzee,, ccoonnssoolliiddaattee,, ccoommppuuttee vviieewwss,, cchheecckkiinntteeggrriittyy,, aanndd bbuuiilldd iinnddiicceess aanndd ppaarrttiittiioonnssRReeffrreesshh pprrooppaaggaattee tthhee uuppddaatteess ffrroomm tthhee ddaattaa ssoouurrcceess ttoo tthheewwaarreehhoouussee 83. TThhrreeee DDaattaa WWaarreehhoouussee MMooddeellssEEnntteerrpprriissee wwaarreehhoouussee ccoolllleeccttss aallll ooff tthhee iinnffoorrmmaattiioonn aabboouutt ssuubbjjeeccttss ssppaannnniinnggtthhee eennttiirree oorrggaanniizzaattiioonnDDaattaa MMaarrtt aa ssuubbsseett ooff ccoorrppoorraattee--wwiiddee ddaattaa tthhaatt iiss ooff vvaalluuee ttoo aassppeecciiffiicc ggrroouuppss ooff uusseerrss.. IIttss ssccooppee iiss ccoonnffiinneedd ttoossppeecciiffiicc,, sseelleecctteedd ggrroouuppss,, ssuucchh aass mmaarrkkeettiinngg ddaattaa mmaarrttIInnddeeppeennddeenntt vvss.. ddeeppeennddeenntt ((ddiirreeccttllyy ffrroomm wwaarreehhoouussee))ddaattaa mmaarrttVViirrttuuaall wwaarreehhoouussee AA sseett ooff vviieewwss oovveerr ooppeerraattiioonnaall ddaattaabbaasseess OOnnllyy ssoommee ooff tthhee ppoossssiibbllee ssuummmmaarryy vviieewwss mmaayy bbeemmaatteerriiaalliizzeedd 84. DDaattaa WWaarreehhoouussee DDeevveellooppmmeenntt:: AARReeccoommmmeennddeedd AApppprrooaacchhDataMartDistributedData MartsDataMartMulti-Tier DataWarehouseEnterpriseDataWarehouseModel refinement Model refinementDefine a high-level corporate data model 85. TTyyppeess ooff OOLLAAPP SSeerrvveerrssRReellaattiioonnaall OOLLAAPP ((RROOLLAAPP)) UUssee rreellaattiioonnaall oorr eexxtteennddeedd--rreellaattiioonnaall DDBBMMSS ttoo ssttoorreeaanndd mmaannaaggee wwaarreehhoouussee ddaattaa aanndd OOLLAAPP mmiiddddllee wwaarreettoo ssuuppppoorrtt mmiissssiinngg ppiieecceess IInncclluuddee ooppttiimmiizzaattiioonn ooff DDBBMMSS bbaacckkeenndd,,iimmpplleemmeennttaattiioonn ooff aaggggrreeggaattiioonn nnaavviiggaattiioonn llooggiicc,, aannddaaddddiittiioonnaall ttoooollss aanndd sseerrvviicceess ggrreeaatteerr ssccaallaabbiilliittyyMMuullttiiddiimmeennssiioonnaall OOLLAAPP ((MMOOLLAAPP)) AArrrraayy--bbaasseedd mmuullttiiddiimmeennssiioonnaall ssttoorraaggee eennggiinnee ((ssppaarrsseemmaattrriixx tteecchhnniiqquueess)) ffaasstt iinnddeexxiinngg ttoo pprree--ccoommppuutteedd ssuummmmaarriizzeedd ddaattaa 86. TTyyppeess ooff OOLLAAPP SSeerrvveerrssHHyybbrriidd OOLLAAPP ((HHOOLLAAPP)) UUsseerr fflleexxiibbiilliittyy,, ee..gg..,, llooww lleevveell:: rreellaattiioonnaall,, hhiigghh--lleevveell:: aarrrraayySSppeecciiaalliizzeedd SSQQLL sseerrvveerrss ssppeecciiaalliizzeedd ssuuppppoorrtt ffoorr SSQQLL qquueerriieess oovveerrssttaarr//ssnnoowwffllaakkee sscchheemmaass 87. LLeeccttuurree--1100 && 1111DDaattaa wwaarreehhoouussee iimmpplleemmeennttaattiioonn 88. EEffffiicciieenntt DDaattaa CCuubbee CCoommppuuttaattiioonnDDaattaa ccuubbee ccaann bbee vviieewweedd aass aa llaattttiiccee ooff ccuubbooiiddss TThhee bboottttoomm--mmoosstt ccuubbooiidd iiss tthhee bbaassee ccuubbooiidd TThhee ttoopp--mmoosstt ccuubbooiidd ((aappeexx)) ccoonnttaaiinnss oonnllyy oonnee cceellll HHooww mmaannyy ccuubbooiiddss iinn aann nn--ddiimmeennssiioonnaall ccuubbee wwiitthh LLlleevveellss??ni i T L( + =1)1=MMaatteerriiaalliizzaattiioonn ooff ddaattaa ccuubbee MMaatteerriiaalliizzee eevveerryy ((ccuubbooiidd)) ((ffuullll mmaatteerriiaalliizzaattiioonn)),, nnoonnee((nnoo mmaatteerriiaalliizzaattiioonn)),, oorr ssoommee ((ppaarrttiiaall mmaatteerriiaalliizzaattiioonn)) SSeelleeccttiioonn ooff wwhhiicchh ccuubbooiiddss ttoo mmaatteerriiaalliizzeeBBaasseedd oonn ssiizzee,, sshhaarriinngg,, aacccceessss ffrreeqquueennccyy,, eettcc.. 89. CCuubbee OOppeerraattiioonnCCuubbee ddeeffiinniittiioonn aanndd ccoommppuuttaattiioonn iinn DDMMQQLLddeeffiinnee ccuubbee ssaalleess[[iitteemm,, cciittyy,, yyeeaarr]]:: ssuumm((ssaalleess__iinn__ddoollllaarrss))ccoommppuuttee ccuubbee ssaalleessTTrraannssffoorrmm iitt iinnttoo aa SSQQLL--lliikkee llaanngguuaaggee ((wwiitthh aa nneeww ooppeerraattoorrccuubbee bbyy,, iinnttrroodduucceedd bbyy GGrraayy eett aall..9966))SSEELLEECCTT iitteemm,, cciittyy,, yyeeaarr,, SSUUMM ((aammoouunntt))FFRROOMM SSAALLEESSCCUUBBEE BBYY iitteemm,, cciittyy,, yyeeaarr()(city) (item)NNeeeedd ccoommppuuttee tthhee ffoolllloowwiinngg GGrroouupp--BByyss((ddaattee,, pprroodduucctt,, ccuussttoommeerr)),,((ddaattee,,pprroodduucctt)),,((ddaattee,, ccuussttoommeerr)),, ((pprroodduucctt,, ccuussttoommeerr)),,((ddaattee)),, ((pprroodduucctt)),, ((ccuussttoommeerr))(())(year)(city, item) (city, year) (item, year)(city, item, year) 90. Cube Computation: RROOLLAAPP--BBaasseeddMMeetthhooddEEffffiicciieenntt ccuubbee ccoommppuuttaattiioonn mmeetthhooddss RROOLLAAPP--bbaasseedd ccuubbiinngg aallggoorriitthhmmss ((AAggaarrwwaall eett aall9966)) AArrrraayy--bbaasseedd ccuubbiinngg aallggoorriitthhmm ((ZZhhaaoo eett aall9977)) BBoottttoomm--uupp ccoommppuuttaattiioonn mmeetthhoodd ((BBaayyeerr && RRaammaarrkkrriisshhnnaann9999))RROOLLAAPP--bbaasseedd ccuubbiinngg aallggoorriitthhmmss SSoorrttiinngg,, hhaasshhiinngg,, aanndd ggrroouuppiinngg ooppeerraattiioonnss aarree aapppplliieedd ttoo tthheeddiimmeennssiioonn aattttrriibbuutteess iinn oorrddeerr ttoo rreeoorrddeerr aanndd cclluusstteerr rreellaatteeddttuupplleess GGrroouuppiinngg iiss ppeerrffoorrmmeedd oonn ssoommee ssuubb aaggggrreeggaatteess aass aa ppaarrttiiaallggrroouuppiinngg sstteepp AAggggrreeggaatteess mmaayy bbee ccoommppuutteedd ffrroomm pprreevviioouussllyy ccoommppuutteeddaaggggrreeggaatteess,, rraatthheerr tthhaann ffrroomm tthhee bbaassee ffaacctt ttaabbllee 91. Multi-wwaayy AArrrraayy AAggggrreeggaattiioonnffoorr CCuubbee CCoommppuuttaattiioonnPPaarrttiittiioonn aarrrraayyss iinnttoo cchhuunnkkss ((aa ssmmaallll ssuubb ccuubbee wwhhiicchh ffiittss iinnmmeemmoorryy))..CCoommpprreesssseedd ssppaarrssee aarrrraayy aaddddrreessssiinngg:: ((cchhuunnkk__iidd,, ooffffsseett))CCoommppuuttee aaggggrreeggaatteess iinn mmuullttii wwaayy bbyy vviissiittiinngg ccuubbee cceellllss iinntthhee oorrddeerr wwhhiicchh mmiinniimmiizzeess tthhee ## ooff ttiimmeess ttoo vviissiitt eeaacchh cceellll,,aanndd rreedduucceess mmeemmoorryy aacccceessss aanndd ssttoorraaggee ccoosstt.. 92. Multi-wwaayy AArrrraayy AAggggrreeggaattiioonnffoorr CCuubbee CCoommppuuttaattiioonnc361 62 63 6445 46 47 48c2c1c 0b3b2b1b013 14 15 16AB29 30 31 32951 2 3 4a0 a1a2 a3C446028 564024 523620B 93. MMuullttii--WWaayy AArrrraayy AAggggrreeggaattiioonn ffoorrCCuubbee CCoommppuuttaattiioonnMMeetthhoodd:: tthhee ppllaanneess sshhoouulldd bbee ssoorrtteedd aannddccoommppuutteedd aaccccoorrddiinngg ttoo tthheeiirr ssiizzee iinnaasscceennddiinngg oorrddeerr.. IIddeeaa:: kkeeeepp tthhee ssmmaalllleesstt ppllaannee iinn tthhee mmaaiinnmmeemmoorryy,, ffeettcchh aanndd ccoommppuuttee oonnllyy oonnee cchhuunnkkaatt aa ttiimmee ffoorr tthhee llaarrggeesstt ppllaanneeLLiimmiittaattiioonn ooff tthhee mmeetthhoodd:: ccoommppuuttiinngg wweelllloonnllyy ffoorr aa ssmmaallll nnuummbbeerr ooff ddiimmeennssiioonnss IIff tthheerree aarree aa llaarrggee nnuummbbeerr ooff ddiimmeennssiioonnss,,bboottttoomm--uupp ccoommppuuttaattiioonn aanndd iicceebbeerrgg ccuubbeeccoommppuuttaattiioonn mmeetthhooddss ccaann bbee eexxpplloorreedd 94. IInnddeexxiinngg OOLLAAPP DDaattaa:: BBiittmmaapp IInnddeexxIInnddeexx oonn aa ppaarrttiiccuullaarr ccoolluummnnEEaacchh vvaalluuee iinn tthhee ccoolluummnn hhaass aa bbiitt vveeccttoorr:: bbiitt--oopp iiss ffaassttTThhee lleennggtthh ooff tthhee bbiitt vveeccttoorr:: ## ooff rreeccoorrddss iinn tthhee bbaasseettaabblleeTThhee ii--tthh bbiitt iiss sseett iiff tthhee ii--tthh rrooww ooff tthhee bbaassee ttaabbllee hhaasstthhee vvaalluuee ffoorr tthhee iinnddeexxeedd ccoolluummnnnnoott ssuuiittaabbllee ffoorr hhiigghh ccaarrddiinnaalliittyy ddoommaaiinnssBase table Index on Region Index on TypeCust Region TypeC1 Asia RetailC2 Europe DealerC3 Asia DealerC4 America RetailC5 Europe DealerRecID Retail Dealer1 1 02 0 13 0 14 1 05 0 1RecIDAsia Europe America1 1 0 02 0 1 03 1 0 04 0 0 15 0 1 0 95. IInnddeexxiinngg OOLLAAPP DDaattaa:: JJooiinn IInnddiicceessJJooiinn iinnddeexx:: JJII((RR--iidd,, SS--iidd)) wwhheerree RR ((RR--iidd,,)) SS ((SS--iidd,, ))TTrraaddiittiioonnaall iinnddiicceess mmaapp tthhee vvaalluueess ttoo aalliisstt ooff rreeccoorrdd iiddss IItt mmaatteerriiaalliizzeess rreellaattiioonnaall jjooiinn iinn JJII ffiillee aannddssppeeeeddss uupp rreellaattiioonnaall jjooiinn aa rraatthheerr ccoossttllyyooppeerraattiioonnIInn ddaattaa wwaarreehhoouusseess,, jjooiinn iinnddeexx rreellaatteesstthhee vvaalluueess ooff tthhee ddiimmeennssiioonnss ooff aa ssttaarrttsscchheemmaa ttoo rroowwss iinn tthhee ffaacctt ttaabbllee.. EE..gg.. ffaacctt ttaabbllee:: SSaalleess aanndd ttwwoo ddiimmeennssiioonnss cciittyyaanndd pprroodduuccttAA jjooiinn iinnddeexx oonn cciittyy mmaaiinnttaaiinnss ffoorr eeaacchhddiissttiinncctt cciittyy aa lliisstt ooff RR--IIDDss ooff tthhee ttuupplleessrreeccoorrddiinngg tthhee SSaalleess iinn tthhee cciittyy JJooiinn iinnddiicceess ccaann ssppaann mmuullttiippllee ddiimmeennssiioonnss 96. EEffffiicciieenntt PPrroocceessssiinngg OOLLAAPP QQuueerriieessDDeetteerrmmiinnee wwhhiicchh ooppeerraattiioonnss sshhoouulldd bbee ppeerrffoorrmmeeddoonn tthhee aavvaaiillaabbllee ccuubbooiiddss:: ttrraannssffoorrmm ddrriillll,, rroollll,, eettcc.. iinnttoo ccoorrrreessppoonnddiinngg SSQQLL aanndd//oorrOOLLAAPP ooppeerraattiioonnss,, ee..gg,, ddiiccee == sseelleeccttiioonn ++ pprroojjeeccttiioonnDDeetteerrmmiinnee ttoo wwhhiicchh mmaatteerriiaalliizzeedd ccuubbooiidd((ss)) tthheerreelleevvaanntt ooppeerraattiioonnss sshhoouulldd bbee aapppplliieedd..EExxpplloorriinngg iinnddeexxiinngg ssttrruuccttuurreess aanndd ccoommpprreesssseedd vvss..ddeennssee aarrrraayy ssttrruuccttuurreess iinn MMOOLLAAPP 97. LLeeccttuurree--1122FFrroomm ddaattaa wwaarreehhoouussiinngg ttoo ddaattaammiinniinngg 98. DDaattaa WWaarreehhoouussee UUssaaggeeTThhrreeee kkiinnddss ooff ddaattaa wwaarreehhoouussee aapppplliiccaattiioonnss IInnffoorrmmaattiioonn pprroocceessssiinnggssuuppppoorrttss qquueerryyiinngg,, bbaassiicc ssttaattiissttiiccaall aannaallyyssiiss,, aanndd rreeppoorrttiinngguussiinngg ccrroossssttaabbss,, ttaabblleess,, cchhaarrttss aanndd ggrraapphhss AAnnaallyyttiiccaall pprroocceessssiinnggmmuullttiiddiimmeennssiioonnaall aannaallyyssiiss ooff ddaattaa wwaarreehhoouussee ddaattaassuuppppoorrttss bbaassiicc OOLLAAPP ooppeerraattiioonnss,, sslliiccee--ddiiccee,, ddrriilllliinngg,, ppiivvoottiinngg DDaattaa mmiinniinnggkknnoowwlleeddggee ddiissccoovveerryy ffrroomm hhiiddddeenn ppaatttteerrnnssssuuppppoorrttss aassssoocciiaattiioonnss,, ccoonnssttrruuccttiinngg aannaallyyttiiccaall mmooddeellss,,ppeerrffoorrmmiinngg ccllaassssiiffiiccaattiioonn aanndd pprreeddiiccttiioonn,, aanndd pprreesseennttiinngg tthheemmiinniinngg rreessuullttss uussiinngg vviissuuaalliizzaattiioonn ttoooollss..DDiiffffeerreenncceess aammoonngg tthhee tthhrreeee ttaasskkss 99. From OOnn--LLiinnee AAnnaallyyttiiccaall PPrroocceessssiinngg ttoo OOnnLLiinnee AAnnaallyyttiiccaall MMiinniinngg ((OOLLAAMM))WWhhyy oonnlliinnee aannaallyyttiiccaall mmiinniinngg?? HHiigghh qquuaalliittyy ooff ddaattaa iinn ddaattaa wwaarreehhoouusseessDDWW ccoonnttaaiinnss iinntteeggrraatteedd,, ccoonnssiisstteenntt,, cclleeaanneedd ddaattaa AAvvaaiillaabbllee iinnffoorrmmaattiioonn pprroocceessssiinngg ssttrruuccttuurree ssuurrrroouunnddiinngg ddaattaawwaarreehhoouusseessOODDBBCC,, OOLLEEDDBB,, WWeebb aacccceessssiinngg,, sseerrvviiccee ffaacciilliittiieess,, rreeppoorrttiinnggaanndd OOLLAAPP ttoooollss OOLLAAPP--bbaasseedd eexxpplloorraattoorryy ddaattaa aannaallyyssiissmmiinniinngg wwiitthh ddrriilllliinngg,, ddiicciinngg,, ppiivvoottiinngg,, eettcc.. OOnn--lliinnee sseelleeccttiioonn ooff ddaattaa mmiinniinngg ffuunnccttiioonnssiinntteeggrraattiioonn aanndd sswwaappppiinngg ooff mmuullttiippllee mmiinniinngg ffuunnccttiioonnss,,aallggoorriitthhmmss,, aanndd ttaasskkss..AArrcchhiitteeccttuurree ooff OOLLAAMM 100. AAnn OOLLAAMM AArrcchhiitteeccttuurreeMining query Mining resultMetaDataDataWarehouseMDDBOLAMEngineOLAPEngineUser GUI APIData Cube APIDatabase APIData cleaningData integrationLayer4User InterfaceLayer3OLAP/OLAMLayer2MDDBLayer1DataRepositoryFiltering&Integration FilteringDatabases