6 norman manley geen big data zonder small data

Geen Big Data zonder Small

Data

Norman Manley IT Analyst

Big Data -‐ een defini;e

Big data is de naam die wij geven aan een verzameling van gegevens die zo groot (en complex) is dat die niet meer te verwerken valt met tradi;onele IT applica;es. Over het algemeen is het volume minstens duizend keer groter dan tradi;onele data bronnen

© Decision Support Systems 2014

“Je kunt data hebben zonder informa;e, maar je kunt geen informa;e hebben zonder data." Daniel Keys Moran – Amerikaanse schrijver

Small Data -‐een defini;e

Data (small data) is synoniem voor gegevens; en Van Dale gedefinieerd dat als “bekende feiten waaruit je gevolgtrekkingen kunt maken”. Maar als de feiten niet juist zijn dan zullen wij verkeerde gevolgtrekkingen maken!


Factuur Datum Klant Land Euros excl BTW BTW Totaal Factuurnummer Betaling

22/01/2014 Mondea Netherlands 795.00 166.95 961.95 2014.416 iDeal24/01/2014 Physter Technology Czech Republic 795.00 0 795.00 2014.417 Visa27/01/2014 Copenhagen Airports A/S Denmark 795.00 166.95 961.95 2014.421 MC28/01/2014 Vista Group Finland 575.00 120.75 695.75 2014.423 MC07/02/2014 Global Information USA 709.01 0 709.01 2014.441 Invoice14/02/2014 DataPad Inc United States 795.00 0 795.00 2014.451 MC21/02/2014 Scrip Companies USA 795.00 795.00 2014.464 PayPal

Het doel van het werken met data ! het beschikbaar stellen van een consistente, accurate en ;jdige bron van verwerkte data die beslissingen ondersteunen

! het beschikbaar stellen van historische informa;e als enige basis voor vergelijkende en voorspellende analyses

! het integreren van data uit verschillende bronnen (zowel intern als extern)

! het creëren van “één bron van de waarheid” die wij nodig hebben om betere beslissingen te nemen


Waar komt de data vandaan?


Small Data -‐ gestructureerd !  Applica;es van de organisa;e !  Spreadsheets! Big Data – vaak ongestructureerd !  Processen van de organisa;e:

me;ngen, websites, apparatuur !  Communica;e:

e-‐mail, rapporten, presenta;es !  Sociale media:

Facebook, LinkedIn, Twicer !  Sensoren:

temperatuur, weer, files, regen !  Archieven:

oude documenten, oude films

Ongestructureerde data -‐ een defini;e Ongestructureerde data is niet direct als veld in een database benaderbaar. Hierbij kan het gaan om allerlei soorten documenten zoals Office documenten, maar ook PDF, XML, e-‐mailberichten, afeeldingen, video's en geluid. De inhoud bevat vaak datums, cijfers en andere feiten, maar is met moeilijk te interpreteren met de huidige technologie.


We hebben in 2013 opnieuw een goed jaar gerealiseerd. Vooral in de tweede jaarheli namen de orders in diverse markten sterk toe. Deze ontwikkeling vertaalde zich in een omzetgroei van 3% (autonoom +4,1% tegen constante wisselkoersen) en een EBITA-‐groei van ruim 10% voor diezelfde periode. Over het gehele jaar steeg de omzet naar EUR 2.040 miljoen (autonoom +1,2% tegen constante wisselkoersen). Het bedrijfsresultaat (EBITA) nam eveneens toe, met 3% naar EUR 225 miljoen; de EBITA-‐marge kwam uit op 11,0%

VOORWOORD VAN DE CEO van Aalberts Industries

Big Data is een aanvulling ! Big Data is een aanvullende bron, niet iets dat op zichzelf staat

! het doel is om de bestaande data te completeren ! “omzet” uit Big Data heei dezelfde defini;e als “omzet” uit Small Data

! kwaliteit is even belangrijk: zo niet is Big Data gewoon veel slechte data


Hoe wij dingen noemen is belangrijk Hoeveel heb ik verkocht?

Hoeveel kan ik boeken? Omzet

= € 100,000 = € 96,422 © Decision Support Systems 2014


Net zoals de meeste IT analisten ben ik er van overtuigd dat de kwaliteit van de data een groot risico vormt voor onze besluitvorming – het probleem is dat de kwaliteit van de data zo slecht is dat wij dit niet kunnen bewijzen!

Norman Manley, IT analyst

Data kwaliteit – een probleem?

Small data – wat zijn de problemen? •  de bestanden hebben vele verschillende formaten dat het lezen erg moeilijk kan maken

•  het is vaak onzeker wat de inhoud van een rubriek is (en ook wat het betekend)

•  privacy is een probleem – mogen wij iets zien, en mogen wij er iets meedoen?

•  data ontbreekt vaak (zowel individuele rubrieken als delen van bestanden)

•  data is niet actueel © Decision Support Systems 2014

Het Data Integra;e proces – de basis elementen



Big Data -‐ wat heei het voor nut?

Hoe nutg is big data? De vier motoren van een Boeing 747 zouden op één vlucht van Amsterdam naar New York meer data genereren dan de meeste bedrijven in één jaar.

De vraag bliji: moeten wij de data allemaal bewaren, zo ja voor hoelang, en hoe gaan wij die gebruiken om informa;e te genereren waar wij iets aan hebben?


Dat is heel veel data!



Big Data successen Vestas, een Deense fabrikant van windmolens gebruikt data van meer dan 35.000 meteorologische meetstations en van 45.000 eigen turbines. Zo bepalen zij de beste locaties, qua wind stromen, om nieuwe windmolens te plaatsen. Zij verwachten 24 petabytes data te verzamelen (nu hebben zij 2,8 petabytes). Het analyseren van één nieuwe locatie is terug gebracht van enkele weken naar 15 minuten.


Big Data successen Los Angeles en Santa Cruz politie, hebben samen met PredPol (een software leverancier) en een wiskundige van de universiteit van Santa Clara een systeem ontwikkeld dat tot 50 m2

nauwkeurig aangeeft waar men crimineel activiteit kan verwachten. Een combinatie van historische en data van “live” camera’s wordt gebruikt om te voorspelen waar de politie naartoe moet om o.a. inbraken te voorkomen. Inmiddels is het aantal inbraken met 33% gedaald. Het systeem heet “predictive policing”

Conclusies ! als de Small Data niet goed werkt dan heei Big Data geen kans

! Big Data op zich heei geen waarde – maar het geei de mogelijkheid om nieuwe inzichten te generen

! alles draait om accuratesse – slechte data kwaliteit leidt tot informa;e die nog slechter is



"Not everything that can be counted counts, and not everything that counts can be counted." William Bruce Cameron “Informal Sociology: A Casual Introduc;on to Sociological Thinking” 1963