Download - Opdracht 1 Het big data landschap
![Page 1: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/1.jpg)
Promo Minor Big data in Urban Jurjen Helmus / Nanda PiersmaUniversity of Applied Sciences Amsterdam
Urban TechnologyOpdracht 1 –
Het big data Landschap
![Page 2: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/2.jpg)
Het doel van deze opdracht is• dat je een beeld hebt bij historische context en
huidige staat van Big Data• dat je de verschillende type software kent• dat je enig Jargon kent• Dat je zelfstandig uit kunt zoeken wat pro’s en
con’s van software zijn
![Page 3: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/3.jpg)
... Hoe groot is BIG DATA?
![Page 4: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/4.jpg)
Vanuit mijn persoonlijke ervaring met de groei van bits naar bytes
![Page 5: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/5.jpg)
Sharp mz700 (32kB RAM)
![Page 6: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/6.jpg)
Commodore 64 (64kB RAM)
![Page 7: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/7.jpg)
AMD 386sx DOS 16mB RAM
![Page 8: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/8.jpg)
Pentium 1..2..3..4..etc (4mB tot 128GB RAM)
![Page 9: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/9.jpg)
IBM mainframes (Gig’s floating around)
Focus op veel eenvoudig berekenen ipv zware berekeningen
Clients
orders
mainframe
Print job
![Page 10: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/10.jpg)
Van CPU naar GPU
![Page 11: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/11.jpg)
Relational databases (SQL alike, 100MB tot 10GB data)
![Page 12: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/12.jpg)
Het opschalen van een SQL DB leidt tot fundamentele problemen
SQL server
1 gebruiker, 1MB data, 1 database
SQL server
10 gebruikers, 10GB data, 1 database
Applicatie server
File servers
SQL serverData
1000 gebruikers, 10 TB, 1 SQL server
Applicatie server
![Page 13: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/13.jpg)
van small data naar big bigger biggest data
![Page 14: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/14.jpg)
Matt Turck
Another key thing to understand: Big Data success is not about implementing one piece of technology (like Hadoop or anything else), but instead requires putting together an assembly line of technologies, people and processes. You need to capture data, store data, clean data, query data, analyze data, visualize data. Some of this will be done by products, and some of it will be done by humans. Everything needs to be integrated seamlessly. Ultimately, for all of this to work, the entire company, starting from senior management, needs to commit to building a data-driven culture, where Big Data is not “a” thing, but “the” thing.
https://www.linkedin.com/pulse/big-data-still-thing-2016-landscape-matt-turck
![Page 15: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/15.jpg)
![Page 16: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/16.jpg)
Meer data
Op basis van 6 onderliggende ontwikkelingen ontstond Big Data
![Page 17: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/17.jpg)
Het schalingsprobleem wordt door het map-reduce model volledig opgelost
![Page 18: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/18.jpg)
Niet traditionele (noSQL) databases ontstonden doordat er
![Page 19: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/19.jpg)
http://www.vikramtakkar.com/2015/12/nosql-types-of-nosql-database-part-2.html
![Page 20: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/20.jpg)
Key Value store databases
![Page 21: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/21.jpg)
Document stores
![Page 22: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/22.jpg)
Graph database
![Page 23: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/23.jpg)
Column Store
![Page 24: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/24.jpg)
Ja maar…. Hadoop dan???
![Page 25: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/25.jpg)
Het big data landscape in 2012
![Page 26: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/26.jpg)
Het big data landscape in 2012
![Page 27: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/27.jpg)
![Page 28: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/28.jpg)
Het open source data landscape in 2014
![Page 29: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/29.jpg)
![Page 30: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/30.jpg)
Deze elementen krijg je in de minor mee te maken
![Page 31: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/31.jpg)
Opdracht (in groepen van 4) Kies een categorie uit het Big Data landscape 2016 en kies daarin een software pakket. Maak een presentatie waarin de volgende elementen zitten• Beschrijving van de categorie• Waar bevindt deze categorie zich in het big data proces• Beschrijving van de software (werking / functionaliteiten / doelgroep/ prijs)• Maak overzicht van alle onbekende vaktermen die je tegengekomen bent en
geef hier een definitie van
![Page 32: Opdracht 1 Het big data landschap](https://reader036.vdocuments.site/reader036/viewer/2022062522/588121cc1a28abb9388b715d/html5/thumbnails/32.jpg)
ANY QUESTIONS