test tool event van sogeti | datprof testdata management
DESCRIPTION
De presentatie over Testdata Management, hoe kun je eenvoudig een test-database verkleinen en daarmee behoorlijk kosten besparen. En hoe en welke gegevens zou je moeten anonimiseren om te voldoen aan wet- en regelgevingen.TRANSCRIPT
Test Data ManagementBert Nienhuis
MANY
ORGANISATIONSUSE COPIES OFPRODUCTION DATABASES
PURPOSES:
• TESTING
• DEVELOPMENT
• OUTSOURCING
• MARKETING
• TRAINING
Hoe beheer je al deze omgevingen?
Hoe ga je om met persoonsgegevens?
Minimaliseer datagebruik
Bespaar op hardware
Verkort doorlooptijden
Efficiënter data beheer
Beschermen van relaties
Voldoen aan wetgeving
Voorkom imagoschade
Behoud concurrentie positie
Subsetten AnonimiserenVoordelen van het subsetten van data Voordelen van het anonimiseren en maskeren
Productie Test/OntwikkelSource Database Target Database
Datamodel classificatie
Filteren – Proces dataVoorbeeld: Klanten, Orders, Contracten, Facturen
Volledig – Master dataVoorbeeld: Applicatie data, Inrichting, Stamtabellen
Leeg – Logging, overbodige historie Voorbeeld: Log tabellen, temp tabellen, overbodige historie
Bepalen welke delen van de data overgezet moeten worden.
Technieken
ShuffleVerwissel waarden binnen een kolom
ConditioneelMaskeer gespecificeerde delen van tabellen+
Voornaam Naam Soort
Frans
Jan
Dirk
Jansen
de Boer
Huisman
DATPROF
Klant
Klant
Klant
Leverancier
321Voornaam Naam Soort Opmerking E-Mail
Frans
Jan
Dirk
de Boer
Huisman
Jansen
BlankVerwijder waarden uit kolom
ScrambleVervang bestaande karakters
“Zwager van D.Jansen”
“Heeft schulden”
Klant
Klant
Klant
LeverancierDATPROF
Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum
Frans
Jan
Dirk
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
Leverancier
321
789
456
First dayVerander datum velden naar de 1e van dezelfde maand of jaar
16-02-1954
25-11-1984
27-03-1974
Postcode
Geboortedatum 1e van de maand 1e van het jaar
87% 3.7% 0.04%
Bron: onderzoek anonimiteit door Prof. Dr. Latanya Sweeney (Harvard University)
Nr. Voornaam Naam Soort Opm.. E-mail Geb-datum
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
Leverancier
321
789
01-02-1954
01-11-1984
01-03-1974
Look-upVervang waarden met waarden uit een andere tabel
Tim
Ruben
Thomas
Frans
Jan
Dirk
Voornamen
Daan
Thomas
Tim
Lars
Ruben
Levi
Luuk
Referentiedata
Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum
Thomas
Tim
Ruben
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
Leverancier
321
789
456
01-02-1954
01-11-1984
01-03-1974
ExpressionMaak gebruik van standaard of eigen functies
Fictief
Fictief
Fictief
Demonstratie