top 5 tips for improving oracle application and database ... optim classic, - zos, - sap, ibm...

© 2012 IBM Corporation

Information Management

Top 5 Tips for Improving Oracle Application and Database Testing

Wolfgang Epting – Senior Technical Sales ProfessionalIBM Optim Classic, - zOS, - SAP, IBM InfoSphere Discovery

© 2012 IBM Corporation2


Testdatenmanagement – häufige Praxis

Daten im Test !!

2 TB

Produktion

?? GB

Hot Fix

2 TB

Qualitätssicherung

Nachher

Auf Anforderung

Q.A.

Manuelle Analyse:Richtige Daten?

Änderungen?Ergebnisse?

Unbeabsichtigt?Nochmal geändert?

Changes

2 TB

Entwicklung

Cloning periodisch

Produktion 2 TB

QualitätssicherungVorher

Cloning gelegentlich

Produktion

Veralt. Daten

Veralt. Daten

Nächste Down-Time?

DBAScript

DBA

erreichbar?

DBAScript

DBA erreichbar?

NeuerFehler

Discover&Define

Optimize, Archive & Access

Consolidate &RetireDevelop &

Test

Information Governance Core DisciplinesLifecycle Management



Auswirkungen ….

� Adäquate Versorgung unterschiedlicher Projektekann nicht prozesstechnisch, sondern nur sehrzeitaufwändig organisatorisch gelöst werden

� Entwickler können nicht arbeiten, da sie auf aktuelle Daten warten

� Die um drei Monate verspätete Verfügbarkeit derneuen Anwendungsfunktionalität wird auch vomManagement wahrgenommen

� Der CFO beschwert sich über das enormhohe IT Budget, das allein zur Behebung von Anwendungsfehlern notwendig ist

� Der Wettbewerb um neue Kunden wird durchveraltete, nicht mehr dem “state-of-the-art”entsprechende Software behindert

Discover&Define



Test




DB2 z/OS DB2 LUW

Integrität über Datenbankgrenzen hinweg� Flexible Extraktion und Bearbeitung von Geschäftsobjekten

aus abhängigen Tabellen unterschiedlicher Datenbanken unter Beibehaltung der referentiellen Integrität

Geschäftsobjekt ->!

IMS, VSAM, Flat Files

Discover&Define



Test




� Zielgerichtet passende Testdatenbestände in der richtigen Größe erzeugen

� Schneller und Effizienter als 'Cloning'

� Einfaches Erneuern, Zurücksetzen und Vorhalten von Testumgebungen

� Schnelles Auffinden von Fehlern in Anwendungen durch Vergleich

� Beschleunigung des Release-Zyklus

Production or

Production Clone

Extract

Extract Files

Dev

QA

Test

LoadInsert / Update

Compare

Discover&Define



Test

Information Governance Core DisciplinesLifecycle ManagementDie Optim Idee …



DB2 z/OS DB2 LUW

Integrität über Datenbankgrenzen hinweg� Flexible Extraktion und Bearbeitung von Geschäftsobjekten

aus abhängigen Tabellen unterschiedlicher Datenbanken unter Beibehaltung der referentiellen Integrität

Geschäftsobjekt ->!

IMS, VSAM, Flat Files

Discover&Define



Test




77

InfoSphere Discovery

� Schnellere Projektumsetzungdurch die Automatisierung von manuellen Tätigkeiten

� Reduzierung des Projektrisikos

� Konsistente Vorgehensweisefür informationszentrischeProjekte

� Definition derGeschäftsobjekte fürArchivierungs- und TestdatenManagement Projekte

� Erkennung von Transformationsregeln und heterogenen Beziehungen

� Identifikation versteckter, sensitiver Datenelemente

Anforderungen

Benefits

Schnellerer Projektstart durch automatisierte Analyse Ihrer

verteilten DatenbanklandschaftDiscovery

Discover&Define



Test




Testdatenmanagement mit Optim

2 TB

Produktion

150 GB

Qualitätssicherung

150 GB

Entwicklung

?? GB

Hot Fix

Testfall Hot Fix

Baseline

OPTIM TDM

Testfall #1

Testfall #2

Testfall #3

Geplant

TDM

Aktalisierung

auf Anforderung

Neuer

Testfall

80%-90%

Komprimierung

NeuerFehler

VergleichVergleich

Refresh

on demand

Hot Fix

TDM

KontrollierteManipulation von

Testfällen

KontrollierteManipulation von

Testfällen

TDM Prozess:

•Zum Anwendungstest passende Daten

•Richtige Datenmenge

•Kontrollierte Manipulation von Testfällen

•Identifikation der Änderungen

•Keine Produktionsunterbrechung

Discover&Define



Test




Benefits

� Mehr wertvolle Zeit zum Testen– 30-40% der zum Testen zur Verfügung stehenden Zeit wird alleine zur

Bereitstellung geeigneter Daten verwendet. Ein effizientes Testdatenmanagementreduziert diese Zeit auf ein Minimum und ermöglicht die Duchführung von weiteren Testfällen

� Reduktion der Kosten– Maximierung des Infrastrukturinvestments– Frühere Entdeckung von Fehlern im Testzyklus– Verlagerung von Software Defects von Produktion nach Test

� Höhere Datenqualität– Aktualisierung von Testdaten auf Basis eines konstanten Ausgangszustandes

minimiert die erforderliche, manuelle Intervention bei deren Neuerstellung und maximiert die Wiederholbarkeit der Tests

� Strukturierung der Datenhoheit– Test Data Management bietet ein rollenbasiertes Zugriffskonzept um eine

horizontale Aufteilung der Entwicklungs- und Testteams zu unterstützen

� Autarke Daten für autarke Teams– Unterschiedliche Testfälle benötigen oft die gleichen Date, jedoch können

unterschiedliche Tests negative Auswirkungen auf andere Test mit identischenDaten haben. Test Data Management erlaubt die Erstellung einer unbegrenztenAnzahl von Testdatenmengen und generiert eindeutige Schlüssel, um qualitativhochwertige, suabere Daten sicherzustellen

Discover&Define



Test




http://ibmexperts.computerwoche.de/analytics-big-data/artikel/management-reagiert-zu-langsam-auf-datenmissbrauch?r=4626308161045983&lid=208618



Wie sieht das Risiko aus?

� Bußgelder, Strafen und Schadenersatz

� Verlust der Kundenbindung

� Umsatzrückgang

� Fallender Aktienkurs

� Persönliche Haftung des

Vorstands

� Negative Presse

� Marke nimmt Schaden

� …



IBM InfoSphere Optim Data Masking Solution

� Vermeidung von Missbrauchund Verstössen

� Schnelle Time-to-Market durchBeschleunigung der Tests

� Reduktion von Risiko und manuellem Aufwand

� Schutz vertraulicher Daten in Test-, Entwicklungs- und Schulungssystemen

� Konsistente Maskierung und Konsolidierung von DatenunterschiedlichsterzusammenhängenderAnwendungen zurSicherstellungproduktionsnaher Tests

� Anwendung von vordefiniertenund individuellenAnonymisierungsalgorithmen

Anforderungen

Benefits

Maskieren sensitiver Informationen mit realistischen -

jedoch fiktionalen - Daten für Test- und Entwicklungszwecke

Data Privacy

Optim Data Masking unterstützt verteilte Plattformen (LUW) und z/OS. Unterstützung der wichtigsten ERP/CRM Anwendungen

OtherOther



Datenanonymisierung in nicht-produktivenUmgebungen (Entwicklung, Test, Schulung)

� Maskieren oder anonymisieren von sensitiven Daten, die auf eine Einzelperson schließen lassen

� Sicherstellen, dass maskierte Daten dem Kontext der ersetztenDaten entsprechen, um die Testqualität nicht zu beeinflussen

• Realistische und dennoch fiktive Daten• Maskierte Daten innnerhalb der erlaubten Limits

� Unterstützung von referentieller Integritat der maskierten Datenzur Vermeidung von Fehlern beim Testen

Informationen, die Rück-

schlüsse auf Einzelper-

sonen erlauben, werden

für Test und Entwicklung

mit realistischen, aber

fiktiven Daten ersetztJASON MICHAELSJASON MICHAELS ROBERT SMITHROBERT SMITH

PCI DSS Compliance



Auffinden von versteckten sensitiven Daten

� Sensitive Daten lassen sich durch einfache Suchen meist nicht lückenlos auffinden– Tabellen und Lookup Tabellen müssen miteinander verknüpft werden– In längeren Feldern versteckt (Substring) oder über mehere Felder gespeichert

(Concatenations)– Unterschiedliche Darstellung (Lookup Tabellen und Fallunterscheidungen)

� “Corporate memory” ist mangelhaft und weist Lücken auf– Unvollständige Dokumentation– Spezialisten kennen meist nur ein oder zwei Systeme

� Hunderte von Tabellen mit Millionen von Zeilen:– Komplex– Schwer zu verifizieren

� Mangelnde Datenqualität verstärkt das Problem

13:52:49555 908 121210-28-2008

TimePhoneDate

Table A

Transaction Number

Table B

1352555908121210282008

InfoSphereInfoSphereDiscoveryDiscovery

Secure &Protect

Monitor & AuditUnderstand &

Define

Information Governance Core DisciplinesSecurity and Privacy



Mask and Move / Mask in Place

Patient No 123456SSN 333-22-4444Name Erica SchaferAddress 12 Murray CourtCity AustinState TXZip 78704

Patient No 112233SSN 123-45-6789Name Amanda WintersAddress 40 Bayberry DriveCity ElginState ILZip 60123

Anonymisierung

� Erhöhung der Sicherheit in nicht produktiven Umgebungen� Hohe Datenqualität beschleunigt den Testprozess� Anonymisierung von kompletten Geschäftsobjekten� Einhaltung der referentiellen Integrität� Konnsistente Maskierung über Applikations-, Plattform- und Datenbankgrenzen hinweg

InfoSphere Optim Data Masking



Masking on the fly - applikationsbasiert

Anonymisierung

Patient InformationPatient InformationPatient Information

Patient No. SSN

Name

Address

City State Zip

Patient No. SSN

Name

Address

City State Zip

112233 123-45-6789

Amanda Winters

40 Bayberry Drive

Elgin IL 60123

Patient No 123456SSN 333-22-4444Name Erica SchaferAddress 12 Murray CourtCity AustinState TXZip 78704

� Überprüfung der Legitimation� Echtzeitanonymisierung verdächtiger, zweifelhafter Zugriffe� Übertragung rollenbasierte Zugriffsdefinitionen auf die Datenebene




Masking on the fly - auswertungsorientiert

Anonymisierung

Übertragung rollenbasierter Zugriffsrechte auf die Datenebenedurch die Verwendung unterschiedlicher Sichten

Customer Number 123456Purchase Order 333-22-4444Name Erica SchaferAddress 12 Murray CourtCity AustinState TXZip 78704

CFO Business reports

Marketing team reports

Reports for business partners




Unternehmensweites Datenmanagement

Unternehmensumgebungen sind meist miteinander verbunden. Integrierte Lösungen müssen demzufolge das Management von Informationen über Plattform- und Datenbankgrenzen hinweg unterstützen.

Data GrowthData PrivacyTest Data Management Application Retirement

Discovery

Guardium - Monitor and Protect

Discover&Define



Test




Extremes Datenwachstum stellt eine zunehmendeHerausforderung für Unternehmen dar

Steigende Kosten SteigendeAntwortzeiten

Risiko und Compliance

Die "keep everything" Strategiehat negativen Einfluss auf Disaster Recovery sowieAubewahrungs- und Offenlegungspflichen

Immer mehr Speicher kannteuer werden, wenn man nichtnur die Investitionen, sondernauch die Betriebskostenbetrachtet

Develop &Test

Discover&Define

Consolidate &RetireOptimize &

Archive


Endbenutzer und Kunden warten auf Informationen, DBA‘s benötigen viel Zeit, um Performance Probleme zu lösen



… die einfachste Antwort

Hardware Kapazität

Laufzeitverhalten

Date

nb

an

kG

rösse

� Partitionierung von Datenbanken

� Komprimierung

� Mehr Speicher und CPU Infrastruktur

Develop &Test

Discover&Define

Consolidate &RetireOptimize, Archive

& Access




Kontrollieren Sie Ihr Datenwachstum …… bevor es Sie kontrolliert !

CurrentCurrent

Production

HistoricalHistorical

ArchiveArchive

RetrieveRetrieveRestored DataRestored Data

Universal Access to Application DataUniversal Access to Application Data

Data Archives

Historical DataHistorical Data

Reference DataReference Data

SelektivesZurückspielen

ODBC / JDBC XML Report WriterApplication

Intelligenter Prozess, um inaktive oder nur noch seltenbenötigte Daten, die weiterhin Geschäftsrelevanz besitzen,

zu archivieren und einen universellen Zugriff zu ermöglichen

Develop &Test

Discover&Define

Consolidate &RetireOptimize &

Archive




Nochmal im Überblick : IBM InfoSphere Optim

ProductionProduction

Dev/TestDev/Test

ArchiveArchive

DiscoverUnderstand

Classify

� Reduzieren Sie Hardware-, Software, Speicher- und Wartungskosten

� Erhöhen Sie die Performance IhrerAnwendungen, Sicherungen und Wiederherstellungsprozesse

� Halten Sie Aufbewahrungsfristen sicher ein und schalten Altanwendungen ab

Archive

� Schnelle und qualitativ hochwertigereApplikationsentwicklung bei gleichzeitigerReduzierung von Kosten und Risiken

� Halten Sei Compliance Richtlinien und gesetzliche Vorgaben ein

� Erhöhen Sie ihre Kundenzufriiedenheit, indem SieSLA’s sicher einhalten

Test

� Verstehen Sie die komplexen Beziehungen zwischenSystemen und Plattformen und beschleunigen SieIhre Data Management Projekte

Discover

• Capture• Capture

• Archive• Retire

DA

TA

SQL

ApplicationApplication DATA

• Subset • Mask• Compare• Refresh

Mask

� Sichere Einhaltung von Compliance und Datenschutz



Top 5 Tips zur Berbesserung von Applikations- und Datenbanktests

2 Datenqualität Defects

1 Teilmengen Datenmultiplikation

3 Time to Market Zeit und Kosten

4 Datenschutz Risiko

5 Proaktiv Reaktiv



Fragen



Dipl.-BetriebswirtWolfgang [email protected]

+49 160 9064 3048

IBM Software GroupSenior Technical Sales ProfessionalIBM Optim Classic, - zOS, - SAP, IBM InfoSphere Discovery

Please feel free to contact me if you have any questions ...

top 5 tips for improving oracle application and database ... optim classic, - zos, - sap, ibm...

Documents