oracle exadata

| 17-11-2011 | AuthorRegion | Sector | Division | Department

17-11-2011

Oracle ExadataMigraties

17-11-2011

Even voorstellen . . . .

• Rob Lasonder.• Momenteel werkzaam bij Global Exadata Competence Center Atos (GECC)• Werk met Oracle vanaf versie 6• Werk met Exadata vanaf versie V2.

OCP 8.0 t/m 11gOCE Exadata en RAC 11g

Email: rob.lasonder@atos.net3 artikelen Exadata migratie project:http://www.rob.lasonder.org/index.php/my-publications/

17-11-2011

0 ATOS GECC Global Exa”data” Competence Center . . .

17-11-2011

0 Inhoudsopgave▶ I Intro: interne use Case Exadata

▶ II Positionering Exadata

▶ III Specifieke Exadata features

▶ IV Motivatie voor Exadata & licenties

▶ Pauze. . .

▶ V Migraties naar Exadata– A Motivatie– B Voorbereiding en aandachtspunten– C Use Case 1: VLDB DWH migratie– D Use Case 2: DB Consolidatie– (E Use Case 3: VLDB DB migratie/consolidatie)– F Lessons Learned

17-11-2011

ONDERDEEL 1 : INTERNE USE CASE

17-11-2011

EEe

I Interne casus Exadata

Complex Query on conventional ticketing System

cell_offload_processing = false;

17-11-2011

ONDERDEEL II POSITIONERING EXADATA

17-11-2011

II Positonering Exadata: Wat is Exadata?

▶ Engineered system ▶ Geoptimaliseerd voor databases => database applicance.▶ Oracle 11gR2 RAC (multi- instances)▶ Oracle Enterprise Linux ▶ Inclusief storage

17-11-2011

II Positionering Exadata: Engineered systems . . . .

17-11-2011

II Positionering Exadata: Engineered systems . . . .

17-11-2011

II Positionering Exadata: Engineered systems . . . .

Dd

17-11-2011

II Positionering Exadata: Engineered systems . . . .

Dd

17-11-2011

II Positonering Exadata: Oracle “Applicances/Engineered Systems”

17-11-2011

II Positonering Exadata: Oracle applicance portfolio

17-11-2011

II Positonering Exadata : Cloud Computing

Cloud Computing: on demand network access to a shared pool of configurable and scalable computing resources or shared services.

Voordelen:•Verminderde kosten•Verminderde complexiteit•Hogere Quality of Service•Grotere flexibiliteit•Schaalbaarheid (elastic cloud)

Cloud Computing Service models:• SaaS (software as a service)• PaaS (platform as a service)• IaaS (Infrastructure as a service

17-11-2011

II Positonering Exadata : Cloud Computing

▶ Public versus Private Clouds▶ Problemen bij public clouds:

– Availability & performance SLA– Data Security– Licenties– Grote klanten vaak meer dan voldoende voor private clouds– Oracle bouwstenen (1/8 rack X3) gesized voor kleinere accounts

▶ Exadata met name ingezet bij private clouds– Wel enabelen interne doorbelasting (OEM12c/maatwerk)

17-11-2011

II Exadata “Appliance”▶ Voorgeconfigureerde database machine. Voorzien van hardware, software

en storage. Speciale software op storage niveau.▶ Schaalbaar. Van 1/8 (X3) Exadata tot 8 Full Exadata Machines.

17-11-2011

II Exadata ontwikkeling I DDd

17-11-2011

II Exadata ontwikkeling II DDd

Exadata ontwikkeling: •Hardware (meer memory, flash, storage, cpu)•Software (uitbreiding mogelijkheden)•Beheer (patching, monitoring, deployment. OEM12c)

DD

17-11-2011

ONDERDEEL III SPECIFIEKE EXADATA FEATURESDDd

DD

17-11-2011

III Specifieke Exadata Features Nieuw systeem: nieuwe snelle hardware, storage, flash kaarten, infiniband netwerk•SAS/SATA disken leveren hoge throughput•Infiniband levert 40 Gb/sec netwerk snelheid•Systeem schaalbaar, uitermate geschikt voor parallelisatie

Maar . . . . nog geen Exadata

17-11-2011

III Specifieke Exadata Features: Smart Scans 1

Smart Scan: Een query die deels wordt uitgevoerd op de storage server.3 optimizations:•Column projection•Predicate filtering•Storage indexes

17-11-2011

III Specifieke Exadata Features: Smart Scans 2 Een Smart Scan vindt plaats onder:

•Bepaalde operaties: Full Table Scans and Fast Full Index Scans.

•Bepaalde condities: Direct path reads• Bypass buffer cache, oracle blokken in PGA i.p.v. SGA• Bij Full Table Scans, Sorts, Parallelle queries• See MOS Notes 793845.1 and 50415.1 for more info on Direct Path Reads

17-11-2011

III Specifieke Exadata Features: Smart Scans 3

Omstandigheden kunnen een smart scan verhinderen:

•Chained or migrated rows

•Bepaalde functies select name, offloadable from v$sql_metadata order by name;

•“Kleine” tabellen (“_small_table_threshold)

•Hints

17-11-2011

III Demo omgeving

17-11-2011

III DEMO SMART SCAN

17-11-2011

III Specifieke Exadata Features: Smart Flash Cache 1 • Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache• Flash cache kan ook als flash disk geconfigureerd worden.• Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken)

• Smart Flash cache:• Alleen random I/O wordt gecached. Zowel data- als index blokken • I/O mirrors, backup operaties, datapump operaties niet gecached.• Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep);• Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads &writes)

In X3 een aantal uitbreidingen Smart Flash Cache• X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache• Smart Flash Write Cache. Caching van write I/O, persistent• Flash Card failures opgelost binnen +ASM software (transparant)• In-memory database

17-11-2011

III Specifieke Exadata Features: Smart Flash Cache 2

•Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache•Flash cache kan ook als flash disk geconfigureerd worden.•Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken)

•Smart Flash cache:•Alleen random I/O wordt gecached. Zowel data- als index blokken •I/O mirrors, backup operaties, datapump operaties niet gecached.•Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep);•Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads &writes)

In X3 een aantal uitbreidingen Smart Flash Cache•X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache•Smart Flash Write Cache. Caching van write I/O, persistent•Flash Card failures opgelost binnen +ASM software (transparant)•In-memory database

17-11-2011

III Specifieke Exadata Features: Smart Flash Cache 3

• Smart Flash Cache versus Database Buffer Cache

• Smart Flash Cache versus Database Flash Cache (DBFC)

17-11-2011

30

17-11-2011

III Specifieke Exadata Features: Storage Indexes 1

• Van elke 1 MB “chunk” per storage server record MIN,MAX,NULL values• Volledig transparant, tot 8 kolommen• Doel: eliminatie disk I/O. Geen traditionele index: “False Positives”• Alleen bij smart scans, query met where clause

Lijkt op partition pruning

A simple comparison operator ( =, < , > , BETWEEN, IS NULL

restricties: Column encryption, LOBs, CLOBs,Not equals (!=) operators, Wildcards, Where clauses which uses subqueries, Clustered tables

NIET PERSISTENT => grilligheid performance> 8 kolommen => grilligheid performance

17-11-2011

III Specifieke Exadata Features: EHCC Compression 2

•EHCC: tabellen georganiseerd in compression units (default 32 KB)

•Een compression unit omvat meerdere Oracle blokken

•Per compression unit : groeperen op kolom niveau

17-11-2011

III Specifieke Exadata Features: EHCC Compression 3

Hybrid Columnar Compression werkt bij bulk operaties, zoals:•Insert statements with the APPEND hint •Parallel DML•Direct Path SQL*Loader•Create Table as Select (CTAS)

Database Source DB Target DB Compressie Factor

DWHP 16.567 GB 5.895 GB 2,8DWHKDP 12.288 GB 1.093 GB 11,8

17-11-2011

III DEMO EHCC COMPRESSIE 4

17-11-2011

Onderdeel IV : MOTIVATIE VOOR EXADATA

Overview The Situation Benefits Experience

* Ballpark figure in this stage not guaranteed

17-11-2011

Performance Noncommittal Oracle landscape Exadata CPU power increase potential 56%

Green IT Noncommittal Oracle landscape Exadata Energy reduction potential 40%

Noncommittal Oracle landscape Exadata Floorspace reduction potential 33%

Ever growing storage demands

Noncommittal Oracle landscape Exadata additional Storage availability 34400 GB Compression 2x

Changing business demands •Examples:

•More information out of your data Travel agencies•More up-to-date information out of your data Reservation Systems•More and better access to your data Large Retail market

Financial marketTelco market

Cost reduction

Noncommittal Oracle landscape Exadata TCO reduction potential 32% 4 Half Rack 's

0% 10% 20% 30% 40% 50% 60% 70%

0% 10% 20% 30% 40% 50% 60% 70%

0% 10% 20% 30% 40% 50% 60% 70%

0% 50% 100% 150% 200% 250% 300% 350% 400%

0 10000 20000 30000 40000 50000 60000 70000 80000 90000 100000

IV Motivatie Exadata : More for less

▶ More CPU power– 68% more cpu power

▶ More Green-it– Energy reduction with 40%– Floor reduction with 33%

▶ More storage available– 4,4 TB (more expected trough

Exadata compression▶ More possibilities for the business

▶ Less Costs– Cost reduction for the

infrastructure with 32%*• Savings up to 850K Euro per

year • Extra savings on Oracle

licenses– From 288 96 licenses

Overview The Situation Benefits ExperienceOverview The Situation The Services Benefits Experience

* Ballpark figure in this stage not guaranteed

17-11-2011

IV Motivatie voor Exadata: licenties

“VERPLICHT”▶Oracle Exadata Storage Software▶Oracle 11gR2 Enterprise Edition

OPTIONEEL▶Oracle 11gR2 RAC ▶Oracle Partitioning▶Oracle Advanced Compression ▶Oracle Enterprise Manager Diagnostics & Tuning pack▶Oracle Advanced Security▶ZFS appliance: replicatie en cloning▶OWB licenties : Design/Runtime▶. . .▶. . .

Overview The Situation Benefits Experience

Door dit van te voren goed uit te zoeken kan geld worden bespaard.

17-11-2011

PAUZE

17-11-2011

V-a Migratie Exadata : positionering

Inventarisatie Bestelling & Levering Configuratie Migratie Consolidatie

• Memory• CPU• Storage• I/O throughput• Backup• DR• OTA <> P• IP plan• POC

• Pre-delivery survey sheet

• On Site Visit Oracle• 6 weken levertijd

• Oracle ACS setup• Additional setup:

• Monitoring• Backup• DR• DBFS

• Overgang beheer• Restpunten• Plan tijd !!

Nieuw in X3 Exadata Deployment Assistant ipv excel

17-11-2011

V-b Aandachtspunten bij inventarisatie

• Denk na over de doel architectuur + OTAP/DR indeling • Denk na over de migratie strategie en de migratie architectuur.• Denk na over de impact van de migratie• Denk na over de hoeveelheid storage• Denk na over het beheer & licenties. • Maak afspraken over beschikbaarheid, onderhoudswindows, patching• Denk na over capacity management• Denk na over impact migratie

HHh

17-11-2011

V-b Denk na over: referentie architectuur Exadata

HHh

17-11-2011

V-b Denk na over: migratie architectuur en migratie strategie

HHh

Migratie strategie : afhankelijk van •Migratie window.•Migratie planning.

Migratie window: Hoe lang mag de database down, hoe groot is de database?

Migratie planning: Hoe lang loopt het migratie project. (vaak langer lopende projecten die een semi permanente migratie architectuur vereisen.

17-11-2011

V-b Denk na over: migratie architectuur en migratie strategie

HHh

17-11-2011

V-b Denk na over: migratie architectuur en migratie strategie

HHh

17-11-2011

V-b Denk na over: migratie architectuur en migratie strategie

HHh

10 Gb kaarten aanschaffen Exadata/ Sun ZFS applicance. + source database servers5.000 euro Sun ZFS storage applicance 2 kaarten

17-11-2011

V-b Denk na over: migratie architectuur en migratie strategie

HHh

Alternatieve route: netwerk import

17-11-2011

V-b Denk na over: migratie architectuur en migratie strategie

HHh

Migratie methode afhankelijk van omstandigheden(db omvang / migratie window). KISS

17-11-2011

V-b Denk na over: impact migratie

HHh

• Databases draaien op Oracle Enterprise Linux (little endian)

• Databases Oracle 11gR2 (obsolete/new features)

• Multi-instance databases (RAC)

• Exadata specifieke zaken: EHCC / smart scans

• Bij consolidatie: VEEL databases in beheer: opzetten standaards & richtlijnen en borgen configuratie settings.

17-11-2011

V-b Denk na over: impact migratie

HHh

ss

17-11-2011

V-b Denk na over: impact migratie Quality Check

HHh

ss

17-11-2011

V-b Denk na over: impact migratie Quality Check

HHh

ss

17-11-2011

V-b Denk na over : exadata storage

HHh

Belangrijke zaken vooraf:•Redundancy : NORMAL of HIGH

• 50% of 66% “overhead”

•Backup : Intern (binnen Exadata) of Extern • FRA: => 40/60 versus 80/20

•EHCC compressie => kan veel opleveren afhankelijk type data

•Type disken : SAS High Performance (600 GB) of SATA High Capacity (3 TB)

17-11-2011

V-b Denk na over: exadata storage

HHh

Rekenvoorbeeld: ½ Exadata met SATA High Capacitiy disken en externe backup

7 (storage servers) x 12 (disken) x 3 TB = 252 TB

126 TB Redundancy 50 %

90 TB Redundancy 50 %36 TB - Uitval 1 server

- Redundancy

- FRA/Data (20/80) %72 TB Redundancy 50 %36 TB

18 TB

58 TB Redundancy 50 %36 TB

18 TB - Alert threshold (80%)14

TB

17-11-2011

V-b Denk na over: beheer en licenties

Overview The Situation Benefits Experience

Traditioneel beheer (organisatie centraal)

systeembeheer

netwerk beheer

database beheer

storage (SAN) beheer

backup beheer

17-11-2011

V-b Denk na over: beheer en licenties

Overview The Situation Benefits Experience

Exadata beheer (oplossing centraal)

database beheerDBA 2.0

(http://prutser.wordpress.com

Database Beheer: RAC/+ASM !!Storage Server Beheer Linux Systeem BeheerNetwerk Beheer (m.n. inrichting)Sun ZFS storage appliance. . .

17-11-2011

CASUS 1: DATAWAREHOUSE MIGRATIE

Overview The Situation Benefits ExperienceDdCasus: migratie van 40 TB Datawarehouse (6 databases)

•van Oracle9i Standalone op Sun Solaris •naar Oracle Exadata V2

• 1 full rack met SAS • ½ rack met SATA disken

Separate presentatie

17-11-2011

CASUS 2: DATABASE CONSOLIDATIE

Overview The Situation Benefits ExperienceDdCasus: Neerzetten van platform voor honderden databases m.b.v. Exadata.

(Teller staat momenteel op 280)

Separate presentatie

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO DB - 1

Overview The Situation Benefits ExperienceVooraf proof of concept. Positief.

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO DB - 2

Overview The Situation Benefits Experience

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO DB - 2

Overview The Situation Benefits ExperienceWerkinstructie nalopen op WIKI, of werkinstructie_import.PDF

17-11-2011

CASUS 3: Lessons learned 1

Overview The Situation Benefits ExperienceDe meeste issues deden zich voor op grensvlak applicatie & database. Houd een bevindingen administratie bij en bestuur dit projectmatig.

17-11-2011

CASUS 3: Lessons learned 2

Overview The Situation Benefits ExperienceBevindingen administratie in Issue TrackerDddd

17-11-2011

CASUS 3: Lessons learned 3

Overview The Situation Benefits ExperienceBekijk de import log file, registreer bevindingenDddd

17-11-2011

CASUS 3: Lessons learned 4

Overview The Situation Benefits ExperienceVergelijk de target en de source database, liefst geautomatiseerdDddd

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 1

Overview The Situation Benefits ExperienceQuery 1: index sequential read

Deze query bestaat uit het tellen van de rijen door het doorlopen van een index van een tabel met bijna 6 miljard rijen. Hiermee wordt een beeld gegeven van de snelheid waarmee het systeem een grote index kan doorlopen. Exadata voert deze query ruim 5 sneller uit dan AIX. Bij parallelle verwerking is dat zelfs ruim 12 keer.

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2

Overview The Situation Benefits ExperienceQuery 2:

Deze query selecteert uit vijf grotere tabellen de financiële en declaratiegegevens van een bepaald merk over een bepaald merk. Het is een lastige query vanwege de grootte van de tabellen.

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 3

Overview The Situation Benefits ExperienceBatchprogramma 1 2 financiele batches.

Noot: parallelisme staat uit. Tevens niet elke batch geschikt voor multi instance

17-11-2011

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2

Overview The Situation Benefits ExperienceBatchprogramma 2:

Deze query selecteert uit vijf grotere tabellen de financiële en declaratiegegevens van een bepaald merk over een bepaald merk. Het is een lastige query vanwege de grootte van de tabellen.

17-11-2011

V-e Lessons Learned : backup & recovery

Overview The Situation Benefits Experience▶ Op Exadata andere doorlooptijden. Als voorbeeld backup & recovery

▶ Type backup: incrementally updated copy. (eenmalig L0 backup, aansluitend alleen incrementals). Backup naar Sun ZFS storage appliance.

▶ Backup & Restore tijden: DB 6,5 TB. Totale restore in ongeveer 6 uur.– L0 backup: 6 uur– L1 backup (differential): 0 – 1 uur.– Recovery: 6 uur

• 2,5 uur restore (6,5 TB in 2,5 uur = 2,4 TB per uur)• 2,5 uur recovery (backup loopt 14 dagen achter)• 1 uur overhead

17-11-2011

V-e Lessons Learned : backup & recovery

Overview The Situation Benefits Experience

17-11-2011

V-e Lessons Learned : capaciteits management: Databases/Instances

Overview The Situation Benefits Experience

eee

17-11-2011

V-e Lessons Learned : capaciteits management MEMORY

Overview The Situation Benefits Experience

Eeeeeeeee

17-11-2011

V-e Lessons Learned : capaciteits management CPU

Overview The Situation Benefits Experience

Eeeeeeeee

EeEe

17-11-2011

V-e Lessons Learned : capaciteits management storage

Overview The Situation Benefits Experience

Eeeeeeeee

EeEe

17-11-2011