performanzfragen in großen integrierten (umwelt-) geodata ... · 3 04.11.2009 g. lukács:...
Post on 09-Apr-2018
217 Views
Preview:
TRANSCRIPT
disy Informationssysteme GmbH04.11.2009
Performanzfragen in großen integrierten (Umwelt-) Geodata-WarehousesDr. Gergely Lukács
senior consultant
2
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Agenda
• Vorstellung, unser Hintergrund
• Performanz im Allgemeinen
• Geoindex
• Geooperationen
• Darstellung
• Partitionierung
• Zusammenfassung, Ausblick
3
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
3
disy Informationssysteme GmbH
Software-Entwicklung, Beratung, Konzept-Erstellung
EnvironmentReporting
GIS
Standort: KarlsruheGründung: 1997Mitarbeiter: 35
5
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
disy Cadenza – Aufbau einer Lösung
Hoch-konfigurierbar:
DB-Schema, Auswertungen, Darstellungen
6
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Auswahl aus Baum
Explorativ fachlich und räumlich suchen
Zeitliche Auswahl
Räumliche Auswahl
.
.
.
7
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
disy Cadenza – Spatial Reporting
Geo- und Sachdaten
gleichberechtigt und
übergreifend
• suchen• analysieren• visualisieren• berichten
8
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Performanz
• Gute Performanz• Batch-Operationen (z.B. ETL-Prozesse, Batch-Report)
• Interaktive Abfragen• OLTP
• OLAP
• Skalierung!
• Kosten
• Anwendung• Räumliche Analyze oder Darstellung
• Daten• Viele einfache oder wenige komplexe Geometrien
• Spielräume• Logisches Datenmodell
• Physikalisches Datenmodell
• HW
9
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Geodaten - Besonderheiten
• Mehrdimensional (2-4)
• Große Datenmengen
• Geometrische Algorithmen
10
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Geographischer Index
• Geographic index• R-Tree
11
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Geographischer Index - 2
• Geographic index• Größe
• Erstellung
• Einstellmöglichkeiten• LAYER_GTYPE
• SDO_NON_LEAF_TBL
• Qualität: SDO_TUNE.QUALITY_DEGRADATION
• WORK_TABLESPACE (bis zu 2x mehr Platz als der Geoindex)
• Partitionierung…
Indexerstellung - Laufzeit
(AMD Athlon 64bit 3200+, 2.01 Ghz 2 GB RAM, Oracle 10g R2)
00:02:44
00:38:07
06:24:42
00:00:00
01:52:30
03:45:00
05:37:30
07:30:00
0 20.000.000 40.000.000 60.000.000 80.000.000 100.000.000
Anzahl Geometrien (Punkte)
Laufz
eit, In
dexers
tellung [hh:m
m:s
s]
Tablespace-Größe
(Blockgröße: 8kB)
0
20
40
60
80
100
120
0 200.000.000 400.000.000 600.000.000 800.000.000 1.000.000.000
Anzahl Geometrien (Punkte)
Table
space-G
röße [G
B]
12
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Zweistufige Geooperationen
• Geooperation, Geoprädikat
• Zweistufiger Filter• Geoindex (MBR)
• Genaue Geometrie• CPU-Kosten !
13
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Zweistufige Geooperationen – Beispiel 1
Punkte ( 10 000 bis 10 000 000)
14
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
CPU-Kosten
0
200
400
600
800
1.000
1.200
1.400
1.600
0 2.000.000 4.000.000 6.000.000 8.000.000 10.000.000
Anzahl Punkte
CPU
-Koste
n
(Sek.)
filter - land
relate - land
filter - bezirksregierung
relate - bezirksregierung
filter - landkreis
relate - landkreis
filter - gemeinde
relate - gemeinde
"Query" [Blöcke]
0
200.000
400.000
600.000
800.000
1.000.000
1.200.000
1.400.000
1.600.000
1.800.000
0 2.000.000 4.000.000 6.000.000 8.000.000 10.000.000
Anzahl Punkte
"Query
"
(Anzahl B
löcke)
filter - land
relate - land
filter - bezirksregierung
relate - bezirksregierung
filter - landkreis
relate - landkreis
filter - gemeinde
relate - gemeinde
Zweistufige Geooperationen – Beispiel 2
KostenRELATE vs.
FILTER
Großflächige Geometrien mit vielen
Stützpunkten
15
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Join-Ausführung
• SDO_RELATE (SDO_FILTER)• Nested loops
• Reihenfolge fest
SELECT /*+ ORDERED */ A.gid FROM query_polys B, polygons A WHERE
SDO_RELATE(A.Geometry, B.Geometry, 'mask=ANYINTERACT') = 'TRUE';
• SDO_JOIN (Table Funktion)• Hash-Join
SELECT COUNT (*)FROM TABLE (sdo_join ('LRM_GEMEINDE',
'GEOM','LRM_GEBAEUDE','GEOM','mask=ANYINTERACT')
);
16
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Kostenschätzung durch Optimierer
• Allgemein: Statistiken, auf dieser Basis Selektivitätsschätzung
• Keine Statistik für räumliche Verteilung
• Optimierer berücksichtigt für Geoprädikate eine feste Selektivität
• Ungünstig für flexible Auswertungen
17
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Partitioning, IOT
• Partitionierung• Geht grundsätzlich
• Nur Intervall-Partitionierung (range partitioning); hash, composite gehen nicht
• Räumliche Partitionierung• Erstellung des Partitionierungsschlüssels anhand der geometrischen Verteilung
• Z.B. Centroid, erster Punkt, größeres Gebiet
• Partition pruning geht auch mit Raum! (local partitioned spatial index)
• Geoindex-Erstellung pro Partition
• Index organized table geht nicht
18
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Data Warehouse, OLAP-Abfragen
• Flexible Anfragen
• Spatial Join
• Teuer
• Ausführungsplanung !
• MVIs funktionieren nicht
19
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Geographische Materialisierte Sichten
DC_A_GEOTHGEOTH1_GEOTH_FK
DC_A_GEOTHGEOTH2_GEOTH_FK
DC_GEOTHEME
GEOTHEME_NRSPOSITIONPRINTNAMEGEOMETRYTYPEISVISIBLEISEXPORTABLEMIN_SCALEMAX_SCALELL_NORTHINGLL_EASTINGUR_NORTHINGUR_EASTINGGEOERR_COLUMNOWNERTABLE_NAMECOLUMN_NAME
NUMBER(18)NUMBER(18)VARCHAR2(100)VARCHAR2(15)NUMBER(1)NUMBER(1)NUMBER(10)NUMBER(10)NUMBERNUMBERNUMBERNUMBERVARCHAR2(30)VARCHAR2(30)VARCHAR2(30)VARCHAR2(30)
<pk>
DC_A_GEOTHEME_GEOTHEME
GEOTHEME1_NRGEOTHEME2_NRATABLEOWNERATABLENAMEDISCRCOLUMNDISCRVALUE
NUMBER(10)NUMBER(10)VARCHAR2(30)VARCHAR2(30)VARCHAR2(30)VARCHAR2(30)
<fk1><fk2>
Geographische Materialisierte
Sichten(GVI)
Registration im(Cadenza)
Systemschema
ETL-Prozess
DC_SDOGVI –Package
Fach-anwendung
Transparente Pflege
Transparente Nutzung
20
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Darstellung
• Zoom-Control• Themen nur im „sinnvollen“ Maßstab anzeigen
• Ausgedünnte Themen• Mehrere, „graphisch“ aufgearbeitete Varianten eines Themas
21
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Darstellung - Dynamische Ausdünnung und Clipping
4 948 428 Koordinatenwerte 107 168 Koordinatenwerte
98 % Reduktion des
Datenvolumens!
DC_SDOQUERY-Package
22
G. Lukács: Performanz, Geodata-Warehouse04.11.2009
Zusammenfassung
• Probleme• Übliche Optimierung
• Geoindex
• Geooperationen
• Darstellung
• Lösungen• DB-Tuning
• Geographische Materialisierte Sichten
• Zoom-Kontroll
• Ausgedünnte Themen
• Dynamische Ausdünnung und Clipping
top related