gut vernetzt: skalierbares graph mining für business intelligence

Gut vernetzt:

Skalierbares Graph Mining für Business Intelligence

André Petermann, Martin Junghanns

Universität Leipzig & ScaDS Dreden/Leipzig

Gut vernetzt: Skalierbares Graph Mining für Business Intelligence

Graphs are everywhere

GRADOOP

Business Intelligence

Zusammenfassung

Gut vernetzt: Skalierbares Graph Mining für Business Intelligence 3

Graphs are everywhere GRADOOP Business Intelligence Zusammenfassung

3

Graphs are everywhere1

1The Neo4j guys



4


𝐺𝑟𝑎𝑝ℎ = (𝐾𝑛𝑜𝑡𝑒𝑛, 𝐾𝑎𝑛𝑡𝑒𝑛)



5


Quelle: https://www.facebook.com/notes/facebook-engineering/visualizing-friendships/469716398919/



6


𝐺𝑟𝑎𝑝ℎ = (𝑁𝑢𝑡𝑧𝑒𝑟, 𝐹𝑟𝑒𝑢𝑛𝑑𝑠𝑐ℎ𝑎𝑓𝑡𝑒𝑛)

Alice

Bob

Eve

Dave

Carol

Mallory

Peggy

Trent



7


Alice

Bob

Eve

Dave

Carol

Mallory

Peggy

Trent

𝐺𝑟𝑎𝑝ℎ = (𝑁𝑢𝑡𝑧𝑒𝑟, 𝐹𝑟𝑒𝑢𝑛𝑑𝑠𝑐ℎ𝑎𝑓𝑡𝑒𝑛)



8


Quelle: https://www.openstreetmap.de/



9


Leipzig

Dresden

Berlin

Hamburg

München

Chemnitz

Nürnberg

Köln

𝐺𝑟𝑎𝑝ℎ = (𝑆𝑡ä𝑑𝑡𝑒, 𝑉𝑒𝑟𝑏𝑖𝑛𝑑𝑢𝑛𝑔𝑒𝑛)



10




11


fakturiert

Mitarbeiter name: Alice

Ticket kosten: 500

Auftrag

Ausgangsrechnung umsatz : 3000

Bestellung

Mitarbeiter name: Eve

Eingangsrechnung kosten : 1500

Zulieferer name: Elbe Blech

𝐺𝑟𝑎𝑝ℎ = (𝐺𝑒𝑠𝑐ℎä𝑓𝑡𝑠𝑜𝑏𝑗𝑒𝑘𝑡𝑒, 𝐾𝑜𝑛𝑡𝑒𝑥𝑡)



12


Wie oft telefonieren Mitarbeiter und Kunden aus verschiedenen Ländern miteinander?



13


Nutzer entspricht

entspricht

freunde

bearbeitetVon

Nutzer

Mitarbeiter

Kontaktperson

Zulieferer

Eingangsrechnung

von

gehörtZu

Welche Betrugsmuster treten in meinen Geschäftsdaten auf?



14


Welche Muster sind charakteristisch für Erfolg und Misserfolg eines Geschäftsprozesses?

Alice Email gesendetVon

Angebot Email zu

Telefonat Angebot Email zu zu

Eve Email gesendetVon



15

GRADOOP Graph Analytics with Hadoop


Graphs are everywhere GRADOOP Business Intelligence Zusammenfassung GRADOOP

Datenvolumen / Berechnungsaufwand

Usabili

ty

Graph Processing Systeme

Graphdatenbanken



Ein Open Source Framework für die deklarative Analyse verteilter Graphdaten



o Ausdrucksstarkes Datenmodell (Extended Property Graph Model)

o Analytische Algorithmen und Operatoren

o Deklarative Workflows

o Implementiert auf Big Data Technology



HDFS/YARN Cluster

Apache HBase: Distributed Graph Store

Apache Flink: Operator Implementation

Apache Flink: Distributed Operator Execution

Extended Property Graph Model (EPGM)

Graph Analytical Language (GrALa)



Extended Property Graph Model – EPGM



o Knoten (Vertices)



o Kanten (Edges)



o Identifikatoren

2 1 1 3



o (Typ) Labels

2 1 1

Auftrag Mitarbeiter

3 Mitarbeiter



o Eigenschaften (Properties)

2 1 1

Auftrag id : SO020 umsatz : 150.00 fakturiert : true

Mitarbeiter name : Alice dob : 1980-01-01

3 Mitarbeiter name : Bob



o Gerichtete Kanten

2 1 1


Mitarbeiter name : Alice dob : 1980-01-01




o Kanten Labels und Properties

2 1 1


Mitarbeiter name : Alice dob : 1980-01-01 erstelltVon

date : 2016-10-01




o Parallele Kanten (Multigraph)

2 3 1 1

2

3


Mitarbeiter name : Bob


date : 2016-10-01

ansprechpartner

bearbeiterIntern



o Schleifen

2 3 1 1

2

3

4




date : 2016-10-01

ansprechpartner

bearbeiterIntern

ers

tellt

Von



o Logische (Sub-)Graphen

2 3 1 1

2

3

4




date : 2016-10-01

ansprechpartner

bearbeiterIntern

ers

tellt

Von

1



o Graph Labels und Properties

2 3 1 1

2

3

4




date : 2016-10-01

ansprechpartner

bearbeiterIntern

ers

tellt

Von

Nachbarschaft von : Bob anzKanten : 2

2

Aktivität 1



o Extended Property Graph Model (EPGM)

2 3 1 1

2

3

4




date : 2016-10-01

ansprechpartner

bearbeiterIntern

ers

tellt

Von

Nachbarschaft von : Bob anzKanten : 2

2

Aktivität 1



Graph Analytical Language - GrALa



o Domänenspezifische Sprache für das EPGM o Deklarative Operatoren für Logische Graphen und Graphmengen

o Anwendungslogik in benutzerdefinierten Funktionen

o Plugin-Konzept für externe Graphalgorithmen o Aktuell in Java implementiert

GrALa



o Variablen

o Zugriff auf Knoten und Kanten

o Symbole

o Zugriff auf ID / Label

o Zugriff auf Properties

o Benutzerdefinierte Funktionen

o Funktionen als Argument

o Verkettung

LogicalGraph graph; GraphCollection coll;

graph.vertices; graph.edges

:id :label

graph[:id]; graph[:label]; vertex[:label]

graph[‘anzKnoten‘]; vertex[‘name‘]

udf = (graph => graph[‘anzKnoten‘] > 42)

graph.foo(udf)

graph.foo(udf).bar(udf)

GrALa - Sprachkonstrukte



1 3

4

5 2

3

1 2

1 3

4

5 2

1 2 4

5

Combination

Overlap

Exclusion

3 Binäre Operatoren

LogicalGraph graph3 = graph1.combine(graph2) LogicalGraph graph4 = graph1.overlap(graph2) LogicalGraph graph5 = graph1.exclude(graph2)



1 3

4

5 2

3

1 3

4

5 2

3 | anzKnoten: 5

UDF

Aggregation

udf = (graph => graph[‘anzKnoten’] = graph.vertices.size()) graph3 = graph3.aggregate(udf)



UDF

3 | anzKnoten: 5

name:Alice

f_name:Bob 1 3

4

5 2

3 | Community| anzKnoten: 5

f_name:Alice

f_name:Bob 1 3

4

5 2

Transformation

graph3 = graph3.transform( (graphOld, graphNew => graphNew[:label] = ‘Community’), (vertexOld, vertexNew => vertexNew[‘f_name’] = vertexOld[‘name’] != null ? vertexOld[‘name’] : vertexOld[‘f_name’]), (edgeOld, edgeNew => edgeNew[:label] = edgeOld[:label] == ‘orange’ ? ‘rot’ : edgeOld[:label]))



3

1 3

4

5 2

3

4

1 2

3

5

1 2

6

3 5

2 UDF

UDF

UDF

Subgraph

LogicalGraph graph4 = graph3.subgraph( (vertex => vertex[:label] == ‘grün’), (edge => edge[:label] == ‘orange’)) LogicalGraph graph5 = graph3.subgraph((vertex => vertex[:label] == ‘grün’)) LogicalGraph graph6 = graph3.subgraph((edge => edge[:label] == ‘blau’))



3

1 3

4

5 2 Pattern

4 5

1 3

4

2

Graph Collection

Pattern Matching

GraphCollection collection = graph3.match(‘(:Grün)-[:orange]->(:Orange)’) // z.B. in Geschäftsdaten GraphCollection collection = graph3.match(‘(:Auftrag)-[:bearbeitetVon]->(:Mitarbeiter)’)



Keys

3

1 3

4

5 2

+Aggregate

3

a:23 a:84

a:42

a:12

1 3

4

5 2

a:13

a:21

4

count:2 count:3

max(a):42

max(a):84

max(a):13 max(a):21

6 7

4

6 7

Grouping

LogicalGraph grouped = graph3.groupBy( [:label], // vertex keys [:label]) // edge keys LogicalGraph grouped = graph3.groupBy([:label], [COUNT()], [:label], [MAX(‘a’)])



Operator

1

2

0 2

3

4 1

5 7 8 6

1 | anzKnoten: 5

2 | anzKnoten: 4

0 2

3

4 1

5 7 8 6

Apply (e.g. Aggregation)

collection = collection.apply( (graph => graph.aggregate((g => g[‘anzKnoten’] = g.vertices.size()))));



UDF

anzKnoten > 4

1 | anzKnoten: 5

2 | anzKnoten: 4

0 2

3

4 1

5 7 8 6

1 | anzKnoten: 5

0 2

3

4 1

Selection

GraphCollection filtered = collection.select((graph => graph[‘anzKnoten’] > 4))



GraphCollection frequentPatterns = collection.callForCollection(new TransactionalFSM(0.5))

Call (e.g. Frequent Subgraph Mining)

FSM

Schwellwert : 50%

1

0 1 2

3

4

5 6 7

8

9

10

13

14

2

3

11 12

15 16

17 18

19 20

4

5

6

21 23 22

25 26 24

7

8



47




48


o Geschäftsdaten als Graph

o Analytische Beispiele:

o Geografische Kundenkontakte

o Nach verdächtigen Mustern suchen

o Analyse von Geschäftsprozessen (Quote-to-Cash)



49


manuell, teilweise automatisierbar

automatisch Domänenexperte

Metadaten

Metadaten-Graph

Integrierte Graphdaten

Daten

ERP, CRM, ... BizTalk etc. Web

Geschäftsdaten als Graph



50


CIT ERP

bestätigt

bedient

bedient

fakturiert

fakturiert fakturiert

Angebot

Auftrag Bestellung

Bestellung

Eingangsrechnung

Eingangsrechnung Ausgangsrechnung

Mitarbeiter id: Dave

Ticket id: TI-001 kosten: 500

betrifft

bearbeitetVon

bearbeitetVon

Geschäftsdaten als Graph

Mitarbeiter Mitarbeiter

Mitarbeiter

id: Alice land: UK

id: Bob land: DE

id: Carol land: DE

id: SI-001 umsatz : 5,000

id: PI-002 kosten: 1,500


id: PO-001 id: SO-001

id: PO-002

id: SQ-001

erstelltVon erstelltVon

bearbeitetVon

erstelltVon

erstelltVon



51


Beispiel 1 : Geographische Kundenkontakte mit Graph Grouping




52


DataSource dataSource = new HBaseDataSource();



53



LogicalGraph graph = dataSource.toLogicalGraph()

Mitarbeiter name: Alice land : DE

Mitarbeiter name: Bob land : NL

Mitarbeiter name: Carol land : UK

Mitarbeiter name: Dave land : UK

Kunde name: Paul land : DE

Kunde name: Arthur land : UK

Kunde name: Frank land : DE

Angebot id : QTN001

Kunde name: Chuck land : UK

1



54




.subgraph(v => v[:label] == ‘Mitarbeiter‘ || v[:label] == ‘Kunde‘)








Angebot id : QTN001


1



55













2

1



56





.groupBy( [:label, ‘land‘], [COUNT()], [:label], [COUNT()]);









2

1



57






Mitarbeiter land : DE count : 1

Mitarbeiter land : NL count : 1

Mitarbeiter land : UK count : 2

Kunde land : UK count : 2

Kunde land : DE count : 2

anruf count : 1

3

anruf count : 1

anruf count : 1

anruf count : 1

anruf count : 2

anruf count : 1

2



58






graph.writeTo(new JSONDataSink(‘hdfs:///result‘)

Mitarbeiter land : DE count : 1

Mitarbeiter land : NL count : 1

Mitarbeiter land : UK count : 2

Kunde land : UK count : 2

Kunde land : DE count : 2

anruf count : 1

3

anruf count : 1

anruf count : 1

anruf count : 1

anruf count : 2

anruf count : 1

2



59





60


Beispiel 2: Nach verdächtigen Mustern suchen mit Pattern Matching



61


LogicalGraph graph = dataSource.toLogicalGraph();

entspricht

Kontaktperson

Mitarbeiter

Geschäftsdaten

Nutzer

1

freunde

Soziales Netzwerk



62



Nutzer entspricht

entspricht

bearbeitetVon

Nutzer

Mitarbeiter

Kontaktperson Zulieferer

Eingangsrechnung

von

gehörtZu

freunde



63



GraphCollection coll = graph.match(

(e:Mitarbeiter)<-[:bearbeitetVon]-(:Eingangsrechnung)-[:von]->(:Zulieferer)<-[:gehörtZu]-(c:Kontaktperson)

(c)-[:entspricht]->(:Nutzer)-[:freunde]->(:Nutzer)<-[:entspricht]-(e))

e

c

Nutzer entspricht

entspricht

bearbeitetVon

Nutzer

Mitarbeiter

Kontaktperson Zulieferer

Eingangsrechnung

von

gehörtZu

freunde



64






2

e

c

Nutzer name: Alice

entspricht

entspricht

bearbeitetVon

Nutzer name: Bob

Mitarbeiter name: Alice Smith

Kontaktperson name: Bob Miller


Eingangsrechnung umsatz : 1337

von

gehörtZu

3

4

…

freunde



65






.apply(g => g.subgraph(e => e[:label] == ‘freunde‘));

2

e

c

Nutzer name: Alice

entspricht

entspricht

bearbeitetVon

Nutzer name: Bob

Mitarbeiter name: Alice Smith

Kontaktperson name: Bob Miller


Eingangsrechnung umsatz : 1337

von

gehörtZu

3

4

…

freunde



66







5 Nutzer name: Alice

Nutzer name: Bob

6

7 …

freunde



67







Table result = collection.edges()


Nutzer name: Bob

6

7 …

SOURCE EDGE TARGET

Alice freunde Bob

Alice freunde Bob

Eve freunde Frank

Alice freunde Bob

freunde



68







Table result = collection.edges()

.groupBy(SOURCE, TARGET).count();


Nutzer name: Bob

6

7 …

SRC TRGT CNT

Alice Bob 3

Eve Frank 1

SOURCE EDGE TARGET

Alice freunde Bob

Alice freunde Bob

Eve freunde Frank

Alice freunde Bob

freunde



69


Beispiel 3: Quote-to-Cash Analyse von Geschäftsprozessen



70


Quote-to-Cash

Kampagne thema: Äpfel Telefonat

Sachkonto name: umsatz

Sachkonto name: kosten Buchung

betrag: -200

Zahlung

Zahlung

Zahlung

Buchung betrag: 100

Buchung betrag: 100

Buchung betrag: 100

Kunde name: ACME

Ausgangsrechnung betrag: 300

Mitarbeiter name: Alice

Visit

Mitarbeiter name: Bob

Angebot

Produkt name: Apfel

anz : 100 preis: 1.50

Produkt name: Birne

anz : 200 preis: 1.00

Auftrag

Mitarbeiter name: Carol

anz : 300 preis: 1.00

Zulieferer name: East Fruits

Mitarbeiter name: Dave

Bestellung

anz : 100 | preis: 0.50

Bestellung

Zulieferer name: West Fruits anz : 200 | preis: 1.00

Buchung betrag: -200

Buchung betrag: -50



71


Kampagne thema: Äpfel Telefonat

Sachkonto name: umsatz

Sachkonto name: kosten

Buchung betrag: 100


Telefonat

Telefonat

Telefonat

Telefonat

Buchung betrag: 500

Buchung betrag: 400

Buchung betrag: 300

Buchung betrag: 200



Buchung betrag: -400 Buchung

betrag: -500

Quote-to-Cash



72


0: LogicalGraph iig = dataSource.getLogicalGraph();

1: GraphCollection btgs = iig.callForCollection(new BusinessTransactionGraphs())


iig

btgs

Geschäftsfälle als Graphmenge

1

Quote-to-Cash



73


CIT ERP

Auftrag id: SO-001

bestätigt

Bestellung

Bestellung

Ausgangsrechnung


id: PO-001

id: PO-002

bedient

bedient

fakturiert

Angebot id: SQ-001

Mitarbeiter


Mitarbeiter

Mitarbeiter

id: Alice land: UK

id: Bob land: DE

id: Carol land: DE

bearbeitetVon

bearbeitetVon


bearbeitetVon

erstelltVon

erstelltVon

Eingangsrechnung

Eingangsrechnung id: PI-002 kosten: 1,500


fakturiert

fakturiert

betrifft Ticket id: TI-001 kosten: 500

Quote-to-Cash



74




2: .apply(g => g.aggregate([SUM(‘umsatz’), SUM(‘kosten’)], [])


iig

btgs


2

btgs

3000,2000

4000,3500

2000,2000

1000,1500

7500,6500

1000,3500

500, 500

Geschäftsfälle mit Umsatz und Ausgaben

1

Quote-to-Cash



75



id: PI-002 kosten: 1,500 id: SI-001

umsatz : 5,000


CIT ERP

bestätigt

bedient

bedient

fakturiert

fakturiert

fakturiert

Angebot

Auftrag Bestellung

Bestellung

Ausgangssrechnung

Eingangsrechnung

Eingangsrechnung Mitarbeiter id: Dave

betrifft

bearbeitetVon

bearbeitetVon


Mitarbeiter

id: Alice land: UK

id: Bob land: DE

id: Carol land: DE

id: PO-001 id: SO-001

id: PO-002

id: SQ-001


bearbeitetVon

erstelltVon

erstelltVon

sum(umsatz) : 5,000 | sum(kosten): 4,000 Quote-to-Cash



76





3: .transform(categorizeGraphHead, changeVertexLabels);


iig

btgs


btgs

3000,2000

4000,3500

2000,2000

1000,1500

7500,6500

1000,3500

500, 500


1 2

btgs

Kategorisierte Geschäftsfälle

3

Quote-to-Cash



77






CIT ERP

bestätigt

bedient

bedient

fakturiert

fakturiert

fakturiert

Angebot

Auftrag Bestellung

Bestellung

Eingangsrechnung

Eingangsrechnung

Eingangsrechnung


betrifft

bearbeitetVon

bearbeitetVon


Mitarbeiter

id: Alice land: UK

id: Bob land: DE

id: Carol land: DE

id: PO-001 id: SO-001

id: PO-002

id: SQ-001


bearbeitetVon

erstelltVon

erstelltVon

Quote-to-Cash sum(umsatz) : 5,000 | sum(kosten): 4,000

categorizeGraphHead = (Graph in, Graph out => out[‘category‘] = (in[‘sum(umsatz)‘] - in[‘sum(kosten)‘] > 0 ? ‘gewinn‘ : ‘verlust‘) ) changeVertexLabels = (Vertex in, Vertex out => out[:label] = (in[‘superClass‘] == ‘MasterData‘ ? in[‘id‘] : in[:label]) )

category: ‘gewinn‘



78


Ticket

CIT ERP

bestätigt

bedient

bedient

fakturiert

fakturiert

fakturiert

Angebot

Auftrag Bestellung

Bestellung

Ausgangsrechnung

Eingangsrechnung

Eingangsrechnung


betrifft

bearbeitetVon

bearbeitetVon


Mitarbeiter

id: Alice land: UK

id: Bob land: DE

id: Carol land: DE


bearbeitetVon

erstelltVon

erstelltVon

Quote-to-Cash category: ‘gewinn‘

Alice

Bob

Carol

Dave


id: PI-002 kosten: 1,500 id: SI-001

umsatz : 5,000

id: PO-001 id: SO-001

id: PO-002

id: SQ-001

id: TI-001 kosten: 500



79






4: GraphCollection patterns = btgs.callForCollection(new CategoryCharacteristicSubgraphs(0.8, 2.0)


iig

btgs


btgs

3000,2000

4000,3500

2000,2000

1000,1500

7500,6500

1000,3500

500, 500


btgs


1 2 3

patterns

Charakteristische Graphmuster

4

Quote-to-Cash



80






4: GraphCollection patterns = btgs.callForCollection(new CategoryCharacteristicSubgraphs(0.8, 2.0)


iig

btgs


btgs

3000,2000

4000,3500

2000,2000

1000,1500

7500,6500

1000,3500

500, 500


btgs


1 2 3

patterns

Charakteristische Graphmuster

4

Alice Email

1 | category : ‘gewinn‘

Angebot Email Telefonat


Angebot Alice Email Telefonat Bob


Angebot Email Eve

4 | category : ‘verlust‘



81


o Eingabe: KPI und Kategorisierung

o Muster werden automatisch gefunden

o Keine Vermutung notwendig (z.B. überprüfe E-Mails)

o Muster können weiter verwendet werden (Filtern, Anzeigen,...)

Angebot

Alice

Email Telefonat

Bob

Quote-to-Cash



82

Zusammenfassung



83

Zusammenfassung

o Open Source Framework

o Deklarative Graphanalyse

o Ausdrucksstarkes und flexibles Datenmodell

o Erweiterung von BI durch neuartige Netzwerkanalysen

o Big Data ready

Junghanns, M.; Petermann, A.

Verteilte Graphanalyse mit Gradoop JavaSPEKTRUM 05/2016

Petermann, A.; Junghanns, M.

Scalable Business Intelligence with Graph Collections it - Information Technology, Special Issue: Big Data Analytics (2016)

Junghanns, M.; Petermann, A.; Teichmann, N.; Gomez, K.; Rahm, E.

Analyzing Extended Property Graphs with Apache Flink International Workshop on Network Data Analytics @ SIGMOD (2016)

Petermann, A.; Junghanns, M.; Kemper, S.; Gomez, K.; Teichmann, N.; Rahm, E.

Graph Mining for Complex Data Analytics Demonstration @ IEEE International Conference on Data Mining (2016)

Petermann, A.; Junghanns, M.; Müller, R.; Rahm, E.

Graph-based Data Integration and Business Intelligence with BIIIG Demonstration @ International Conference on Very Large Databases (2014)

GRADOOP @ inovex Meetup München 06/2016 http://www.slideshare.net/s1ck/distributed-graph-analytics-with-gradoop

GRADOOP @ Flink & Neo4j Meetup Berlin 03/2016 http://www.slideshare.net/s1ck/gradoop-scalable-graph-analytics-with-apache-flink-flink-neo4j-meetup-berlin

GRADOOP @ FlinkForward 2015 http://www.slideshare.net/FlinkForward/martin-junghans-gradoop-scalable-graph-analytics-with-apache-flink

Ausgewählte Artikel und Vorträge

www.gradoop.com

http://www.slideshare.net/s1ck/distributed-graph-analytics-with-gradoop










http://www.slideshare.net/s1ck/gradoop-scalable-graph-analytics-with-apache-flink-flink-neo4j-meetup-berlin





















http://www.slideshare.net/FlinkForward/martin-junghans-gradoop-scalable-graph-analytics-with-apache-flink

















gut vernetzt: skalierbares graph mining für business intelligence

Data & Analytics