big game data - event tracking mit storm, kestrel und der lambda architektur - data2day 2014

Big Game Data - Volker Janz

Big Game Data

1

Event Tracking @ InnoGames

Big Game Data - Volker Janz 2


@prenomenon!

Lead Software Developer💼

Volker Janz


InnoGames๏ Free-to-play Onlinespiele

๏ Die Stämme

๏ Forge of Empires

๏ Grepolis

๏ The West

๏ 350 Mitarbeiter am Standort Hamburg

๏ Mehr als 130 Millionen Registrierungen

๏ International

๏ Bester Arbeitgeber der Games Branche


" Was ist Big Data?

Keynote Template


Was ist Big Data? "


Was ist Big Data? "

VolumeVarietyVelocity


⚡ Events

Keynote Template


Events ⚡

!Ein Event ist ein Indikator für ein beobachtbares Geschehen

bzw. eine Zustandsänderung in Form einer Text Nachricht

welche aktiv sowie passiv durch oder für einen bestimmten,

identifizierbaren Nutzer oder ein System zu einer bestimmten

Zeit ausgelöst werden kann.


Events ⚡

0.1.0/prog/build/foe/2.0.1/de/4711/2014-10-01T13:37.000Z/ua/kaserne/10/20/15

Identifikatoren Metadaten Parameter

version/category/type/game/sprint/market/player/date/user_agent/param1/…/paramN


Events ⚡


Events ⚡

prog/build

prog/fight

set/change

soci/invite

soci/message


Events ⚡

280M100G3000G

Events / Tag

Daten / Tag

Daten / Monat

Big Game Data - Volker Janz16

Events ⚡

" Hadoop

$ GameServer

$ GameServer

$ GameServer

📈

👤

💻

Game Backend Tracking

Drag Your Image Here


% Event Tracking

Keynote Template


Event Tracking %

Aller Anfang ist schwer


Event Tracking %

$ Game Server

'Event

Gateway

Event Client

(Message Queue

)Event

Consumer

Hadoop

📈

👤

💻

Entkoppeln und einfacher einstieg ins System

Buffer und „Auffangbecken“ - Bereitstellung der Events an

Consumer

Konsumieren und Schreiben der Events an die Korrekte

Stelle im HDFS (Partitionierung)

Verteilte Speicherung (HDFS) und Verarbeitung

(MapReduce, Spark)


'Gateway

(Queue

💻Client

)Consumer

Twitter Kestrel

Apache Storm

Perl Script

REST API mit Dropwizard

Event Tracking %


Event Tracking %

$ Game Server

'REST API

Perl Script

(Kestrel

Hadoop

'REST API

(Kestrel

LB⚡

Storm Cluster

⟳Round Robin

Event File

Backup =nginx access.log +$request_body +logrotate +hadoop fs -put


( Kestrel

Keynote Template

https://github.com/twitter/kestrel

https://github.com/twitter/kestrel


Kestrel (

Einfache, verteile Message queue


Kestrel (

Persistent Hält Messages im Speicher für Speed

Schreibt in Journal Dateien für Persistenz


Kestrel (

Zuverlässig Clients können Messages „vorläufig“ lesen Bei Abbruch wird Message „zurückgelegt“


Kestrel (

Flexibel memcache Protokoll

Einfaches text Protokoll Apache Thrift


💻

Kestrel (

(geordnet

(geordnet

(locker geordnet


💻

Kestrel (

(events_queue

(events_queue+fanout💻

Client 1

Client 2


Kestrel (

new KestrelConfig { queues = new QueueBuilder() { name = "q" maxItems = 500 } :: new QueueBuilder() { name = "q+fanout" maxAge = 1.minute } :: new QueueBuilder() { name = "x" maxMemorySize = 16.megabytes }}


Kestrel (


⚡ Storm

Keynote Template

https://github.com/apache/storm

https://github.com/apache/storm


Storm ⚡

Apache™ Storm is a distributed real-time computation system for processing fast, large

streams of data.


Storm ⚡

Schnell⏩

1.000.000 100 Byte Nachrichten pro

Sekunde pro Node

Skalierbar,

Parallele, im Cluster verteilte

Berechnung

Fehlertolerant❌

Ausfallende Worker und Nodes werden

automatisch kompensiert

Zuverlässig✓

Garantiert „at least once“ Verarbeitung

von Nachrichten


Storm ⚡

Tupel

Tupel

Tupel

Tupel

Datenstrom

Storm verarbeitet Datenströme aus Tupeln

Ein Tupel ist eine Liste von Werten


Storm ⚡

Spout

Quelle von DatenströmenKestrel Spout https://github.com/nathanmarz/storm-kestrel


Storm ⚡

Verarbeitung von Tupeln

Bolt


Storm ⚡

In Datenbank schreiben


Storm ⚡

Aus Datenbank lesen


Storm ⚡

Optional weitere Tupel / Datenströme erzeugen

HDFS Bolt https://github.com/ptgoetz/storm-hdfs


Storm ⚡

Eine Topologie ist ein gerichteter azyklischer Graph und eine

Komposition aus Spouts und Bolts


λ Lambda Architektur

Keynote Template


Lambda Architektur λ

Abstrakte Architektur für die Realisierung von skalierbaren

Echtzeitsystemen



@nathanmarz http://manning.com/marz/

!

📕

http://manning.com/marz/



" Datenquellen

Batch Layer

Speed Layer

Serving Layer Query



" Datenquellen

Query

Batch Layer

Speed Layer

Serving Layer

Master Datensatz

Batch Views⟳

Datenstrom Real-Time Views⚡

Merged View&



Messaging System Query

DB / DFSBatch

Processing System

Stream Processing System

DB Batch Views

DB Real-Time Views

Application


Hadoop 2 / YARN

Lambda Architektur

47

λ

Kestrel Query

HDFS MapReduce / Spark

Storm-YARN

HOYAHue /

Apache Twill / Apache

Slider


Hadoop 2 / YARN

Lambda Architektur

48

λ

Query

HDFS MapReduce / Spark

Storm-YARN HOYA

HDFS

Apache Mesos


Lambda Architektur

49

λ

select c.name, hb.tweets.countfrom hive.ods.`customers` cjoin hbase.user.`socialdata` hbon c.customerId = convert_from(hb.rowkey, UTF-8);

http://incubator.apache.org/drill/

Customer in Hadoop / Hive

Tweets in HBase

http://incubator.apache.org/drill/


$ Game Server

'REST API

Perl Script

(Kestrel

Hadoop

'REST API

(Kestrel

LB⚡

Storm Cluster

Event File


⟳Round Robin


$ Game Server

'REST API

Perl Script

'REST API

LB ⟳

Event File

(Kestrel

(Kestrel

Hadoop

HBASE

⚡

Storm Cluster

Event Consumer



$ Game Server

'REST API

Perl Script

'REST API

LB

Event File

(Kestrel

(Kestrel

Hadoop

HBASE

⚡

Storm Cluster

Event Consumer


⟳


⟳

53

$ Game Server

'REST API

Perl Script

'REST API

LB

Event File

(Kestrel

(Kestrel

Hadoop

HBASE

⚡

Storm Cluster

Event ConsumerBatch Layer

Speed Layer Serving

Layer

Datenquelle


'Mark Twain

If the only tool you have is a hammer, everything

looks like a nail.

'

2014


! @prenomenon " 0

VIELEN DANK(

de.linkedin.com/in/vjanz/innogames.com jobs.innogames.com blog.innogames.com

Backup Folien


🚀Spieler verstehen

und Spiele optimieren 📈

Ad-hoc Analysen und

automatisiere Reports

📱Mobile

Plattformen differenzieren

Drag Your Image Here

Events ⚡

'Datenbereitstellung

für andere Systeme (BI)

⚡Echtzeitanalysen

und Aktionen

Big Game Data - Volker Janz60

Events ⚡

💻Client

" Hadoop

$ GameServer

💻Client

$ GameServer

💻Client

$ GameServer

📈

👤

💻

Client Side Tracking

Game Backend Tracking


Storm ⚡

Spouts und Bolts werden als individuelle Tasks parallel im Cluster ausgeführt, die Verteilung der Tupel geschieht durch Stream Grouping


Storm ⚡

public class RedisSpout extends BaseRichSpout {

// ... @Override public void nextTuple() { String message = jedis.rpop(messageQueue);

if(null != message && !message.equals(NIL)) { int pos = message.indexOf(","); String entityId = message.substring(0, pos); String recordData = message.substring(pos+1); collector.emit(new Values(entityId, recordData)); } }

}


Storm ⚡

public

collector } }

}

Kestrel Spout https://github.com/nathanmarz/storm-kestrel


Storm ⚡

public static class WordCount extends BaseBasicBolt { Map<String, Integer> counts = new HashMap<String, Integer>();

@Override public void execute(Tuple tuple, BasicOutputCollector collector) { String sentence = tuple.getString(0);

for (String word : sentence.split(" ")) { collector.emit(tuple, new Values(word)); }

collector.ack(tuple); }

}


Storm ⚡

public

collector }

collector }

}

HDFS Bolt https://github.com/ptgoetz/storm-hdfs


Storm ⚡

public static void main(String[] args) throws Exception { TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("spout", new RandomSentenceSpout(), 5); builder.setBolt("split", new SplitSentence(), 8).shuffleGrouping("spout"); builder.setBolt("count", new WordCount(), 12).fieldsGrouping("split", new Fields("word"));

Config conf = new Config(); conf.setDebug(true);

// ...

LocalCluster cluster = new LocalCluster(); cluster.submitTopology("word-count", conf, builder.createTopology());

Thread.sleep(10000);

cluster.shutdown();}


Storm ⚡

Worker NodeWorker Prozess

Executor

⚙

Task⚙

Task

⚙

Task⚙

Task

image

Nimbus

ZK


Storm ⚡

Alternativen?

) http://odysseus.informatik.uni-oldenburg.de/


Kestrel (

) watch -t -d -n,1 'echo "DUMP_STATS" | nc localhost 22133'

*SET <queue-name> <flags (ignored)> <expiration> <# bytes> echo -e "SET game_events 0 0 16\n0.1.0/prog/build\n" | nc localhost 22133

+GET <queue-name>[options] echo "GET game_events" | nc localhost 22133

'Albert Einstein

Not everything that can be counted counts. Not everything that

counts can be counted.

big game data - event tracking mit storm, kestrel und der lambda architektur - data2day 2014

Data & Analytics

innogamesbig game data

putbig game data

sparkbig game data

persistenzbig game data

agent game data

comtwitterkestrelbig

schwerbig game data

big data