big game data - event tracking mit storm, kestrel und der lambda architektur - data2day 2014

Big Game Data - Volker Janz

Big Game Data

Event Tracking @ InnoGames

Big Game Data - Volker Janz 2

@prenomenon!

Lead Software Developer💼

Volker Janz

InnoGames๏ Free-to-play Onlinespiele

๏ Die Stämme

๏ Forge of Empires

๏ Grepolis

๏ The West

๏ 350 Mitarbeiter am Standort Hamburg

๏ Mehr als 130 Millionen Registrierungen

๏ International

๏ Bester Arbeitgeber der Games Branche

" Was ist Big Data?

Keynote Template

Was ist Big Data? "

VolumeVarietyVelocity

⚡ Events

Keynote Template

Events ⚡

!Ein Event ist ein Indikator für ein beobachtbares Geschehen

bzw. eine Zustandsänderung in Form einer Text Nachricht

welche aktiv sowie passiv durch oder für einen bestimmten,

identifizierbaren Nutzer oder ein System zu einer bestimmten

Zeit ausgelöst werden kann.

Events ⚡

!Ein Event ist ein Indikator für ein beobachtbares Geschehen

bzw. eine Zustandsänderung in Form einer Text Nachricht

welche aktiv sowie passiv durch oder für einen bestimmten,

identifizierbaren Nutzer oder ein System zu einer bestimmten

Zeit ausgelöst werden kann.

Events ⚡

0.1.0/prog/build/foe/2.0.1/de/4711/2014-10-01T13:37.000Z/ua/kaserne/10/20/15

Identifikatoren Metadaten Parameter

version/category/type/game/sprint/market/player/date/user_agent/param1/…/paramN

Events ⚡

prog/build

prog/fight

set/change

soci/invite

soci/message

Events ⚡

280M100G3000G

Events / Tag

Daten / Tag

Daten / Monat

Big Game Data - Volker Janz16

Events ⚡

" Hadoop

$ GameServer

Game Backend Tracking

Drag Your Image Here

% Event Tracking

Keynote Template

Event Tracking %

Aller Anfang ist schwer

Event Tracking %

$ Game Server

'Event

Gateway

Event Client

(Message Queue

)Event

Consumer

Hadoop

Entkoppeln und einfacher einstieg ins System

Buffer und „Auffangbecken“ - Bereitstellung der Events an

Consumer

Konsumieren und Schreiben der Events an die Korrekte

Stelle im HDFS (Partitionierung)

Verteilte Speicherung (HDFS) und Verarbeitung

(MapReduce, Spark)

'Gateway

(Queue

💻Client

)Consumer

Twitter Kestrel

Apache Storm

Perl Script

REST API mit Dropwizard

Event Tracking %

$ Game Server

'REST API

Perl Script

(Kestrel

Hadoop

'REST API

(Kestrel

Storm Cluster

⟳Round Robin

Event File

Backup =nginx access.log +$request_body +logrotate +hadoop fs -put

( Kestrel

Keynote Template

https://github.com/twitter/kestrel

Kestrel (

Einfache, verteile Message queue

Kestrel (

Persistent Hält Messages im Speicher für Speed

Schreibt in Journal Dateien für Persistenz

Kestrel (

Zuverlässig Clients können Messages „vorläufig“ lesen Bei Abbruch wird Message „zurückgelegt“

Kestrel (

Flexibel memcache Protokoll

Einfaches text Protokoll Apache Thrift

Kestrel (

(geordnet

(locker geordnet

Kestrel (

(events_queue

(events_queue+fanout💻

Client 1

Client 2

Kestrel (

new KestrelConfig { queues = new QueueBuilder() { name = "q" maxItems = 500 } :: new QueueBuilder() { name = "q+fanout" maxAge = 1.minute } :: new QueueBuilder() { name = "x" maxMemorySize = 16.megabytes }}

Kestrel (

⚡ Storm

Keynote Template

https://github.com/apache/storm

Storm ⚡

Apache™ Storm is a distributed real-time computation system for processing fast, large

streams of data.

Storm ⚡

Schnell⏩

1.000.000 100 Byte Nachrichten pro

Sekunde pro Node

Skalierbar,

Parallele, im Cluster verteilte

Berechnung

Fehlertolerant❌

Ausfallende Worker und Nodes werden

automatisch kompensiert

Zuverlässig✓

Garantiert „at least once“ Verarbeitung

von Nachrichten

Storm ⚡

Datenstrom

Storm verarbeitet Datenströme aus Tupeln

Ein Tupel ist eine Liste von Werten

Storm ⚡

Quelle von DatenströmenKestrel Spout https://github.com/nathanmarz/storm-kestrel

Storm ⚡

Verarbeitung von Tupeln

Storm ⚡

In Datenbank schreiben

Storm ⚡

Aus Datenbank lesen

Storm ⚡

Optional weitere Tupel / Datenströme erzeugen

HDFS Bolt https://github.com/ptgoetz/storm-hdfs

Storm ⚡

Eine Topologie ist ein gerichteter azyklischer Graph und eine

Komposition aus Spouts und Bolts

λ Lambda Architektur

Keynote Template

Lambda Architektur λ

Abstrakte Architektur für die Realisierung von skalierbaren

Echtzeitsystemen

@nathanmarz http://manning.com/marz/

" Datenquellen

Batch Layer

Speed Layer

Serving Layer Query

" Datenquellen

Batch Layer

Speed Layer

Serving Layer

Master Datensatz

Batch Views⟳

Datenstrom Real-Time Views⚡

Merged View&

Messaging System Query

DB / DFSBatch

Processing System

Stream Processing System

DB Batch Views

DB Real-Time Views

Application

Hadoop 2 / YARN

Lambda Architektur

Kestrel Query

HDFS MapReduce / Spark

Storm-YARN

HOYAHue /

Apache Twill / Apache

Slider

Hadoop 2 / YARN

Lambda Architektur

HDFS MapReduce / Spark

Storm-YARN HOYA

Apache Mesos

Lambda Architektur

select c.name, hb.tweets.countfrom hive.ods.`customers` cjoin hbase.user.`socialdata` hbon c.customerId = convert_from(hb.rowkey, UTF-8);

http://incubator.apache.org/drill/

Customer in Hadoop / Hive

Tweets in HBase

$ Game Server

'REST API

Perl Script

(Kestrel

Hadoop

'REST API

(Kestrel

Storm Cluster

Event File

⟳Round Robin

$ Game Server

'REST API

Perl Script

'REST API

LB ⟳

Event File

(Kestrel

Hadoop

Storm Cluster

Event Consumer

$ Game Server

'REST API

Perl Script

'REST API

Event File

(Kestrel

Hadoop

Storm Cluster

Event Consumer

$ Game Server

'REST API

Perl Script

'REST API

Event File

(Kestrel

Hadoop

Storm Cluster

Event ConsumerBatch Layer

Speed Layer Serving

Datenquelle

'Mark Twain

If the only tool you have is a hammer, everything

looks like a nail.

! @prenomenon " 0

VIELEN DANK(

de.linkedin.com/in/vjanz/innogames.com jobs.innogames.com blog.innogames.com

Backup Folien

🚀Spieler verstehen

und Spiele optimieren 📈

Ad-hoc Analysen und

automatisiere Reports

📱Mobile

Plattformen differenzieren

Drag Your Image Here

Events ⚡

'Datenbereitstellung

für andere Systeme (BI)

⚡Echtzeitanalysen

und Aktionen

Big Game Data - Volker Janz60

Events ⚡

💻Client

" Hadoop

$ GameServer

💻Client

$ GameServer

💻Client

$ GameServer

Client Side Tracking

Game Backend Tracking

Storm ⚡

Spouts und Bolts werden als individuelle Tasks parallel im Cluster ausgeführt, die Verteilung der Tupel geschieht durch Stream Grouping

Storm ⚡

public class RedisSpout extends BaseRichSpout {

// ... @Override public void nextTuple() { String message = jedis.rpop(messageQueue);

if(null != message && !message.equals(NIL)) { int pos = message.indexOf(","); String entityId = message.substring(0, pos); String recordData = message.substring(pos+1); collector.emit(new Values(entityId, recordData)); } }

Storm ⚡

public

collector } }

Kestrel Spout https://github.com/nathanmarz/storm-kestrel

Storm ⚡

public static class WordCount extends BaseBasicBolt { Map<String, Integer> counts = new HashMap<String, Integer>();

@Override public void execute(Tuple tuple, BasicOutputCollector collector) { String sentence = tuple.getString(0);

for (String word : sentence.split(" ")) { collector.emit(tuple, new Values(word)); }

collector.ack(tuple); }

Storm ⚡

public

collector }

HDFS Bolt https://github.com/ptgoetz/storm-hdfs

Storm ⚡

public static void main(String[] args) throws Exception { TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("spout", new RandomSentenceSpout(), 5); builder.setBolt("split", new SplitSentence(), 8).shuffleGrouping("spout"); builder.setBolt("count", new WordCount(), 12).fieldsGrouping("split", new Fields("word"));

Config conf = new Config(); conf.setDebug(true);

// ...

LocalCluster cluster = new LocalCluster(); cluster.submitTopology("word-count", conf, builder.createTopology());

Thread.sleep(10000);

cluster.shutdown();}

Storm ⚡

Worker NodeWorker Prozess

Executor

Task⚙

Nimbus

Storm ⚡

Alternativen?

) http://odysseus.informatik.uni-oldenburg.de/

Kestrel (

) watch -t -d -n,1 'echo "DUMP_STATS" | nc localhost 22133'

*SET <queue-name> <flags (ignored)> <expiration> <# bytes> echo -e "SET game_events 0 0 16\n0.1.0/prog/build\n" | nc localhost 22133

+GET <queue-name>[options] echo "GET game_events" | nc localhost 22133

'Albert Einstein

Not everything that can be counted counts. Not everything that

counts can be counted.

big game data - event tracking mit storm, kestrel und der lambda architektur - data2day 2014

innogamesbig game data

putbig game data

sparkbig game data

persistenzbig game data

agent game data

comtwitterkestrelbig

schwerbig game data

big data

Data & Analytics

kestrel one

kestrel s 5 7

kestrel ballistics catalog (military)

kestrel 4500 user guide

2015 kestrel bikes

kestrel aircraft brochure

user guide - kestrel instruments

harold jebediah kestrel

kestrel e220i user manual

the kestrel

kestrel global logistics

newsletter - kestrel house

elegantes in-memory computing mit apache ignite und...

northeast connecticut kestrel project - brandywine zoo ·...

learning to rank data2day 2017

big game data - event tracking mit storm, kestrel und der...

kestrel landing strip

mche test 50 reading test for msrt · mche test 3 (c) the...

kestrel / kyte series - osprey europe · 2019-03-15 ·...

operation kestrel ice - kestrel tscm … kestrel ice...