tech day 2017 - oändligt skalbara databaser

41
Oändligt skalbara databaser Jon Tirsén, Square

Upload: valtech-ab

Post on 23-Jan-2018

505 views

Category:

Technology


2 download

TRANSCRIPT

Page 1: Tech Day 2017 - Oändligt skalbara databaser

Oändligt skalbara

databaserJon Tirsén, Square

Page 2: Tech Day 2017 - Oändligt skalbara databaser
Page 3: Tech Day 2017 - Oändligt skalbara databaser
Page 4: Tech Day 2017 - Oändligt skalbara databaser
Page 5: Tech Day 2017 - Oändligt skalbara databaser
Page 6: Tech Day 2017 - Oändligt skalbara databaser
Page 7: Tech Day 2017 - Oändligt skalbara databaser
Page 8: Tech Day 2017 - Oändligt skalbara databaser
Page 9: Tech Day 2017 - Oändligt skalbara databaser
Page 10: Tech Day 2017 - Oändligt skalbara databaser

Pokemon

Us!

Page 11: Tech Day 2017 - Oändligt skalbara databaser

100 GiB

Page 12: Tech Day 2017 - Oändligt skalbara databaser

3000 GiB

Page 13: Tech Day 2017 - Oändligt skalbara databaser

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

Page 14: Tech Day 2017 - Oändligt skalbara databaser

“Sharding”

Page 15: Tech Day 2017 - Oändligt skalbara databaser

Query routing

Page 16: Tech Day 2017 - Oändligt skalbara databaser

Cross shard transactions

Page 17: Tech Day 2017 - Oändligt skalbara databaser

Cross shard queries/joins

Page 18: Tech Day 2017 - Oändligt skalbara databaser

Shard splitting

Page 19: Tech Day 2017 - Oändligt skalbara databaser
Page 20: Tech Day 2017 - Oändligt skalbara databaser

The last generation of programmers

that needs to know about this stuff

Page 21: Tech Day 2017 - Oändligt skalbara databaser

SQL

NoSQL

NewSQL

Page 22: Tech Day 2017 - Oändligt skalbara databaser

RAM

Page 23: Tech Day 2017 - Oändligt skalbara databaser

SSD

Page 24: Tech Day 2017 - Oändligt skalbara databaser

Consistency

Availability

Partition tolerance

Pick 2!

Page 25: Tech Day 2017 - Oändligt skalbara databaser

Vitess

Page 26: Tech Day 2017 - Oändligt skalbara databaser
Page 27: Tech Day 2017 - Oändligt skalbara databaser
Page 28: Tech Day 2017 - Oändligt skalbara databaser

DB Replica

DB1

DB2

App

Vitess

Vitess

Filtered clone

Page 29: Tech Day 2017 - Oändligt skalbara databaser

DB Replica

DB1

DB2

App

Vitess

Vitess

Filtered replication

Page 30: Tech Day 2017 - Oändligt skalbara databaser

DB Replica

DB1

DB2

App

Vitess

Vitess

Stop writes

Page 31: Tech Day 2017 - Oändligt skalbara databaser

DB Replica

DB1

DB2

App

Vitess

Vitess

Stop replication

Page 32: Tech Day 2017 - Oändligt skalbara databaser

DB Replica

DB1

DB2

App

Vitess

Vitess

Redirect traffic

Page 33: Tech Day 2017 - Oändligt skalbara databaser

DB1

DB2

App

Vitess

Vitess

Redirect traffic

Page 34: Tech Day 2017 - Oändligt skalbara databaser

3 TiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

100 GiB

Page 35: Tech Day 2017 - Oändligt skalbara databaser

Spanner

Page 36: Tech Day 2017 - Oändligt skalbara databaser

TrueTime

Page 37: Tech Day 2017 - Oändligt skalbara databaser
Page 38: Tech Day 2017 - Oändligt skalbara databaser
Page 39: Tech Day 2017 - Oändligt skalbara databaser
Page 40: Tech Day 2017 - Oändligt skalbara databaser

Sharding is hard

NewSQL is coming

@tirsen

Page 41: Tech Day 2017 - Oändligt skalbara databaser

Tack!

Jon Tirsén, Square