aws storage service deep dive · © 2018, amazon web services, inc. or its affiliates. all rights...

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Amazon Web Services Japan

2-H1-3-17

AWS Storage Service

Deep Dive


• AWS

• AWS

•


Agenda

AWS

AWS Deep Dive


AWS


データ移動データセキュリティ&マネージメント

Amazon

EFS

Amazon

EBS

Amazon

S3

Amazon

Glacier

AWS KMS

AWS IAM

Amazon CloudWatch

AWS CloudTrail

AWS CloudFormation

AWS Lambda

Amazon Macie

Amazon QuickSight

AWS Snow

AWS Storage Gateways

AWS Direct Connect

Amazon EFS File Sync

Amazon S3 Transfer

Acceleration

Amazon Kinesis

Firehose

AWS


AWS

Amazon Elastic File

System (EFS)

Amazon Simple

Storage Service (S3)Amazon Elastic

Block Store (EBS)

パフォーマンス

永続

高信頼

スケーラブル

シンプル

Elastic

分析

保管

収集

ファイルオブジェクトブロック


IOPS


オブジェクト

ブロック

ファイル

レイテンシ

スループット


IO

• / /

• IOPS

•

• or

•

•

•

•

• IOPS


Web

AWS

Amazon S3

Amazon EFS

Amazon EBS

I/O IOPS

io1gp2sc1st1


AWS Storage Service Deep Dive


AWS

c3.2xlarge ~ 125 MiB/s

共有

~ 125 MiB/s

占有

EBS

EC2インスタンス

インターネットデータベース

S3EFS


Amazon EBS


EBS

IOを出す側と受け取る側、双方の特性を考慮する

EBS EBS EBSEBS


AWS

ブロックストレージ

EC2 インスタンスストア

sc1st1

io1gp2

EBS

SSD-backed

ボリューム

EBS

HDD-backed

ボリューム

AWS


orIOPS? ?


, ,

i3

gp2 io1 sc1 st1

d2

?

< 1 ms 1 ms ≤ 1,750 MiB/s > 1,750 MiB/s

?

IOPS

≤ 80,000> 80,000

?


EBS

IOを出す側と受け取る側、双方の特性を考慮する

EBS EBS EBSEBS


EBS

c4.large

EBS専用帯域

500 Mbps≒ 62.5 MiB/s

2 TiB GP2 ボリューム:

6,000 IOPS

最大スループット160 MiB/s 4,000 16K IOPS

c4.2xlarge

EBS専用帯域

1 Gbps ≒ 125 MiB/s

8,000 16K IOPS


6,000 IOPS

最大スループット160 MiB/s


EBS c5, m5 ~2xlarge)

c5.large

EBS専用帯域

525 Mbps≒ 64 MiB/s

4,000 16K IOPS


6,000 IOPS

最大スループット160 MiB/s

c5.large

EBS専用帯域

2250 Mbps≒ 275 MiB/s


6,000 IOPS

最大スループット160 MiB/s 16,000 16K IOPS30 分/24時間


Amazon EFS


Amazon EFS

NFS

NFSv4


Amazon EFS

NFS clients Mount target

Mount target

Mount target

AZ

-aA

Z-b

AZ

-c

単一名前空間

Amazon EFS

File System

NFS clients

NFS clients


EFS

•

•

• IOPS/

( , )

EC2EC2

…

EC2EC2

…

EC2EC2

…


:1TB 50 MiB/s

:1TB 100 MiB/s

バーストモデル:

ファイルシステムのサイズに合わせてスループットが増加

最大12時間


EFS

ファイルシステム全体で高スループット・高IOPS• デフォルト上限3GB/sの性能を恒常的に得るためには60TBのデータが必要• 1インスタンスからの最大スループットは250MB/s

• 個々のIO処理・ファイル操作にはレイテンシがある

• 複数のAZをまたがる冗長化• I/O

即時整合性モデル• 属性キャッシュの影響で最大3秒待つことがある• 即時に書き込みを参照したい場合は、属性キャッシュをDisableする• クライアント側のキャッシュにも注意• パフォーマンスとのトレードオフ


EBSとEFS -パフォーマンスとストレージ特性の違い


EFS

•

•

•

• EBS

• AZ

•

• ( )

• 性能を引き出すためには、複数インスタンス・複数スレッドからの並列I/Oが必要


4 KB 32 KB 256 KB 2 MB 16 MB

I/O size

Th

rou

gh

put

0

5000

10000

15000

20000

25000

30000

0 20 40 60 80 100 120 140 160

IOP

S# of Total Threads

I/O IOPS


Amazon S3


Amazon S3

Internet

エンドユーザー

PUT

GET

DELETE

ロードバランサ

メタデータストア

API

サーバ

Blob ストレージ


Amazon S3

• REST API

•

• ※

•

• /s

• 3-4

(

•

•

※ AWS


•

•

• S3

examplebucket/232a-2017-26-05-15-00-00/cust1234234/photo1.jpg

examplebucket/7b54-2017-26-05-15-00-00/cust3857422/photo2.jpg

examplebucket/921c-2017-26-05-15-00-00/cust1248473/photo2.jpg

examplebucket/animations/232a-2017-26-05-15-00-00/cust1234234/animation1.obj

examplebucket/videos/ba65-2017-26-05-15-00-00/cust8474937/video2.mpg

examplebucket/photos/8761-2017-26-05-15-00-00/cust1248473/photo3.jpg

よりListフレンドリーな形式:

※ AWS


AWS EBS EFS S3

NFS v4.1 HTTP API (Web )

API

( + ) +

$ 0.125 /GB (PIOPS) ※ $ 0.30 /GB ※ $ 0.023 /GB ※(Standard)

16 TB (1 )

1AZ AZ 3

500MiB/s

( )

1 GB 0.05 MiB/

( 3 GB/ )

IOPS 32000 (

7000 )

IO

(Provisioned IOPS )

※ 2018 6 1


IO


Big Data & Analytics

Search & Indexing

NoSQL

Amazon S3

Amazon EC2

Amazon EBS

Amazon EFS


HadoopHDFS

64/128/256 MB — IO

HCFS—Hadoop

EMRFS, S3A, S3N—Hadoop API S3 API

Amazon Athena—Presto HCFS S3

HDFS Data


HDFS EBS

• IOPS

•

• Cloudera/Hortonworks/MapR

• EC2 – D2 (3+ GB/s)

• EBS st1 – (1TB 40MB/s 500MB/s )

• 3x 2x

sc1st1

d2


Redshift Vertica Teradata

タイプ列ストレージ列ストレージ(WOS -> ROS)

行ベース分散ストレージ

I/Oパターンシーケンシャルシーケンシャルランダム

レプリケーション方式

ミラーリング(1x-2x) + S3

Buddy Projections

(K-Safety)

Fallback

(Replication of two)

S3対応 Spectrum Flex Tables Presto QueryGrid

ストレージ

sc1st1 io1gp2


NoSQL

IO –

SSD

Amazon EBS gp2 / io1

• IO

•

Amazon EC2 I3/I2

• I2.8xls (4K )

– 365K /s

– 315K /s

• IO

•

io1gp2

i3


Search - Splunk >

(raw data + Index data)

Write— I/O

Search—

—

—

io1gp2

sc1st1

Amazon

Glacier

HOT/Warm

COLD

FROZEN


—Apache Kafka”MessageSet“ Pub/Sub

•

•

• I/O I/O

• st1

•

IO gp2

io1gp2

sc1st1Producer

Producer

Consumer

Consumer

Consumer

Broker 1

Topic-1

Partition-0

Broker 2

Topic-1

Partition-1

Broker 3

Topic-1

Partition-2

Kafka Cluster


• AWS

•

•

• Let’s Run your workload!

aws storage service deep dive · © 2018, amazon web services, inc. or its affiliates. all rights...

Documents