センターseがamazon efsと戯れてみた
TRANSCRIPT
株式会社 日本オープンシステムズ石崎弘之
センターSEがAmazon EFSと
戯れてみた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.0
名前:石崎弘之(日本オープンシステムズ)所属:JAWS-UG富山・金沢
経歴:2010.04~現在 システム運用
センターSE歴 6年
趣味:釣りが好きです
好きなAWSサービス:VPC
自己紹介
あじぇんだ
EFSとは
触ってみた
検証してみた
所感
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
2016/06/28(火)
待ちに待ったニュースが飛び込んできました
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
Amazon Elastic File system(Amazon EFS)正式サービス開始!!!!!
EFSとは
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
EFSとはAWS Summit 2015 San Franciscoで発表されてから、約1年間ずっとプレビューだった共有ファイルストレージサービス
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
Amazon EFS
EFSとは
EFSとは
NFSマウント可能なフルマネージドのストレージサービス※NFSv4.0に対応
容量無制限かつ実際に格納した容量分だけの従量課金
格納したファイルに合わせて自動拡張/自動縮小
数千の同時接続が可能
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
使用可能リージョン
EU(アイルランド)
米国東部(バージニア)
米国西部(オレゴン)
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
お値段
0.3ドル/GB
参考:EBS(GP2):0.1ドル/GB
S3(std) :0.03ドル/GB
※料金計算例
3 月の 15 日間に 100 GB のストレージを使用し、3 月の残りの 16 日間で 250 GB のストレージを使用した場合
総使用量(GB-時間)= [100 GB x 15 日間 x (24 時間/日)] + [250 GB x 16 日間 x(24 時間/日)] x(1 か月/744 時間)= 177 GB-月
ストレージ月額料金 = 177 GB-月 x 0.30 USD = 53.10 USD
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
EFSイメージ図
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
マウントターゲット
EFSをNFSするためのエンドポイント以下のDNS名を持つAZ名.File systemID.efs.region名.amazonaws.com
対象のサブネットにマウントターゲット用のENIが作成される※マウントターゲットはIPアドレスを持つ
以下のコマンドでマウント可能sudo mount -t nfs4 -o nfsvers=4.1 ¥$(curl -s http://169.254.169.254/latest/meta-data/placement/availability-zone).fs-e9db2f40.efs.us-west-2.amazonaws.com:/ 【マウントポイント】
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
性能
基本性能は100MiB(バースト込み)
ファイル名は255バイトまで
1ファイルの最大容量52TiB
インスタンス当たり128ユーザまで同時オープン可能 ※NFSv4の制限
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
バーストの仕組み
容量に応じてバースト可能な性能が変化
•1TiB以上で容量に応じて性能が上がる
•マックス1GiBまでバーストする
クレジットの溜まり方も容量で変わる
•1TiB未満で50KiB/GiB以下で溜まる
•1TiB以上で50MiB/TiB以下で溜まる
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
バーストの仕組み
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
容量(GiB)
ベースライン(MiB/S)
バースト性能(MiB/S)
バースト可能時間(時)
10 0.5 100 6.0
256 12.5 100 6.9
512 25.0 100 8.0
1024 50.0 100 12.0
1536 75.0 150 12.0
2048 100.0 200 12.0
3072 150.0 300 12.0
4096 200.0 400 12.0
EFSとは
セキュリティ
EFSの作成・削除・変更の権限はIAMで制御
マウントできるかどうかはセキュリティグループで制御※TCP2049で通信できればマウントできる
書き込み・読み込みはNFSで制御※一般的にUNIXの権限(chmodやchown)で制御
デフォルトはrootのみ書き込み可能※必要に応じて権限を与える※マウントしているサーバならどれでも変更可能
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
Cloudwatchのメトリクス
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
メトリクス 内容
BurstCreditBalance バースト用クレジットの値
ClientConnections 接続数
DataReadIOBytes 読み込みのIOサイズ
DataWriteIOBytes 書き込みのIOサイズ
MetadataIOBytes メタデータのサイズ
PercentIOLimit IOの負荷
PermittedThroughput スループットの最大値(バーストできる上限)
TotalIOBytes EFSへのIOのサイズ
EFSとは
EFS制限事項
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
制限 値
最大ファイルシステム数 10
AZ毎の最大ターゲットマウント数 1
ターゲット毎の最大セキュリティグループ数 5
ファイルシステム毎の最大タグ数 10
ファイルシステムに紐付けられるVPC 1
EFSとは
NFS v4制限事項
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
制限
インスタンス当たり同時に128ユーザまでしかファイルを同時にオープンできない
インスタンス当たり 32,768 ファイルまでしか同時にファイルを開けない
マウント当たり、8192 ロックまでしか獲得できない
マウント当たりユニークなファイルとプロセスの組み合わせは、256まで※1プロセスならば、256ファイル、8プロセスなら32ファイルまでのロックしか獲得できない
EFSとは
特記事項
EFSの容量はCloudWatchでは取れない※dfコマンド、APIまたはCLIでは取得可能※サンプリングは1時間毎に実施される
マウントターゲットを削除/作成することでIPアドレスを変えられる
マウントターゲットを全て削除すると別のVPCに付け替えることもできる
Windowsは現在サポートしていない
VPN越しやVPC Peering越しには利用できない
VPCのDNS解決はオンにしておく
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
何が良いの
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
何が良いのNFSマウントなので今まで通りに使える
EBSではできなかったボリュームの共有が可能※クラスタだって簡単に組める!
コンテンツがEFSに格納されていれば新規サーバを立ち上げてもマウントするだけでサービスインできる
などなど
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
あんなことやこんなことができる可能性が増えた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
検証用に以下の環境を作成
パブリックサブネット×2・myVPC-public-a(10.0.0.0/24)・myVPC-public-b(10.0.1.0/24)
プライベートサブネット×1・myVPC-private-a(10.0.2.0/24)
検証用インスタンス×3・public-a(10.0.0.68)・public-b(10.0.1.160)・private-a(10.0.2.175)
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
イメージ
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
myVPC-public-a
myVPC-public-b
myVPC-private-a
マウントターゲット
マウントターゲット
実際に触ってみた
オレゴンからEFSを選択
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
EFSを作成
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
作成するVPCを選択
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
マウントターゲットを作成するAZ、サブネットを選択
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
セキュリティグループを選択
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
タグ付け
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
パフォーマンスモードの選択
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
設定の確認
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
出来上がり
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
マウントターゲットのDNS名
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
マウント方法
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
実際に触ってみた
EC2からマウントしてみる
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
・・・?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
エクサバイト!?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
エクサバイト=1,000,000,000,000,000,000バイト
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
エクサバイト=1,000,000,000,000,000,000バイト
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
埋められるものなら埋めてみな
ちなみに
8エクサバイト*0.3/GB≒$2400,000,000≒¥264,000,000,000=264億円
お金に余裕があれば埋めてみましょう
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
シナリオ
マウントターゲットのないサブネットからマウントできるの?
マウントしてる状態でマウントターゲットを削除したらどうなる?
排他制御はちゃんとかかる?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
マウントターゲットのないサブネットからマウントできるの?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
イメージ
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
myVPC-public-a
myVPC-public-b
myVPC-private-aこの状態にした場合マウントできるのか・・・
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
myVPC-public-a
myVPC-public-b
myVPC-private-a
できました
実際に触ってみた
結論
普通にできました
マウントターゲットはIPを持っているので
VPCのルーティングで別AZのマウントターゲットを
マウントすることが可能
※ただし、AZ間の通信料がかかるかつレイテンシーも下がるのでお勧めしない
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
myVPC-public-a
myVPC-public-b
myVPC-private-a
このようにもマウントも可能※プライベートからでも利用できる
マウントしてる状態でマウントターゲットを削除したらどうなる?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
イメージ
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
myVPC-public-a
myVPC-public-b
myVPC-private-aマウントターゲットを削除してみる
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
結論
マウントポイントにアクセスした時点で固まります。(当たり前ですね)
※固まった場合は、別ターミナルでsshして対象のプロセスをkillしてあげましょうumountするときは umount –l でアンマウント
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
対象領域にlsして固まったときのログ
排他制御はちゃんとかかる?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
イメージ
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
myVPC-public-a
myVPC-public-b
myVPC-private-a
このインスタンスが編集中のファイルを別のインスタンが編集しようとしたら?
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
検証してみた
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
怒られました。
検証してみた
結論
普通に排他がかかる
※NFSv4の制限としてマウント当たり8192までしか
ロックができないので、それ以上に排他処理をかけたい場合は仕組みを考える必要がある
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
所感
プライベートから利用可能なフルマネージドサービスってすごい!!!
性能も特に不満がない
ちょっと。。。。高い
マウントさえできてしまえば何でもできるので運用方法はかなりしっかり考えないと怖い
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
さいごに
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
VPN越しに利用したい
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
EFSとは
使い方 おさらい
EFSをマウントさせたいVPCを選択
EFSのマウントターゲット(EFSのエンドポイント)を作成したいAZとサブネットを選択※1AZ/1サブネット
EFSのマウントターゲットに付与するセキュリティグループを選択
EC2からマウントする
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.
ご清聴ありがとうございました
Copyright (c) Japan Open Systems Corporation. All Rights Reserved.