20120123 aws meister-reloaded-ec2&ebs-public

AWSマイスターシリーズ “Reloaded” ～EC2 & EBS～

2012年1月23日

玉川憲 (@KenTamagawa ) エバンジェリスト

セミナーのAgenda

Amazon EC2とは？

EC2の基本的な使用法

EC2 のセキュリティモデル

利用におけるTIPS

EC2の料金

まとめ

Copyright © 2011 Amazon Web Services

Amazon EC2のイメージ

データセンター

仮想サーバ(Amazon EC2)

Windows

( スタンダード) CentOS

(ハイCPU)

Oracle DB(Linux)

(ハイメモリ)

コマンドライン

/ SDK利用

SSH公開鍵

認証

仮想外部ディスク

(Amazon EBS)

ストレージ

AMI

から

仮想デスクトップ

ターミナル

AMI

保存

API

Webコンソール

Amazon EC２のメリット

必要なときに何百台でも数分で調達できる

完全従量課金をベースに様々な料金モデルを用意

APIを通じた完全なコントロール

特定OS、言語、フレームワークに縛られない

多種多彩なAMIがすでに用意。カスタマイズも可能。

OS: Linux, Windowsを含む

言語、ミドルウェアを選ばない: Oracle DB、LAMPなど

多種類のインスタンスサイズ

CPUパワー、コア数、RAM、ディスク容量

セキュアで柔軟なネットワークセキュリティモデル

デフォルトでポートは全てクローズ。必要に応じてオープンに

SSHアクセスのために、キーペアが必要

物理ホストが、複数のVMをホスト


物理インタフェース

ファイアウォール

ハイバーバイザー S

mallタイプ

Larg

eタイプ

…

Sm

allタイプ

Amazon EC2

インスタンス

物理ホスト

EC2インスタンスタイプ

Region: Costs: EC2では、任意のインスタンスタイプ(スペック)を選択可能

後からタイプを、変更することもできる

64ビット・プラットフォームの場合

Amazon EC2は特定のOS/言語/ミドルに縛られない

OS

HTML5

×

開発言語フロントUI

×

ミドルウェア

×

http://aws.amazon.com/jp/

http://www.microsoft.com/downloads/details.aspx?FamilyID=9cfb2d51-5ff4-4491-b0e5-b386f32c0992&displaylang=en

EC2を用いたサーバ構成例

DB

マスタ

App

サーバ

Cache

サーバ

KVS

サーバ

App

サーバ App

サーバ

KVS

サーバ

60台

4台 16台

DB

スレーブ

ロードバランサ

同期

リージョン

アベイラビリティゾーン

Amazon EC2 主要コンポーネント

EC2インスタンス

Elastic IP

Address

セキュリティ

グループ

Load Balancing

Elastic

Block

Storage

CloudWatch

Auto

Scaling

Ephemeral

Storage

Amazon S3

EBS

スナップショット

Amazon

Machine

Image (AMI)


EBS


Virtual Private

Cloud

Amazon

Machine

Image (AMI)

リージョン


Amazon EC2 主要コンポーネント


Elastic IP

Address

セキュリティ

グループ

Load Balancing

Elastic

Block

Storage

CloudWatch

Auto

Scaling

Ephemeral

Storage

Amazon S3

EBS



EBS


本セミナーの

対象範囲

Virtual Private

Cloud

リージョン (東京)

リージョンとアベイラビリティゾーン • 現時点で世界8か所のリージョン

• ユーザーは任意にリージョン選択可能

• 1リージョン内には、物理的に距離が離れたデータセンターが複数拠点存在

• お互いに、地理的、電源的、ネットワーク的に分離されており、地震面、洪水面も考慮

• 東京リージョンの場合、EC2のために物理的に離れた2つのDCが存在(アベイラビリティゾーン: AZと呼ぶ)

• AZは、任意のゾーンを選択し、EC2インスタンスを起動できる

• AZ間は高速専用線でつながれている ( データ転送量も安い)

• リージョン間はインターネット経由

米国

東海岸

米国

西海岸①

ヨーロッパ

アベイラビリティゾーン A

アベイラビリティゾーン B

EC2 EC2

シンガポール

米国

西海岸② 南米

+ GovCloud

EBS (Elastic Block Store)とは？


リージョン

AZ - a


Amazon

S3 EBS


EBSは、EC2への仮想外付けハードディスク

サイズは1GB単位で～1TBまで

サイズ/期間/IOで課金される

各EC2インスタンスで、複数EBSを使える

詳細

寿命は、EC2インスタンスと独立している (データは永続的に保存される)

アベイラビリティゾーン(AZ) に存在する

他のインスタンスに付け替え可能

EBSスナップショットでS3にバックアップ

バックアップから、EBSを作成可能 (他のAZに作成できる)

EBS

AZ - b


EBS EBS

EBS

EBS vs インスタンスストレージ(Ephemeral Storage)


リージョン

AZ - a


Amazon

S3 EBS


EBS

寿命はインスタンスと独立している (データは永続的に保存される)

通常は、EBSを用いれば良いあらゆる種類の永続的データブートデータ、商用DBのデータ、クラスタリング

インスタンスストレージ (Ephemeral Disk)

寿命はインスタンスと同じ (インスタンス落とすとデータは消える)

インスタンスに付属して存在 →別途料金はかからないのがメリット

一時データの書き込み、低料金を活かした高度な利用

EBS

EBS

インスタンス

ストレージ

インスタンスタイプ別スペック表

名前メモリ処理能力ストレージ 32 / 64 bit API名

スタンダード

スモール 1.7 GB 1 (1 コア x 1 ) 160 GB 32-bit m1.small

ラージ 7.5 GB 4 (2 cores x 2 ) 850 GB 64-bit m1.large

エクストララージ 15 GB 8 (4 cores x 2) 1690 GB 64-bit m1.xlarge

マイクロ

マイクロ 0.6 GB 2 (短バースト) EBS only 32/64-bit t1.micro

ハイメモリ

エクストララージ 17.1 GB 6.5 (2コアx 3.25) 420 GB 64-bit m2.xlarge

ダブルエクストララージ

34.2 GB 13 (4コアx 3.25) 850 GB 64-bit m2.2xlarge

クアドラブルエクストララージ

68.4 GB 26 (8コアx 3.25 ) 1690 GB 64-bit m2.4xlarge

ハイCPU

ミディアム 1.7 GB 5 (2コア x 2.5 ) 350 GB 32-bit c1.medium

エクストララージ 7 GB 20 (8 コアx 2.5 ) 1690 GB 64-bit c1.xlarge

クラスタコンピュート(CC1, CC2) とクラスタGPUは、USでご利用いただけます。

HPCのスペック = EC2 + 広帯域幅ネットワーク

クラスター（CC1) クラスターGPU クラスターCC2

CPU Xeon 5570

(Intel Nehalem)

x 2

Xeon 5570 (Intel

Nehalem) x 2

Intel Xeon Eight-

core x 2

GPU

N/A

2NVIDIA Tesla

“Fermi” M2050

GPU x2

N/A

ECU 33.5 33.5 88

メモリ 23 GB 22 GB 60.5 GB

ネットワーク

10Gbps full

bisection

10Gbps full

bisection

10Gbps full

bisection

価格約100円 / 時間約162円 / 時間約185円 / 時間

クラスターコンピュート世界ランキングで42位に！


Amazon EC2とは？




EC2の料金

まとめ


2種類のAMIが存在する

・通常はこちらを用いる (2009年後半に追加)

・EC2に停止/終了のオプション有

・停止しても、ファイルシステムは永続する

EBS-Backed AMI

AMI (Amazon Machine Image) サーバーのコピーをとりテンプレート化することで、再利用可能

•EC2開始当初からある

•EC2に停止のオプションはない

•EC2を終了するとデータは消える

S3-Backed AMI

2種類のAMIの違い

Amazon S3

ハイパー

バイザー

仮想マシン

複数のEBS

ボリューム

ネットワーク

IO

EBS スナップショット

S3 AMI

複数のインスタンスストレージ

EC2インスタンス (EBS-backed)のライフサイクル

EBS の

AMI選択

インスタンス

(Pending)

インスタンス

(Runing)

インスタンス

(Shutting Down)

インスタンス(Terminated)

EBS AMIの作成

インスタンス

(Stop)

インスタンス

(Start)

EC2の起動手順については、下記を参照


http://slidesha.re/ec2-open




リージョン、起動開始、AMIの選択

Copyright © 2011 Amazon Web Services Copyright © 2011 Amazon Web Services

台数、インスタンスタイプ


キーペア設定

セキュリティグループ設定

起動確認

Public DNS名で確認

ターミナルでアクセス

ログインの際のアカウント名は、AMIによって違うので注意

例) Amazon Linux -> ec2-user

その他Linuxの多く -> root

EC2インスタンスの停止と終了


Stop(停止)

・EC2インスタンスは消滅する(ハイバネートではない)

・EBSは残る(課金もされる)

Terminate(終了)

・EC2インスタンスは終了

・(デフォルトでは)EBSも消滅

AMIの取得 / AMIからの起動



EBS の

AMI選択

インスタンス

(Pending)

インスタンス

(Runing)

インスタンス

(Shutting Down)


EBS AMIの作成

インスタンス

(Stop)

インスタンス

(Start)


EBS の

AMI選択

インスタンス

(Pending)

インスタンス

(Runing)

インスタンス

(Shutting Down)


EBS AMIの作成

インスタンス

(Stop)

インスタンス

(Start)

どのAMIか選択

/ パラメータを渡す/ キーペア、

セキュリティグループ

EBSデータは永続 /

タイプ変更可能

“この時のみ課金！！”

EIPの割り当て / EBSボリュームのアタッチ/セキュリティグループ内の変更

作成したAMI

から起動

EIPやEBSのリソース破棄

AMIは何時でも作成できる

(再起動必要)

EC2のさらなる使い方

終了防止 / シャットダウンの振る舞い

インスタンスタイプの変更

EBSの追加/変更

EC2インスタンスのアドレス

EIPの利用

EC2の制限解除フォーム

EBSとS3の使い分け

EC2の関連サービス

終了防止と、シャットダウン時の振る舞い


Shutdown Behavior

EC2インスタンス内部からShutdownした際に、終了するのか停止するのか。

デフォルトは、停止。

Terminate Protection

ONにすると、Terminationできない。

誤って、終了するのを防止

EC2インスタンスのサイズ変更


EBSボリュームのアタッチ


EC2インスタンスと、同じゾーンに作ることを注意。

スナップショットから複製も可能。

既存EBSボリュームのサイズ変更


リージョン



Amazon

S3 スナップショット

流れ

EBSをデタッチする

EBSからS3にスナップショットを作成する

新たなボリュームサイズを指定して、EBSを作成する

EBSをアタッチする

マウントして、リサイズする

EBS

(10GB)

EBS

(100GB)

EC2インスタンスのアドレス

全てのインスタンスが下記を持つ

Private IPアドレス

Private DNS名(*.internal)

Public DNS名 (*.amazonaws.com)

public IPアドレスをオプションで付けられる

Elastic IP Addresses (EIP)と呼ぶ

稼働しているEC2インスタンスに、瞬時に付け外しが可能

インスタンスにアサインしているときは料金はかからない

EIPの割り当て

EIPの使いどころ

通常のケースは、EC2のPublic DNS名を用いて、CNAMEで名前変換を行う

Route 53(名前解決サービス)で、Public DNSを用いる

ELB(ロードバランサ)の配下にEC2をつける場合も

固定IPアドレスが必要なときはEIPを用いる

メールサーバー等

メールサーバの送信制限解除、逆引き申請が必要な場合は下記から申請を行う https://aws-portal.amazon.com/gp/aws/html-forms-controller/contactus/ec2-email-limit-rdns-request

https://aws-portal.amazon.com/gp/aws/html-forms-controller/contactus/ec2-email-limit-rdns-request















EIPの使いどころ

EIP使用時の注意点として、グローバルIPを用いた場合、インターネット経由のアクセスとなり、課金発生するケースがある

名前解決したいサーバに、固定ＩＰを付与する

各サーバは、固定グローバルIPを元に AWSのDNSに名前を問い合わせ

問い合わせた結果返ってくる外部DNS名でサーバにアクセスを行う

EC2内部で外部DNS名を使ってアクセスすると、プライベートIPアドレスに変換されるため、目的のサーバにプライベートIPでアクセスできる

制限解除のWebフォーム

EC2は当初、誤って大量に起動されないように20インスタンスまでしか起動できないように設定

EBS利用リミットは5000ボリューム数、又は20TB

→必要に応じてWebフォームから申請する http://aws.amazon.com/jp/contact-us/#request_service_limitation

http://aws.amazon.com/jp/contact-us/



共有ディスクとしての、EBSとS3


リージョン



Amazon

S3

バケット

EBSは複数EC2にアタッチ不可

単独のEC2インスタンスへのブロックデバイスとしての使い方

NFSのような使い方をする際は、EC2にミドルウェアを導入 (NFS, GlusterFS等)

S3は複数のEC2からアクセス可

ただし、Write Once Read A Lotな使い方に向いている

アップロード並列化も使える

耐久性の設計は、99.999999999%で非常に高

EBS


HTTP/

HTTPS

Amazon EC２の関連サービス/関連情報

監視、負荷分散、自動スケール

CloudWatch、ELB、AutoScaling

閉域網での利用、仮想ネットワーキング

Amazon VPC (Virtual Private Cloud)

① 社内ネットワークからVPN接続

② ルーティング、イントラIPアドレス、仮想NIC、等々

占有サーバ

Amazon Dedicated Instance

専用線接続

Amazon Direct Connect

Windowsインスタンス

HPCインスタンス

昨年の資料集 http://aws.amazon.com/jp/aws-meister/

http://aws.amazon.com/jp/aws-meister/




Amazon EC2とは？




EC2の料金

まとめ


責任分担モデル


物理インタフェース

ファイアウォール

ハイバーバイザー

Sm

all

Larg

e

…

Sm

all Amazon EC2

インスタンス

物理ホスト

ユーザーが

責任を持って

管理する

AWSが

責任を持って

管理する

各インスタンスが、ファイアウォールを持つ

•デフォルトでは、全てのポートが閉じており、外からアクセスできない

•必要なポートのみを、必要に応じて空ける

EC2 インスタンス

ポート 22

(SSH)

ポート80

(HTTP)

EC2ファイア

ウォール

EC2ネットワークの Securityパラメータ

インバウンドのアクセスのみを制御する

セキュリティグループにより、アクセスルールを設定する

インスタンスの起動時に、グループをアサインする

稼働中のインスタンスの既存グループは編集できる

アクセスルール:

名前

説明

プロトコル

ポートレンジ

IPアドレスの範囲

インターネット外からのアクセスに加えて、セキュリティグループ間も制御できる

Web Security Group

Web サーバー

ポート 22

(SSH)

ポート 80

(HTTP)

App Security Group

App サーバー

ポート 22,

2048 DB Security Group

DB サーバー

ポート3300

ポート 22

(SSH) Web

サーバー

App サーバー

DB サーバー

セキュリティ証明書

データセンター

仮想サーバ(Amazon EC2)

Windows

( スタンダード)

コマンドライン

/ SDK利用

SSH公開鍵

認証

仮想デスクトップ

ターミナル

REST

/ SOAP API

Webコンソール

①EC2インスタン

スへのアクセスは、キーペア

の利用

②Webコンソールへのアクセス

Webログイン /

多要素認証 / IAM

③APIへのアクセス

アクセスキー /

X.509証明書 / IAM

EC2インスタンスへのアクセスには、

キーペアが使われる

キーペアの作成

公開鍵は、AWSによってEC2起動時に埋め込まれる

秘密鍵は、デスクトップにダウンロードされる

EC2インスタンスは2つの鍵を用いる

・公開鍵はリージョン毎に管理

・作成した公開鍵のUploadも可能

(この場合、リージョン間で同じ

鍵も利用できる)

AWSのAPIへのアクセスキーペア

X.509 証明書

AWSのWebの管理画面

AWSセキュリティセンター

日本語のホワイトペーパーもあり

EC2のSLA

EC2の可用性が99.95%

上記に満たない場合は、Serviceクレジットを返還する

詳細は

http://aws.amazon.com/ec2-sla/




AWSの運用への努力

各サービスの状況をWeb上でリアルタイム表示

Service Health Dashboard http://status.aws.amazon.com/

http://status.aws.amazon.com/


Amazon EC2とは？




EC2の料金

まとめ


故障のための設計: Design for Failure

故障に備えた設計をしておくすべてが故障しうると考え、システム全体での保守的設計

SPOF(単一障害点)の排除

障害からの復旧(対応品質)を重視する

EC2における故障のための設計

AMIを常にとっておく

EBSスナップショットでバックアップ

複数アベイラビリティゾーンへの分散

ELBでサーバを冗長化、Auto Scalingで自動復帰

Reserved Instanceでキャパシティ保障

他の冗長性高いサービスとの組み合わせ

S3, SimpleDB, RDS他

http://www.slideshare.net/kentamagawa/aws-7991623




定期的なバックアップ

EC2のAMIを定期的に作成する (参考) 無停止でAMI取得 Cloudpackさんブログhttp://blog.cloudpack.jp/2011/03/aws-news-ec2-instance-no-reboot-ami.html

データボリュームとしてのEBSの場合、EBSのスナップショットを定期的に作成

スクリプトを書いて定期的なバックアップを行うことも可能 Code.rockさんブログhttp://blog.dateofrock.com/2010/03/auto-backup-amazon-ebs-with-ruby.html

サーバーワークスさんブログhttp://blog.serverworks.co.jp/tech/2011/07/21/awssdk-for-ruby-create-snapshot/

http://blog.cloudpack.jp/2011/03/aws-news-ec2-instance-no-reboot-ami.html














http://blog.dateofrock.com/2010/03/auto-backup-amazon-ebs-with-ruby.html











http://blog.serverworks.co.jp/tech/2011/07/21/awssdk-for-ruby-create-snapshot/










VM Import / Export: 複数プラットフォームのVMイメージを、

Amazon EC2に移行(インポート)可能

http://aws.typepad.com/aws_japan/2010/12/vm-import-bring-your-

vmware-images-to-the-cloud.html

http://aws.typepad.com/aws_japan/2010/12/vm-import-bring-your-vmware-images-to-the-cloud.html

















EC2へのファイル転送は？

SCPを使う

scp pk-XXX.pem [email protected]:/xxx

Windowsの場合は、WinSCPなど

S3経由で共有する

S3にアップロードし、EC2からwgetでアクセスする

FTPを立ち上げる

EC2側でFTPサーバーを立ち上げておく

高速に送信したい

Tsunami UDP, Aspera等のソリューション

稼働EC2インスタンスからメタデータ取得

curl http://169.254.169.254/latest/meta-data

ami-id

ami-launch-index

ami-manifest-path

block-device-mapping/

hostname

instance-action

instance-id

Instance-type

kernel-id

local-hostname

local-ipv4

mac

network/

placement/

profile

public-hostname

public-ipv4

public-keys/

reservation-id

http://169.254.169.254/latest/meta-data



EBSボリュームのパフォーマンス

単体のEBSボリュームとして「共有リソース」としての影響を最小限にするには

最大の1TBを利用するとI/Oの面では有効

アプリとして利用できるスループットを高めるためには、software raidなどで、特定ボリュームの性能低下に影響を受けにくくできる

EBSを用いたRaid 0（ストライピング）も可能 (参考) koba206の開発WIKI http://dev.koba206.com/?p=21

http://dev.koba206.com/?p=21

起動時にパラメーターを渡す


起動時に16KB以内ですが任意のものを渡せる

ChefやPuppetなどを利用して、自己構成できるAMIに

参照 AWSマイスター CloudFormation資料http://www.slideshare.net/kentamagawa/cloudformation-aws5

http://www.slideshare.net/kentamagawa/cloudformation-aws5



EC2コマンドラインツール & AWS SDKs

コマンドラインからEC2のAPIにアクセスできるツール

クロスプラットフォーム(Javaで記述)

ツールをインストールし、セキュリティ証明書を配置

AWS SDKs

http://aws.amazon.com/code/

http://aws.amazon.com/code/

EC2のスケジュールイベント表示機能

EC2インスタンスが稼働しているハードかソフトにメンテナンスが必要な場合に、情報を提供する仕組み

インスタンスリブート、システムリブート、リタイヤ

EC2のステータスチェック機能

下記の2種類のチェックを自動テストで実行し、情報を提示

システムステータスチェック

EC2インスタンスに、ネットワークパケットが通るかチェック

インスタンスステータスチェック

EC2インスタンスのOSが、ネットワークパケットを受け取るかチェック

もし状況に乖離がある場合は、レポートできます

タブにStatus Checkが表示されない場合

下記をチェックください


Amazon EC2とは？




EC2の料金

まとめ


AWSの課金の仕組み

インターネット

ELB

EC2

EBS

S3

データ転送量

ELB利用料・データ処理量

インスタンスタイプ別利用料

EBSの利用料

S3の利用料

AWSの課金の仕組み

インターネット

ELB

EC2

EBS

S3

データ転送量

ELB利用料・データ処理量

インスタンスタイプ別利用料

EBSの利用料

S3の利用料

大半

を占める！

インスタンスタイプ別利用料(東京リージョン)

名前 Linux (時間あたり) Windows (時間あたり)

スタンダードオンデマンドインスタンス

スモール $0.10 $0.12

ラージ $0.40 $0.48

エクストララージ $0.80 $0.96

マイクロオンデマンドインスタンス

マイクロ $0.027 $0.035

ハイメモリオンデマンドインスタンス


ダブルエクストララージ $1.20 $1.24

クアドラブルエクストララージ

$2.39 $2.48

ハイCPUオンデマンドインスタンス

ミディアム $0.20 $0.29


Region: Costs:

EBSの値付け

EBSボリューム $0.12 / GB月

$0.10 / 100万 I/Oリクエスト

EBSスナップショット(S3) $0.15 / GB月

EBSスナップショットは、差分保存

差分のみ保存/課金される

$0.01 per 1千 PUT リクエスト (スナップショットの保存時)

$0.01 / 1万 GET リクエスト (スナップショットのロード時)

注: 東京リージョン価格 http://aws.amazon.com/jp/ec2/#pricing

AWSでは、EC2インスタンスの稼働料金が大半「EC2料金、EBS料金」を見積もりば大まかにはOK 多くの場合、データ転送量は5%～15%程度

ELB (1台) 19¥ 2%

EC2 (large, 7台) 871¥ 74%

EBS (300GB) 30¥ 3%

RDS (マルチAZ) 165¥ 14%

データ転送 55¥ 5%

その他 30¥ 3%

合計 1,170¥

AWSは、ネットワークの帯域絞りが無い

従量課金モデルで、ピークにあわせて買わなくて良いのでムダがない

iDC: 今までは最大帯域幅で課金

Simple Monthly Calculator

Web上にある計算機を使って概算費用を計算できます http://calculator.s3.amazonaws.com/calc5.html?lng=ja_JP

http://calculator.s3.amazonaws.com/calc5.html?lng=ja_JP

複数の価格モデル

課金モデルが選べる

通常の時間課金のオンデマンド・インスタンス

ある程度継続してEC2を使う(1年、3年)

EC2リザーブドインスタンス

入札を利用してより安く使う

EC2スポットインスタンス

EC2 リザーブド・インスタンス(RI)

1年、3年の予約金を払うことで、時間課金を半減

ただし、リージョン、AZ、スペックを指定する必要あり

オンデマンド

インスタンス

リザーブド

インスタンス

積算

料金

期間

3種類のリザーブドインスタンス

http://aws.typepad.com/aws_japan/2011/12/additional-

reserved-instance-options-for-amazon-ec2-.html

1年のRI 3のRI

On-Demand 1-3 Months 1-4 Months

Light Utilization 4-8 Months 5-12 Months

Medium Utilization 9-10 Months 13-29 Months

Heavy Utilization 11-12 Months 30-36 Months

http://aws.typepad.com/aws_japan/2011/12/additional-reserved-instance-options-for-amazon-ec2-.html
















Amazon EC2とは？




EC2の料金

まとめ


AWSプレミアムサポートアーキテクチャ設計に関するガイダンス、ベストプラクティスも日本語でご案内できます aws.amazon.com/jp/premiumsupport/


ブロンズシルバーゴールドプラチナ

初回応答時間１２時間４時間１時間１５分

サポート連絡先１人２人３人無制限

24/365対応なしなしありあり

TEL可能不可不可可能可能

専任スタッフなしなしなしあり

特別サポートなしなしなしあり

料金 $49 AWS利用総額の

5%

AWS利用総額の

$0~$10K: 10%

$10K~$80K: 7%

$80K~: 5%

（最低$400）

AWS利用総額の

10%

（最低$15K）

AWS無料使用枠、Linux, Windows各1台ずつ無料

Q & A


ご参加ありがとうございました


20120123 aws meister-reloaded-ec2&ebs-public

Technology