try andstudy cloud_20111108_tokyo

14
中井悦司 Twitter @enakai00 オープンクラウド・キャンパス 試して学べるクラウド技術! Eucalyptus/GlusterFS

Upload: etsuji-nakai

Post on 31-May-2015

1.291 views

Category:

Technology


1 download

TRANSCRIPT

Page 1: Try andstudy cloud_20111108_tokyo

中井悦司Twitter @enakai00

オープンクラウド・キャンパス

試して学べるクラウド技術!Eucalyptus/GlusterFS

Page 2: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

試して学べるクラウド技術!

自己紹介

好評発売中

中井悦司(なかいえつじ)– Twitter @enakai00

日々の仕事– Senior Solution Architect and

Cloud Evangelist at Red Hat K.K.企業システムでオープンソースの活用を希望されるお客様を全力でご支援させていただきます。

昔とった杵柄– 素粒子論の研究(超弦理論とか)– 予備校講師(物理担当)– インフラエンジニア(Unix/Linux専門)

Page 3: Try andstudy cloud_20111108_tokyo

Eucalyptusで学ぶインフラ技術

Page 4: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

試して学べるクラウド技術!

Eucalyptus環境の構築方法を解説しています。

Eucalyptusのクラウド上にHadoopクラスタを構築!

Eucalyptus環境構築にチャレンジ!

APIまで学びたい方はこちらも参照

「クラウドWatch」連載記事「ユーカリプタス入門」も読んでね。http://cloud.watch.impress.co.jp/docs/column/eucalyptus/

Page 5: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

試して学べるクラウド技術!

パブリック ネットワーク

クライアント 

クラスタコントローラ

ストレージコントローラ

ノードコントローラ

Warlus

仮想マシンイメージ

EBSイメージ

プライベート ネットワーク

iSCSI

iptables(NAT/パケットフィルタリング)

VLAN / 仮想ブリッジ

X.509 証明書

SSH 鍵認証

サーバ仮想化(KVM/Xen)

カーネル起動プロセス

ディスクイメージ

ネットワーク技術

認証技術

ストレージ技術

仮想化技術

ノードコントローラ

・・・・

API プログラミング

自動化技術

OS 基礎技術

クラウドコントローラ

さまざまなインフラ技術の 集大成がクラウドなのです。

Eucalyptusで学べるインフラ技術

Page 6: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

試して学べるクラウド技術!

パブリック ネットワーク

クライアント 

クラスタコントローラ

ストレージコントローラ

ノードコントローラ

Warlus

仮想マシンイメージ

EBSイメージ

プライベート ネットワーク

iSCSI

iptables(NAT/パケットフィルタリング)

VLAN / 仮想ブリッジ

X.509 証明書

SSH 鍵認証

サーバ仮想化(KVM/Xen)

カーネル起動プロセス

ディスクイメージ

ネットワーク技術

認証技術

ストレージ技術

仮想化技術

ノードコントローラ

・・・・

API プログラミング

自動化技術

OS 基礎技術

クラウドコントローラ

さまざまなインフラ技術の 集大成がクラウドなのです。

Eucalyptusで学べるインフラ技術

http://bit.ly/pYyabv

「クラウドWatch」短期集中講座!

Page 7: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

試して学べるクラウド技術!

パブリック ネットワーク

クライアント 

クラスタコントローラ

ストレージコントローラ

ノードコントローラ

Warlus

仮想マシンイメージ

EBSイメージ

プライベート ネットワーク

iSCSI

iptables(NAT/パケットフィルタリング)

VLAN / 仮想ブリッジ

X.509 証明書

SSH 鍵認証

サーバ仮想化(KVM/Xen)

カーネル起動プロセス

ディスクイメージ

ネットワーク技術

認証技術

ストレージ技術

仮想化技術

ノードコントローラ

・・・・

API プログラミング

自動化技術

OS 基礎技術

クラウドコントローラ

さまざまなインフラ技術の 集大成がクラウドなのです。

Eucalyptusで学べるインフラ技術

http://bit.ly/u2JpOn

国立情報学研究所でセミナーもやりますよ

Page 8: Try andstudy cloud_20111108_tokyo

GlusterFSを試してみよう

Page 9: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

GlusterFSとは

コモディティ・ハードウェアを利用して、スケールアウト型の分散ファイルシステムを構築するソフトウェア

元々は、Lawrence Livermore National LabsのHPC(High Performance Computing)クラスタで使用するために開発された分散ファイルシステム

石油・ガスなどの資源開発企業からの要望で、大規模ストレージ・ソリューションとしてGluster社が製品化、オープンソースとして開発を継続

Red Hatは、クラウド向けのストレージ・ソリューションに戦略的に投資を行うという判断の下、2011年にGluster社を買収

Amazon S3互換API、Hadoop MapReduce API(HDFSの代替)、 OpenStack SWIFT互換APIなどのAPIを実装予定

※ Red Hatによる買収前のGluster社からの開発意向表明でありRed Hatとしての計画は未発表です。

Page 10: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

GlusterFSのアーキテクチャ

分散ストレージを構成する各ノードの通常のファイルシステムをバックエンドデバイスとして使用します。

– GlusterFSに保存したファイルの実体は、どこかのノードのファイルシステムに保存されます。

ファイル名のハッシュ計算で保存するノードを決定します。– 各ファイルの保存ノードの情報を別途、どこかにメタデータとして保存しておく必要がありません。

file01 file02 file03

・・・ GlusterFSクラスタ

file01, file02, file03

GlusterFSクライアント

クライアントからは1つのファイルシステムに見える

実際には各ノードのファイルシステムに分散して保存されている

ボリューム

Page 11: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

/brick01

/brick02

/brick03

/brick04

/brick01

/brick02

/brick03

/brick04

/brick01

/brick02

/brick03

/brick04

ボリュームの構成例

/brick01

/brick02

/brick03

/brick04

GlusterFSクラスタ

ファイル単位で各ブリックに分散保存(1つのファイルはどれか1つのブリックに存在)

node01-node02、node03-node04でそれぞれレプリケーション

1つのファイルを各ブリックに分散保存

レプリケーションレプリケーション

ストライピング

レプリケーションレプリケーション

ストライピング

レプリケーションとストライピングの組み合わせ

node01 node02 node03 node04

Page 12: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

デモンストレーション

Page 13: Try andstudy cloud_20111108_tokyo

Open Cloud Campus

Red HatからのGlusterFSの提供について

以下は、2011/11現在の情報です。

現在、GlusterFSを利用するには次のような方法があります。– Fedora15以降に含まれているRPMパッケージを利用する。– EPELリポジトリで提供されるRHEL6用のRPMパッケージを利用する。

• 導入手順はこちらを参照: http://bit.ly/ptEXu4–「Gluster Community」のサイトからソースコードをダウンロードして使用する。

いずれの場合もRed Hatの正式サポート対象ではありません。

Red Hatの正式サポート提供については、現在、計画中です。

Page 14: Try andstudy cloud_20111108_tokyo

中井悦司Twitter @enakai00

オープンクラウド・キャンパス

みなさんもクラウド技術を試して学んでください!