glusterfs 技術と動向 1of2

Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 1　

2011/12/8(株)NTTPCコミュニケーションズ

第4回クラウドストレージ研究会

GlusterFS 技術と動向1of2


発表者の紹介

高橋　敬祐 (TAKAHASHI Keisuke)

(個人用)Twitter ID : @keithseahus

•  NTTPCコミュニケーションズ在籍 (2006年〜)

–  Webマイニング系開発

–  分散FS特にGlusterFSの調査，研究，それを利用した開発及びOSS活動

–  宇宙航空関連実証実験及び開発

–  その他先端技術調査 •  出入りしている勉強会

–  VIOPS

–  クラウドネットワーク研究会

–  クラウドストレージ研究会

–  Tokyo Erlang Workshop

–  その他

•  この界隈で特に関係の深い人

–  伊藤氏 ( @thatsdone )

–  STEC 伊藤氏 ( @HarrisonIto )

–  NTTPC 中冨 ( @nakacya )

–  NTTPC 高田 ( @mikiT_T )

Google Groups: http://groups.google.com/group/gluster-ja


1.  GlusterFSの概要と動向2.  GlusterFSの技術

1.  ストレージの階層構造2.  分散アルゴリズム

1.  分散アルゴリズム2.  Elasticなレイアウト変更3.  特殊なケース

3.  メタデータ構造4.  レプリケーション

1.  レプリケーション2.  レプリケーションのデータフロー3.  レプリカ障害とその対応

5.  運用面での注意点

3.  FAQ4. まとめ

GlusterFS 技術と動向 1of2


GlusterFSの概要と動向


GlusterFSの概要と動向

@doryokujin

さんのもオススメ！


ストレージの階層構造



block device



block device

file system

GlusterFSはblock deviceを直接管理することはできません。（カーネル空間のファイルシステムではありません。）



block device

file system

VFS



block device

file system

VFS

glusterfsd

GlusterFSはカーネル空間ファイルシステムの上で動作します。下位のファイルシステムへの操作はglusterfsdが行います。



block device

file system

VFS

glusterfsd

glusterfs

glusterfsがglusterfsdへの命令を実行します。glusterfs-glusterfsd間はデフォルトではTCP/IPで接続されます。



block device

file system

VFS

glusterfsd

glusterfs

FUSE

glusterfsにはFUSEとのI/Fがあります。



block device

file system

VFS

glusterfsd

glusterfs

FUSE

VFS

そのため、POSIX準拠のファイルシステムとしてマウントすることができます。



block device

file system

VFS

glusterfsd

glusterfs

FUSE

VFS


分散アルゴリズム



①0〜399

②400〜799

③800〜1199

注）ハッシュ値及びbrick名は説明のために簡略化してあります。以下同じ。



①0〜399

②400〜799

③800〜1199/path/to/fileA

768

A



①0〜399

②400〜799


768

A


Elasticなレイアウト変更



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199

古いハッシュテーブル(3 bricks)

新しいハッシュテーブル(4 bricks)

A

brick追加直後の状態（gluster volume add-brick ④）

既存データの読み書きは古いハッシュテーブルに基づき

実行される。



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



/path/to/fileB 1024

A

B

新規ファイルの作成には新しいハッシュテーブルを使う



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



/path/to/fileB 1024

A

BB

新規ファイルの作成には新しいハッシュテーブルを使う

リンク先brickの書かれたスパースファイル



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB

rebalanceを実行（gluster volume rebalance <volume> start）



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB

rebalanceを実行（gluster volume rebalance <volume> start）

A




①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB

A


rebalanceを実行中...



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB




①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB


/path/to/fileC 384C

rebalance中のファイル生成処理は...



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB


/path/to/fileC 384

C

C

rebalance実行前と同様



①0〜399

②400〜799

③800〜1199

①0〜299

②300〜599

③600〜899

④900〜1199



A

BB

C

C

rebalance完了

古いハッシュテーブルを破棄



①0〜299

②300〜599

③600〜899

④900〜1199

C

B

BA

C


特殊なケース


特殊なケース

①0〜399

②400〜799

③800〜1199

一部brickがdisk full!!


特殊なケース

①0〜399

②400〜799


768

A そこへ新規ファイル作成


特殊なケース

①0〜399

②400〜799


768

A

A

リンク付きスパースファイル

実体は書き込み可能な brickへ


メタデータ構造



メタデータ (xattr)

(実)データ



block device

file system

VFS

glusterfsd

glusterfs

FUSE

VFS

A



block device

file system

VFS

glusterfsd

glusterfs

FUSE

VFS

A

glusterfsがxattrを記述 (するようにglusterfsdに命令)



block device

file system

VFS

glusterfsd

glusterfs

FUSE

VFS

A

glusterfsdがfile system上にxattrを記述



　　　　　　　　　　　block device

　　　　　　　　　　file system

　　VFS

glusterfsd

glusterfs

FUSE

VFS

A B

glusterfsを経由しないと xattrが付与されない！



　　　　　　　　　　　block device

　　　　　　　　　　file system

　　VFS

glusterfsd

glusterfs

FUSE

VFS

A B

原則、GlusterFS経由ではアクセスできない。

但し、ディレクトリエントリとして見えてしまう場合もある。



ディレクトリに付与されるxattr trusted.gfid

trusted.glusterfs.dht trusted.glusterfs.test

ファイルに付与されるxattr trusted.gfid

trusted.afr.<volume>-client-<number> trusted.afr.<volume>-client-<number++>

trusted.<volume>-stripe-<number>.stripe-count trusted.<volume>-stripe-<number>.stripe-index

glusterfs 技術と動向 1of2

Technology