wakame-vdc / open source conferense 2012 - cloud (jp)

53
Wakame-VDC Wakame Software Foundation やまざき 2012/12/16

Upload: axsh-co-ltd

Post on 10-Jun-2015

1.246 views

Category:

Documents


3 download

DESCRIPTION

OSC2012での発表スライド。Wakame-VDCは、DevOpsのためのプラットフォームとして発展しています。

TRANSCRIPT

Page 1: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Wakame-VDC

Wakame Software Foundation

やまざき

2012/12/16

Page 2: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Wakame Software Foundation

加盟企業数 21

Page 3: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

WakameTech

たまに、開発者向けの技術ミーティングをやっています。 ユーザ会ではありません。

Page 4: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

開発プロセスの高速化 (アジャイル)

スケールアウト手法の 一般化

増えるモバイルデバイス

議論の発端

Page 5: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

システム開発や運用を、より素早く、より安定的に。

Page 6: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

だから2009年から作り始め、2010/04にリリースしました。

Page 7: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

クラウドコンピューティング基盤

Page 8: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

ユーザ様

九州電力様 国立情報学研究所様

DC事業者様 (2社) SIer様 (2社) 某メーカー様

Page 9: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Wakame-VDCは、データセンタのためのハイパーバイザーです

ハードウェア ハードウェア

回線

ハードウェア ハードウェア

回線

クラウド基盤ソフトウェア

Wakame-VDC お貸し出し

領域 お貸し出し

領域

お貸し出し 領域

お貸し出し 領域

お貸し出し 領域

これまで これから

Page 10: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Wakame-VDCは セルフサービスを可能にします

ハードウェア ハードウェア

回線

ハードウェア ハードウェア

回線

クラウド基盤ソフトウェア

Wakame-VDC お貸し出し

領域 お貸し出し

領域

お貸し出し 領域

お貸し出し 領域

お貸し出し 領域

これまで これから

システム開発者

データセンタ管理者

システム開発者

データセンタ管理者

作業 お願いします

作業 お願いします

応答速度 低速 高速

Page 11: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

効果

ハードウェア ハードウェア

回線

クラウド基盤ソフトウェア

Wakame-VDC

お貸し出し 領域

お貸し出し 領域

お貸し出し 領域 システム開発者

データセンタ管理者 物理層のメンテナンスに集中する

開発に求められる高速なレスポンスを得られる

データセンタ管理者の 仕事を減らす

Page 12: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Wakame-VDCは オートメーションを支援します

ハードウェア ハードウェア

回線

クラウド基盤ソフトウェア

Wakame-VDC

お貸し出し 領域

お貸し出し 領域

お貸し出し 領域 プログラム

データセンタ管理者

Web API 呼び出し

1. システム開発者は プログラムを作成する

2. Wakame-VDCは Web APIで作業依頼される

3. Wakame-VDCは 下記事項を実施します 仮想サーバの作成~破棄 仮想ネットワークの作成~破棄 仮想ストレージの作成~破棄 バックアップ

システム開発者

これらを駆使すると、 サーバ機器などのリース業務を 自動化(オートメーション)できます。

Page 13: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

自分で運転するのか

タクシーにするのか

それとも…

Page 14: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

運転そのものを自動にする

Page 15: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

シンプルな論理構造

Data Center Manager (DCMGR)

Queue (AMQP)

Hyper Visor Agent (HVA)

Storage Target Agent (STA)

Network Monitoring Gateway

Agent (nwmongw)

Zabbix

VM

iSCSI

Indelible FS

DCMGR Web API

GUI Server

(Web UI)

Browser

html/JSON

システム開発者

DCMGR Collector

ssh

Instance

Block Device

MySQL

15

Page 16: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

物理構成例

Instances

GNU/Linux

Instances

GNU/Linux

Instances

GNU/Linux

Instances

GNU/Linux

STA GNU/Linux Indelible

FS

DCMGR Collector

SW

外部 Network

SW

SW

DCMGR Web API

GUI Server

Proxy (nginx)

HVA

HVA

HVA

HVA

ovs

ovs

ovs

ovs

Page 17: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

「分散」と「協調」

Page 18: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

SPOFの排除

Page 19: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

モジュールを複数起動すれば、それが冗長化に。

LB LB

Wakame-VDC Module

Wakame-VDC Module

Web Interfaceを持つ モジュールの冗長化

AMQP Networkを持つ モジュールの冗長化

Wakame-VDC Module

Wakame-VDC Module

AMQP Network AMQPの冗長化手法に従う

複数起動しても問題のないステートレスなモジュール設計

Page 20: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

直感的操作

複数アカウント管理

多言語対応 (英語 / 日本語)

あらゆる操作を、この画面から。 GUI

Page 21: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

皆が悩む設計と実装を あらかじめ添えて。

Page 22: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance Backup

Page 23: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance

Storage

Copy

Machine Image

無くしてしまう、その前に。

Page 24: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Advanced Firewall Security Groups

Page 25: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance Firewall

Unknown Packets

Known Packets

全てのインスタンスを、いつも安全な状態に。

Page 26: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

# HTTP tcp:80,80,ip4:0.0.0.0/0 # SSH from Office tcp:22,22,ip4:123.123.123.123/32

IPアドレスベースでのアクセス制御

Page 27: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

# HTTP Tier tcp:80,80,ip4:0.0.0.0/0

# Database Tier tcp:3306,3306,sg-12345

sg-12345

sg-67890

グループ名ベースでのアクセス制御

Page 28: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

起動した後でも、 セキュリティグループの割り当てを変更できます

Page 29: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Virtual Network

Page 30: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance

Instance

Instance

Instance

192.168.1.10

192.168.1.11

192.168.1.10

192.168.1.11

物理に依存せず、欲しいネットワークを。

Page 31: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

OpenFlow

Trema

Open vSwitch

Page 32: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Control Program

Control Program

Network OS

Packet Forwarding

Packet Forwarding

Packet Forwarding

OpenFlow Protocol

スイッチネットワーク

データセンター全体に 散らばるスイッチ資源を 管理するもの

スイッチネットワークに 対する司令を出す 任意のプログラム

SDN

Page 33: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Virtual Network (L3 Multi-Tenant)

Security Group (Firewall)

Open vSwitch

Open vSwitch

Open vSwitch

Data Center Manager

HVA HVA HVA

Trema Trema Trema

OpenFlow 1.0

RubyレベルでのCall

AMQPによる通信

RubyレベルでのCall

Unix Socket通信

各コンピュートノード内の 独立したOVS群

VM VM VM VM VM VM 貸し出される仮想マシン群

Page 34: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

User Defined Network (Virtual L2 Isolation)

User Defined Network (Virtual L2 Isolation)

Security Group (L2 Isolation & L3 Firewall)

VM VM VM VM

Firewall Firewall Firewall Firewall

VM VM VM

VM VM VM

Multi-tenant

Internet

このようなネットワークが作れます

Page 35: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

詳しい事が知りたい人は 今月発売されるこの本をどうぞ。 Wakame-VDCの解説があります。 (ステマですが何か?)

Page 36: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

データーセンター全体の仮想化を目指しています。

Page 37: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Load Balancer

Page 38: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance Load

Balancer

Instance

Instance

SSL Sticky Cookie Active / Stand-by

HAProxy Stud

手軽なトラフィックコントロールを、 今すぐに。

Page 39: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Alive Monitor

Page 40: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance

Instance

Instance

Alive Monitor

Ping HTTP(S) FTP SSH SMTP POP3 IMAP Submission DNS MySQL PostgreSQL

Zabbix

インスタンスの暮らしを見つめる ラ○オン

Page 41: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Log Collector (開発中)

Page 42: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Instance

Instance

Instance

Log Collector

Fluentd Cassandra

Fluentdによる収集I/F 閲覧機能 今後は解析機能も

いつでも、 「あの時」を追求できる

Page 43: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)
Page 44: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

完全オリジナルの マルチティアストレージ

Instance

Instance

Instance

ローカルディスクのI/O性能 ネットワークレベルの ホットスワップ DC間レプリケーション (開発中)

IFS

IFS

IFS $

IFS $

IFS $

Page 45: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

DevOps Platform

開発者と運用者の楽園を作りたい

Page 46: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)
Page 47: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Demonstration

Page 48: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

InstanceA-LAN1

InstanceB-LAN1

InstanceC-LAN2

InstanceD-LAN2

NIC NIC

NIC NIC

NIC NIC

NIC NIC

10.1.1.10

10.1.1.11

10.1.1.10

10.1.1.11

Load Balancer

10.0.2.103

10.0.2.104

10.0.2.105

10.0.2.106

デモ環境

10.0.2.100

NIC

Page 49: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

起動しているインスタンス

2枚あるNICのそれぞれに、 IPアドレスが振られている

Page 50: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

ロードバランサーの設定

Page 51: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Github

https://github.com/axsh/wakame-vdc

https://github.com/axsh/vmapp-vdc-1box

メインのソースリポジトリ

仮想環境へのインストーラ

https://github.com/axsh/kemumaki

DC構成毎のスモークテスト (開発中)

Page 52: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

開発者募集中

Issueの報告や、Pull Requestお待ちしております!

Page 53: Wakame-VDC / Open Source Conferense 2012 - Cloud (JP)

Q&A @sparklegate