"conoha" vps-kvm; openstack grizzly based service

“ConoHa” kvm-VPS; OpenStack Grizzlyのサービス実装について ~ ConoHa誕生の話 ~

1


OpenStack 3rd Birthday Party in Japan: 2013/07/24

GMOインターネット株式会社システム本部　サービス開発部システムインテグレーションチーム郷古　直仁

113年7月26日金曜日


2

アジェンダ• ◎ConoHaとは

‒ グルーブのほかのサービス紹介、製品の位置付けなど• ◎ConoHa 開発チーム• ◎ConoHa 開発の流れ• ◎ConoHa がOpenStack Grizzlyである理由• ◎ConoHa実装

– VIF Driver: LibvirtHybridOVSBridgeDriver– dhcp agent, gre tunnel

• ◎OpenStack改変部– hooks, OpenStackにもhooksがほしい, コントロールパネル– Ubuntu 12.04 LTS Ubuntu Cloud採用のメリット、デメリット

• ◎今後のConoHa



3

◎ConoHa とは http://www.conoha.jp/

マスコット「美雲このは」電子の座敷わらし

“Compute Nodes with Hi-flexible Architecture”まずは、VPSからサービスを始めましたフレキシブルにサービスを追加予定 (のはず)

OpenStack Grizzlyでサービスを開発•GrizzlyのQuantum(Neutron)によるovsを使ったローカルネットワーク構成可能•VIF attach/dettach (Grizzly)

•IPv4 x1, IPv6 x17(1+16)を標準で•IPv4追加IPオプション可能•OpenStack利用のサービスでキャラ設定あり!

•他機能は、”お名前.com VPS-KVM (OpenStack Diablo環境)からporting



4

GMOインターネットの仮想化サービス(1) お名前.com VPS VZ

(2) GMOアプリクラウド

GMOクラウド Public (Xen, KVM)

GMOインターネットグループの仮想化サービス(独立性)

GMOクラウド VPS

(3) お名前.com Desktopクラウド

従量制、API開発機能あり

ソーシャルアプリ・webの運用、専用サーバのハイブリッド運用、Fusion-IO専用サーバ、その他カスタマイズ構成可

KVM、月額課金、Plesk

Hyper-V3, Thin ClientサービスVirtuozzo(OpenVZベース)、OS仮想化(コンテナ)

(4) お名前.com VPS KVM(OpenStack Diablo環境)Linux KVM

自由度、リソースきっちり

EL6, KVM運用ノウハウ等

SQALE (payperboy&co)PaaS従量制、API開発機能あり

VDI, リモートDesktop環境として

VPSからクラウドへ移行できる機能

PaaS on IaaSで稼働

(5) ConoHa(OpenStack Grizzly環境)Linux KVM

IP追加、IPv6対応、複数VM構成のための機能など“使い方志向”

新規のサービスブランドとして



5

GMOアプリクラウド http://cloud.gmo.jp/

マスコット「美雲あんず」「美雲このは」とはいとこ設定

・アプライアンスLBがある仮想/専用サーバハイブリッドクラウド・Fusion IO ioDriveも専用サーバに選択可能・東京Unit, US-Unitが選択可能・Linux KVM(CentOS Host)・開発運用チームはおなじ



6

Rubyでプログラムをすぐgithubからdeployしてwebを構築できるサービス

・Ruby on Rails、Sinatra対応・”PaaS on IaaS”

SQALE (<グループ>Payperboy&co, PaaS)



7

お名前.com VPS VZ (Virtuozzo)VPS VZ(Virtuozzo := OpenVZ製品版)

コンパネから共用サーバの用にメールアドレスやVirtualHostの設定ができるがユーザの環境は独立OS仮想環境 (OSのアプリケーション環境のみ仮想化)

ただし、制限が多いが・使いたい機能を適度に提供できる(mail, web)・コントロールパネルからの設定の反映

ヒント! がここに



8

お名前.com VPS KVMとは(OpenStack Diablo環境)

OpenStack DiabloのNovaの機能をベースに、機能を追加

・ISO uploadでの自由なOSインストール、Live CD boot・http/https/sshのみで接続が可能 (noVNC)・コピペ可能なシリアルコンソール (anyterm, nova-console, conserver)・virtIO ON/OFF (libvirt hooks)・VIFのセキュリティ(spoofing対策とか、IP固定利用とか) (libvirt nwfilter, ISC dhcpd)・REST API (novaclient, )

OpenStack Diabloお名前.com VPS KVM誕生



9

お名前.com VPS KVMのシステム構成概要コンパネ系web (.Net + IIS) Windows Server 商材DB (mysql, Oracle) 課金とか

管理系サーバ (Linux KVMインスタンス)websocket-VNCクラスタ(noVNC)ssh/html5 consoleサーバsftpサーバrabbitmqサーバdhcpサーバldapサーバ(dhcp, ssh)nova/keystone DB(mysql)サーバnova Manage/APIサーバ/Glance

ISO upload storage (GlusterFS, NFS)Linux KVM (nova Compute) CentOS 6.xnova Compute, collectd, kvm

<< APIサーバはコンパネアクセス、Glanceは初期イメージのみ保存

<< keystoneはテナント管理しない

<< IP固定割り当ての為 ISC dhcp + ldap

<< Diabloでオワコン、anyterm拡張で復活

<< VMに対する月額課金を基本、帯域課金無し

<< コンパネ用のVMリソースグラフの自動生成

ConoHa開発 : これらの機能をFolsomにポーティングから始まった



10

◎ConoHa 開発チームビジネスモデル構築、Spec : 4名ぐらい

API (OpenStack, GMO hook API) : 2名

OpenStackインフラ(検証、解析、構築、Gluster、hook作成と移植、IPv6v4デュアル環境検証) : 6名ぐらい

Network Team : 1名+1

.Net html5コンパネ Team : 4名ぐらい

課金系(月後払い、日割り) : 4名ぐらい

QA Team : 後半にのべ10名以上終盤はいろんな方々がテスト

ほか、サポートメンバーなど



11

◎ConoHa 開発の流れ2012/09/27 : OpenStack 2012.2 Folsomリリース

2012/11/09 : KOF 大阪参加 ; 晩御飯の席で、事業サイドでなんかやりたい感が出てくる2012/11月頃 : ConoHa環境を構築するDCフロアできる(“このは”の棲家)

2013/01頃 : FolsomへのDiabloからの機能Porting開始

2013/02/23 : OSC Tokyo ; “Folsom”でIPv6/IPv4 Dualstackで検証中であることを、経過報告



12

ConoHa 開発の流れ (2)2013/03頃 : ビジネスモデル化進行、同時にキャラ設定のベース、声優さん選びとかも進んでいるGrizzly rcに検証ベースを変更、再Porting開始

2013/04/05(JST) : OpenStack 2013.1 Grizzlyリリース、それより少し前に、開発ベースをUbuntu 12.04LTS(UbuntuCloud OpenStack Grizzly rc2)に固定

2013/06中旬 : 新入社員へのOJTで、DevStack + Compute Nodeとかを企画してみて、この時期のGrizzlyは普通に動くことを確認 >> 普通に動くことに、驚愕となる（≧∇≦）

2013/06頃 : 当初のリリースターゲット、API開発はほぼ完了で機能のテスト開始、インフラはテスト遅れ気味、.Netコンパネは開発が進みはじめる



13

ConoHa 開発の流れ (3)2013/06末 : リリースベースのLinux kernel 3.5.0系に変更　Nova Computeのインフラ仕様(libvirt, kernel, 他ライブラリ)が動作不安定でテストと行ったり来たり　この時点で 7/6,7,13,14の秋葉原イベントはすでに決定済みと知る

2013/06末 - 07最初 : Nova Compute nodeのクリーンインストール増産開始(cobbler)

2013/07/04 : “ConoHa” リリース　月末締めの課金は開発継続

2013/07/6,7,13,14 : 秋葉原イベント敢行



14

◎ConoHa がOpenStack Grizzlyである理由•NIC(VIF)の動的atach, detach•Grizzlyを待った主要因•Folsom時点でも後半リポジトリに入った、Grizzlyで完全mergeされる•vm作成時ではなく、作成後にもネットワーク構成の変更が可能

•Quantum ovs plugin構成の安定化(Folsomより)•ローカルネットワーク構成•実際に選択したのはLibvirtHybridOVSBridgeDriver (ovs + Linux bridge)•libvirt nwfilterを使いたかったので、これは選択肢狭い•OpenFlow系でfirewall, QoSが充実してほしいがまだ殆ど無い•セキュリティグループ

•Grizzly = グリズリーさん = くま•くまはいいよね



15

ConoHa実装 : VIF Driver : LibvirtHybridOVSBridgeDriver•Libvirt nwfilterの適用出来るovs + Linux Bridge兼用モード•構成的にはちょっと気持ち悪い気がする•ovsだけでできないの>> libvirtのnwfilterがLinux Bridge用 (iptables, ebtables)

•Diablo Portingよりnwfilterが使いたかったので、選択•virshコマンドとの併用•tapがつなぐLinux Bridgeはnovaが叩く、作る (brctl addbr)•ovs-compat driverは不可 (今後なくなるので、まぁよし)•なので、ovs疎通できない状態でのvirsh startが可能

•将来的にはどうなるのか、このモードは•ovs, OpenFlowでのfirewall driverが進化進むと...•firewall driverもnovaからneutronに移行期



16

ConoHa実装 : LibvirtHybridOVSBridgeDriverOpenStack Docmentより



17

ConoHa実装 : LibvirtHybridOVSBridgeDriver•FlatVLAN + ovs(gre) Edge overlay的な構成モード•gre tunnelメッシュ構成にすべてのネットワークがvlanで入っている•すべてのzoneのCompute Nodeにフルメッシュ接続Example)tunnel(vlan 1) := Ext. vlan 1001tunnel(vlan 2) := (Local)tenant vlan 1....

•外に出るときには、mod_vlan flowにより外部のvlanに変換•gre tunnel内 VLAN数にはおそらく上限(vlan id:4095が停止ネットワークの指定vlan id)

•サービス的に、現在はquantum L3 agent無しで構成•L3はNW機器に任せる <-- サービス構成として割り切り•テナントネットワークのL3要素は今回は無し•L3 node, L3 agentが自動で冗長とかできるのなら...

•Quantum LBaaS agent が(今後)あれば良い



18

ConoHa実装 : dhcp agentdnsmasqを起動するdhcp agent•ipv6 ipv4 Dualstack稼働がうまく稼働しない•dnsmasq を自動で起動する必要はない(Network追加 << IP追加時のみ)

ISC dhcpd driver(未使用)https://blueprints.launchpad.net/neutron/+spec/quantum-dhcp

ISC dhcpdをIPv4, IPv6べつに起動ldapにより稼働させる(冗長性も向上)

DHCP Node

ISC DHCP server

10.0.1.11/23

eth

VLAN 1

ISC DHCPv6 server

2400:cafe:beef:a00f:10:0:1:11/64

VLAN 2

VLAN 3

10.0.3.11/232400:cafe:beef:a00g:

10:0:3:11/64

ldap clusterへconfig



19

ConoHaネットワーク (overview)gre tunnel、storageを別に(10G Base-T)(VLANごとに帯域固定)

管理系

L3 SWL3 SW

consoleconsole

consoledhcp

Internet

consolevnc

サービス系

API / ManageAPI/nova Manage

mqmq

API / Managemysql

dbnova DBkeystone DBglance DB

sftpsftp

API / Managemysql

db会員/課金 DB

StorageStorage

ISO storage(GlusterFS)

mqldap

API / Manageコンパネweb (.Net)

API

nova Computenova Compute


nova Compute



nova Compute

コンパネ系

glance

RAID 10 local disk RAID 10 local disk

sftpquantum

dbquantum DB

API/Mg系

storage系

gre tunnel



20

ConoHaネットワーク (gre tunnel)

Network Node

Compute NodeCompute Node

DHCP Node

VM 1 VM 2 VM 1 VM 2

DHCP server10.0.1.2/24

10.0.1.3 10.0.1.4 10.0.1.5 10.0.1.6

Network Interface

patch port + OpenFlow rule

OVS br-tun

OVS br-tunOVS br-tun

OVS br-tun

OVS br-int

10.0.1.1 eth(trunk)

OVS br-int

OVS br-int OVS br-int

WAN8.8.0.1

GRE

vlanmod_vlan

gre tunnelがどんどん増えていく様: Compute node増設Zoneに関係なく、メッシュに追加される

<< どこかで、メッシュツリーとかにしたくなるのだが...



21

◎OpenStack改変部•ACPI PowerShutdown•やっぱり無いので、libvirtドライバーに追加

•オリジナルスケジューラー•Grizzlyのスケジューラー + α: •minimum resource create logic

•ノード指定vm作成(スタッフツール)

•qcow2ローカルストレージimgのスナップショット機能•今回はそのままPorting

•Disk image リサイズ機能



22

OpenStack + Linux : hooksOpenStackを利用したサービスを作るのに、欲しくなる要素既存のComputeで利用可能hook・libvirt hook (vm帯域制限、お試し期間設定など利用)http://www.libvirt.org/hooks.html/etc/libvirt/hooks/{lxc,qemu,daemon}/適当なスクリプトを置くと実行

・upstart (ubuntu, EL6) (vlanごとの帯域設定(ovs) )http://upstart.ubuntu.com/post-start, pre-stopなど利用

・networking (post-upでvlanごとの帯域設定)/etc/network/{if-down.d,if-post-down.d,if-pre-up.d,if-up.d}

機能をカスタマイズする要素運用でのwork around適用


http://www.libvirt.org/hooks.html

http://www.libvirt.org/hooks.html

http://upstart.ubuntu.com/

http://upstart.ubuntu.com/


23

OpenStackにも hook機能がほしいOpenStack自体にもhook機能あると良いplugin以外のOpenStack利用のエコシステム

“Objectがなにかするときにちょっとした機能を実行”Object:vm, vif, network, image, storage

Method:create, modify, delete, start, stop, ... etc.

・Return codeの規定、ライブラリ・bashでもphpでもなんでも良いので、hookさせたいものの広がりをユーザーが作れるとか、良いかも



24

コントロールパネル(cp)

nova-novncproxy(noVNC) + nginx : html5 VNCnova-console + anyterm(旧Diabloより) : serial console

iPad対応(noVNC)とかも



25

コントロールパネル(cp) : 認証

oauth認証対応 (Facebook, Google+)



26

コントロールパネル(cp) : ネットワーク

MACアドレス生成ロジックをランダムから変更”Dual NIC PCIeっぽいMAC ADDR.”

VIF nameはMAC + idに

IPv6はIPv4の射影アドレスから割り当て



30

Ubuntu 12.04.2 LTS Ubuntu cloudの採用; メリット★メリット- OpenStack開発チームと近い環境で開発運用のメリット(build環境)* 使おうと思えば開発に近いtrunk Grizzlyパッケージが使える* 修正をOpenStack側にcommitしやすくなるはず* .deb pkgのバージョン管理とbuildの厳密さ

- kernelが新しいことでの新機能のメリット(どこまで使うか未定だが)* KVM: Nested KVM (提供予定)* KVM + Qemu: 9p(Plan9)FS[virtFS]とnetwork* KVM, Xen, LXCが標準で仮想化として使えるnova-compute-kvm, nova-compute-xen, nova-compute-lxc

- Quantumで必要な機能; ns(Name Space) routing* マルチテナントでネットワーク構築時、 192.168.1.0/24とか同じIPアサインのネットワークを作るときに必要(EL6系でも”RDO”ではkernelやiproute2パッケージ提供あり)



31

Ubuntu 12.04.2 LTS Ubuntu cloudの採用: デメリット★デメリット- 開発 build環境* .deb pkgのバージョン管理とbuildの厳密さによるものいままでソースコード上書きとかしていたものが、dpkgに怒られるのでちゃんと.debのビルド運用

- Ubuntuのローカルミラーリポジトリとか作ると巨大すぎるdisk領域* 大量セットアップで外部Mirrorとか見に行くとなんか遅い気が...

- サーバーのHardwareサポートの未成熟(Driver)* Performanceをあまり重視しない* RedHatさんだと、リリースノートに何%性能向上とかでるけど、Ubuntuはupstreamに依存、性能は下る場合もある(RedHatのしごとはすごい)

- LTSなのに 12.04.1 ==> 12.04.2 とかでpkgバージョンが変わる場合Linux kernel ([3.2] >> 3.5 >> 3.8), libvirt* CentOSでもlibvirtとか結構変わったけどねw



32

◎今後のConoHa•課金処理 (月末締めw) << マネタイズは大事です!

未解決事項•ローカルネットワークの細かい見直し•未解決のquamtum metadata agent構成•quantum LBaaS agent構成•nginx L7 LBaaS作り

検証•Heat, Ceilometer, DBaaS(autoscale)•API提供構成と課金との辻褄あわせ、Proxy endpoint

サービスとして•PaaS on IaaS, SaaS on IaaS•サービスのせる環境としても使っていく



33

質問、要望、アドバイスなど有りましたら、のちほどお願い致します

iPadでのvnc操作とかは、デモ出来ます



34

ご清聴ありがとうございました

Special Thanks!GMO Internet Inc., System Div., SI Team and Cloud Team,Hostingh Team



38

API検証ツール兼Staffツール- VNCやAnyterm、帯域制限などwebで押せるようになっている- vmのメンテナンスモード on/off- ACPI shutdownも


"conoha" vps-kvm; openstack grizzly based service

Technology