yahoo!japan北米dcでocpのツボをみせてもらってきました -...

Copyright©2016 NTT corp. All Rights Reserved.

Yahoo!Japan 北米 DC でOCP のツボをみせてもらってきました2016.5.26重松光浩

NTT ソフトウェアイノベーションセンタ

OpenStack 最新情報セミナー(2016 年 5 月 )

2Copyright©2016 NTT corp. All Rights Reserved.

who

• 重松光浩 ( しげまつみつひろ ) / twitter @pshige

• 所属 : 日本電信電話株式会社ソフトウェアイノベーションセンタ第一推進プロジェクト

• OpenStack 歴 : 1 年強•Ironic Project などで活動

• Cross-Project Liaison {Documentations, InterProject neutron} for Ironic•NTTG 内 OpenStack ユーザ会とりまとめ


4 月下旬に北米滞在． Yahoo!Japan の北米 DC ( 現地法人 YJ America が管理運用を担当 ) を視察 , OpenStack Summit に参加

•OpenStack Summit 2016 Austin 参加 ( テキサス州 ) ←まずは若干こちら

• ベアメタルクラウド実現を目指す Ironic プロジェクトのデザインサミット等に参加

•YJ America! DC 視察 ( ワシントン州 ) ←今回の発表は主にはこちら• OCP 準拠仕様の機器を採用し OpenStack 環境を構築・運用する現場を視察

where


■ 動機：研究所内プライベートクラウド提供の高度化 /経済化

仮想 /物理サーバを含む環境を極力手間をかけずに各プロジェクトに迅速に提供したい

■ 条件：

必要な環境を必要な分だけ，極力迅速に提供したい - 仮想 /物理サーバを必要なネットワークと組み合わせて提供 - 提供の迅速化などのため，利用者の API 操作での提供が尚可 - 予算制約もあるため，機器は安いに超したことはなく，構築　　運用の予算もおさえたい

why


■ 関心対象：

•OpenStack を活用した環境の構築技術の確立 - ベアメタルやコンテナを駆使した利用技術の確立 - 特に技術的成熟の遅れているベアメタルをクラウド環境として活用する技術 ( 仮想 NW や仮想ストレージ技術との連携等 ) の確立

•OCP 準拠機器の利用が拡大するタイミングと課題の把握→もしブレイクしそうならそれまでには OCP 準拠機器での構築技術を確立しておく必要あり

what


1. OpenStack Summit 2016 Austin 参加


OpenStack Summit 2016 Austin 全体概要

■ 日程 /場所 /総参加者数• 日時： 2016/4/24( 日 )-29( 金 )• 場所： Austin Convention Center • 　　　主催： OpenStack Foundation• 参加者数： 7500 名• ←5000 名強 (Tokyo)← 6000 名強 (Vancouver)

■ キーノートでのキーワード•多様性… 4 つの「」ﾕｰｻﾞｶﾀﾛｸﾞｴﾝﾀｰﾌﾟﾗｲｽﾞ｢ﾊﾟﾌﾞﾘｯｸｸﾗｳﾄﾞ｣｢ Telcom ｣｢ Research ｣

• フォーチュン 100 の半数が OpenStack を運用• 導入の 65％は商用利用

■ コラボレーション…ユーザの関心は 1. コンテナ， 2.SDN ， 3. ベアメタルに拡大• Cisco ： OPNFV ， OpenDaylight ， CloudFoundry といったプロジェクトとの連携が重要• チェコのスマートシティ：プロジェクトをビッグテントに広げることで， IoT基盤の実績

を拡大中•その他・次回はバロセロナ 10 月 25 日～ 28 日・ 2016 年春は Boston, 秋は Sydney で開催予定・ Super User Award は AT＆ T が受賞．


•マルチテナント対応機能は一刻も早く仕上げていく• マルチテナント対応機能はテナントごとの仮想 NW にベアメタルインスタン

スを接続して使えるようにするための機能• 一年前のバンクーバサミット以降高優先で取り組まれてきているがいまだマ

ージされていない• まもなく初期機能が実現した暁には VLAN 対応や Bonding 対応にも拡大して

いく• ストレージ連携機能もとりくんでいく

• ボリュームからベアメタルサーバを起動できるようにする機能• ユーザデータをボリュームとしてベアメタルサーバに接続する機能

• 利用者目線の機能以外ではテストの円滑化　やレビュアの拡大が急務！

OpenStack Summit 2016 Austin での Ironic の議論


2. YJ America DC 視察


( 参考 ) 米データセンターでの仮想化統合基盤に Open Compute Projectを採用 (2015/10/13)

cf. http://japan.zdnet.com/article/35071845/


•私自身の興味：• OCP 準拠サーバを安く買うための工夫を知りたい• OCP 準拠サーバを安定動作する形で調達する工夫を知り

たい

• どのように運用しているのかを実際に目でみてみたい

以下私が見聞きしてきたことを紹介します！

2. YJ America DC 視察


• 概要：• Facebook が提唱し 2011 年発足． DC テクノロジーのオープン化を目指す．最も効率のいいサーバ /ストレージ /データセンタ等のハードウェアを設定，提供していくためのエンジニアコミュニティ．

• 参加団体 ( 抜粋 )• Facebook, Google, Apple, Microsoft, Rackspace, • CTC, Ericsson, Canonical, Cisco, cumulus, Huawei, HPE, IBM, Intel, Juniper,

Lenovo, NEC, Nokia, QCT, Penguin, samsung, wiwynn, • Goldman Sachs, Fidelity, Bank of America, • AT&T, EE, Equinix, SK Telecom,

• 最近のトピック：• Google 加入． 48V ラックの設計書を公開． (2016.3)• OCP Telco Project 始動 . 通信事業者のニーズをサポートするための OCP のエコ

システム構築を目指す． (2016.3)• CTC が NTT データ先端，村田製作所と日本仕様の OCP ラックを開発． (2016.3)

OpenComputeProject (OCP) とは？


•消費電力の削減• パワーシェルフ一括給電で高効率供給

•設置スペースの削減• サーバ集約を考慮したラックデザイン

• 作業時間の削減• 工具を必要とせずすべての作業が前面で可能

• サーバ費用の削減• 要件にあったサーバ構成とパーツ別調達による価格競争• サービスプロセッサー機能の簡素化• 出荷検査の簡素化

OCP 準拠サーバの特徴

288 サーバ /8racks 等


• 私自身の疑問：• OCP 準拠サーバは大幅値引き前提の汎用サーバに較べたとき価格面でアピールし

ないと何故かされてきたのか？• 本質的にやすくなるはずの OCP を安く買うための方法はないのか？

• 安くなる仕組み /安く買う工夫：• 完成品の単なる納品以外に，利用者側での部品の自前調達による組立依頼等の形態

を各レベル ( 次ページ参照 ) で選択可能．マザーボードや筐体以外の全ての部品等にもさらなる価格低減の余地あり．

• 汎用サーバではサービスプロセッサを都度開発となる．センサ点数も多く，開発費が高どまりしがちであるが，この仕様が簡素な形で統一され安価となる．

• 汎用サーバでは出荷検査を必ず行っているが，利用者側での受入検査と検査観点が異なるため，都合 2度実施することになる． OCP 準拠サーバの納品条件として受入検査を代行実施させる等すれば稼働削減になる

OCP 準拠サーバを安く買うための工夫


( 参考 ) MANUFACUTURING LEVEL

http://www.amax.com/blog/?p=668


• Level 1: Parts manufacturing—this includes non-painted parts and molding parts on the component level.

• Level 2: Piece Parts Sub Assembly—some level of assembly.

• Level 3: Metals and plastics are integrated together and shipped as a case (i.e. chassis).

• Level 4: Metals and Plastics + PSU and/or Flat Cable and/or Backplane are shipped as a kit or bag.

• Level 5: All enclosure parts from Level 4 attached, cables integrated, I/O tested

• Level 6: Integration of motherboard into chassis enclosure and power on test.

• Level 6 manufactured platforms are what ODMs provide when they ship out “server barebones” which are integrated motherboard/chassis combinations with parts included, but missing components such as CPU, memory, hard drives, networking cards, etc. Often systems integrators will buy these barebones and populate with components to create specific server configurations. How much value that integrator can add in terms of services and further building out the solution depends on their capabilities in the next levels:

( 参考 ) MANUFACUTURING LEVEL 説明文 1/2


• Level 7: Integration of add-on cards into server barebone with ability to test.

• Level 8: Integration of hard drives into server barebone with ability to test.

• Level 9: Integration of CPU and memory into server barebone with ability to test.

• Level 10: Full assembly of server with full system and component level testing, OS/software integration, product kitted with user manual and other required documentation and delivered as a fully-integrated server solution.

• A manufacturer capable of up to Level 10 manufacturing will deliver a working server solution. But if you need multiple servers networked together as a rack-level or even multi-rack level solution, you will need at least a Level 11 manufacturer:

• Level 11: Node-level assembly, testing, OS/software loading of all server nodes followed by rack cabinet assembly of nodes into racks with full cable networking (including switches), and tested as a working total solution at the rack or multi-rack level.

• Level 12: Rack to multi-rack level manufacturing featured in Level 11 including all networking with full software loading, validation and optimization. This may include but is not limited to cluster management, cloud OS (such as OpenStack) and networking software.

( 参考 ) MANUFACUTURING LEVEL 説明文 2/2


•私自身の疑問：• 出荷検査の必須ではない OCP 準拠サーバをどう安定動作させるのか？• 安定動作する構成選択をどう実現するのか？

• 安定動作への工夫：• Facebook 等先行利用者がすでに採用している構成情報を入手し，その構

成をベースに検討する

• 物理検証 /システム検証を事前に実施，パーツ動作不良等は未然に防ぐ

• 検査項目リストはどちらで分担してもよいが，必要に応じて納品前作業に加えて省力化をはかる

OCP 準拠サーバを安定動作する形で調達する工夫


• OpenStack Ironic は機能拡充間近．皆で使い倒してバグをつぶし枯れた技術にしていきましょう！

• OCP は注目花丸急上昇中？！OCP 準拠サーバの価格低減もはかられてきているので選択肢のひとつに加えてましょう．少しでも早く技術確立を一緒に手がけませんか？

私からのメッセージ

yahoo!japan北米dcでocpのツボをみせてもらってきました -...

Technology