openstack summit vancouver yvr ops

Copyright © NTT Communications Corporation. All rights reserved. 0

OpenStack Summit 2015 Vancouver Ops Meetup 参加報告

NTTコミュニケーションズ

技術開発部

2015年6月10日

Copyright © NTT Communications Corporation. All rights reserved.

自己紹介

1

氏名：

• 小倉真人 (おぐらまひと)

所属：

• NTTコミュニケーションズ技術開発部

• OpenStackの調査・開発・人材育成に従事

経歴：

• 2009-2010 : NTTコムウェア入社、Eucalyptusの検証

• 2010-2012 : 仮想化基盤(KVM)の監視、デプロイ効率化の検証

• 2012-2013 : Cassandra, HBase, MongoDB検証

• 2013-2014 : Hadoop基盤の自動構築検証

• 2014-現在 : 10月に人事異動で現職


What’s Ops Meetup?

Ops Meetupはクラウド運用者が集まるイベント

運用者(Ops)同士でのベストプラクティスやアイデアの意見交換、運用者の視点から開発者へのフィードバックを行う

次の３つを目的としてテーブルを囲んでのディスカッションや、プレゼンテーション形式で話し合いが行われる

1. OpenStack運用者の地位向上や、コミュニティ全体に対してOpsとの

連携を働きかけるためのフィードバックの収集

2. 運用者たちがベストプラクティスやアーキテクチャをお互いに情報交

換できる体制を作る

3. クラウド運用者からの建設的/積極的な関わりあいを増やす

2


Tuesday, May 19

3

ディスカッションやLTをメインに21セッションを実施 Ops Summit ‘101’ / The Story So Far

Federation – Keystone & other – what do people need?

RabbitMQ

How do we fix logging ?

Architecture Show and Tell * 2

Ceilometer – what needs fixing ?

Billing / show back / charge back – how do I do that?

Cinder Feedback

Hypervisor Tuning

OnBoard & Integration of Legacy Apps

User Committee Session

Database

Deployment, CI/CD

Security

Internal Evangelism – Convincing your C-level exec to back OpenStack

Nova Feedback

Operating multi site OpenStack installations in practice

Containers – What do you want?

Customer oboarding and offboarding

Neutron Feedback


Wednesday, May 20

4

ワークセッションのメインに20セッションを実施 Ceilometer: componentisation / multiple identity

Puppet Team Work Session

HPC Working Group

The Telco Working Group

Chef Work Session

Making Metal Easy (Ironic) Work Session

Ansible Work Session

Monitoring and Tools Working Group

Tags Working Group

Ceph Work session

Tech Choices (e.g. is MongDB OK?) Work Session

Burning Issues Work Session

Large Deployments Team Work Session

CMDB Work Session

Data Plane Transitions Work Session

Docs Work Session

Keystone: Operator Feedback

Logging Work Session

Packaging Work Session

Upgrades Work Session


Thursday, May 21

フィードバックを2セッション Swift: Ops feedback

Glance: Work session

5

各セッションの議事録はEtherpad上で閲覧可能

https://wiki.openstack.org/wiki/Design_Summit/Liberty/Etherpads#Ops


参加セッションについて

Ops (Design Summit)

• 動機：OpenStackの運用に関する課題やノウハウの収集を行うため

• セッション：

• RabbitMQ

• Logging

• CI/CD

• etc…

QA

• 動機：開発環境やテストの効率化のため

• セッション：テスト / ベンチマーク

Security

• 動機：セキュリティ取り組みについての興味

• セッション種別：

• セキュリティテスト、セキュリティに関する取り組み

6


Ops: RabbitMQ*1

7

*1：https://etherpad.openstack.org/p/YVR-ops-rabbitmq *2：RabbitMQクライアントのコネクションが切れても通知されない/再接続しない

3月のOps Meetupで話題になった問題の経過報告

• RabbitMQのheartbeat問題*2

パッチは既にマージ済みでJuno以降では解決されうまく動いている

Icehouseにバックポートしてみているがうまく動いていない

既存の問題

• RabbitMQクラスタとLoad Balancerの連携問題

LB経由でRabbitMQクラスタにつなぐとコネクションロストがある

問題はあるが多くのマルチRabbitMQサーバオプションを利用しており、LBを組み合わせているユーザは少ないので影響は少ない

• RabbitMQのHAに関するドキュメントのアップデート

OpenStackガイドのRabbitMQのHAに関するドキュメントを、アップデートする予定がある

https://etherpad.opensta/


Ops: Deployment, CI/CD*1*2

8

*1：https://etherpad.openstack.org/p/YVR-ops-deployment *2：その時間帯はeherpadの動作が不安定のため内容があまりかかれていない *3：Service Oriented Deployments at Scale in an OpenStack Public Cloud

図：Racspace社のDevloymentの流れ*3

Configuration Tools

• Puppetユーザが多数

Ansible, Chefの利用者は小数

Puppetを大規模に利用し、Contributeもしているユーザも

一方でRackspaceはPeppetからAnsibleに乗り換えた*3

乗り換えに3か月ほどかかったとのこと

CI/CD Tools

• CI/CDはJenkinsを活用するユーザが多数

• テストツール

Rallyはスモークテスト

ベンチマークや機能テストで利用

Tempestはカバレッジテスト

API動作確認で利用

https://etherpad.opensta/


Ops: How do we fix logging?

9

*1：https://review.openstack.org/#/c/172552 *2：https://review.openstack.org/#/c/156508

ログ管理の効率化をするBlueprintが紹介され議論中

OpenStack wide Error Codes for Log Messages*1

Return request ID to caller*2

OpenStackが出す多くのログをどう扱うべきか

• ログが多すぎてデバッグが難しい

• SyslogよりもLogstashなどのログコレクターを使うべきとの意見

ログを収集することで分析が可能になる

• ログファイルの種類とフォーマット一覧の共有

https://goo.gl/F7xZsK

ログをいじるオプションや設定については継続議論

• WeeklyのIRCミーティングを計画中

https://goo.gl/F7xZsK


Logging関連セッション

10

Demystifying Logs in OpenStack Clouds

• OpenStackが出力する大量のログを集約・分析してエラー原因などを効率よく把握する方法について

• データの可視化はGrapite, Grapahanaを利用

• 分析をするにはデータサイエンティストが重要

ELK Stack Crossing: Where Fans of Elasticsearch, Logstash, Kibana, and OpenStack unite!

• ELKのユースケースの紹介（Blumix, HP）

• MirantisはLogstashの変わりにHekadを使っている

• HypervisorからVMの情報を取るようにContainerにAgentを入れずにログを取るという要望について今後検討するとのこと

• Swiftに貯めたログをElasticsearchで検索したい（監査対応目的）

Managing logging in your OpenStack environment

• 大量のログをGrepするのは大変

• ELKを使うことでログ検索が簡単になる


What is Rally?

RallyはOpenStackのベンチマークを目的としたツール*1

11

*1：Benchmark as a Service for OpenStack


QA：Rally

Rally: Kilo Updates & Liberty Plans

• KiloでのアップデートとLibertyでの予定を淡々と説明

• Kilo：プロジェクトの可視化（Roadmap, 機能要望、etc…）

• Kilo：CI改善、ドキュメントの大幅な改善、その他機能改善

• Liberty：タスクのフォーマット変更、Rally as a (Lib|Service)

• Liberty：スケーラビリティの解決、本体とプラグインの分離、etc

• ここ参照：https://goo.gl/wh0YiG

Repeatable benchmarking of OpenStack architectures

• 異なる環境（KVM, Xen, LXD）に対してベンチマークをするためにはベンチマーク用のモデル（構成）が必要

• JujuのモデルとRallyのテストシナリオを組み合わせることで環境が変わっても、同じ構成でベンチマークを行うことができるとの説明

12


OpenStack Security CI/CD Way

13

Security CI/CDの目的

• 開発に継続性を持たせることで欠陥を抑え、早く高い品質でデプロイを可能にする

CIで回すテスト

静的解析

単体・機能・セキュリティテスト

スモーク・セキュリティ・パフォーマンステスト

自動化のために何をすべきか

• セキュリティーコードのレビュー（Banditを利用）

• APIのセキュリティテスト

• Security vulnerability Checklistを利用


How the security group is building security into each OpenStack release

14

Security notes

• 開発者と運用者向けにOpenStackで直せる/直せない問題について掲載

Security Guide

• OpenStackに携わる人向けのセキュリティガイド

• Isolation Security domainsとベストプラクティスの章が面白い（らしい）

Developer Guide

• セキュアな開発をするためのベストプラクティスが掲載されている

• Bandit code Analysisは今後Gateに導入予定

openstack summit vancouver yvr ops

Technology