オンデマンドクラウド構築サービスcloud.gakunin.jp/dist/pdf/20180621pm_cloud3_01_takefusa.pdfaws...
TRANSCRIPT
オンデマンドクラウド構築サービス
竹房 あつ子
国立情報学研究所クラウド基盤研究開発センター
2018年6月21日
学術情報基盤オープンフォーラム2018
1National Institute of Informatics
NIIのクラウド導入・利用支援
2National Institute of Informatics
調達導入検討
利用
オンデマンドクラウド構築サービス
2018年度予定
クラウドゲートウェイ提供中
SINETクラウド接続サービス
提供中提供中
個別相談セミナー
スタートアップガイド
チェックリスト
学認クラウド 導入支援サービス
SINETクラウド接続サービス
大学等とクラウドのデータセンターをSINET5 L2VPNで接続
3National Institute of Informatics
◎高速・安定・安全な通信環境
クラウド利用時の課題
クラウド接続時のネットワーク設定主要なクラウドではBGPルータが必要利用開始までに時間がかかる…
プロバイダ毎にサービスメニューやインタフェースが異なるので、複数のプロバイダの利用は大変ベンダロックインを回避したい調達の関係で途中でプロバイダが変更になる
アプリケーション実行環境を構築するのが大変基幹業務アプリ以外はコスト的にサポートに頼れないアプリのインストールやアップデート作業は複雑資源の最適化やクラウドならではの使い方をするには?
4National Institute of Informatics
オンデマンドクラウド構築サービス
SINET L2VPNでのクラウド接続を支援クラウドの差異を吸収した制御インタフェースを提供アプリケーション構築手順書の共有で環境構築支援
5National Institute of Informatics
(H30年10月サービス開始予定)
オンデマンド構築サービス
テンプレート
テンプレート
SINET5 L2VPN
マシン確保ソフトウェア配備
大学・研究所等
インタークラウド環境
マシン確保ソフトウェア配備
SINET5 L2VPN
クラウド環境
教員・研究者が、テンプレートを選択(または作成)することにより、クラウド環境を簡単に構築可能
オンデマンド構築サービス
テンプレート
テンプレート
オンデマンドクラウド構築サービス
構築・管理ソフトウェア:Virtual Cloud Provider (VCP) クラウド接続を支援する仮想ルータを提供 プロバイダごとのAPIを抽象化し、制御・管理を容易に
• クラウドでのインスタンス配備、管理、ソフトウェアの配備• 2種類のインタフェースを提供
• VCP REST I/F: 詳細な構築・管理が可能な REST インタフェース• VCP SDK: 簡易な構築・管理可能な Python インタフェース
構築手順書&実行環境:アプリケーションテンプレート クラウドでのアプリ環境構築・管理、ソフトウェア配備のための
Jupyter Notebook 形式の手順書(ワークフロー)を提供• 仮想クラウド基盤環境構築・管理テンプレート• 研究・教育用アプリケーションの実行環境構築・管理テンプレート
6National Institute of Informatics
構築・管理ソフトウェアVirtual Cloud Provider (VCP)
7National Institute of Informatics
構築・管理ソフトウェア VCP
仮想ルータによりクラウド接続時のネットワーク設定を支援Dockerコンテナによる高速なアプリケーション環境配備構築したアプリケーション環境のモニタリング機能提供
8National Institute of Informatics
オンデマンドクラウド
構築サービス
仮想ルータ
仮想クラウドコントローラ
基盤環境やアプリケーション実行環境の構築・管理
アプリケーション実行環境
利用組織毎に独立した環境を提供
サービス利用者
大学・研究所等の利用組織
SINET SINET
Jupyter Notebook /Python / REST で制御
東京DC
Hardware / VM
OS (kernel)
Container
app
bins/libs
Container
VCP Base Container
app
bins/libs
商用クラウド
VCPのサービスインタフェース
クラウドごとの制御APIの差異を吸収 各クラウドプロバイダに制御にはTerraformを使用 独自Providerプラグインの実装も可能
VCP REST APIYAMLベースでクラウド構成を記述し送信
VCP SDKPythonベースの開発キット+Jupyter Notebook環境で制御を容易に
9National Institute of Informatics
Jupyter Notebook
VCP SDK (Python)
VCP REST API
Terraform
..
各クラウドへ
構成ファイル
# 初期化
vc = VcpSDK(“vcp_accesskey”, “my_vc_name”)# 計算ノード性能指定
spec = vc.spec.find(“aws”, “small”) # spec = vc.spec.find(“azure”, “small”) # 計算ノード起動
nodes = vc.unit.create(“sample_server”, spec)
AWSに計算ノード起動するコード例
AWS AzureOpenStack
VCPの性能
10National Institute of Informatics
240.7407.1 339.7 327 299.1
496.7
1436
2230 22702472
0
500
1000
1500
2000
2500
3000
1 10 100 1000
Thro
ughput[M
bps]
Transfer data size [Mbytes]
IPSec over Internet SINET
0
2000
4000
6000
8000
10000
r4.large
w/o EN
r4.large
w/ EN
r4.large
w/ VCP, EN
Th
rou
gh
pu
t [M
bp
s]
Better
クラウド間通信性能 クラウド内通信性能
BetterSINET利用で高性能通信
本サービスで高性能環境が利用可能
最適化なし 最適化ありAWS r4.large (10G NIC)使用
VCP IGW
in TokyoSINET5
IPSec over
Internet
SINET5
AWS TokyoNII Cloud in Chiba
Base container
on r4.large
Base container
on BM
構築手順書&実行環境アプリケーションテンプレート
11National Institute of Informatics
アプリケーションテンプレート=Jupyter Notebook 形式の手順書
12National Institute of Informatics12
Outline of HPC Template
Parameter settings
Resource Allocation
Network configuration of
application containers
Installation of HPC libraries
User account settings
Installation of optional packages
Execution of benchmark programs
アプリケーションテンプレート
HPCテンプレートOpenHPCで提供されているライブラリ+バッチシステムの科学技術計算用クラスタ環境を構築
LMSテンプレートMoodleを用いた学習管理システムを構築
VDIテンプレートGuacamoleを用いた講義・演習用仮想デスクトップ環境構築
ゲノム解析テンプレートGalaxyワークフローツールによるゲノム解析環境の構築
コースウェアテンプレートJupyter Notebookを用いた講義演習環境の構築
13National Institute of Informatics
アプリケーションのコミュニティと協力
事例: ゲノム解析環境 Galaxy
オンプレミスでの環境構築資源不足時にクラウドに環境拡張(スケールアウト)
14National Institute of Informatics
2017/11 SC17展示発表
VCP system
VCP Manager
Galaxy Users
VC Controller
BM
BC
App
Unit: shared-storage
Unit: galaxy
BC
App:Galaxy
+Slurmctld
BM
Unit: galaxy-compute
BC
App:Slurmd
BM
node #1
BC
App:Slurmd
BM
node #2
misc (DNS, Logging, …)
SINET5
NFS server
NFS Client
Amazon:@ap-northeast-1
NII Cloud:@chiba
Unit: compute
BC
App:Slurmd
VM
Persistent DataØ Galaxy DBØ Tool ConfigØ WorkflowØ Reference Dataetc …
Scale-out
VCP User(VC Administrator)
GW
node #n
disk
Galaxy Template(Jupyter Notebook)
BC
App:Slurmd
VM
node #n+1
BC VCP Base Container
BM Bare-metal Machine
VM Virtual Machine
App Application Container
OpenStack AWS VPC
事例: ゲノム解析環境 Galaxy
動画
15National Institute of Informatics
ハンズオン
VCP基礎編+ゲノム解析構築2017年12月4日 Galaxy Meetup 2017-12
@遺伝研柏ラボ、参加者7名2018年1月18日 CREST研究グループミーティング@九州大学、参加者15名
VCP基礎編+Moodle構築本日!@NII20階実習室 基礎編:那須野淳様(株式会社アスケイド)
Moodle編:浜元信州先生(群馬大)
VCP管理者編+Guacamole構築9月(予定)
16National Institute of Informatics
まとめ
クラウド利用推進のため「オンデマンドクラウド構築サービス」をH30年度10月から提供開始構成:構築・管理ソフト、実行手順書&実行環境対象:大学・研究機関等(6機関試験運用中)方針:重点アプリケーションのコミュニティと協力し、更なる有用化を図る
試用されたい方はご一報下さい: [email protected]
関連サイト、文献: 学認クラウド: https://cloud.gakunin.jp/ NII OpenForum 2017:
http://www.nii.ac.jp/csi/openforum2017/track/day2_4.html NII Cloud Operation Team: https://github.com/NII-cloud-operation/ SINETを活用したインタークラウド環境構築システムの開発, 電子情報通信学会技術研究報告 CPSY2017-17, pp. 7-12, 2017年7月
Virtual Cloud Service System for Building Effective Inter-Cloud Applications, Proc. IEEE CloudCom 2017, pp. 296-303, 2017年12月
17National Institute of Informatics
National Institute of Informatics 18