awsでsingularityを使ってみよう!

9
AWSでSingularityを使ってみよう! 株式会社サーバーワークス 白鳥 貴久 2018年1月10日 第一回 Singularity 勉強会

Upload: takahisa-shiratori

Post on 21-Jan-2018

63 views

Category:

Engineering


2 download

TRANSCRIPT

Page 1: AWSでSingularityを使ってみよう!

AWSでSingularityを使ってみよう!

株式会社サーバーワークス

白鳥 貴久

2018年1月10日 第一回 Singularity 勉強会

Page 2: AWSでSingularityを使ってみよう!

免責事項

本スライド、およびブログ記事「HPC特化型コンテナ“Singularity”で

OpenFOAMを動かす」は、かなり手探りな中で書いた内容です。したがっ

筆者の勘違いが含まれている

検証環境の設計・設定がイケてない

などの可能性がありますので、疑いの目をもって見てください

Page 3: AWSでSingularityを使ってみよう!

Singularityとは

HPC用途で使いやすいように作られたコンテナサービス

公式ドキュメント

http://singularity.lbl.gov/

GitHub

https://github.com/singularityware/singularity

コンテナレジストリ “Singularity Hub”

https://singularity-hub.org/

Page 4: AWSでSingularityを使ってみよう!

なぜクラウドでコンテナを使うのか

複数のアプリケーション利用とスケーラビリティを両立させる

4

OS

App AAMI

OS

App A App B…

OS

A B … Z • 秘伝のタレ化• 無駄なリソース消費

OS

SingularityAMI

A B

OS

Singularity

A C

オンプレミス-クラウド間や、クラウドサービス間の移動を容易にする

Page 5: AWSでSingularityを使ってみよう!

OpenFOAMを動かしてみました

5

http://blog.serverworks.co.jp/tech/2017/12/27/singularity-openfoam/

Page 6: AWSでSingularityを使ってみよう!

ブログ記事でやったこと

SingularityをAmazon Linuxに

インストール

公開イメージを使ってみる

Singularity Hubで公開した

OpenFOAMのイメージを使う

自分でイメージをつくる

Recipe(Dockerでいうところ

のDockerfile)やShellを使って

イメージを自作する

6

Page 7: AWSでSingularityを使ってみよう!

ブログ記事でやっていないこと

MPIの使用

ジョブスケジューラやAuto Scalingとの連携

コンテナの軽量化・最適化

7

Page 8: AWSでSingularityを使ってみよう!

Dockerと比べたときのSingularityの特徴

イメージがファイルとして保存される

.simg, .img などの拡張子

実行ファイルとして直接実行もできる($ ./openfoam4.simg simpleFoam)

EC2とコンテナ間でデフォルトで共有されるディレクトリがある

/home/$USER, /tmp, $PWD の3つ

コンテナに対するネットワーク接続を考えなくてよい

逆に言うとWebサイトホスティングなどは(たぶん)できない

8

Page 9: AWSでSingularityを使ってみよう!

気になっていること

OSのユーザと権限の設定をどうするべきか

ブログでは以下のユーザを使用している

EC2: ec2-user

コンテナ: root

EC2とコンテナでユーザ名が一致していないと、ホームディレクトリの共有が使

いづらい

コンテナを軽量化したい

Singularity Hubからのコンテナのロードにそこそこ時間がかかる

イメージの削除は $ rm hoge.simg でOK?

9