2012/5/10 スパコン利用者説明会 基本的な使用方法“(aspera...
TRANSCRIPT
スパコン利用者説明会 -基本的な使用方法-
2012/5/10
スパコン使用方法(イメージ)
1
①ゲートウェイノード(gw.ddbj.nig.ac.jp)にログインする ②qloginを実行しインタラクティブノードにログインする ③qloginしたホストからジョブをUGEに投入する ④UGEは負荷の低いノードでジョブを実行する ⑤ジョブ実行結果をlustreのホームディレクトリに出力する ⑥ジョブ実行結果を確認する
Job Job Job
Result Result Result Result Result
①
③
④
gateway
②
⑥ ⑤
1台(active-stanby) 外部との通信専用
業務用8台、研究用8台 インタラクティブ専用
業務用81台、研究用208台 バッチ専用
ログインするにはユーザ名とパスワードが必要である。
ログインにはssh接続が可能なターミナルエミュレータを使用する。
ターミナルエミュレータはputtyやTeraTermなど様々なフリーソフトが存在する。(Macは標準添付)
Windowsの例としてTeraTermを紹介する。
2
スパコンへのログイン①
Windowsからログインする Tera Termを使用する
→ P4
Macからログインする
ターミナルを使用する
→ P8
3
スパコンへのログイン②
Tera Termを使用する ①Tera Termを実行し、ホスト欄にgw.ddbj.nig.ac.jpを入力する。
サービスはSSHを選択する。選択後OKボタンを押下する。
4
スパコンへのログイン③
Tera Termを使用する ②ユーザ名とパスワードを入力し、OKボタンを押下する。
5
スパコンへのログイン③
セキュリティのため チェックを入れない
Tera Termを使用する ③ログイン完了
6
スパコンへのログイン③
Tera Termを使用する ④画面転送を可能にするため、設定→SSH転送を選択し、
「リモートの(X)アプリケーションをローカルのXサーバに表示する」にチェックを入れる。
7
スパコンへのログイン③
スパコンへのログイン④ ターミナルを使用する ①ターミナルを開きssh (ユーザ名)@gw.ddbj.nig.ac.jpと入力し、
Enterボタンを押下する。
8
スパコンへのログイン④ ターミナルを使用する ②パスワードを入力し、Enterボタンを押下する。
9
スパコンへのログイン④ ターミナルを使用する ③ログイン完了
10
画面転送について
スパコン上の画面を閲覧するにはトンネリングする必要がある。
WindowsではXmingというフリーソフトを使用することで可能である
Macではログインの際にssh –Xとオプション指定することで可能である（別途インストールが必要になる場合もある）
11
ログイン時の注意
パスワードを4回間違えるとアカウントがロックされログインできなくなります。
ロックされた場合は最終ページに記載のスパコンSE問い合わせ先にご連絡下さい。
12
ユーザのホームディレクトリ ログイン完了後は、ユーザのホームディレクトリがカレントディ
レクトリとなる。
ホームディレクトリはlustreに作成され、全ホストで共有されて
いるため、基本的にはどのホストからでもアクセス可能である。
自分が使用しているlustreを確認するにはlsコマンドにオプション-lを使用する。
13
<確認例>
[lect01@gw ~]$ pwd
/home/lect01
<確認例>
[lect01@gw ~]$ ls –l /home/lect01
lrwxrwxrwx 1 root root 22 2月 16 16:10 2012
/home/lect01 -> /lustre1/home/lect01
使用しているlustreが表示される lect01はlustre1を使用している
パスワード変更方法
初回ログイン後はすぐにパスワードを変更する。変更するにはpasswdコマンドを使用する。
強度の弱いパスワードは使用できません。
設定できるパスワードの主な条件として、全体で8文字以上かつ小文字１
文字以上、大文字１文字以上、数字２文字以上を含む必要がある
<良い例> 7Udk9dfG JdslP3dL
<悪い例> 20120221 (数字のみ) taro0221 (大文字が無い、想像しやすい)
14
使用コマンド： passwd
＜実行例＞ [lect01@gw ~]$ passwd
Changing password for user lect01.
Current Password: ←現在のパスワードを入力
New password: ←新しく設定したいパスワードを入力
スパコンへのデータ転送①
データ転送にはSCPやSFTPを利用する方法とAsperaを利用する方法がある。(FTPは利用できない)
①SCP、SFTPの特徴
・セキュアなデータ転送が可能である。
・WindowsではWinSCP等のフリーソフトを利用する。
・Macでは標準搭載機能である。
②Asperaの特徴
・データ転送がSFTPと比べて高速である。
・Aspera Connect(無償)をインストールして使用する。
15
スパコンへのデータ転送②
Windowsからのデータ転送
①SFTPを利用する
WinSCPを使用する
→ P18
②Asperaを利用する
AsperaConnectを使用する
Web UIを使用する→ P20
コマンドプロンプトを使用する→ P23
16
スパコンへのデータ転送③
Macからのデータ転送
①SCPを利用する
ターミナルから転送する
→ P26
②Asperaを利用する
AsperaConnectを使用する
Web UIを使用する→ P20
ターミナルを使用する→ P24
17
スパコンへのデータ転送④
18
WinSCPを使用する ①WinSCPを実行し、セッションを選択する。ホスト名欄に
gw.ddbj.nig.ac.jpを入力する。ユーザ名およびパスワードを記
入する。プロトコルはSFTPを選択し、ログインボタンを押下
する。
スパコンへのデータ転送④
19
WinSCPを使用する ② 左に自分のシステム、右にスパコンのホームディレクトリが
表示される。転送したいデータをドラッグ＆ドロップすること
で転送される。
スパコンへのデータ転送⑤
20
Aspera Connectを使用する(Web UI) ① ブラウザを開き、https://ascp.ddbj.nig.ac.jp/aspera/user
にアクセスする。ユーザ名とパスワードを入力し、OKボタンを押下する。
スパコンへのデータ転送⑤
21
Aspera Connectを使用する(Web UI) ②ログイン後、スパコンのホームディレクトリが表示される。
初回接続時はInstall Nowボタンを押下しAspera Connectを
インストールする。
スパコンへのデータ転送⑤
22
Aspera Connectを使用する(Web UI) ③ Aspera Connectインストール後、 Upload Fileボタンを押
下し、転送したいファイルを選択するとスパコンへデータが転送される。
スパコンへのデータ転送⑥
23
Aspera Connectを使用する(コマンドプロンプト) ①Web UIと同様の手順でAspera Connectをインストールする。
コマンドプロンプトを開き、
“(Aspera Connectのインストールパス)¥bin¥ascp.exe”-P 33001
(転送するデータのパス) (ユーザ名)@ascp.ddbj.nig.ac.jp:(ホームディレク
トリ以下の転送先のパス)
と入力する。パスワードを入力すると転送が開始される。
<実行例> (コマンドプロンプト) ※Windows7の場合 C:¥Users¥lect01>“C:¥Users¥lect01¥AppData¥Roaming¥Aspera¥Aspera
Connect¥bin¥ascp.exe” -P 33001 C:¥Users¥lect01¥Desktop¥test.txt
[email protected]:test.txt /home/lect01/test.txtにデータ転送
[email protected]'s password:
test.txt 100% 0 00:00
スパコンへのデータ転送⑦
24
Aspera Connectを使用する(ターミナル) ①Web UIと同様の手順でAspera Connectをインストールする。
ターミナルを開き、
“(Aspera Connectのインストールパス)/Resources/ascp”
-P 33001 (転送するデータパス) (ユーザ名)@ascp.ddbj.nig.ac.jp:
ホームディレクトリ以下の転送先のパス)
と入力する。パスワードを入力すると転送が開始される。
<実行例> (ターミナル) lect% ./Library/Application¥ Support/Aspera¥ Connect.app/Contents/Resour
ces/ascp -P 33001 ./test.txt ¥
[email protected]:test.txt /home/lect01/test.txtにデータ転送
[email protected]'s password:
test.txt 100% 0 00:00
スパコンへのデータ転送
25
Aspera Connectのオプション
以下にAspera転送のオプションを示す。WebUI使用時はAspera Connect
のPreferencesから設定可能である。
-T データの暗号化を行わない。転送速度は向上するが、セキュリティは低下する。
-l <転送速度上限> データ転送速度の上限を設定する。デフォルトは10M(b/s)となっている。 回線速度を上回る転送速度を設定した場合、パケットロスが大量に発生し、転送効率が大幅に低下するため適切な転送速度を設定する必要がある。上限は1G(b/s)。
<例> ascp -l 100M -P 33001 [ユーザ名]@ascp.ddbj.nig.ac.jp:[転送先パス] [転送するデータ]
スパコンへのデータ転送⑧
26
ターミナルを使用する ①ターミナルを実行し、
scp (転送するデータのパス) (ユーザ名)@gw.ddbj.nig.ac.jp: (データを置くパス) と入力する。パスワードを入力するとデータが指定したパスに転送される。
クオータ状況確認方法
ユーザの使用できるディスク容量は制限されている（クオータ）。
自分のクオータ情報はquotaコマンドで確認できる。
一般研究用ユーザは１TBまで使用可能。大規模利用申請により１TB以上の使用が可能となる。
業務用ユーザは制限無く利用可能である。
27
使用コマンド： lfs quota –u （ユーザ名） /(使用しているlustre)
＜実行例＞ [lect01@gw ~]$ lfs quota -u lect01 /lustre1
Disk quotas for user lect01 (uid 654):
Filesystem kbytes quota limit grace files quota limit grace
/lustre1 58832 0 1000000000 - 20386 0 0 -
現在の使用量(kbytes) 使用できる最大量(kbytes)
バックアップ
/home/(ユーザ名)/backup/以下のみが差分バックアップされる。
現在は毎日バックアップされるが、今後ユーザ数が増えた際にはバックアップ頻度が変更となる可能性がある。
バックアップは利便性向上のためのサービスであり、データ保護を保障するものではありません。データを失っても責任は負いかねます。
重要なデータは自分のパソコン等、スパコン外への定期的なバックアップをお願いします。
28
リストア手順 バックアップからリストアする方法を示す。 ①スパコンにログインする。
②qloginと入力してEnterを押下する。
③rdiff-backup –l /backup/(ユーザ名)/と入力してEnterを押下する。
バックアップの取得状況を確認する。
④リストアを実施する場合は、rdiff-backup -restore-as-of (バックアップの日付) /backup/(ユーザ名)/ ./restore/と入力してEnterを押下する。
29
<実行例>
[lect01@gw ~]$ qlogin
-bash-4.1$ rdiff-backup -l /backup/lect01/
Found 0 increments:
Current mirror: Mon Mar 12 08:15:05 2012 W3C日付形式に変換
-bash-4.1$ rdiff-backup --restore-as-of 2012-03-12T08:15:05
/backup/lect01/ ./restore/
-bash-4.1$
ユーザへのお願い事項
パスワードの管理を厳重にお願いします。
自分のアカウントを他人に貸し出さないで下さい。
パスワード漏えいの疑いがある場合は、早急に最終ページ記載のスパコンSE問い合わせ先までご連絡下さい。
30
問い合わせ先
不明点またはご意見等があれば下記にお問い合わせ下さい。
遺伝研スパコンSEチーム
Mail：[email protected]
居室：w202
内線：9461
http://www.ddbj.nig.ac.jp/system/supercom/supercom-intro.html
31
32
変更履歴
変更日付 変更内容
2012/03/21 新規作成
2012/05/10 Aspera転送のオプション追加、フリーソフトのインストール削除