introduction to plsi system - scent.gist.ac.kr · ibm p595 pgaia, pgaiab, pgaiac aix 5.3 640 5,900...

25
Partnership & Leadership for the nationwide SuperComputing Infrastructure Introduction to PLSI System

Upload: dohanh

Post on 20-Oct-2018

226 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Partnership & Leadership for the nationwide

SuperComputing Infrastructure

Introduction to PLSI System

Page 2: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PLSI Project and PLSI Resources

• PLSI 사업(PLSI Project) 국내 슈퍼컴퓨터 자원을 국가적 차원의 체계적인 연동과

관리를 통해 효율적으로 사용할 수 있도록 지원하는 사업 PLSI is a national project to support that Korean national

supercomputing resources can be used effectively through the systematic integration and management

• PLSI 자원(PLSI Resources)

PLSI 사업을 통하여 구축된 고성능 전용 네트워크 기반의 슈퍼컴퓨터 통합 인프라

PLSI resources is an integrated supercomputing infrastructure based on the dedicated high performance network built by PLSI project

Page 3: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PLSI Resources list

The software information of classified according to platform are see below for the reference. http://www.plsi.or.kr/sub02/03.php

기관 시스템 구조 Platform 명 OS #Cores GF/s

KISTI

IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900

IBM p575 porion01, porion02 AIX 5.3 32 243

Intel Xeon - Windows server 2008 144 1,440

KIST Intel Xeon master-mpi CentOS 5.3 152 1,824

서울대 IBM PowerPC node393, node394 SuSE ES9 112 986

부산대 SGI Altix1350 pdasiy RHEL AS 5.2 112 672

동명대 IBM Xeon - Windows server 2008 120 1,500

IBM p690 tusmp AIX 5.3 28 218

부경대 IBM Xeon hamela, hamelb Cent OS 5.3 256 1,434

GIST IBM Xeon kigi-lg01, kigi-lg02 Cent OS 5.3 256 1,434

UNIST Intel Xeon cheetah-mg01 Cent OS 5.4 520 5,262

IBM p690 unist_smp1, unist_smp2 AIX 5.3 128 870

건국대 IBM PowerPC ci SuSE ES9 91 2,194

시립대 2010.10 services on schedule

KOBIC AMD opteron kobic Cent OS 5.4 120 2,193

Page 4: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PLSI Resources Status

• The construction connected with PLSI Resources Connecting computing resource of domestic major super computing center with

dedicated network of minimum 1 Gbps.

Share of global file system & global scheduling is available.

부산대

서울

대전

Supercom_C3560

슈퍼컴 전용라인

동명대

부경대

GIST

Supercom_C3560

Supercom_C4006 Supercom_C4006

KISTI

광주 부산

KIST

Supercom_C3560

PLSI _C6509 Login Node KREONET

FireWall IDS

ACL

ACL

ACL

ACL

ACL

ACL

슈퍼컴 전용 트래픽

서울대

Supercom C3560

ACL 울산

UNIST

Supercom_C3560 ACL

KOBIC ACL

Supercom Ex4200

Supercom ACL ACL

건국대 서울시립대

Supercom_EX4200

Page 5: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PLSI Resources Status • Integrated software stack for PLSI Resources

In each connecting system, an integrated software stack as like below has been installed.

Job scheduler is possible except additional approval or date movement in anywhere connecting to the system

Smooth connecting work as like submission of report, monitoring, control using job commands is possible.

Partnership & Leadership for the nationwide

Supercomputing Infrastructure

연동 네트워크 [1GbE]

IBM POWER5 server IBM PowerPC Cluster X86-64 Cluster IA-64 Cluster

AIX 5.3 CentOS 4/5 RHEL AS 3.4 SUSE ES9

GPFS-MC LoadLeveler-MC

LDAP Nagios

SSH/X11

MPI [MPICH/MVAPICH/OpenMPI) 컴파일러 [GCC/PGI/Intel/IBM/MS]

사용자 접속

글로벌 공유파일시스템

라이브러리/디버거

시스템

운영체제

프로그래밍 환경

글로벌 스케줄러

통합 모니터링 통합 계정

이기종 시스템 환경

시스템 통합

사용자

통합 작업 실행 환경 제공 (시스템 접속/컴파일/작업실행)

Windows Server 2008

Remote Desktop PLSI Portal

응용 소프트웨어[Fluent, Gaussian, VASP, GAMESS …]

병렬 API 라이브러리 컴파일러/디버거

윈도우 클러스터 통합 구성 요소

통합 소프트웨어 스택

Page 6: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Partnership & Leadership for the nationwide

SuperComputing Infrastructure

Connect to the PLSI System

Page 7: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PuTTY – SSH Remote access client program

• Sites

Homepage : • http://www.putty.nl/

Download : • http://putty.nl/latest/x86/putty.exe

Manual : • http://www.putty.nl/0.60/htmldoc/

• Usage

Web browser : http://putty.nl/latest/x86/putty.exe

putty.exe download

putty.exe execution

Page 8: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PLSI System connect How to connect with SSH

• Connect to login nodes using SSH protocol.

• User : Remote access is permitted only described IP address on application form with 1022 port.

[Linux/unix user]

[Windows user]

• To use ssh utility such as putty or SSH Secure Shell Client.

• You can download the programs freely from internet.

Login address : login01.plsi.or.kr (150.183.146.110)

login02.plsi.or.kr (150.183.146.111)

$ssh -l plsiuser -p 1022 login01.plsi.or.kr

$ssh -l plsiuser -p 1022 login02.plsi.or.kr

Page 9: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

PLSI System connect How to connect with SSH

Host Name : Enter the address of the remote access

• login01.plsi.or.kr

Port : 1022

SSH Select

Saved Sessions : Save the settings

Open : Connect to the host

login01.plsi.or.kr

1022

PLSI

Page 10: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

SSH Secure File Transfer Client

login01.plsi.or.kr

PLSI User ID

1022

Page 11: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

Command Options Arguments + +

• (e.g)

– ls

– ls –a

– ls –a /home

Page 12: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• ls

– List the files and directories in a directory

Option Description

-a 모든 파일 보기

-l 자세히 보기

-c 생성 시간 순으로 정렬해서 보기

-d 디렉토리만 보기

-k 파일의 크기를 KB단위로 표시하기

-t 변경시간 순으로 정렬해서 보기

-R 하위 디렉토리의 파일까지 보여주기

-h 파일크기 단위로 보기

Page 13: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• cd – 디렉토리 이동 명령

• mkdir – 새로운 디렉토리를 만들 때 사용

• rmdir

– 디렉토리를 삭제할 때 사용

• touch – 파일이 존재할 경우 파일의 수정날짜 변경하며, 존재하지 않을 경우

0kb 의 파일 생성

• cp – 파일 복사명령

– 속성을 유지할 경우 -a 옵션 추가

Page 14: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• cd – 디렉토리 이동 명령

• mkdir – 새로운 디렉토리를 만들 때 사용

• rmdir

– 디렉토리를 삭제할 때 사용

• touch – 파일이 존재할 경우 파일의 수정날짜 변경하며, 존재하지 않을 경우

0kb 의 파일 생성

• cp – 파일 복사명령

– 속성을 유지할 경우 -a 옵션 추가

Page 15: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• rm

– 파일이나 디렉토리를 삭제할 때

• mv

– 파일과 디렉토리의 이름을 변경하거나 경로를 옮길 때 사용

– -b 옵션 사용시 : 같은 파일이 있을 경우는 backup 파일을 생성

• pwd

– 현재 디렉토리를 보여줌

옵 션 의 미

-i 삭제할 때 확인

-f 강제 삭제

-r 디렉토리를 삭제 할때 하위 디렉토리와 파일도 모두 삭제

-v rm 명령어 진행과정 출력

Page 16: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• diff

– 2개의 텍스트 파일 내용을 비교할 때 사용

– 바이너리 파일의 경우는 같은 지 다른 지 비교

• file – 파일의 타입을 알아 볼 때 사용

• echo – 텍스트를 화면 상에 출력

– Ex) echo “hello”

• history – 쉘 상에서 입력했던 명령어 목록을 보여줌

Page 17: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• cat – 텍스트로 작성된 파일 내용을 화면에 출력할 때

– 파일들을 취합할 때에도 사용한다

• head, tail – head : 처음 10줄 출력

– tail : 마지막 10줄 출력

• more – 텍스트 파일 내용을 페이지 단위로 한 화면씩 출력할 때

• less – 텍스트 파일 내용을 에디터 형식으로 보여줌

• wc – 줄 또는 단어 개수를 출력

– -l : 줄 개수, -w : 단어 개수

Page 18: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• tar option – c for create a tar file

– x extract the contents of tar file

– u for update

– r for relace

– v for verbose output

– f to specify a file name

– z to use gzip compression

– j to use bzip2 compression

• 묶기 & 풀기 예제 – tar cvzf archive.tar.gz * : 현재 위치의 모든 파일은 묶기

– tar xvzf archive.tar.gz : tar 파일을 풀기

Page 19: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• . (.) means the current directory

• .. (..) means the parent of the current directory

• ~ Home directories can also be referred to by the tilde (~)

character.

• 사용 예 cd ..

ls ~/test

Page 20: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• 절대 경로 (Absolute Path)

– /(root directory)를 기준

• 상대 경로 (Relative Path)

– .(current directory)를 기준

• (e.g) zeus→mars

> cd /home/mars

> cd ../mars

home

/ (root)

dooley zeus mars

Page 21: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• * : 모든 문자열 – 문자열의 길이가 0, 즉 문자열이 아니거나 길어도 됨

– rm * : 모든 파일 삭제

– rm a* : a로 시작하는 이름을 가진 모든 파일 삭제

– rm bet*as

• ? : 어떤문자(문자열X, 한글자) – ls *.txt : 현재 directory내의 txt로 끝나는 파일 나열

– ls *.t?t : 확장자가 t?t 인 세글자 파일들 나열

– ls *t?

2nd Tutorial by Jinwoo Jung / KISTI Supercomputing Bridge

Page 22: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• 리눅스에서 지원하는 가장 강력한 명령어 방식

– 명령어나 프로그램의 결과를 스크린에 보여주는 것처럼 파일로

방향전환을 하는 기능

– 파일을 입력 또는 출력으로 사용

– 명령의 결과를 다른 명령의 입력으로 사용할 수 있다.

– 프로그램의 결과를 파일로

• test.x > test.out

• cal > October.txt

– 파일의 내용을 명령의 입력으로 사용

• test.x < input.dat > output.dat

• mail mark < letter

Page 23: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• 명령어 간의 파이프 ‘|’

– 어떤 명령어의 결과가 다른 명령어의 입력이 되도록 해준다

• who | grep “mark”

• who명령어는 시스템에 접속한 사용자가 누구인지, 어떤 터미널이

사용되고 있으며 언제 로그인 했는지를 살펴보는 명령어

• grep은 주어진 패턴과 일치하는 line만을 골라내어 보여주는 명령어

(주요옵션 –i:ignore , -v:Not match)

• 위 명령어는 ‘who’로 나열되는 사용자중 mark가 있는지를 보여줌

Page 24: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• find 명령어

– 하드 디스크의 파일(파일명, 디렉터리명)을 찾는 명령어

• find [path…] [expression]

• Expression 부분을 이용하여 상세 검색이 가능하고, 유닉스마다 다른

문법을 가지고 있음 : 맨페이지 참고

• find ~/ -name ‘*.txt’

• 홈디렉터리 또는 그 하위 디렉터리에서 txt로 끝나는 파일들을 나열해

준다.

• find ~/ -name ‘*.txt’ –ls : ls 형식으로 출력

• find / -name ‘et*’ –type d

– 전체 하드 디스크에서 디렉터리 이름이 et로 시작하는 모든 디렉터리 찾기

(옵션 순서에 주의)

Page 25: Introduction to PLSI System - scent.gist.ac.kr · IBM p595 pgaia, pgaiab, pgaiac AIX 5.3 640 5,900 IBM p575 porion01, porion02 AIX 5.3 32 243 Intel Xeon - Windows server 2008 144

Linux/Unix Basic

• 링크 생성

– ln [option] …. TARGET [LINK_NAME]

– 홈디렉터리에 있는 실행파일 또는 inputfile들을 link

– 스크레치 디렉터리에서 작업가능

– ln –s /phome01/plsiuser/file1 /pwork01/plsiuser/file1