aws 유안타증권 hpc 적용사례 :: 유안타 증권 추정호 박사 :: aws finance seminar
TRANSCRIPT
![Page 1: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/1.jpg)
AWS 유안타증권 HPC 적용 사례
Jeongho Chu
유안타 증권
Time : 10:30 - 11:20
![Page 2: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/2.jpg)
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
![Page 3: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/3.jpg)
추정호 (OTC운용팀)
Marquis who’s who (2009)
KAIST 수학 (학사)
KAIST 기계공학 (석사)
KAIST 기계공학 (박사)
금융
IT
Quant
수학
Profile
Introduction
What’s a Quant?
![Page 4: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/4.jpg)
Introduction to ELS (Equity Linked Securities)
Dominant Type
• Stepdown
• Auto-callable
• Mixture of many types of options
• Multiple underlying assets
Dominant Underlying Assets
• Equity Indexes
• KOSPI 200, HSCEI, S&P 500, etc…
53
![Page 5: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/5.jpg)
Pricing Method
Mathematical Model
Geometric Brownian Motion
𝑑𝑆
𝑆= 𝑟𝑑𝑡 + 𝜎𝑑𝑊
Black-Scholes equation
𝜕𝑉
𝜕𝑡+ 𝑟𝑆
𝜕𝑉
𝜕𝑆+1
2𝑆2𝜎2
𝜕2𝑉
𝜕𝑆2= 𝑟𝑉
Monte Carlo Method
Finite Difference Method
![Page 6: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/6.jpg)
현재 사내 Computing 환경
• Intel Xeon E5-2600 v3 – 사내에 8대 보유(총 128 Core)
• Accelerator : Intel Xeon Phi × 2
• Grid manager : OpenMPI
• In-House Pricing Engine
• Intel Compiler for optimization
![Page 7: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/7.jpg)
Pricing step down
• # of Product : 500
• # of Scenario : 50
• # of total cases : 25,000
• Computing time for each case : 1 min
• On 128 cores, it requires 3.3 hours
Price surface for 2 index ELS
“128 Core에서는 결과를 얻기 까지 약 3시간이 소요됨”
![Page 8: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/8.jpg)
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
![Page 9: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/9.jpg)
Challenges & Requirements
한정적인 컴퓨팅 자원
높은 투자 비용
필요 컴퓨팅 자원 예측 불가
결과 도출 시간 절감 필요
비용 절감 필요
확장성과 무제한 컴퓨팅 니즈
1
2
3
![Page 10: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/10.jpg)
한정적 컴퓨팅 자원
?
• 하루에 장이 종료되고 특정 시간대에만몰리는 Job의 특성
• 8대(128 Core)의 한정적인 Cluster는 Job이몰리게 되면 대기열이 생기고 응답시간이느려지게 됨
1
![Page 11: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/11.jpg)
높은 투자 비용
• Unit Price : 1,000 ~ 1,500만원
• 1,000 Core 구축 시 최대 3억~5억 필요
• 추가적인 유지보수 비용 소요
• 도입 시 견적, 예측, 설치 등 수개월 소요
“높은 초기 투자비용으로 인해 많은 Core를 구매하기 어려움”
2
![Page 12: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/12.jpg)
Market doesn’t wait for youKOSPI
HSCEI
2,200
1,800
15,000
8,000
-18%
-46%
Needs more
computing power
“Market의 변동성이 클수록 순간적이고 일시적인 컴퓨팅 파워를 요구함”
3
![Page 13: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/13.jpg)
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
![Page 14: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/14.jpg)
Challenges & Requirements
한정적인 컴퓨팅 자원
높은 투자 비용
필요 컴퓨팅 자원 예측 불가
결과 도출 시간 절감 필요
비용 절감 필요
확장성과 무제한 컴퓨팅 니즈
![Page 15: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/15.jpg)
From one instance…
Job A = 1 core x 500 hours
![Page 16: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/16.jpg)
…to thousands
Job A = 500 core x 1 hour
Job A = 1 core x 500 hours
![Page 17: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/17.jpg)
Challenges & Requirements
한정적인 컴퓨팅 자원
높은 투자 비용
필요 컴퓨팅 자원 예측 불가
결과 도출 시간 절감 필요
비용 절감 필요
확장성과 무제한 컴퓨팅 니즈
![Page 18: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/18.jpg)
고객이 이미 사용하고 있는 부분
100%
Time
Spot
0%
AWS Spot Market
데이터센터Utilization
![Page 19: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/19.jpg)
스팟 인스턴스 가격 History
일반 가격의 10~20% 수준
일반 On-demand가격
![Page 20: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/20.jpg)
Agenda
1. Introduction
2. Challenges
3. HPC with AWS
4. Outcome
5. Next Steps
![Page 21: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/21.jpg)
Architecture on AWS
RabbitMQ
NFS
Master
OpenMP
Worker
OpenMP
Worker
OpenMP
WorkerOn demand
Spot
Spot
Spot
10G Network
• Queue 시스템 도입 : 확장성 향상• 고립된 네트워크 : 보안성 향상, 10G 네트워킹 사용으로 퍼포먼스 증대• Master - On Demand Instance, Worker – C4.8XL Spot Instance × 14 • 36 Cores x 14 = Total 504 Cores – 수요에 따라 수분 만에 추가 확장 가능
![Page 22: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/22.jpg)
결론
Cost
• On Premise : 400~600원/hour (3년 감가상각 가정, 32 core 서버 1대, 임대료, 전기 등제외)
• On Demand : 1.91 $/hour (c4.8xlarge : 36core, 추가 비용 없음)
• Spot Instance : 0.2 ~ $/hour
Usage
• 1 × On Demand + 14 × Spot = 540 cores, around 6$/hour (spot : 0.3$ 가정)
• On Premise 이었다면 : 6.8K ~ 10.2K 원/hour (서버 17대)
Time
• 기존 128 Core에서 평균 2 시간이 걸리던 Job이 AWS에서 4배 빨라져 30분으로 단축
• AWS 상에서는 필요한 시간 대에만 구동시켜 사용하기 때문에 더 비용 효율적임
기존 On Premise 대비 약 1/10로 절감 가능
![Page 23: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/23.jpg)
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
![Page 24: AWS 유안타증권 HPC 적용사례 :: 유안타 증권 추정호 박사 :: AWS Finance Seminar](https://reader034.vdocuments.site/reader034/viewer/2022042502/5878c4211a28ab26728b5a43/html5/thumbnails/24.jpg)
Future Plan
We consider another 50 scenarios
of market movement.