a 시스템 성능 테스트 작업 결과 보고서

www.promanager.co.kr

A 시스템 성능 테스트 작업 결과 보고서

Powered byLoadRunner™

http://www.promanager.co.kr

“Bringing Success to e-Business”

목차

1. 성능 시험의 개요

2.성능 평가 기준

3. 성능 시험 진행 순서

4.테스트 사이트 구성 현황

5.Workload 모델링 – Weblog 분석

6.Workload 모델링 – Current Workload 산정

8.Workload 모델링 – Target Workload 산정

9.Performance 모델링 – 테스트 대상 단위 어플리케이션 선정

10.Performance 모델링 – 테스트 대상 혼합 BP 선정

11.Performance 모델링 – Resource Monitoring 항목 선정

12.Performance Test Results – 단위 어플리케이션 테스트 결과

13.Performance Test Results – 단위 어플리케이션 권고안

14.Performance Test Results – 혼합 BP 테스트 결과및 권고안



성능 시험의 개요

시험목적

시험범위

A 사이트 (EMP 와 Portal)의 오픈 전 시스템 성능 측정 시스템에서의 병목 구간 점검 시스템에서 최대 수용 가능 동시단말사용자수 산정

내부 성능 시험은 예상되는 최대 수용 가능 동시단말사용자에 대한 서버의 처리 능력 검증 목적 외부 성능 시험은 예상되는 최대 부하에 대한 네트워크 인프라의 처리 능력 검증 목적

Web Server App. Server DatabaseInternet Firewall



성능 평가 기준

Scalability

다수의 사용자가 접속했을 때 , Performance 와 functionality 를 모두 만족할 것인지 ?

계속 증가하는 사용자를 언제까지 대응할 수 있을까 ?

시스템 증설 시 가장 효과적인 투자 부분은 ?

Infrastructure

현재 Infrastructure 는 최적화 되어있는지 ?

현재 Infrastructure 내에 병목 구간은 없는지 ?

ISP 와 같은 외부 서비스가 약속한 성능을 지키고 있는지 ?

Performance

Application 혹은 Infrastructure 의 변경이 성능에 어떠한 영향을 줄 것인지 ?

사용자 증가 시 나타날 장애 유형과 대처 방안은 ?

실제 운영 환경에서 사이트의 성능은 어떨 것인지 ?

가상 사용자를 이용한 부하시험

사용자 증가 시 나타나는 1,2,3 차 병목 추적

실제 운영환경의 성능 검증 / 개선

Infrastructure 병목의 개선을 통한 최적화



성능 시험 진행 순서

실제 사용자와 유사한 패턴의 부하 생성

A1) WebLog 분석

A2) Performance Model 선정 A1) 시나리오 구현 및 Scripting

A2) 시스템 사용 현황 분석

P1.Workload Modeling P2.Performance Modeling P3.Scripting & Execution

A3) Current Workload 산정 A3) 테스트 대상 BP 최종 선정 A2) Execution

A3) 장애 분석 / 수정 , 실행결과 분석

부하의 당위성 결과의 신뢰성

검증

변경사항 발생

A1) 성능 테스트 환경 구축

A4) Target Workload 산정



테스트 사이트 구성 현황

IDS ServerIDS Server(Web Mail Storage)(Web Mail Storage)

Ultra SCSI FWD SCSI-/SE

Internet

Disk StorageDisk Storage

DB ServerDB ServerIntegration Server(XML)Integration Server(XML)Fast Ethernet Network Card

Ultra SCSI FWD SCSI/SE

Fast Ethernet Network Card


REP xxx.xxx.xxx.100MURCURY1 xxx.xxx.xxx.101MURCURY2 xxx.xxx.xxx.102


UltraSCSI FWD SCSI-2/SE

App. Server) * 2App. Server) * 2

100 Base

Ultra SCSI FWD SCSI-/SE

DirectoryDirectory



Web Server(Rep. Srv.) * 2Web Server(Rep. Srv.) * 2

Ultra SCSI FWD SCSI 2/SE

FireWallFireWallFast Ethernet Network Card

100 Base

DMZ ZONEDummy Hub(1Dummy Hub(100M)00M)

L4Switch L4Switch S/W HUBS/W HUBINTERNET ROUTERINTERNET ROUTER 외부 외부 FireWallFireWall S/W HUB(100S/W HUB(100M)M)



Workload Modeling



Workload Modeling – Weblog 분석

10 월 23 일자 웹서버 로그 (Murcury1,Murcury2) 현황 분석

Workload Basic Component 선정 클라이언트에 의한 동적 컨텐츠 트랜잭션

Workload Parameter 선정 시간당 동적 컨텐츠 호출 건수 (TPH) 분당 동적 컨텐츠 호출 건수 (TPM) Peak 치 초당 동적 컨텐츠 호출 건수 (TPS) Peak 치 동시 단말사용자수 사용자당 평균 호출 간격

시간당 동적 컨텐츠 호출 건수

분당 동적 컨텐츠 호출 건수

분당 동시단말사용자수

동적 컨텐츠 호출 건수 대비 상위 24 개의 트랜잭션



Workload Modeling – Current Workload 산정

일일 총 호출 건수 (동적 컨텐츠 ) 45,575건

시간당 최대 호출 건수 (TPH) 3,460tph

Peak시 분당 평균 호출 건수 (TPM) 57tpm (0.95tps)

Peak 시 분당 최대 호출 건수 (TPM max)

87tpm (1.45tps)

일일 총 방문자 수 2,373명

Peak 시 (11:xx) 평 균 동 시 단 말 사용자수

32명

Peak 시 (11:xx) 최 대 동 시 단 말 사용자수

36명

사용자당 평균 호출 간격 32( 명 )/0.95(tps)=33.7(sec)

사용자당 평균 방문 시간 T/( 총방문자수 /평균동시단말사용자수 )3600/(196/32)=10 분

사용자당 평균 총 호출 건수 총호출건수 /총방문자수45,575/2,373=19 건

10 월 23 일자 Current Workload

Peak 치 (11:xx) 시간당 동적 컨텐츠 호출 건수 – 3,460(TPH) Peak 치 (11:xx) 분당 평균 동적 컨텐츠 호출 건수 - 57(TPM) Peak 치 (11:xx) 초당 평균 동적 컨텐츠 호출 건수 – 0.95(TPS) Peak 치 (11:xx) 동시 단말사용자수 – 32 명 사용자당 평균 호출 간격 – 33.7( 초 )

사이트 Workload 분석 지표사이트 Workload 분석 지표

사용자당 평균 호출 간격은 평균 응답시간과 평균 Think Time 의 합입니다 .



Workload Modeling – Target Workload 산정

Target Workload 산정

Peak 치 동시단말 사용자수 – 200 명

Little’s Law ( 동시단말 사용자수 = TPS * 사용자호출간격 ) 적용

TPS = 200( 명 ) / 33.7( 초 ) = 5.93 (TPS)

부하 목표인 200 명에 해당되는 TPS 수치

동시 단말 사용자수는 Active User 와 In-Active User 를 포함한 일반적인 의미의 동시 접속자 수 입니다 .

5.93 TPS

200



Performance Modeling



Performance Modeling – 테스트 대상 단위 어플리케이션 선정

테스트 명 Hit Count Arrival Rate R(Ratio) Think time

1. (listItemInfo)공매공고 297 0.083 0.14 0초2. (listitem)매각물건 288 0.080 0.13 0초3. (viewitm_real)매각물건 180 0.050 0.08 0초4. (index)홈페이지 116 0.032 0.05 0초5. (searchItemByDetailInfo)파워검색 109 0.030 0.05 0초6. (listImpendingBidItem)입찰임박물건 161 0.045 0.07 0초7. (searchZipAddress_01)주소검색 55 0.015 0.03 0초8. viewItem_bond물건정보 53 0.015 0.02 0초9. (listKamcoAucNotice)공매공고 48 0.013 0.02 0초10. newAucNotice새로운공고 45 0.013 0.02 0초11.FAQ ViewFAQ보기 44 0.012 0.02 0초12.LISTFAQListFAQ 43 0.012 0.02 0초13. -viewAucNotice새로운공고 43 0.012 0.02 0초14.ID checkDuplicateUserId중복확인 33 0.009 0.02 0초15. listItemInfoBySched공매일정 60 0.017 0.01 0초16. listAucNotice통합공고 26 0.007 0.01 0초17. welcomeRegisterForm회원가입 24 0.007 0.01 0초18. createUserForm회원가입동의 22 0.006 0.01 0초19. listDocForm부가정보 21 0.006 0.01 0초20. searchItem파워검색 21 0.006 0.01 0초21. listNewItem새로운물건 19 0.005 0.01 0초22. loginForm로그인폼 19 0.005 0.01 0초23. contractPersonalUser이용약관 17 0.005 0.01 0초24. login로그인 16 0.004 0.01 0초

호출 건수를 기준으로 상위 80% 를 차지하는 단위 어플리케이션

단위 어플리케이션의 최대 성능을 구하기 위해서 Think Time 을 0 초로 설정하였습니다 .



Performance Modeling – 혼합 Business Process 선정

사용자의 Business Process 에 따른 업무 선정

Index Business Process Description Rate Think Time1 통합공고 A 사용자가 사이트에서 통합공고를 조회한다 6% 30초2 공매공고 A 사용자가 사이트에서 공매공고를 조회한다 20% 30초3 공매일정 A 사용자가 사이트에서 공매일정를 조회한다 7% 30초4 매각물건 A 사용자가 사이트에서 매각물건을 조회한다 18% 30초5 입찰임박물건 A 사용자가 사이트에서 입찰임박을 조회한다 11% 30초6 Top20클릭 A Top20 사용자가 사이트에서 클릭 을 조회한다 5% 30초7 공고등록 ASP A 회원이 사이트에 로그인하여 공매공고를 등록 2% 30초

8 응찰 ,응찰자가 공매에 참여하기 위하여 공매 물건 정보를 검색하여 공매 물건을 찾고

.그 공매에 응찰한다 0.50% 30초9 판매자공매생성 ASP , .판매자가 공매 대상 물건을 검색한 후 이 물건에 대하여 공매를 생성한다 0.50% 30초

10 현장입찰서등록 ASP 판매자가 응찰 완료된 공매건에 대하여 현장입찰서를 등록한다 0.50% 30초11 판매자공매수정 ASP , 판매자가 수정하고자 하는 공매 정보를 검색한 후 이 공매 정보를 수정한다 0.50% 30초12 홈페이지 A .사용자가 사이트에 접속한다 9% 30초13 로그인 A 사용자가 사이트에 로그인한다 6% 30초14 파워검색 A 사용자가 사이트에서 통합공고를 조회한다 7% 30초15 가입 A 사용자가 사이트에 회원가입을 한다 2% 30초16 FAQ A FAQ 사용자가 사이트에서 을 확인한다 3% 30초17 맞춤정보검색 사용자가 원하는 형태의 맞춤정보검색을 실행한다 2% 30초

BP 마다 설정된 think Time 30 초는 사용자당 평균호출간격 33.7 초를 환산하여 적용하였고 실제 테스트시에는 L/R 의 “ use random percentage of recorded think time” 옵션을 사용하여 (50%~150%) 의 범위를 가집니다 .



Performance Modeling – Resource Monitoring 항목 선정

Resource Monitoring 항목 항목 WAN(ISP) 웹 서버 웹 어플리케이션 서버 데이터베이스 서버

시스템 CPU,Memory,Paging CPU,Memory,Paging CPU,Memory,Paging Delay Time구간별 Network Delay Time

Network Sub-Path TimeTransactions Per SecondsThroughputTransaction Response TimeHTTP Port(80) Established CountSSL Port(443) Established CountOracle Port(1521) CountLDAP Port(389) Count

응용 프로그램 Oracle PerformanceCounter

네트워크

웹사이트 성능



Performance Test Results 단위 어플리케이션 테스트



Performance Test Results - 단위 어플리케이션 테스트 결과

단위 어플리케이션 성능 모델 도표

테스트 명 Hit Count Arrival Rate R(Ratio) T(TPS)예상

Rmax(Req/ sec)

ArrivalRate/ T R/ T 비고

1. (listItemInfo)공매공고 297 0.083 0.14 16.25 0.14Rmax 0.005 0.0086

2. (listitem)매각물건 288 0.080 0.13 1.5 0.13Rmax 0.053 0.0867 J AVA EXCEPTION ERROR

3. (viewitm_real)매각물건 180 0.050 0.08 18.5 0.08Rmax 0.003 0.0043

4. (index)홈페이지 116 0.032 0.05 2.75 0.05Rmax 0.012 0.0182 CPU 100% FULL

5. (searchItemByDetailInfo)파워검색 109 0.030 0.05 8 0.05Rmax 0.004 0.0063 8 DB 95% FULL명일때 서버6. (listImpendingBidItem)입찰임박물건 161 0.045 0.07 28 0.07Rmax 0.002 0.0025 CPU 70%웹 서버 사용율7. (searchZipAddress_01)주소검색 55 0.015 0.03 60 0.03Rmax 0.000 0.0005 CPU 100%웹 서버 사용율8. viewItem_bond물건정보 53 0.015 0.02 19.5 0.02Rmax 0.001 0.0010 CPU 90%웹 서버 사용율9. (listKamcoAucNotice)공매공고 48 0.013 0.02 2.5 0.02Rmax 0.005 0.0080 8 DB CPU 100%명일때 서버 사용율10. newAucNotice새로운공고 45 0.013 0.02 4 0.02Rmax 0.003 0.0050 6 DB CPU 100%명일때 서버 사용율11.FAQ ViewFAQ보기 44 0.012 0.02 24 0.02Rmax 0.001 0.0008 WEB CPU 80%서버 사용율12.LISTFAQListFAQ 43 0.012 0.02 19.5 0.02Rmax 0.001 0.0010 DB , WEB CPU 90%서버 서버 사용율13. -viewAucNotice새로운공고 43 0.012 0.02 24 0.02Rmax 0.000 0.0008 - FULL웹 서버 다운 세션14.ID checkDuplicateUserId중복확인 33 0.009 0.02 67 0.02Rmax 0.000 0.0003 CPU - 94%웹 서버 사용율15. listItemInfoBySched공매일정 60 0.017 0.01 22.5 0.01Rmax 0.001 0.0004 CPU - 90%웹 서버 사용율16. listAucNotice통합공고 26 0.007 0.01 9 0.01Rmax 0.001 0.0011 DB CPU 100%서버 사용율17. welcomeRegisterForm회원가입 24 0.007 0.01 22.5 0.01Rmax 0.000 0.0004 CPU 90%웹 서버 사용율18. createUserForm회원가입동의 22 0.006 0.01 23.5 0.01Rmax 0.000 0.0004 CPU 80%웹 서버 사용율19. listDocForm부가정보 21 0.006 0.01 32 0.01Rmax 0.000 0.0003 CPU 90%웹 서버 사용율20. searchItem파워검색 21 0.006 0.01 19 0.01Rmax 0.000 0.0005 CPU 90%웹 서버 사용율21. listNewItem새로운물건 19 0.005 0.01 4 0.01Rmax 0.001 0.0025 DB CPU 100%서버 사용율22. loginForm로그인폼 19 0.005 0.01 25.5 0.01Rmax 0.000 0.0004 CPU 90%웹 서버 사용율23. contractPersonalUser이용약관 17 0.005 0.01 24 0.01Rmax 0.000 0.0004 CPU - 70%웹 서버 사용율24. login로그인 16 0.004 0.01 3.5 0.01Rmax 0.001 0.0029 DB CPU 100%서버 사용율

Sum 0.489 0.79 0.79Rmax 0.095 0.1535



Performance Test Results - 단위 어플리케이션 테스트 결과

( 예상 Ratio/ 최대 Throughput 의 합 )< Ratio

적용

0.1535Rmax < 1

Rmax < 6.515(req/sec)

해당 사이트의 최대 TPS(Rmax) 산정

해당 사이트의 최대 동시단말사용자 산정

동시단말사용자 = TPS * 사용자호출간격

적용

6.515(req/sec) * 33.7(sec) = 219 명

최대 동시단말 사용자 수 : 219 명

최대 TPS :

6.515(TPS)

Target Workload

OK !



Performance Test Results - 단위 어플리케이션 권고안

테스트 명 Hit Count Arrival Rate R(Ratio) T(TPS)예상

Rmax(Req/ sec)

ArrivalRate/T

R/ T 비고

2. (listitem)매각물건 288 0.080 0.13 1.5 0.13Rmax 0.053 0.0867 J AVA EXCEPTION ERROR9. (listKamcoAucNotice)공매공고 48 0.013 0.02 2.5 0.02Rmax 0.005 0.0080 8 DB CPU 100%명일때 서버 사용율10. newAucNotice새로운공고 45 0.013 0.02 4 0.02Rmax 0.003 0.0050 6 DB CPU 100%명일때 서버 사용율21. listNewItem새로운물건 19 0.005 0.01 4 0.01Rmax 0.001 0.0025 DB CPU 100%서버 사용율24. login로그인 16 0.004 0.01 3.5 0.01Rmax 0.001 0.0029 DB CPU 100%서버 사용율

튜닝 대상 어플리케이션 리스트

사이트의 Performance 를 개선 시킬 때 튜닝 우선 고려 대상이 되는 어플리케이션 리스트

순위별로 Performance 에 대한 영향도가 큼

- 예를 들어 매각물건의 경우 1.5TPS 를 3.0TPS 로 개선 시킬 경우 최대 동시단말사용자수는 305 명으로 증가될 수 있음

DB 서버의 CPU Resource 에 대한 영향도가 큰 어플리케이션 리스트



Performance Test Results혼합 BP 테스트



Performance Test Results - 혼합 BP 테스트 결과

체크항목 문제점 개선안

Application 특정 어플리케이션 들의 낮은 성능 때문에 사이트 전체의 성능이 영향을 받음 해당 어플리케이션의 성능 개선

System Site High Load DB CPU Bottlenect .발생시 서버의 현상 발생 SQL 해당 어플리케이션의 문 최적화 CPU Resource 하드웨어 점검

Network BandWidth 외부 테스트시 부족 현상 발생 BandWidth 를 증설할 것을 권장L4 Murcury1 Murcury2 Balancing 48:52 대 의 비율이 로 분배되고 있음

혼합 BP 테스트 튜닝 권고안

최대 동시단말 사용자 수 : 202 명

최대 TPS : 6.719

(TPS)

혼합 BP 테스트 결과




사용자가 187 명이상 접속함에 따라 각 트랜잭션의 응답시간이 급속히 증가함을 알 수 있다 . 이는 DB

서버의 CPU Resource 가 Saturation 됨에 따라 발생하는 현상으로

파악되었다 .

TPS (Transaction Per Seconds)




사용자가 187 명이상 접속함에 따라 각 트랜잭션의 응답시간이 급속히 증가함을 알 수 있다 . 이는 DB

서버의 CPU Resource 가 Saturation 됨에 따라 발생하는 현상으로

파악되었다 .

Average Transaction Response Time – Running Vusers



Transaction Response Time Under Load

사용자가 증가함에 따른 응답시간의 증가 추이를 확인해 보면 앞선 단위

어플리케이션 테스트에서 튜닝 대상이었던 공매공고가 낮은 성능

때문에 응답시간의 급등 현상을 보이고 있음을 확인할 수 있다 .





해당 사이트의 최대 Throughput 은 750,000(bytes per second) 로서 이를

bit per second 로 환산해 보면 6,000,000(bits per second) 이다 . 이는 가상 사용자가 접속 할때 마다

이미지들을 매번 다운로드 받는 시나리오의 특성상 높게 측정이 되었지만 현재의 E1 라인으로는 턱없이 부족할 것으로 예상된다 .

정확한 분석은 차후 사이트 오픈후 BandWidth 의 증가 추이를 보고 확인해야 할 것으로 보인다 .

Throughput




사용자가 187 명이상 접속함에 따라 DB 서버의 CPU 사용율이 100% S

aturation 되었음을 알 수 있다 .

DB Server CPU Resources – Running Vusers




DB 서버의 Run Queue 사이즈가 사용자가 증가함에 따라 급격히

증가함을 알 수 있다 .

DB Server Run Queue Size – Running Vusers




80 포트 접속자수 CPU 사용율

WebServer (Mucury1,Murcury2) Load Balancing Status

Murcury1 과 Murcury2 의 80port Connection 비율이

48:52 로 연결됨을 확인

Murcury2 의 CPU 사용율이 Murcury1 에

비해 높게 측정

Load Balancing 기능이 적절히 수행됨을 확인

a 시스템 성능 테스트 작업 결과 보고서

Documents