Иван Лысенко - "Нагрузил, что дальше?"
DESCRIPTION
Составить, написать тесты и запустить их это еще не всё нагрузочное тестирование. Теперь надо понять, а что собственно произошло? Достигли мы своих целей? Поговорим с вами о всяких подводных камнях нагрузочного тестирования, возможных вариантах их обхода и том, где, как и на что смотреть в этой области.TRANSCRIPT
Нагрузил. Что дальше?анализируем результаты
нагрузки по шагам
Me
PM
Team Leader
SQA Days 7
Kharkov QA Club
ZoralLabs
It-Jam 2010
http://myqanotes.blogspot.com
It-Jam 2011
PO
QA
Этапы
…….
Дзен
Предварительно
Время
Ответы сервера
Использование ресурсов сервера
Использование ресурсов клиента
Передаваемые объемы
На чем будем
строить анализ
На чем будем
строить анализ
Первое
Второе
Следующее
Анализ результатов
1
Text
3
4 Кластеризация
Сравнение и поиск зависимостей
Тенденция во времени
Распределение времени
ответов
Декомпозиция
2
5
Анализ причин
Результаты
B
E
C
D
AЛоги
Хранилище данных
Загрузка ресурсов сервера и клиента
Любые другие результаты
Ответы сервера
Пример
Ошибки и summaryAction #Samples Error Average Min Max Deviation Throughput KB/sec Avg. Bytes
login.htm 574 0,000% 79 35 2100 128,441 0,778 9,86 12986,8
/login 568 2,641% 5148 58 302853 33130,904 0,646 222,83 353006,5
Open Checkout 391 0,000% 391 190 5112 384,271 0,445 30,05 69134,1
Checkout 391 0,256% 2357 218 301873 15272,030 0,444 30,88 71167,4
/logout 564 0,709% 3043 4 300936 25173,124 0,770 262,45 349068,4
GB Checkout 177 0,000% 5410 198 16959 2626,076 0,277 19,83 73264,0
TOTAL 2665 0,75% 2521 4 302853 20169,2 3,013 521,88 177359,2
Отчет об ошибкахCode title Response Code # of Rqsts % of Errors
OK 200 2666
Internal Server Error 500 8 40,00%
Non HTTP response message: Unexpected end
of ZLIB input streamNon HTTP response 12 60,00%
Response Time Report Over Time
23/10/2011 19:42:47 23/10/2011 19:52:40 23/10/2011 19:53:27 23/10/2011 19:54:17 23/10/2011 19:55:31 23/10/2011 19:58:35 23/10/2011 20:00:08 23/10/2011 20:01:180
50000
100000
150000
200000
250000
300000
350000
Response Time Report Over Time
23/10/2011 19:42:47 23/10/2011 19:52:38 23/10/2011 19:53:2423/10/2011 19:54:12 23/10/2011 19:55:16 23/10/2011 19:57:53 23/10/2011 19:59:5423/10/2011 20:01:030
50000
100000
150000
200000
250000
300000
350000
Error Summary Report
500
Average 470.1
Min 75
Max 4397Non HTTP
Average 301592.8
Min 300399
Max 305086
Response Time Report Over Time
131939896739013193995467591319399579944131939961348713193996486271319399692687131939975380913193999030711319399984436131940003550413194000829550
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
elapsed (w/o errors)
Response Time Over Time Distribution
Response Time Distribution of One Request
(0;100) (1901;2000) (3801;3900) (5701;5800) (7601;7700) (9501;9600) (11401;11500) (13301;13400) (15201;15300)0%
1%
2%
3%
4%
5%
6%
7%
Request Size Distribution
'83863'81%
'0'12%
'81276'7%
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 1570
2
4
6
8
10
12
14
16
Purchase
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 1570
2
4
6
8
10
12
Fulfill
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 1011051091131171211251291331371411451491531570
2
4
6
8
10
12
14
16
Purchase + Fulfill
Hints» Собирайте максимум данных
(но помните, что это может влиять на результат)
» Анализируйте не только сами результаты» Лучший источник реальных данных –
production server(не грузите его в prime time)
» Копайте как можно глубже(но не забывайте, что результаты могут лежать и на поверхности)
Useful Links
» http://tinyurl.com/fastJMTest» http://loadosophia.org
