КРИ-2013. "Нагрузочное тестирование или Боты -...
TRANSCRIPT
Александр Акбашев, Senior QA Engineer, Allods team
БОТЫ – САНИТАРЫ СЕРВЕРА
2
PREVIEW
• О нагрузочном тестировании• А как у нас?• А что мы делаем?• В чем профит?• Сложности
3
PREVIEW
4
PREVIEW
• Доклад НЕ срывает покровы• Доклад НЕ предлагает серебряную пулю• Доклад содержит ПРАКТИЧЕСКИЙ опыт
SKYFORGE
5
Толстый клиент и боты - C++Божественный серверw- JavaСкрипты запуска и обработки - PythonContinuous Integration - TeamCity (JetBrains)
+
ХОРОШАЯ ФОРМА СЕРВЕРА6
РЕГУЛЯРНОЕ НАГРУЗОЧНОЕ ТЕСТИРОВАНИЕ
РЕГУЛЯРНОЕ НАГРУЗОЧНОЕ• Каждый божий день• Автоматически• Максимальная устойчивость• Починка теста – первый приоритет
• На «боевом» железе• С «боевыми» CCU• В «боевой» раскладке• На «боевом» контенте
7
ЧТО НУЖНО?
«Нагрузочное тестирование»
1) Бот, 5000 шт.2) Сервер, 6 шт.3) Билд-агент, 1 шт.
Смешать и готовить 8 часов
8
ЧАСТЬ ПЕРВАЯ
Про ботов
9
МОЗГ БОТОВ
Появились
Погуляли
Убили мобика
Залутили
Группа
IDDQD
Чат
Нашли мобика
10
БОТОВЫЕ СЦЕНАРИИ
• Мозг• Место появления• Класс• Заклинания• Способности• Активности
11
ПОЛЬЗА ОТ БОТОВ
• Поиграть с тестером• Поймать редкую ошибку• Проверить сервер• <NDA>
12
ТРЕБОВАНИЯ, ПРЕДЪЯВЛЯЕМЫЕ К БОТАМ
АДЕКВАТНОСТЬ ПОВЕДЕНИЯ
13
ТРЕБОВАНИЯ, ПРЕДЪЯВЛЯЕМЫЕ К БОТАМ
АКТУАЛЬНОСТЬ
14
ИСТОРИИ ИЗ ЖИЗНИ. КОНЕЦ КАНАЛА.
15
ЧАСТЬ ВТОРАЯ
Про организацию тестов
16
БИЛД-АГЕНТ
• Запуск скрипта• Развертывание• Запуск сервера• Запуск ботов• Ожидание• Остановка• Получение результатов
17
ТЕСТЫ РАЗНЫЕ НУЖНЫ
• Максимальная загруженность инфраструктуры• Максимальное использование ботов• Максимальное покрытие процессов разработки
18
ТЕСТ СВЕЖЕЙ СБОРКИ
19
ЧАСОВОЙ ТЕСТ
• Репетиция ночного теста• Профилирование• Эксперименты и проверки гипотез
20
ТЕСТЫ ПО КАРТАМ / ПО МЕХАНИКАМ
• Стирильные условия• Легко сравнивать• Радость для дизайнеров
21
НОЧНОЙ БОТОВЫЙ ТЕСТ
• Король всех ботовых тестов• 9 часов• Финальный контент
22
ИСТОРИЯ ИЗ ЖИЗНИ. CYGWINE.
23
ЧАСТЬ ТРЕТЬЯ
Про сервера для тестов
24
БОЕВЫЕ ПО КОНФИГУРАЦИИ
Про сервера для тестов
25
БОЕВЫЕ ПО НАСТРОЙКАМ
Про сервера для тестов
26
БОЕВЫЕ ПО ТОПОЛОГИИ
Про сервера для тестов
27
ДОСТУПНЫЕ ВСЕГДА
Про сервера для тестов
28
СВОБОДНЫЕ ОТ ВСЕХ
Про сервера для тестов
29
В ОДНОМ МЕСТЕ
Про сервера для тестов
30
ИСТОРИЯ ИЗ ЖИЗНИ. БАРАБАШКА.
31
ЧАСТЬ ЧЕТВЕРТАЯ
Про пользу тестов
32
PROFIT ОТ БОТОВЫХ ТЕСТОВ
• Тестируемая нагрузка• Нет регресса• Проверка гипотез• Отлавливание сложных багов• Использование памяти• Контентные баги
33
НАГРУЗКА
34
ПАМЯТЬ
35
БАЗЫ ДАННЫХ
36
АНАЛИЗ ОШИБОК
37
ВНУТРЕННЕЕ СОСТОЯНИЕ СИСТЕМЫ
• Чем забита память• Профиль нагрузки
38
СПОКОЙСТВИЕ
39
ИСТОРИЯ ИЗ ЖИЗНИ. ДВУХНЕДЕЛЬНЫЙ БАГ.
40
ЧАСТЬ ПЯТАЯ
Про сложности
РАБОТА НА СТЕКЕ ВСЕГО ПРОЕКТА
41
О БОТАХ ИНОГДА ЗАБЫВАЮТ
42
БОТЫ
ОЧЕНЬ ДОРОГИЕ ИТЕРАЦИИ
43
ИСТОРИЯ ИЗ ЖИЗНИ. ПЛОХОЕ МЕСТО.
44
ЗАКЛЮЧЕНИЕ
45
Регулярное нагрузочное тестирование, обвешанное статистикой - это залог
здорового сна разработчиков.
ВОПРОСЫ - ОТВЕТЫ?
46
Александр АкбашевSenior QA Engineer