UA Testing Days, Одесса, 18 августа 2012 года

Инженер по нагрузочному тестированиюАндрей Похилько

Профессиональный Roadmap нагрузочного тестировщика

Профессиональный Roadmap?

• Почему мы говорим об этом?

• Что это такое?

• Зачем он тестировщику?

• Зачем он менеджеру?

2

Откуда мы приходимв нагрузочное тестирование

• Функциональщики

• Админы

• Разработчики

• Случайные люди

3

Уровни мастерства

4

Уровни мастерстваНачинающий

5

Уровни мастерстваПродолжающий

6

Уровни мастерстваПродвинутый

7

Уровни мастерстваЭксперт

8

Области компетенции

9

Области компетенцииTестируемый сервис

• Бизнес-область

• Администрирование

• Инфраструктура

• Программная архитектура

10

Тестируемый сервисБизнес-область

• Кто и зачем пользуется

• Суточный профиль, ЧНН

• Мониторинг эксплуатации

• Бизнес-приоритеты и планы

11

Следим за метриками эксплуатации

Тестируемый сервисАдминистрирование

• Запускать и останавливать

• Читать логи

• Крутить настройки

• Развертывать с нуля

13

Тестируемый сервисИнфраструктура

• Структура кластера

• Конфигурация оборудования

• Протоколы обмена по сети

• Топология сети и балансировка

14

Тестируемый сервисПрограммная архитектура

• Перечень подсистем

• Компоненты в подсистемах

• Внутренняя архитектура

• Исходный код

15

Области компетенцииTехнологии

• Операционные системы

• Сети

• Программирование

• Базы данных и хранилища

17

ТехнологииОперационные системы

• Настольные и серверные

• Администрирование

• Мультизадачность

• Метрики

18

Тебе Ubuntu или MacOS, Нео?

ТехнологииСети

• Сетевое оборудование

• Протоколы

• Статусы и флаги TCP

• Маршрутизация и настройка

19

Это свитч или хаб?

ТехнологииПрограммирование

• Веб-технология

• Скрипты

• Структура приложений

• Многопоточность

20

ТехнологииБазы данных и хранилища

• SQL-базы

• Key-value хранилища

• Писать запросы

• Оптимизировать

21

Области компетенцииМетодики и подходы

22

• Работа с SLA

• Модели нагрузки

• Локализация проблем

Методики и подходыРабота с SLA

• Пользоваться готовым SLA

• Самому формулировать

23

Методики и подходыМодели нагрузки

24

http://bit.ly/I1zVWm

Методики и подходыЛокализация проблем

• Понятие о bottleneck-ресурсе

• CPU / RAM / Disk

• Недоконфигурирование

• Блокировки и переключения

25

Вот тебе bottleneck!

Области компетенцииИнструментарий

26

• Генераторы нагрузки

• Средства мониторинга

• Построение и хранение отчетов

• Средства автоматизации

• Средства отладки

ИнструментарийГенераторы нагрузки

• Сценарные и hit-based

• Параметризация

• Не-HTTP протоколы

• Нестандартные протоколы

27

ИнструментарийМониторинг

• Диспетчер задач / top

• perfmon.msc / dstat

• Интегрирован с генератором

• Нестандартные метрики

28

ИнструментарийОтчеты

• Excel и скрипты

• Встроенные в генератор

• Интерактивные

• Хранилище отчетов

29

Успеть бы до утра...

ИнструментарийСредства автоматизации

• shell-скрипты

• Шедулеры

• ant / msbuild

• CI-подобные системы

30

ИнструментарийСредства хардкора отладки

31

Области компетенцииАнализ результатов

• Одиночный тест

• Сравнение тестов

32

Анализ результатовОдиночный тест

33

Анализ результатовСравнение тестов

• По кумулятивному среднему

• По распределениям времен

• Разрезы по группам

• Регрессионный анализ

34

Области компетенцииЛичные качества

• Коммуникационные навыки

• Командная работа

• ?

• ?

35

Личные качестваКоммуникационные навыки

• Почта и багтрекер

• Личный контакт

• Встречи и обсуждения

36

Надо себя заставить...

Личные качестваКомандная работа

• Обуза

• Коллега

• Бывалый

• Лидер

37

Морфиус играет в Ил-2

Матрица к обсуждению

38

http://loadosophia.org/help/matrix/

Я эксперт по всем фронтам!Что дальше?

• Руководите младшими

• Пишите статьи

• Совершенствуйте инструменты

• Создайте стартап

39

Инженер по нагрузочному тестированию, Яндекс

apc@apc.kg

@jmeter_plugins

http://loadosophia.org

Андрей Похилько