Подготовка стратегии тестирования под...
TRANSCRIPT
![Page 1: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/1.jpg)
Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Сергей МартыненкоМосква, РФ
Подготовка стратегии тестирования под
высокорискованный, высокодоходный проект
![Page 2: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/2.jpg)
План доклада
Введение
Понятие стратегии
Разработка стратегии тестирования
Общие принципы
Рисуем фон
Строим стратегии
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 3: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/3.jpg)
ВВЕДЕНИЕ
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 4: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/4.jpg)
О себе
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 5: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/5.jpg)
Что вы получите
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 6: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/6.jpg)
ПОНЯТИЕ СТРАТЕГИИ
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Введение
Понятие стратегии
Рисуем фон (описание проекта)
Разработка стратегии тестирования
Общие принципы
Рисуем фон
Строим стратегии
![Page 7: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/7.jpg)
Обобщенный алгоритм создания
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 8: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/8.jpg)
Варианты стратегий II-мировой
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
01.09.1939 02.09.1945
![Page 9: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/9.jpg)
Варианты стратегий II-мировой
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Реальность
01.09.1939 02.09.1945
План
весна- лето1944
![Page 10: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/10.jpg)
Варианты стратегий II-мировой
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Быстрое уничтожение значительной части армии Лишение противника трудоспособного населения Парализация транспортной системы Парализация производства …
![Page 11: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/11.jpg)
Варианты стратегий II-мировой
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Быстрое уничтожение значительной части армии Лишение противника трудоспособного населения Парализация транспортной системы Парализация производства
![Page 12: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/12.jpg)
Операция Chastise
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 13: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/13.jpg)
Операция Chastise
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
минус 45% на 3-4 месяца – реальность
минус 65% на год - возможность
![Page 14: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/14.jpg)
РАЗРАБОТКА СТРАТЕГИИ ТЕСТИРОВАНИЯ
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Введение
Понятие стратегии
Разработка стратегии тестирования
Общие принципы
Рисуем фон
Строим стратегии
![Page 15: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/15.jpg)
ОБЩИЕ ПРИНЦИПЫ
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 16: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/16.jpg)
Шаги, предшествующие
стратегии тестирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 17: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/17.jpg)
Порядок разработки стратегии
тестирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 18: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/18.jpg)
Связь стратегий
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Базовые принципы стратегии создания продукта:1. 2.
Стратегия системного анализа
Стратегия проектирования
Стратегия программирования
Стратегия тестирования
![Page 19: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/19.jpg)
РИСУЕМ ФОН
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Введение
Понятие стратегии
Разработка стратегии тестирования
Общие принципы
Рисуем фон
Строим стратегии
![Page 20: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/20.jpg)
Рисуем фон. Приоритеты.
1. Более половины таких проектов не взлетает.
2. Те, которые взлетают, приносят миллионы в неделю. Не рублей. Каждая лишняя неделя разработки - это многомиллионные потери. Приоритет – скорость.
3. Ошибка в системе, подобная описанной в "данетке для разработчика» или в «Дефект ценой в 440 миллионов долларов», может сделать фирму банкротом в течении часа.
4. Окно возможностей быстро захлопывается.
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 21: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/21.jpg)
Пример. Встраиваемый софт.
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Жизненный цикл продукта ранее
Жизненный цикл продукта сейчас
Продажи
t
![Page 22: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/22.jpg)
Встраиваемый софт
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Продажи
t
Окно возможностей
![Page 23: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/23.jpg)
Рисуем фон. Архитектура системы.
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Ядро
API
Наша разработка прикладных модулей
Сторонняя разработка прикладных модулей
Платформа А
Платформа B
![Page 24: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/24.jpg)
Рисуем фон. Вехи.
• Выход в промышленную эксплуатацию
• Приемо-сдаточные испытания
• Начало разработки прикладных модулей
• Начало разработки ядра
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 25: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/25.jpg)
Рисуем фон. Ограничения системы
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Архитекторы ядра
Поток
![Page 26: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/26.jpg)
Рисуем фон. Расчет бюджета
• Окно возможностей 100-300 рабочих дней
• Продажи в один рабочий день порядка $1 000 000
• Архитектор ядра обходится фирме в $1 000 / день
• Тестировщик ядра обходится фирме в $500 / день
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 27: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/27.jpg)
СТРОИМ СТРАТЕГИИ
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Введение
Понятие стратегии
Разработка стратегии тестирования
Общие принципы
Рисуем фон
Строим стратегии
![Page 28: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/28.jpg)
Фасеты стратегии тестирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Стратегия тестирования
Негатив vsПозитив
Исходя из ограничения системы
Автоматизация vs вручную
ГОСТ 9126
Знание кода
Кем проводится
…
Исследовательское или сценарное?
![Page 29: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/29.jpg)
Фасет стратегии тестирования «Позитив-Негатив»
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Стратегия тестирования
Негатив vsПозитив
При сдаче ядра -позитив
На ПСИ согласно ПМИ
В конце негатив
Приоритеты на разных вехах
В продакшене не должно быть возможности потерь
На ранней стадии нужно увидеть соответствие Идее
Как можно раньше передать API разработчикам прикладных модулей
![Page 30: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/30.jpg)
Стратегия программирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Полная утилизация рабочего времени
t, дней
Работа
Легенда
Простои
0 дефектов
10095
![Page 31: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/31.jpg)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 32: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/32.jpg)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 33: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/33.jpg)
Стратегия программирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Полная утилизация рабочего времени
t, дней
Работа
Легенда
Простои
0 дефектов
10095 120
Заморозканового функционала
Заморозканового функционала
![Page 34: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/34.jpg)
Стратегия программирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Полная утилизация рабочего времени
t, дней
Работа
Легенда
Простои
0 дефектов
10095 120
Проект В
150
![Page 35: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/35.jpg)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 36: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/36.jpg)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Склад
В производство
Делается
На проверку
Тестируется
В релиз
Если 5 программистов, то не более 7 задач в желтой зоне
![Page 37: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/37.jpg)
Стратегия программирования
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
t, дней
Работа
Легенда
Простои
0 дефектов
10095 120
Заморозканового функционала
150
+ $ 5 000 000
+ $ 35 000 000
![Page 38: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/38.jpg)
Фасет из ограничения системы
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Стратегия тестирования
Исходя из ограничения системы
Планируемая норма простоя тестировщиков ядра 20-30%
Ограничение системы
Программисты ядра – уникальный ресурс
![Page 39: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/39.jpg)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Роль Кол-во Стоимость
в день, $
Дней Итого
Сбалансиро-
ванная
цепочка
Архитектор 3 1000 130 585 000
Тестировщик 3 500 130
По теории
ограничений
Архитектор 3 1000 115 575 000
Тестировщик 4 500 115
![Page 40: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/40.jpg)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Роль Кол-во Стоимость
в день, $
Дней Итого
Сбалансиро-
ванная
цепочка
Архитектор 3 1000 130 585 000
Тестировщик 3 500 130
По теории
ограничений
Архитектор 3 1000 115 575 000
Тестировщик 4 500 115
Заб [и|ы] ть
+ 15 дней = - $ 15 000 000
![Page 41: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/41.jpg)
Фасет «вручную или автоматизировать»?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 42: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/42.jpg)
Фасет «вручную или автоматизировать»?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
t, дней115 345
0 дефектов
- $ 230 000 000
Тестировние
![Page 43: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/43.jpg)
Фасет «вручную или автоматизировать»?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Работа
Легенда
ПростоиПрограммирование
10095 120 150
+ $ 5 000 000
Программирование
![Page 44: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/44.jpg)
Фасет «вручную или автоматизировать»?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
t, дней
Работа
Легенда
Простои
0 дефектов
10095 120
Заморозканового функционала
Заморозканового функционала
![Page 45: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/45.jpg)
Фасет Автоматизации
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Стратегия тестирования
Автоматизировать
Количество тестировщиков кардинально возрастает
Приоритет - скорость
Программисты ядра –уникальный ресурс
Уберите простои программистовядра
Увеличьте производительность программистовядра
![Page 46: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/46.jpg)
Фасет «Кто тестирует»?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 47: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/47.jpg)
Фасет «Кто гоняет тесты?»
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Стратегия тестирования
Автоматизировать
Тесты гоняют программисты
Приоритет - скорость
Программисты ядра –уникальный ресурс
Уберите простои программистовядра
Увеличьте производительность программистовядра
![Page 48: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/48.jpg)
Фасет по атрибутам качества ПО
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
ГОСТ 9126Надежность (Reliability)
Функциональные возможности (Functionality)
Практичность (Usability)
Эффективность (Efficiency)
Мобильность (Portability)
Сопровождаемость(Maintainability)
![Page 49: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/49.jpg)
Фасет по атрибутам качества ПО
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
ГОСТ 9126Надежность (Reliability)
Функциональные возможности (Functionality)
Практичность (Usability)
Эффективность (Efficiency)
Мобильность (Portability)
Сопровождаемость(Maintainability)
![Page 50: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/50.jpg)
Функциональные возможности (Functionality)
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Важность
Пригодность (Suitability) ++
Правильность (Accuracy) ++
Способность к
взаимодействию
(Interoperability)
+++
Согласованность (Compliance) +
Защищенность (Security ++++
![Page 51: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/51.jpg)
А есть еще фасеты?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
![Page 52: Подготовка стратегии тестирования под высокорискованный, высокодоходный проект](https://reader033.vdocuments.site/reader033/viewer/2022042600/58d11cf41a28ab2a738b4d77/html5/thumbnails/52.jpg)
Вопросы?
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект