Самостоятельная оценка процессов тестирования:с чего...
TRANSCRIPT
![Page 1: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/1.jpg)
Software Quality Assurance Days19 Международная конференция по вопросам качества ПОsqadays.com
Санкт-Петербург. 20–21 мая 2016
Ладутько Андрей
EPAM Systems, Минск, Беларусь
Самостоятельная оценка процессов тестирования на проекте – с чего
начать?
![Page 2: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/2.jpg)
АНДРЕЙ ЛАДУТЬКО
Тест-лид, Эксперт ЦКТ
8+ лет опытаПроцессы, аудиты, тест-дизайн, личная эффективность
SQA Days-12,13,15,16,17,19 - докладчикSQA Days-18,19 – куратор ПК
ISTQB Full Advanced Level
[email protected], [email protected] ladutko_andreysof_minskhttp://qastugama.blogspot.comp://qastugama.blogspot.com
![Page 3: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/3.jpg)
3CONFIDENTIAL
ШАГ 0. ПРИНЯТИЕ
В ЛЮБОЙ КОДЕ ВСЕГДА МОЖНО НАЙТИ ОШИБКИ.ЛЮБУЮ ТЕСТОВУЮ СТРАТЕГИЮ МОЖНО ЕЩЕ ЧУТЬ-ЧУТЬ УЛУЧШИТЬ
![Page 4: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/4.jpg)
4CONFIDENTIAL
ШАГ 1. ОПРЕДЕЛЕНИЕ
![Page 5: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/5.jpg)
5CONFIDENTIAL
ШАГ 1. ОПРЕДЕЛЕНИЕ
•Цель тестирования•Вопросы, на которые хотим получить ответ
![Page 6: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/6.jpg)
6CONFIDENTIAL
ЦЕЛИ ТЕСТИРОВАНИЯ
Time
Costs
Quality
Visibility
Automation
![Page 7: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/7.jpg)
7CONFIDENTIAL
1 2 3
ПОЧЕМУ МЕТРИКИ
Четкий Измеряемый Реалистичный
![Page 8: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/8.jpg)
8CONFIDENTIAL
ОТВЕЧАЕМ НА ВОПРОС:КАКОЕ КАЧЕСТВО ТЕСТИРОВАНИЯ?
• % ошибок, пропущенных в релиз (Defect Containment )
• % отклоненных дефектов (Decline Rate)• Число дефектов по типам и приоритетам
(Total number of issues by types of testing VS priority)
• Дэшборд (Testing Dashboard)• Количество открытых дефектов (Open
Defects)• % рабочего времени по категориям (Total
working time by categories)
![Page 9: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/9.jpg)
9CONFIDENTIAL
ОТВЕЧАЕМ НА ВОПРОС:УСПЕВАЕМ ЛИ МЫ ПРОТЕСТИРОВАТЬ ВОВРЕМЯ?
• Дэшборд (Testing dashboard)• Диаграмма выгорания (Burn Down Chart)• Число рабочих дней VS запланированное время на
тестирование (Test team work Days remaining vs testing effort remaining)
• Закрытые VS все дефекты (Total vs Closed)• Изменение количества дефектов по статусу (Defect
progression by status and quality)• Количество дефектов на верификацию (# of defects
to be verified)
![Page 10: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/10.jpg)
10CONFIDENTIAL
ШАГ 2. ИЗМЕРЕНИЕ И АНАЛИЗ
![Page 11: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/11.jpg)
11CONFIDENTIAL
ПРИМЕР ИЗМЕРЕНИЯ. DEFECT CONTAINMENT
• Показывает % дефектов найденных до релиза VS общее количество дефектов
• Считается после определенного периода после релиза
• Невалидные баги не учитываются
𝑫𝒆𝒇𝒆𝒄𝒕 𝑪𝒐𝒏𝒕𝒂𝒊𝒏𝒎𝒆𝒏𝒕=𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔−𝒑𝒓𝒐𝒅𝒖𝒄𝒕𝒊𝒐𝒏 𝒅𝒆𝒇𝒆𝒄𝒕𝒔𝒂𝒍𝒍𝒅𝒆𝒇𝒆𝒄𝒕𝒔 ∗𝟏𝟎𝟎%
Целевое значение – 95%
NOTES
![Page 12: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/12.jpg)
12CONFIDENTIAL
ПРИМЕР АНАЛИЗА ПРОПУЩЕННЫХ ДЕФЕКТОВ
• Конфигурации и окружения• Вид тестирования (функциональный – нефункциональный)• Сценарий или ad-hoc• Компонента или модуль системы•Причина пропуска (регрессия, неясное требование, недостаток времени, апгрейд версии)
![Page 13: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/13.jpg)
13CONFIDENTIAL
ШАГ 3. ДЕЙСТВИЕ
![Page 14: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/14.jpg)
14CONFIDENTIAL
ШАГ 4. КОРРЕКЦИЯ
![Page 15: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/15.jpg)
15CONFIDENTIAL
САМОСТОЯТЕЛЬНЫЙ АУДИТ – ИТОГОВАЯ СХЕМА
Определение
Кор
рекц
ияИ
змерен
ие и анализ
Действие
Цель тестирования Вопросы Метрики и KPI
Сравниваем метрики до и после внедрения
Улучшение – продолжаем
Застой или ухудшение – ищем другие способы
Метрики и KPI Шаги по улучшению
Just do it!
![Page 16: Самостоятельная оценка процессов тестирования:с чего начать?](https://reader033.vdocuments.site/reader033/viewer/2022042706/586fdc341a28ab18428b63d5/html5/thumbnails/16.jpg)
16CONFIDENTIAL
[email protected], [email protected] ladutko_andreysof_minskhttp://qastugama.blogspot.com
СПАСИБО!