Решение для управления тестированием на платформе sbm
DESCRIPTION
Пример реализации решения на платформе SBM для управления процессами тестирования. Как и любое решение, выполненное на платформе SBM, процессы можно легко адаптировать под свою специфику, все информационные связи между кейсами, результатами, версией сборки, дефектами, запросами на разработку и т.д. наглядно представлены на формах и интерактивных отчетах. Решение состоит из 4 составляющих: 1) Библиотека сценариев тестирования (test cases) 2) Репозиторий результатов исполнения тестов 3) Модуль планирования функционала с возможностью комбинирования состава пакета сценариев 4) Модуль управления доступностью тестовых серверовTRANSCRIPT
Решение для управления процессами тестирования
Ирина Луцюк, Serena Software
2
Управление тестированием 5 лет назад
3
Тест кейсы
4
Где хранились
• В системе контроля версий (PVCS VM) как файлы
5
Где хранились
• В сети на сервере как офисные документы
6
Где хранились
• Страницы Wiki
7
В каких форматах
• Офисные документы в форматах MS Word и Excel
8
В каких форматах
• На листочках бумаги
9
Статус-кво по тест-кейсам
• Не было единого хранилища
• Совершенно непонятна степень покрытия функционала приложений сценариями тестирования
• Не было единого формата и требований к содержанию
• Оценка времени, требуемого для прохождения сценария, не проводилась
• Сложилась негибкие, неустойчивые, но как-то применяемые практики
• Невозможно проследить зависимости
• История изменений не велась и не хранилась
10
Результаты тестирования
11
Статус-кво по результатам тестирования
• Отчеты по факту прохождения каждого тест-кейса заполнялись не всегда
• Прослеживание связей между функциональностью/функциями/требованиями не происходило (не было такой возможности)
• Не фиксировались связи с запросами на изменения
• Не отслеживались конфигурации, на которых проводилось тестирование
• Невозможно проиллюстрировать достигнутый уровень качества
12
Планирование тестирования
13
Статус-кво по планированию тестирования
• Очень неформальное
• Основной принцип – необходимо «все проверить» к такому-то сроку безотносительно масштабов изменений
• Посмотреть прогресс или статус было невозможно
• Совершенно бесполезно для оценки готовности релиза к финальному выпуску
14
Управление тестированием сегодня
15
Библиотека тест-кейсов (TMS Test Library)
• Жизненный цикл сценария тестирования
In Work In Review Approved
Out of Date
16
Библиотека тест-кейсов (TMS Test Library)
• Жизненный цикл сценария тестирования
In Work In Review Approved
Out of Date
17
Библиотека тест-кейсов (TMS Test Library)
• Жизненный цикл сценария тестирования
In Work In Review Approved
Out of Date
18
Библиотека тест-кейсов (TMS Test Library)
• Жизненный цикл сценария тестирования
In Work In Review Approved
Out of Date
19
Библиотека тест-кейсов
20
Кратко по библиотеке тест-кейсов
• Простой процесс
• Единый репозиторий
• Интуитивное использование
• Унифицированная форма тест-кейса
• Покрытие тестами относительно функциональной декомпозиции
• Связи с запросами на изменение
• Хорошая оперативная и аналитическая отчетность
• Уведомления пользователям
•Полный контроль над решением (можем сами менять ЛЮБЫЕ элементы реализации)
21
Результаты тестирования
• Жизненный цикл тестирования
To Be Executed
Passed Failed Blocked
22
Результаты тестирования
• Жизненный цикл тестирования
To Be Executed
Passed Failed Blocked
23
Результаты тестирования
• Жизненный цикл тестирования
To Be Executed
Passed Failed Blocked
24
Результаты тестирования
• Жизненный цикл тестирования
To Be Executed
Passed Failed Blocked
25
Результаты тестирования
26
Результаты тестирования
• Каждый запуск тест-кейса фиксируется
• Результат ассоциируется с конкретным сценарием тестирования
• Есть прямые связи с запросами на изменения, которые тестируются
• Есть возможность проследить информацию по сборкам и релизам
• Фиксируется информация по статусам тестирования, времени тестирования и т.д.
• Расширенная отчетность
27
Планирование тестирования Пакеты тест-кейсов
• Test Requirement Lifecycle
New Planning In Review Ready
Assigned For
Testing
In Progres
sCCRB Complete
d
28
Пакеты тестирования
29
Планирование тестирования Пакеты тест-кейсов
• Простой процесс планирования
• Гибкость в определении покрытия тест-кейсами
• Наглядное представление покрытия функционала кейсами по• Функциональной декомпозиции• Конфигурации и Среды тестирования• Проектных характеристик
• Понятные оценки продолжительности тестирования
• Наглядное представление объема работы
• Простое отслеживание статуса
30
QA Отчет по прогрессу тестирования
31
Управления средами тестирования
New
In Pool
Configuring
Available In Use
32
Управления средами тестирования
33
Управления средами тестирования
• Стандартизация описания сред тестирования
• Наглядное представление доступности сред
• Взаимосвязь между пакетом тестирования и средой исполнения тестовых сценариев
34
Статистика использования
Manual Test Cases
Test Results
35
Планы по развитию
36
Планы по развитию
• Интеграция с платформами автоматизированного тестирования• Возможность запускать автоматические сценарии из
Serena• Единый репозитарий результатов исполнения тестов
• Улучшение пользовательского интерфейса в части наполнения пакета тестирования тест-кейсами
• Возможность представления Шагов тест-кейса и Результатов в табличной форме.
• Возможность наглядной привязки ошибки к конкретному шагу тест-кейса
37
Спасибо