Валерий Сафронов Новый уровень автоматизации...
DESCRIPTION
Валерий Сафронов Новый уровень автоматизации тестирования ПОTRANSCRIPT
![Page 1: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/1.jpg)
Новый уровень автоматизации
тестирования ПО
Руководитель отдела
автоматизации тестирования ПО
Сафронов Валерий
ООО «Прикладные системы»
Минск, Беларусь
![Page 2: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/2.jpg)
Ручное
Автоматическое
Ручное тестирование +
автоматические тесты
Ручное тестирование +
автоматические тесты
+ автоматизация
процесса...
Автоматизация
через интеграцию...О
бъ
ем
тес
ти
ро
вн
ия
Этапы становления автоматизации тестирования
t
t
t
![Page 3: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/3.jpg)
Интеграция тестового
инструментария
![Page 4: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/4.jpg)
Структурная схема тестирования
сборок продукта или задача для
автоматизации...
![Page 5: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/5.jpg)
Начинка системы...
![Page 6: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/6.jpg)
Запуск автоматических тестов
Автоматический
по событию выхода билда
по расписанию
Ручной
повторное тестирование продукта;
отладка автоматических тестов;
воспроизведение дефектов продукта;
запуск “свежих” тестов на протестированной версии;
настройка окружения.
![Page 7: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/7.jpg)
Подготовка окружения
Установка продукта по умолчанию.
Копирование необходимых конфигурационных файлов.
Подготовка хранилища для результатов выполненных
тестов и лог-файлов.
Запуск\остановка виртуальной машины.
![Page 8: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/8.jpg)
Генерация унифицированных отчетов
Просмотр результатов автоматических тестов разного
типа одним инструментом.
Алгоритм генерации в HTML из native format
(!) Обеспечивайте кумулятивность
результатов тестирования в режиме
реального времени
![Page 9: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/9.jpg)
Публикация результатов тестов.
Отладочный режим
Публикация результатов.
Сохранение результатов на сервере без публикации
(отладочный режим).
![Page 10: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/10.jpg)
Организация очереди
тестирования
Место сборки в очереди:
время попадания в очередь;
приоритет сборки.
(!) Как правило, приоритет задается
для каждой ветки сборки.
![Page 11: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/11.jpg)
Отмена выполняющихся тестов
Прерывание выполнения тестов в любой момент
времени.
Дополнительная возможность управления очередью
тестов.
(!) Учитывайте очистку «следов»
выполнения тестов.
![Page 12: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/12.jpg)
Подробный лог
Двухступенчатая система ведения лога:
логирование основной системы;
логирование конкретной виртуальной или
физической машины.
(!) Обеспечивайте доступ к логам
в режиме реального времени.
![Page 13: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/13.jpg)
Защита от зависания
машины
Функция Kill by timeoutЦель:
Обеспечение бесперебойного процесса тестирования.
Гарантирование прогона всех тестов в очереди.
Алгоритм:
Настройка “timeout” параметра работы машины.
Настройка времени работы самих тестов.
Сбор данных с “зависшей” машины.
Остановка виртуальной машины.
![Page 14: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/14.jpg)
Объединение тестов в
тестовые группы, или
«пакеты»
Использование тестов разных типов в рамках одной
тестовой итерации.
Создание различных тестовых групп для полного или
“Smoke” тестирования.
Создание тестовых групп внутри групп тестов.
Регулирование времени выполнения тестов
(подгонка групп по времени на исполнение тестов).
![Page 15: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/15.jpg)
Автоматическая регистрация и
закрытие дефектов
Создание бага в системе контроля:
назначение ответственного лица;
параметризация необходимых свойств бага;
авто-заполнение назначенных полей.
Закрытие исправленного бага в системе контроля (по
желанию пользователя).
Алгоритм защиты от дупликации багов.
![Page 16: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/16.jpg)
Контроль распределения физ. ресурсов
тестовой лаборатории
Ограничение кол-ва одновременно запущенных
виртуальных машин.
Создание тестов определенного веса (виртуальная
машина * N).
![Page 17: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/17.jpg)
Расширение архитектуры и
масштабируемость
новые типы запускаемых тестов;
дополнительные системы виртуализации;
поддержка n-го числа серверов;
формирование дополнительных отчетных форматов;
расширение агента запуска тестов
…
![Page 18: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/18.jpg)
Пример работы сервиса управления
автоматическим тестированием
Билд машина Виртуализация
(гипервизор)
Аганет запуска
тестов
Виртуальные машины
Файловый
сервер
Сервис
управления
BTS
![Page 19: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/19.jpg)
Пример работы агента запуска
тестов
Виртуальная
машины
.xml (готово)
.xml (задача)
Агент
запуска
тестовТесты, уст. пакет...Сервис
управления
Результаты, лог файлы...
![Page 20: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/20.jpg)
MS Team Foundation ServerFile Server
Hyper-V Server
VMWare Server
Как это работает у нас ?
Агент
запуска
тестов
![Page 21: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/21.jpg)
Клиентская
часть
Клиентский инструмент
управления системой
![Page 22: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/22.jpg)
Интерфейс
![Page 23: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/23.jpg)
Опыт интеграции
![Page 24: Валерий Сафронов Новый уровень автоматизации тестирования ПО](https://reader034.vdocuments.site/reader034/viewer/2022052621/557ed8c6d8b42a57098b47a2/html5/thumbnails/24.jpg)
Спасибо за внимание!
Ваши вопросы…
Пример работы реальной системы
автоматизации тестирования
ПО можно посмотреть здесь:
www.appsys.net/Octopus/Rus