Core Systems Transformation Solutions
Улучшение Процесса Тестирования:
Контентные Модели
Мария Терёхина, Н. Новгород, 2014
1
Обо Мне
Образование:• ННГУ им. Лобачевского, 2010 – магистратура МехМата
Опыт:• 2008-2011 “Symphony Teleca”: desktop приложения (PC Sync для
Android), мобильные телефоны (Win, Android платформы), приложения для мобильных телефонов (Symbian);
• 2011-2012 “Tecom”: Windows приложения для системы автоматизации цифрового телевидения
• 2012- “Return on Intelligence”: web-приложения (HR Management, Benefits Management systems)
• 2014 (Part Time) “Freemake”: IPhone приложения, desktop приложения
2
Цель
• Поделиться опытом становления процесса тестирования ПО в
случае, когда процесс в компании в целом выстроен и работает во
всех областях, кроме тестирования. В тестировании процесса нет.
3
Содержание
• Обзор моделей улучшения процесса
тестирования
• Процесс внедрения улучшений
• Применение Контентых моделей: пример
4
Подходы к Улучшению Тестового Процесса
• Контентные Модели
– CTP (Процесс Тестирования Критичных Областей/Critical
Testing Process)
– STEP (Процесс Систематического Тестирования и
Оценки/Systematic Test and Evaluation Process)
• Процессные Модели
– TMMi (Модель Зрелости Тестирования/Testing Maturity Model Integration)
– TPI ® (Улучшение Процесса Тестирования/Test Process Improvement)
– TPI Next
• Аналитические Подходы
– Агализ Причин/Causal Analysis
– GQM подход (Цель-Вопрос-Метрика/Goal-Question-Metric)
– Анализ на Основе Измерений, Метрик и Показателей/Analysis using Measures, Metrics and Indicators
5
Возможные Ситуации и Подходы к Улучшению
Процесса Тестирования
Модель Основной Процесс
Процесс Тестирования
Контентные модели НЕТ НЕТ
Контентные модели,Процессные модели
ДА НЕТ
Процессные модели НЕТ ДА
Аналитический подход ДА ДА
6
Возможные Ситуации и Подходы к Улучшению
Процесса Тестирования
Модель Основной Процесс
Процесс Тестирования
Контентные модели НЕТ НЕТ
Контентные модели,Процессные модели
ДА НЕТ
Процессные модели НЕТ ДА
Аналитический подход ДА ДА
7
CTP
• Тестирование
• Создание Контекста
• Анализ Рисков Качества
• Оценка Тестирования
• Планирование Тестирования
• Тестовая Команда
• Система Тестирования
• Управление Релизным Тестированием
• Выполнение Тестов
• Отчетность по дефектам
• Отчетность по результатам
• Управление Изменениями
8
STEP- Основные Принципы
• Стратегия тестирования ориентирована на
требования
• Тестирование начинается в начале жизненного
цикла
• Тесты используются как требования и модели
тестирования
• Разработка тестов определяет разработку ПО
• Раннее нахождение дефектов или их предупреждение
• Систематический анализ дефектов
• Инженеры по тестированию и разработчики работают вместе
Планирование Сбор Измерение
9
Шаги для Улучшения
• Инициация
• Измерение/Оценка
• Приоритизирование и планирование [ознакомление участников]
• Определение и переопределние
• Внедрение
• Проверка
• Улучшение
10
Контентные Модели: Пример
1. Инициация
• Проблемы:
– Нет процесса тестирования
– Непонятно что делает инженер по тестированию
– Руководство не уверено, что в тестировании всё хорошо
• Решения:
– Разработать и внедрить процесс тестирования, согласующийся с
текущим процессом разработки
– Повысить прозрачность процесса тестирования
11
Контентные Модели: Пример
2. Оценка
• Шаги:
– Встречи тет-а-тет с МП, БА, Техлидом, Инженером по тестированию:
• Проблемы в тестировании
• Риски в продукте
• Основные проблемы в процессе (ожидания)
– Обзор текущего состояния тестирования
• Решения:
– Разработать прозрачный процесс тестирования
– Ознакомить команду с процессом тестирования
– Ознакомить с правилами приоритезации и внедрить приоритезацию в
процесс тестирования
– Ознакомить с принципами оценки затрат (временных) и внедрить в
процесс тестирования
12
Контентные Модели: Пример
3. Порядок Действий
– Разработать и внедрить процесс тестирования
– Повысить прозрачность процесса тестирования
– Ознакомить с правилами приоритезации и внедрить приоритезацию в
процесс тестирования
– Ознакомить с принципами оценки затрат (временных) и внедрить в
процесс тестирования
13
Контентные Модели: Пример
4. Планирование
– Внедрение процесса тестирования:• Разработка тест-плана и следование ему
– Повышение прозрачности процесса тестирования:• Написание чек-листов*
• Создание и отслеживание задач по тестированию
• Ознакомление команды с Exploratory тестированием
• Ознакомление команды со стандартами по качеству (ISO 9126, ISO 9000-2005)
– Ознакомить с правилами приоритезации и внедрить приоритезацию в процесс тестирования
• Написание чек-листов, содержащих только Smoke тесты
• Приоретизация дефектов- митинги по оценке качества (CCB)
• Приоретизация тестовых задач и выполнение их согласно приоритетам
– Ознакомить с принципами оценки затрат (временных) и внедрить в процесс тестирования
• Каждая задача по тестрованию не должна занимать более 1 “Working Session”(декомпозиция)
14
Контентные Модели: Пример
5. Определение и переопределение
• Шаги:
– Тет-а-тет встречи после окончания каждого этапа выработки решений
– Тет-а-тет встерчи после окончания каждого этапа внедрения
изменений
– Периодические Retrospective встречи
15
Контентные Модели: Пример
6. Внедрение
• Шаги:
– Следование разработанному плану
– Проведение семинаров/бесед в зависимости от потребностей
команды
– Работа в команде (присутствие на Standup митингах)
– Периодические Retrospective встречи
16
Контентные Модели: Пример
7. Улучшение
17
CTP
• Тестирование
• Создание Контекста
• Анализ Рисков Качества
• Оценка Тестирования
• Планирование Тестирования
• Тестовая Команда
• Система Тестирования
• Управление Релизным Тестированием
• Выполнение Тестов
• Отчетность по дефектам
• Отчетность по результатам
• Управление Изменениями
STEP
• Стратегия тестирования ориентирована на требования
• Тестирование начинается в начале жизненного цикла
• Тесты используют требования и модели тестирования
• Разработка тестов перед разработкой ПО
• Раннее нахождение дефектов или их предупреждение
• Систематический анализ дефектов
• Инженеры по тестированию и разработчики работают вместе
Контентные Модели: Пример
Начальные условия
18
CTP
• Тестирование
• Создание Контекста
• Анализ Рисков Качества
• Оценка Тестирования
• Планирование Тестирования
• Тестовая Команда
• Система Тестирования
• Управление Релизным Тестированием
• Выполнение Тестов
• Отчетность по дефектам
• Отчетность по результатам
• Управление Изменениями
STEP
• Стратегия тестирования
ориентирована на требования
• Тестирование начинается в начале
жизненного цикла
• Тесты используют требования и
модели тестирования
• Разработка тестов перед
разработкой ПО
• Раннее нахождение дефектов или
их предупреждение
• Систематический анализ дефектов
• Инженеры по тестированию и
разработчики работают вместе
Контентные Модели: Пример
Результат
19
Контентные Модели: Пример
Подведение итогов
• Бизнес:
Спокойствие по поводу того, что происходит в тестировании
• Команда:
Уменьшение временных затрат
Понимание процесса тестирования (возможность
взаимозаменяемости)
Уверенность в качестве тестирования
Видение реальных проблем в качестве и в тестировании
• Пользователи:
Нет данных на данный момент
20
Контентные Модели: Пример
Обратная Связь
• Ознакомить команду с планами и приоритетами в самом начале;
• Поддерживать обратную связь в разрезе стратегии;
• Наличие человека в команде, постоянно контролирующего
процесс внедрения изменений;
• Первые тет-а-теты заменить общим митингом?
21
Литература
• “Critical Testing Processes”, Rex Black
• “Managing the Testing Process”, 3rd Edition, Rex Black
• ISTQB “Advanced Level Syllabus Test Manager”, ver. 2012
• www.google.ru
22
Вопросы