Первоклассное тестирование

Евгений Ланцов. Return On Intelligence.

Содержание

• Тестирование это больше, чем поиск дефектов• Какую информацию может предоставить тестирование?• Помогаете ли вы своим тестировщикам?• Насколько ценно ваше тестирование?• Как сделать вашу команду тестирования первоклассной?

Кому это может быть интересно?

• Менеджерам, сомневающимся в пользе, которую приносит их команда тестирования

• Менеджерам, желающим увеличить ценность тестирования

• Менеджерам, которым предстоит продавать тестирование заказчику

• Тест менеджерам, набирающим команду тестирования

• Тестировщикам, желающим понять, к чему стоит стремиться, чтобы найти хорошую работу

Восприятие – это все

Что менеджеры зачастую думают о тестировании:– Узкое место– Хранители качества– Любители все сломать– Кликающие по кнопкам– Специальные знания не обязательны– Дорогостоящее излишество– Отвечает за качество продукта и гарантирует качество

Истинная цель тестирования

• Истинная цель тестирования – это предоставление информации о состоянии продукта.

• “The ultimate reason testers exist is to provide information that others on the project use to create things of value.” James Bach

• “Testing is a service role. Feel good about that. The service you provide is vital.” Cem Kaner

• Чтобы оценить тестирование нужно оценить информацию, которую оно предоставляет

Кто способен оценить информацию?

Тестирование – центр колеса

QA

Директорат

Пользователи

Тех. поддержка

SQA

Менеджмент проекта

Разработчики

Маркетинг

Технические писатели

Информация для разработчика

• Цель: Написать код вовремя без грубых ошибок. Чтобы заказчик не нашел серьезных дефектов. Иначе, буду выглядеть глупо в глазах команды, особенно менеджера.

• Вопросы:– Сколько дефектов я допустил?– Они разбросаны по коду или все в одном месте?– Я делаю разные ошибки или одни и те же?

• Метрики:– Количество дефектов на количество строк кода– Распределение дефектов по функционалу (модулям)– Причины дефектов (root cause)

Информация для тест менеджера

• Цель: Убедиться, что тестировщики нашли бОльшую часть дефектов, и очень немногие просочатся в релиз.

• Вопросы:– Каков процент дефектов найденных до, во время и после

системного тестирования?– Как мы пропустили дефекты?

• Метрики:– Распределение дефектов по фазам тестирования– Анализ пропущенных дефектов, их причины

Информация для менеджера проекта

• Цель: Создать высококачественный продукт, удобный для заказчика, решающий его проблемы и не создающий дополнительных затрат после релиза.

• Вопросы:– Готов ли продукт к релизу – соответствует ли критериям качества?– Каково было бы их влияние (impact) на систему, пропусти мы их?– Сколько еще серьезных дефектов может быть не найдено?– Каково их влияние?

• Метрики:– Количество дефектов на количество строк кода– Оценка оставшегося тестирования– Анализ влияния дефектов (impact analysis)

А также

• Директорат – информации о качестве продуктов компании, информация о рисках, статус проектов по тестированию

• Технические писатели – отзывы о документации, дефекты документации

• SQA – информация о процессе тестирования, проектных процессах, помогающая их улучшать

• Техническая поддержка - информация о результатах анализа и/или тестирования работоспособности, стабильности, надежности, восстановимости продукта и т.д. (reliability, stability, recoverability)

• Пользователи – информация об известных проблемах (known issues), помощь по работе с продуктом

• Маркетинг – информация о тестировании для продвижения компании на рынке

Кто способен предоставить эту информацию?

Первоклассные тестировщики

Первоклассные тестировщики способны:– Оценить дизайн и архитектуру приложения еще до того, как код

написан– Во время написания кода подготовить ручные и

автоматизированные тесты, проверяющие случаи, о которых разработчики даже не думали

– Измерить все, что они протестировали, оценить риски и понять, что протестировано достаточно, чтобы их минимизировать

– Не просто находить и создавать отчеты о дефектах, но предоставлять информацию о продукте и ходе тестирования, принимать участие в анализе требований, дизайне.

Оцените ваше тестирование

• Участвуют ли ваши тестировщики в обсуждениях требований или дизайн митингах?

• Делитесь ли вы всей информацией о продукте с тестировщиками?• Помогаете ли вы тестировщикам с требуемыми тест инструментами?• Улучшаете ли вы тестируемость продукта?• Тратите ли вы на тренинги для тестировщиков столько же, сколько для

разработчиков?• Начинают ли ваши тестировщики работать только, когда код уже

написан?• Обладают ли ваши тестировщики специфической технической

экспертизой? Легко ли найти им замену?

Оцените ваше тестирование

• Нашли ли ваши тестировщики наиболее критичные ошибки до релиза?• Нравится ли разработчикам работать с тестировщиками?• Владеют ли они специфической информацией о продукте и рисках?• Удовлетворены ли они тем, что минимизируют риски продукта до

релиза?• Способны ли они оценить время, необходимое для тестирования, и

объяснить почему?• Бывает ли так, что сроки релиза срываются из-за тестирования?• Могут ли ваши тестировщики читать код наравне с разработчиками? • Можете ли вы оценить объем необходимых изменений в продукте,

основываясь на результатах тестирования?

Как собрать команду первоклассных тестировщиков?

Найм и обучение

4 основных критерия экспертизы:– Фундаментальные знания: техники, типы, этапы тестирования– Опыт: практическое применение фундаментальных знаний, опыт

работы с различными приложениями, способности к освоению новых

– Инструменты/технологии: знание технологий и инструментов, используемых на проекте, обучаемость новым

– Знания предметной области: понимание ожиданий заказчика в конкретных доменах, знание потенциальных проблем, применение этих знаний, специфические техники и типы тестирования

Найм и обучение

• Найм:– Создайте у себя в голове образ идеального тестировщика для

вашего проекта– Для собеседования подготовьте вопросы и задачи на основе своего

проекта– Обращайте внимание на обучаемость и логическое мышление в

первую очередь– Оцените подход к решению нестандартных задач

• Обучение:– Не экономьте на обучении– Проводите тренинги– Сертифицируйте сотрудников– Мотивируйте самообразование

Выводы

• Не всем проектам и командам жизненно необходимо первоклассное тестирование.

• Подумайте, удовлетворены ли вы вашим тестированием.

• Ваша команда может быть способна на многое. Помогите им раскрыть потенциал.

• Не набирайте команду тестирования бездумно.

• Растите профессионалов.

Вопросы?

Использованные статьи

• “The Secret Skill – How to Sell Testing”, Jim Hazen, ST&QA magazine, August 2011

• “No More Second Class Testers!”, Johanna Rothman, pp. 24-32, Better Software magazine, January 2004

• “Proving Our Worth”, Lee Copeland, pp. 32-36, Better Software magazine, July/August 2006