Серебряная пуля автоматизированного тестирования

35
Совершено убийство

Upload: sqalab

Post on 24-Jan-2015

656 views

Category:

Education


2 download

DESCRIPTION

SQA Days 11. День 1. Секция А. Наталья Руколь Лаборатория Качества Москва, Россия Игорь Любин Undev.ru Москва, Россия

TRANSCRIPT

Page 1: Серебряная пуля автоматизированного тестирования

Совершено убийство

Page 2: Серебряная пуля автоматизированного тестирования

Потерпевший:

• Стартап

• Частные инвестиции

• 14 месяцев разработки

• 9 разработчиков, РМ, 6 тестировщиков

• Ни одного клиента

• Закончилось финансирование

Причина смерти:

Острая Финансовая Недостаточность

Page 3: Серебряная пуля автоматизированного тестирования

Расследование ведут:

Page 4: Серебряная пуля автоматизированного тестирования

Собираем улики

Page 5: Серебряная пуля автоматизированного тестирования

Куда потратили деньги?

• 46% - разработка

• 19% - RnD

• 27% - отладка

• 37% - тестирование

• 24% - автоматизация тестов

• 13% - ручное тестирование

• 11% - реклама

• 6% - орграсходы

Page 6: Серебряная пуля автоматизированного тестирования

Куда потратили деньги?

• 46% - разработка

• 19% - RnD

• 27% - отладка

• 37% - тестирование

• 24% - автоматизация тестов

• 13% - ручное тестирование

• 11% - реклама

• 6% - орграсходы

Page 7: Серебряная пуля автоматизированного тестирования

Проведём допрос!

Page 8: Серебряная пуля автоматизированного тестирования

Я не убивал проект!

• Я работал по 12 часов и написал более 600 тестов!

• Мы сами написали отличный фреймворк.

• Из-за изменений в продукте приходилось часто менять тесты.

• Сейчас у меня всё готово, осталось только баги исправить!

Автоматизатор

Page 9: Серебряная пуля автоматизированного тестирования

Я не убивал проект!

• У нас были автотесты, в стартапах это необходимо

• Эффективность автотестов доказана KPI

• Для автоматизации отбирались наиболее приоритетные тесты

• Мы каждый месяц увеличивали покрытие на 15%

Тест-менеджер

Page 10: Серебряная пуля автоматизированного тестирования

Менеджер проекта

Ух ты!!! У нас были

автотесты???

Page 11: Серебряная пуля автоматизированного тестирования

Зачем начали автоматизировать тесты? Ну не манки-тестингом

же заниматься?! Автотесты – всегда

инвестиция!

Page 12: Серебряная пуля автоматизированного тестирования

Зачем начали автоматизировать тесты? Ну не манки-тестингом

же заниматься?! Автотесты – всегда

инвестиция!

Для повышения качества продукта и

эффективности тестирования

Page 13: Серебряная пуля автоматизированного тестирования

Зачем начали автоматизировать тесты? Ну не манки-тестингом

же заниматься?! Автотесты – всегда

инвестиция!

Для повышения качества продукта и

эффективности тестирования

Ээээ…. Это тестировщики

решали…

Page 14: Серебряная пуля автоматизированного тестирования

Что дала автоматизация тестов? Это к менеджерам, я

сделал всё что сказали

Page 15: Серебряная пуля автоматизированного тестирования

Что дала автоматизация тестов? Это к менеджерам, я

сделал всё что сказали

Page 16: Серебряная пуля автоматизированного тестирования

Что дала автоматизация тестов? Это к менеджерам, я

сделал всё что сказали

Ну эээ… Судя по провалу проекта,

ничего?

Page 17: Серебряная пуля автоматизированного тестирования

Как отбирали тесты? Через одно место отбирали! Самые

сложные в реализации! И всё время менялись…

Page 18: Серебряная пуля автоматизированного тестирования

Как отбирали тесты? Через одно место отбирали! Самые

сложные в реализации! И всё время менялись…

Самые важные для пользователя, мы с

первого дня стремились достичь полного покрытия!!!

Page 19: Серебряная пуля автоматизированного тестирования

Как отбирали тесты? Через одно место отбирали! Самые

сложные в реализации! И всё время менялись…

Самые важные для пользователя, мы с

первого дня стремились достичь полного покрытия!!!

Page 20: Серебряная пуля автоматизированного тестирования

Everybody lies?!

Page 21: Серебряная пуля автоматизированного тестирования

Нет цели: Зачем автотесты? Нет общего понимания Нет стратегического видения

Page 22: Серебряная пуля автоматизированного тестирования

Anti-Monkey: Автоматизировали без ручного тестирования Непонимание пользователя и продукта Пропуск ошибок из-за незнания продукта Задержки в разработке из-за нехватки знаний

Page 23: Серебряная пуля автоматизированного тестирования

Нечёткие задачи: Хочу автотесты!!! Приоритетов нет… Не смогли договориться Вы же профи и сами знаете как надо Недостаточно квалификации

Page 24: Серебряная пуля автоматизированного тестирования

Пустые обещания: Да тут дел на пару дней! Риски? Нет, не слышал. Когда-то тесты всё равно окупятся

Page 25: Серебряная пуля автоматизированного тестирования

Нет процесса: Перекладывание ответственности, не обсудили роли Нет окружений, условий, инструментов Автоматизировали нестабильный продукт

Page 26: Серебряная пуля автоматизированного тестирования

Тюнинг незрелых решений: Много окружений Запуски каждый коммит «Рюшечки» в отчётах

Page 27: Серебряная пуля автоматизированного тестирования

Большие запросы: Полное покрытие ручных тестов Много окружений, регулярный запуск Прогибались под пользователя

Page 28: Серебряная пуля автоматизированного тестирования

Изобрели велосипед: Свой фреймворк, Автозапуск, Отчётность…

Page 29: Серебряная пуля автоматизированного тестирования

Изменения: Не узнали что будет меняться Не доносили информацию об изменениях вовремя Не договорились о стабильности интерфейса

Page 30: Серебряная пуля автоматизированного тестирования

Инженерные ошибки: Не провели анализ инструментов Нет Code Review и Coding Guidelines Разработка на языке продукта! Недостаточное логгирование

Page 31: Серебряная пуля автоматизированного тестирования

Молчание: Не рассказывали про продукт Не говорили про высокоуровневые планы Не предоставляли необходимую информацию

Page 32: Серебряная пуля автоматизированного тестирования

Аутичность: Ничего не спрашивали Не предупреждали о сдвигах сроков Не рассказывали о проблемах

Page 33: Серебряная пуля автоматизированного тестирования

Виновный найден:

Page 34: Серебряная пуля автоматизированного тестирования

Виновный найден: незрелый подход к автоматизации

Page 35: Серебряная пуля автоматизированного тестирования

Здоровья вашим проектам!