testing mistakes
Post on 25-Jan-2015
440 Views
Preview:
DESCRIPTION
TRANSCRIPT
РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ
2
Цели и задачи:
• Что за ошибки?• Почему это ошибки?• Как их избежать?
Oracle ISV Forum 3
Классификация ошибок
• Идеология и методология• Планирование• Персонал• Механика• Технологии
Oracle ISV Forum 4
ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ
Oracle ISV Forum 5
Идеология и методология - 1
Oracle ISV Forum 6
Группа тестирования ответственна за обеспечение качества
• Группа тестирования ответственна за контроль и измерение качества!
• Обеспечение качества – командная задача
Идеология и методология - 2
Oracle ISV Forum 7
«Цель тестирования – нахождение дефектов»
Идеология и методология - 2
Oracle ISV Forum 8
«Цель тестирования – нахождение важных дефектов»
Важных - ?
Идеология и методология - 3
Oracle ISV Forum 9
• Удобство использования• Вопросы масштабирования• Вопросы локализации• …
Узость представление о тестировании – что считать дефектами?
Идеология и методология - 4
Oracle ISV Forum 10
Пренебрежение оценками качества и качеством этих оценок• Метрики• Покрытие• Тестирование• Контекст оценок
Идеология и методология - 5
Oracle ISV Forum 11
Слишком позднее начало тестирования
• Некогда проводить• Некогда исправлять• Пропускаем дефекты• …
Oracle ISV Forum 12
Идеология и методология - сумма
• «Цель команды тестирования – обеспечение качества»
• «Цель команды тестирования – находить дефекты»
• Узость взглядов на задачи тестирования
• Пренебрежение оценками качества и качества оценок
• Слишком позднее тестирование
ПЛАНИРОВАНИЕ
Oracle ISV Forum 13
Oracle ISV Forum 14
Неправильное определение рисков
Планирование - 1
• Ставит под вопрос эффективность всего следующего процесса
• Упускаем важные дефекты
Планирование - 2
Oracle ISV Forum 15
Излишний фокус на функциональном тестировании
• Пользователь реализует свои задачи, а не функционал
• Упускаем типовые шаблоны работы пользователей• Можем пропустить важные ошибки
Планирование - 3
Oracle ISV Forum 16
Планирование нагрузочных тестов на последний момент
• Тяжело• Долго• Дорого исправлять
Планирование - 4
Oracle ISV Forum 17
Переоценка возможностей β-тестирования• Предвзятость тестеров• Несерьезное использование (не «боевое»)• Редко отсылают отчеты о дефектах• Ценность отчетов сомнительна• Не дают отчетов по удобству использования
Планирование - 5
Oracle ISV Forum 18
В планы не вносится «исследовательское» тестирование
• Гипотетические дефекты пропускаются• Не испытываются новые последовательности
действий
Oracle ISV Forum 19
Планирование- сумма
• Неправильное определение рисков• Излишний фокус на функциональном
тестировании• Планирование нагрузочных тестов на
последний момент• Переоценка возможностей β -
тестирования• Отсутствие в планах
«исследовательского тестирования»
ПЕРСОНАЛ
Oracle ISV Forum 20
Oracle ISV Forum 21
«Тестирование – для начинающих программистов»
Персонал - 1
• Стремятся проявить себя как программисты• Могут получится «специалисты по инструментам»• Нетерпеливость• Незаинтересованность
Oracle ISV Forum 22
«Тестирование – для неудавшихся программистов»
Персонал - 2
• Невнимательный программист – невнимательный тестировщик
• Усталость• Незаинтересованность
Oracle ISV Forum 23
Отсутствие специалистов в предметной области
Персонал - 3
• Пропускаем важные дефекты• Неэффективно тестируем• Не знаем, как наши пользователи работают с
продуктом
Oracle ISV Forum 24
«Тестировщик должен уметь программировать»
Персонал - 4
• Можно научить и специалиста-предметника• Лучше хорошо тестировать чем не очень хорошо
программировать
Oracle ISV Forum 25
Пробелы в знаниях команды тестирования
Персонал - 5
• Тяжело компенсировать• Пропускаем важные дефекты, и некому на это
указать
Oracle ISV Forum 26
«Программисты не должны тестировать»
Персонал - 6
• Не все может быть протестировано тестировщиком
• Кто кроме программиста лучше знает его код?
Oracle ISV Forum 27
Персонал - сумма
• «тестирование – для начинающих программистов»
• «тестирование – для неудавшихся программистов»
• Отсутствие специалистов в предметной области
• «Тестировщик должен программировать»• Пробелы в знаниях команды тестирования• «Программисты не должны тестировать»
МЕХАНИКА
Oracle ISV Forum 28
Oracle ISV Forum 29
Невнимательность к тест-дизайну
Механика - 1
• Пропускаем сложные сценарии• Пропускаем важные тесты• Производим синтетические тесты
Oracle ISV Forum 30
Чересчур подробные сценарии
Механика - 2
• Сложно поддерживать• Долго писать• «А что будет, если мы интерфейс поменяем?»
Oracle ISV Forum 31
Чересчур обобщенные сценарии
Механика - 3
• Сложно поддерживать• Понятны только автору• «И как это проверять?»
Oracle ISV Forum 32
Тестирование продукта только через UI
Механика - 4
• Пропускаем дефекты, связанные с внутренней архитектурой (утечки, сроки, …)
• Теряем контроль за происходящим в системе
Oracle ISV Forum 33
«Плохие» отчеты об ошибках
Механика - 5
• Трудно повторить• Трудно понять• Не описывают, что именно неправильно• Не описывают, как правильно надо• Не могут помочь в отладке• Служат причиной обиды
Oracle ISV Forum 34
Механика - сумма
• Невнимательность к тест-дизайну• Чересчур подробные сценарии• Чересчур общие сценарии• Тестирование продукта только через
UI• «Плохие» отчеты об ошибках
ТЕХНОЛОГИИ
Oracle ISV Forum 35
Oracle ISV Forum 36
«Мы прогоним 100% наших ручных скриптов!»
Технологии - 1
• Долго, если вообще реально• Зачем, если вероятность найти дефект для
некоторых тестов мала, но ресурс мы израсходуем?
Oracle ISV Forum 37
«Давайте мы автоматизируем все!»
Технологии - 2
• Тяжело• Долго• Малое соотношение «время
разработки/количество найденных дефектов»
Oracle ISV Forum 38
«С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много тестов»
Технологии - 3
• Требует много времени на редактирование• Требует много времени на поддержку• Как правило не понимает custom - элементы
Oracle ISV Forum 39
«С помощью наших регрессионных тестов мы найдем много дефектов!»
Технологии - 4
• Статистика показывает, что новые тесты справляются лучше
• Найдем, но лучше спроектировать новые тесты• Регрессионное тестирование надо проводить с умом
Oracle ISV Forum 40
«Мы должны обеспечить 100% покрытие»
Технологии - 5
• Слабое утверждение с точки зрения нахождения важных дефектов
• Не самая показательная метрика• Много времени может уйти только на покрытие,
вместо поиска дефектов
Oracle ISV Forum 41
«А зачем нам контролировать покрытие?»
Технологии - 6
• Не дает представления о текущей ситуации• Не дает метрик для анализа следующих релизов и
похожих проектов
Oracle ISV Forum 42
Технологии - сумма
• 100% прогон ручных тестов• 100% автоматизация• Неразумное регрессионное
тестирование• Переоценка важности тестового
покрытия• Недооценка важности тестового
покрытия
Oracle ISV Forum 43
Вопросы?oracle-isv@atermath.com
top related