Тестирование программного обеспечения: что, зачем и...

Tестирование программного обеспеченияЧто, зачем и почему?

Software Testing 101

Марат Ахин

Санкт-Петербургский государственный политехнический университет

2014

Марат Ахин (СПбГПУ) Intro 2014 1 / 313

Прелюдия

Содержание

1 ПрелюдияОбеспечение качества ПОТестирование ПО

2 Тестирование за 45 минут

3 Тестирование в процессе разработки ПО


Прелюдия Обеспечение качества ПО

Обеспечение качества ПО

Функциональные vs нефункциональные требования




Функциональные требованияАдекватностьТочностьИнтероперабельностьБезопасность

Нефункциональные требованияНадежностьЭффективностьПоддерживаемостьПереносимость

Как можно их проверять?




Thinking is hard, running is simple. (c)

Запустить программу просто и это можно сделать всегдаДумать о программе сложно и требует «высшего знания»

Будем запускать программу, чтобы проверить, отвечает ли онапредъявленным требованиям


Прелюдия Тестирование ПО

Что такое тестирование ПО?

То, чем вы будете заниматься до 80% времени



Что за вопрос лежит в основе тестирования?

Работает ли это ПО правильно?НЕТ

Работает ли это ПО неправильно?ДА

Тестирование

=

Разрушение



Кому помогает тестирование?Лучший друг верификации и валидации ПОВ чем разница?

Верификация – «мы сделали это правильно»Валидация – «мы сделали то, что надо»



Можем ли мы что-то гарантировать при тестировании?

Данное ПО никогда не упадетПотоки никогда не заблокируютсяВычисления всегда выполняются корректноВременные характеристики всегда выдерживаются

Мы можем дать такие гарантии лишь в самых тривиальных случаях,когда обычно все ясно и без тестирования



Почему тестировать сложно?

Brian Kernighan«Debugging is twice as hard as writing the code in the first place.Therefore, if you write the code as cleverly as possible, you are, bydefinition, not smart enough to debug it.»

Massimo Arnoldi (feat. Kent Beck)

«Unfortunately at least for me (and not only) testing goes against humannature. If you realize the pig in you, you will see that you program withouttests.»



Почему тестировать нужно?

Если отложить сегодняшние дела на послезавтра, у вас появятся двасвободных дня! (с)



Что же делать?


Тестирование за 45 минут


1 Прелюдия

2 Тестирование за 45 минутТестирование ПО с точки зрения дилетантаМодель программной ошибкиМодель тестирования ПОПроцесс тестирования ПО

3 Тестирование в процессе разработки ПО


Тестирование за 45 минут Тестирование ПО с точки зрения дилетанта

Тестирование ПО с точки зрения дилетанта

Запустили приложениеПроверили результаты выполнения на предмет наличия в нихошибок

aka «багов»aka «сбоев»aka «дефектов»aka «неудач»

Сперва надо разобраться, а что же такое «программная ошибка»?


Тестирование за 45 минут Модель программной ошибки

Модель программной ошибки

FAILURE

FAULT

ERROR

Неудача – наблюдаемое снаружинекорректное поведение программыСбой – некорректное состояниепрограммы из-за ошибкиОшибка – ошибка в самойпрограмме, внесенная на этаперазработки

Рассмотрим данную модель на примере




Найдите ошибку в следующей программе на Java

1 int sumCollection(final @NotNull Collection <Integer > c) {2 int sum = 0;3 for (int i : c) {4 sum += i;5 }6 return sum;7 }

Возможное переполнение в строке 4




c = {}

Что будет?


Нет ни сбоя, ни неудачи – программа работает корректно




c = {1, 2, 3, 5}

Что будет?


Нет ни сбоя, ни неудачи – программа работает корректно




c = {1, 2, 3, 5, Integer.MAX_VALUE, Integer.MIN_VALUE}

Что будет?


Сбой есть – программа проходит через некорректное состояниеНо неудачи нет – результат работы программы корректен




c = {1, 2, 3, 5, Integer.MAX_VALUE}

Что будет?


Сбой есть – программа проходит через некорректное состояниеНеудача тоже есть – результат работы программы неправильный


Тестирование за 45 минут Модель тестирования ПО

Что мы делали?

Запускали ПО (мысленно)Сравнивали результаты работы с ожидаемыми (логически)

Можно ли придумать другой способ тестирования?


Тестирование за 45 минут Модель тестирования ПО

Модель тестирования ПОЭталонная модель может бытьпредставлена множеством различныхспособов

неформальное представление о том,«как должна работать программа»формальная техническаяспецификациянабор тестовых примеровкорректные результаты работыпрограммыдругая (априори корректная)реализация той же исходнойспецификации


Тестирование за 45 минут Процесс тестирования ПО

Процесс тестирования ПО

Что может случиться?



Тест прошел

A-WE-SO-ME! ,



Тест не прошел

OH-MI-GOD! /



Ошибка в ПО

Все просто и понятно, да?



Ошибка в эталонной модели

Некорректный тест? Ошибка в спецификации?



Ошибка в тестовом окружении

Баг в тестовой библиотеке?



Ошибка в платформе

Баг в ОС? Аппаратный сбой? Ошибка компилятора?




Является ли данная модель самодостаточной?




Откуда брать эталонную модель?Как сравнивать результаты работы программы и модели?




Когда останавливать процесс тестирования?




Как подобрать входные данные, чтобы:дойти до места с программной ошибкой (Reachibility)испортить состояние программы с появлением сбоя (Corruption)вызвать неудачу в работе программы (Propagation)


Проблемы тестирования Проблемы тестирования

Проблемы тестирования

What’s up, Doc? (с)

Проблема тестовых входных данныхПроблема наблюдаемостиПроблема «останова»Проблема тестового оракула


Тестирование в процессе разработки ПО


1 Прелюдия

2 Тестирование за 45 минут

3 Тестирование в процессе разработки ПОМодели разработки ПОПроблемы тестирования ПО


Тестирование в процессе разработки ПО Модели разработки ПО

Модели разработки ПО

Чем активнее используется тестирование в процессе разработки,тем важнее его правильное использование



Водопадная модель

Строго последовательная модельразработкиТестирование выполняется над всейпрограммой сразуИмеется хорошая эталонная модель

Стоимость поиска и исправленияошибок очень высока



Инкрементальная модель

Разработка проходит в несколькоитерацийТестируются отдельные версиипрограммыИмеется неплохая эталонная модель

Стоимость поиска и исправленияошибок высока



Гибкая модель

Все этапы разработки неразрывносвязаны друг с другомТестированию подвергаются как самапрограмма, так и ее компонентыЭталонная модель есть не всегда

Стоимость поиска и исправленияошибок относительно низка


Тестирование в процессе разработки ПО Проблемы тестирования ПО

Проблемы тестирования ПО

Разве что-то может пойти совсем плохо?



Розовые очки



Розовые очки

Неправильное тестирование создает иллюзию, что все хорошо......тогда как на самом деле все может быть очень и очень плохо

Все тесты проходятВыпускаем код в релиз...BOOM!



Наводнение



Наводнение

Неправильное тестирование создает иллюзию, что все плохо......тогда как на самом деле все вполне себе ничего

Большинство тестов не проходитСадимся и исправляем ошибки...UNREACHABLE!



Прятки



Прятки

Неправильное тестирование создает иллюзию, что все плохо......тогда как на самом деле все плохо в другом месте

Некоторые тесты не проходитСадимся и ищем ошибки...HUH?


Что же делать? Что же делать?



W.I.L.T. What I Learned Today?

W.I.L.T.


Тестирование программного обеспечения: что, зачем и...

Education