Большим данным — быстрые тесты
DESCRIPTION
Доклад Станислава Буткеева на SQA Days-15. 18-19 апреля, 2014, Москва. www.sqadays.comTRANSCRIPT
![Page 1: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/1.jpg)
Большим данным –
быстрые тесты
Станислав Буткеев
![Page 2: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/2.jpg)
О себе
– Ведущий тестировщик в 2ГИС
– За плечами 4 года
– Внутренние продукты
WWW.2GIS.RU
![Page 3: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/3.jpg)
Мы знаем, что вы делали прошлым летом
– куда кликали,
– что искали,
– что смотрели
![Page 4: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/4.jpg)
![Page 5: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/5.jpg)
2gis.ru
![Page 6: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/6.jpg)
Big
Data Статистика Online
Mobile
Desktop
![Page 7: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/7.jpg)
«Big Data – большой объём
информации, её разнообразие и
необходимость очень быстрой
обработки данных»
![Page 8: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/8.jpg)
Состав хранилища данных
Статистика
Справочники
WWW.2GIS.RU
![Page 9: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/9.jpg)
20Гб ежедневно
+ 4Тб
![Page 10: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/10.jpg)
Скачивания
баз оболочек 10 000
![Page 11: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/11.jpg)
Москва Скачивания
баз оболочек 1000
![Page 12: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/12.jpg)
Москва
Март 2014
Скачивания
баз оболочек 600
![Page 13: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/13.jpg)
Москва
Март 2014
Один запуск
Скачивания
баз оболочек 200
![Page 14: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/14.jpg)
Как тестировать?
![Page 15: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/15.jpg)
Хранилище
данных
Внутр.
продукты
Базы
сырой
стат-ки
Внешние
продукты Отчёты
OLAP
кубы
WWW.2GIS.RU
парсеры
SSIS
![Page 16: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/16.jpg)
14.02
Дата
Кол-во
WWW.2GIS.RU
Посещение рубрик
?
![Page 17: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/17.jpg)
14.02
Дата
Кол-во
WWW.2GIS.RU
Посещение рубрик
Цветы
![Page 18: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/18.jpg)
![Page 19: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/19.jpg)
![Page 20: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/20.jpg)
![Page 21: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/21.jpg)
Какие есть проблемы?
![Page 22: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/22.jpg)
Проблемы
– Данных очень много, 4Тб
– Сложные взаимосвязи между справочниками
и статистикой пользователей
– Длительное время для сборки кубов
![Page 23: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/23.jpg)
Долгое тестирование
Целых 2 дня
![Page 24: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/24.jpg)
Автоматизация
–Исключить человеческий фактор
–Проверка связей между справочниками
и фактами
–Корректность данных в кубах
![Page 25: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/25.jpg)
1. Автотесты
![Page 26: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/26.jpg)
Автотесты на кубы
![Page 27: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/27.jpg)
2 дня 1 день
Результат №1
WWW.2GIS.RU
![Page 28: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/28.jpg)
2 дня Прогон тестов - 4ч
Результат №1
WWW.2GIS.RU
Подготовка базы – 20ч
![Page 29: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/29.jpg)
2. Нужно уметь создавать
срез хранилища
![Page 30: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/30.jpg)
Подготовка тестовой среды
1. Резвёртывание тестовых БД (MSSQL, OLAP)
2. Копирование таблиц
3. Обработка кубов
10 WWW.2GIS.RU
![Page 31: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/31.jpg)
ToolStick
WWW.2GIS.RU
![Page 32: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/32.jpg)
![Page 33: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/33.jpg)
WWW.2GIS.RU
Один конфиг на сборку куба
![Page 34: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/34.jpg)
WWW.2GIS.RU
Несколько конфигов на каждый куб
![Page 35: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/35.jpg)
WWW.2GIS.RU
Общий конфиг для всех кубов
![Page 36: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/36.jpg)
Результат №2
WWW.2GIS.RU
1 день
1 час
![Page 37: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/37.jpg)
БОНУС
Автоматизация пакетов
интеграции
![Page 38: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/38.jpg)
Другие возможности
1. Запуск SQL, PostgreSQL-скриптов
2. Создание связанных серверов
3. Запуск cmd-файлов
4. Работа с rabbit-очередями
WWW.2GIS.RU
![Page 39: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/39.jpg)
WWW.2GIS.RU
Несколько конфигов на каждый пакет
![Page 40: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/40.jpg)
WWW.2GIS.RU
Общий конфиг для всех пакетов
![Page 41: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/41.jpg)
WWW.2GIS.RU
Автотесты на пакеты
![Page 42: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/42.jpg)
ИТОГО
WWW.2GIS.RU
+ ToolStick Автотесты
![Page 43: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/43.jpg)
3. Сontinuous Integration
![Page 44: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/44.jpg)
ToolStick + MSTest = TeamCity
![Page 45: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/45.jpg)
![Page 46: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/46.jpg)
![Page 47: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/47.jpg)
Результаты выполнения теста
WWW.2GIS.RU
![Page 48: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/48.jpg)
Результат №3
WWW.2GIS.RU
1 час 0 мин
![Page 49: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/49.jpg)
WWW.2GIS.RU
Покрытие
42%
![Page 50: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/50.jpg)
Заключение
Big Data тоже можно тестировать быстро:
– Использование фреймворков (ToolStick)
– Автотесты
– CI
WWW.2GIS.RU
![Page 51: Большим данным — быстрые тесты](https://reader030.vdocuments.site/reader030/viewer/2022020206/5468c10daf795997108b50bc/html5/thumbnails/51.jpg)
WWW.2GIS.RU
https://github.com/2gis/ToolStick