Тестируем мобильное приложение в суровых реалиях...

Тестируем мобильное приложение всуровых реалиях интернетаУсов Андрей

[email protected] [email protected] techno.2gis.ru

http://127.0.0.1:8081/[email protected]

http://127.0.0.1:8081/[email protected]

http://127.0.0.1:8081/techno.2gis.ru

• 2 года в тестировании

О себе


• Автоматизирую тестирование бекендов

О себе


• Автоматизирую тестирование бекендов

• Разрабатываю инстументы для

тестирования

О себе

Мобильное приложение 2ГИС v4• iOS, Widows Phone, Android (beta)


• 3 млн. пользователей



• 9 стран

• 288 городов



• 9 стран

• 288 городов

• Работает офлайн

Ищи 2ГИС в любом магазине приложений

Доставкаданных

Нагрузка

• Пиковый трафик 4 Gbps

Нагрузка


• Максимум 400 rps

Нагрузка



• Объем данных 512 Tb в месяц

Нагрузка



• Объем данных 512 Tb в месяц

Но ещё не вышло обновление для Android (65% пользователей)

Критичность

• Всегда актуальные данные



• Обязательства перед партнерами



• Обязательства перед партнерами

• Доставка фич

Технологиядоставки

Устройство

Приложение

Сеть

Серверы

Хранилище

Связь

Выбирает клиент

Требования

• Выбор стабильных серверов для загрузки



• Устойчивость к отказам даже в процессе закачки




• Нативные методы фоновой загрузки (iOS, Windows Phone)




• Нативные методы фоновой загрузки (iOS, Windows Phone)

Оказалось, что эти пункты плохо уживаются

Точки отказа

Нет доступа к сети

Нет связи с сервером

Встроенная рекламаКончился Интернет

Сервер упал

Нет связи с хранилищем

Хранилище упало

Плохая связьОбрывы

Сломалось все

И еще• Перегрузки на сервере


• Редиректы от провайдера



• Ошибки DNS




• Баги в самом web-сервере




• Баги в самом web-сервере

Все эти сценарии необходимо проверить

Проблемы

Сложная настройка окружения• Изменение конфигурации web-сервера (Nginx, Apache)


• Выполнение команд в хост-системе


• Выполнение команд в хост-системе

• Запуск произвольного скрипта на сервере

Большое количество работы• Серверов несколько


• Платформы три


• Платформы три

• Релизов много

Ограничение по ресурсам• Времени мало


• Людей мало



• Людей с экспертизой очень мало



• Людей с экспертизой очень мало

Но тестировать все равно надо

Решение

Требования к инструменту• Минимум операций


• Простота использования



• Простота реализации



• Простота реализации

• Надежность

Декомпозиция задачи• Копирование файлов на сервер


• Конфигурационный файл



• Скрипт



• Скрипт

• Выполнение команд на сервере



• Скрипт


• Перезапуск сервера



• Скрипт


• Перезапуск сервера

• Запуск скрипта

Ansible

Аналоги

Ansible

Почему Ansible?

Про Ansible

Примеры

Inventory. Список серверов [hosts]

host1 ansible_ssh_host=127.0.0.1

ansible_ssh_user=user ansible_ssh_pass=123

host2 ansible_ssh_host=127.0.0.2

ansible_ssh_user=user ansible_ssh_pass=456

Inventory. Задаем переменные [hosts:vars]

return_for_files=502

limit_rate=256K

upstream=root.domain.name

nginx_apply_method=restarted

Playbook. Запускаем команду - name: run-script | Run script

command: tc --help

async: 2678400

poll: 0

Playbook. Копируем файлы - name: configure-nginx | Configure nginx

template: src=../resources/config.j2

dest=./your-server.conf

owner=root group=root mode=0644

Шаблоны

#содержимое config.j2

...

return {{return_for_files}};

...

Эта переменная в inventory [hosts:vars]


limit_rate=256K



Вернемся в playbook - name: configure-nginx | Configure nginx

template: src=../resources/config.j2

dest=./your-server.conf

owner=root group=root mode=0644

Полученный файл #содержимое your-server.conf

...

return 502;

...

Playbook. Перезапускаем сервер - name: restart-nginx | Restart nginx

service: name=nginx state=restarted

when: nginx_apply_method == "restarted"

Та самая переменная в inventory [hosts:vars]


limit_rate=256K



Реализация

• Разбиваем на классы конфигураций



• Коды состояния HTTP




• Лимиты скорости





• Определяем набор параметров для каждого класса





• Определяем набор параметров для каждого класса

• Пишем playbook'и

Важные моменты• Каждая операция должна быть обратима


• Нужно уметь приводить серверы в исходное состояние


• Нужно уметь приводить серверы в исходное состояние

• Пишем мониторинг состояния

Профит

Ранее

• Подлючаемся к каждому серверу

Ранее


• Копируем файлы

Ранее



• Редактируем конфигурацию

Ранее




• Запускаем команды

Ранее




• Запускаем команды

И так каждый раз

Сейчас

• Меняем пару параметров в inventory

Сейчас


• Запускаем нужный playbook

Сейчас


• Запускаем нужный playbook

И всё

Интерфейс

Делаем web интерфейс• Интегрируем в Jenkins


• Используем стандартные средства SCM


• Используем стандартные средства SCM

• Пишем что-то своё

Результаты


• Тестирование обновления данных стало простым



• Найдено большое количество дефектов



• Найдено большое количество дефектов

• Изучено поведение мобильных платформ

Ссылки

• http://www.ansible.com/ - Ansible

• http://habrahabr.ru/post/211306/ - "Обзор: Puppet, Chef, Ansible, Salt"

• https://jenkins-ci.org/ - Jenkins

Вопросы?

Усов Андрей

[email protected]

[email protected]

Тестируем мобильное приложение в суровых реалиях...

Education