Трудности при разработке сложных распределённых...

Трудности при разработке сложных распределённых систем на Java. Способы решения проблем.

2

Вводная часть

Цель выступления1. Нет цели научить и рассказать как делать проекты.

2. Нет цели научить разрабатывать проект «from scratch».

Основная цель выступления - Познакомить аудиторию с реальным опытом разработки большого JAVA приложения.

1. Познакомить с применяемыми принципами анализа требований

2. Рассказать подходе к управлению требованиями

3. Использование системы хранения версий.

Познакомить с реальной жизнью в проектах. Рассказать о своём опыте.

Термины. Определения1. «Большая система».

2. Подсистема.

Часть 1. Проработка архитектуры. Обеспечение дальнейшего развития.

4

Часть 1. Проработка архитектуры (1)

Архитектура приложения определяет:

1. Функции, которые будет выполнять приложение в целом

2. Компоненты из которых будет состоять приложение

3. Функции которые будут выполнять компоненты

4. Как компоненты будут взаимодействовать между собой

Правильный анализ – залог будущего вашего проекта

5


Основные составляющие архитектуры:

1. Authentication/Authorization (User, Password, Roles)

2. Управление конфигурацией приложения – глобальные и локальные переменные, настройки

3. Deployment strategy (including tools)

4. Функции которые будут выполнять компоненты

5. Как компоненты будут взаимодействовать между собой

6. Доступ к данным – DataBase, в файлах, внешние системы

7. Схема работы с исключительными ситуациями.

8. Принципы логирования

9. Взаимодействие с пользователем, определение общего подхода

10. Data validation

6


Разделение общего целого на блоки. First application Second application

Не скатываться к - «Целое состоит из частей»

1. Общий код переносится из одной

части системы в другую

2. Группировка сущностей в пакет

3. Выделение общего функционала в отдельные пакеты

Пакет как отдельная подсистема-проект.

7


Влияние факторов на процесс разработки.

Одно принятое решение = один фактор влияния

Technical debt1. Business pressure

2. Lack of process or understanding

3. Lack of building loosely components

4. Lack of design/project documentation

5. Feature parallel development

6. Delayed refactoring.

7. Laziness of project staff.

8


Предвидение будущего. Масштабирование нагрузки.Первый этап оптимизация

Основные шаги оптимизации

1. Запросы к DB. Скорость получения результата.

2. Необходимость изменения структуры DB

3. Анализ алгоритмов обработки данных

4. Оптимизация –, есть ли необходимость оптимизировать структуру DB, алгоритмы обработки данных (оптимальная работа алгоритмов)

Масштабирование

5. Вертикальное – увеличение ресурсов в рамках одного узла.

6. Горизонтальное – добавление новых узлов.

Закон Амдала

В случае, когда задача разделяется на несколько частей,

суммарное время её выполнения на параллельной системе не

может быть меньше времени выполнения самого длинного фрагмента

9


Часть 2. Декомпозиция на отдельные независимые подсистемы.

11

Часть 2. Декомпозиция (1)

Декомпозиция1. Как часть аналитического метода

2. Как часть работ по планированию

3. Разделение

одной большой задачи

на группу мелких задач

12

Часть 2. Декомпозиция (2)

Разработка в два основных этапа:1. Разработка базовой функциональности

2. Разработка отдельных подсистем, как самостоятельных проектов.

Часть 3. Процесс разработки распределённой системы.

14

Часть 3. Процесс разработки (1).

Разработка проекта несколькими независимыми группами разработчиков

15

Часть 3. Процесс разработки (2).

Процесс отчётностиПоследствия неверно составленного отчёта

1. Трата времени на выяснение действительного статуса работ.

2. Несвоевременное принятие решений по проекту. Потеря времени может оказать негативное влияние на проект в целом.

Способы решения

3. Формулировка в отчёте по задаче должна отвечать на вопрос - Что сделал? Какой результат?

4. Детальное описание результата.

5. Единое время посылки отчётов для всех инженеров.

Часть 4. Поддержка процесса разработки с помощью AccuRev.

17

Часть 4. Процесс разработки. AccuRev (1)

Дано:1. Команда разработчиков, тестировщиков, аналитиков, архитекторов…. Более 100 человек.

2. Исходный код, который содержит несколько миллионов строк.

Почему AccuRev3. Необходимость обеспечить сложную разветвлённую структуру версий разрабатываемого продукта

4. Регламентированные роли доступа – инженеры различных категорий, лидеры групп, QA инженеры, релиз инженеры.

5. Обеспечение различных уровней доступа к коду для разных категорий специалистов.

Особенности работы6. Нет привычных терминов tag, branch, trunk.

7. Оригинальная терминология. Каждый новый сотрудник должен пройти небольшой вводный курс.

18


Терминология:

Stream

19


Picture source: http://www.accurev.com/scm-features.html

20



Snapshot

21



Promote

22



23



24



25


Часть 5. Как работать с большим объёмом требований. Contour. Управление требованиями в проекте с помощью Contour

27

Часть 5. Требования. Contour (1)

Что такое изменение требований?- CR (Change Request)

- New Feature

Цели- Добавить новый функционал

- Добавить новую возможность

- Изменить существующий бизнес процесс.

- Внести изменения в

28


Инициаторы изменений Представители заказчика разного уровня– аналитики, участники различных бизнес процессов.

Бизнес аналитик со стороны исполнителя проекта

Архитекторы

Представители отдела R&D (Research and Development)

Формулировка требования с точки зрения аналитика.Пример:

Система должна логировать действия пользователя при изменениях в реестре товаров.

29


Формулировка требования с точки зрения архитектора системы.1. Все операции изменения реестра должны содержать атрибут «Исполнитель»

2. Добавить журнал изменений. Просмотр журнала изменений.

Формулировка задачи для разработчиков3. Задача 123 – разработать Журнал изменений

4. Добавить атрибуты ID пользователя (Long userId;) и текст изменения (String changeMessage;)

5. При внесении изменения в реестр создавать запись в журнале изменений.

Формулировка задачи для тестировщиков. Тестовый сценарий.6. Войти в систему под тестовым пользователем, который имеет право на изменение в реестре товаров.

7. Произвести изменение в реестре.

8. Убедиться, что изменение отражено в журнале изменений.

Работа началась……..

30


STOP

Заказчик снова меняет требования после начала работ.1. Производить запись в журнал изменения, которые касаются только добавления новых позиций в

реестр.

Сложности и возможные ошибки:2. Внести изменения во все связанные документы. Высока вероятность того, что необходимые изменения

будут внесены не во все связанные документы.

3. Проинформировать всех заинтересованных лиц. Высока вероятность того, что не все будут проинформированы о произошедших изменениях.

Как следствие – потеря времени на установление истины.

31


Единый репозиторий требований Countour.1. Взаимные связи.

2. Поддержка хранения версий документов.

3. Синхронизация.

Преимущества использование Contour4. Все требования и изменения к ним публикуются в Contour.

5. Уникальные идентификаторы для каждого документа. Поддержка связей между документами.

6. Всем участникам проекта доступна одинаковые версии документов. Описание требований, тест планы.

7. Просмотр истории изменений.

8. Уведомление. Каждый разработчик и тестировщик, которые работают над разработкой конкретной feature получает уведомление о внесённых изменениях.

32


Picture source: http://www.jamasoftware.com/contour/screenshots.php

33



34


Пример.

FEATURE_000123 123 – номер feature

FR-123-000001 – Функциональное требование

35



Часть 6. Тестирование финального продукта в облаке.

37

Часть 6. Тестирование. Облако (1)

Часто встречающаяся проблемаБольшая система требует много аппаратных ресурсов для промежуточного и финального тестирования.

Обеспечение каждого сотрудника проекта

необходимыми аппаратными средствами

может привести к значительному

перерасходу бюджета проекта.

38

Часть 6. Тестирование. Облако (2)

Пример решение проблемы

Серверы

Группы разработчиков

QA инженеры

Часть 7. Поддержка и дальнейшая модернизация проекта. Bug fixing and new features.

40

Часть 7. Bug fixing and new features (1)

Непрерывный bug fixing

Работа двух команд из разных часовых поясов

Нижний Новгород

США

Transfer meeting

Email transfer

41

Useful Links.

http://www.accurev.com

http://www.jamasoftware.com/contour

http://home.wlu.edu/~whaleyt/classes/parallel/topics/amdahl.html

http://en.wikipedia.org/wiki/Amdahl's_law

http://cc2e.com/

http://www.accurev.com/

http://www.jamasoftware.com/contour

http://home.wlu.edu/~whaleyt/classes/parallel/topics/amdahl.html

http://en.wikipedia.org/wiki/Amdahl's_law

http://cc2e.com/

42

Questions Time.

43

Contacts

Thank You and

We Look Forward to Working with You

Auriga, USA 92 Potter Rd, Ste 1Wilton, NH 03086, USAPhone: +1 (866) 645-1119Fax: +1 (603) [email protected] www.auriga.com

Auriga, Russia125 Varshavskoe Shosse, Unit 16A

Moscow, 117587Tel:+7 (495) 713-9900 Fax:+7 (495) 939-0300

[email protected] www.auriga.com

Трудности при разработке сложных распределённых...

Documents

contour contour

accurev streams

contour feature

snapshot stream

picture source

workspace stream

stream branch tag

trunk feature main