О технологии Грид и ее использовании
DESCRIPTION
О технологии Грид и ее использовании. Ю.Ф.Рябов. Содержание. Предпосылки создания и концепции технологии Грид Проект EGEE Национальные Грид инициативы Российский Грид Опорная сеть СПбНЦ (РОКСОН) Информация для контактов. Эволюция интернета. Совместно используем ые ресурсы - Grid. - PowerPoint PPT PresentationTRANSCRIPT
О технологии Грид и ее использовании
Ю.Ф.Рябов
Содержание
• Предпосылки создания и концепции технологии Грид
• Проект EGEE• Национальные Грид инициативы• Российский Грид• Опорная сеть СПбНЦ (РОКСОН)• Информация для контактов
Эволюция интернета
Совместно используемые ресурсы - Grid
Совместно используемая информация - World Wide
Web
Сети соединяющие локальные ресурсы
Совместно используемые сети
Что такое Что такое Grid? Grid?
“GRID” - некоторая аналогия с электрическими сетями (power grid),
предоставляющими всеобщий доступ к электрической мощности.
Предпосылки создания Гридобусловлены
• Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных.
• Наличием во многих организациях вычислительных ресурсов (часто кластеров)
• Необходимостью решения сложных научных, инженерных и бизнес-задач
Компьютерные сети
• Производительность– Вычислительные скорости удваиваются каждые 18 месяцев– Скорости сетей удваиваются каждые 9 месяцев– Разница на целый порядок за 5 лет
• 1986 - 2000– компьютеры: x 500– сети: x 340 000
• 2001 - 2010– компьютеры: x 60– сети: x 4000
Цели создания Грид-инфраструктуры
Среди основных целей создания Грид на данный момент можно выделить:
организация эффективного использования ресурсов решение крупных задач, требующих огромных
процессорных ресурсов, памяти; вычисления с привлечением больших объемов
географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий,медицине,химии и т.д.
коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций.
..
Концепция Грид
• Гибкое, защищённое, координированное пользование вычислительными ресурсами между различными динамичными группами пользователей и организаций.
• Сделать возможным для различных групп пользователей (‘виртуальных организаций’) совместное использование географически удалённых ресурсов при совместной работе, подразумевая отсутствиецентрализованного расположения вычислительных ресурсов,централизированного управления ресурсными центрами
Виртуальная организация- объединение(коллаборация)специалистов из некоторой прикладной области,которые объединяются для достижения общей цели
О технологии ГридГрид Распределенная программно-аппаратная компьютерная
среда с принципиально новой организацией вычислений и управления потоками заданий и данных.
Компьютерная инфраструктура,предназначенная для объединения вычислительных мощностей различных организаций.
На основе технологии Грид Предполагается формирование региональных,
национальных и интернациональных вычислительных компьютерных инфраструктур, предназначенных для решения крупных научно-технических задач.
В идеальном случае пользователя не будет интересовать, где находятся используемые им ресурсы.
О технологии Грид
виртуализация ресурсов — концепция разделения и совместного использования логических и физических устройств в сети.
среда, в которой объединены находящиеся в разных местах глобальной телекомунникационной сети вычислительные ресурсы и которая предназначена для выполнения распределенных приложений, использующих эти ресурсы
технология распределенных вычислений в Интернете впервые серьезно ставится вопрос о гарантированном
качестве обслуживания. новое поколение Интернета.
До До GridGrid
Пользователи из многих центров нуждаются в распределённых ресурсах.
Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных
Различные протоколы и способы доступа – FTP, telnet, кровь, пот и слёзы… и очень слабая поддержка совместной работы в коллаборациях
Вместе с Вместе с Grid Grid
Объединенные сетью центры обработки данных и соответствующее программное обеспечение (”middleware”) - как элемент, “склеивающий” ресурсы
Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения.
Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных
GRID
MIDDLEWARE
Визуализация
Рабочие станции
Мобильный доступ
Суперкомпьютеры,PC-кластеры
Хранилища данных, эксперименты, …
Internet, сети
ППО Грид (ППО Грид (middlewaremiddleware))
Службы Грид (Службы Грид (gLitegLite))
Доступ в Грид
Интерфейс Пользователя
Управление заданиямиУправление данными
Безопасность
Информация и
мониторинг
Служба регистрации
сервисов
Авторизация
Аутентификация
Информационная служба и мониторинг
Каталог
метаданных
Элемент
хранения
Передача
данных
Каталог
файлов и реплик
Вычислительный
элемент
Выбор ресурса и
загрузка заданий
Ресурсыброкер ресурсов
принимает задание от пользователя согласует требования к ресурсам, содержащиеся в
описании задания, с имеющимися в наличии свободными ресурсами и
направляет задание на подходящий сайт.
25
Выбор ресурсаВыбор ресурса
Типы грид-систем с позиций решаемых задач
• Вычислительный Грид для махимальной скорости вычислений за счет распределения задач между различными центрами (Computational Grid);
• Грид для интенсивной обработки огромных массивов данныхданных (Data Grid);
• Семантический Грид для оперирования данными из различных баз данных (Semantic Grid);
Разномасштабные Гриды
Грид “кампуса”
Региональный грид (напр. BalticGrid)
Национальный грид
Международный грид (EGEE)
Ши
ре
сотр
удн
ич
еств
о,
бо
ль
ше
рес
урсо
в
Национальные центры данных, МВЦ, экспериментальные установки
Интситутские данные; кластеры
Международные проекты,..
EGEE проект
EGEE-Enable Grid for E-sciencE
=
Развертывание Грид-инфраструктуры
для науки
Основные цели и задачи проекта EGEE
•Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие
•Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения
•Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований
•Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки
Участники и ресурсы EGEE
• 237 центров в 45 странах
• ~36 000 CPU
• ~ 5 PB дисковой памяти, + tape
• распределённое управление
• >200 ВО из различных областей науки
98k зад./день
Мониторинг узлов EGEE
Приложения в EGEE
•для экспериментов на ускорителе БАК (ATLAS, CMS, ALICE, LHCb)-LCG
• биомедицина и биоинформатика GATE - медицинская томография и планирование процедур радиотерапииgPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов,Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм GPS@ : портал по биоинформатике, посвящённый различным средствам для анализа белков CDSS - клиническая система поддержки принятия решений моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )
Необходимость ГРИД для БАК
• Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить?
• Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять?
• Ресурсы ЦЕРН уже сейчас составляют более 3000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Конкорд
(15 Км)
Воздушный шар(30 Км)
Стопка CD дисков с данными БАК за 1 год (~ 20 Км)
Монблан(4.8 Км)
Топология сети для обработки данных с БАК
Проект WISDOM
• Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным
лекарством и белком-мишенью
• Первый в истории биомедицины сеанс массовой обработки данных
• Исследовано 46 миллионов посадочных лиганд
• Получено более 1 Тб данных
• Были использованы ~1000 компьютеров из 15 стран, что составляет приблизительно 80 машино/лет
• Средний фактор ускорения - 600
Domain distribution of Flexx run jobs
es; 5122
fr; 7580
gr; 2004 il; 263 it; 3687
nl; 3356
tw; 827
uk; 8106
bg; 597 com; 1072
de; 715 cy; 383
pl; 1877
ru; 218
ro; 337
Другие области,использующие инфраструктуру EGEE
• Науки о Земле: наблюдения за поверхностью Земли со спутников, гидрология – проникновение морской воды в прибрежный водоносный слой, климатология – прогнозирование наводнений, физика Земли - численное моделирование землетрясений.
• Геофизика (промышленное приложение Geocluster)• Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO)• Термоядерный синтез (проект ITER)• Вычислительная химия (проекты CHARON, CompChem)• Археология• Финансовые приложения (проект EGRID)•……………………………………………………………………………..
(Всего свыше 200 виртуальных организаций)
Проекты с EGEE
EGEE EGEE-II EGEE-III
Проекты,представленные на
конференции EGEE’07
Взаимодействие проекта EGEE с Грид проектами по бизнесу
• EGEE Business Associates Program
Национальные ГРИД инициативы• Англия UK National Grid Service http://www.ngs.ac.uk• Австрия Austrian Grid Initiative http://www.austriangrid.at• Бельгия BEgrid http://www.begrid.be/• Болгария Bulgarian Grid Consortium, BGGC, http://www.grid.bas.bg/consortium.htm• Хорватия CRO-GRID http://www.srce.hr/crogrid/• Чехия METACentrum http://meta.cesnet.cz• Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet)
http://grid.eenet.ee• Финляндия CSC – Scientific Computing Ltd., http:// www.csc.fi• Франция EGEE-FranceGermanyD-Grid, https://www.d-grid.de/index.php?id=1&L=1• Греция HellasGrid, HG, http:// www.hellasgrid.gr• Ирландия Grid-Ireland http://www.grid.ie/• Израиль Israel Academic Grid (IAG) http://iag.iucc.ac.il• Италия Italian Grid Infrastructure, IGI, http://www.italiangrid.org• Литва Lithuanian Grid LitGrid http://www.litgrid.lt• Голландия Netherlands National Science Grid, internally known as BIGGRID project• Норвегия Norwegian Grid (NorGrid), http:// www.norgrid.no• Польша PL-Grid, http://plgrid.cyfronet.pl (public part in preparation)• Португалия Iniciativa Nacional Grid – INGRID http://www.gridcomputing.pt/• Румыния RoGrid URL: http:// www.rogrid.ro (old version)• Россия Russian Data Intensive Grid (RDIG): http:// www.egee-rdig.ru (?????)• Сербия SerbiaAcademic and Educational Grid Initiative of Serbia AEGIS
http://aegis.phy.bg.ac.yu• Украина Ukrainian Grid, UGrid http://grid.ntu-kpi.kiev.ua/• Швеция Swedish Grid, SweGrid, http://www.swegrid.se/ and http://www.snic.vr.se/• Турция TR-Grid National Grid Initiative, TR-Grid NGI http://www.grid.org.tr • Германия(D-initiative)
D-GRID Initiative(Germany)D-Grid1(2005-2008)D-Grid2(2007-2010)
Проекты в рамках D-grid Consortium:– DGI-интеграционный проект;– AeroGrid-аэрокосмическая инженерия;– BauVOGrid-строительная индустрия;– Biz2Grid- для учреждений;– FinGrid- финансы;– PartnerGrid-для промышленности(>40фирм);
-- MediGRID -для медицины
………………………………………………(Всего > 20 проектов).
RDIG(РДИГ -Российский ГРИД для интенсивных операций с данными)
Цели:
- создание национальной ГРИД-инфраструктуры в интересах научного сообщества с участием организаций из различных областей науки, образования и промышленности
- предпринимать усилия по пропаганде ГРИД-технологий и обеспечивать возможность обучения и подготовки специалистов для использования ГРИД-сервисов в новых исследовательских областях и экономике
- обеспечения полномасштабного участия России в создании глобальной компьютерной ГРИД-инфраструктуры
- консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).
Участники РДИГ
Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).
Сейчас в РДИГ (http://www.egee-rdig.ru) входят 15 институтов (в 2003 году - 8)
Распределение CPU time по регионам
Распределение процессорного времени по российским организациям(сайтам)
Распределенный инженерный R&D центр ДМЗ-Камов
Предпосылки:• Необходимость проведения больших и сложных проектных
работ для создания летательных аппаратов нового поколения или глубокой модернизации существующих.
• Недостаток необходимого количества инженеров-конструкторов в любом из существующих ОКБ для проведения всего комплекса .
• Территориальная разбросанность ОКБ.
(из доклада на совещании в Дубне)
Распределенный инженерный R&D центр ДМЗ-Камов
Постановка задачи:• Возможность распределения из одного центра работ по
исполнителям.• Возможность постоянного контроля над ходом выполняемых работ.• Возможность распределенной работы с современными
CAD/CAM/CAE-системами.• Единая база данных.• Доступность данных в любой момент времени.• Защищенность от несанкционированного доступа.• Уникальность и сохранность данных и стадий их разработки
(протоколирование процесса разработки, архивация промежуточных данных).
• Минимальные капиталовложения.• Возможность рекрутинга через привлечение в виртуальные
коллективы студентов и аспирантов. (из доклада на совещании в Дубне)
О внедрении технологии гридв промышленном масштабе
-Обучение основам технологии (ознакомление руководства,изучение
и тренинг для пользователей);
-Создание ГРИД инфраструктуры как распределенного центра коллективного пользования)
- Подготовка приложений для использования технологии в конкретных областях науки, промышленности, бизнеса
Карта сети
РОКСОН в цифрах
1. Подключено: - академических организаций -40, - организаций образования, культуры, ГНЦ- 22.2. Протяженность ВОК составляет: - общая- >80 км - собственность СПбНЦ РАН – ~50км - аренда - ~30км.3. Количество опорных узлов – 7.4. Скорости магистральных каналов – 1000 MBps. 5. Скорости подключения конечных пользователей - 100 MBps
Опорная сеть СПБНЦ
ПИЯФ РАН МСЦ РАН СПИИРАН
Интернет
1000 Mbps1000 Mbps1000 Mbps
1000 Mbps
Пользователи ГРИД
Пользователи ГРИД
Академический Грид в Санкт-Петербурге
Обучение
• Введение в Грид технологию• Практические занятия с пользователями• Обучение администраторов вычислительных ресурсов
организаций
Место проведения:
в организациях (по запросу)
Контакты
• Рябов Юрий Федорович [email protected]
тел. 88137146076• Новодворский Евгений Григорьевич [email protected]• Олешко Сергей Борисович [email protected]
Полезные ссылки
• http://www.gridclub.ru/ - GRIDCLUB.RU :: Интернет-портал по грид-технологиям
• http://grid.jinr.ru/ - грид-портал ОИЯИ• http://www.eu-egee.org - проект EGEE-II• http://www.egee-rdig.ru/ - RDIG консорциум• http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG• http://egee.sinp.msu.ru - НИИЯФ МГУ• http://egee.pnpi.nw.ru/ - ПИЯФ РАН
Добро пожаловать
работать в ГРИД!
Спасибо за внимание