Текущее состояние и перспективы Текущее состояние и перспективы развития ЦИВК ОИЯИразвития ЦИВК ОИЯИ

Кореньков В.ВКореньков В.В

Конференция пользователей ЦИВК ОИЯИ 6 февраля, 2008

Статус внешних коомуникаций ОИЯИ

Upgrade of Dubna-Moscow data link up to 10 Gbps in 2008 and up to 40 Gbps in 2010.

Проект развития канала связи Дубна-Москва

Внешний сетевой трафик ОИЯИ

0

50

100

150

200

250

300

2003 2004 2005 2006 2007

TB

Incoming

Outgoing

• Total:

incoming in 2007 – 241.9 TB, outgoing -227.8;

• Most of traffic:

CERN (88.8%),

DESY, INFN, SARA, IN2P3

• 47 local sub-networks;

• Local traffic – 77.6 TB

Created in 2007:• direct point-to-point data channel between JINR LAN and CERN as part of the JINR program of participating in LCG in CERN;• Dubna-City Internet eXchange.

Структура опорной сети ОИЯИ

• Comprises 5880 computers and nodes,Users - 3322Modem pool users - 689Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500;• High-speed transport (1Gbps) (Min. 100 Mbps to each PC);• Controlled-access (Cisco PIX-525 firewall) at network entrance;• Partially isolated local traffic (8 divisions have ownsubnetworks with Cisco Catalyst 3550 as gateways);• General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc.

• Comprises 5880 computers and nodes,Users - 3322Modem pool users - 689Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500;• High-speed transport (1Gbps) (Min. 100 Mbps to each PC);• Controlled-access (Cisco PIX-525 firewall) at network entrance;• Partially isolated local traffic (8 divisions have ownsubnetworks with Cisco Catalyst 3550 as gateways);• General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc.

Plans:Step-by-step modernization of the JINR Backbone – transfer to 10 GbpsDevelopment and modernization of the control system of the JINR highway network

Структура ЦИВК ОИЯИ

670 kSi2K

100 TB Disk

Contract prepared in Dec 2007: SuperBlade – 2 BOX40 CPU Xenon 5430 2.66 GHz Quad Core ~400 kSi2K

Total expected in March, 2008 - 1070 kSi2K

53 servers7 interactive nodes60 4-core computing nodes, Xeon 5150, 8GB RAM.6 2-core computing nodes, Athlon , 2GB RAM, Mirynet.

Site name: JINR-LCG2Internal CICC network – 1Gbit/secOperating system - Scientific Linux 4.4,

Scientific Linux CERN 4.5; Middleware version GLITE-3.1 File Systems – AFS (the Andrew File System) for user Software and home directories is a world-wide distributed file system. AFS permits to share easily files in an heterogeneous distributed environment (UNIXes, NT) with a unique authentication scheme (Kerberos). dCache- for data.User registration system – Kerberos 5 ( AFS use Kerberos 5 for authentication )

Состав ЦИВК ОИЯИ

Интегрированная схема функционирования

ЦИВК ОИЯИ

ЦИВК ОИЯИ в качестве Грид-сайта глобальной

инфраструктуры WLCG/EGEE

JINR provides the following services in the WLCG environment:JINR provides the following services in the WLCG environment:

Basic services - Basic services - Berkley DB Information Index (top level BDII); site BDII; Berkley DB Information Index (top level BDII); site BDII; Computing Element (CE); Computing Element (CE); Proxy Server (PX); Proxy Server (PX); Resource Broker (RB); Resource Broker (RB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); RGMA-based monitoring system collector server (MON-box); RGMA-based monitoring system collector server (MON-box); LCG File Catalog (LFC); LCG File Catalog (LFC); Storage Element (SE), dCache 82 TB;Storage Element (SE), dCache 82 TB;

Special Services - Special Services - VO boxes for ALICE and for CMS; ROCMON;VO boxes for ALICE and for CMS; ROCMON;PPS and testing infrastructure - PPS and testing infrastructure - Pre-production gLite version; Pre-production gLite version;

Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss packages for LHCb.packages for LHCb.

BATCH jobs at CICC2007 year: June - December

LaboratoryLaboratory JobsJobsnumbernumber

CPU time CPU time (kSi2(kSi2kk*hours)*hours)

LITLIT 284284 5142151421..3030

FLNRFLNR 10621062 11823.2611823.26

LPPLPP 36673667 10606.4410606.44

VBLHEVBLHE 363363 9762.619762.61

Foton2Foton2 195195 6992.836992.83

DLNPDLNP 735735 5206.625206.62

BLTPBLTP 2626 315.36315.36

TOTALTOTAL 63326332 96128.4296128.42

Grid Virtual Organizations at JINR CICC: June-December 2007

Grid VOGrid VO JobsJobsnumbernumber

CPU time CPU time (kSi2(kSi2kk*hours)*hours)

ALICEALICE 90 44190 441 1 370 820.401 370 820.40

ATLASATLAS 15 64315 643 48 980.4348 980.43

CMSCMS 52 24952 249 51 883.1851 883.18

LHCbLHCb 10 48410 484 6 604.506 604.50

BIOMEDBIOMED 25 10325 103 164 102.07164 102.07

FUSIONFUSION 9 2089 208 145 053.80145 053.80

OthersOthers(ops, dteam, hone)(ops, dteam, hone)

17 66517 665 47 022.1047 022.10

TOTALTOTAL 220 793220 793 1 834 466.491 834 466.49

dCache in JINR

Internet / GRID

lxfs07

lxfs07lxfs07

lxfs07lxpub01

lxfs07lxfs07

lxfs07wn…

lxfs07lxfs07

lxfs07lxfs71

RAID

82 TBAdmin

Doors

local

WNs

JINR Backbone

Protocols gFTP, SRM, XROOT

DCAP PNFS

lxfs07lxfs07

lxfs07rda02

Pools

dCache: Files, VO, Discs

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

200000

Прочие BIOMED ATLAS CMS

Ряд1

ATLAS

CMS

FREE!Total 82 ТВ

Files

other

Проекты в области развития grid-технологий

проект проект EU DataGRIDEU DataGRID

WWLCG: LCG: проектпроект гридгрид длядля Большого Адронного Коллайдера Большого Адронного Коллайдера (Worldwide LHC Computing GRID)(Worldwide LHC Computing GRID)

EEGEE: развертываниеGEE: развертывание гридгрид--системсистем длядля e- e-наукинауки (The Enabling Grids (The Enabling Grids for E-sciencE)for E-sciencE)

RDIG: RDIG: Российский грид для интенсивных операций с данными Российский грид для интенсивных операций с данными

ЦБГС: Создание прототипа центра базовых grid-сервисов нового ЦБГС: Создание прототипа центра базовых grid-сервисов нового поколенияпоколения для интенсивных операций с распределенными для интенсивных операций с распределенными данными в федеральном масштабеданными в федеральном масштабе

Проект СКИФ-ГРИДПроект СКИФ-ГРИД

Грид мониторинг для эффективного функционирования Грид мониторинг для эффективного функционирования виртуальных организаций виртуальных организаций ((совместный с ЦЕРН)совместный с ЦЕРН)

Проект НаногридПроект Наногрид

Дубна-Грид: создание городской грид-инфраструктурыДубна-Грид: создание городской грид-инфраструктуры

ЦБГСЦБГС

Проект EGEE - Enabling Grids for E-sciencE направлен на создание международной инфраструктуры, основанной на технологиях грид. Проект выполняется консорциумом из 70 институтов в 27 странах, объединенных в региональные гриды.

EGEEEGEE (Enabling Grids for E-scienc (Enabling Grids for E-sciencEE))

Russian Data Intensive GRID (RDIG) Consortium EGEE Federation

ИФВЭ (ИФВЭ (Институт физики Институт физики высоких энергий, Протвиновысоких энергий, Протвино))ИМПБ (ИМПБ (Институт Институт математических проблем математических проблем биологии, Пущинобиологии, Пущино) .) .ИТЭФ (ИТЭФ (Институт теоретической Институт теоретической и экспериментальной физикии экспериментальной физики) ) ОИЯИ (ОИЯИ (Объединенный институт Объединенный институт ядерных исследований, Дубнаядерных исследований, Дубна) ) ИПМ (ИПМ (Институт прикладной Институт прикладной математикиматематики) ) ПИЯФ (ПИЯФ (Петербургский институт Петербургский институт ядерной физики, Гатчинаядерной физики, Гатчина) ) РНЦ «Курчатовский институт» РНЦ «Курчатовский институт» НИИЯФ МГУ (НИИЯФ МГУ (Научно-Научно-исследовательский институт исследовательский институт ядерной физики МГУядерной физики МГУ))

Структурные элементы

ROC – региональный операционный центр в РоссииROC – региональный операционный центр в России– Обеспечение функционирования базовых грид сервисов 24х7Обеспечение функционирования базовых грид сервисов 24х7– Мониторинг и реагирование на черезвычайные ситуацииМониторинг и реагирование на черезвычайные ситуации– Ведение учета ресурсов и выполненных работ (accounting) Ведение учета ресурсов и выполненных работ (accounting) – Управление и поддержка виртуальных организацийУправление и поддержка виртуальных организаций– Поддержка безопасности инфраструктуры, CAПоддержка безопасности инфраструктуры, CA– Сертификация (валидация) грид ПОСертификация (валидация) грид ПО– Поддержка пользователейПоддержка пользователей– Операционная поддержка ресурсных центровОперационная поддержка ресурсных центров

RC – ресурсные центры RC – ресурсные центры (CPU, Disk, Tape)(CPU, Disk, Tape)

VO – виртуальные организации:VO – виртуальные организации:– физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb;

PHOTON, HONE …PHOTON, HONE …– биомед биомед – Fusion Fusion – российские VOs: e-Earth (геофизикароссийские VOs: e-Earth (геофизика), ), – химфизика (химфизика (Черноголовка, МГУЧерноголовка, МГУ ++), ++),

нанотехнологии и наноиндустриянанотехнологии и наноиндустрия

EGEE-II

Основные направления EGEE-II

>20>200 0 ВО из различных ВО из различных областей наукиобластей науки– Астрономия и астрофизикаАстрономия и астрофизика– Безопасность населенияБезопасность населения– Вычислительная химияВычислительная химия– Вычислительные Вычислительные

науки/Программированиенауки/Программирование– Физика конденсированного Физика конденсированного

состояниясостояния– Науки о ЗемлеНауки о Земле– СинтезСинтез– Физика высоких энергийФизика высоких энергий– Науки о жизниНауки о жизни– ........

98k заданий/день

Приложения перешли со стадии тестирования на стадию рутинного и ежедневного использования с эффективностью ~80-90%

Collaborating e-Infrastructures

Potential for linking ~80 countries by 2008

LCG/EGEE Grid LCG/EGEE Grid infrastructureinfrastructure

GridGrid MonitoringMonitoring

В настоящее время RDIG –инфраструктура состоит из 15 ресурсных центров, в которых доступно около 1500 CPU и 500 TB дискового

пространства..

RDIG инфраструктура

RDIG Resource Centres:– ITEP– JINR-LCG2– Kharkov-KIPT– RRC-KI– RU-Moscow-KIAM– RU-Phys-SPbSU– RU-Protvino-IHEP– RU-SPbSU– Ru-Troitsk-INR– ru-IMPB-LCG2– ru-Moscow-FIAN– ru-Moscow-GCRAS– ru-Moscow-MEPHI– ru-PNPI-LCG2– ru-Moscow-SINP

RDIG monitoring&accounting http://rocmon.jinr.ru:8080

Monitored valuesCPUs - total /working / down/ free / busyJobs - running / waiting Storage space - used / availableNetwork - Available bandwidth Accounting valuesNumber of submitted jobsUsed CPU time

Totally sum in secondsNormalized (with WNs productivity)Average time per job

Waiting timeTotally sum in secondsAverage ratio waiting/used CPU time per job

Physical memoryAverage per job

Jun 07Jun 07 Jul 07Jul 07 Aug 07Aug 07 Sep 07Sep 07 Oct 07Oct 07 Nov 07Nov 07 DecDec07 TotalJINRJINR 103,238103,238 244,393244,393 136,615136,615 320,041320,041 365,456365,456 341,876341,876 322,850322,850 1,834,4691,834,469 47.3%47.3%

Russia and JINR Normalized CPU time per SITE (June 2007 - December 2007)

Network bandwidth and reliability of data transfers

The following LHC computing The following LHC computing centers serve as Tier1 centers serve as Tier1 centers for RDIG: centers for RDIG:

FZK (Karlsruhe) –FZK (Karlsruhe) – for ALICE, for ALICE, SARA (Amsterdam) – for ATLAS, SARA (Amsterdam) – for ATLAS, CERN – for CMS (CERN-PROD) CERN – for CMS (CERN-PROD)

and LHCb.and LHCb.

The quality of the JINR – Tier1s The quality of the JINR – Tier1s connectivity is under close connectivity is under close monitoringmonitoring

Average data movement from CERN to JINR 01.2007-11.2007

FTS Monitoring: CERN-JINR transfers

Best transfer-test results for CERN - JINR 01.08.2007-04.08.2007Average throughput 20 MB/s during the whole 04.08

RDIG SITESRDIG SITES

CPU UsageCPU Usage

KSI2KKSI2K Oct.2007 –Oct.2007 –

Jan. 2008Jan. 2008

ReliabilityReliability Data transfers Data transfers from CERN from CERN (TeraBytes) (TeraBytes) Oct.- JanOct.- JanOct.2007Oct.2007 Nov.2007Nov.2007 Dec.2007Dec.2007 Jan.2008Jan.2008

FIANFIAN 462462 5151 9494 4343 9898 --

IHEPIHEP 9939699396 7171 7272 8484 6868 38.538.5

INRINR 5233952339 7979 9393 3535 9393 --

ITEPITEP 462364462364 6363 9393 8844 9696 31.631.6

JINRJINR 10823271082327 9393 9393 9494 9999 6262

MEPHIMEPHI 479479 9292 9595 4444 9898 --

PhysSPbSUPhysSPbSU -- 9696 9797 9292 9696 --

PNPIPNPI 366723366723 4444 8585 00 00 55

RRC-KIRRC-KI 120120 8686 00 00 00 66

SINPSINP 110611110611 2525 00 4949 5858 11.211.2

SPbSUSPbSU 35563556 8686 8383 8888 9595 --

TotalsTotals 2 178 3772 178 377 154.3154.3

AverageAverage 7171 7373 5566 7373

Эффективность RDIG-сайтов

EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and

LHCb) Normalised CPU time by SITE June 2007 - December 2007

1.1. IN2P3-CC 4 731 732IN2P3-CC 4 731 7322.2. CERN-PROD 4 393 875CERN-PROD 4 393 8753.3. FZK-LCG2FZK-LCG2 3 432 919 3 432 9194.4. TRIUMF-LCG2 3 358 117 TRIUMF-LCG2 3 358 117 5.5. INFN-T1 2 244 936INFN-T1 2 244 9366.6. IN2P3-LPC 1 705 242IN2P3-LPC 1 705 2427.7. INFN-PISA 1 438 029INFN-PISA 1 438 0298.8. UKI-NORTHGRID-MAN-HEP 1 369 207UKI-NORTHGRID-MAN-HEP 1 369 2079.9. GRIF 1 368 942GRIF 1 368 94210.10. RAL-LCG2 1 306 579RAL-LCG2 1 306 57911.11. JINR-LCG2 1 217 267JINR-LCG2 1 217 267

Statistics obtained from the EGEE Accounting Portal:Statistics obtained from the EGEE Accounting Portal:http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.htmlhttp://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.html

EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and

LHCb) Normalised CPU time by SITE November 2007 - January 2007

SITE Nov 07 Dec 07 Jan 08 Total

TRIUMF-LCG2 1,229,198 729,033 762,568 2,720,799

INFN-T1 358,604 910,196 625,190 1,893,990

FZK-LCG2 598,618 645,248 640,550 1,884,416

IN2P3-CC-T2 696,033 663,382 368,708 1,728,123

CERN-PROD 504,751 598,155 519,881 1,622,787

IN2P3-CC 466,991 436,611 270,292 1,173,894

NDGF-T1 478,403 405,428 0 883,831

INFN-PISA 339,839 316,014 219,363 875,216

JINR-LCG2 278,157 268,371 254,223 800,751

BNL_ATLAS_1 521,627 866,135 649,666 2,037,428

GLOW 504,109 407,331 175,525 1,086,965

USCMS-FNAL-WC1-CE 732,944 667,043 594,646 1,994,633

Планы развития ЦИВК ОИЯИ

20072007 20082008 20092009 20102010

CPUCPU

(kSI2K)(kSI2K)

670670

(1070)(1070)12501250 17501750 25002500

DiskDisk

(Tbytes)(Tbytes)100100 400400 800800 12001200

Active Active Tapes Tapes

(Tbytes)(Tbytes)00 00 100100 200200

Тор 500

Site Computer Processors Year Rmax Rpeak1Site Computer Processors Year Rmax Rpeak1

DOE/NNSA/LLNLDOE/NNSA/LLNL BlueGeneBlueGene/L /L United States IBM 212992 2007 478200 United States IBM 212992 2007 478200 59637825963782

Juelich (FZJ) Blue Gene/P Juelich (FZJ) Blue Gene/P Germany IBM 65536 2007 167300 2228223Germany IBM 65536 2007 167300 2228223New Mexico (NMCAC)New Mexico (NMCAC)United States SGI 14336 2007 126900 1720324United States SGI 14336 2007 126900 1720324CRLCRLIndia Hewlett-Packard 14240 2007 117900 1708805India Hewlett-Packard 14240 2007 117900 1708805Government AgencyGovernment AgencySweden Hewlett-Packard 13728 2007 102800 1464306Sweden Hewlett-Packard 13728 2007 102800 1464306NNSA/Sandia NNSA/Sandia United States Cray Inc. 26569 2007 102200 1275317United States Cray Inc. 26569 2007 102200 1275317Oak Ridge National LaboratoryOak Ridge National LaboratoryUnited States Cray XT4/XT3 23016 2006 101700 1193508United States Cray XT4/XT3 23016 2006 101700 1193508IBM Thomas J. Watson Research CenterIBM Thomas J. Watson Research CenterUnited States Blue GeneUnited States Blue Gene/L/L IBM IBM 4096040960 20052005 9129091290 11468891146889NERSC/LBNLNERSC/LBNLUnited StatesUnited States Cray XT4 Cray XT4 1932019320 20072007 8536885368 10046411004641Stony Brook/BNL, Stony Brook/BNL, United StatesUnited States Blue Gene Blue Gene/L /L IBMIBM 3686436864 20072007 8216182161 103219103219

Россия в TOP 500

В данной редакции списка Россия представлена 7 системами, что В данной редакции списка Россия представлена 7 системами, что является максимальным количеством за время существования Top500.является максимальным количеством за время существования Top500.

На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, установленный в МСЦ РАН, 33.885 TFlop/s.Cluster Platform 3000 BL460c, установленный в МСЦ РАН, 33.885 TFlop/s.

На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском государственном авиационном техническом университете, 9.287 TFlop/s.государственном авиационном техническом университете, 9.287 TFlop/s.

IBM BladeCenter HS21 Cluster с производительностью 9.287 TFlop/s, IBM BladeCenter HS21 Cluster с производительностью 9.287 TFlop/s, установленный в Сибирском федеральном университете (Красноярск), оказался установленный в Сибирском федеральном университете (Красноярск), оказался на 183 месте.на 183 месте.

На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный в Томском Государственном Университете, с производительностью 9.01 TFlop/s.в Томском Государственном Университете, с производительностью 9.01 TFlop/s.

На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, в Вятском государственном университете (Киров), 8.160 TFlop/s.3000 BL460c, в Вятском государственном университете (Киров), 8.160 TFlop/s.

Со 187 на 408 место в новой редакции списка опустился российский Со 187 на 408 место в новой редакции списка опустился российский суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, 6.646 TFlop/s.суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, 6.646 TFlop/s.

Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Cluster, к "Industrial Company", с производительностью 6.341 TFlop/s.Cluster, к "Industrial Company", с производительностью 6.341 TFlop/s.

Объявление о начале выпуска системы – 26 июня 2007 г.Поставка в МГУ – 24 декабря 2007 г. (запуск-апрель 2008 г)Уникальные характеристики:масштабируемость, высокая надежность, низкое энергопотребление

Blue Gene/P @ MSU•2 стойки, •2048 4-ех ядерных узлов,общая пиковая производительность 27.2 Tflop/s (43 место в текущем списке TOP500)•4 TB общий объем ОЗУ

Blue Gene/P в MГУ

Полезные ссылки и информация

LCG: LCG: //lcg.web.cern.ch/LCG///lcg.web.cern.ch/LCG/

EGEE: EGEE: ////www.eu-www.eu-egeeegee.org.org

EGEE-RDIG: EGEE-RDIG: ////www.www.egeeegee-rdig.ru-rdig.ru

GRIDCLUB: //www.gridclub.ruGRIDCLUB: //www.gridclub.ru

Параллельные вычисления //Параллельные вычисления //parallel.ruparallel.ru

Инструкции, документация, сайты, информационные Инструкции, документация, сайты, информационные бюллетени, публикации, обзоры, курсы и т.д.бюллетени, публикации, обзоры, курсы и т.д.

Новые возможности для пользователей ЦИВК ОИЯИНовые возможности для пользователей ЦИВК ОИЯИ

Использование ГРИД-инфраструктуры для различных ВОИспользование ГРИД-инфраструктуры для различных ВО

Развитие системы суперкомпьютеров в РоссииРазвитие системы суперкомпьютеров в России

Новые возможности для проектов и групп пользователей: