Практика внедрения виртуализированной сетевой...

Практика внедрения виртуализированной сетевой инфраструктуры

Игорь Гиркин системный инженер-консультант нобярь 2013

Сценарий

Постановка задачи §  Внедрение виртуальных десктопов в организации §  Перенос настроек безопасности с физического уровня доступа в виртуальный §  Контроль доступа виртуальных машин между собой, к серверным и внешним ресурсам

§  Доступ к финансовым серверам только для ограниченного набора десктопов Текущая инфраструктура виртуализации

§  Microsoft Hyper-V Предлагаемое решение

§  Cisco Nexus 1000V §  Cisco Virtual Security Gateway §  Microsoft System Center VMM Networking

ОБЗОР ПРОДУКТОВ И ПЛАНИРОВАНИЕ НАСТРОЙКИ

Распределенный коммутатор Nexus 1000V Шлюз безопасности Virtual Security Gateway

Программный коммутатор Nexus 1000V

Распределенный коммутатор для среды виртуализации §  Доступен с 2009 года

Основан на NX-OS §  Знакомый сетевым администраторам интерфейс управления §  Широкий набор функций

Интегрируется с системой управления средой виртуализации §  Разделение зон ответственности

…

Гипервизор Гипервизор Гипервизор

Компоненты коммутатора Nexus 1000V

Модульный коммутатор

VSM: Virtual Supervisor Module VEM: Virtual Ethernet Module

Управление

L2 MO D E

L3 M O D E

VSM-1 VSM-2 VEM-1 VEM-2

VEM-N

Supervisor-1 Supervisor-2 Linecard-1 Linecard-2

Linecard-64 … B

ack

plan

e

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VSM

System Center 2012 Virtual Machine Manager

Windows Server Hyper-V Windows Server Hyper-V Windows Server Hyper-V

Server Server Server

Распределенный коммутатор Cisco Nexus 1000V для Microsoft Windows 2012 Hyper-V

VM VM VM VM VM VM VM VM VM VM VM VM

Доступные функции

Коммутация §  L2 Switching, 802.1Q Tagging, VLAN Segmentation, Rate Limiting (TX) §  IGMP Snooping, QoS Marking (COS & DSCP), Class-based WFQ

Безопасность §  Policy Mobility, Private VLANs w/ local PVLAN Enforcement §  Access Control Lists (L2–4 w/ Redirect), Port Security, ACL Logging §  Dynamic ARP inspection, IP Source Guard, DHCP Snooping

Установка §  Automated Config, Port Profiles, SCVMM Integration §  Optimised NIC Teaming with Virtual Port Channel – Host Mode

Мониторинг §  NetFlow v.9 w/ NDE, CDP v.2 §  VM-Level Interface Statistics §  SPAN & ERSPAN (policy-based)

Высокая доступность §  Process isolation §  Process restartability §  Supervisor stateful switchover

Сетевые сервисы §  Virtual Services Datapath (vPath) support for traffic steering & fast-path off-load §  IP pools for VM address assignment

Управление §  DCNM §  Cisco CLI, Radius, TACACs, Syslog, SNMP (v.1, 2, 3) §  Hitless upgrade, SW Installer

Типы интерфейсов

Ethernet Port (eth) §  Физический порт сетевого адаптера в сервере §  Принадлежит только одному модулю VEM §  До 32 физических портов на хост

Port Channel (po) §  Агрегация физических портов Ethernet §  До 8 портов Port Channel на хост

Virtual Ethernet Port (veth) §  Порт виртуальной машины (vmnic) §  Номер порта может сохраняться при перемещении, выключении/включении виртуальных машин

§  До 216 портов veth на хост, до 2048 портов на Nexus 1000V

Как настроить порты виртуальных машин?

2048 перемещающихся портов §  Больше портов в будущих версиях

Администраторам сети и безопасности нужен контроль и порядок Администратору серверов, сверх того, нужна свобода действия

§  Для добавления и перемещения VM §  Для добавления и перемещения хостов

switch # int gi1/0/35 switchport mode access switchport access vlan 23 etc…

switch # int gi1/0/47 switchport mode access switchport access vlan 23 etc…

switch # int gi1/0/21 switchport mode access switchport access vlan 23 etc…

switch # int gi1/0/17 switchport mode access switchport access vlan 23 etc…

Использовать шаблон

Port-profile – шаблон, используется для определения набора параметров и их привязки к множеству интерфейсов Однократный ввод и многократное использование на физических и виртуальных интерфейсах

Упрощение настройки Определяет характеристики уникального интерфейса vEth n1000V(config)# port-profile type vethernet WebServers n1000V(config-port-prof)# ip port access-group MyACL in n1000V(config-port-prof)# no shutwown

VM VM VM VM

VNIC

VETH

VSM SCVMM

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VSM

Распределенное поле коммутации

Каждый модуль VEM коммутирует трафик самостоятельно Отсутствует синхронизация MAC-адресов между модулями VEM Отсутствует понятие фабрики коммутации

§  Супервизор VSM не занимается коммутацией трафика Между модулями VEM не настраивается никакого соединения

Nexus 1000V и протокол STP

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VEM

Cisco Nexus 1000V VEM

BPDU X

X

X

BPDU игнорируются

Отсутствует коммутация между физическими портами

Фрейм от локального МАС-адреса отбрасывается

Сервисы

Any Hypervisor

Nexus 1000V vPath

Механизм vPath

Компонента Nexus 1000V VEM Перехват и перенаправление трафика согласно настроенным политикам Поддержка цепи сервисного обслуживания Загрузка результата политики в виртуальный коммутатор Поддержка живой миграции машин Масштабируемая архитектура

Включение сервисов на основе политик

vPath в действии

Finance Srv

VM

VM VM

Normal VDI

OS

OS OS

APP

APP APP

VDI-клиент открывает соединение с интернетом 1

Cisco VEM

vPath

Cisco VEM

vPath

1

vPath в действии

Finance Srv

VM

VM VM

Normal VDI

OS

OS OS

APP

APP APP

vPath перенаправляет согласно политике трафик на зональный МСЭ 2

2

Cisco VEM

vPath

Cisco VEM

vPath

vPath в действии

Finance Srv

VM

VM VM

Normal VDI

OS

OS OS

APP

APP APP

Трафик возвращается на Virtual Ethernet Module, результат работы политики кешируется в VEM 3

3

Cisco VEM

vPath

Cisco VEM

vPath

vPath в действии

Finance Srv

VM

VM VM

Normal VDI

OS

OS OS

APP

APP APP

Cisco VEM

vPath

Cisco VEM

vPath

Доступ в интернет разрешен 4

4

vPath в действии

Finance Srv

VM

VM VM

Normal VDI

OS

OS OS

APP

APP APP

Cisco VEM

vPath

5Cisco VEM

vPath

Клиент соединяется с серверами бухгалтерии. Политика зоны Finance перенаправляет трафик на зональный МСЭ 5

vPath в действии

Finance Srv

VM

VM VM

Normal VDI

OS

OS OS

APP

APP APP

Cisco VEM

vPath 6

Cisco VEM

vPath

Запретить доступ к виртуальной машине, результат действия политики поместить в кеш 6

X

Обеспечение традиционной модели управления в ЦОД

Управление множеством устройств на основе ролей Настройка устройств в соответствии с политиками Поддержка дерева оргструктур и делегирование полномочий по управлению Интеграция в корпоративные системы управления

Cisco Virtual Network Management Controller

Администратор серверов

Администратор сети

Администратор безопасности

Microsoft System Center 2012

Cisco VNMC

Cisco Nexus

1000V

Разделение обязанностей в виртуализированном ЦОД

Администратор серверов Администратор сети Nexus 1000V

Администратор безопасности PNSC

• Создает VM • Назначает Port Classification и VM Network виртуальному vNIC

• Настраивает VSM • Создает дерево оргструктур • Определяет конфигурации устройств • Определяет экземпляры VSG и связывает с ними конфигурации устройств

• Создает шаблон описания порта port-profile

• Определяет зоны безопасности • Создает политики безопасности на основе зон и атрибутов • Создает шаблоны безопасности security-profile • Назначает политики безопасности шаблонам безопасности

• Связывает шаблон безопасности security-profile с шаблоном порта port-profile

vNIC

VM

VSM VSG

port-profile web-server

security profile policy set

policy rule

Tenant 1

Root

Аппаратная платформа виртуализированных сервисов

Выделенное устройство для размещения виртуальных модулей Предоставление ресурсов по требованию Команда сетевых администраторов полностью управляет сервисами

Cisco Nexus 1100 Cloud Services Platform

VSM = Virtual Supervisor Module DCNM = Data Center Mgt. Center

Nexus 1000V

vPath

Any Hypervisor

VM VM VM

Cisco Cloud Network Services (CNS) Citrix

NetScaler 1000V

Prime virtual NAM

Imperva SecureSphere

WAF

Virtual Security Gateway

Nexus 1110 Cloud Services Platform

VSM VSM DCNM

VXLAN Gateway

Сетевые подключения Nexus 1100 CSP

Рекомендуется подключать в ядро сети ЦОД 6 продуктивных интерфейсов

§  встроенных – 2 §  дополнительных – 4

4 типа трафика §  management – VLAN управления CSP и/или виртуальных сервисов §  control – VLAN синхронизации конфигурации пары CSP §  packet – служебный VLAN для некоторых виртуальных сервисов §  data – VLAN продуктивных данных для виртуальных сервисов

5 вариантов распределения VLAN по 6 портам §  в зависимости от объема трафика, типов используемых виртуальных сервисов и требований политики безопасности

Размещение VSM и VSG на хостах

VSM – виртуальная машина Размещайте экземпляры VSM на разных хостах VSM и VEM можно распределить по площадкам ЦОД

§  Задержка 10 мс между модулями VSM §  L2-смежность между модулями VSM §  Задержка 100мс между модулями VSM и VEM

Hyper-V VEM-2

VM VM VM VSM

Hyper-V VEM-1

VM VM VM VSM

Hyper-V VEM-2

VM VM VM VSM

Hyper-V VEM-1

VM VM VM VSM

switch switch Hyper-V VEM-2

VM VM VM

Hyper-V VEM-1

VM VM VM

Hyper-V switch

VM VM VM VSM

Management Cluster

Data Cluster

VSM на VEM VSM на MS logical switch VSM в кластере управления

Размещение VSM и VSG на Nexus 1100

Используйте пару устройств Nexus 1100 Рекомендуется подключать к модулю агрегации Можно распределить по площадкам ЦОД

§  Задержка 10мс

Aggregation L3 L2

Nexus 1100 Primary

Nexus 1100 Secondary

VSM VSM VSM VSM

Hyper-V VEM-1

VM VM VM

Hyper-V VEM-2

VM VM VM

Hyper-V VEM-5

VM VM VM

Hyper-V VEM-6

VM VM VM

Hyper-V VEM-3

VM VM VM

Hyper-V VEM-4

VM VM VM

ОБЗОР ПРОДУКТОВ И ПЛАНИРОВАНИЕ НАСТРОЙКИ

Сетевые возможности Virtual Machine Manager Интеграция Nexus 1000V и SCVMM

Сетевые термины Microsoft SCVMM SP1

Logical Switch §  Шаблон коммутатора с его характеристриками (тип расширения, классификация портов, настройки аплинков), из которого на хостах Hyper-V создаются экземпляры виртуального коммутатора

Logical Network §  Абстракция, которая скрывает детали настройки адресов IP и номеров VLAN от администраторов приложений, серверов и виртуализации

Network Site §  Физическое воплощение Logical Network с набором адресов IP и номеров

VLAN. Как правило Network Site = физической площадке VM Network

§  Изолированный сегмент виртуальных машин на основе VLAN или NVGRE

Сетевые термины Microsoft SCVMM SP1

IP Pool §  Пул адресов IP, выдаваемых виртуальным машинам

Port Classification §  Шаблон описания настроек порта виртуальной машины с доступными ей сетевыми сервисами

Network Uplink §  Шаблон описания настроек физического порта сервера с Hyper-V

Иллюстрация настройки сети

Logical Network

Network Site Vladivostok

Network Site StPetersburg

VM Network Piter_DMZ

VM Network Piter_Prod

VM Network Vlad_DMZ

VM Network Vlad_Prod

IP Pool 1

IP Pool 2

IP Pool 3

IP Pool 4

Port Classification

Network Uplink

Port Classification

Облачная сетевая инфраструктура

Guest access Intranet client Privileged intranet client Application server

Port Classifications

Tenant A Intranet

Clients Guests Servers

Tenant B Intranet

Clients Guests Servers

Tenant C Intranet

VM Network

Tenant D Intranet

Сетевые расширения Hyper-V

Nexus 1000V – Forwarding Extension

Capture Extension

Filtering Extension

Forwarding Extension

Monitor Extension

Взаимодействие Cisco Nexus 1000V и Microsoft SCVMM

Создает сети и политики

Добавляет хосты к Nexus 1000V Назначает сети Назначает политики

Настройки и политики передаются VEM на хосте

Вызовы через REST API

Синхронизация сетей и политик с SCVMM

Powershell

Администратор сети

Администратор серверов

Windows Host

VSM

SCVMM

N1k DataPath

Agent

WMI

vSw

itch

Extension Protocol

N1k Forwarding Ext

Extension Miniport

VM VM

Hyper-V Host

VSM управляет VEM

VM

Network Site StPetersburg

VM Network Piter_DMZ

VM Network Piter_Prod

Настройки в Cisco Nexus 1000v # port-profile web-client ip port access-group webclient in no shut state enabled

# port-profile database-client ip port access-group dbclient in service-policy input dbserver no shut state enabled

# nsm network segment Piter_DMZ switchport mode access switchport access vlan 10 member-of network segment pool Piter

# nsm network segment Piter_PROD switchport mode access switchport access vlan 20 member-of network segment pool Piter

# nsm network segment pool Piter member-of logical network OOO-N1kv

Network Site StPetersburg

VM Network Piter_DMZ

VM Network Piter_Prod

IP Pool 1

IP Pool 2

Настройки в Cisco Nexus 1000v

# nsm ip pool template ip_pool_1 ip network 10.1.1.10 10.1.1.20 network 10.1.1.0 255.255.255.0 default-router 10.1.1.1 dns-server 10.10.10.10

# nsm ip pool template ip_pool_2 ip network 10.10.20.100 10.10.20.255 network 10.10.20.0 255.255.255.0 default-router 10.10.20.1 dns-server 10.10.10.10

# nsm network uplink N1kv-Uplinks allow network segment pool Piter import port-profile N1kv-LACP publish network uplink

УСТАНОВКА И НАСТРОЙКА ПРОДУКТОВ

Установка Nexus 1000V

Подключить виртуальные машины к коммутатору

Установить логический коммутатор на хостах Hyper-V

Подготовить хосты Hyper-V (опционально)

Настроить сетевую фабрику SCVMM и сети VM Network

Установить виртуальные машины VSM и настроить коммутатор

Установить компоненты Nexus 1000v в SCVMM

Загрузить установочный образ Cisco Nexus 1000v

Шаги рекомендуется автоматизировать с помощью Cisco Nexus 1000v Installer App

Cisco Nexus 1000V Installer App

Установка VSG

Настроить конфигурации устройств и политики безопасности на VNMC

Настроить соединение с VNMC на стороне VSG

Установить виртуальные машины VSG из ISO

Подготовить port-profile для интерфейсов VSG

На Nexus 1000V настроить соединение с VNMC

Установить виртуальную машину VNMC из ISO

Загрузить установочные образы Cisco VNMC и VSG

Вспомним сценарий

Постановка задачи §  Внедрение виртуальных десктопов в организации §  Перенос настроек безопасности с физического уровня доступа в виртуальный §  Контроль доступа виртуальных машин между собой, к серверным и внешним ресурсам

§  Доступ к финансовым серверам только для ограниченного набора десктопов Текущая инфраструктура виртуализации

§  Microsoft Hyper-V Предлагаемое решение

§  Cisco Nexus 1000V §  Cisco Virtual Security Gateway §  Microsoft System Center VMM Networking

Решение

Разнести классы виртуальных десктопов по разным IP-подсетям Использовать конструкцию “VM Network”/”Network Segment” для изоляции классов десктопов и контроля выделения IP-адресов Создать в VSG зоны на основе диапазонов IP-адресов Создать в VSG политику безопасности для контроля хождения трафика между зонами Настроить в Nexus 1000v единый port-profile для всех устройств, привязать к нему политику безопасности VSG и настроить необходимые механизмы CISF

Network Site WTC

VM Network NormalVDI

VM Network FinanceVDI

IP Pool 1

IP Pool 2

Конфигурация Cisco Nexus 1000v

# nsm ip pool template IP_VLAN412 ip network 10.1.1.10 10.1.1.20 network 10.1.1.0 255.255.255.0 default-router 10.1.1.1 dns-server 10.10.10.10

# nsm ip pool template IP_VLAN411 ip network 10.10.20.100 10.10.20.255 network 10.10.20.0 255.255.255.0 default-router 10.10.20.1 dns-server 10.10.10.10

# nsm network uplink N1kv-Uplinks allow network segment pool WTC import port-profile N1kv-LACP switchport mode trunk publish network uplink

Network Site WTC

VM Network NormalVDI

VM Network FinanceVDI

Конфигурация Cisco Nexus 1000v # port-profile VDI switchport port-security ip dhcp snooping limit rate 15 ip verify source dhcp-snooping vlan vservice node VSG profile sp_vdi no shut state enabled publish port-profile

# nsm network segment NormalVDI switchport mode access switchport access vlan 412 ip pool import template IP_VLAN412 member-of network segment pool WTC publish network segment

# nsm network segment FinanceVDI switchport mode access switchport access vlan 411 ip pool import template IP_VLAN411 member-of network segment pool WTC publish network segment

# nsm network segment pool WTC member-of logical network OOO-N1kv

Конфигурация зон безопасности Cisco VSG

FinanceVDI"FinanceVDI"

Finance"Servers"FinanceServers"

Normal VDI"Normal VDI"

Разрешить доступ к остальным ресурсам

Оганизация

FinanceVDI

Zone FinanceSrv

Zone NormalVDI

zone

Конфигурация Cisco VNMC/VSG

Конфигурация Cisco VNMC/VSG

Конфигурация Cisco VNMC/VSG

Конфигурация Cisco VNMC/VSG

© 2013 Cisco and/or its affiliates. All rights reserved.

Пожалуйста, заполните анкеты. Ваше мнение очень важно для нас.

Спасибо

Контактная информация: Игорь Гиркин iggirkin@cisco.com

CiscoRu Cisco CiscoRussia

#CiscoConnectRu