better together 〜vmware nsxとjuniperデバイスを繋いでみよう！〜

BETTER TOGETHERNOW Your Network is plugged into the SDDC

〜VMware NSXとJuniperデバイスを繋いでみよう！〜

Juniper Networks, K.K.

Kazubu

Mar 2016

2 Copyright © 2016 Juniper Networks, Inc. www.juniper.net

Legal Disclaimer

本資料に記載されている機能や構成、ロードマップ情報などは、資料作成時点におけるジュニパーネットワークスの仕様や予定を示したものであり、事前の通告無しに内容が変更されることがあります。

本資料は技術情報の提供を目的としたものであり、機器、機器の機能、サービスなどに関して保証を行うものではありませんので、ご注意ください。

Internal Rev.02Thanks,Gensan


Agenda

この資料では、以下の内容について解説します。

本資料について

VMware NSXの概要

アンダーレイ・ネットワークの検討と構築

NSXの構築

Hardware VTEPとの連携：L2 Gateway

Multicast-VXLANの設定

OVSDB-VXLANの設定

Hardware VTEPとの連携：L3 Gatewayの検討

アンダーレイ・ネットワークのL3デザイン：その１

アンダーレイ・ネットワークのL3デザイン：その２

Hardware VTEPとの連携：VXLAN/MPLS-Stitching

Datacenter Interconnectとの結合デザイン

まとめ


本資料について

本資料は、VMware NSXとジュニパー・デバイスの連動検証試験の過程と結果、設定サンプル、デザイン案などをシェアすることを目的としています。

NSXについては、ジュニパーのテクニカル・アライアンス・パートナーであるVMware様より評価用のライセンスを頂き、以下のパブリックドキュメントを参照しながら評価環境を構築しました。

NSXの構築については基本的には上記ドキュメントに沿って作成していますが、一部デザインガイドには無い構成の動作確認も実施しています。ここで紹介するデザイン案はあくまで参考として頂き、NSXについてのより正確な設定方法や仕様・構成上のサポート範囲についてはVMware様、もしくはVMware販売パートナー様にご確認ください。

※特にOVSDB VXLANについては、本資料作成時(NSX6.2.1を使用して構築)に於いては一般リリース前機能による確認となっています。最新の情報、動作仕様、サポート状況などについてはVMware様にご確認いただくことをお勧めいたします。

https://www.vmware.com/files/pdf/products/nsx/vmw-nsx-network-virtualization-design-guide.pdf

http://pubs.vmware.com/NSX-62/index.jsp?lang=ja

https://www.vmware.com/files/pdf/products/nsx/vmw-nsx-network-virtualization-design-guide.pdf

http://pubs.vmware.com/NSX-62/index.jsp?lang=ja


VMWARE NSXの概要


JuniperのSDN/SDDCへの2つのアプローチ

Open Source

• オープンソースによる汎用化

• 多少のカスタマイズでオリジナルなサービス化を展開することが可能

Commercial Eco System

• 商用SDNパッケージ• 共通化されたサービス• 限定されたカスタマイズ• 手早くSDN/SDDC展開が

可能

DO IT YOURSELF

• 独自のオートメーションツールを開発

• 高い開発環境が必要• オーダーメイドのサービス

を展開することが可能

JuniperはOpen Source系SDNコントローラー（Contrail/Open Contrail）を開発しつつ、商用SDNパッケージ(VMware NSX)との連動にも重点をおくという、2つのアプローチを同時に実施しています。


VMware NSXが実現するSDDCの世界とは、

VMware NSXとは、VMwareが提唱するSoftware Defined DataCenter(SDDC)を実現するためのネットワーク仮想化プラットフォームで、これまでサーバーに提供されてきた仮想化テクノロジーによる様々なメリットをデータセンターインフラストラクチャー全体に提供することを目的としたSDNソリューションです。

NSXによる”Network Hypervisor”により、Layer2~Layer7までの各種ネットワークサービス（スイッチング、ルーティング、ファイアウォール、ロードバランサーなど…）をソフトウェアによる仮想化によって提供することが可能となり、物理ネットワークによる制限を受けること無く迅速なサービス展開をデータセンターオペレーションに提供します。


VMware NSXのコンポーネントとアーキテクチャ

NSXは（一般的なネットワーク機器と同様に）管理プレーン、コントロールプレーン、データプレーンの3つの要素が独立して存在します。これにより必要に応じた要素ごとのスケールアウトを実現するアーキテクチャとなっています。

データプレーン

コントロールプレーン

管理プレーン

・データプレーンデータプレーンの基本はvSphereで使用されているVDSをベースとしています。ここにNSXのAdd-Onモジュール（VBI）がインストールされることにより、分散ルーティング（DLR）、分散ファイアウォール（DFW)、VXLAN to VLANブリッジング、などのNSXならではの各種ネットワークサービスが提供されるようになります。



・データプレーン（.cont)また、ハイパーバイザーのカーネル上で提供される各種分散サービスの他にEdge Service Gateway(ESG)と呼ばれるゲストサービス上で提供されるネットワークサービス（ファイアウォール、VPN、ロードバランサーなど）も用意されています。

・コントロールプレーンNSX ControllerとよばれるインスタンスがNSX全体のコントローラの役割を行い、複数台（3台）のクラスター構成により冗長性が担保されます。また、これとは別にDLR Control VMと呼ばれるDLRとESG間におけるルーティングプロトコルの管理を行うインスタンスもNSXコントロールプレーンの一部を担っています。

・管理プレーンNSX ManagerとよばれるインスタンスがNSX全体の設定変更、状態監視、オーケストレーション部分を担います。構成の自動化を実現するためのREST APIによる外部APIを提供するのもNSX Managerが提供するサービスのひとつとなっています。



これまでの説明で登場したコンポーネントの関連性をまとめると以下の様なイメージになります。この資料ではNSXが提供するサービスネットワークを”オーバーレイ・ネットワーク”、その下で実データを転送するネットワークを”アンダーレイ・ネットワーク”と呼称し、区別して解説します。

データプレーン

コントロールプレーン

管理プレーン

アンダーレイネットワーク

オーバーレイネットワーク


VMware NSXのコンポーネント ”VXLAN”

オーバーレイ・ネットワークにおいてソフトウェアによる自由な管理・運用を実現するためには、アンダーレイ・ネットワークの制限から解放されることが必要で、そのためにNSXで使用されているテクノロジーがVXLANです。

VXLANはレイヤー2フレームをレイヤー3のプロトコルでカプセリングして転送される業界標準のオーバーレイ・テクノロジーで、これによりVLAN IDの制限（4095 VLAN)を越えたスケーラブルなレイヤー2ネットワークをレイヤー3ネットワーク上に構成することが可能となります。

※NSXではUDPヘッダーの宛先ポート番号にDraft時に割り当てられていた”8472”を使用しています。一方でRFC7348で定義されている、IANAによりアサインされたVXLAN UDPヘッダーの宛先ポート番号は”4789”となっています。http://tools.ietf.org/html/rfc7348#page-19.このことがアンダーレイネットワークで問題になる場合には、NSX ManagerのREST APIからVXLANで使用するUDPポート番号を変更することが可能となっています。また、Juniperのスイッチ・ルーターでは、設定にてVXLANで使用するUDPポート番号を8472に変更することも可能です。

http://tools.ietf.org/html/rfc7348#page-19


VXLAN FRAME FORMAT

VXLAN とは MACアドレスをUDPヘッダーでカプセリングするテクノロジー (MAC-in-UDP)

VXLAN IDとしてVNIと呼ばれる 24-bit のセグメントIDを使用することが可能で、約16万ものIDをクラウドDCに提供することが可能（これまでのVLAN IDの4095という制限から解放される）

Layer2の情報がUDPによりカプセリングされて転送されるため、より拡張性のあるLayer3のネットワーク上にLayer2セグメントの拡張を展開することが可能

Original L2 FrameOUTER MAC

OUTER IP

OUTER UDP

VXLAN Header

FCS

DEST MAC

SRC MAC

VLAN(OPTIONAL)

ETH TYPE 0X0800

VERSION ETC...

PROTO: UDP

CKSUM

SRC IP:MY VTEPDST IP:

DEST VTEP

SOURCE PORT

VXLAN PORTUDP

LENGTHCHKSUM0X0000

FLAGS

VNI

RESERVED

RESERVED

48

48

32

16

72

8

16

32

32

16

16

16

16

8

24

24

8

Ethernet Header

Destination Address – This is set to the MAC address of the destination VTEP if it is local of to that of the next hop device, usually a router, when the destination VTEP is on a different L3 network.

VLAN – This is optional

Ethertype – This is set to 0×0800 as the payload packet is an IPv4 packet. IPv6 is planned.

IP Header

Protocol – Set 0×11 to indicate that the frame contains a UDP packet

Source IP – IP address of originating VTEP

Destination IP – IP address of target VTEP. If this is not known, as in the case of a target virtual machine that the VTEP has not targeted before, a discovery process needs to be done by originating VTEP.

UDP Header

Source Port – Set by transmitting VTEP

VXLAN Port – IANA assigned VXLAN Port. This has not been assigned yet

UDP Checksum – This should be set to 0×0000. If the checksum is not set to 0×0000 by the source VTEP, then the receiving VTEP should verify the checksum and if not correct, the frame must be dropped and not decapsulated.

VXLAN Header

VXLAN Flags – Reserved bits set to zero except bit 3, the I bit, which is set to 1 to for a valid VNI

VNI – 24-bit field that is the VXLAN Network Identifier

Reserved – A set of fields, 24 bits and 8 bits, that are reserved and set to zero


VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLANOuter Eth Outer IP

THE PACKET WALK THROUGH

VXLANによるVM1 から VM4 への通信イメージ

VM1 VM2 VM3

VXLAN VTEP

vSwitch

Kernel IP Stack

VM4 VM5 VM6

VTEP

vSwitch

Kernel IP Stack

Step 2: VTEP モジュールがUDP/VXLANヘッダーで VM1 からのパケットをカプセリング

Step 1: VM1 がデータパケットをvSwitch経由で送信

IP Transport Network

Step 3: Kernel がRemote Hypervisor宛の Outer IP & Ethernet header を追加

Step 4: IP Packet が Remote Hypervisor へ到着

Step 5: IP header が取り除かれ、 UDP/VXLAN packet が VTEP まで到着

Step 6: VTEP が UDP/VXLAN header のカプセル化を取り除き、 VM1 からのパケットが VM4 へ到着

VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLAN

VM1 TCPVM1 Eth VM1 App DataVM1 IP

VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLAN

VM1 TCPVM1 Eth VM1 App DataVM1 IP

Step 1:

Step 2:

Step 3-4:

Step 5:

Step 6:

1

2

3 4

5

6

ESXi-1 ESXi-2


VMware NSXのコンポーネント ”Logical Switch”

Logical SwitchはNSXがVXLANにより提供する、仮想のレイヤー2セグメントで接続を提供するネットワークサービスです。これにより仮想マシンは物理的な配置場所や物理的なネットワークデザインに制限されること無く、レイヤー2での接続を提供されます。Logical Switchは、仮想マシン同士のレイヤー2接続だけではなく、仮想マシンと物理ネットワークとのレイヤー2接続を提供することも可能です。

アンダーレイネットワーク（L2ネットワークでもL3ネットワークでも関係なく動作）

オーバーレイネットワーク（VXLANオーバーレイテクノロジーによりL2セグメントの仮想化を実現）


VMware NSXのコンポーネント ”Logical Switch”

それぞれ別のESXi上に存在している2台の仮想マシン同士がUnicast通信することを考えると、各ハイパーバイザーが保持するIPアドレスがVXLANのVTEPとして制御され、該当のVTEP間でVXLANでカプセリングされたパケットの通信が伝送されます。一方、仮想マシンがBUMトラフィック（Broadcast,

Unknown-Unicast, Multicast）を送信する場合には、必要な複数のハイパーバイザーにパケットを複製して転送しなくてはなりません。NSXではこのパケットの複製手法としてLogical Switch毎に設定可能な3つのモードが用意されています。

＜マルチキャストモード＞※ ＜ユニキャストモード＞ ※ ＜ハイブリッドモード＞

※物理的なネットワークにより提供されるHW VTEPとLogical Switchを接続する場合には、パケットの複製モードにマルチキャストモードかユニキャストモードを選ぶ必要があります。本資料ではマルチキャストモードとユニキャストモード(OVSDB)で接続を行う際のサンプルを提供しています。


VMware NSXのコンポーネント ”Logical Router”

Logical Routerはオーバーレイ・ネットワークにおける異なるレイヤー2セグメント（Logical Switch）に配備されたエンドポイント同士をルーティングにより接続します。Logical Routerによる主なサービスは、異なるLogical Switchに接続されたエンドポイント（それが仮想であろうと物理であろうと）同士を接続することとと、仮想空間にあるLogical Switchと物理空間にある外部L3ネットワークとの接続させる、という2つの役割から構成されます。





Logical Routerはオーバーレイ・ネットワークにおける異なるレイヤー2セグメント（Logical Switch）に配備されたエンドポイント同士をルーティングにより接続します。Logical Routerによる主なサービスは、異なるLogical Switchに接続されたエンドポイント（それが仮想であろうと物理であろうと）同士を接続する”East-West”トラフィックを処理することと、仮想空間にあるLogical Switchと物理空間にある外部L3ネットワークと接続させる”North-South”トラフィックを処理する、という2つの役割から構成されています。

それぞれ2つのLogical Routerの役割は、”Centralized Routing”、”Distributed Routing”という2つの構成オプションにより提供されます。



・Centralized RoutingCentralized RoutingはESGによりLogical Switchのルーティングを提供するデザインオプションです。Logical Switch間でのルーティングに際して、DHCPやNAT、FirewallやLoad Balancerなど各種サービスの提供を付加できることが特徴ですが、East-Westトラフィックの処理もESGにより中央集中化されるためパフォーマンスの最適化は求められないデザインオプションとなります。

すべてのL3トラフィック処理がESGで実施されるため、East-West通信はヘアピン型通信となる。



・Distributed RoutingDistributed Routingはハイパーバイザーレベルでルーティングサービス（Distributed Logical Router ;DLR）を提供することによりより高いネットワークパフォーマンスを提供するデザインオプションとなります。これによりEast-Westトラフィックの処理を分散処理することによりパフォーマンスの最適化を図る事が可能となります。

South-NorthトラフィックのみがESGで処理され、East-WestトラフィックはDLRによりハイパーバイザー上で分散処理される。



・Distributed Routing（.cont）DLRはControl PlaneとData Planeの2つのコンポーネントから構成されます。DLRのControl PlaneはDLR Control VMと呼ばれるゲストサービスにより構成されており、Next-Hopルーター（ESGなど）とのダイナミックルーティングプロトコル（BGP, OSPF）による経路情報の交換もサポートされ、これによりDLR内の経路情報を最新状態にメンテナンスしています。DLRのData PlaneはESXiにインストールされるVIB内にあるカーネルモジュールで、これにより高速な分散ルーティングがハイパーバイザーレベルで実行されます。


VMware NSXのコンポーネント”Edge Service Gateway(ESG)”

Edge Service Gateway（ESG）は、多種多様でステートフルなネットワークサービスを提供する仮想アプライアンスで、以下の様なサービスを提供することが可能です。

・Routing・Network Address Translation（NAT)・Firewall・Load Balancing・L2/L3 VPN・SSL-VPN・DHCP,DNS and IP Address Management

また、ESGによるRoutingサービスは、NSXによる仮想のオーバーレイ・ネットワークと物理によるアンダーレイ・ネットワークの接続ポイントという役割も担います。外部のネットワークとESGの間で各種ダイナミックルーティングプロトコル（OSPF, iBGP, eBGPなど）で経路情報の受け渡しを行いつつルーティング接続を提供します。


VMware NSXのコンポーネント”Edge Service Gateway(ESG)”

NSXにおけるESGのデザインはその目的や必要なパフォーマンスに応じて以下のデザイン・オプションが提供されています。

・Active/Standbyモード2台のESGにより各種ステータス情報の同期を取りつつ冗長性を提供するデザイン。ESGにより提供されるすべての仮想ネットワークサービスを利用可能。

・ECMPモード最大8台までのESGにより外部ネットワークとの広帯域接続と障害時におけるトラフィックへのインパクトを最小限に抑えることが可能なデザイン。ECMPモードの場合は使用できるネットワークサービスはRoutingのみに制限される。


VMware NSXのコンポーネント”Distributed Firewall (DFW)”

NSX Distributed Firewall(DFW)は、ESXiのカーネル上で高速に動作するL2-L4のステートフルファイアウォールです。DFWのインスタンスは、仮想マシンのvNIC上に適用されて動作する形となるため、ワークロード間のトラフィック（仮想マシン間の通信でも、仮想マシンと物理環境間の通信でも）に対してきめ細やかなトラフィック制御を提供できます。


VMware NSX Overview

これまでの説明で登場したコンポーネントをまとめると以下の様な関係性になります。これよりこれらを踏まえて各種ネットワークデザインを検討していきます。



Logical Switch

Logical Switch

Distributed Logical Router(DLR)

Edge Service Gateway(ESG)

NSX Manager

NSX Controller

VTEP

VXLAN Tunnel

Distributed Firewall(DFW)


アンダーレイ・ネットワークの検討と構築


アンダーレイ・ネットワークの検討

VMware NSXを構成するにあたっては、オーバーレイ・ネットワークを動作させるためのアンダーレイ・ネットワークが必要となります。NSXのアンダーレイ・ネットワークに求められる要素は一般的に、

・高いパケット転送能力・高帯域・低遅延・耐障害性・拡張性・ジャンボフレームの転送・管理容易性

などがあり、それぞれの要件に応じたネットワークデザインが必要となります。

また、仮想サーバーを構築する際に物理ネットワークに要求されていたレイヤー2での接続性は、NSXにおいてはVXLANにより構成されるLogical Switchが提供する機能に包含されるため、アンダーレイでは特にレイヤー2ネットワークにこだわる必要が無い点も特徴です。


アンダーレイ・ネットワークの検討

ジュニパーのDCスイッチ・アーキテクチャでNSXと連動させる際には主に以下3つの選択肢を提供することが可能で、それぞれ構成毎に応じた特徴が存在しています。

Option-1.Ethernet Fabric（Virtual Chassis Fabric ; VCF）

Option-2.IP Fabric（Clos IP Fabric）

Option-3.IP Fabric w/ Ethernet Fabric（Clos IP Fabric w/ VCF）

ジュニパーのEthernet Fabricを使用すると、仮想的に一台のシャーシ型L2/L3スイッチとして動作するため、ある程度の規模（VCFでは32メンバーまでを1つの論理エンティティにすることが可能）までは低い管理負荷でアンダーレイネットワークをメンテナンスすることが可能。

IP Fabricを使用すると非常に大規模な（実質的には制限のない）拡張性のあるネットワーク構成を実現することが可能。また、標準化技術のみを使用するデザインなので、マルチベンダーで構成できるというメリットもある。一方でスイッチの管理は個体ごとに必要となるので管理・運用性はある程度犠牲となる。

Option-1とOption−2、両者の良い所をある程度包含したデザイン。大規模な構成への拡張性をできるだけ低い管理負荷で実現することが可能。

※本資料ではOption-2とOption-3のハイブリッド構成を構築するサンプルを提供します。

BGP

BGP


ge-0/0/0,2

アンダーレイ・ネットワークのデザイン

＃Underlay Network Pane

Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

本資料では以下の様な構成でアンダーレイ・ネットワークを構成する際のサンプルを提供します。

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

＃Loopback Address10.255.0.X/32

#Spine-Leaf Network Address172.31.0.X/31

#QFX-ESXi Network Address10.128.X.0/24

#Spine&Leaf SwitchQFX5100-48SJUNOS 14.1X53-D31

eBGP

ge-0/0/0, ge-1/0/0

ge-0/0/4

ge-0/0/0

ge-0/0/8

ge-0/0/8, ge-1/0/8

ge-0/0/8

PIM



＃Management Network Pane

Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.2/31 172.31.0.0/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

管理セグメントおよびホスト名は以下の様な形で構成しています。

10.1

28.1

.0/2

4

Stinger10.0.0.21

Atlas10.0.0.3

Gibson10.0.0.22

Martini10.0.0.23

Calvin10.0.0.24

Hermes10.0.0.1

Tiny10.0.0.50

Calypso10.0.0.2

10.0.0.0/24

#Management Network Address10.0.0.0/24

ManagementVDS


アンダーレイ・ネットワークの構築

＃Spine Switch (Hermes)の設定set system host-name HERMES_SPINE

set system commit synchronize

set chassis redundancy graceful-switchover

set chassis aggregated-devices ethernet device-count 1

set interfaces ge-0/0/0 ether-options 802.3ad ae0


set interfaces ge-0/0/4 description toATLAS_LEAF

set interfaces ge-0/0/4 mtu 9014

set interfaces ge-0/0/4 unit 0 family inet address 172.31.0.2/31

set interfaces ae0 description toCALYPSO_LEAF

set interfaces ae0 mtu 9014

set interfaces ae0 unit 0 family inet address 172.31.0.0/31

set interfaces lo0 unit 0 family inet address 10.255.0.1/32 primary

set interfaces lo0 unit 0 family inet address 10.255.0.254/32

set interfaces vme unit 0 family inet address 10.0.0.1/24

set routing-options nonstop-routing

set routing-options router-id 10.255.0.1

set routing-options autonomous-system 65000

set routing-options forwarding-table export PFE-LB

set protocols bgp log-updown

set protocols bgp import BGP-CLOS-IN

set protocols bgp export BGP-CLOS-OUT

set protocols bgp graceful-restart

set protocols bgp group CLOS type external

set protocols bgp group CLOS mtu-discovery

set protocols bgp group CLOS bfd-liveness-detection minimum-interval 350

set protocols bgp group CLOS bfd-liveness-detection multiplier 3

set protocols bgp group CLOS bfd-liveness-detection session-mode single-hop

set protocols bgp group CLOS multipath multiple-as

set protocols bgp group CLOS neighbor 172.31.0.1 peer-as 65011


set protocols pim rp local address 10.255.0.254

set protocols pim interface lo0.0 mode sparse

set protocols pim interface ae0.0 mode sparse

set protocols pim interface ge-0/0/4.0 mode sparse




＃Spine Switch (Hermes)の設定（.cont）set protocols layer2-control nonstop-bridging

set policy-options policy-statement BGP-CLOS-IN term loopback from route-filter 10.255.0.0/16 orlonger

set policy-options policy-statement BGP-CLOS-IN term loopback then accept

set policy-options policy-statement BGP-CLOS-IN term server-l3-gw from route-filter 10.128.0.0/16 orlonger

set policy-options policy-statement BGP-CLOS-IN term server-l3-gw then accept

set policy-options policy-statement BGP-CLOS-IN term reject then reject

set policy-options policy-statement BGP-CLOS-OUT term loopback from protocol direct

set policy-options policy-statement BGP-CLOS-OUT term loopback from route-filter 10.255.0.0/16 orlonger

set policy-options policy-statement BGP-CLOS-OUT term loopback then next-hop self

set policy-options policy-statement BGP-CLOS-OUT term loopback then accept

set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from protocol direct

set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from route-filter 10.128.0.0/16 orlonger

set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then next-hop self

set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then accept

set policy-options policy-statement PFE-LB then load-balance per-packet

set policy-options policy-statement distribute-default from route-filter 0.0.0.0/0 exact

set policy-options policy-statement distribute-default then accept



＃Leaf Switch (Calypso)の設定

set system host-name CALYPSO_LEAF






set interfaces ae0 description toHERMES_SPINE










set protocols bgp import BGP-CLOS-OUT










set protocols pim rp static address 10.255.0.254




set protocols layer2-control nonstop-bridging



＃Leaf Switch (Calypso)の設定（.cont）

















＃Leaf Switch (Atlas)の設定set system host-name ATLAS_LEAF




set interfaces ge-0/0/0 description LEAFtoSPINE

set interfaces ge-0/0/0 description toHERMES_SPINE



























＃Leaf Switch (Atlas)の設定（.cont）set policy-options policy-statement BGP-CLOS-IN term loopback from route-filter 10.255.0.0/16 orlonger
















＃Underlay Network の確認

以下のようにeBGPで各スイッチのLoopback Addressを学習し、PIM Neighborが確立されていることを確認したら、NSXを構築するための準備は完了です。

root@HERMES_SPINE> show route protocol bgp

inet.0: 18 destinations, 19 routes (18 active, 0 holddown, 0 hidden)

+ = Active Route, - = Last Active, * = Both

10.128.2.0/24 *[BGP/170] 02:15:55, localpref 100

AS path: 65011 I, validation-state: unverified

> to 172.31.0.1 via ae0.0

10.128.3.0/24 *[BGP/170] 02:15:11, localpref 100


> to 172.31.0.3 via ge-0/0/4.0

10.255.0.2/32 *[BGP/170] 02:15:55, localpref 100


> to 172.31.0.1 via ae0.0

10.255.0.3/32 *[BGP/170] 02:15:11, localpref 100


> to 172.31.0.3 via ge-0/0/4.0

root@HERMES_SPINE> show pim neighbors

B = Bidirectional Capable, G = Generation Identifier

H = Hello Option Holdtime, L = Hello Option LAN Prune Delay,

P = Hello Option DR Priority, T = Tracking Bit

Instance: PIM.master

Interface IP V Mode Option Uptime Neighbor addr

ae0.0 4 2 HPLGT 03:22:33 172.31.0.1

ge-0/0/4.0 4 2 HPLGT 03:22:32 172.31.0.3



＃Clos IP Fabricの詳しい概念、設定詳細については以下のWhite Paperを参照してください。

http://www.juniper.net/us/en/local/pdf/whitepapers/2000565-en.pdf

・Googleで “QFX5100 IP Fabric” と検索すればTop Hitで出てきます。

Clos IP Fabric with QFX5100 Switches

ベストプラクティス + 構成例 + 設定例

http://www.juniper.net/us/en/local/pdf/whitepapers/2000565-en.pdf


NSXの構築


NSXの構築

前提として、以下の環境が構築済みであることとします。

VMware 環境

vCenter Server 6.0.0

VMware ESXi 6.0.0 update1(3073146)

Datacenter/Cluster構成

ManagementCluster

– NSX Manager, vCenter等が動作するクラスタ

– 今回は1台で構成(stinger)

EdgeCluster

– NSX Edge Gateway等が動作するクラスタ

– 今回は1台で構成(gibson)

ComputeCluster

– 通常のVM(サーバ等)が動作するクラスタ

– 今回は2台で構成(martini, calvin)


NSXの構築

（.cont）

Network構成

以下のvDSが構成されていること

– ManagementVDS

- 全ESXiの管理ネットワーク

– NSXVDS

- EdgeCluster, ComputeClusterのアンダーレイネットワーク

– UplinkVDS

- EdgeClusterが外部ネットワークと接続するためのネットワーク


VDS Network Design

Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4

vCenter NSXManager

NSXController

NSXController

NSXController

192.168.255.254

192.1

68.2

55.0

/24

NSXVDS

UplinkVDS

ManagementVDS


NSXの構築

NSX ManagerのOVAファイルをデプロイします。


NSXの構築



NSXの構築

NSX ManagerのVM名を指定します。


NSXの構築

NSX Managerのデプロイ先クラスタを指定します。


NSXの構築

NSX Managerのデプロイ先ESXiホストを指定します。


NSXの構築

NSX Managerのディスクのプロビジョニング方法を指定します。


NSXの構築

IPアドレスやパスワード等、NSX Managerの基本設定を行います。


NSXの構築

各種設定が完了正しい事を完了して、デプロイを開始します。


NSXの構築

インストールが完了したら、ブラウザでNSX Managerにログインします。


NSXの構築

ログイン後、Manage Appliance Settingsをクリックします。


NSXの構築

必要に応じて初期設定を行います。


NSXの構築

NSX Management Serviceタブを開き、vCenter Serverを指定します。


NSXの構築

証明書の確認画面が出るので、Yesを選択します。


NSXの構築

正常に接続されると、StatusがConnectedになります。


NSXの構築

しばらくするとvSphere Web Clientに現れる、NSXの設定画面に移動します。


NSXの構築

Installationタブを開き、Controller Nodeを追加します。


NSXの構築

デプロイ先のクラスタやデータストアなど、必要な項目を入力します。


NSXの構築

Controller Nodeとの接続に使用する管理ネットワークを選択します。


NSXの構築

Controller Nodeが使用するIPアドレスプールを作成し、選択します。


NSXの構築

全ての必須項目を入力したら、OKを押します。


NSXの構築

StatusがConnectedになったら以上の手順を繰り返し、合計3台デプロイします。


NSXの構築

Host Preparationタブに移動し、NSXを使用するクラスタに対してNSX VBIをインストールします。


NSXの構築

インストールが完了すると、バージョン情報とFirewall statusが表示されます。


NSXの構築

VXLANの初期設定を行います。”Not Configured”をクリックすると、設定画面が開きます。


NSXの構築

ここでは、VXLANの転送に使用するVDS, VLAN ID, MTU, アドレス採番方式、NICのチーミングポリシーを設定します。

ここで設定した内容は、クラスタ内の全てのノードに等しく適用されることに注意が必要です。

今回のように、クラスタ内のホストが別々のL3セグメントに存在しうる場合、DHCPを使用するか、この画面で設定を行った後に手動で各ESXiホストのvmknicのアドレスを変更する必要があります。(今回はDHCPを使用します)

チーミングポリシーに関しては、クラスタ内の全てのホスト間で必ず同一の設定とする必要があります。


NSXの構築

QFXにおけるDCHPサービスとPIMの設定（この設定によりESXiにIPアドレスを付与します。）

＃Spine Switch (Hermes)の設定set system services dhcp-local-server group SV-GROUP interface irb.4000

set interfaces ge-0/0/8 description toGIBSON_ESXi


set interfaces ge-0/0/8 unit 0 family ethernet-switching interface-mode access

set interfaces ge-0/0/8 unit 0 family ethernet-switching vlan members SERVERS

set access address-assignment pool SV-POOL family inet network 10.128.1.0/24

set access address-assignment pool SV-POOL family inet range SV-RANGE low 10.128.1.10

set access address-assignment pool SV-POOL family inet range SV-RANGE high 10.128.1.20

set access address-assignment pool SV-POOL family inet dhcp-attributes router 10.128.1.254

set vlans SERVERS vlan-id 4000

set vlans SERVERS l3-interface irb.4000

set protocols pim interface irb.4000 mode sparse


set system services dhcp-local-server group SV-GROUP interface irb.4000



set interfaces ae1 description toCALVIN_ESXi


set interfaces ae1 unit 0 family ethernet-switching interface-mode access

set interfaces ae1 unit 0 family ethernet-switching vlan members SERVERS









NSXの構築

(.cont)

＃Leaf Switch (Atlas)の設定set system services dhcp-local-server group SV-GROUP interface irb.4000

set interfaces ge-0/0/8 description toMARTINI_ESXi












NSXの構築

全てのクラスタで設定が完了すると、VXLANがConfiguredの状態になります。


NSXの構築

続いて、Logical Network Preparationタブを開き、VXLANで使用するパラメータを設定していきます。


NSXの構築

ここでは、VXLANで使用するSegment ID(VNI: VXLAN ID)と、それに対応するマルチキャストアドレスを設定します。

今回はMulticast VXLANも使用していきますので、Segment IDとMulticast Addressをそれぞれ入力します。


NSXの構築

Transport Zonesタブに移動し、転送ゾーンを作成します。


NSXの構築

転送ゾーンは、VXLANによる仮想ネットワークにアクセスできるクラスタごとに作成するゾーンです。今回は、全てのクラスタから全ての仮想ネットワークにアクセスさせるため、1つの転送ゾーンに全てのクラスタを追加します。

また、BUMトラフィックのレプリケーション方式として、Multicastを選択します。（この部分は、Logical Switch毎に変更することも可能です。）


NSXの構築

作成が完了したら、Logical Switchを作成していきます。


NSXの構築

Logical Switchは、VXLANの1つのVNIにマップされるL2セグメントです。(従来のネットワークにおけるVLANに相当)

ここでは、Multicast VXLANを使用した2つのLogical Switch “LS1”と”LS2”を作成します。


NSXの構築

作成が完了すると、Logical Switchが一覧に追加されます。各Logical Switchに紐付けられているSegment ID(VNI)とMulticast Addressを確認しておきます。


NSXの構築

各Logical SwitchにVMを接続していきます。ここでは、martini-vm1とcalvin-vm1をLS1に、martini-vm2とcalvin-vm2をLS2に参加させます。


オーバーレイ・ネットワークのデザイン

＃Overlay Network Pane

Spine

ESXi(Management)

ESXi

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4

vCenter NSXManager

martiniVM1

martiniVM2

calvinVM1

calvinVM2

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel

ここまでの設定で、以下のようなL2のオーバーレイ・ネットワークが構成されています。


ESXi(Edge GW)

vCenter NSXManager

NSXController

NSXController

NSXController

仮想ネットワークの構成

＃Logical View

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4Logical Switch 1

Logical Switch 2

martiniVM1

martiniVM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24

.3 .3 .4 .4

この時点で、Overlay Network上の各論理ネットワーク接続はこのようになっています。



同一Logical Switchに収容された別のVMに対して到達性があることを確認します。

また、異なるLogical Switchに収容されたVMに対しては到達性がないことを確認します。


NSXの構築

続いて、各Logical Switch間を分散仮想ルータで接続していきます。NSX Edgesタブに移動し、追加ボタンを選択します。


NSXの構築

Logical Distributed Routerを選択し、名前とデプロイの種類を決定します。


NSXの構築

管理VMの管理ユーザとロギングの設定を行います。


NSXの構築

デプロイ先のデータセンタを選択し、追加ボタンを選択します。


NSXの構築

デプロイ先のクラスタとハードウェアを選択します。


NSXの構築

選択した内容が反映されていることを確認し、次に進みます。


NSXの構築

HAのハートビート等に使用するインターフェイスを指定します。


NSXの構築

各Logical Switchに対するインターフェイスを追加します。


NSXの構築

必要な全てのLogical Switchに対してインターフェイスを追加して、次に進みます。


NSXの構築

現時点では外部接続を行わないため、何も設定せずに次に進みます。


NSXの構築

設定が正しく反映されていることを確認し、完了します。


ESXi(Edge GW)

vCenter NSXManager

NSXController

NSXController

NSXController


＃Logical View

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4

DLR(Distributed Logical Router)

.254.254

Logical Switch 1

Logical Switch 2

martiniVM1

martiniVM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24

.3 .3 .4 .4

この時点で、Overlay Network上の各論理ネットワーク接続はこのようになっています。



異なるロジカルスイッチに収容されたホスト間で疎通が取れるようになったことを確認します。


NSXの構築

続いて、これまで構築してきた仮想ネットワークを、外部の物理ネットワークと接続します。分散仮想ルータとEdge GWをつなぐための新規Logical Switchを作成します。


NSXの構築

NSX Edgesタブに移動し、追加ボタンを選択します。


NSXの構築

Edge Service Gatewayを選択し、名前とデプロイの種類を決定します。


NSXの構築

ESGの管理ユーザとロギングの設定を行います。


NSXの構築

デプロイ先のデータセンタとESGのサイズを選択し、追加ボタンを選択します。


NSXの構築

デプロイ先のクラスタとデータストアを選択します。


NSXの構築

選択した内容が反映されていることを確認し、次へ進みます。


NSXの構築

続いて、ネットワークインターフェイスを追加します。


NSXの構築

外部と接続するネットワーク(Uplink)を追加します。


NSXの構築

Edge GWと分散仮想ルータを接続するためのネットワークを追加します。


NSXの構築

全てのインターフェイスが正しく追加されたことを確認し、次へ進みます。


NSXの構築

後ほどルーティングプロトコルの設定を行いますので、Default GWの設定はスキップします。


NSXの構築

デフォルトのFW設定と、H/Aの通信に使用するインターフェイスを選択します。


NSXの構築

最後に、全ての設定を確認し、完了します。


NSXの構築

暫くすると、Edge GWがデプロイされます。続いて、LDRをダブルクリックします。


NSXの構築

分散仮想ルータの設定画面が開くので、インターフェイスの追加を行います。


NSXの構築

分散仮想ルータとEdge GWを接続するインターフェイスの設定を行います。


NSXの構築

続いてRoutingタブに移り、ルーティングプロトコルの設定を行います。


NSXの構築

ダイナミックルーティングプロトコルで使用するRouter IDを選択します。


NSXの構築

変更を適用します。(各ページ毎に適用しなければならないことに注意が必要です)


NSXの構築

今回はBGPを使用して分散仮想ルータとESGを接続します。BGPタブに移動し、Editを選択します。


NSXの構築

BGPを有効化し、AS番号を設定します。


NSXの構築

続いて、BGPネイバーを追加します。


NSXの構築

BGPネイバーに関連する設定を行います。


NSXの構築

経路フィルタの追加を行います。今回は、In/Outともに全てを許可します。


NSXの構築

設定が完了したら、設定を反映します。


NSXの構築

続いて経路の再配送を設定します。BGPに対する再配送を有効にします。


NSXの構築

再配送のルールを設定します。今回は、Connected経路をBGPに再配送する設定を行います。


NSXの構築

設定が正しい事を確認し、設定を反映します。


NSXの構築

続いて、Edge GW側でもBGPの設定を行っていきます。Edge GWをダブルクリックします。


NSXの構築

Routingタブを開き、Router IDを選択します。


NSXの構築

設定の反映を行います。


NSXの構築

BGPタブに移動し、BGPの有効化とAS番号の設定を行います。


NSXの構築

続いて、BGPネイバーの追加を行います。


NSXの構築

分散仮想ルータに対するBGPネイバーの設定を行います。


NSXの構築

経路フィルタの追加を行います。こちらも、In/Outともに全てを許可します。


NSXの構築



NSXの構築

続いて経路の再配送を設定します。BGPに対する再配送を有効にします。


NSXの構築

再配送のルールを設定します。Connected経路をBGPに再配送する設定を行います。


NSXの構築





Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4

vCenter NSXManager

NSXEdge SG

NSXEdge SG

martiniVM1

martiniVM2

calvinVM3

calvinVM4

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel

ここまでの設定で以下のようなオーバーレイ・ネットワークが構成されています。

DLRControl

DLRControl


vCenter NSXManager

NSXController

NSXController

NSXController


＃Logical View

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4


ESXi(Edge GW)

192.168.0.0/24

.254

.254.254

.1

Logical Switch 1

Logical Switch 2

martini VM1

martini VM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24

.3 .3 .4 .4

BGP Neighbor

Overlay Network上の各論理ネットワーク接続はこのようになっています。

NSXEdge SG

NSXEdge SG

192.168.255.254

Physical Network

192.1

68.2

55.0

/24

.1

DLRControl

DLRControl

.2


vCenter NSXManager

NSXController

NSXController

NSXController

仮想ネットワークの動作確認

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4


ESXi(Edge GW)

192.168.0.0/24

.254

.254.254

.253

VM1からの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認します。

＃Logical View

BGP Neighbor

NSXEdge SG

NSXEdge SG

192.168.255.254

Physical Network

192.1

68.2

55.0

/24

.1

DLRControl

DLRControl

Logical Switch 1

Logical Switch 2

martini VM1

martini VM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24

.3 .3 .4 .4

.2



正しく通信が行えていることがわかります。


DFWの設定

Distributed Firewallは、NSXのFirewallタブ及びService Composerタブで設定を行います。一般的なファイアウォールのように、IPアドレスなどをベースにした設定でも動作しますが、より柔軟にファイアウォールを適用するために、VMの情報を元にしたルールを記述する事が可能です。

今回は、VM名の末尾が”vm2”で終わるVMに対して適用されるルールを作成し、全てのホストからICMP接続を禁止する設定を行います。

xxx-VM1

xxx-VM2

xxx-VM3

yyy-VM1

yyy-VM2

yyy-VM3

Any

ICMP


DFWの設定

Service Composerタブに移動します。この画面では、セキュリティグループを定義します。


DFWの設定

名前を入力します


DFWの設定

動的にマッチさせる項目と値を設定します。ここでは例として、VM名の末尾がvm2であるという条件を設定します。


DFWの設定

静的に(必ず)含めたいVMなどを選択します。今回は何も選択せずに次に進みます。


DFWの設定

必ず除外したいVMなどを選択します。こちらも今回は何も選択せずに次へ進みます。


DFWの設定

内容が正しいことを確認して、完了します。


DFWの設定

作成が完了すると、一覧に作成した項目が現れます。Virtual Machinesの数字をクリックするとそのセキュリティグループに含まれるVM一覧が表示されます。


DFWの設定

作成したセキュリティグループを右クリックして、Apply Policyを選択します。


DFWの設定

適用先のセキュリティポリシーが表示されます。今回はまだ作成していませんので、New Security Policyを選択します。


DFWの設定

セキュリティポリシーの作成ウィザードが表示されます。名前を入力します。


DFWの設定

Guest Introspection Servicesは設定せずに次に進みます。


DFWの設定

ファイアウォールルールを設定します。ここでは、セキュリティグループ宛のICMP EchoをBlockします。


DFWの設定

設定した内容が正しく表示されていることを確認して、完了します。


DFWの設定

Firewallタブに移動すると、先ほど設定した内容が反映されています。Destinationのグループをクリックすると、実際に適用されるVMの一覧が確認できます。


vCenter NSXManager

NSXController

NSXController

NSXController

DFWの動作確認

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4


ESXi(Edge GW)

192.168.0.0/24

.254.254

.254.254

.253

DFWの設定を行うことで各VM同士の通信がHypervisorのカーネル上で遮断されることを確認します。

＃Logical View

BGP Neighbor

NSXEdge SG

NSXEdge SG

Physical Network

192.168.255.254

192.1

68.2

55.0

/24

DLRControl

DLRControl

Logical Switch 1

Logical Switch 2

martini VM1

martini VM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24 Distributed FW192.168.2.0/24

Distributed FW192.168.1.0/24

.3 .3 .4 .4


DFWの動作確認

パケットが通らないことが確認できます。


DFWの設定

後の検証でICMP Echoを使いますので、動作を確認したら作成したSecurity Policyは削除しておきます。


vCenter NSXManager

NSXController

NSXController

NSXController

ESG LBサービスの設定

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4


ESXi(Edge GW)

192.168.0.0/24

Physical Network

192.1

68.2

55.0

/24

192.168.255.1

.254.254

.254.254

.253

ESGのLoad Balancerサービスを有効化することにより、サーバー負荷分散サービスが提供されることを確認します。

＃Logical View

BGP Neighbor

NSXEdge SG

NSXEdge SGDLR

Control

DLRControl

Logical Switch 1

Logical Switch 2

martiniVM1

martiniVM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24

.3 .3 .4 .4



Load balancerを設定します。Edge GWのLoad balancerタブに移動します。



Editを押し、Load balancerを有効化します。



Application Profilesに移動し、LBを適用するアプリケーションを定義します。



サービスの設定を行います。今回はHTTPをロードバランスします。



続いて、Poolタブに移動し、サーバのプールを定義します。



サーバプールを定義します。負荷分散の方式と監視の方式を設定します。



サーバプールに追加するメンバーを選択します。今回はCompute Clusterの全てのVMを追加するため、ComputeClusterを選択します。


ESG LBサービスの設定(おまけ)

先ほどDFWの紹介で作成したSecurity Groupも対象として選択が可能です。これにより、FWと一貫性を持ったLBの設定が可能です。



仮想サーバの設定を行います。この設定を行う事で、Edge GWがLBとして動作します。



作成したプロファイルやプール、Edge GWが待ち受けるIPアドレスなどを設定します。


ESG LBサービスの確認

設定が正しく完了すると、Edge GW宛のHTTPリクエストが各サーバにロードバランスされるようになります。

※注意：検証環境においてはこの構成で問題なく動作出来ていますが、VMware社としては、DLR越しのLB構成は非推奨構成とのことです。


HW VTEPとの連携：L2 GATEWAY


Hardware VTEPのUse Case

ジュニパーではNSXと連動可能なHW VTEPとして、L2での接続を提供するL2 SDN Gateway （QFX5100シリーズ）、およびL2/L3/DCIでのHW VTEP接続を提供するUniversal SDN Gateway（MX/EX9200シリーズ）の2種類を用意しています。

Layer 2 SDN Gateway

QFX5100 series

あらゆるFabricトポロジに対応VC – VCF – CLOS IP Fabric

VMware NSXのHW VTEPとしてL2連携

QFX5100 series

MX & EX9200 Series

Virtual Chassisによる仮想統合

VMware NSXのHW VTEPとしてL2/L3、及びMPLSで連携

Universal SDN Gateway

MX series EX9200 series



NSXのデザインを考慮するにあたって、検討する必要があるのが仮想ネットワーク空間と物理環境の橋渡しについてです。

VirtualNetwork

PhysicalEnvironment

NSX Edgeサービスにより物理ネットワークとのL2/L3接続が提供されますが、既存環境とのより高い帯域・パフォーマンスでの接続、より高い拡張性、より高速なHA機能などが必要な場合にはHW VTEPとの連動で実現が可能です。

NSX Edge Service GatewayLayer2 Bridging/Routing Service

Hardware VTEPL2/L3 Gateway

Physical Server & Storage Physical Firewall & Load balancer

or



アクセススイッチでNSX L2 Gateway （HW VTEP）として動作

必要に応じて、ベアメタルサーバーとNSX配下の仮想サーバー間のVXLAN接続をスイッチが提供

物理サーバーとの接続

BareMetalServer

VirtualNetwork

Infrastructure as a Service

NSX のL2 ゲートウェイをエッジ・ルーターが実行

テナント（特定VXLAN）ごとのポリシーに応じた柔軟な接続を提供

VirtualNetwork

PhysicalNetwork


Hardware VTEPの統合

NSXの仮想ネットワークとHW VTEPを接続するためには、VXLAN環境におけるBUMトラフィックのReplicationに応じた設定をアンダーレイ・ネットワークとNSX間で合わせて行う必要があり、ジュニパーのデバイスではMulticast−VXLANかOVSDB−VXLAN、2種類の方法でNSXと接続することが可能です。それぞれの特徴は以下のとおり。

※OVSDB-VXLANはNSX6.2.3より正式にサポートが追加される予定の新しい機能です。本資料ではNSX6.2.1で動作検証をしています。

Multicast-VXLAN OVSDB-VXLANBUMトラフィックはMulticastルーティングによりRendezvous Point(RP)がパケットの複製を行う

（デメリット）・アンダーレイでマルチキャストルーティングが必要・NSX Managerから物理ネットワークの設定変更が不可（構成変更時には物理ネットワークの設定が個別に必要）

（メリット）・DLRによるDistributed Routingとの共存が可能（ただしLayer2スイッチングのみサポート）・証明書の管理は不要

BUMトラフィックはNSXコントローラが制御を行い、代表ノードが各VTEPへパケットの転送を行う

（メリット）・アンダーレイでマルチキャストルーティングは不要・NSX Managerから物理ネットワークの設定変更が可能（ただしLayer2設定のみサポート）

（デメリット）・DLRによるDistributed Routingとの併用が不可（DLRなしのCentralized Routingのみサポート）・ネットワークデバイス毎の証明書の管理が必要


Multicast-VXLANの設定

まずは、Multicast-VXLANを用いて、Logical SwitchをHW VTEP経由で物理ネットワークと接続します。

NSXでMulticast VXLANを使用する準備はこれまでの手順で整っていますので、L2 VTEPに対してMulticast VXLANの設定を行っていきます。




Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

アンダーレイを構成するスイッチでMulticast VXLANを有効にし、VXLANと物理ネットワークをL2接続します。

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254





EX3300(Baremetal)

eBGP

PIM


NSXの構築

VMware NSXのLogical Switch画面にて、Logical SwitchごとのSegment ID(VNI)と、Multicast Groupを確認します。

今回の例では以下の通りです。

LS1

Segment ID: 5000

Multicast Group: 239.0.1.0

LS2

Segment ID: 5001

Multicast Group: 239.0.1.1



＃Leaf Switch (Atlas)の設定

# VXLANのDestination UDPポートを8472に変更set protocols l2-learning destination-udp-port 8472

# VXLANのTunnel Endpointとしてlo0.0を指定set switch-options vtep-source-interface lo0.0

# VXLANと接続するVLANを作成set vlans LS1 vlan-id 1000

set vlans LS1 vxlan vni 5000

set vlans LS1 vxlan multicast-group 239.0.1.0

set vlans LS2 vlan-id 1001



# インターフェイスにVXLANと接続されたVLANを設定set interfaces ge-0/0/16 unit 0 family ethernet-switching interface-mode trunk

set interfaces ge-0/0/16 unit 0 family ethernet-switching vlan members LS1





Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4

vCenter NSXManager

NSXEdge SG

NSXEdge SG

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel

ここまでの設定で以下のようにHW VTEPを含めたオーバーレイ・ネットワークが構成されています。

EX3300(Baremetal)

HW-VTEP

DLRControl

DLRControl

martiniVM1

martiniVM2

calvinVM1

calvinVM2


VXLAN動作の確認

＃Leaf Switch (Atlas)で以下のコマンドを用いることで、VXLANの動作状況が確認可能です。

root@ATLAS> show ethernet-switching vxlan-tunnel-

end-point remote

Logical System Name Id SVTEP-IP IFL L3-Idx

<default> 0 10.255.0.3 lo0.0 0

RVTEP-IP IFL-Idx NH-Id

10.128.1.10 559 1744

VNID MC-Group-IP

5001 239.0.1.1

5000 239.0.1.0


10.128.2.10 562 1754

VNID MC-Group-IP

5001 239.0.1.1

5000 239.0.1.0


10.128.3.10 561 1755

VNID MC-Group-IP

5001 239.0.1.1

5000 239.0.1.0

root@ATLAS> ...vxlan-tunnel-end-point remote mac-table

MAC flags (S -static MAC, D -dynamic MAC, L -locally

learned, C -Control MAC

SE -Statistics enabled, NM -Non configured

MAC, R -Remote PE MAC)

Logical system : <default>

Routing instance : default-switch

Bridging domain : LS1+1000, VLAN : 1000, VNID : 5000

MAC MAC Logical Remote VTEP

address flags interface IP address

00:50:56:f7:f6:4a D vtep.32769 10.128.1.10

02:50:56:56:44:52 D vtep.32769 10.128.1.10

MAC flags (S -static MAC, D -dynamic MAC, L -locally

learned, C -Control MAC

SE -Statistics enabled, NM -Non configured

MAC, R -Remote PE MAC)

Bridging domain : LS2+1001, VLAN : 1001, VNID : 5001

MAC MAC Logical Remote VTEP

address flags interface IP address

00:50:56:f7:f6:4a D vtep.32769 10.128.1.10

02:50:56:56:44:52 D vtep.32769 10.128.1.10


EX3300(Baremetal)

vCenter NSXManager

NSXController

NSXController

NSXController


＃Logical View

Spine

ESXi(Management)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

10.1

28.1

.0/2

4


ESXi(Edge GW)

192.168.0.0/24

.254

.254.254

.253

BGP Neighbor

NSXEdge SG

NSXEdge SG

192.168.255.1

Physical Network

192.1

68.2

55.0

/24

.254

Physical Network

.100 .100

VM1からHW VTEPの先の物理ネットワークへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認します。

DLRControl

DLRControl

Logical Switch 1

Logical Switch 2

martini VM1

martini VM2

calvinVM1

calvinVM2

192.168.1.0/24

192.168.2.0/24

L2 HW VTEPによるブリッジング

.3 .3 .4 .4


分散仮想ルーター（DLR）の仕様制限

仮想ネットワークと物理ネットワークが接続されましたので、物理ネットワークのサーバからもL3通信を行いたいと考えるのは当然のことです。

ただし物理ネットワークからVMware NSXの分散仮想ルーターをL3ゲートウェイとして使用する事はできません。これは分散仮想ルーターが物理ネットワークからのARPリクエストに対して応答を行わない仕様によるものです。

仮想ネットワーク側からARPリクエストがVXLANに飛ぶタイミングにおいて、一時的に物理ネットワーク側でARPが学習されるタイミングがあり、そのタイミングにおいてのみL3通信が可能となりますが、一度物理サーバのARPテーブルからエージアウトすると、通信が不可能となります。

これは現時点でのVMware NSXの仕様となりますので、物理ネットワークのサーバも含めたL3通信を行いたい場合は、Edge GWを使用するか、物理ルーターでL3ルーティングを行うデザインを検討する必要があります。


VirtualMachine

Baremetal Server

Hypervisor（ESXi)

ARP Request

ARP Request

ARP ReplyNO Reply



次に、OVSDBを使用してNSXの仮想ネットワークとQFX配下の物理ネットワークを接続してみます。

OVSDBを使用するにあたっては、以下の設定を行う必要があります。

VXLANで使用するポート番号の変更

OVSDBで使用する証明書の発行と配置

L2 Gatewayに対するOVSDB設定の投入

NSXに対するHardware VTEPの設定

Unicast VXLANを用いたLogical Switchの作成

Logical SwitchとL2 Gatewayポートのマッピング




Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

アンダーレイを構成するスイッチでOVSDBを動作させて、スイッチとNSX Controllerを接続します。

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254





NSXController

NSXController

NSXController

EX3300(Baremetal)

eBGP


OVSDBの事前準備

＃VXLANポート番号の変更

OVSDBを使用する場合、NSXはVXLANのポート番号をNSXデフォルトの8472から、標準ベースの4789に変更することを要求します。NSX Managerに対してREST APIリクエストを行う事により、この設定の変更が可能です。例えばLinux/curlを用いる場合、以下のようにしてポート番号を変更します。

# 変更リクエスト

$ curl -u admin -k -X PUT https://nsxmanager.juniper.local/api/2.0/vdn/config/vxlan/udp/port/4789

Enter host password for user 'admin': (password)

jobdata-4446%

# 変更結果の確認

$ curl -u admin -k https://nsxmanager.juniper.local/api/2.0/vdn/config/vxlan/udp/port

Enter host password for user 'admin': (password)

<?xml version="1.0" encoding="UTF-8"?>

<int>4789</int>%



＃VXLANポート番号の変更

VXLANのポート番号を変更した場合、Multicast VXLANの設定を行っている既存のスイッチについて、ポート番号をデフォルトに戻す必要があります。

# VXLANのDestination UDPポートをデフォルトに戻すdelete protocols l2-learning destination-udp-port



＃証明書の発行

OVSDBを使用したL2 VTEPを構成する場合には、NSX Controllerが物理スイッチを識別するための証明書と秘密鍵を発行する必要があります。Linux PCにて以下の手順を実行することにより、証明書と秘密鍵の発行が可能です。(以下はUbuntu 14.04における例)

# まずはじめに、ovs-pkiコマンドをインストールする

$ sudo aptitude install openvswitch-pki

…(snip)…

# calypso という証明書を生成

$ sudo ovs-pki req+sign calypso

calypso-req.pem Fri Feb 19 20:09:26 JST 2016

fingerprint 2740b5914c84423ac43621269c67b738a8325b0d

$ ls *.pem

calypso-cert.pem calypso-privkey.pem calypso-req.pem

calypso-cert.pemが証明書, calypso-privkey.pemが秘密鍵となります。



＃Leaf Switch (Calypso)への証明書の配置

FTP等にて、/var/db/certs以下にvtep-cert.pem, vtep-privkey.pem という名前で証明書と秘密鍵のファイルをそれぞれ配置します。配置後、OVSDBデーモンが起動したタイミングで、ca-cert.pemが生成されます。

root@CALYPSO_LEAF> file list /var/db/certs/

/var/db/certs/:

ca-cert.pem

common/

system-cert/

system-key-pair/

vtep-cert.pem

vtep-privkey.pem



＃Leaf Switch (Calypso)の証明書の確認

file showコマンドを使用して、vtep-cert.pemの内容を表示し、公開鍵部分（以下太字部分）をコピーしておきます。

root@CALYPSO_LEAF> file show /var/db/certs/vtep-cert.pem

Certificate:

Data:

<snip>

6e:87:b3:b5

-----BEGIN CERTIFICATE-----

MIIDgzCCAmsCAQQwDQYJKoZIhvcNAQEEBQAwgYExCzAJBgNVBAYTAlVTMQswCQYD

VQQIEwJDQTEVMBMGA1UEChMMT3BlbiB2U3dpdGNoMREwDwYDVQQLEwhzd2l0Y2hj

YTE7MDkGA1UEAxMyT1ZTIHN3aXRjaGNhIENBIENlcnRpZmljYXRlICgyMDE2IEZl

YiAwOSAxNzo1Njo1NCkwHhcNMTYwMjEyMTAxNzQyWhcNMjYwMjA5MTAxNzQyWjCB

jDELMAkGA1UEBhMCVVMxCzAJBgNVBAgTAkNBMRUwEwYDVQQKEwxPcGVuIHZTd2l0

<snip>

AQABMA0GCSqGSIb3DQEBBAUAA4IBAQB9wWdHyFyMnSiauMHEDCM6qIuLuNSWmtXq

Z2hDtVnysn35+YQCcu102yP2Xa3iZ/IsxYzwUUHi1s1M4aJ92t1E/XyNMdWSgcTV

xI1V7TJ6/HyeOyOSEaLJ3Jdhu+HvT7eK4lynq/929R9H6Dlg0csSO5MfnoKTTnj0

YRpBPWqKhQlKUi8QyIbualJC1i8p8XeRL2ECuTMEm7jE5cYFu0tACf1mSxJ9Nf2C

8TpvovKFTKaIF4Gr+PZbNe+mKzIyRe/2mVdVOkq0sXNAN6EkQmSQcuCD1ps/hFFT

0ffYvWKBgDZ91y1cIqJcbjWRiN2JFdkT+kS+F+AmQF7dUjZuh7O1

-----END CERTIFICATE-----




# LAGの設定set interfaces ge-0/0/16 ether-options 802.3ad ae2


set interfaces ae2 aggregated-ether-options lacp active

set interfaces ae2 aggregated-ether-options lacp periodic fast


# OVSDBプロトコルの設定set protocols ovsdb interfaces ae2

set protocols ovsdb controller 10.0.0.103 protocol ssl port 6640



# スイッチをOVSDB管理下に置く事を許可set switch-options ovsdb-managed


NSXの構築

NSXにHardware VTEPを登録します。Service DefinitionsのHardware Devicesを開きます。


NSXの構築

BUMトラフィックを複製する、Replication Clusterを設定します。Editボタンを選択します。


NSXの構築

Replication Clusterに追加するホストを選択します。ここでは、Edge ClusterのGibsonを追加します。


NSXの構築

続いて、物理スイッチを登録します。

Hardware Devicesの追加ボタンを押し、スイッチの名前と先ほどコピーした証明書を入力します。


NSXの構築

少しすると、スイッチのConnectivityがUPの状態になります。


NSXの構築

続いて、Unicast VXLANを使用したLogical Switchを作成します。

今回は例として、LS3, LS4の2つのLogical Switchを作成し、それぞれのLogical SwitchにVMを追加します。


NSXの構築

なお、分散仮想ルータが接続されているLogical Switchには、Hardware VTEPの設定を行う事ができません。そのため、Logical SwitchとHardware VTEPを組み合わせて物理サーバ等と高速な通信を行いたい場合、L3接続のためには、Edge GWを用いてL3ルーティングを行うか、Hardware VTEPの先にL3ゲートウェイが必要になります。

今回は、Edge GWにこれらのLogical Switchを追加することで、L3ルーティングを行います。


NSXの構築

Edge GWの設定画面を開き、使用していないインターフェイスを選択し、編集画面を開きます。


NSXの構築

名前と種類、接続先のLogical Switch、IPアドレスなどを指定します。


NSXの構築

以上の設定を繰り返し、Logical SwitchとEdge GWをマッピングします。


NSXの構築

Logical Switchの作成とVMの追加, Edge GWの設定が完了したら、Logical SwitchとHardware VTEPの物理ポートのマッピングを行います。

Logical Switchを右クリックし、Attach Hardware Portsを選択します。


NSXの構築

マッピング画面が表示されるので、スイッチを選択した後追加ボタンを押してHardware VTEPを追加し、Hardware VTEPの物理ポートとVLAN IDを設定します。


NSXの構築

追加が正常に行われると、Hardware VTEP側に自動的に情報が送信され、VXLANとインターフェイスの設定が行われます。

OVSDBから送信された情報は、show ovsdb interface, show ovsdb logical-switch等で確認可能です。

各ロジカルスイッチで、 Flags: Created by bothとなっていれば、正常にVXLANの設定が行われています。




Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

vCenter NSXManager

NSXEdge SG

NSXEdge SG

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel


EX3300(Baremetal)

HW-VTEP

martiniVM3

martiniVM4

calvinVM3

calvinVM4


VXLAN動作の確認

＃Leaf Switch (Calypso)で以下のコマンドを用いることで、VXLANの動作状況が確認可能です。

root@CALYPSO> show ethernet-switching vxlan-tunnel-

end-point remote

Logical System Name Id SVTEP-IP IFL L3-Idx

<default> 0 10.255.0.2 lo0.0 0


10.128.1.10 558 1720

VNID MC-Group-IP

5004 0.0.0.0 *

5003 0.0.0.0 *


10.128.2.10 557 1719

VNID MC-Group-IP

5004 0.0.0.0

5003 0.0.0.0


10.128.3.10 559 1721

VNID MC-Group-IP

5004 0.0.0.0

5003 0.0.0.0

root@CALYPSO> show ovsdb mac

Logical Switch Name: 1d640826-4d31-3453-9556-

c60fe7d0459e

Mac IP Encapsulation Vtep

Address Address Address

00:50:56:bb:36:bb 0.0.0.0 Vxlan over Ipv4

10.128.2.10

00:50:56:bb:92:4e 0.0.0.0 Vxlan over Ipv4

10.128.3.10

ff:ff:ff:ff:ff:ff 0.0.0.0 Vxlan over Ipv4

10.128.1.10

Logical Switch Name: 2c27a260-f16a-3309-8393-

cc529f391f4a

Mac IP Encapsulation Vtep

Address Address Address

00:50:56:bb:f7:ab 0.0.0.0 Vxlan over Ipv4

10.128.3.10

00:50:56:bb:f8:34 0.0.0.0 Vxlan over Ipv4

10.128.2.10

ff:ff:ff:ff:ff:ff 0.0.0.0 Vxlan over Ipv4

10.128.1.10



Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

192.168.255.1

Physical Network

192.1

68.2

55.0

/24

.254

NSXEdge SG

NSXEdge SG

Logical Switch 3

Logical Switch 4

martini VM3

martini VM4

calvinVM3

calvinVM4

192.168.3.0/24

192.168.4.0/24

.254

.254

.100 .100

.3 .3 .4 .4



Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

192.168.255.254

Physical Network

192.1

68.2

55.0

/24

.254

NSXEdge SG

NSXEdge SG

Logical Switch 3

Logical Switch 4

martini VM3

martini VM4

calvinVM4

calvinVM4

192.168.3.0/24

192.168.4.0/24

.254

.254

.100 .100

VM3から各種VMへの通信、ESGの先の物理ネットワーク、およびHW VTEPの先の物理ネットワークへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認できます。

.3 .3 .4 .4



Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

192.168.255.1

Physical Network

192.1

68.2

55.0

/24

.254

NSXEdge SG

NSXEdge SG

Logical Switch 3

Logical Switch 4

martini VM3

martini VM4

calvinVM3

calvinVM4

192.168.3.0/24

192.168.4.0/24

.254

.254

.100 .100

VM3から各種VMへの通信、ESGの先の物理ネットワーク、およびHW VTEPの先の物理ネットワークへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認できます。

.3 .3 .4 .4



Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

192.168.255.1

Physical Network

192.1

68.2

55.0

/24

.254

NSXEdge SG

NSXEdge SG

Logical Switch 3

Logical Switch 4

martini VM3

martini VM4

calvinVM3

calvinVM4

192.168.3.0/24

192.168.3.0/24

.254

.254

.100 .100

また、VTEP配下の物理ネットワークから各種VMへの通信、ESGの先の物理ネットワーク先への物理ネットワークへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることも確認できます。

.3 .3 .4 .4


HW VTEPとの連携：L3 GATEWAYの検討


Hardware VTEPを利用したL3 Gatewayデザイン検討

VMware NSXを構成するにおいてはこれまで確認してきた、ESGやDLRをどのように配備するか、というデザイン検討を求められるのが一般的です。一方で、ESGやDLRによる制限も各種存在します。

ESG Routing・インターフェイスの数量（10）・サブインターフェイスの数量（200 per ESG）・Failoverタイム（A/S or ECMP）・サーバーのパケットフォワーディングパフォーマンス・ネットワーク帯域

DLR・ルーティングテーブル（2000：12000 per NSX Manager）・OVSDB-VXLANとの併用不可・L2 HW VTEP越しのARP返答不可

これらNSXにおける仕様上の制約もHW VTEPを併用したデザインを考えることで、より柔軟なネットワークデザインが検討できることを確認してみます。

※最新VersionにおけるNSXのScalabilityなど、詳しい情報はVMwareさまにお問い合わせください。


ジュニパーのVXLAN Routing対応機器

現在ジュニパーからはVXLAN-Routingをサポートする機器として、MXシリーズ、EX9200シリーズ、QFX10000シリーズがリリースされています。これらのデバイスはジュニパーのカスタムSiliconを搭載しているため、VLXAN Routingに加え、VXLANとMPLS-VPNのStitching、高いScalability（VLAN数やRoute数、Multicast Group数など）を提供することが可能で、NSXとのより柔軟な構成デザインをハードウェアでサポートすることが可能です。

QFX10000 series

Universal SDN Gateway

MX seriesEX9200 series



NSX との L2/L3 接続ゲートウェイ機能をコア・スイッチまたはエッジ・ルーターで実施

VXLANで仮想化されていない物理的なデータセンターとのルーティング接続を柔軟に提供

物理データセンターとの接続

VirtualData Center

PhysicalData Center

NSX との L2/L3 接続ゲートウェイ機能をコア・スイッチまたはエッジ・ルーターで実施

仮想ネットワーク（VXLAN）間のルーティングを提供

様々なカプセリングプロトコルにも対応

データセンター内でのVXLAN ルーティング

VXLAN 1

Physical Network

VXLAN 2


アンダーレイ・ネットワークのL3デザイン：その1

デザイン例1では、OVSDBによるL2 VTEPの先にL3ルーティングを行うルータを配置することにより、仮想ネットワーク間のルーティング及び仮想ネットワークと物理ネットワーク間のルーティングを物理ルータに行わせます。

このデザインにおいては、外部ネットワークとの接続の際のパフォーマンスがEdge GWのスケール制約から解放されるとともに、物理ルータによる信頼性の高いHA機能等を利用することが可能となります。

また、ルータにおいてVXLANを使用しないため、既存の設備等とも親和性が高く、コストパフォーマンスに優れるデザイン方式となっています。

VXLAN Overlay

ESXi ESXi

Baremetal ServerVM VM VM VM

Physical Router or L3 Switch

VTEP

Clos IP Fabric


OVSDB

10.1

28.1

.0/2

4



ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

以下の様な構成でゲスト間でのRoutingを行うルーター（MX5）をネットワークに追加します。

.254

.3 .1

.254





eBGP

#Virtual SpineMX5JUNOS 14.2R5

ESXi(Management)

ESXi(Edge GW)

10.255.0.1/32.254

.2 .0

10.255.0.11/32

.5

.6NSX

ControllerNSX

ControllerNSX

Controller

EX3300(Baremetal)

NSXEdge SG

NSXEdge SG

.1

.254


EX3300(Baremetal)

10.255.0.11/32

172.31.0.X/30

.5



Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.2/31 172.31.0.0/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf


10.1

28.1

.0/2

4

Stinger10.0.0.21

Atlas10.0.0.3

Gibson10.0.0.22

Martini10.0.0.23

Calvin10.0.0.24

Hermes10.0.0.1

Tiny10.0.0.50

Calypso10.0.0.2


Altius10.0.0.11

10.0.0.0/24



＃Spine Switch (Hermes)への証明書の配置

FTP等にて、/var/db/certs以下にvtep-cert.pem, vtep-privkey.pem という名前で証明書と秘密鍵のファイルをそれぞれ配置する。配置後、OVSDBデーモンが起動したタイミングで、ca-cert.pemが生成される。

root@CALYPSO_LEAF> file list /var/db/certs/

/var/db/certs/:

ca-cert.pem

common/

system-cert/

system-key-pair/

vtep-cert.pem

vtep-privkey.pem



＃Spine Switch (Hermes)の設定


# OVSDBプロトコルの設定set protocols ovsdb interfaces ge-0/0/6




# スイッチをOVSDB管理下に置く事を許可set switch-options ovsdb-managed


NSXの構築

NSXにHardware VTEPを登録します。Service DefinitionsのHardware Devicesを開きます。


NSXの構築

Hardware Devicesの追加ボタンを押し、スイッチの名前と証明書のBEGIN CERTIFICATEの行からEND CERTIFICATEの行までを入力します。


NSXの構築

続いて、Unicast VXLANを使用したLogical Switchを作成します。

今回は例として、LS5, LS6の2つのVM用Logical Switchを作成し、それぞれのLogical SwitchにVMを追加します。

また、Edge GWやLDR配下のホストと通信するために、MXとEdge GWを接続するためのLogical Switch ESG1-vSPINE を作成します。


NSXの構築

Logical SwitchとHardware VTEPの物理ポートのマッピングを行います。各Logical Switchを右クリックし、Attach Hardware Portsを選択します。


NSXの構築

マッピング画面が表示されるので、スイッチを選択した後追加ボタンを押してHardware VTEPを追加し、Hardware VTEPのポートとVLAN IDを設定します。

今回は以下の通りマッピングします。 LS5: HERMES ge-0/0/6 VLAN5, CALYPSO ae2 VLAN5

LS6: HERMES ge-0/0/6 VLAN6 , CALYPSO ae2 VLAN6

ESG1-vSPINE: HERMES ge-0/0/6 VLAN250


NSXの構築

Edge GWとルータを接続する設定を行います。

Edge GWの設定画面を開き、使用していないインターフェイスを選択し、編集画面を開きます。


NSXの構築

名前と種類、接続先のLogical Switch(ESG1-vSPINE)、IPアドレスなどを指定します。


NSXの構築

続いて、ルータとのルーティングプロトコルの設定を行います。RoutingタブのBGP設定画面に移動し、Neighborの追加を行います。


NSXの構築

BGPネイバーの設定を行います。



ルータ (Altius)に対して、NSX Edge GWとの接続設定を投入します。

# Spineとの接続インターフェイスの設定set interfaces ge-1/0/4 vlan-tagging

set interfaces ge-1/0/4 unit 5 vlan-id 5 family inet address 192.168.5.254/24



# 既存物理ネットワークとの接続インターフェイスの設定set interfaces ge-1/0/9 unit 0 family inet address 10.0.1.1/24

# オーバーレイネットワーク用のVirtual Routerを作成set routing-instances Overlay-VR instance-type virtual-router

set routing-instances Overlay-VR interface ge-1/0/4.5




# BGPの設定set routing-instances Overlay-VR routing-options autonomous-system 65199

set routing-instances Overlay-VR protocols bgp group NSX-ESG export NSX-export

set routing-instances Overlay-VR protocols bgp group NSX-ESG neighbor 192.168.250.1 peer-as 65100

set policy-options policy-statement NSX-export term export-direct from protocol direct

set policy-options policy-statement NSX-export term export-direct then accept

set policy-options policy-statement NSX-export term d-gw from protocol static

set policy-options policy-statement NSX-export term d-gw from route-filter 0.0.0.0/0 exact

set policy-options policy-statement NSX-export term d-gw then accept


オーバーレイ・ネットワークのL3デザイン：その1


ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

vCenter NSXManager

NSXEdge SG

NSXEdge SG

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel

EX3300(Baremetal)

HW-VTEP


martiniVM5

martiniVM6

calvinVM5

calvinVM6


EX3300(Baremetal)

.254

.2 .0

10.255.0.11/32

172.31.0.X/30

.5

.6


Spine

ESXi(Management)

ESXi(Edge GW)

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

Logical Switch 5

Logical Switch 6

192.168.5.0/24

192.168.6.0/24

.1

.100 .100

Physical Network

NSXEdge SG

NSXEdge SG

10.0.1.0/24

10.0.1.254BGP Neighbor

.1

192.168.250.0/24

各ゲスト端末のD/GをVXLAN越しのMXに向けることで、高可用性とスケーラビリティを両立させたゲートウェイデザインを可能とします。

.254.254.254

ESXi ESXimartini

VM5martini

VM6calvinVM5

calvinVM6

.3 .3 .4 .4


.254

.2 .0

10.255.0.11/32

172.31.0.X/30

.5

.6


Spine

ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

Logical Switch 5

Logical Switch 6

192.168.5.0/24

192.168.6.0/24

.1

.100 .100

Physical Network

NSXEdge SG

NSXEdge SG

10.0.1.0/24


.1

192.168.250.0/24

.254.254.254

VM5から同一VXLAN内のホスト宛へのスイッチング、および物理環境越しのホストへのルーティングの疎通が通ることを確認します。

ESXi ESXimartini

VM5martini

VM6calvinVM5

calvinVM6

.3 .3 .4 .4


.254

.2 .0

10.255.0.11/32

172.31.0.X/30

.5

.6


Spine

ESXi(Management)

ESXi(Edge GW)

ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

Logical Switch 5

Logical Switch 6

192.168.5.0/24

192.168.6.0/24

.1

.100 .100

Physical Network

NSXEdge SG

NSXEdge SG

10.0.1.0/24


.1

192.168.250.0/24

.254.254.254

VM5から別VXLAN内のホスト宛へルーティングの疎通が通ることを確認します。

ESXi ESXimartini

VM5martini

VM6calvinVM5

calvinVM6

.3 .3 .4 .4


.254

.2 .0

10.255.0.11/32

172.31.0.X/30

.5

.6


Spine

ESXi(Management)

ESXi(Edge GW)

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.1/32

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

10.1

28.1

.0/2

4.254

.254

.3 .1

.2 .0

.254

NSXController

NSXController

NSXController

EX3300(Baremetal)

＃Logical View

Physical Network

Logical Switch 5

Logical Switch 6

192.168.5.0/24

192.168.6.0/24

.1

.100 .100

Physical Network

NSXEdge SG

NSXEdge SG

10.0.1.0/24


.1

192.168.250.0/24

.254.254.254

外部クライアントからESGのサービス（LB）を介した通信を確認します。

ESXi ESXimartini

VM5martini

VM6calvinVM5

calvinVM6

.3 .3 .4 .4



デザイン例2では、Spineの場所にMulticast VXLANを解釈するルータを配置することにより、仮想ネットワーク間のルーティング及び仮想ネットワークと物理ネットワーク間のルーティングを物理ルータに行わせます。

このデザインにおいては例1のメリットに加えて、Spineの部分でジュニパーの提供するUniversal SDN Gatewayによりハードウェアで直接VXLAN間のルーティングを行える事による低レイテンシ通信の提供や、多数のVLANとVXLANを直接ハードウェアにて収容・結合することによるより多くの物理・仮想ネットワークへの対応などが挙げられます。

Clos IP FabricVXLAN Overlay

ESXi ESXi


Juniper Universal SDN Gateway

VTEP


10.1

28.1

.0/2

4



ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

以下の様な構成でゲスト間でのRoutingを行うルーターを（MX5）をL3 VTEPとしてアンダーレイ・ネットワークに追加します。

.254

.3 .1

.254





eBGP

#Virtual SpineMX5JUNOS 14.2R5

ESXi(Management)

ESXi(Edge GW)

.254

.2 .0

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)

PIM



＃Spine Router (Altius)の設定 (1/3)

# 各スイッチ向けインターフェイスの設定set chassis aggregated-devices ethernet device-count 1

set interfaces ge-1/0/5 gigether-options 802.3ad ae0






# PIM, MSDPの設定set protocols msdp local-address 10.255.0.11

set protocols msdp peer 10.255.0.1




set protocols pim interface ge-ae0.0 mode sparse

# Router-ID, ECMPの設定set routing-options autonomous-system 65001






# BGPの設定set protocols bgp log-updown graceful-restart



set protocols bgp group CLOS import BGP-CLOS-IN export BGP-CLOS-OUT

set protocols bgp group CLOS bfd-liveness-detection minimum-interval 350 multiplier 3





set policy-options policy-statement BGP-CLOS-IN term d-gw from route-filter 0.0.0.0/0 exact

set policy-options policy-statement BGP-CLOS-IN term d-gw then accept






set policy-options policy-statement BGP-CLOS-OUT term d-gw from protocol static

set policy-options policy-statement BGP-CLOS-OUT term d-gw from route-filter 0.0.0.0/0 exact

set policy-options policy-statement BGP-CLOS-OUT term d-gw then accept








# VXLANの設定set routing-instances VSW-VXLAN1 vtep-source-interface lo0.0

set routing-instances VSW-VXLAN1 instance-type virtual-switch

set routing-instances VSW-VXLAN1 bridge-domains LS7 domain-type bridge

set routing-instances VSW-VXLAN1 bridge-domains LS7 vlan-id 7

set routing-instances VSW-VXLAN1 bridge-domains LS7 routing-interface irb.7

set routing-instances VSW-VXLAN1 bridge-domains LS7 vxlan vni 5008

set routing-instances VSW-VXLAN1 bridge-domains LS7 vxlan multicast-group 239.0.1.3






# VXLAN内のL3インターフェイス設定set interfaces irb unit 7 enhanced-convergence

set interfaces irb unit 7 family inet address 192.168.7.253/24 virtual-gateway-address 192.168.7.254

set interfaces irb unit 8 enhanced-convergence


set routing-instances Overlay-VR interface irb.7




＃Spine Switch (Hermes)の設定

# MSDPの設定set protocols msdp local-address 10.255.0.1



# インターフェイスの設定set chassis aggregated-devices ethernet device-count 4





# BGPネイバーの追加set protocols bgp group CLOS neighbor 172.31.0.4 peer-as 65001

# PIMインターフェイスの追加set protocols pim interface ae3.0 mode sparse

# インターフェイスの設定set interfaces ge-0/0/2 mtu 9014


# BGPネイバーの追加set protocols bgp group CLOS neighbor 172.31.0.6 peer-as 65001

# PIMインターフェイスの追加set protocols pim interface ge-0/0/2.0 mode sparse



＃Leaf Switch (Atlas)の設定


オーバーレイ・ネットワークのL3デザイン


ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

vCenter NSXManager

NSXEdge SG

NSXEdge SG

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel

EX3300(Baremetal)

HW-VTEP


martiniVM7

martiniVM8

calvinVM7

calvinVM8


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.3 .1

.254

ESXi(Management)

ESXi(Edge GW)

.254

.2 .0

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)

Physical Network

10.0.1.0/24

10.0.1.254

Physical Network

.100 .100

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM8

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254.254

各ゲスト端末のD/GをL3 VTEPであるMXに向けることで、高可用性とスケーラビリティを両立させたゲートウェイデザインを可能とします。

.1

＃Logical View

.3 .3 .4 .4


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.3 .1

.254

ESXi(Management)

ESXi(Edge GW)

.254

.2 .0

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)

Physical Network

10.0.1.0/24

192.168.255.1

Physical Network

.100 .100

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM7

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254.254

.1

VM7から同一VXLAN内のホスト宛へのスイッチング、および物理環境越しのホストへのルーティングの疎通が通ることを確認します。

＃Logical View

.3 .3 .4 .4


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.3 .1

.254

ESXi(Management)

ESXi(Edge GW)

.254

.2 .0

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)

Physical Network

10.0.1.0/24

192.168.255.1

Physical Network

.3 .3

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM7

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254.254

.1

VM7から別VXLAN内のホスト宛へルーティングの疎通が通ることを確認します。

＃Logical View

.3 .3 .4 .4


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.3 .1

.254

ESXi(Management)

ESXi(Edge GW)

.254

.2 .0

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)

Physical Network

10.0.1.0/24

192.168.255.1

Physical Network

.3 .3

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM7

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254.254

.1

外部クライアントからESGのサービス（LB）を介した通信を確認します。

＃Logical View

.3 .3 .4 .4


HW VTEPとの連携： VXLAN/MPLS-STITCHING



VirtualData Center

Physical Data Center

Back-up Publicor Private

WAN

NSXと連動可能なHW VTEPとしてあげられるもう一つ重要なUse CaseはDatacenter Interconnect（DCI）です。

NSX EdgeサービスによりVPNサービスが提供されていますが、トラフィックエンジニアリングやFast Failoverなど、より高度で大規模なDCI機能を提供する手段としてジュニパーとしてはMPLS/VPNとNSXとの接続が提供可能です。

NSX Edge Service GatewayVPN Service

Hardware VTEPMPLS/VPN Stitching

or



データセンター間のVXLAN ルーティングとDataCenter Interconnect

VMware NSX との L2/L3 接続ゲートウェイ機能をエッジ・ルーターで実施

仮想化されたデータセンター間のVXLANルーティングを提供

MPLSなど様々なカプセリング技術との接続に対応

Virtual Data Center 1

Virtual Data Center 2

WAN


Hardware VTEPを利用したDCIデザイン検討

VMware NSXのESGでもDCI用途のL2VPNが提供されています。ただしより柔軟なDCI接続が必要な場合、ジュニパーのHW VTEPであればMPLS/VPNの柔軟性を手に入れつつ、NSXによる仮想ネットワークとのVXLAN接続を提供することも可能です。

MPLS/EVPN

柔軟なネットワーク・トポロジー (hub-n-spoke, mesh, ring) ✔

DC内・DC間において、100K+ 以上のホスト収容スケール ✔

Active-Activeマルチホーミング (hosts, routers) ✔

VPN (セキュアな分離、MAC, IP addressesのオーバーラップ) ✔

VLANを異なるロケーションにあるラックにまで拡張・延伸 ✔

ポリシーを用いたコントロールベース・ラーニング ✔

unknown unicastのFloodingの削減、もしくは最小化 ✔

Edgeに障害が発生した際のFast convergence ✔

Auto-Cfg, Non-Ethernet links, FRR on transit links, etc… ✔

•L2 VPN a point-to-point service that

can be established between two

locations. The NSX Edge deployed in

one datacenter site takes the role of the

L2 VPN server while the NSX Edge at

the second site is the L2 VPN client

initiating the connection to the server.



デザイン例3では、Spineに配置したUniversal SDN GatewayでVXLANの終端を行うと共にMPLS/VPNの機能を実行し、仮想ネットワーク間のルーティング、仮想ネットワークと物理ネットワーク間のルーティングに加えて、Datacenter Interconnectの役割までDCエッジの物理ルータに行わせます。

このデザインにより物理的に離れた複数の拠点にあるDCをMPLSによる高度な制御をおこないながら統合しつつ、NSXの世界を順次展開することが可能となります。

Clos IP Fabric

VXLAN Overlay

ESXi ESXi


Juniper Universal SDN Gateway

VTEP

SDDC（NSX)

MPLS/VPN Remote Datacenter-X

SDDC（NSX)

Legacy DC（Physical）

Remote Datacenter-Y

MPLS-LSI


10.1

28.1

.0/2

4



ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

以下の様な構成でL3 VTEPとしてのMX5とMPLS-VPNでDCI接続を行う対向のMX5をネットワークに追加します。

.254

.7 .5

.254


#DCI Segment Address172.32.0.X/30

eBGP

ESXi(Management)

ESXi(Edge GW)

.254

.6 .4

NSXController

NSXController

NSXController

EX3300(Baremetal)

PIM

10.255.0.11/32 10.255.0.12/32

MPLS/EVPN

EX3300(Baremetal)

10.100.0.0/24

10.200.0.0/24

Remote Datacenter


EX3300(Baremetal)

EX3300(Baremetal)



ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

172.31.0.2/31 172.31.0.0/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf


10.1

28.1

.0/2

4

Stinger10.0.0.21

Atlas10.0.0.3

Gibson10.0.0.22

Martini10.0.0.23

Calvin10.0.0.24

Tiny10.0.0.50

Calypso10.0.0.2


Altius10.0.0.11

10.0.0.0/24

Taz10.0.0.12


VLXN-MPLS Stitchingの構築

＃Spine DCI Router (Altius)の設定

# インターフェイスの設定set interfaces ge-1/0/0 mtu 1600


set interfaces ge-1/0/0 unit 0 family mpls




# OSPFの設定set protocols ospf area 0.0.0.0 interface lo0.0

set protocols ospf area 0.0.0.0 interface ge-1/0/0.0


# MPLSの設定set protocols rsvp interface ge-1/0/0.0

set protocols rsvp interface ge-1/0/1.0

set protocols rsvp interface lo0.0

set protocols mpls no-cspf

set protocols mpls label-switched-path LSP to 10.255.0.12

set protocols mpls label-switched-path LSP primary PATH1

set protocols mpls label-switched-path LSP secondary PATH2 standby

set protocols mpls path PATH1 10.100.0.253 strict


set protocols mpls interface ge-1/0/0.0


set protocols mpls interface lo0.0



＃Spine DCI Router (Altius)の設定

# BGPの設定set protocols bgp group EVPN type internal

set protocols bgp group EVPN mtu-discovery

set protocols bgp group EVPN family evpn signaling

set protocols bgp group EVPN local-as 65500

set protocols bgp group EVPN bfd-liveness-detection minimum-interval 350

set protocols bgp group EVPN bfd-liveness-detection multiplier 3

set protocols bgp group EVPN bfd-liveness-detection session-mode single-hop

set protocols bgp group EVPN neighbor 10.255.0.12 peer-as 65500

# EVPNの設定set routing-instances VSW-VXLAN1 route-distinguisher 10.255.0.11:100

set routing-instances VSW-VXLAN1 vrf-target target:65500:100

set routing-instances VSW-VXLAN1 protocols evpn default-gateway no-gateway-community

# EVPN/MPLSにStitchingする仮想ネットワークの選択set routing-instances VSW-VXLAN1 protocols evpn extended-vlan-list 7-8



＃＃DCI Router (Taz)の設定set version 14.2R5.8

set system host-name TAZ

set chassis fpc 0 pic 0 tunnel-services bandwidth 10g


set chassis network-services enhanced-ip







set interfaces ge-1/0/2 unit 0 family bridge interface-mode trunk

set interfaces ge-1/0/2 unit 0 family bridge vlan-id-list 7-8

set interfaces fxp0 unit 0 family inet address 10.0.0.12/24






















＃＃DCI Router (Taz)の設定 (.cont)set protocols bgp log-updown


set protocols bgp group EVPN type internal








set protocols ospf area 0.0.0.0 interface lo0.0




set routing-instances VSW-EVPN instance-type virtual-switch

set routing-instances VSW-EVPN interface ge-1/0/2.0

set routing-instances VSW-EVPN route-distinguisher 10.255.0.12:100

set routing-instances VSW-EVPN vrf-target target:65500:100

set routing-instances VSW-EVPN protocols evpn extended-vlan-list 7-8

set routing-instances VSW-EVPN protocols evpn default-gateway no-gateway-community

set routing-instances VSW-EVPN bridge-domains LS7 domain-type bridge

set routing-instances VSW-EVPN bridge-domains LS7 vlan-id 7

set routing-instances VSW-EVPN bridge-domains LS7 routing-interface irb.7







ESXi(Management)

ESXi(Edge GW)

ESXi ESXi

10.128.2.0/2410.128.3.0/24

Leaf Leaf

vCenter NSXManager

NSXEdge SG

NSXEdge SG

NSXController

NSXController

NSXController

VTEP

VXLAN Tunnel

EX3300(Baremetal)

HW-VTEP


MPLS Tunnel

MPLS-LSI

EX3300(Baremetal)

martiniVM7

martiniVM8

calvinVM7

calvinVM8


EVPNの確認root@ALTIUS> show evpn database

Instance: VSW-VXLAN1

VLAN VNI MAC address Active source Timestamp IP address

7 00:50:56:bb:2a:d4 vtep.32769 Feb 29 09:05:14 192.168.7.3

7 00:50:56:bb:6d:f7 vtep.32770 Feb 29 09:01:58 192.168.7.4

7 78:fe:3d:e9:46:85 vtep.32771 Mar 03 09:11:28 192.168.7.100

7 78:fe:3d:e9:46:86 10.255.0.12 Feb 29 09:55:36 192.168.7.102

7 ec:3e:f7:a0:2f:f0 10.255.0.12 Feb 29 09:46:23 192.168.7.252

7 ec:3e:f7:a0:4d:f0 irb.7 Feb 26 11:49:56 192.168.7.253

8 ec:3e:f7:a0:2f:f0 10.255.0.12 Feb 29 09:46:23 192.168.8.252

8 ec:3e:f7:a0:4d:f0 irb.8 Feb 26 21:34:57 192.168.8.253


EVPNの確認root@ALTIUS> show evpn instance extensive

Instance: VSW-VXLAN1

Route Distinguisher: 10.255.0.11:100

Per-instance MAC route label: 299776

MAC database status Local Remote

MAC advertisements: 8 4

MAC+IP advertisements: 8 4

Default gateway MAC advertisements: 2 0

Number of local interfaces: 4 (4 up)

Interface name ESI Mode Status

vtep.32768 00:00:00:00:00:00:00:00:00:00 single-homed Up

vtep.32769 Up

vtep.32770 Up

vtep.32771 Up

Number of IRB interfaces: 2 (2 up)

Interface name VLAN VNI Status L3 context

irb.7 5008 Up Overlay-VR

irb.8 5009 Up Overlay-VR

Number of bridge domains: 2

VLAN VNI Intfs / up IRB intf Mode MAC sync IM route

label

7 5008 0 0 irb.7 Extended Enabled 299840

8 5009 0 0 irb.8 Extended Enabled 299856

Number of neighbors: 1

10.255.0.12

Received routes

MAC address advertisement: 4

MAC+IP address advertisement: 4

Inclusive multicast: 2

Ethernet auto-discovery: 0

Number of peers: 1

Number of ethernet segments: 0

Instance: __default_evpn__

Route Distinguisher: 10.255.0.11:0


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.7 .5

.254

ESXi(Management)

ESXi(Edge GW)

.254

.6 .4

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)

Physical Network（Remote DC）

192.168.7.102

Physical Network

.3 .3

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM7

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254

VXLANとMPLSをStitchingすることにより、NSX配下のゲスト端末をRemote DCの物理環境と接続します。

＃Logical View

192.168.7.0/24

MPLS/EVPN

.254

.3 .3 .4 .4


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.7 .1

.254

ESXi(Management)

ESXi(Edge GW)

.254

.6 .4

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)


192.168.7.102

Physical Network

.100 .100

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM7

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254.254

＃Logical View

192.168.7.0/24

MPLS/EVPN

VM7からRemote DCの端末へスイッチングが可能なことを確認します。

.3 .3 .4 .4


10.1

28.1

.0/2

4


ESXi ESXi

172.31.0.X/31 172.31.0.X/31

10.128.2.0/2410.128.3.0/24

10.255.0.2/32

10.255.0.3/32

Leaf Leaf

.254

.7 .1

.254

ESXi(Management)

ESXi(Edge GW)

.254

.6 .4

10.255.0.11/32

NSXController

NSXController

NSXController

EX3300(Baremetal)


192.168.7.102

Physical Network

.100 .100

Logical Switch 7

Logical Switch 8

martiniVM7

martiniVM7

calvinVM7

calvinVM8

192.168.7.0/24

192.168.8.0/24

NSXEdge SG

NSXEdge SG

192.168.250.0/24

BGP Neighbor

.254.254

＃Logical View

192.168.7.0/24

MPLS/EVPN

NSX配下の物理ネットワークからRemote DCの端末へのスイッチングが可能なことを確認します。

.3 .3 .4 .4


まとめ


まとめ

この資料では、VMware NSXの導入からNSXの様々な機能、そして既存ネットワーク環境や他DCとの接続部分におけるジュニパーデバイスの活用方法の例についてご紹介いたしました。

ジュニパーが提供可能な機能・構成をまとめると以下のとおり

L2 HW VTEP : QFX5100シリーズ

Underlay Network：Virtual Chassis Fabric/Clos IP Fabric/Combination

L2/L3/DCI HW VTEP : EX9200シリーズ/MXシリーズ/QFX10000シリーズ

VXLANコントロールプロトコル：Multicast VXLAN/OVSDB VXLAN

DCI接続：VXLAN-MPLS Stitching

VMware NSXとこれらのジュニパーのデバイスを組み合わせた導入を検討することで、実際のDC環境で使用する際に求められる様々なデザイン要件やスケーリング要件に対応することができるようになり、より良いSDDCの世界を構築するための豊富な選択肢を手に入れることが可能となります。


Virtualization vSAN(Storage Virtualization)

NSX*

(Network Virtualization)

vSphere / ESXi(Compute Virtualization)

CloudOrchestration

vRealize Automation(formerly vCAC & vCloud Director)

Management& Operations

SecurityvSRX

Routing

SwitchingEX / QFX

hypervisor compatibility

NetworkManagement

Network Director

Virtual Director

vMX

MXvCenter Server

vCenter Site Recovery Manager

vRealize Log Insight*

vRealize Operations*(formerly vCenter Operations)

* Some Parts of Integrations are Roadmap

JOINT-OPS

OVERVIEW


BETTERTOGETHER

JOINT-OPSUnify Your Data Center Operations

+

NOW YOURNETWORK IS

plugged into THE SDDC


BACKUP SLIDES


宣伝：

NSXデモ環境・常設はじめました。より詳しい説明や動態デモにご興味ある方は以下までお問い合わせください。

[email protected]

ジュニパーネットワークス株式会社東京都新宿区西新宿3-20-2 東京オペラシティータワー45F

http://www.juniper.net/jp/jp

※時期やタイミングによりご要望に添えない場合もございますので、予めご了承ください。

mailto:[email protected]

http://www.juniper.net/jp/jp


本資料で使用した機材の物理接続（データプレーン部分）

QFX5100（Atlas）

MX5（Altius）QFX5100（Hermes）

MX5（Taz）

QFX5100（Calypso ：FPC1）

QFX5100（Calypso：FPC0）

EX3300（Tiny）

ge-0/0/2 ge-0/0/0ge-0/0/4ge-0/0/8

ge-0/0/6

ge-0/0/0

ge-1/0/0

ge-0/0/8

ge-0/0/16

ge-1/0/16

ge-1/0/2

ge-0/0/2

ge-0/0/0 ge-0/0/2

ge-0/0/8 ge-0/0/16

ge-0/0/2ge-0/0/0

ge-0/0/1

ge-0/0/3

ge-0/0/3

ge-1/0/4

ge-1/0/0 ge-1/0/1

ge-1/0/0 ge-1/0/1

ge-1/0/3

ge-1/0/5

Gibson/ESG

Gibson

Martini

Calvin

ge-1/0/8

ge-1/0/6

ge-1/0/7

10.100.0.0/24

10.200.0.0/24

192.168.5.0/24

192.168.6.0/24

192.168.250.0/24

172.31.0.X/31

172.31.0.X/31

192.168.255.0/24

172.31.0.X/31

172.31.0.X/31

172.31.0.X/31

192.168.1.0/24

192.168.2.0/24

192.168.7.0/24

192.168.8.0/24

192.168.7.0/24

192.168.8.0/24

192.168.3.0/24

192.168.4.0/24

192.168.5.0/24

192.168.6.0/24

10.128.1.0/24

10.128.3.0/24

10.128.2.0/24

Virtual Chassis Fabric

ESXi

ESXi

ESXi

ESXi

ge-0/0/12-23

Mgmt Network


本資料で使用した機材の最終コンフィギュレーション

set version 14.1X53-D35.3

set system host-name HERMES_SPINE

set system name-server 10.0.0.150

set system services ssh

set system services telnet


set system syslog user * any emergency

set system syslog file messages any notice

set system syslog file messages authorization info

set system syslog file interactive-commands interactive-commands any









set interfaces ge-0/0/6 description toALTIUS_U-SDNG

set interfaces ge-0/0/6 flexible-vlan-tagging

set interfaces ge-0/0/6 encapsulation extended-vlan-bridge

set interfaces ge-0/0/6 unit 5 vlan-id 5



set interfaces ge-0/0/8 description toGIBSON_ESXi







set interfaces irb unit 4000 family inet address 10.128.1.254/24








(Hermes:1/3)



(.cont)


set protocols bgp import BGP-CLOS-IN











set protocols msdp local-address 10.255.0.1








set protocols l2-learning destination-udp-port 8472

deactivate protocols l2-learning destination-udp-port


set protocols ovsdb interfaces ge-0/0/6














(Hermes:2/3)



(.cont)





set policy-options policy-statement distribute-default from route-filter 0.0.0.0/0 exact

set policy-options policy-statement distribute-default then accept





set switch-options ovsdb-managed

set switch-options vtep-source-interface lo0.0

set vlans 1d640826-4d31-3453-9556-c60fe7d0459e interface ge-0/0/6.5

set vlans 1d640826-4d31-3453-9556-c60fe7d0459e vxlan vni 5005

set vlans 2c27a260-f16a-3309-8393-cc529f391f4a interface ge-0/0/6.6

set vlans 2c27a260-f16a-3309-8393-cc529f391f4a vxlan vni 5006

set vlans 351869bd-e8b9-36ad-9e30-90bd173f600d interface ge-0/0/6.250

set vlans 351869bd-e8b9-36ad-9e30-90bd173f600d vxlan vni 5007



(Hermes:3/3)




set system host-name CALYPSO_LEAF


set system services ftp









set system processes app-engine-virtual-machine-management-service traceoptions level notice

set system processes app-engine-virtual-machine-management-service traceoptions flag all











set interfaces ae0 description toHERMES_SPINE



set interfaces ae1 description toCALVIN_ESXi


set interfaces ae1 unit 0 family ethernet-switching interface-mode access

set interfaces ae1 unit 0 family ethernet-switching vlan members SERVERS

set interfaces ae2 description toPHYSICAL_OVSDB

set interfaces ae2 flexible-vlan-tagging

set interfaces ae2 encapsulation extended-vlan-bridge



set interfaces ae2 unit 5 vlan-id 5



(Calypso:1/3)



(.cont)


set interfaces ae3 description toALTIUS_U-SDNG




























set protocols ovsdb interfaces ae2









(Calypso:2/3)



(.cont)














set switch-options ovsdb-managed


set virtual-chassis preprovisioned

set virtual-chassis no-split-detection

set virtual-chassis member 0 role routing-engine

set virtual-chassis member 0 serial-number TA3714040004

set virtual-chassis member 1 role routing-engine

set virtual-chassis member 1 serial-number TA3714040184

set vlans 1d640826-4d31-3453-9556-c60fe7d0459e interface ae2.5

set vlans 1d640826-4d31-3453-9556-c60fe7d0459e vxlan vni 5005

set vlans 240ac937-1ec2-371a-a998-47c3ae2e6384 interface ae2.1003

set vlans 240ac937-1ec2-371a-a998-47c3ae2e6384 vxlan vni 5003

set vlans 2c27a260-f16a-3309-8393-cc529f391f4a interface ae2.6

set vlans 2c27a260-f16a-3309-8393-cc529f391f4a vxlan vni 5006

set vlans 3202111c-f90e-3c81-aa47-2aaceb72b0df interface ae2.1004

set vlans 3202111c-f90e-3c81-aa47-2aaceb72b0df vxlan vni 5004



(Calypso:3/3)




set system host-name ATLAS_LEAF















set interfaces ge-0/0/2 description toALTIUS_U-SDNG



set interfaces ge-0/0/8 description toMARTINI_ESXi




set interfaces ge-0/0/16 description toPHYSICAL_MCAST

set interfaces ge-0/0/16 unit 0 family ethernet-switching interface-mode trunk















(Atlas:1/3)



(.cont)














set protocols l2-learning destination-udp-port 8472

deactivate protocols l2-learning
























(Atlas:2/3)



(.cont)












(Atlas:3/3)



set version 14.2R5.8

set system host-name ALTIUS


set system services ssh root-login allow










set interfaces ge-1/0/0 description toTAZ_DCI




set interfaces ge-1/0/1 description toTAZ_DCI





set interfaces ge-1/0/4 vlan-tagging











set interfaces ge-1/0/9 speed 100m






(Altius:1/4)



(.cont)

























set protocols bgp group CLOS import BGP-CLOS-IN

set protocols bgp group CLOS export BGP-CLOS-OUT













(Altius:2/4)



(.cont)



set protocols msdp local-address 10.255.0.11


















set policy-options policy-statement NSX-export term export-direct from protocol direct

set policy-options policy-statement NSX-export term export-direct then accept

set policy-options policy-statement NSX-export term d-gw from protocol static

set policy-options policy-statement NSX-export term d-gw from route-filter 0.0.0.0/0 exact

set policy-options policy-statement NSX-export term d-gw then accept


set routing-instances Overlay-VR instance-type virtual-router







set routing-instances Overlay-VR routing-options static route 0.0.0.0/0 next-hop 10.0.1.254

set routing-instances Overlay-VR routing-options autonomous-system 65199

set routing-instances Overlay-VR protocols bgp group NSX-ESG export NSX-export

set routing-instances Overlay-VR protocols bgp group NSX-ESG neighbor 192.168.250.1 peer-as 65100

set routing-instances VSW-VXLAN1 vtep-source-interface lo0.0

(Altius:3/4)



(.cont)

set routing-instances VSW-VXLAN1 instance-type virtual-switch

set routing-instances VSW-VXLAN1 route-distinguisher 10.255.0.11:100

set routing-instances VSW-VXLAN1 vrf-target target:65500:100

set routing-instances VSW-VXLAN1 protocols evpn extended-vlan-list 7-8

set routing-instances VSW-VXLAN1 protocols evpn default-gateway no-gateway-community











(Altius:4/4)




set system host-name TAZ











set interfaces ge-1/0/0 description toALTIUS_DCI




set interfaces ge-1/0/1 description toALTIUS_DCI




set interfaces ge-1/0/2 unit 0 family bridge interface-mode trunk

set interfaces ge-1/0/2 unit 0 family bridge vlan-id-list 7-8

set interfaces ge-1/0/3 description toPHYSICAL_EVPN

















(Taz:1/2)



(.cont)



















set routing-instances VSW-EVPN instance-type virtual-switch

set routing-instances VSW-EVPN interface ge-1/0/2.0

set routing-instances VSW-EVPN route-distinguisher 10.255.0.12:100

set routing-instances VSW-EVPN vrf-target target:65500:100

set routing-instances VSW-EVPN protocols evpn extended-vlan-list 7-8

set routing-instances VSW-EVPN protocols evpn default-gateway no-gateway-community







(Taz:2/2)




set system host-name TINY_MGMT




set system services dhcp pool 10.0.0.0/24 address-range low 10.0.0.51

set system services dhcp pool 10.0.0.0/24 address-range high 10.0.0.59

set system services dhcp pool 10.0.0.0/24 router 10.0.0.50














set interfaces ge-0/0/3 description toTAZ_EVPN






set interfaces ge-0/0/12 unit 0 family ethernet-switching












(Tiny:1/3)



(.cont)


set interfaces ae0 vlan-tagging











set interfaces vlan unit 1000 family inet address 10.0.0.50/24

set routing-instances EVPN-MX2-LS7 instance-type virtual-router

set routing-instances EVPN-MX2-LS7 interface ge-0/0/3.7

set routing-instances EVPN-MX2-LS7 routing-options static route 0.0.0.0/0 next-hop 192.168.7.254

set routing-instances EVPN-MX2-LS8 instance-type virtual-router

set routing-instances EVPN-MX2-LS8 interface ge-0/0/3.8

set routing-instances EVPN-MX2-LS8 routing-options static route 0.0.0.0/0 next-hop 192.168.8.254

set routing-instances LS1-VR description VirtualBareMetalServer1

set routing-instances LS1-VR instance-type virtual-router

set routing-instances LS1-VR interface ge-0/0/2.1000

set routing-instances LS1-VR routing-options static route 0.0.0.0/0 next-hop 192.168.1.254







set routing-instances LS3-VR interface ae0.1003









(Tiny:2/3)



(.cont)














set vlans MGMT vlan-id 1000

set vlans MGMT interface ge-0/0/23.0












set vlans MGMT l3-interface vlan.1000

(Tiny:3/3)

better together 〜vmware nsxとjuniperデバイスを繋いでみよう！〜

Technology