japan softlayer summit 2015 資料「softlayer基礎詳細ネットワーク編」

Copyright © 2014 Nippon Information and Communication Corporation

SoftLayer ネットワークサービス基礎編

日本SoftLayerユーザ会

日本情報通信株式会社


自己紹介

2014年９月号〜12月号「SoftLayerを使ってみませんか（全4回）」執筆

常田秀明

Twitter: @tokida Facebook : hideaki.tokida

ときだひであき所属・日本情報通信株式会社スキル・インフラエンジニア→雑用係（主にオープン系）好きなサービス・ベアメタルサーバ

今年良かったこと・雑誌に寄稿できたこと来年したいこと・なにかベアメタル上でサービスを


ネットワーク基礎


ネットワーキング概要

• リージョンとデータセンター

– SoftLayerではリージョン（地域）とデータセンターという概念があります。アメリカ以外では1カ国、1データセンターとなっており現状リージョン単位で利用されるサービスは一部です。

– データセンターは現在、14拠点に構築されています。

• 2014年12月東京データセンターがオープン！

– データセンターへのネットワーク的な経路としての入り口としてPOP拠点が19箇所に存在しております。

• 日本には、東京POP(tok02)が設置されています。

Networking Architecture


• 東京が直接接続している拠点 • Hong Kong 、Shingapore、Sydney、San Jone

• 東京が利用しているキャリア

• Equinix (10G）、NTT(10G) 、Telstra (10G)

• SoftLayerでは各POP・DataCenterにおけるキャリアの利用状況が公開されています(要ログイン）


ちょっと香港まで

• 某茅場町のスターバックスから香港に出かけてみる

– 時間帯：土曜日 12:30 頃

– Pingの平均 : 70-90 ms

– 通信経路 traceroute to 119.81.131.xx (119.81.131.xx), 64 hops max, 52 byte packets 1 10.4.176.2 (10.4.176.2) 178.735 ms 92.541 ms 85.954 ms 2 172.26.0.62 (172.26.0.62) 143.677 ms * 33.010 ms 3 * 172.26.0.126 (172.26.0.126) 91.419 ms 41.744 ms 4 * 103.5.142.62 (103.5.142.62) 56.994 ms 86.072 ms 5 210.130.135.13 (210.130.135.13) 87.032 ms 22.763 ms * 6 tky008bf00.iij.net (58.138.82.65) 21.476 ms tky009bf00.iij.net (58.138.82.73) 66.177 ms tky008bf00.iij.net (58.138.82.65) 53.425 ms 7 * tky001ip59.iij.net (58.138.82.102) 32.663 ms * 8 202.232.8.146 (202.232.8.146) 45.079 ms 19.690 ms 19.007 ms 9 xe-1-0-2-0.gw2.nrt4.asianetcom.net (202.147.0.235) 21.625 ms 35.214 ms 21.397 ms 10 sfl-0027.asianetcom.net (203.192.131.250) 49.586 ms 22.650 ms 23.416 ms 11 ae0.bbr01.pn01.hkg01.networklayer.com (50.97.18.167) 66.452 ms 68.885 ms 66.839 ms 12 ae5.dar01.hkg02.networklayer.com (50.97.19.29) 74.326 ms 69.508 ms 67.651 ms 13 po1.fcr01.hkg02.networklayer.com (119.81.138.131) 69.410 ms * po3.fcr01.hkg02.networklayer.com (119.81.138.139) 72.708 ms 14 119.81.135.86-static.reverse.networklayer.com (119.81.135.86) 71.267 ms 74.359 ms 66.761 ms 15 119.81.131.3-static.reverse.softlayer.com (119.81.131.xx) 76.559 ms 70.778 ms 70.309 ms

国内

パックネット

SoftLayer内部


ネットワーキング概要

• Priavte Network – SoftLayerのネットワークは、SoftLayer全体で1つの大きな接続性の有

るネットワークが存在しておりユーザはその一部が割り当てられて利用する事が出来ます。

– 世界中に有るデータセンターのどこでサーバを購入してもネットワーク的に接続がされています（標準でマルチリージョン通信）


DC#3 DC#n DC#1 DC#2


（参考）管理ポータル上からも「フラット」に表現される


データセンター内のネットワーク構成

• 3つのネットワークから構成



• パブリックネットワーク

– サーバ群にたいしてInternet側の接続を提供します。

– 1つのデータセンターでは複数の独立したキャリアによって接続

– InternetへのTransitからNetwork PoPを経由して「パブリックネットワーク」に接続されます。

– このネットワーク環境には、「Load Balancer」や「Firewall」等のサービスが配置されています。

• パブリックネットワーク上のサービスを利用する場合には、各サーバはパブリックネットワークへの接続が必要となります。



• プライベートネットワーク

– プライベートネットワークの中には、ユーザが利用するプライベートネットワークと管理用のマネイジメントネットワークが含まれています。

– プライベートネットワークには、SoftLayer上の多くサービスを提供するサーバ群が設置されております。ここには「Storage」系のサービスから保守用の「OS Update Repository」などが配置されています。

– VPN接続を行った場合には、Network PoPをから来た通信はプライベートネットワークに接続されます。


• 持ち込めません！

– ローカルのIP体系の持ち込みが出来ません。

– SoftLayerでは、ローカルのIPアドレス体系は “10.x.x.x” が利用されます。

– サーバをオーダするまでどの範囲のアドレスが割り振られるか不明です。（第2オクテットは概ねデータセンター単位です）

– IP-SEC等の通信では共有設備のため必然的に、「NAT」にて制御されます。（ソフトウェアにより注意）



• マネージメントネットワーク

– 管理用のネットワークとして用意されています。ユーザは基本的には意識する必要がありません。ベアメタルサーバを利用した場合にはリモートマネイジメントIPアドレスとして付与されます。


• 割り当てられるのはどこ？


• 2つのネットワークをもつフラットな構成

– サーバは、常に2つのネットワークに物理的に繋がる構成です。

Servers

パブリックネットワーク

プライベートネットワーク


• したがって、どこまでもフラットな構成です

Servers



Servers Servers Servers Servers Servers


Servers

パブリックネットワーク ⇒ 28bit (8アドレス）

プライベートネットワーク ⇒ 26bit (64アドレス）


• 1台購入しても払い出されるのはの単位です。

• この単位を「Subnet」と呼びます。

Subnet



• サブネット（Subnet）

– サーバの購入台数にかかわらずSubnet単位で割当されます。

– 最小のネットワーク単位は、「Subnet」です。

• これは、10.x.x.x/26 等の形式で払いだされます。

• 複数のSubnetをまとめて「VLAN」が構成されます。

– 割当単位

• プライベートネットワークの場合には、26bit (64アドレス）

• パブリックネットワークの場合には、28bit (8アドレス）


• どんどんサーバを足していくとSubnetの中でIPアドレスが足りなくなります

→自動的にSubnetが追加されます。



Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers

Subnetが追加


• Subnetが異なるとサーバ間の通信は？

→ SoftLayerが自動的にルーティングしてくれます。




？


• 同じグループのSubnet ⇒ これを「VLAN」と呼ぶ

→ サーバを購入する際に、VLANが同じであれば「意識せずに通信が出来る」

Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers

VLAN#1

VLAN#2 VLAN#4

VLAN#3

VLANは$25で追加可能


• 「VLAN」が異なるサーバは通信が出来るの？

⇒ 通常は出来ません。VLANが異なれば別のブロードキャストドメインとして扱われます。

⇒ VLANスパニングの機能を「ON（有効）」にすると通信可能

Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers Servers

VLAN#1

VLAN#2 VLAN#4

VLAN#3

？



• VLAN

– ユーザは、サーバをオーダするとデータセンター毎に「VLAN」という単位でネットワークが割り当てられます。

• ネットワークがサブネット単位でユーザに割り当てられるのが特徴です。サブネットは単一のVLANに所属しています。

• VLANは、データーセンターを「越えません」

• VLANは、データセンターで複数利用することが出来ます。

• 異なるVLANをルーティング（通信するように）設定するためには「VLANスパニング」の機能を「有効」にすることで可能となります。

• VLANには、「複数のSubnet」が含まれています。


MutlicastDNSの通信可能範囲

• 通信プロトコル

– L2レベルでの通信が可能です。

– IPマルチキャストは、同じSubnet内で有効です



• よくあるオンプレミスの「セグメント」分割を簡単に考えてみる

– オーダする時に、「プライベートのみ」として購入できる

Servers




外部向けセグメント内部向けセグメント


• 3層構造をつくりたい

Servers




DMZ

内部向けセグメント

Local Load Balancer

Router

Firewall

Router 外部向けセグメント


• もっと多層構造を

– Gateway Applianceを利用してVLAN間の通信を制御


内部向けセグメント(A)

Local Load Balancer

Router

Firewall

Router 外部向けセグメント

Network Gateway

Appliance Servers Servers Servers Servers Servers

内部向けセグメント(B)

プライベートネットワークプライベートネットワーク


ちょっと別の観点で、サーバから見たネットワークは？

• サーバからは標準で「Public Network」と「Private Network」に接続されています。

• 仮想サーバと物理サーバではInterfaceカードの差はありますが接続されてる先は同じと考えて良いと思います。（どちらも同じサーバとして扱えるのことも利点です）

• 管理用の「Management Network」も同様にPrivate Networkとしてサーバからは見えます（IPアドレスとして連続した番号が割り当てらています）

eth0

eth1

eth0

eth1

Bond0:チーミング

Public Network

Private Network ＆ Management Network

仮想基盤

eth2

eth3

Bond1:チーミング

eth4

Management用（OSから見える場合と見えない場合あり）

Virtual Servers Baremetal

Servers


• SoftLayerのネットワークへユーザはどうやって繋ぐ？

– 3つの接続方式


• SSL-VPN接続サービス – 「端末」と「ネットワーク」を接続する方法です。

– 主にメンテナンスや開発で利用することが想定されます。

• 共有の受け口が1Gbps程度であること。転送セッションが8h程度で切断される（仕様には書かれていませんが実体験的に）ことからデータ送信用途では利用しない事を推奨します。

– SoftLayer上で管理されているユーザ毎に利用の可否（何人でも利用可能）を選択することが出来ます。

– SSL-VPNで接続すると（以降のVPN接続は全て同じ）、「Management Network」に接続され「Private Network」経由でサーバに接続する事が可能です。SSL−VPNは、Array製のクライントソフトウェアを利用してVPNを行います（Webブラウザのプラグインと専用のクライアントソフトが利用可能）

– SSL-VPNとL2TPが利用可能です。


• IP-Sec接続サービス

– 「ネットワーク」と「ネットワーク」の接続を行うVPN形式です。

– SoftLayer標準サービスを利用する方式（プライベート経由）

• ユーザのセグメントはIPマスカレードが適応される（送信元NAT）

• １：１NATが必要な場合にはTicketで対応

– Gatewayアプライアンスを利用する方式（パブリック経由）

• NATが適応されない

• 送信経路がパブリック経由のため課金対象

• Gatewayアプライアンス


• 専用線接続「DirectLink」サービス – 専用線を接続するためには、「東京POP（Equinix)」へ閉域網（NTTコム-Uno, KDDI-

WAVS, SoftBank-Ultina等)を利用して接続します。

– Direct Linkを実施する場合には、東京POP内に設置したお客様ラックとSoftLayerの回線を接続する必要があります。


閉域網

接続方式標準/オプション特徴接続先

SSL VPN 標準（無償）サービス

・お客様のPCから個別に接続可能・管理者/エンドユーザ共に使用可能

DC/POPの中から都度選択可能 PPTP VPN

IPSec VPN

有償オプションサービス

・お客様DC/オフィスのVPNルータから接続可能・管理者/エンドユーザ共に使用可能

購入時に選択した DCのみ

有償オプションアプライアンスゲート

ウェイ

・お客様DC/オフィスのVPNルータから接続可能・VPN接続はInternet経由での接続・様々な接続形態に対応

購入時のDCのInternet側

専用線有償オプション

サービス

・専用線を別途敷設し、SoftLayerの東京PoPにお客様DC/オフィスのルータから接続可能・エンドユーザが使用可能

購入時に選択した PoPのみ

Internet

SoftLayer

WAN

DC プライ

ベート

VLAN

パブリック

VLAN

Vyatta gateway appliance

DC

Internet

SSL VPN

PPTP VPN

IPSec VPN

IPSec VPN （Vyattaを利用）専用線 PoP

PoP

PoP

PoP DC

DC

接続方式のまとめ



• おさらい


自分のサーバ群

グローバル用のサービス群

プライベート用のサービス群

Internetへの接続口

VPNへの接続口


通信料金について

• Internetへ出て行く通信のみが対象

– VPN接続（IP-Sec等）は「プライベート接続」扱い

– 無料枠と家族割サービス

• 1台あたり

– 仮想サーバ： 5TB/月

– ベアメタルサーバ： 20TB/月

• 複数台（家族割）

– プール作成：$25（初回のみ）同一リージョンで作成

– プール参加費用：$25/月



通信通信料金について


自分のサーバ群

グローバル用のサービス群

プライベート用のサービス群

Internetへの接続口

VPNへの接続口

$0.10/GB

無料

無料


SOFTLAYER SERVICES


• SoftLayerのサービス体系

– 3種類のサービス提供方法

IaaS機能

サードパーティ・ソ

リューション（Managed）


リューション

AWS等のMarketplacesと同じ感じで導入済みのサーバ。導入する先のサーバのスペック等を自由に選択できる。機能のConfigや運用管理はユーザが行う。

サードパーティ製品をOEM等でSoftLayerの機能として内部に取り込んで提供している。ユーザからはIaaSの機能と同様に利用可能。

SoftLayer社が標準で用意する各種サービス。As a Serviceであり運用管理はサービス提供される。


• Network関連のサービスを分類

IaaS機能


リューション（Managed）


リューション

DNS

Domain

Direct Link

VPN(SSL-VPN)

VPN(IP-SEC)

SSL証明書

Local Load Balancer

Hardware Firewall

Vyatta Gateway

Fortigate Security

Ctrix NetScaler

Nessus

CDN

API提供


• SoftLayerのシステム設計手順

– パブリック・プライベートで提供されるサービスが違います。

要件通信経路の確定

サービス利用の確定

利用できるSoftLayerの提供するマネージドサービスを利用するかを選択

経路として（１）パブリック経路の有無（２）プライベートの経路の選択

システムの要件を整理します


• DNSサービス

– グローバルIPアドレス向けのDNSサービスを提供します。

– ドメイン名とIPアドレスの管理を管理ポータルから実施することが可能です。

– 対象となるサーバがSoftLayer上にある必要はございません。

– この機能は無料で利用可能です。


• ドメインレジストレーション

– ドメイン名の購入を行うことが出来ます。現在購入が出来るドメインは、「com, org ,net,info,biz, us 」です。

– ドメインの移管処理、登録、更新処理が実施できます。

– ドメインは10年まで購入することが可能です。


• SSL証明書

– 証明書を購入する事が出来ます。また管理用の機能もあり持ち込んだSSL証明書を登録（CLIからダウンロード）する機能は無償で利用可能です。

– 購入できる証明書は、


• Local Load Balancer (Managed) – データセンター内の外部からの通信に対してのロードバランサーです。

– 共有タイプと専有タイプから選択することが出来ます。

• 共有タイプ

– 性能（スループット（同時コネクション数）で選択します。

– SSL終端の有無が選択可能です。

• 専有タイプ – 専用＋冗長化プランが選択可能です。


• Ctrix Netscaler VPX (Global Load Balancer) – L7対応のLoad Balancer製品

– VPXのためソフトウェアにて提供されます（近日にMPX対応？）

– サーバとして提供されるため、Public/PrivateのInterfaceを利用可能です。そのためプライベートネットワーク上のサーバの負荷分散を行うことが可能です。


• Hardware Firewall – サーバ単位

• サーバごとに購入するタイプのFirewallです。

• 管理ポータルのサーバ上の設定画面でTCP/UDPのフィルタが可能です

– VLAN単位（Dedicated）

• 台数が多い場合にはVLAN単位でのFirewallが利用可能です。

• Firewallには、「Hardware Firewall Dedicated」と、サードパーティアプライアンスの「FortiGate Security Appliance」が選択可能です。


• Vyatta Appliance Gateway – VLAN間の制御が利用可能です。

– 仮想ソフトウェアルータ「Vyatta」の持つ、Firewall,VPN,等全ての機能が利用可能です。

– Vyattaは、サードパーティアプライアンスとして提供されます。

– サーバスペックは指定のベアメタルサーバから選択を行います。

– OSS版である「VyOS」へアップグレードが可能です（SoftLayerサポート外）


• CDN – コンテンツの配信のために、CDNサービスが用意されています。

SoftLayerでは、招いじどサービスとして「EdgeCast」のサービスが利用可能です

– 現在、24のノード、13データセンターが利用可能です。日本のノードは、東京・大阪にて提供をしています。

– ObjectStorageのHTTP配信機能はCDNと連動して配布することが可能です。


• Bandwith Pool – 「パブリックインターフェースを所有するサーバ」に付帯する帯域無

料枠をシェアするための「プール」を提供します。

– 本来「1台単位」の無料枠を「プール」に所属すると、所属しているサーバで分け合う事が出来ます。

• ベアメタルサーバ等で、アクティブ・スタンバイ構成の場合には特に利用をオススメします。

– プールは、Region単位で購入します。


• Global IP アドレス

– Global IPアドレス(29bit)が割当たるため、利用者の情報がwhoisに登録されます。

• RIR Registrationの機能で、公開する情報を変更する事が出来ます。


• Network Tools – 補助的なツールが管理ポータルから利用可能です

• Ping

• Traceroute

• NSLookup

• Whois

• Check DNS

– 全てGlobalからのアクセスチェックのためサーバなどはDNSに登録されている必要があります。


NETWORK API


• APIで何が出来るのか？

– APIで記述する事により反復性のある作業を行える。

– 複雑な処理をミスなく実行することが出来る。

– インフラの作業をCodeで書こう。

• SoftLayerではAPIが多く提供されています。

– 利用しやすい、SoftLayer Command Line Interface。

– なんでも可能な、API。


• 面倒な作業こそCLI(API）で

– Hardware Firewallの設定は非常に大変

– Firewallのルールが沢山あり、複数台を構築しようとすると…

– Firewallの設定は、テキストファイルに記載してCLIで設定可能


“sl”コマンド簡易マニュアル

• 簡易マニュアルの見方

上記の場合には、subnetをslコマンドの第一引数として入力します。例：$ sl subnet list また各コマンドは -- help を付与すると詳細情報が表示されます。


• vlan

– list

• 全てのvlanが表示されます。

– detail id

• id で指定されたvlanの詳細情報を表示


• subnet

– list

• 全てのSubnetを一覧表示

– lookup ip_address

• 引数の ip_address を含むSubnetを検索

– create Network Quantity Vlan_ip

• 指定したvlanに対して必要なアドレス数のSubnetを作成

– detail subnet_id

• 指定したsubnet_idの詳細を表示

– cancel subnet_id

• 指定したsubnet_idをキャンセルする


• rwhois – show

• 購入しているサーバ群のIPアドレスに対してのwhoisデータベースに登録されている情報を表示

– edit [OPTIONS]

• 登録されている情報を編集します。


• firewall

– add [OPTIONS] TARGET

• Firewallを追加する

– cancel id

• Idで指定したFirewallをキャンセルする

– list

• Firewallをすべて表示

– edit id

• 指定したidのFirewallのルールを編集($EDITORのエディタで編集)

– detail id

• 指定したidのルールを表示


• dns – zone-list

• 全てのZoneのリストを表示

– zone-print zone_id

• 指定されたZoneの内容をBINDフォーマットで表示

– zone-delete zone_id

• 指定したZoneを削除

– zone-create zone_name

• 指定した名前のZoneを作成

– record-list zone_id

• 指定したZoneのレコードを表示

– record-remove record_id

• 指定したれコードを削除

– record-edit [OPTIONS] zone_id

• [OPTIONS]で指定した内容で、指定したZoneのレコードを更新する

– record-add [OPTIONS] zone_id RECORD TYPE DATA

• 指定した内容でZoneに対してレコードを追加する

– Import [OPTIONS] zonefile

• BIND形式のZoneファイルをImportする。[--dry-run]指定が可能


• globalip – assign Assigns the global IP to a target.

– cancel Cancel global IP.

– create Creates a global IP.

– list List all global Ips.

– unassign Unassigns a global IP from a target.


• Loadbal – cancel Cancel an existing load balancer.

– create Adds a load balancer given the id returned…

– create-options Reset connections on a certain service group.

– detail Get Load balancer details.

– group-add Adds a new load_balancer service.

– group-delete Deletes an existing load balancer service…

– group-edit Edit an existing load balancer service group.

– group-reset Reset connections on a certain service group.

– health-checks List health check types.

– list List active load balancers.

– routing-methods List routing types.

– routing-types List routing types.

– service-add Adds a new load balancer service.

– service-delete Deletes an existing load balancer service.

– service-edit Edit the properties of a service group.

– service-toggle Toggle the status of an existing load...


• Cdn

– detail Detail a CDN Account.

– list List all CDN accounts.

– load Cache one or more files on all edge nodes.

– origin-add Create an origin pull mapping.

– origin-list List origin pull mappings.

– origin-remove Remove an origin pull mapping.

– purge Purge cached files from all edge nodes.


まとめ


初心者は、ここから探していきましょう！


マニアは、ここから探していきましょう！


• どうしてもわからない時には


Speed and Change

SoftLayerの構築から運用まで

ご清聴ありがとうございました

[email protected]


アイコン

Local

Load Balancer

VPN Router Router Network

Switch

Storage

Firewall

Internet

Internet MPLS

iSCSI

Virtual Servers

Baremetal

Servers

Mass Storage

Servers

/ QuantaStor

Image Template

Network Gateway

Appliance

CDN

Object Storage

Database

Client

Monitoring

Mobille

E-Mail

API Server

Chat Phone IPS

Netscaler

VPX

japan softlayer summit 2015 資料「softlayer基礎 詳細ネットワーク編」

Technology

japan softlayer summit 2015 資料「softlayer基礎詳細ネットワーク編」