云數(shù)據(jù)中心流量類型

云數(shù)據(jù)中心的流量可以簡單分為以下幾個大類：

管理網(wǎng)絡(luò)（API網(wǎng)絡(luò)）：用于云數(shù)據(jù)中心內(nèi)部的管理流量，包括對內(nèi)部虛擬化組件之間的、SDN控制組件之間、消息隊列、以及各種HA的檢測信號等。管理流量一般不對外，并且需要連接云數(shù)據(jù)中心中的每一個服務(wù)器節(jié)點，并只在數(shù)據(jù)中心內(nèi)部傳輸。

租戶網(wǎng)絡(luò)：用于數(shù)據(jù)中心的各個租戶之間流量，提供云計算服務(wù)，保證用戶內(nèi)部vm之間能夠通信同時隔離不同用戶之間的流量是最基本的要求。租戶之間隔離的方式包括了vlan、vxlan、gre、stt、nvgre等等，后續(xù)我們再詳細(xì)介紹。

外聯(lián)網(wǎng)絡(luò)（外部網(wǎng)絡(luò)）：外部網(wǎng)絡(luò)的名稱是站在租戶角度進(jìn)行描述的，即租戶網(wǎng)絡(luò)只能用戶業(yè)務(wù)虛擬機之間的通信，與其余設(shè)備的通訊則都要通過外部網(wǎng)絡(luò)的轉(zhuǎn)發(fā)。除了路由以外，外部網(wǎng)路往往還兼具VPN、NAT、LB、FW等職能。此處往往需要將租戶網(wǎng)絡(luò)中為了隔離而修改過的數(shù)據(jù)包轉(zhuǎn)封包成常見的二層幀，以及與外界網(wǎng)絡(luò)的路由

存儲網(wǎng)絡(luò)：用于連接計算節(jié)點和存儲節(jié)點，主要是為計算節(jié)點中的主機和虛擬機提供存儲服務(wù)。存儲網(wǎng)絡(luò)也不對外，盡在數(shù)據(jù)中心內(nèi)部傳輸。

NSX整體網(wǎng)絡(luò)結(jié)構(gòu)

我們先看一下NSX定義的整體網(wǎng)絡(luò)結(jié)構(gòu)：

在nsx的架構(gòu)中，左側(cè)區(qū)域?qū)��?yīng)的是計算節(jié)點集群，其上以運行租戶的業(yè)務(wù)為主。包括用戶部署的各類的虛擬機、虛擬網(wǎng)絡(luò)、分布式網(wǎng)關(guān)、安全策略等等。是數(shù)據(jù)中心服務(wù)的核心。該區(qū)域的流量類型包括：租戶網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、管理網(wǎng)絡(luò)。（也意味著服務(wù)器至少需要三塊網(wǎng)卡）

中間區(qū)域?qū)��?yīng)是的基礎(chǔ)架構(gòu)集群，包括云計算數(shù)據(jù)中心的管理節(jié)點和IP SAN 共享存儲。管理節(jié)點包括： vCenter Server、NSX Manager、NSX Controller、CMP 。IP SAN共享存儲節(jié)點則主要是向計算節(jié)點集群中的主機或用戶的虛擬機提供基于IP網(wǎng)絡(luò)的iSCSI或者是NAS存儲。流量類型包括：存儲流量、管理流量。

右側(cè)的邊緣節(jié)點則用來為租戶網(wǎng)絡(luò)提供互聯(lián)網(wǎng)訪問服務(wù)。因此需要連接租戶網(wǎng)絡(luò)和外部網(wǎng)絡(luò)，并為租戶提供路由、NAT、防火墻、公網(wǎng)IP等服務(wù)。其中以NSX的EDGE虛擬網(wǎng)關(guān)為主。也可以有硬件路由器、防火墻等設(shè)備。流量類型以：外部網(wǎng)絡(luò)、租戶網(wǎng)絡(luò)、管理網(wǎng)絡(luò)為主。

管理網(wǎng)絡(luò)（API網(wǎng)絡(luò)）

管理網(wǎng)絡(luò)需要連接云環(huán)境中的每一個節(jié)點，上面?zhèn)鬏數(shù)臄?shù)據(jù)包括虛擬化中心vcenter對host的管理流量、HA心跳、SDN控制器（nsx controller、nsmanager）、云管理平臺API、云監(jiān)控運營平臺等多種云計算數(shù)據(jù)中心管理運營組件的管理流量，屬于數(shù)據(jù)中心的神經(jīng)網(wǎng)絡(luò)。

在vmware的設(shè)計中，管理控制的節(jié)點部署在一個物理主機集群，集群開啟HA、DRS等服務(wù)，保障數(shù)據(jù)中心整個控制平面的可靠和穩(wěn)定。此外IP共享存儲也被放置在該區(qū)域中。

vmware特意將vmotion的流量也單獨列出來成為一類流量。除此之外共享存儲也需要單獨進(jìn)行傳輸。管理節(jié)點上存儲、vmotion、租戶網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、外部網(wǎng)絡(luò)，一般通過物理交換機上的VLAN進(jìn)行隔離的，并連接物理服務(wù)器上的不同物理網(wǎng)卡。管理網(wǎng)絡(luò)對于帶寬的要求并不高，千兆、萬兆都可以。但是管理網(wǎng)絡(luò)的IP共享存儲對帶寬的要求較高，至少需要部署萬兆的網(wǎng)絡(luò)。

總結(jié)：

管理網(wǎng)絡(luò)連接數(shù)據(jù)中心所有的節(jié)點，主要用于對底層資源的控制，和API調(diào)用，對網(wǎng)絡(luò)的要求不高。一般通過服務(wù)器的管理網(wǎng)卡 1 x 1 GbE 或者1 x 10 GbE 交換機網(wǎng)絡(luò)互聯(lián)，一般采用單獨的接入交換機。

對于vmware的環(huán)境來說，vmotion的流量可以走單獨的網(wǎng)卡和也可以和萬兆管理網(wǎng)絡(luò)互聯(lián)

租戶網(wǎng)絡(luò)

租戶網(wǎng)絡(luò)對應(yīng)的是云數(shù)據(jù)中心的租戶之間的虛擬機用來通信的網(wǎng)絡(luò)。一般連接所有提供計算服務(wù)的計算節(jié)點。租戶網(wǎng)絡(luò)的數(shù)據(jù)都被封裝到指定的VLAN中，在外部看來就是VLAN內(nèi)主機之間的通信，內(nèi)部流量不可見。

租戶網(wǎng)絡(luò)涉及到NSX、openstack neutron 這類解決方案中一個核心的理念，那就是二層的overlay。

嚴(yán)格來說二層的overlay技術(shù)并不算sdn技術(shù)中的一部分。在數(shù)據(jù)中心的環(huán)境中，為了保障數(shù)據(jù)的安全，需要在網(wǎng)絡(luò)層面上隔離各個租住的虛擬主機，根據(jù)業(yè)務(wù)的特點，一個租戶可能使用到多個vlan，例如一個典型的三層架構(gòu)的應(yīng)用中，界面、中間件、數(shù)據(jù)庫分屬于不同vlan，并通過安全策略控制之間的訪問。這種情況下一個租戶就占用了3個vlan，而vlan的總數(shù)才4096個，還要扣除各個設(shè)備廠家的保留vlan和用作管理的vlan等。這樣一個數(shù)據(jù)中心能夠承載的用戶數(shù)就被極大的限制住了。

云數(shù)據(jù)中心用戶的虛擬網(wǎng)絡(luò)通過不同的VNI號(Vxlan Network identifier）來區(qū)分，24bit的VNI包含2^24 = 16 777 216個網(wǎng)段，按照一個用戶創(chuàng)建10個私有的網(wǎng)段來計算，一個機房可以滿足上百萬用戶的使用需求。實際上即使是國內(nèi)的阿里云的總的用戶數(shù)加起來也才幾十萬。這還是由分布在全國和海外的多個機房共同承當(dāng)。所以通過二層的overlay技術(shù)，租戶網(wǎng)絡(luò)僅需設(shè)計少量vlan即可滿足海量用戶的使用要求。甚至可以將所有租戶的流量全部封裝在一個vlan內(nèi)，但是過多的廣播包會影響網(wǎng)絡(luò)的性能，vmware有針對廣播、多播流量的解決方案。詳細(xì)情況放到下一節(jié)。

因為單個主機上承載的虛擬機數(shù)量較多，為了保障虛擬設(shè)備之間有足夠的帶寬，租戶網(wǎng)絡(luò)至少應(yīng)該采用萬兆的網(wǎng)絡(luò)，且因為二層數(shù)據(jù)層有額外的封裝開銷，所有需要將租戶網(wǎng)絡(luò)MTU設(shè)置成1600.

總結(jié)：

租戶網(wǎng)絡(luò)連接計算節(jié)點和云數(shù)據(jù)中心的出口區(qū)域，其上是通過overlay技術(shù)標(biāo)記的租戶的虛機之間的數(shù)據(jù)。租戶網(wǎng)絡(luò)一般會規(guī)劃多個vlan來減輕廣播流量的影響。物理機主機上虛擬機數(shù)量比較多，要保證比較良好的網(wǎng)絡(luò)質(zhì)量，則服務(wù)器的租戶一般網(wǎng)卡通過1 x 10 GbE 或者1 x 40 GbE交換機網(wǎng)絡(luò)互聯(lián)。

外聯(lián)網(wǎng)絡(luò)

外聯(lián)網(wǎng)絡(luò)是相對用戶來說，用戶虛擬機之間的流量完全可以通過用戶網(wǎng)絡(luò)完成傳輸，但與外界（通常是是互聯(lián)網(wǎng)，也包括數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)）通信，則需要解除原本overlay的封裝，并映射公網(wǎng)IP。除此之外還包括一起其他網(wǎng)絡(luò)服務(wù)，如：NAT、VPN、防火墻、LB等。

所以外聯(lián)網(wǎng)絡(luò)內(nèi)的流量包括：用戶網(wǎng)絡(luò)流量、管理流量、外網(wǎng)流量。

Vmware Edge 機架中主要運行的是NSX的edge設(shè)備。edge設(shè)備一邊連接租戶網(wǎng)絡(luò)的分布式路由一邊連接外網(wǎng)（WAN）。它代表是傳統(tǒng)數(shù)據(jù)中心的南北向的流量，在網(wǎng)絡(luò)的邊緣提供NAT、VPN、LB、FW等服務(wù)。edge組件本身是一臺虛擬設(shè)備，通過vmware nsx的管理頁面來統(tǒng)一管理，但是控制層面和轉(zhuǎn)發(fā)層面還是集中在設(shè)備上。它的實現(xiàn)方式更像NFV。

總結(jié)：

NSX采用軟件路由器連接租戶網(wǎng)絡(luò)和外部網(wǎng)絡(luò)。每個租戶都能創(chuàng)建自己專屬的軟件路由器，并自定義出口的策略。外部網(wǎng)絡(luò)一般通過1 x 10 GbE 或者1 x 40 GbE交換機網(wǎng)絡(luò)互聯(lián)。外部網(wǎng)絡(luò)北向一般是數(shù)據(jù)中心的傳統(tǒng)交換機和路由器。

存儲網(wǎng)絡(luò)

存儲網(wǎng)絡(luò)主要是用于連接存儲節(jié)點和計算節(jié)點。在云計算數(shù)據(jù)中心中，存儲以分布式的存儲為主。

VMware推薦直接在計算節(jié)點使用VSAN來直接為租戶業(yè)務(wù)提供持續(xù)化存儲，也就是說計算節(jié)點也同時作為存儲節(jié)點來使用。那就意味著存儲網(wǎng)絡(luò)是計算節(jié)點服務(wù)器之間互聯(lián)的網(wǎng)絡(luò)，VSAN的最佳實踐，推薦主機采用相同或者類似的磁盤配置。并使用單獨的網(wǎng)卡用作主機之間的存儲流量。

VSAN支持通過千兆網(wǎng)絡(luò)部署，前提是該網(wǎng)卡僅傳輸VSAN流量，但是實際使用中極度不推薦。且純SSD架構(gòu)中，不支持使用千兆網(wǎng)絡(luò)。VSAN是以物理主機集群為單位組建的，每個集群有且僅有一個vsan存儲集群。且所有需要使用到該存儲的主機，必須都處于同一個集群內(nèi)。即便該主機不提供vsan磁盤組。

所以存儲網(wǎng)絡(luò)至少應(yīng)該使用使用萬兆交換機，服務(wù)器通過單個萬兆網(wǎng)卡互聯(lián)（VSAN暫不支持網(wǎng)卡聚合），組建VSAN內(nèi)部網(wǎng)絡(luò)。同時VSAN需要通過組播來獲取集群變化信息，所以組播也必須支持。

配置重點

存儲網(wǎng)絡(luò)以集群為單位，連接集群內(nèi)的所有物理主機，存儲網(wǎng)絡(luò)至少需要1 x 10 GbE 或者1 x 40 GbE交換機網(wǎng)絡(luò)，并且需要組播支持。

openstack整體網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)上流傳的各種opnstack的架構(gòu)圖都是組件模塊之間的架構(gòu)圖，基本上會讓剛開始了解openstack的人看得一頭霧水。Mastering openstack書中有一張物理拓?fù)洌�架�?gòu)非常清晰，如下：

（Mastering Openstack）

通過這個架構(gòu)圖很容易發(fā)現(xiàn)，其實兩者openstack的物理網(wǎng)絡(luò)架構(gòu)和vmware NS的架構(gòu)非常的類似。同樣將流量分為管理網(wǎng)絡(luò)、外部網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、租戶網(wǎng)絡(luò)。（同中將租戶網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)都用紅色表示，但實際上是兩張網(wǎng)的）。但是細(xì)細(xì)探究會發(fā)現(xiàn)兩者還是有較大的差異。

管理網(wǎng)絡(luò)：（上圖中藍(lán)線）

openstack的管理網(wǎng)絡(luò)流量，同樣需要連接所有的主機，其上傳輸?shù)牧髁堪�括：horizon、nova、cinder、keystone、glance、neutron等組件的管理服務(wù)。并通過管理網(wǎng)絡(luò)與計算節(jié)點、網(wǎng)絡(luò)節(jié)點上的agent、client通信。

值得一提的是，與vmware不同的是，openstack沒有將虛擬機遷移（vmotion）的流量單獨出來，而是直接走的管理網(wǎng)絡(luò)。所以此處會比vmware官方建議的少一類網(wǎng)絡(luò)，計算節(jié)點上也會少一塊網(wǎng)卡。

所以管理網(wǎng)絡(luò)的帶寬也會建議上到萬兆。

外部網(wǎng)絡(luò)：（上圖中黑線）

同樣是用來為租戶的私有網(wǎng)絡(luò)和我們常用的互聯(lián)網(wǎng)。其上主要運行的是neutron的各種插件，包括L2 agent、L3 agent、DHCP agent、VPN agent、FW agent，以及配套各種軟件（或者linux的network namespace網(wǎng)絡(luò)命名空間，負(fù)責(zé)具體實現(xiàn)路由、防火墻、VPN等功能）。為租戶提供各種諸如NAT、router之類的出口服務(wù)。

存儲網(wǎng)絡(luò)：（圖中紅線）

與VSAN計算和存儲節(jié)點融合在一起有所不同，openstack架構(gòu)中，普遍采用單獨的存儲服務(wù)器集群向計算節(jié)點服務(wù)器提供存儲服務(wù)，且支持塊存儲、文件存儲、對象存儲多種類型。

在網(wǎng)絡(luò)設(shè)計上也會有較大的差異，存儲服務(wù)器集群內(nèi)部需要通過高性能網(wǎng)絡(luò)連接。同時存儲服務(wù)器與計算節(jié)點服務(wù)器之間也要通過高帶寬網(wǎng)絡(luò)連接。

實際上，vmware vsan 同樣允許計算節(jié)點和存儲節(jié)點處于不同的物理服務(wù)器上，但是要求使用vsan存儲的主機和提供vsan存儲的主機處于同一個集群。但是vsan集群中對于主機數(shù)有限制（6.0版本中已經(jīng)升級到64臺），每個集群只能有一個VSAN，且集群中所有的主機都會消耗vsan的license數(shù)量。所以在這種特殊的收費方式下，vsan的實際部署都是采用融合方式也就是存儲節(jié)點和計算節(jié)點結(jié)合在一起。

租戶網(wǎng)絡(luò)：（圖中紅線）

neutron的租戶網(wǎng)絡(luò)結(jié)構(gòu)與vmware的類似，同樣通過二層的overlay技術(shù)來對租戶的流量進(jìn)行標(biāo)記，實現(xiàn)隔離。但是相比vmware必須采用自家的vDS或有限的幾家合作伙伴（cisco、ibm、brocade）以外。Openstack neutron支持的二層設(shè)備包括一大票的開源虛擬交換機和商用虛擬交換機的插件，并且不同的二層設(shè)備支持的協(xié)議和功能的實現(xiàn)都有不同。

Open vSwitch Plugin最開始nicira主導(dǎo)的開源標(biāo)準(zhǔn)openflow交換機

Cisco UCS/Nexus Plugin

Cisco Nexus1000v Plugin較早商用的虛擬交換機，支持包括openstack、vmware在內(nèi)的多個平臺

Linux Bridge Plugin            老牌linux 網(wǎng)橋技術(shù)，很早就已經(jīng)集成到linux內(nèi)核

Modular Layer 2 Plugin

Nicira Network Virtualization Platform (NVP) Plugin          也就是NSX的插件

除此之外還有Big switch 、brocade、IBM、MidoNet等等非常多的二層插件。不用的插件在二層租戶網(wǎng)絡(luò)的實現(xiàn)上都有非常大的差異。而且也大量使用著各種私有協(xié)議。早期openstack版本中，因為不同的插件控制器不同，而控制器只能使用一種。導(dǎo)致網(wǎng)絡(luò)使用的二層agent也必須為同一種。這一問題在后來版本中加入ML2層后得到了很好的解決。ML2屏蔽了不同插件的不同，而統(tǒng)一對外提供neutron網(wǎng)絡(luò)功能的API，兼容不同的二層實現(xiàn)方式只需將不同廠家的插件加入到ML2中。ML2中間層能夠很好地在一個網(wǎng)絡(luò)中兼容多種二層的插件。

所以，neutron server成了SDN的控制器，通過openflow、OVS DB的協(xié)議兼容了多種二層軟硬件設(shè)備。

后面的中心也會放在Open vSwitch和Linux Bridge上。

最后，這僅僅是openstack和nsx的標(biāo)準(zhǔn)范例，實際上不同的環(huán)境下，所采用的技術(shù)有非常大的差異，比如專用的高安全性的機房、物理的overlay實現(xiàn)等。不過總的來說，流量的類型還是逃不出這幾大類。