為滿足云業(yè)務的需要，網(wǎng)絡逐漸分化為Underlay和Overlay。Underlay網(wǎng)絡就是傳統(tǒng)數(shù)據(jù)中心的路由交換等物理設備，依然信奉穩(wěn)定壓倒一切的理念，提供可靠的網(wǎng)絡數(shù)據(jù)傳輸能力；Overlay則是在其上封裝的業(yè)務網(wǎng)絡，與服務更貼近，通過VXLAN 或者GRE等協(xié)議封裝，給用戶提供一個易用的網(wǎng)絡服務。Underlay網(wǎng)絡和Ooverlay網(wǎng)絡即關聯(lián)又解耦，兩者相互關聯(lián)又能獨立演進。

Underlay網(wǎng)絡是網(wǎng)絡的地基，承載網(wǎng)絡不穩(wěn)，業(yè)務便無SLA可言。數(shù)據(jù)中心網(wǎng)絡架構在經(jīng)歷三層網(wǎng)絡架構、胖樹（Fat-Tree）型網(wǎng)絡架構后，正過渡到Spine- Leaf架構，迎來了CLOS 網(wǎng)絡模型的第三次應用。

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡架構

三層設計

2004-2007年期間，三層網(wǎng)絡結構在數(shù)據(jù)中心十分盛行。它有三個層次：核心層(網(wǎng)絡的高速交換主干)、匯聚層(提供基于策略的連接)、接入層(將工作站接入網(wǎng)絡)，這個模型如下：



|三層網(wǎng)絡結構

核心層（Core Layer）：核心交換機為進出數(shù)據(jù)中心的包提供高速的轉發(fā)，為多個匯聚層提供連接性，核心交換機為通常為整個網(wǎng)絡提供一個彈性的L3路由網(wǎng)絡。

匯聚層（Aggregation Layer）：匯聚交換機連接接入交換機，同時提供其他的服務，例如防火墻，SSL offload，入侵檢測，網(wǎng)絡分析等。

接入層(Access Layer)：接入交換機通常位于機架頂部，所以它們也被稱為ToR（Top of Rack）交換機，它們物理連接服務器。 通常情況下，匯聚交換機是 L2 和 L3 網(wǎng)絡的分界點：匯聚交換機以下的是 L2 網(wǎng)絡，以上是 L3 網(wǎng)絡。每組匯聚交換機管理一個 POD（Point Of Delivery），每個 POD 內都是獨立的 VLAN 網(wǎng)絡。

網(wǎng)絡環(huán)路與生成樹協(xié)議

環(huán)路的形成大都是由于目的路徑不明確導致混亂而造成的。用戶構建網(wǎng)絡時，為了保證可靠性，通常會采用冗余設備和冗余鏈路， 這樣就不可避免的形成環(huán)路。而二層網(wǎng)絡處于同一個廣播域下， 廣播報文在環(huán)路中會反復持續(xù)傳送，形成廣播風暴， 瞬間即可導致端口阻塞和設備癱瘓。因此，為了防止廣播風暴，就必須防止形成環(huán)路。

既要防止形成環(huán)路，又要保證可靠性，就只能將冗余設備和冗余鏈路變成備份設備和備份鏈路。即冗余的設備端口和鏈路在正常情況下被阻塞掉，不參與數(shù)據(jù)報文的轉發(fā)。只有當前轉發(fā)的設備、端口、 鏈路出現(xiàn)故障，導致網(wǎng)絡不通的時候，冗余的設備端口和鏈路才會被打開，使得網(wǎng)絡能夠恢復正常。實現(xiàn)這些自動控制功能的就是 STP(Spanning Tree Protocol ，生成樹協(xié)議 )。

生成樹協(xié)議在接入層和匯聚層之間運行，核心是在每個啟用 STP 的網(wǎng)橋上運行的生成樹算法，該算法專門設計用于在存在冗余路徑時避免橋接環(huán)路。STP 選擇用于轉發(fā)消息的最佳數(shù)據(jù)路徑，并禁用了那些不屬于生成樹的鏈路，在任意兩個網(wǎng)絡節(jié)點之間只留下一條活動路徑，其他上行鏈路將被阻塞。

?

STP 有許多好處：簡單，即插即用（plug-and-play），只需很少配置。每個 pod 內的機器都屬于同一個 VLAN， 因此服務器無需修改 IP 地址和網(wǎng)關就可以在 pod 內部任意遷移位置。

但是，STP 無法使用并行轉發(fā)路徑（parallel forwarding path），它永遠會禁用 VLAN 內的冗余路徑。STP的缺點：

1、拓撲收斂慢。當網(wǎng)絡拓撲發(fā)生改變的時候，生成樹協(xié)議需要50-52秒的時間才能完成拓撲收斂。

2、不能提供負載均衡的功能。當網(wǎng)絡中出現(xiàn)環(huán)路的時候，生成樹協(xié)議只能簡單的將環(huán)路進行Block，這樣該鏈路就不能進行數(shù)據(jù)包的轉發(fā)，浪費網(wǎng)絡資源。

虛擬化和東西向流量挑戰(zhàn)

2010年之后，為了提高計算和存儲資源的利用率，數(shù)據(jù)中心開始采用虛擬化技術，網(wǎng)絡中開始出現(xiàn)了大量的虛擬機。虛擬技術把一臺服務器虛化成了多臺邏輯服務器，每個VM都可以獨立運行，有自己的OS、APP、自己獨立的MAC地址和IP地址，它們通過服務器內部的虛擬交換機（vSwitch）與外部實體進行網(wǎng)絡連接。

虛擬技術有個伴生的需求：虛擬機動態(tài)遷移，在保證虛擬機上服務正常運行的同時，將一個虛擬機系統(tǒng)從一個物理服務器移動到另一個物理服務器。這個過程對于最終用戶來說是無感的，管理員能夠在不影響用戶正常使用的情況下，靈活調配服務器資源，或者對物理服務器進行維修和升級。

為了保證遷移時業(yè)務不中斷，就要求在遷移時，不僅虛擬機的IP地址不變，而且虛擬機的運行狀態(tài)也必須保持原狀（例如TCP會話狀態(tài)），所以虛擬機的動態(tài)遷移只能在同一個二層域中進行，而不能跨二層域遷移，催生了從接入層到核心層的大二層域（larger L2 domain）的需求。



傳統(tǒng)的大二層網(wǎng)絡架構L2和L3的分界點在核心交換機，核心交換機以下的數(shù)據(jù)中心是一個完整的廣播域，即L2網(wǎng)絡。這樣可以實現(xiàn)設備部署、位置遷移的任意性，不需要進行IP、網(wǎng)關等配置的修改。不同的L2網(wǎng)絡（VLAN）通過核心交換機進行路由轉發(fā)。

不過該架構下的核心交換機需要維護龐大的MAC和ARP表，對核心交換機的能力提出很高的要求 。另外，接入交換機（TOR）也對整個網(wǎng)絡的規(guī)模造成一定的限制。這些最終限制了網(wǎng)絡的規(guī)模、網(wǎng)絡擴展及彈性能力，跨三層調度的時延問題，不能滿足未來業(yè)務的需求。

另一方面，虛擬化技術帶來的東西向流量也給傳統(tǒng)三層網(wǎng)絡帶來了挑戰(zhàn)。數(shù)據(jù)中心的流量總的來說可以分為以下幾種：

南北向流量：數(shù)據(jù)中心之外的客戶端到數(shù)據(jù)中心服務器之間的流量，或者數(shù)據(jù)中心服務器訪問互聯(lián)網(wǎng)的流量。

東西向流量：數(shù)據(jù)中心內的服務器之間的流量，以及不同數(shù)據(jù)中心間的流量，例如數(shù)據(jù)中心之間的災備，私有云和公有云之間的通訊。

虛擬化技術的引入使得應用的部署方式越來越分布式，帶來的“副作用”是東西向流量越來越大。

傳統(tǒng)的三層架構通常是為南北向流量設計的。雖然它可以用于東西向流量，但可能最終無法按要求執(zhí)行。



| 傳統(tǒng)三層架構vs. Spine-Leaf架構

三層架構中的東西向流量必須經(jīng)過匯聚層和核心層的設備轉發(fā)，不必要地經(jīng)過許多節(jié)點.（Server-> Access-> Aggregation-> CoreSwitch-> Aggregation-> AccessSwitch-> Server）

因此，如果通過傳統(tǒng)三層網(wǎng)絡架構運行大量的東西向流量，連接到同一交換機端口的設備可能會爭奪帶寬，導致最終用戶獲得的響應時間很差。

傳統(tǒng)三層網(wǎng)絡架構缺點

由此可見，傳統(tǒng)三層網(wǎng)絡架構有著不少的缺點：

帶寬浪費：為了防止環(huán)路，通常在匯聚層和接入層之間運行STP協(xié)議，這樣接入交換機只有一條上行鏈路真正承載流量，其他上行鏈路會被阻塞，造成帶寬的浪費。

大規(guī)模網(wǎng)絡布放困難：隨著網(wǎng)絡規(guī)模的擴大，數(shù)據(jù)中心分布在不同的地理位置，虛擬機必須在任何地方創(chuàng)建和遷移，其IP地址、網(wǎng)關等網(wǎng)絡屬性保持不變，這需要fat Layer 2的支持。在傳統(tǒng)結構中，無法進行遷移。

東西向流量不足：三層網(wǎng)絡架構主要是為南北向流量設計的，雖然也支持東西向流量，但不足之處很明顯。當東西向流量較大時，匯聚層和核心層交換機的壓力會大大增加，網(wǎng)絡規(guī)模和性能會局限在匯聚層和核心層。

使企業(yè)陷入成本和可擴展性的困境：支撐大規(guī)模高性能網(wǎng)絡，需要大量的匯聚層和核心層設備，這不僅給企業(yè)帶來了高昂的成本，同時也要求網(wǎng)絡建設網(wǎng)絡時必須提前規(guī)劃規(guī)模。當網(wǎng)絡規(guī)模較小時，會造成資源浪費，當網(wǎng)絡規(guī)模不斷擴大時，擴容困難。

Spine-Leaf 網(wǎng)絡架構

什么是Spine-Leaf 網(wǎng)絡架構？

針對以上問題，一種新的數(shù)據(jù)中心設計，Spine-Leaf 網(wǎng)絡架構出現(xiàn)了，也就是我們所說的葉脊網(wǎng)絡。

顧名思義，該架構共有一個脊（Spine）層和一個葉（Leaf）層，包括脊交換機（spine switches）和葉交換機。



| Spine-Leaf架構

每個葉交換機都連接到所有脊交換機，脊交換機不直接相互連接，形成一個 full-mesh 拓撲。

在 Spine-and-Leaf 架構中，任意一個服務器到另一個服務器的連接，都會經(jīng)過相同數(shù)量的設備（Server -> Leaf -> Spine Switch -> Leaf Switch -> Server），這保證了延遲是可預測的，因為一個包只需要經(jīng)過一個 spine 和另一個 leaf 就可以到達目的端。

Spine-Leaf 的工作原理

Leaf Switch：相當于傳統(tǒng)三層架構中的接入交換機，作為 TOR（Top Of Rack）直接連接物理服務器。與接入交換機的區(qū)別在于 L2/L3 網(wǎng)絡的分界點現(xiàn)在在 Leaf 交換機上了。Leaf 交換機之上是三層網(wǎng)絡，Leaf 交換機之下都是個獨立的 L2 廣播域，這就解決了大二層網(wǎng)絡的 BUM 問題。如果說兩個 Leaf 交換機下的服務器需要通訊，需要通過 L3 路由，經(jīng)由 Spine 交換機進行轉發(fā)。

Spine Switch：相當于核心交換機。Spine 和 Leaf 交換機之間通過 ECMP（Equal Cost Multi Path）動態(tài)選擇多條路徑。區(qū)別在于，Spine 交換機現(xiàn)在只是為 Leaf 交換機提供一個彈性的 L3 路由網(wǎng)絡，數(shù)據(jù)中心的南北流量可以不用直接從 Spine 交換機發(fā)出，一般來說，南北流量可以從與 Leaf 交換機并行的交換機（edge switch）再接到 WAN router 出去。



|Spine/Leaf網(wǎng)絡架構和傳統(tǒng)三層網(wǎng)絡架構對比

Spine-Leaf的優(yōu)勢

扁平化：扁平化設計縮短服務器之間的通信路徑，從而降低延遲，可以顯著提高應用程序和服務性能。

擴展性好：當帶寬不足時，增加脊交換機數(shù)量，可水平擴展帶寬。當服務器數(shù)量增加時，如果端口密度不足，我們可以添加葉交換機。

降低成本——南北向流量，可以從葉節(jié)點出去，也可從脊節(jié)點出去。東西向流量，分布在多條路徑上。這樣一來，葉脊網(wǎng)絡可以使用固定配置的交換機，不需要昂貴的模塊化交換機，進而降低成本。

低延遲和擁塞避免——無論源和目的地如何，葉脊網(wǎng)絡中的數(shù)據(jù)流在網(wǎng)絡上的跳數(shù)都相同，任意兩個服務器之間都是Leaf—>Spine—>Leaf三跳可達的。這建立了一條更直接的流量路徑，從而提高了性能并減少了瓶頸。

安全性和可用性高：傳統(tǒng)的三層網(wǎng)絡架構采用STP協(xié)議，當一臺設備故障時就會重新收斂，影響網(wǎng)絡性能甚至發(fā)生故障。葉脊架構中，一臺設備故障時，不需重新收斂，流量繼續(xù)在其他正常路徑上通過，網(wǎng)絡連通性不受影響，帶寬也只減少一條路徑的帶寬，性能影響微乎其微。

通過ECMP進行負載均衡，非常適合使用 SDN 等集中式網(wǎng)絡管理平臺的環(huán)境。

SDN 允許在發(fā)生阻塞或鏈路故障時簡化流量的配置，管理和重新分配路由，使得智能負載均衡的全網(wǎng)狀拓撲成為一個相對簡單的配置和管理方式。

不過Spine-Leaf架構也有一定的局限性：

其中一個缺點就是，交換機的增多使得網(wǎng)絡規(guī)模變大。葉脊網(wǎng)絡架構的數(shù)據(jù)中心需要按客戶端的數(shù)量，相應比例地增加交換機和網(wǎng)絡設備。隨著主機的增加，需要大量的葉交換機上行連接到脊交換機。

脊交換機和葉交換機直接的互聯(lián)需要匹配，一般情況下，葉脊交換機之間的合理帶寬比例不能超過3:1。

例如，有48個10Gbps速率的客戶端在葉交換機上，總端口容量為 480Gb/s。如果將每個葉交換機的 4 個 40G 上行鏈路端口連接到 40G 脊交換機，它將具有 160Gb/s 的上行鏈路容量。

該比例為 480:160，即 3:1。數(shù)據(jù)中心上行鏈路通常為 40G 或 100G，并且可以隨著時間的推移從 40G (Nx 40G) 的起點遷移到 100G (Nx 100G)。重要的是要注意上行鏈路應始終比下行鏈路運行得更快，以免端口鏈路阻塞。



葉脊網(wǎng)絡也有明確的布線的要求。因為每個葉節(jié)點都必須連接到每個脊交換機，我們需要鋪設更多的銅纜或光纖電纜?；ミB的距離會推高成本。

根據(jù)相互連接的交換機之間的距離，葉脊架構所需要的高端光模塊數(shù)量高于傳統(tǒng)三層架構數(shù)十倍，這會增加整體部署成本。不過也因此帶動了光模塊市場的增長，尤其是100G、400G這樣的高速率光模塊。

Spine-Leaf 網(wǎng)絡架構的應用

Facebook在2014年公開的數(shù)據(jù)中心架構是最具代表性的葉脊網(wǎng)絡用例，此外谷歌第五代數(shù)據(jù)中心架構Jupiter也大規(guī)模采用了葉脊網(wǎng)絡。

Facebook

Facebook從14年開始對自己原有的數(shù)據(jù)中心網(wǎng)絡架構進行改造，原因就在于面對網(wǎng)絡流量2-4倍的未來擴張，現(xiàn)有的三層網(wǎng)絡架構難以勝任。因此，F(xiàn)acebook提出了自己的下一代數(shù)據(jù)中心網(wǎng)絡——data center fabric網(wǎng)絡架構（也稱為F4網(wǎng)絡），在原始葉脊網(wǎng)絡基礎上進行模塊化組網(wǎng)，能夠承載數(shù)據(jù)中心內部的大量東西流量的轉發(fā)，并且保證了足夠的擴展性。



| F4架構

目前Facebook已經(jīng)演進到F16架構，將Spine平面增加為16個。單芯片處理能力提升為12.8TBps, 使得Spine交換機由原來的BackPack更新為MiniPark架構，不僅體積更小，所要通過的路徑僅需跨越5個芯片。



| F16架構

谷歌

2015年，谷歌在SIGCOMM會議上發(fā)表論文《Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network》，詳細地闡述了谷歌過去多年在數(shù)據(jù)中心網(wǎng)絡的創(chuàng)新和演進。

其中第五代的架構叫做Jupiter Network Fabrics，可以視為一個三層Clos。leaf交換機還是作為ToR，向北連接到叫做 Middle Block的spine交換機。

Middle Block和ToR組成一個集群（相當于Facebook的Server Pod，內部是一個二層Clos）叫做Aggregation Block Superblock。MiddleBlock向北還有一層super spine也就是Spine Block。



| Jupiter拓撲

super spine的數(shù)量可以一直增長，加入更多super spine交換機。但是每個新加入的super spine都要和原有的Pod全互聯(lián)。從Pod的角度看，每加入一個super spine，Pod就要額外增加連接。為了解決這個問題，Google在spine 層和Pod層之間加入了Apollo Fabric。Apollo結構解除了spineblock和superblock的直連，但又能夠動態(tài)地調整spineblock和superblock的連接關系，高效實現(xiàn)了全互聯(lián)，并且能夠動態(tài)地調整網(wǎng)絡流量的分布。感興趣的同學可以繼續(xù)閱讀《十年一劍，谷歌數(shù)據(jù)中心網(wǎng)絡Jupiter的進擊之路》。

總的來說，傳統(tǒng)的三層數(shù)據(jù)中心架構的設計是為了應付服務客戶端-服務器應用程序的縱向大流量傳輸。而虛擬化（即虛擬機動態(tài)遷移）從根本上改變了數(shù)據(jù)中心網(wǎng)絡架構的需求，從而要求網(wǎng)絡支持大范圍的二層域，這使得數(shù)據(jù)中心二層網(wǎng)絡的范圍越來越大，甚至出現(xiàn)了大二層網(wǎng)絡這一新領域。這也從根本上改變了傳統(tǒng)三層網(wǎng)絡統(tǒng)治數(shù)據(jù)中心網(wǎng)絡的局面。

葉脊網(wǎng)絡解決了橫向網(wǎng)絡連接的傳輸瓶頸，而且提供了高度的擴展性，它幾乎能適應所有大中小型數(shù)據(jù)中心?？梢灶A見，未來企業(yè)的IT建設都將走向收斂型和高層次的虛擬化葉脊網(wǎng)絡架構。雖然葉脊網(wǎng)絡為網(wǎng)絡傳輸提供了拓撲的基礎，但是還需要有配套合適的轉發(fā)協(xié)議才能完全發(fā)揮出拓撲的實力。為了實現(xiàn)“大二層”，數(shù)據(jù)中心網(wǎng)絡技術在近十年間經(jīng)歷了不斷的迭代與優(yōu)化，主要包括二層多路徑、數(shù)據(jù)中心二層互聯(lián)、端到端Overlay等幾大類技術。

審核編輯：劉清