數(shù)據(jù)中心服務(wù)器接入部署-多網(wǎng)卡接入，網(wǎng)絡(luò)部署方案

數(shù)據(jù)中心服務(wù)器接入部署-多網(wǎng)卡接入，網(wǎng)絡(luò)部署方案
服務(wù)器多網(wǎng)卡接入簡(jiǎn)介

服務(wù)器NIC Teaming（多網(wǎng)卡接入）

服務(wù)器NIC Teaming，也稱單機(jī)鏈路的負(fù)載均衡，一般指的是單臺(tái)服務(wù)器利用多個(gè)網(wǎng)卡進(jìn)行綁定而實(shí)現(xiàn)的負(fù)載均衡。

不同網(wǎng)卡芯片的產(chǎn)商除了網(wǎng)卡自身的驅(qū)動(dòng)外，還會(huì)提供管理軟件來(lái)使能多網(wǎng)卡的負(fù)載均衡。同時(shí)，在不同的操作系統(tǒng)下，如Linux，本身自帶了網(wǎng)卡負(fù)載均衡的驅(qū)動(dòng)。

簡(jiǎn)單來(lái)講，Teaming就是把同一臺(tái)服務(wù)器上的多個(gè)物理網(wǎng)卡通過(guò)軟件綁定成一個(gè)虛擬的網(wǎng)卡，也就是說(shuō)，對(duì)于外部網(wǎng)絡(luò)而言，這臺(tái)服務(wù)器只有一個(gè)可見(jiàn)的網(wǎng)卡。對(duì)于任何應(yīng)用程序，以及本服務(wù)器所在的網(wǎng)絡(luò)，這臺(tái)服務(wù)器只有一個(gè)網(wǎng)絡(luò)鏈接或者說(shuō)只有一個(gè)可以訪問(wèn)的 IP地址（備注：MAC地址不一定相同，原因詳見(jiàn)后面的技術(shù)原理描述）。之所以要利用Teaming技術(shù)，除了利用多網(wǎng)卡同時(shí)工作來(lái)提高網(wǎng)絡(luò)速度以外，還有可以通過(guò)Teaming實(shí)現(xiàn)不同網(wǎng)卡之間的負(fù)載均衡（Load balancing）和網(wǎng)卡冗余（Fault tolerance）。

單服務(wù)器多網(wǎng)卡采用NIC Teaming技術(shù)可以將2張或最多可達(dá)8張網(wǎng)卡捆綁在一起使用。

服務(wù)器Teaming-Linux

Round-robin：

所有鏈路處于負(fù)載均衡狀態(tài)，輪詢方式往每條鏈路發(fā)送報(bào)文，基于per packet方式發(fā)送。默認(rèn)情況下使用eth0(第一張網(wǎng)卡)的mac為綁定接口的mac，所有綁定下的接口都用這個(gè)mac。這種模式既增加了帶寬，同時(shí)支持容錯(cuò)能力；但是會(huì)導(dǎo)致網(wǎng)絡(luò)報(bào)文傳輸出現(xiàn)亂序，需要交換機(jī)端創(chuàng)建AP來(lái)支持。

Active-backup：

只有一張網(wǎng)卡處于Active狀態(tài)，負(fù)責(zé)發(fā)送和接收?qǐng)?bào)文，其他都處于standby狀態(tài)，不發(fā)送和接收任何報(bào)文。所有網(wǎng)卡共享相同的MAC和IP。這種模式支持容錯(cuò)能力，沒(méi)有實(shí)際增加帶寬。

Load Balancing (XOR)：

采用取報(bào)文字段進(jìn)行hash計(jì)算的方式來(lái)增加帶寬，同時(shí)保證到達(dá)特定對(duì)端的會(huì)話流量總是從同一個(gè)接口上發(fā)出，保證該會(huì)話的報(bào)文順序不亂，需要交換機(jī)端創(chuàng)建AP來(lái)支持。

Fault-tolerance (broadcast)：

該模式下完全相同的報(bào)文會(huì)往所有接口都拷貝一份發(fā)出去。比如：ping一個(gè)報(bào)文到服務(wù)器，服務(wù)器會(huì)同時(shí)發(fā)兩個(gè)接口都發(fā)完全相同ICMP回應(yīng)報(bào)文。

該模式不是真正意義上的鏈路聚合，只是簡(jiǎn)單的將報(bào)文廣播的所有的接口，目的是將報(bào)文廣播到不同廣播域來(lái)保證高可靠性。該模式的應(yīng)用需求比較特殊，不同網(wǎng)卡連接的不同交換機(jī)間沒(méi)有連接，且屬于不同網(wǎng)段，而此時(shí)又需要單條流能同時(shí)到達(dá)兩個(gè)不同的網(wǎng)段，就需要通過(guò)該模式來(lái)配置服務(wù)器。

LACP：

這種模式就是交換機(jī)的動(dòng)態(tài)AP：IEEE 802.3ad Dynamic link aggregation。將相同速率、雙工的端口動(dòng)態(tài)（允許自動(dòng)）聚合在一起。同時(shí)可以通過(guò)調(diào)整參數(shù)來(lái)指定hash算法。需要交換機(jī)端啟用LACP來(lái)支持。

Transmit Load Balancing：

TLB模式通過(guò)對(duì)端均衡出口流量。由于是根據(jù)MAC地址進(jìn)行均衡，在三層網(wǎng)絡(luò)配置下，該模式會(huì)通過(guò)單個(gè)設(shè)備來(lái)發(fā)送所有流量，然而在二層網(wǎng)絡(luò)配置下，該模式以相對(duì)智能的方式（不是Load Balancing(XOR)或802.3ad模式里提及的XOR方式）來(lái)均衡多個(gè)本地網(wǎng)絡(luò)對(duì)端，因此那些特殊的MAC地址（比如XOR得到同樣值）不會(huì)均衡到同一個(gè)接口上。該模式也不像802.3ad，該模式的接口可以有不同的速率，而且不需要特別的交換機(jī)配置。不利的一面在于，該模式下所有入口流量會(huì)到達(dá)同一個(gè)接口。

該綁定模式下，綁定接口的MAC和優(yōu)先級(jí)最高的網(wǎng)卡MAC一樣（默認(rèn)是第一個(gè)綁定接口），其他網(wǎng)卡MAC保留自己原來(lái)的MAC（這個(gè)和之前5種模式不同，前面所有網(wǎng)卡的MAC和綁定接口的一樣。）

Adaptive load balancing：

該模式包含了TLB模式，同樣會(huì)發(fā)snap報(bào)文來(lái)檢測(cè)鏈路。同時(shí)加上針對(duì)IPv4流量的接收負(fù)載均衡(Receive Load Balance, RLB)，而且不需要任何交換機(jī)的支持。

服務(wù)器NIC Teaming對(duì)網(wǎng)絡(luò)要求

需交換機(jī)支持靜態(tài)AP，需交換機(jī)支持802.3ad LACP。

某些場(chǎng)景下需要支持跨設(shè)備的AP，即需要交換機(jī)支持VSU或IRF、VSS等（主要是為了簡(jiǎn)化管理的目的）。

需要注意AP的流量均衡算法，根據(jù)不同的網(wǎng)絡(luò)流量需要進(jìn)行調(diào)整，調(diào)整包括交換機(jī)端和服務(wù)器端的負(fù)載均衡算法，保證服務(wù)器端出來(lái)的報(bào)文能夠均衡到多個(gè)入口上，也要保證從交換機(jī)端輸出的報(bào)文能夠均衡到多個(gè)出口。

服務(wù)器多網(wǎng)卡接入部署

U型組網(wǎng)：不建議使用

方案優(yōu)點(diǎn)：

不啟用STP，好管理；網(wǎng)絡(luò)絡(luò)接入層不存在二層環(huán)路，接入層交換機(jī)可以不啟用生成樹(shù)協(xié)議，因此網(wǎng)絡(luò)的配置管理簡(jiǎn)單。

雙active鏈路，接入交換機(jī)密度高。

方案缺點(diǎn)：

從接入交換機(jī)到匯聚交換機(jī)缺少二層冗余路徑，方案不具備高可用性。

VLAN不能跨匯聚層，服務(wù)器部署不靈活；服務(wù)器的接入VLAN不能跨匯聚層，服務(wù)器不能實(shí)現(xiàn)跨交換機(jī)的二層互聯(lián)，網(wǎng)絡(luò)的二層擴(kuò)展能力有限。

接入交換機(jī)間鏈路故障，VRRP心跳報(bào)文無(wú)法傳遞，整機(jī)做VRRP主備切換，故障收斂時(shí)間長(zhǎng)；服務(wù)器網(wǎng)關(guān)指向匯聚交換上VRRP的VIP地址，但VRRP心跳報(bào)文的傳輸路徑必須經(jīng)過(guò)兩臺(tái)接入交換機(jī)，當(dāng)兩臺(tái)接入層交換機(jī)之間的鏈路發(fā)生中斷時(shí)，兩臺(tái)匯聚交換機(jī)都變?yōu)閂RRP主設(shè)備，網(wǎng)絡(luò)進(jìn)入三層不穩(wěn)定狀態(tài)。

機(jī)架式服務(wù)器適用性分析：

網(wǎng)絡(luò)接入不具備高可用性，且二層擴(kuò)展能力有限，因此不建議在機(jī)架式服務(wù)器接入時(shí)采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

網(wǎng)絡(luò)接入不具備高可用性，二層擴(kuò)展能力有限，不建議在刀片服務(wù)器接入時(shí)采用這種組網(wǎng)。

倒U型組網(wǎng)：不建議使用機(jī)架服務(wù)器用，刀片服務(wù)器可用

方案優(yōu)點(diǎn)：

不啟用STP，好管理；網(wǎng)絡(luò)接入層不存在二層環(huán)路，接入交換機(jī)不啟用生成樹(shù)協(xié)議，網(wǎng)絡(luò)配置管理簡(jiǎn)單。

VLAN 可以跨匯聚層交換機(jī)，服務(wù)器部署靈活；服務(wù)器的接入VLAN可以跨匯聚交換機(jī)，因此能實(shí)現(xiàn)VLAN跨不同的接入層交換機(jī)，服務(wù)器可實(shí)現(xiàn)跨接入交換機(jī)的二層互聯(lián)，服務(wù)器接入擴(kuò)展性好。

接入交換機(jī)上行匯聚交換機(jī)采用捆綁鏈路，因此上行鏈路可靠性高，鏈路的帶寬利用率高。

方案缺點(diǎn)：

當(dāng)匯聚交換機(jī)與接入交換機(jī)之間的鏈路中斷時(shí)，服務(wù)器不能感知這種故障，服務(wù)器上行流量仍然發(fā)送到出現(xiàn)故障的接入交換機(jī)，從而形成了“流量黑洞”。

機(jī)架式服務(wù)器適用性分析：

由于存在“流量黑洞”的問(wèn)題，因此不建議在機(jī)架式服務(wù)器接入時(shí)采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

刀片交換機(jī)可通過(guò)上行捆綁鏈路的狀態(tài)監(jiān)測(cè)機(jī)制解決“流量黑洞”問(wèn)題：刀片交換機(jī)在正常運(yùn)行狀態(tài)時(shí)，周期性的對(duì)上行匯聚層交換機(jī)的接口進(jìn)行狀態(tài)檢查，當(dāng)發(fā)現(xiàn)上行接口故障時(shí)，該刀片交換機(jī)將shutdown其上所有端口。此時(shí)，接入到該刀片交換機(jī)上的服務(wù)器將把流量切換到與另一個(gè)刀片交換機(jī)相連的網(wǎng)卡上，從而避免了“流量黑洞”。

這種方案配置管理簡(jiǎn)單，如刀片交換機(jī)具備防 “流量黑洞”的特性，則適用于刀片交換機(jī)的網(wǎng)絡(luò)接入。

矩形組網(wǎng)：不建議使用

方案優(yōu)點(diǎn)：

VLAN可以跨匯聚層交換機(jī)；服務(wù)器接入VLAN可以跨匯聚交換機(jī)，能實(shí)現(xiàn)VLAN跨不同的接入交換機(jī)，服務(wù)器可實(shí)現(xiàn)跨接入交換機(jī)的二層互聯(lián)，服務(wù)器接入擴(kuò)展性好。

雙active鏈路，接入交換機(jī)密度高；接入交換機(jī)到匯聚交換機(jī)間有冗余鏈路，網(wǎng)絡(luò)接入層具備高可用性。

方案缺點(diǎn)：

接入交換機(jī)上行鏈路故障，流量將從一側(cè)的交換機(jī)上行，收斂比變小，網(wǎng)絡(luò)易擁塞，降低網(wǎng)絡(luò)高可用性；正常情況時(shí)，兩臺(tái)接入交換機(jī)之間的鏈路被生成樹(shù)協(xié)議阻塞。當(dāng)某臺(tái)接入交換機(jī)上行鏈路故障時(shí)，交換機(jī)之間的鏈路變?yōu)檗D(zhuǎn)發(fā)狀態(tài)。此時(shí)，發(fā)生故障的交換機(jī)一側(cè)的所有服務(wù)器上行流量，將經(jīng)過(guò)另一側(cè)交換機(jī)上行到匯聚交換機(jī)，該交換機(jī)的上行收斂比增加一倍，導(dǎo)致網(wǎng)絡(luò)發(fā)生擁塞，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能降低。

機(jī)架式服務(wù)器適用性分析：

服務(wù)器接入具備高可用性和高可擴(kuò)展性。當(dāng)一側(cè)接入交換機(jī)發(fā)生故障時(shí)，另一側(cè)交換機(jī)擁塞加重，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能降低，因此不建議在機(jī)架式服務(wù)器接入時(shí)采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

刀片交換機(jī)模塊需要配置生成樹(shù)協(xié)議，不利于刀片系統(tǒng)的管理維護(hù)。且同樣存在一側(cè)刀片交換機(jī)故障時(shí)，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能下降的問(wèn)題，因此不建議在刀片服務(wù)器接入時(shí)采用這種組網(wǎng)。

三角形組網(wǎng)：機(jī)架服務(wù)器建議使用，刀片服務(wù)器不建議

方案優(yōu)點(diǎn)：

鏈路冗余，路徑冗余，故障收斂時(shí)間最短（接入交換機(jī)到匯聚交換機(jī)有冗余鏈路，接入網(wǎng)絡(luò)具備高可用性，且通過(guò)MSTP可實(shí)現(xiàn)上行流量分擔(dān)。）

VLAN 可以跨匯聚層交換機(jī)，服務(wù)器部署靈活（服務(wù)器接入VLAN可以跨匯聚交換機(jī)，能實(shí)現(xiàn)VLAN跨不同的接入交換機(jī)，服務(wù)器可實(shí)現(xiàn)跨接入交換機(jī)的二層互聯(lián)，服務(wù)器接入擴(kuò)展性好。）

方案缺點(diǎn)：

網(wǎng)絡(luò)配置管理較復(fù)雜，為提高二層網(wǎng)絡(luò)的高可用性與安全性，在接入交換機(jī)與匯聚交換機(jī)上使能“BPDU保護(hù)”、“環(huán)路保護(hù)”、“根保護(hù)”等特性；

機(jī)架式服務(wù)器適用性分析：

服務(wù)器接入網(wǎng)絡(luò)具備高可用性、高可擴(kuò)展性，建議在機(jī)架式服務(wù)器接入時(shí)采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

刀片交換機(jī)上的配置復(fù)雜，可管理性較差，不建議在刀片服務(wù)器接入時(shí)采用這種組網(wǎng)。

刀片服務(wù)器pass-through模塊部署

刀片服務(wù)器內(nèi)可集成刀片交換機(jī)，也可以通過(guò)部署pass-through模塊，將服務(wù)器的網(wǎng)絡(luò)接入延伸到刀箱外的網(wǎng)絡(luò)上。

采用了pass-through模塊的刀片服務(wù)器在網(wǎng)絡(luò)接入層設(shè)計(jì)上與機(jī)架式服務(wù)器的關(guān)注點(diǎn)相同，重點(diǎn)是保證服務(wù)器的高可用接入以及服務(wù)器的接入可擴(kuò)展性，因此建議采用具備接入高可用性和高可擴(kuò)展性的“二層環(huán)路三角形組網(wǎng)”。

刀片服務(wù)器交換模塊與直通模塊的區(qū)別:

交換模塊相當(dāng)于一個(gè)交換機(jī)，只要有一根網(wǎng)線，里面所有刀片都可以通出來(lái)，是共用一對(duì)多的。

直通模塊（ pass-through模塊）的作用是把每一個(gè)刀片的接口通到外面來(lái)，是一對(duì)一的。理解成一個(gè)集線器，沒(méi)有任何其他網(wǎng)絡(luò)功能。好處是管理簡(jiǎn)單。